JP5190469B2 - 画像における境界領域処理 - Google Patents

Description

本発明は、一般に画像処理に関し、特に画像の境界領域処理に関する。

より高いフレームレートのビデオシーケンスがより低いフレームレートのビデオシーケンスより高品質の体験を与えると一般に考えられるため、フレームレートアップ変換が行なわれる。ビデオシーケンスのフレームレートは、既存のフレーム間に予想されるフレームを挿入することにより増加される。適切な方法は、双方向ブロック動き推定を使用して中間フレームを予測することであり、それにより入力されたビデオシーケンスの先行フレームと後続フレームとの間の直線運動を探索する。加速を表せる非線形方法を使用することも可能であるが、単純であり且つそれ程複雑でないために線形方法が使用される。中間フレームはブロックに分割され、各ブロックには動きベクトルが何らかの方法で割り当てられる必要がある。

画像の境界に沿って行なわれるフレームレートアップ変換に関する問題が存在する。多くの記録されたビデオシーケンスにおいて、１つ以上の境界に沿う黒色の線が存在する。これは、図１の左側の画像５０の右側の境界に沿って見られる。従来のレートアップ変換アルゴリズム（非特許文献１〜３）において、そのような境界の特別な処理は存在しない。その結果、境界領域を指し示す動きベクトルを割り当てると、図１の中央の画像６０に示すように、線が背景の動きに追従してエッジからピクチャ内に移動する。

Zhai, J., Yu, K., Li, J., & Li, S., 2005, A Low Complexity Motion Compensated Frame Interpolation Method（低複雑度動き補償フレーム補間法）, The 2005 IEEE International Symposium on Circuits and Systems (ISCAS2005)、Kobe, Japan、２００５年５月２３日〜２６日 Chen, Y.-K., Vetro, Y.-K., Sun H., & Kung S.-Y., 1998, Frame Rate Up-Conversion Using Transmitted True Motion（送信真運動を用いたフレームレートアップ変換）, to appear in Proc. of 1998 Workshop on Multimedia Signal Processing、１９９８年１２月 Choi, B.T., Lee, S.H., & Ko, S.J., 2000, New frame rate up--conversion using bi-directional motion estimation（双方向動き予測を用いた新たなフレームレートアップ変換）, IEEE Trans. Consum. Electron., Volume 46, Number 3、６０３〜６０９ページ

本発明は、従来技術の構成の上記欠点及び他の欠点を克服する。

本発明の一般的な目的は、画像又はフレームにおける境界領域識別を提供することである。

本発明の特定の目的は、画像要素プロパティ値の判定において境界領域識別を利用するフレーム補間／補外を提供することである。

これらの目的及び他の目的は、添付の請求の範囲により規定されるような本発明により達成される。

簡単に説明すると、本発明は、画像要素の行及び列を含む画像又はフレームの境界領域を識別することを含む。テストされる行又は列の画像要素のプロパティ値の平均値が計算される。更に、行又は列の画像要素毎のプロパティ値の差分は、画像要素のプロパティ値とテストされる列又は行より画像の中心に近接するのが好ましい隣接行又は列の同一の列又は行に存在する隣接画像要素のプロパティ値との間で判定される。平均差分値は、判定された差分から計算される。現在の行又は列の画像要素は、平均値及び平均差分に基づいて画像の境界領域に属するか又は内部画像領域に属するものとして分類される。

好適な一実施形態において、分類パラメータは、好ましくは平均値及び平均差分の加重合計として、平均値及び平均差分に基づいて計算される。このパラメータは閾値と比較され、分類はその比較に基づいて実行される。黒色の境界の場合、テストされる行又は列は、その分類パラメータが閾値を下回る場合は境界行又は列として分類され、それ以外の場合は画像の内部領域に属する。

現在の行又は列が境界行又は列として分類される場合、画像の中心により近接している隣接行又は列は、検査される行又は列が内部の行又は列として分類されるまでテストされるのが好ましい。手順は、画像の全てのエッジに対して繰り返されるのが好ましい。

本発明は、ビデオシーケンス中の利用可能な画像から補間又は補外される画像又はフレームのプロパティ値を判定する時に画像要素分類を利用することを更に含む。そのような場合、補間／補外画像の画像要素のグループは、ビデオシーケンスの第１の画像の第１のグループのプロパティ値及びビデオシーケンスの第２の画像の第２のグループのプロパティ値に基づいて判定される。しかし、補間／補外グループのプロパティ値を計算する時、境界画像要素として識別されない第１のグループ及び第２のグループの画像要素のみが使用される。これにより、構成された画像の内部領域内に境界領域を移動することが防止される。

本発明は、画像の境界領域を識別し且つ構成された画像のプロパティ値を推定するデバイスを更に含む。

本発明は、添付の図面と共に以下の説明を参照することにより、本発明の更なる目的及び利点と共に最もよく理解されるだろう。
従来技術に係る補間及び補外画像に現れる境界線の問題を示す図である。 本発明の一実施形態に係る境界領域識別方法を示すフローチャートである。 図２の識別方法の分類ステップの一実施形態を示すフローチャートである。 境界領域と関係する画像の一部分を示す拡大図である。 図２の識別方法の追加のステップを示すフローチャートである。 図２の識別方法の追加のステップを示すフローチャートである。 本発明の一実施形態に係る画素値を判定する方法を示すフローチャートである。 図７の提供ステップ及び識別ステップの一実施形態を更に詳細に示すフローチャートである。 先行画像及び後続画像の画素値の補間を概略的に示す図である。 図７の判定方法の追加のステップを示すフローチャートである。 本発明の一実施形態に係る領域識別器を示す概略ブロック図である。 本発明の一実施形態に係るグループ判定デバイスを示す概略ブロック図である。 本発明に従って中央の図が補間されている図１の図を示す図である。

図中、同一の図中記号が対応する要素又は類似する要素に対して使用される。

本発明は、一般に画像処理に関し、特にビデオシーケンスの画像フレーム等の画像の境界領域を識別する方法及びデバイスに関する。

従来技術において周知のように、多くの画像等は、その１つ以上の辺に境界を含むことが多い。この現象を図１の左側の画像５０に示す。図から分かるように、画像の右側の垂直な辺に沿う黒色の線が存在する。そのような境界は、画像記録処理又はデバイスの固有の特徴のために存在する。更に、「通常」の画面からワイドスクリーン又はワイドスクリーンから「通常」の画面に移る時等、異なる画像形式間のトランスコーディング中に、境界は画像に追加される。

画像５０に少なくとも１つの境界が含まれることにより、画像５０又は画像５０を含むフレーム／ビデオシーケンスの更なる処理において問題が生じる。例えば、フレームレートアップ変換中、中間画像６０はビデオシーケンス中の元の画像４０、５０に基づいて生成され、フレームレートを増加する。そのような中間画像６０の画素値は、隣接画像４０、５０の対応する画素値から判定、すなわち補間又は補外される。図１に示すように、この画素値判定において使用される少なくとも１つの画像５０に境界が含まれることにより、境界線は、画像５０、６０、４０間を移動する時の背景の動きに追従し、補間／補外画像６０に無作為に現れる可能性がある。

従って、画像又はフレームの境界画素及び境界領域の識別は重要であり、それにより、例えば境界を含む少なくとも１つの画像又はフレームを含むビデオシーケンスのフレームレートアップ変換に関連して大きな利点が得られる。

本発明において、ビデオ又はフレームシーケンスは、複数、すなわち少なくとも２つのフレーム又は画像を含む。また、そのようなフレームは、一連の１つ以上のスライスから構成されると考えられ、そのようなスライスは、画像要素又は画素の１つ以上のマクロブロックから構成される。本発明において、表現「画像要素」は、シーケンス中のフレーム又は画像の最小要素を示すために使用される。そのような画像要素は、色（赤色、緑色、青色、すなわちＲＧＢ空間における）又は輝度（Ｙ）及びクロミナンス（Ｃｒ、Ｃｂ又はＵ、Ｖで示される場合もある）等の関連する画像要素プロパティを有する。画像要素の一般的な一例は、フレーム又はピクチャの画素である。本発明は、所定のフレームレートの複数の連続フレームを含むビデオシーケンスに特に適応される。

画像要素は、画像要素のグループに編成される。表現「画像要素のグループ」は、復号化及び符号化中に共に処理される画像要素の集合へのフレーム及びスライスの任意の従来の周知の区画を示す。一般に、そのようなグループは、画像要素の矩形（Ｍ×Ｎ）又は正方形（Ｍ×Ｍ）グループである。そのようなグループ化の一例は、ビデオ圧縮規格におけるマクロブロックである。そのようなマクロブロックは、一般に１６×１６の画像要素のサイズを有する。マクロブロックは、１６×８、８×１６、８×８、８×４、４×８、及び４×４の画像要素等の複数のいわゆるサブマクロブロック区画から成る。８×８サブマクロブロック区画はサブマクロブロック又はサブブロックとして示される場合が多く、４×４区画はブロックとして示される場合が多い。

本発明の境界を有する画像は、全てのエッジに境界線を有し、基本的に画像の周囲にフレームを構成できる。あるいは、通常の形式とワイドスクリーン形式との切替時等に境界線は画像の向かい合うエッジに存在してもよい。更に境界線は、図１に示すように単一の画像エッジに沿って存在してもよい。従って、本発明に係る画像の境界領域は、画像の１つ以上のエッジに存在する１つ以上の画像要素行、１つ以上の画像要素列又は１つ以上の画像要素行及び列を含む。

従来技術において周知のように、境界領域又は境界線は、一般に黒色か又は非常に暗い色である。すなわち、ゼロ輝度又は低輝度を有する。本発明によると、境界領域は画像の１つ以上のエッジに沿い且つ比較的同様の色又は輝度値を有する任意の領域である。殆どの実際的な応用例において、境界領域は黒色（ゼロ輝度）又は少なくとも暗い色（低輝度値）である。しかし、本発明の教示は、例えば白色（一般に２^８輝度レベルの場合に２５５である最大輝度）又は明るい色（高輝度値）の他の「一色」の領域を識別するためにも利用される。

図２は、フレーム又はビデオシーケンスの画像等の画像の境界領域を識別する方法を示すフローチャートである。画像は、画像要素の複数の行及び列を含む。方法は、ステップＳ１において開始し、ステップＳ１は、画像の第１の行又は第１の列の画像要素のプロパティ値の平均値を計算することを含む。平均値の計算において使用される画像要素のプロパティ値は、上述のように輝度値であるのが好ましいが、本発明はそれに限定されない。以下において、画像の画像要素の列に沿う境界領域の識別に関連して本発明を更に詳細に説明する。その結果、ステップＳ１は、画像の第１の列のプロパティ値の平均値を計算することを含む。しかし、同一の手順が画像の画像要素の行に更に又は代わりに適用可能である。そのような場合、以下の説明における表現「列」は単純に「行」に置換され、表現「行」は「列」に置換される。

第１の列は、画像の左側又は右側のエッジに沿う最も外側の列であるのが好ましい。y_ijが列jの行iに位置する画像要素のプロパティ値を示す場合、ステップＳ１において列jに対する平均値AV_jは以下のように計算される：

式中、列jはM個の画像要素を含む。平均値AV_jは、列jの平均輝度値の表現であるのが好ましい。

次のステップＳ２は、列jの各画像要素及び隣接列j+1又はj-1の対応する画像要素に対するプロパティ値の各差分を判定する。プロパティ値の差分は、列j及び隣接列j±1の同一行に存在する画像要素に対して対毎に計算される。列j及び隣接列j±1はM個の画像要素を含むため、ステップＳ２において、M個のプロパティ値の差分が判定される。

隣接列j±1は、列jと比較して画像の中心により近接して位置する隣接列であるのが好ましい。例えば、現在の列jが画像の左側から右側に進む際の第１の列である場合、隣接列j+1は第２の列である。同様に、現在の列jが画像の左側から右側に進む際の最後の列である場合、隣接列j-1は最後から２番目の列である。

ステップＳ３において、平均差分値は、ステップＳ２で計算されたM個の差分に基づいて計算される。従って、列jに対するこの平均差分AD_jは以下のように計算される：

これは、次の列j+1が現在の列jに対して右側に（画像の中心に向かって）位置する場合である。あるいは：

これは、次の列j-1が現在の列jに対して左側に（画像の中心に向かって）位置する場合である。平均差分AD_jは、２つの隣接列間のプロパティ値、好ましくは輝度値の平均変化量の表現である。

その後、ステップＳ４は、列jの画像要素を画像の境界領域に属するもの又は属さないものとして分類するためにステップＳ１からの計算された平均値AV_j及び平均差分AD_jを利用する。

ステップＳ４において、現在の列jが画像の境界領域に属するものとして分類される場合、ステップＳ１〜Ｓ４のループは、列j±1の画像要素も境界領域に属するかを調査するために隣接列j±1に対して実行されるのが好ましい。これは、線Ｌ１により概略的に示される。この列j±1が平均値AV_j±1及び平均差分AD_j±1に基づいて境界領域として分類される場合、方法は、テストされる列が境界領域の列として分類されなくなるまで列j±1より画像の中心に近接して位置付けられる次の列j±2に適用される。

好適な一実施形態において、動作ステップＳ１〜Ｓ４により規定される方法は、画像エッジの１つに沿う最も外側の列又は行である第１の列又は第１の行に適用されるのが好ましい。列又は行が境界領域の列又は行として分類される場合、方法は、先にテスト及び分類された列又は行より画像の中心に近接する次の列又は行を調査することにより継続する。方法は、計算された平均値及び平均差分に基づいて境界領域に属するものとして分類されない列又は行に到達するまで継続する。方法は、反対側の画像エッジの最も外側の列又は行にも適用されるのが好ましい。それらの２つの画像エッジに沿う画像要素がテストされると、方法は残りの２つの画像エッジに対して適用されるのが好ましい。既にテストされた画像要素アレイが列（又は行）であった場合、残りの２つの画像エッジは行（又は列）となる。換言すると、図２に開示される本発明の境界領域識別方法は、全ての４つの画像エッジに沿う行及び列を調査するために適用されるのが好ましい。画像エッジがテストされる特定の順序は、並列であっても直列であっても、本発明の教示には重要ではない。

例えば、現在の行iがテストされる場合、行iの画像要素のプロパティ値の平均値AV_iが計算される。プロパティ値の差分は、現在の行iの画像要素及び隣接行i±1の同一列に存在する画像要素に対して判定される。ここで、隣接行i±1は現在の行iより画像の中心に近接する。そのような差分は、行iの画像要素毎に判定される。平均差分AD_iは、それらの判定された差分に基づいて計算される。現在の行iの画像要素は、計算された平均値AV_i及び平均差分AD_iに基づいて画像の境界領域に属するもの又は内部領域に属するものとして分類される。

図３は、図２の分類ステップＳ４の好適な一実施形態を示すフローチャートである。方法は、図２のステップＳ３から継続する。次のステップＳ１０において、分類パラメータCP_jは、現在の列jに対する平均値AV_j及び平均差分AD_jに基づいて計算される。ステップＳ１０の計算は、平均値及び平均差分の加重合計としてパラメータを計算することを含むのが好ましい：
CP_j＝αAV_j＋βAD_j （４）
式中、α及びβは２つの非ゼロ重みであり、好適な一実施形態において、双方は同等、すなわちα＝βであり、更に好ましくはα＝β＝1である。式１、式２及び式４を組み合わせることにより、分類パラメータに対する以下の式が得られる：

式１、式３及び式４を組み合わせることにより、以下の対応する式が得られる：

好適な画像要素プロパティとして輝度を利用する実施形態において、低輝度、すなわち黒色又は黒色に近い色の画像要素を有する列jは、比較的小さい、すなわちゼロに近い平均値AV_jを有する。同様に、明るい画像要素又は変動する輝度値を有する列jは、比較的大きい平均値AV_jを有する。更に、現在の列jと隣接列j±1との輝度の差分が小さい場合、すなわちそれらの列が同一又は略同一の輝度である場合、列jに対する平均差分AD_jはゼロであるか又はゼロに近い。しかし、隣接列j±1が高輝度である場合、平均差分AD_jは負になる。

好ましくは上記式４〜式６の任意の式に従ってステップＳ１０で計算される分類パラメータは、ステップＳ１１において閾値T1と比較される。現在の列jの画像要素の分類は、この閾値の比較に基づいて実行される。好適な一実現例において、分類パラメータが閾値より小さい場合、ステップＳ１２において列jは境界領域として分類される。それ以外の場合、すなわち分類パラメータが閾値を上回る（又は閾値と等しい）場合、ステップＳ１３において列jは非境界、すなわち内部領域に属するものとして分類される。

従って、暗い（低輝度の）画像要素を有し且つ／又は列jとその隣接列j±1との輝度の平均差分が負、すなわち隣接列j±1が比較的明るい（高輝度の）画像要素を有する列jは、閾値の実際の値に依存して境界領域として分類される。明るい列j（高輝度）及び／又は比較的暗い（低輝度の）隣接列j±1を有する列jは、画像の内部領域に属するものとして分類される可能性が更に高い。

ステップＳ１２において列jが境界列として分類される場合、現在の列jより画像の中心に１段階近いすぐ隣の列j+1又はj-1を分類するために図２のステップＳ１に継続するのが好ましい。この分類は、テストされる列が内部領域の列として分類されるまで画像の中心に向かって列毎に繰り返されるのが好ましい。画像の次の列のエッジは、上述したように行の２つのエッジと同様にテストされるのが好ましい。現在の列がステップＳ１３において内部の列として分類される場合、方法は、全ての画像エッジがテストされた時には終了し、あるいは他方の水平又は垂直の画像エッジをテストするために図２のステップＳ１に継続する。

境界領域が白色の線、すなわち高輝度を有する線に対応する場合、列（又は行）は、境界列（又は行）として分類され、計算された分類パラメータが規定の閾値を上回る場合、列（又は行）は内部領域の列（又は行）である。

ステップＳ１１の比較において利用される閾値は、テスト手順を介して判定されるのが好ましく、種々の入力画像は、本発明のアルゴリズムにより分類される。オペレータにより、閾値は、通常は画像の列及び行を境界領域又は内部領域として適切に分類する特定の値に調整又は設定される。そのようなテスト手順が実行され、適切な候補として２４の閾値が与えられる。しかし、本発明はこの特定の値に限定されない。

より複雑な実施形態において、閾値は現在の画像の画像要素のプロパティに基づいて調整又は設定される。この手順を図５に示す。方法は、ステップＳ２０において開始する。ステップＳ２０において、画像要素の平均プロパティ値APVが画像に対して判定される：

式中、画像はM行N列の画像要素を含み、各画像要素は画像要素プロパティ値y_ijを有する。次のステップＳ２１は、計算された平均プロパティ値に基づいて閾値T1を判定又は調整する。その後、図２のステップＳ１に継続する。

本実施形態は、画像の特定のプロパティ値に基づいて閾値を調整又は設定するという利点を有する。これは、より明るい画像と比較して、異なる閾値が非常に低い輝度の画像要素を有する暗い画像に対して使用されることを意味する。ここで、画像要素は比較的大きい輝度値を有する。先の例において、閾値はより明るい画像に対して使用される閾値と比較して小さいのが好ましい。

本実施形態において、平均プロパティ値の種々の間隔に対して適応される利用可能な種々の閾値の集合が存在する。例えば、0≦APV＜k₁の場合、第１の閾値が利用され、k₁≦APV＜k₂の場合、好ましくはより大きい第２の閾値が使用される。ステップＳ２１は、現在の平均プロパティ値が入る間隔をチェックすることを含み、その間隔に関連付けられるか又は割り当てられる閾値を使用する。

別の可能な実現例は、２４等のデフォルトの閾値を有し、以下のように判定された平均プロパティ値に基づいてその値を調整することである：
T1＝DT−κ(DV−AVP) （８）
又は
T1＝DT×κ×AVP／DV （９）
式中、DTはデフォルトの閾値であり、κは１又は他のゼロでない正数である非ゼロ重みである。DVは、画像の計算された平均プロパティ値が閾値調整において比較される対象となるデフォルト値である。式８及び式９の双方において、より暗い画像はより明るい画像と比較して小さく調整された閾値を有する。

図４は、本発明に従って識別可能な境界領域７０を有する画像４０の一部分を示す概略図である。図中、画像要素３０の５つの列１０〜１６（５つのうち４つが図中符号を割り当てられている）を示す。右側の列１０は、エッジ列、すなわち画像４０の最も右側の列１０である。図から分かるように、列１０の画像要素３０は明らかに境界領域７０を形成する黒色の線の一部である。これは、列１０の全ての画像要素３０が黒色又は黒色に非常に近いため明らかである。更に、隣接列１２の画像要素は、同一行の画像要素と比較するとより大きい輝度値を有する。その結果、列１０に対する分類パラメータは実際にはゼロより小さい。外側から２番目の列１２は先行列１０と同一のゼロ輝度を有さない。しかし、その列１２の画像要素３０は、次の列１４と比較すると負の平均差分を与えるため、依然として境界領域７０に属するものとして分類される。その結果、列１２に対する分類パラメータも閾値より小さい。

しかし、次の列１４は更に明るい画像要素３０を有する。更に、列１４及び画像の中心に１段階近い隣接列１６に対する輝度値の対毎の差分は、列１４の分類パラメータが閾値より小さくなるように列１４の平均輝度を減少させるのに十分なほど負ではない。その結果、この列１４は画像４０の内部画像７５に属するものとして分類される。

従って、本発明は、分類パラメータの平均差分値を使用して、全ての画像要素３０が黒色ではないが画像要素３０の列１２（又は行）を境界領域７０に属するものとして識別及び分類できる。この列１２全体が黒色ではないが、列１２が黒色の線７０の一部として識別及びラベル付けされることが重要である。そのように識別及びラベル付けされない場合、画像コンテンツより暗いためにフレームレートアップ変換中に中間画像にアーティファクトを生じる可能性がある。

図６は、図２の識別方法の追加のステップを示す。方法は、列（又は行）が画像の境界領域に属するものとして識別された図２のステップＳ４から継続する。次のステップＳ３０は、現在の列jの画像要素及び同一列jの隣接画像要素のプロパティ値の第１の差分FDを計算する：
FD＝y_ij−y_(i±1)j （１０）
従って、画像要素が列jの行iに存在する場合、隣接画像要素は列jの行i+1又はi-1に存在する。ステップＳ３１において、第２の差分SDは、画像要素のプロパティ値と列jのプロパティ値の平均値AV_jとの間で計算される：

第１の差分が第２の差分と最大閾値以上異なる場合、現在の画像要素は、境界領域ではなく内部領域に属するものとして再分類される。例えばこの比較は、ステップＳ３２に示すように実行される。ステップＳ３２において、第１の差分と第２の差分との差分の絶対値が最大閾値T2と比較される。絶対値が閾値以下である場合、画像要素は依然として境界画像要素と考えられ、方法は終了する。しかし、絶対値が閾値を上回る場合、ステップ３３に継続し、画像要素は内部画像領域に属するものとして再分類される。更なる可能な比較は、第１の差分及び第２の差分の商又は第１の差分の絶対値及び第２の差分の絶対値の商を計算することである。その後、商は閾値と比較される。

ステップＳ３３の別の一実施形態において、調査された画像要素だけでなく列全体が内部画像領域に属するものとして再分類される。これは、先に境界領域の列として分類された列がステップＳ３３で再分類される少なくとも１つの画像要素、あるいは少なくとも最小倍数の画像要素を含む場合、列全体が内部領域の列として再分類されることを意味する。これにより、列の画像要素の一部が境界領域として分類され且つ他の画像要素が内部画像領域の一部として考えられる断続的な列は防止される。

このオプションの好適な再分類の実施形態は、画像エッジと関連する局所的な変化を区別するために使用される。従って、画像エッジに近接する画像の内部領域は夜空を示すなど比較的暗い可能性があるが、この画像の一部分は暗い空の星又は月に対応する画像要素等の非常に明るい画像要素を含む。そのような場合、星又は月に対応する列の１つ以上の画像要素の高輝度は、特に閾値の適応が利用されない場合、閾値を上回る分類パラメータを得て内部領域として列を分類するのに十分でない可能性がある。上述され且つ図６に開示される方法の追加のチェックは、「困難な」暗い画像と関係して発生するそのような間違った分類を訂正するために利用される。

上述され且つ図６に提示される方法は、現在の列jの全ての画像要素に対して繰り返されるのが好ましい。好適な一実施形態において、方法は列jの第１のy_0j（又は最後のy_(M-1)j）画像要素から開始し、その画像要素は、ステップＳ３０において列jの次の画像要素y_1j（又はy_(M-2)j）と比較される。列j全体が再分類されるのと同様に、図６に係る再分類を必要とする画像要素が識別されると、現在の列jの画像要素の調査は必要に応じて終了する。更に、図６に示す動作ステップは、最初に境界領域に属するものとして分類された全ての列及び／又は行に対して繰り返されるのが好ましい。

特に本発明の分類は、境界領域又は黒色の線が補間又は補外された画像又はフレーム内に現れるのを防止するためのフレームレートアップ変換に関係する利点を有する。

図７は、ビデオシーケンスの時刻と関連付けられる画像又はフレームの少なくとも１つの画像要素のグループのプロパティ値を推定する方法を示すフローチャートである。この推定は、フレーム補間又は補外により１つ以上のフレームをビデオシーケンスに追加するためのフレームレートアップ変換手順の一部として実行されるのが好ましい。

方法は、オプションのステップＳ４０から開始し、推定に使用するビデオシーケンスの少なくとも２つの画像が識別される。一般的な一実施形態において、１つの画像は補間される中間画像に対して先行する時刻に対応し、他の画像はシーケンスの後続する時刻に対応する。好適な一実施形態において、２つの画像は、時間に関して中間画像の直前及び直後に位置する画像である。換言すると、画像は隣接画像として考えられる。この画像補間において、３つ以上の画像が実際に使用される。例えば、時刻t_kの画像を補間するために、時刻t_k-1、t_k-3、．．．、t_k+1-2Pに対応するP個の先行画像及び時刻t_k+1、t_k+3、．．．、t_k-1+2Qに対応するQ個の後続画像が使用される。

同様に、時刻t_kの画像又はフレームを補外する時、時刻t_k-1、t_k-3、．．．、t_k+1-2Pの２つ以上の先行画像又は時刻t_k+1、t_k+3、．．．、t_k-1+2Qの２つ以上の後続画像が使用される。

次のステップＳ４１は、補間又は補外において参照画像として使用される少なくとも２つの画像のうちの少なくとも第１の画像の境界画像要素を識別する。このステップＳ４１は、本明細書において上述したように実行され、黒色の線又は他の境界領域の一部を形成する２つの画像の０個又は１つ以上の画像エッジと関係する任意の画像要素を識別する。

次のステップＳ４２は、分類された第１の画像の複数の画像要素の第１のグループを提供する。この第１のグループは、ステップＳ４１で境界領域に属するものとして識別された少なくとも１つの画像要素と、ステップＳ４１で第１の画像の境界領域に属さないものとして識別された少なくとも１つの画像要素とを含む。例えば、画像要素グループが４×４の画像要素を含む場合、１つ、２つ又は３つの列及び／又は行の画像要素は境界画像要素として分類され、残りの画像要素は内部画像要素である。

ステップＳ４３は、ビデオシーケンスの先行又は後続する時刻と関連付けられる第２の（先行又は後続）画像の少なくとも１つの画像要素の第２のグループを識別する。第２のグループは、第１のグループと関連付けられる変位ベクトルに基づいて識別されるのが好ましい。従って、変位ベクトルは、第２の画像において第１のグループが有していた対応する位置から適用される場合、第２のグループの方向を指し示す。

最後に、補間／補外されるグループのプロパティ値は、第１の画像の境界領域に属さないものとして識別された第１のグループの画像要素のプロパティ値及び第２のグループのプロパティ値に基づいて識別される。ステップＳ４１の境界識別が第２の画像にも適用される場合、ステップＳ４４は、補間／補外されるグループを判定するために、第１の画像の境界領域に属さないものとして識別された画像要素及び第２の画像の境界領域に属さないものとして識別された画像要素を利用することのみを含む。

従って、本発明の画像要素の分類及び識別は、画像要素の補間／補外から境界領域の一部を形成するものとして識別される画像要素を除外するために利用される。これに対して、判定されるグループの画像要素に対するプロパティ値を計算する時、境界領域に属するものとして識別されない画像要素のみが基準画像要素として利用可能である。この境界画像要素の除外により、境界領域（黒色の線）が補間／補外される画像に現れる可能性が低減され、そのようなアーティファクトの発生は非常に減少する。

図８は、図７の提供ステップ及び識別ステップの可能な実現例を更に詳細に示す。方法は、図７のステップＳ４１から継続する。次のステップＳ５０は、第１の画像の複数、すなわち少なくとも２つの候補グループの集合を提供する。それらの候補グループの各々は、少なくとも１つの画像要素、一般的には複数の画像要素を含み、各変位表現又はベクトルと関連付けられる。それらの変位ベクトルは、フレームのインター符号化、すなわちビデオコーデックから取り出されるか、あるいは動き推定探索から判定される。

ステップＳ５1は、線Ｌ２により概略的に示されるように候補グループ毎に第２の画像の少なくとも１つの画像要素の各参照グループを識別する。候補グループと関連付けられる参照グループは、候補グループと関連付けられる変位ベクトルに基づいて識別されるのが好ましい。従って、変位ベクトルは、第２の画像において候補グループが有していた対応する位置から適用される場合、参照グループの方向を指し示す。

次のステップＳ５２は、線Ｌ２により概略的に示されるように候補グループ毎に候補グループ及びその識別された参照グループの画像要素のプロパティ値の差分を表す差分基準を計算する。好適な一実施形態において、基準は、候補グループ及び参照グループの対応する位置を占める画像要素に対するプロパティ値の差分の絶対値に基づいて計算される。そのような差分基準の好適な例には、従来技術において周知の絶対値差分和（ＳＡＤ）及び平方差分和（ＳＳＤ）が含まれる。

次のステップＳ５３は、計算された差分基準に基づいて提供されたグループの集合から候補グループを選択する。すなわち、最小ＳＡＤ又はＳＳＤ基準を結果として与える候補グループを選択するのが好ましい。選択した候補グループ及び選択した候補グループと関連付けられる参照グループのプロパティ値に基づいて補間／補外フレームのグループのプロパティ値を判定する図７のステップＳ４４に継続する。好適な一実施形態において、画像要素プロパティ値は、選択した候補グループ及び関連する参照グループのプロパティ値の線形結合として判定される。選択したグループのプロパティ値に適用される任意の重み及び関連するグループのプロパティ値の任意の重みは、それぞれ補間／補外フレームと選択した候補グループを含む第１のフレームとの時間の差分及び補間／補外フレームと第２のフレームとの時間の差分に基づいて判定されるのが好ましい。換言すると、時間の経過がより長い時間の経過と比較して短い場合、より大きい重みが使用される。更にフレームの重みの値は、従来技術において周知のように加速を反映するために利用される。尚、候補グループ及び／又は参照グループの本発明に係る境界画像要素として分類されない画像要素のみがステップＳ４４の判定において利用される。

上述の実施形態において、候補グループと関連付けられる参照グループは、割り当てられる変位ベクトルに基づいて識別されるか、あるいは候補グループに対して推定される。これは、判定されるグループから参照グループに進む時と同様に、同一のベクトルが候補グループから補間／補外されるグループに移動するために使用されると推定する。しかし、本発明はこれに限定されない。

別の実施形態において、第１のフレームの複数の第１の候補グループの第１の集合が提供されるのと共に、第２のフレームに存在する複数の第２の候補グループの第２の集合は提供される。また、これらの第２の候補グループは、それぞれ少なくとも１つの画像要素を含み、好ましくはそれぞれ変位ベクトルを有する。差分基準は、第１の集合の１つの第１の候補グループ及び第２の集合の１つの第２の候補グループの対毎に計算される。あるいは、第１の候補及び第２の候補の全ての組合せがテストされるわけではなく、それらのうち限定された部分のみがテストされ、第１のフレーム及び第２のフレームの同一のフレーム位置に存在するグループ及び他のフレームの他の候補グループを識別する関連する変位ベクトルを有するグループ等の候補グループの妥当な組合せを反映する。

その後、第１の候補グループ及び第２の候補グループは、差分基準に基づいて選択される。判定されるグループの画像要素プロパティ値は、上述のようにそれらの選択した候補グループのプロパティ値に基づいて計算されるが、２つの候補グループの境界画像要素は除外される。

図９は、第１のフレーム４０、第２のフレーム５０及びフレームレートアップ変換中に判定される中間フレーム６０を有するビデオシーケンス１の一部分を示す。判定される画像要素のグループ６２は、中間フレーム６０に示される。適切な第１の候補グループ４２、４４、４６を第１のフレーム４０に示し、対応する第２の候補グループ５２、５４、５６を第２のフレーム５０に示す。一般的にこれらの候補グループは、グループ６２が中間フレーム６０において有する位置と対応する位置を第１のフレーム４０及び第２のフレーム５０に有するグループ４２、５２を含む。それらのグループ４２、５２の変位ベクトル４１、５１は図示されており、判定されるグループ６２を通過する。他の候補は、対応する位置を有する候補グループ４２、５２の隣接グループ４４、５４を含む。また、中間フレーム６０のグループ６２を通過する関連する変位ベクトル４３、５３を有するグループ４６、５６は、本発明に係る好適な候補グループである。

図１０は、図７の推定方法の追加のステップを示すフローチャートである。方法は、図７のステップＳ４１から継続する。次のステップＳ６０において、第１の画像において識別される境界領域の相対サイズは、第２の画像において識別される境界領域のサイズと比較される。更に、それらの２つの境界領域は、第１の画像及び第２の画像の同一の画像エッジ、すなわち上部の水平エッジ、下部の水平エッジ、左側の垂直エッジ又は右側の垂直エッジに対応する。ステップＳ６０は、２つの境界領域間のサイズの差分SDを計算することを含む。サイズの差分は、２つの境界領域の列数（又は行数）の差分を表せる。あるいは、サイズの差分は、２つの対応する境界領域間の画像要素数の差分の表現である。

ステップＳ６１の比較において、２つの境界領域間のサイズの差分SDが閾値T3以下である場合、図７のステップＳ４２に継続する。しかし、ステップＳ６１において、サイズの差分が閾値を上回る場合、ステップＳ６２に継続し、第２の画像（又は第１の画像）の画像要素の再分類は第１の画像（又は第２の画像）において識別される境界領域のサイズに基づいて実行される。そのような場合、第１の画像（又は第２の画像）の境界領域に属するものとして識別された第１の画像（又は第２の画像）の画像要素と対応する位置を有する第２の画像（又は第１の画像）の画像要素は、第２の画像（又は第１の画像）の境界領域に属するものとして分類される。その後、ステップＳ４２に継続する。

従って、ステップＳ６０〜Ｓ６２のこのチェックにより、ビデオシーケンスにおいて１つの画像から次の画像に移動する時に対応する画像エッジの境界領域のサイズが非常に増加するか又は減少するかを調査する。例えば、境界領域のサイズは、第１の画像の１つのエッジに沿う２列であってもよい。しかし、ビデオシーケンスの次の画像は、同一の画像エッジに沿う７列を含むものとして分類された境界領域を有する。そのような場合、内部画像要素の一部が境界画像要素と想定されるため間違って分類されている可能性がある。これは、特に閾値調整が実行されない場合であり、特に画像が夜空を示すなど非常に暗く、そのため内部画像要素と境界画像要素との間の輝度値の差分が殆どない時に起こる。識別された境界領域のサイズを先に分類された画像又は先に分類された複数の画像の対応するサイズと比較することにより、そのような間違った分類は上述し且つ図１０に示す手順に従って識別及び訂正される。これは、上述の例を挙げると、第２の画像の境界領域のサイズが第１の画像と対応するサイズ、すなわち２列を有するように再設定されることを意味する。５つの「間違って分類された」列の画像要素は、ステップＳ６２において、境界画像要素ではなく内部画像要素として再分類される。これは、それらの５つの「間違って分類された」列の画像要素がこの時点で内部画像要素と考えられるため、補間／補外において参照画像要素として利用可能であることを意味する。

図１３は、本発明に係る画像分類を利用するフレームレートアップ変換の結果を示す。補間画像６０から分かるように、左側の画像５０の右側のエッジに存在する境界は、補間画像６０の内部領域内に現れない。非常に対照的に、最も外側の右側の列の画像要素を本発明の境界画像要素としてラベル付けすることにより、それらの画像要素は補間から除去され、従来技術を利用する図１の中央の画像に存在する黒色の線が図１３の画像６０内に現れるのを防止する。非常に対照的に、暗い境界画像は、図中で行なわれてるように、単純に境界画像要素のプロパティ値（輝度）を補間画像６０の対応する位置を占める画像要素に割り当てることにより別個に処理される。更に詳細には、補間／補外に使用される２つの参照フレームの境界の最大値と等しい幅を有する境界が作成される。作成された境界領域の画像要素には、参照画像の平均（補間の場合）画像要素値が埋められる。すなわち、動き補償は必要ない。補間画像の境界の位置(i,j)の画像要素は、単純に２つの（先行及び後続）参照フレームの同一の位置を占める２つの画像要素のプロパティ値の平均値として判定される。

フレームレートアップ変換方式における構成されたフレーム又は画像の品質は、本発明を適用することにより向上される。これは、画像境界に近接する領域が更に正確に提示されることを意味する。更に本発明は、（黒色の）線が構成された画像内に移動するのを防止し、全体的により高い品質が体験される。

図１１は、本発明の一実施形態に係る領域識別器１００を示す概略ブロック図である。領域識別器１００は、現在の行又は列（行／列）の画像要素のプロパティ値の平均値を計算する計算器１１０を含む。差分判定器１２０は、行／列の画像要素毎に画像要素及び画像の隣接行／列の同一の列／行に存在する対応する画像要素のプロパティ値の差分を判定するように識別器１００に構成される。計算器１３０は、現在の行／列に対する平均差分を計算するために判定した差分値を使用する。

領域識別器１００は、２つの計算器１１０、１３０からの平均値及び平均差分に基づいて現在の行／列の画像要素を境界領域又は内部画像領域に属するものとして分類するように構成される分類器１４０を更に含む。

好適な一実施形態において、識別器１００は、先に開示したように平均値及び平均差分、すなわち平均値及び平均差分の合計又は加重合計に基づいて分類パラメータを計算するパラメータ計算器１６０を含む。比較器１７０は、連想メモリ１５０から取り出されるような閾値と分類パラメータとを比較するために識別器１００に提供される。本実施形態において、分類器１４０は、比較に基づいて現在の行／列の画像要素を境界領域に属するもの又は属さないものとして分類するように構成される。黒色の線／境界と関連して適用可能な好適な一実現例において、分類パラメータが閾値を下回る場合、現在の行／列は画像の境界領域に属するものとして分類される。

領域識別器１００のオプションの一実施形態は、閾値判定器又は調整器１８０を含む。そのような場合、平均値計算器１１０は、画像又は少なくとも画像の大部分のプロパティ値の平均値を計算するように更に構成される。判定器１８０は、分類パラメータと共に比較器１７０により使用される閾値を判定、選択又は調整するためにその平均プロパティ値を利用する。

別のオプションの実施形態において、差分判定器１２０は、境界の行／列として分類された行／列の現在の画像要素及び同一の行／列の隣接する画像要素のプロパティ値の第１の差分を判定するように構成される。判定器１２０は、現在の画像要素のプロパティ値と平均値計算器１１０により計算される平均値との第２の差分を更に計算する。本実施形態において、第１の差分が第２の差分とメモリ１５０から取り出されるような最大閾値以上異なる場合、分類器１４０は、現在の画像要素又は実際には画像要素が属する境界の行／列を非境界画像要素又は非境界の行／列として再分類する。この手順は、「間違って分類された」画像要素を検出した際に行／列全体の再分類が分類器１４０により実行されない限り、現在の行／列の画像要素毎に実行される。更に、手順は、境界の行／列として分類された画像の全ての行／列に適用されるのが好ましい。

領域識別器１００は、画像の最も外側の全ての列及び行を調査し、外側の行又は列が本発明に従って境界の行又は列として分類される場合は更に内部の行及び列に対する調査を継続するのが好ましい。

領域識別器１００のユニットは、ハードウェア、ソフトウェア、並びに／あるいはハードウェア及びソフトウェアの組合せで提供可能である。ユニットは、有線又は無線通信システムのノードにおいて実現されるか又はノードに接続されるようなビデオ又は画像処理端末又はサーバで実現可能である。あるいは、領域識別器１００のユニットは、ＴＶ復号器、コンピュータ、移動電話、あるいは画像レンダリングデバイスを有するか又はそれに接続される他のユーザ機器等のユーザ端末に構成可能である。

図１２は、画像要素のグループの少なくとも１つの画像要素のプロパティ値を推定することによりグループを判定するデバイス２００を示す概略ブロック図である。デバイス２００は、ビデオシーケンスの少なくとも第１の画像及び第２の画像を識別するフレーム又は画像識別器２１０をオプションとして含む。それらの２つの画像は、判定されるグループを含む現在の画像と比較してシーケンス中の異なる時刻と関連付けられる。グループの補間の場合、第１の画像は先行又は後続画像であり、第２の画像は後続又は先行画像である。グループの補外の場合、第１の画像及び第２の画像の双方は現在の画像に対して先行又は後続画像である。

判定デバイス２００は、上述し且つ図１１に示す本発明に係る領域識別器１００を含む。領域識別器１００は、画像の各境界領域に属するものとして分類される第１の画像及び好ましくは第２の画像の画像要素を識別するために利用される。

グループ提供器２２０は、第１の画像の複数の画像要素の第１のグループを提供するようにデバイス２００に構成される。このグループは、識別器１００により境界画像要素として分類された少なくとも１つの画像要素及び識別器１００により非境界画像要素として分類された少なくとも１つの画像要素を含む。デバイス２００は、第２の画像の少なくとも１つの画像要素、好ましくは複数の画像要素の第２のグループを識別するグループ識別器２３０を更に含む。値判定器２６０は、提供器２２０及び識別器２３０からの２つのグループ中の境界画像要素として分類されない画像要素のプロパティ値に基づいて判定されるグループのプロパティ値を判定する。

値判定器２６０は、動き補償を使用する補間／補外とは別個に境界領域に存在する画像要素のプロパティ値を更に判定するのが好ましい。好適な一実施形態において、デバイス２００のサイズ比較器２７０は、画像の補間／補外に使用される２つの参照画像の相対境界サイズを画像エッジ毎に比較する。構成される画像のエッジの境界は、参照画像のエッジの最大の境界として選択される。境界画像要素のプロパティ値は、参照画像の同一の位置を占める画像要素のプロパティ値に基づいて計算される。境界の位置(i,j)の画像要素は、参照フレームの同一の位置(i,j)を占める画像要素のプロパティ値の平均値と等しいプロパティ値を得る。

オプションの一実施形態において、集合提供器２５０は、第１の画像の複数の候補グループの集合を提供するようにデバイス２００に構成される。各候補グループは、少なくとも１つの画像要素を含み、各変位ベクトルを有する。グループ識別器は、候補グループ毎に第２の画像の第２の各グループを識別する。この識別は、候補グループと関連付けられる変位ベクトルに基づいて実行されるのが好ましい。基準計算器２４０は、候補グループ毎に差分基準を計算する。ここで、基準は候補グループ及びその識別された第２のグループのプロパティ値の差分を表す。基準は、ＳＡＤ又はＳＳＤ基準であるのが好ましい。すなわち、画像要素の差分の絶対値に基づくのが好ましい。

本実施形態において、グループ提供器２２０は、計算器２４０による差分基準に基づいて提供された集合から候補グループを選択するように、すなわち好ましくは最小（ＳＡＤ又はＳＳＤ）差分基準を有する候補グループを選択するように構成される。値判定器２６０は、選択した候補グループ及び関連する第２のグループのプロパティ値に基づいて、一般的には２つのグループ中の境界画像要素を除外したグループの画像要素値の線形結合に基づいて現在のグループのプロパティ値を判定する。

オプションのサイズ比較器２７０は、第１の画像の境界領域及び第２の画像の同一の画像エッジと関連する境界領域の相対サイズを比較するために判定デバイス２００に提供されるのが好ましい。分類器２８０は、サイズの差分が閾値を上回る場合に境界画像要素として先に分類された第２の画像の画像要素を内部画像要素に再分類するためにそのサイズ比較を使用する。再分類された画像要素は、第１の画像の内部領域として分類される画像位置を占める。しかし、それらは領域識別器１００により第２の画像の境界領域として分類されていた。

判定デバイス２００のユニットは、ハードウェア、ソフトウェア、並びに／あるいはハードウェア及びソフトウェアの組合せで提供可能である。ユニットは、有線又は無線通信システムのノードにおいて実現されるか又はノードに接続されるようなビデオ又はフレーム処理端末又はサーバで実現可能である。あるいは、判定デバイス２００のユニットは、ＴＶ復号器、コンピュータ、移動電話、あるいは画像レンダリングデバイスを有するか又はそれに接続される他のユーザ機器等のユーザ端末に構成可能である。

添付の請求の範囲により規定される本発明の範囲から逸脱せずに、本発明に対して種々の変形及び変更が行なわれてもよいことは、当業者には理解されるだろう。

Claims (20)

1. 画像要素の行及び列を含む画像のエッジの境界領域を識別する方法であって、
   −前記画像の行又は列の画像要素のプロパティ値の平均値を計算するステップと、
   −前記行又は列の画像要素毎に、前記画像要素と、前記画像の隣接行又は隣接列の同一の列又は行に存在する画像要素とのプロパティ値の差分を判定するステップと、
   −前記差分の行又は列方向における平均である平均差分を計算するステップと、
   −前記平均値及び前記平均差分の加重合計として分類パラメータを計算するステップと、
   −前記分類パラメータを閾値と比較するステップと、
   −前記分類パラメータが前記閾値を下回る場合に、前記行又は列の画像要素を前記境界領域に属するものとして分類するステップと
   を有することを特徴とする方法。
2. −前記画像の前記画像要素のプロパティ値の平均値を判定するステップと、
   −前記画像の前記画像要素の前記プロパティ値の前記平均値に少なくとも部分的に基づいて前記閾値を判定するステップと
   を更に有することを特徴とする請求項１記載の方法。
3. 前記隣接行又は列は、前記行又は列と比較して前記画像の中心により近接して位置する隣接行又は列であることを特徴とする請求項１又は２に記載の方法。
4. 前記行又は列が前記境界領域に属するものとして分類される場合に前記隣接行又は列について、前記平均値を計算するステップと、前記判定するステップと、前記平均差分を計算するステップと、前記分類するステップとを繰り返すことを特徴とする請求項１から３のいずれか１項に記載の方法。
5. −前記行又は列の画像要素と、隣接列又は隣接行の同一の行又は列に存在する画像要素のプロパティ値との第１の差分を計算するステップと、
   −前記画像要素の前記プロパティ値と前記平均値との第２の差分を計算するステップと、
   −前記第１の差分が前記第２の差分と最大閾値以上異なる場合に前記画像要素を前記境界領域に属さないものとして分類するステップと
   を更に有することを特徴とする請求項１から４のいずれか１項に記載の方法。
6. 前記分類するステップにおいては、前記第１の差分が前記第２の差分と最大閾値以上異なる場合に前記行又は列の前記画像要素を前記境界領域に属さないものとして分類することを特徴とする請求項５記載の方法。
7. 前記画像要素の前記プロパティ値は輝度値であることを特徴とする請求項１から６のいずれか１項に記載の方法。
8. ビデオシーケンスの補間される中間画像における少なくとも１つの画像要素のグループのプロパティ値を推定する方法であって、
   −請求項１から７のいずれか１項に従って、前記ビデオシーケンスの第１の異なる時刻と関連付けられる第１の画像のエッジの境界領域に属する画像要素を識別するステップと、
   −前記第１の画像の前記境界領域に属するものとして識別された少なくとも１つの画像要素と、前記第１の画像の前記境界領域に属さないものとして識別された少なくとも１つの画像要素とを含む第１のグループを前記第１の画像に提供するステップと、
   −前記ビデオシーケンスの第２の異なる時刻と関連付けられる第２の画像における少なくとも１つの画像要素の第２のグループを識別するステップと、
   −前記第１の画像の前記境界領域に属さないものとして識別された前記第１のグループの前記画像要素のプロパティ値と前記第２のグループのプロパティ値とに基づいて、前記補間される中間画像における画像要素のグループの前記プロパティ値を判定するステップと
   を有することを特徴とする方法。
9. 前記第２のグループを識別するステップにおいては、前記第１のグループと関連付けられる変位ベクトルに基づいて前記第２の画像の前記第２のグループを識別することを特徴とする請求項８記載の方法。
10. 前記第２の画像のエッジの境界領域に属する画像要素を識別するステップを更に有し、
    前記判定するステップにおいては、前記第１の画像の前記境界領域に属さないものとして識別された前記第１のグループの前記画像要素のプロパティ値と、前記第２のグループの前記境界領域に属さないものとして識別された前記第２のグループの画像要素のプロパティ値とに基づいて、前記グループの前記プロパティ値を判定する
    ことを特徴とする請求項８又は９記載の方法。
11. −前記第１の画像の前記境界領域及び前記第２の画像の前記境界領域のサイズの差分を計算するステップと、
    −前記サイズの差分が閾値を上回る場合に前記第１の画像の前記境界領域に属するものとして識別された前記第１の画像の画像要素と対応する位置を有する前記第２の画像の画像要素を、前記第２の画像の前記境界領域に属するものとして分類するステップと
    を更に有することを特徴とする請求項１０記載の方法。
12. 画像要素の行及び列を含む画像のエッジの境界領域を識別する領域識別器であって、
    −前記画像の行又は列の画像要素のプロパティ値の平均値を計算する平均値計算手段と、
    −前記行又は列の画像要素毎に、前記画像要素及び前記画像の隣接行又は列の同一の列又は行に存在する画像要素のプロパティ値の差分を判定する差分判定手段と、
    −前記差分の行又は列方向における平均である平均差分を計算する平均差分計算手段と、
    −前記平均値及び前記平均差分の加重合計として分類パラメータを計算するパラメータ計算手段と、
    −前記分類パラメータを閾値と比較する比較手段と、
    −前記分類パラメータが前記閾値を下回る場合に、前記行又は列の画像要素を前記境界領域に属するものとして分類する分類手段と
    を具備することを特徴とする領域識別器。
13. 前記平均値計算手段は、前記画像の前記画像要素のプロパティ値の平均値を計算するように構成され、
    前記領域識別器は、前記画像の前記画像要素の前記プロパティ値の前記平均値に少なくとも部分的に基づいて前記閾値を判定する閾値判定手段を具備する
    ことを特徴とする請求項１２記載の領域識別器。
14. 前記平均値計算手段は、前記行又は列が前記境界領域に属するものとして分類される場合に前記隣接行又は列に対する対応する平均値を計算するように構成され、
    前記差分判定手段は、前記行又は列が前記境界領域に属するものとして分類される場合に前記隣接行又は列に対するプロパティ値の対応する差分を計算するように構成され、
    前記平均差分計算手段は、前記行又は列が前記境界領域に属するものとして分類される場合に前記隣接行又は列に対する対応する平均差分を計算するように構成され、
    前記分類手段は、前記行又は列が前記境界領域に属するものとして分類される場合に前記隣接行又は列の画像要素を分類するように構成される
    ことを特徴とする請求項１２又は１３に記載の領域識別器。
15. 前記差分判定手段は、i）前記行又は列の画像要素と、隣接列又は隣接行の同一の行又は列に存在する画像要素のプロパティ値との第１の差分を判定し、ii）前記画像要素の前記プロパティ値と前記平均値との第２の差分を判定するように構成され、
    前記分類手段は、前記第１の差分が前記第２の差分と最大閾値以上異なる場合に前記画像要素を前記境界領域に属さないものとして再分類するように構成される
    ことを特徴とする請求項１２から１４のいずれか１項に記載の領域識別器。
16. 前記分類手段は、前記第１の差分が前記第２の差分と最大閾値以上異なる場合に前記行又は列の前記画像要素を前記境界領域に属さないものとして再分類するように構成されることを特徴とする請求項１５記載の領域識別器。
17. ビデオシーケンスの補間される中間画像の少なくとも１つの画像要素のグループのプロパティ値を推定するデバイスであって、
    −前記ビデオシーケンスの第１の異なる時刻と関連付けられる第１の画像のエッジの境界領域に属する画像要素を識別する請求項１２から１６のいずれか１項に記載の領域識別器と、
    −前記第１の画像の前記境界領域に属するものとして識別された少なくとも１つの画像要素と、前記第１の画像の前記境界領域に属さないものとして識別された少なくとも１つの画像要素とを含む第１のグループを前記第１の画像に提供するグループ提供手段と、
    −前記ビデオシーケンスの第２の異なる時刻と関連付けられる第２の画像の少なくとも１つの画像要素の第２のグループを識別するグループ識別手段と、
    −前記第１の画像の前記境界領域に属さないものとして識別された前記第１のグループの前記画像要素のプロパティ値と前記第２のグループのプロパティ値とに基づいて、前記補間される中間画像における画像要素のグループの前記プロパティ値を判定する値判定手段と
    を具備することを特徴とするデバイス。
18. 前記グループ識別手段は、前記第１のグループと関連付けられる変位ベクトルに基づいて前記第２の画像の前記第２のグループを識別するように構成されることを特徴とする請求項１７記載のデバイス。
19. 前記領域識別器は、前記第２の画像のエッジの境界領域に属する画像要素を識別するように構成され、
    前記値判定手段は、前記第１の画像の前記境界領域に属さないものとして識別された前記第１のグループの前記画像要素のプロパティ値と、前記第２のグループの前記境界領域に属さないものとして識別された前記第２のグループの画像要素のプロパティ値とに基づいて前記グループの前記プロパティ値を判定するように構成される
    ことを特徴とする請求項１７又は１８記載のデバイス。
20. −前記第１の画像の前記境界領域及び前記第２の画像の前記境界領域のサイズの差分を計算するサイズ比較手段と、
    −前記サイズの差分が閾値を上回る場合に前記第１の画像の前記境界領域に属するものとして識別された前記第１の画像の画像要素と対応する位置を有する前記第２の画像の画像要素を前記第２の画像の前記境界領域に属するものとして分類する分類手段と
    を更に具備することを特徴とする請求項１９記載のデバイス。