JP4735063B2 - 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム - Google Patents

Description

本発明は、動画像変換装置、動画像変換方法、及びコンピュータ・プログラムに関する。特に画素間引き圧縮データから復元画像を再構成する動画像変換装置、動画像変換方法、及びコンピュータ・プログラムに関する。

動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。

動画像の圧縮処理方法としては、例えば、動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。

このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。

このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。

特開２００３−１６９２８４号公報 特開２００２−２７４６６号公報

ところで、上述した圧縮データには、間引き画像とともに動きベクトルが含まれる。ここで、動きベクトルデータの圧縮量を試算してみる。１画素毎に１ベクトルを割り当て８ビット要素で２次元とすれば、フルＨＤ（Full High-Definition：１９２０×１０８０＝約２００万画素、１画素２４ビット）のベクトル画像列の転送量はｆ×１９２０×１０８０×８×２／８＝約４ｆＭＢ／秒となる。ハフマン符号化やそのほかの符号化方法で可逆圧縮しても圧縮率は１／３乃至１／４倍程度である。そのため動きベクトルを可逆圧縮したときには、１ｆＭＢ／秒の伝送速度が必要となる。一般のフルＨＤの圧縮データの場合、画像を含め、最大でも０．５ｆＭＢ／秒程度の伝送/記録速度なので、１ｆＭＢ／秒では、動きベクトルデータが圧縮率向上の阻害要因になってしまう。

本発明は、このような問題点に鑑みてなされたものであり、動きベクトルを付随しない間引き画像から復元画像を再構成する動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを提供することを目的とする。

上述した目的を達成するために、本発明にかかる動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列を入力し、間引き画像列をもとに動きベクトルを検出し、新たな動きベクトルが検出される毎に、新たな動きベクトル画像列の移動速度情報に基づきと間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、新たな復元画像列と検出した動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返し、再構成する処理で新たに再構成した復元画像列と再構成する処理で新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、輝度変化が十分小さくなったとき、又は、動きベクトル検出処理で新たに検出された動きベクトル画像列と動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、ベクトル変化が十分小さくなったときに、繰り返しを終了し、終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力し、初期動きベクトル検出処理は、間引き画像列の一部のフレームを選択し、選択したフレームを縮小して間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成し、縮小画像列から補間前動きベクトル画像列を検出し、補間前動きベクトル画像列のフレームレートおよび解像度を間引き画像に基づいて検出された動きベクトルと同じになるように補間し動きベクトル画像列を生成し、動きベクトル検出部は、動きベクトル画像列を初期値として、間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の評価値Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））を最小化する動きベクトル画像列を検出する。
また、本発明にかかる動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列を入力し、間引き画像列をもとに動きベクトル画像列を検出し、新たな動きベクトル画像列が検出される毎に、新たな動きベクトル画像列の移動速度情報に基づき間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、新たな復元画像列と動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返し、再構成する処理で新たに再構成した復元画像列と再構成する処理で新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、輝度変化が十分小さくなったとき、又は、動きベクトル検出処理で新たに検出された動きベクトル画像列と動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、ベクトル変化が十分小さくなったときに、繰り返しを終了し、終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力し、初期動きベクトル検出処理は、間引き画像列の一部のフレームを選択し、選択したフレームを縮小して間引き画像列よりもフレームレートかつ解像度の低い縮小画像列を生成し、縮小画像列の各画像を拡大して間引き画像列よりも低フレームレートかつ同解像度の拡大画像列を生成し、拡大画像列から補間前動きベクトル画像列を検出し、補間前動きベクトル画像列のフレームレートが間引き画像列に基づく動きベクトル画像列と同じになるように補間し動きベクトル画像列を生成し、動きベクトル検出処理では、動きベクトル画像列を初期値として、間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の評価値Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））を最小化する動きベクトル画像列を検出する。
また、本発明にかかる動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列を入力し、間引き画像列をもとに動きベクトル画像列を検出し、新たな動きベクトル画像列が検出される毎に、新たな動きベクトル画像列の移動速度情報に基づき間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成し、新たな復元画像列が再構成される毎に、新たな復元画像列と動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返し、再構成する処理で新たに再構成した復元画像列と再構成する処理で新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、輝度変化が十分小さくなったとき、又は、動きベクトル検出処理で新たに検出された動きベクトル画像列と動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、ベクトル変化が十分小さくなったときに、繰り返しを終了し、終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力し、初期動きベクトル検出処理は、間引き画像列の一部のフレームを選択し、選択したフレームを縮小して間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成し、縮小画像列から補間前動きベクトル画像列を検出し、補間前動きベクトル画像列を用いて縮小画像列のフレームレート及び解像度が間引き画像列と同じになるように補間し補間済画像列を生成し、補間済画像列を構成する各補間済画像と、各補間済画像と時間的に一致する間引き画像列の間引き画像とを合成し合成画像列を生成し、合成画像列から初期動きベクトル画像列を検出し、動きベクトル検出処理では、動きベクトル画像列を初期値として、間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の評価値Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））を最小化する動きベクトル画像列を検出する。

本発明の構成によれば、間引き画像をもとに初期値となる動きベクトルを検出し、まず、初期値となる動きベクトルと間引き画像とをもとに最初の復元画像を再構成し、最初の復元画像と初期値となる動きベクトルとをもとに新たな動きベクトルを検出する。次いで、間引き画像と新たな動きベクトルに基づく復元画像の再構成と、新たな復元画像と動きベクトルに基づく新たな動きベクトルの検出とを繰り返すことにより、動きベクトルの精度を徐々に高め、復元画像の画質を向上させる。本発明の構成によれば、動きベクトルを付随しない間引き画像から元画像が復元される。そのため、動きベクトルのデータ量を削減することができる。

以下、図面を参照しながら、本発明の動画像変換装置、動画像変換方法、及びコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。

（１）超解像効果を利用した動画像変換装置の基本構成
（２）動きベクトルを付随しない圧縮データをもとに復元画像を生成する動画像変換装置および動画像変換方法

［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１の明細書及び図面に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。

図１に特願２００３−４１２５０１の明細書及び図面に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。

なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。

ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。

次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。

ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。

次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。

移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量とを、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。

具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。

すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１乃至５３に、ブロック画像を分配する。

次に、ブロック処理部１３の詳細を説明する。ブロック処理部３１は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ１１を代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ１２を代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ１３を代表値（標本点）とする。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１１を標本点とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２１を標本点とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３１を標本点とする。

ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。

ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ００とＰ２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ０１とＰ２１のみを代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ０２とＰ２２のみを代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ０３とＰ２３のみを代表値（標本点）とする。

１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ００およびＰ０２のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１０およびＰ１２を代表値（標本点）とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２０およびＰ２２を代表値（標本点）とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３０およびＰ３２を代表値（標本点）とする。

さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。

ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。

図７を参照して、動画像変換装置１０における具体的な処理例について説明する。図７は、動画像変換装置１０において処理された連続する５枚のフレームＦ１乃至Ｆ５を示し、各フレームから選択された有効データの配置を表している。動画像変換装置１０において選択された有効画素が図７に示す空白以外の画素部分であり、空白部は、動画像変換装置１０において選択されなかった無効画素部を示している。

各フレームＦ１乃至Ｆ５は時系列に沿った同一位置のフレームであり、それぞれ４×４ピクセルのブロック１０１乃至１１６を持つ。

ブロック１０１乃至１１６中、ブロック１０１および１０２は、ブロック処理部５１により水平方向に空間方向間引き処理が施されるブロックである。ブロック１１１および１１２は、ブロック処理部５１により垂直方向に空間方向間引き処理が施されるブロックである。ブロック１０３および１０４は、ブロック処理部５３により水平方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１１３および１１４は、ブロック処理部５３により垂直方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２により時間方向間引き処理が施されるブロックである。

最初のフレームＦ１では、ブロック１０１および１０２は、ブロック処理部５１によって水平方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１１１および１１２は、ブロック処理部５１によって垂直方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１０３および１０４は、ブロック処理部５３によって水平方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１１３および１１４は、ブロック処理部５３によって垂直方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されるが、最初のフレームでは全画素が有効データとなる。

第２フレームＦ２では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。

第３フレームＦ３では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、有効なフレームとなり、フレームＦ１と同様の処理により、それぞれ８画素が有効データとなる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。

第４フレームＦ４では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。

ここではＮ＝４としているため、第５フレームＦ５は、第１フレームＦ１と同様のデータ配置となる。このようにして、各ブロックのデータは移動速度情報に応じて最適な間引き処理が施され、最終的には１／４のデータ量削減が実現される。

このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。

具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１乃至５３に供給して、各ブロック処理部５１乃至５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間の視覚における時間的積分機能に起因しており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。

なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１の明細書及び図面において詳しく解説がなされている。特願２００３−４１２５０１の明細書及び図面に説明されている超解像効果の発生条件の概略について、以下に説明する。

間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。

上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。

間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。

これは、入力動画像のフレームレートと同じフレームレートにおいて表示を行う場合、空間方向に間引きされたブロックは、人間の視覚の時間積分機能により前後のフレーム画像との足し合わせが行われ、結果として元画像と同等の画像を知覚するためである。

動画像変換装置１０による間引き処理では、データ量を１／４に圧縮できる。例えば、圧縮していないフルＨＤ（Full High-Definition：１９２０×１０８０＝約２００万画素、１画素２４ビット）映像のデータ量は、１フレームあたり６ＭＢである。この映像を１秒間にｆフレーム転送するときには、転送量が６ｆＭＢ／秒となる。フルＨＤ映像に間引き処理を施すと、転送量を１／４の１．５ｆＭＢ／秒に圧縮できる。さらに、間引き処理とＭＰＥＧ（Moving Picture Expert Group）４などの高効率の非可逆圧縮法を組み合わせれば、転送量を１／１００倍程度、約０．０１５ｆＭＢ／秒まで圧縮することができる。

これらの一連の圧縮過程では、動きベクトルが生成される。間引き画像と同様に、動きベクトルを非可逆圧縮で圧縮すると、復元画像にジャギーやノイズ、画像歪みなどのアーティファクトが発生する。これは復元方法の原理から自明である。このように、動きベクトルは、高精度が要求されるため可逆圧縮で圧縮されるが、可逆圧縮は、圧縮率を高くすることができないという問題がある。

ここで、動きベクトルデータの圧縮量を試算してみる。１画素毎に１ベクトルを割り当て８ビット要素で２次元とすれば、元ベクトル画像列の転送量はｆ×１９２０×１０８０×８×２／８＝約４ｆＭＢ／秒となる。ハフマン符号化やそのほかの符号化方法で可逆圧縮しても圧縮率は１／３乃至１／４倍程度である。そのため動きベクトルを可逆圧縮したときには、１ｆＭＢ／秒の伝送速度が必要となる。また、多少精度を犠牲にして、４×４の画素を１ブロックとした画像ブロックに１ベクトルを割り当てると、転送量が１ｆ／（４×４）＝０．０６２５ｆＭＢ／秒となるが、画像データ量０．０１５ｆＭＢ／秒の４倍以上となる。これでは、動きベクトルデータが圧縮率向上のボトルネックになってしまう。

［（２）動きベクトルを付随しない圧縮データをもとに復元画像を生成する動画像変換装置および動画像変換方法］
上述したように、圧縮画像データに動きベクトルを付随させると、動きベクトルの容量が圧縮率向上の阻害要因になってしまう。本発明を適用した動画像変換装置４０では、動きベクトルを付随しない間引き画像のみからなる圧縮画像データから動きベクトルを推定しつつ復元画像の再構成を行い、動きベクトルによる圧縮率の低下を回避する。

図８は、本発明を適用した動画像変換装置４０の構成を示すブロック図である。図の括弧内の文字は、バッファに格納される画像の枚数を意味する。本実施の形態では、１フレーム分の動きベクトルの集合も画像とみなし、動きベクトル画像と表現する。また、本実施の形態では、連続する複数の画像を画像列と記す。連続する複数の動きベクトル画像も動きベクトル画像列と表現する。

前提として、間引き画像は、｛４×４画素の画像ブロック｝×４フレームを１ブロック単位として様々な間引きパターンにより間引かれた画像列とする。

また、この間引き画像列から生成される動きベクトルは、図９に示すように、現在フレームから次フレームへの順方向動きベクトル９１の集合と現在フレームから前フレームへの反方向ベクトル９２の集合である。つまり、１フレーム中の１画素毎に２個の動きベクトルが割り当てられることになる。順方向動き動きベクトル９１と反方向動きベクトル９２とは、現在フレーム当該画素近傍の絵柄が次フレームまたは前フレームでどの方向にどれだけ移動したかを表す２次元ベクトルとする。もちろん、ブロックのサイズや動きベクトルの本数などは変更してもよい。

まず、図８を参照して動画像変換装置４０のおおまかな構成について説明する。

入力部４１は、間引き画像を入力し、入力した間引き画像を間引き画像列バッファ４２に格納する。間引き画像列バッファ４２は、Ｎ枚の間引き画像列を格納する。初期動きベクトル検出部４３は、間引き画像列バッファ４２に格納された間引き画像から初期動きベクトルを検出し、初期動きベクトルを動きベクトル画像列バッファ４４に格納する。

再構成処理部４５は、動きベクトル画像列バッファ４４に格納された初期動きベクトルと間引き画像列バッファ４２に格納された間引き画像とを元に復元画像を再構成する。復元画像列バッファ４６は、Ｎ枚の復元画像を格納する。動きベクトル検出部４７は、再構成処理部４５が作成した復元画像を元に初期動きベクトルより精度の高い動きベクトルを検出し、検出した動きベクトルを動きベクトル画像列バッファ４４に格納する。

再構成処理部４５は、動きベクトル画像列バッファ４４に格納された新しい動きベクトルと間引き画像とを元に復元画像を再構成する。動きベクトル検出部４７は、再構成された復元画像を元により精度の高い動きベクトルを検出する。以後、再構成処理部４５による復元画像の再構成と、動きベクトル検出部４７による動きベクトル検出を交互に繰り返す。

精度検出部４８は、復元画像を再構成する都度、直前に再構成した復元画像と今回再構成した復元画像との差を求め、再構成の前後における画像の差が十分に小さくなったとき、再構成処理部４５と動きベクトル検出部４７との繰り返し処理を打ち切る。その結果得られた画像が最終的な復元画像となる。

このように、本発明を適用した動画像変換装置４０では、間引き画像に基づく初期動きベクトルを初期値として、間引き画像の再構成と動きベクトルの検出とを交互に繰り返すことにより、間引き画像のみから元の動画像を復元することができる。

次いで、動画像変換装置４０の各構成について詳述する。

初期動きベクトル検出部４３は、間引き画像のみに基づき初期動きベクトルを検出する。初期動きベクトルは、再構成処理部４５が復元画像を再構成するための初期値として使用する動きベクトルである。本発明を適用した動画像変換装置４０では、初期動きベクトルを初期値とすることにより、再構成処理部４５と動きベクトル検出部とのループ処理を素早く完了させることができる。

図１０乃至図１２に初期動きベクトル検出部４３の構成を示す。本実施の形態では、３種類の初期動きベクトル検出部４３について説明する。図１０に示す初期動きベクトル検出部４３を第１の初期動きベクトル検出部４３ａと記し、図１１に示す空間補間処理を省略した初期動きベクトル検出部４３を第２の初期動きベクトル検出部４３ｂと記し、図１２に示す空間補間処理および時間補間処理を省略した初期動きベクトル検出部４３を第３の初期動きベクトル検出部４３ｃと記す。

第１の初期動きベクトル検出部４３ａは、図１０に示すように、間引き画像を縮小する縮小処理部６１と、補間前動きベクトル検出処理の初期値となる前初期動きベクトルを検出する前初期動きベクトル検出部６２と、縮小した間引き画像から復元画像よりも低解像度かつ低フレームレートである疎な補間前動きベクトルを検出する補間前動きベクトル検出部６３と、補間前動きベクトル検出部６３が検出した補間前動きベクトルを補間して初期動きベクトルを生成する動きベクトル補間処理部６４とを備える。

前初期動きベクトル検出部６２は、補間前動きベクトル検出処理の出発点となる動きベクトルである前初期動きベクトルを検出する。前初期動きベクトル検出部６２は、間引き画像からブロックを抜き出し、このブロックの間引きパターンからブロック毎のおおまかな動きベクトルである前初期動きベクトルを推定する。前初期動きベクトル検出部６２は、Ｎ／４フレーム分の前初期動きベクトルを前初期動きベクトルバッファ６６に格納する。

具体的に説明すると、間引き画像を生成する際、上述した動画像変換装置４０では、１フレームを４×４ピクセルのブロックに分割し、１フレーム間のブロックの移動量が水平方向に２ピクセル以上である場合、図３に示すように水平方向の４画素のうち１つの画素値のみを選択して代表値とする。このときブロックの間引きパターンは、図３（ｂ）のようになる。

前初期動きベクトル検出部６２は、これを利用して、ブロックの間引きパターンが図３（ｂ）のようであれば、１フレーム間に２ピクセル以上水平移動したことを検出する。同様に、ブロックの間引きパターンが図３（ｃ）のようであれば、垂直方向の移動を検出することもできる。

また、水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、図５に示すように、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。前初期動きベクトル検出部６２は、これを利用して、ブロックの間引きパターンが図５（ｂ）のようであれば、１フレーム間に１ピクセル以上で、２ピクセル未満水平移動したことを検出する。同様に、ブロックの間引きパターンが図５（ｃ）のようであれば、１フレーム間に１ピクセル以上で、２ピクセル未満垂直移動したことを検出する。

さらに、水平方向と垂直方向の移動量がともに１ピクセル未満である場合、連続する４枚のフレームの同一位置にある４個のブロックのうち３枚フレーム分のブロックを間引きする。前初期動きベクトル検出部６２は、間引きされていないブロックとそのブロックの前後合わせて３フレームのブロックが間引かれているときには、ブロックの移動量が１ピクセル未満であることを検出する。

前初期動きベクトル検出部６２は、間引きパターンとブロックの移動量との関係を元に、ブロックのおおまかな移動量を示す前初期動きベクトルを検出する。

縮小処理部６１は、間引き画像列バッファ４２に格納されたＮ枚（Ｎは整数）の間引き画像の中から４フレーム毎に１フレームを選択し、選択した１フレームに対して横方向１／４倍、縦方向１／４倍の縮小処理を施す。縮小処理により、間引き画像が解像度が１／４に減少し、フレームレートも１／４に減少する。縮小された間引き画像は、縮小画像列として縮小画像列バッファ６５に格納される。

縮小処理部６１では、時間方向の間引き処理が行われたブロック内の残り画素数が最も多くなるフレームを選択対象とする。また、上述したように、画素のパターンは、ブロックの移動量に応じて、１ブロックのうちの、縦１列の４画素、横１列の４画素、縦２列の８画素、横２列の８画素を残す４つのパターンが存在する。ある移動量に対して常にブロック内の定位置の画素群を残すような間引きパターンの場合、１／４に縮小しても、元の間引きパターンを推定することができる。

補間前動きベクトル検出部６３では、縮小画像列バッファ６５にアクセスし、局所的探索を用いて縮小画像間の動きベクトルである補間前動きベクトルを検出する。局所的探索では、ある初期値から開始し解を探索する。ここで使用する初期値は、前初期ベクトルである。補間前動きベクトル検出部６３では、補間前動きベクトルの解に近い前初期動きベクトルから探索を出発させることにより、補間前動きベクトルの検出に必要な繰り返し計算を早く終えることができる。

補間前動きベクトル検出部６３は、検出した動きベクトルを動きベクトル補間処理部６４に出力する。補間前動きベクトル画像列は、復元画像より低解像度かつ低フレームレートの縮小画像に基づいて検出された疎な動きベクトルである。なお、補間前動きベクトル検出部６３の動きベクトル検出処理は、動きベクトル検出部４７の動きベクトル処理と同様の処理である。動きベクトル検出処理については、後に詳しく説明する。

動きベクトル補間処理部６４は、補間前動きベクトルを、復元画像と同解像度で同フレームレートになるように補間する。具体的には、動きベクトル補間処理部６４は、空間方向補間とフレーム間の時間方向補間を行う。空間方向補間では、補間前動きベクトルに、例えば、４近傍の双線形補間を施す。時間方向補間では、被写体が４フレームに亘って一定速度で移動していると仮定して、中間の３フレーム分の動きベクトルを生成し、各フレーム間を結ぶ動きベクトルと各フレームにおける動きベクトルの起点を求める。そして、求めた動きベクトルの起点が画素中心となるようにフレーム毎にリサンプリング処理を施す。動きベクトル補間処理部６４は、このように生成した初期動きベクトルを動きベクトル画像列バッファ４４に格納する。

次いで、第２の初期動きベクトル検出部４３ｂについて説明する。第２の初期動きベクトル検出部４３ｂは、縮小画像を復元画像と同じ解像度にアップコンバートした拡大画像を作成し、拡大画像から補間前動きベクトルを検出することにより、補間前動きベクトルに施す空間補間処理を省略できるのが特徴である。

第２の初期動きベクトル検出部４３ｂは、図１１に示すように、間引き画像を縮小する縮小処理部７１と、補間前動きベクトル検出処理の初期値となる前初期動きベクトルを検出する前初期動きベクトル検出部７２と、縮小した間引き画像を拡大する拡大処理部７３と、拡大画像から復元画像と同じ解像度の補間前動きベクトルを検出する補間前動きベクトル検出部７４と、補間前動きベクトルを補間して初期動きベクトルを生成する動きベクトル補間処理部７５とを備える。

前初期動きベクトル検出部７２は、間引き画像からブロックを抜き出し、このブロックの間引きパターンからブロック毎のおおまかな動きベクトルである前初期動きベクトルを推定する。ここまでは、第１の初期動きベクトル検出部４３ａにおける前初期動きベクトル検出部６２と同様の処理である。第２の初期動きベクトル検出部４３ｂにおける前初期動きベクトル検出部７２は、さらに、前初期動きベクトルをリサンプリングして復元画像と同解像度にする。前初期動きベクトル検出部７２は、解像度を上げた前初期動きベクトルを補間前動きベクトル検出部７４に出力する。

縮小処理部７１は、第１の初期動きベクトル検出部４３ａにおける縮小処理部６１と同様の処理を行い、縮小した間引き画像を間引き縮小画像列バッファ７７に格納する。縮小画像列バッファ７７には、Ｎ／４枚の縮小画像が格納される。

拡大処理部７３は、縮小画像列バッファ７７に格納された縮小画像に、例えば、４近傍双線形補間処理などを施し、縮小画像の解像度を復元画像の解像度までアップコンバートする。拡大処理部７３は、拡大した縮小画像を拡大画像列バッファ７８に格納する。拡大画像列バッファ７８には、Ｎ／４枚の拡大画像が格納される。

補間前動きベクトル検出部７５は、拡大画像列バッファ７８にアクセスし、拡大画像の動きベクトルである補間前動きベクトルを検出する。拡大画像から検出された補間前動きベクトルは、復元画像よりもフレームレートの低い画像に基づく動きベクトルである。

動きベクトル補間処理部７４は、フレーム間の時間方向補間を行う。時間方向補間では、被写体が４フレームに亘って一定速度で移動していると仮定して、中間の３フレーム分の動きベクトルを生成し、各フレーム間を結ぶ動きベクトルの各フレームにおける動きベクトルの起点を求める。そして、求めた動きベクトルの起点が画素中心となるようにフレーム毎にリサンプリング処理を施す。動きベクトル補間処理部７５は、このように生成した初期動きベクトルを動きベクトル画像列バッファ４４に格納する。

このように、第２の初期動きベクトル検出部４３ｂでは、復元画像と同じ解像度に縮小画像を拡大し、拡大画像から補間前動きベクトルを検出するため、動きベクトル補間処理部７５における空間方向補間処理を省略することができる。

次いで、第３の初期動きベクトル検出部４３ｃについて説明する。第３の初期動きベクトル検出部４３ｃは、縮小画像を復元画像と同じ解像度かつ同じフレームレートに変換した還元画像を作成し、還元画像を元に補間前動きベクトルを検出することにより、補間前動きベクトルに施す空間補間処理とフレーム間の時間補間処理とを省略できるのが特徴である。

第３の初期動きベクトル検出部４３ｃは、図１２に示すように、間引き画像を縮小する縮小処理部８１と、補間前動きベクトル検出処理の初期値となる前初期動きベクトルを検出する前初期動きベクトル検出部８２と、前初期動きベクトルを初期値として補間前動きベクトルを検出する補間前動きベクトル検出部８３と、補間前動きベクトルを用いて縮小画像を復元画像と同解像度かつ同フレームレートに変換した補間画像を生成する画像補間処理部８４と、間引き画像と補間画像とを合成する合成処理部８５と、合成画像から初期動きベクトルを検出する初期動きベクトル検出処理部８６とを備える。

前初期動きベクトル検出部８２は、第１の初期動きベクトル検出部４３ａにおける前初期動きベクトル検出部６２と同様に、間引き画像からブロックを抜き出し、このブロックの間引きパターンからブロック毎のおおまかな動きベクトルである前初期動きベクトルを推定する。

縮小処理部８１は、第１の初期動きベクトル検出部４３ａにおける縮小処理部６１と同様の処理を行い、縮小した間引き画像を縮小画像列バッファ８７に格納する。縮小画像列バッファ８７には、Ｎ／４枚の縮小画像が格納される。

補間前動きベクトル検出部８３は、第１の初期動きベクトル検出部４３ａにおける補間前動きベクトル検出部６３と同様の処理を行い、縮小画像列バッファ８７にアクセスし、縮小画像間の動きベクトルである補間前動きベクトルを検出する。ここで使用する初期値は、前初期動きベクトルである。補間前動きベクトル画像列バッファ８８は、Ｎ／４フレーム分の動きベクトルを格納する。補間前動きベクトル画像列バッファ８８に格納される動きベクトルは、復元画像より低解像度かつ低フレームレートの縮小画像に基づく疎な動きベクトルである。

画像補間処理部８４は、補間前動きベクトルを用いて、縮小画像を復元画像と同解像度かつ同フレームレートに補間する。縮小画像の解像度を上げるには、例えば、４近傍の双線形補間などのリサンプリング処理を用いる。フレームレートを上げるには、例えば、ＭＰＥＧ（Moving Picture Expert Group）で用いられている動き補償のフレーム再生技術を用いる。これにより、補間前の２枚のフレームごとに中間３フレームが生成される。

合成処理部８５は、画像補間処理部８４から入力した補間済画像と間引き画像列バッファ４２から入力した間引き画像とを合成して合成画像を生成する。画像の合成には、間引き画像の有効画素を優先して合成する。

初期動きベクトル検出処理部８６は、Ｎ枚の合成画像を元に、Ｎフレーム分の初期動きベクトルを検出する。初期動きベクトル検出処理部８６は、検出した初期動きベクトルを動きベクトル画像列バッファ４４に格納する。初期動きベクトル検出処理部８６における動きベクトルの検出処理は、動きベクトル検出部４７と同様の処理である。この動きベクトル検出処理について後に詳しく説明する。

このように、第３の初期動きベクトル検出部４３ｃでは、復元画像と同フレームレートかつ同解像度である補間済画像から動きベクトルを求めることにより、動きベクトルの空間方向の補間処理及び時間方向の補間処理を実行しなくてよい。

再構成処理部４５は、入力部から入力した間引き画像と動きベクトル画像列バッファ４４に格納された動きベクトルとをもとに空間方向間引き処理により間引かれた画素と、時間方向間引き処理により間引かれた画素を復元する。

まず、空間方向間引き処理により情報が欠落した動画像から原画像を復元する原理について説明する。図１３は、右方向に移動する被写体（車）を撮影した原画像Ｉ１乃至Ｉ４に対して、水平方向に１／４の空間間引き処理を行った結果画像Ｓ１乃至Ｓ４を示している。フレームＦ１において、原画像Ｉ１は、右方向に移動する被写体を撮影した画像である。

被写体（車）の移動速度が、図２に示す動画像変換装置１０のブロック分配部３２において、ブロック処理部５１（空間方向間引き処理）に分配される条件、すなわちフレームあたりの移動量があらかじめ定めた条件に合致している場合、ブロック処理部５１において空間方向間引き処理が実行される。この結果、原画像Ｉ１は、図１３の矢印で示すサンプリング点において水平方向に１／４に間引きされる。ここで、間引き処理におけるサンプリング点（図３の代表画素（標本点）に相当する）の位置は、フレームに対して固定である。間引き処理された画像Ｓ１は、原画像Ｉ１に対して１／４のデータ量になっている。

フレームＦ２において、原画像Ｉ２は、原画像Ｉ１に対して被写体が移動速度ｖ（ピクセル／フレーム）だけ右に移動している。この状態で、フレームＦ１と同様に間引き処理を行い、間引き画像Ｓ２を得る。このとき、サンプリング点（標本点）の位置はフレームＦ１と同じであるため、間引き画像Ｓ２は、間引き画像Ｓ１と異なる画像となる。

同様に、フレームＦ３、フレームＦ４において、原画像Ｉ３，Ｉ４に対して間引き処理を行い、間引き画像Ｓ３，Ｓ４を得る。この例では、ｖ＝１（ピクセル／フレーム）であり、通常表示時に１／４間引き処理において超解像効果が得られるものとする。

間引き画像Ｓ１乃至Ｓ４は、同じ位置のサンプリング点（標本点）で間引き処理された画像であるが、被写体の移動速度ｖが間引き量（本実施例では４）の整数倍になっていなければ、それぞれ異なる位置でサンプリングされた画像となっている。したがって、各間引き画像Ｓ１乃至Ｓ４は、原画像に対して情報が欠落しており、それぞれが異なる情報を持つ。これらの複数の画像を、移動速度情報に基づき位置を合わせながら足し合わせることにより原画像の復元が可能である。

図１４は、各フレームに対応する間引き画像Ｓ１乃至Ｓ４を、移動速度ｖに従って移動させた画像を示している。この例ではｖ＝１（右方向）であるため、間引き画像Ｓ１に対して、間引き画像Ｓ２は被写体が右に１画素、間引き画像Ｓ３は被写体が右に２画素、間引き画像Ｓ４は被写体が右に３画素、それぞれずれている。これを位置合わせするために、間引き画像Ｓ２を左に１画素、間引き画像Ｓ３を左に２画素、間引き画像Ｓ４を左に３画素、それぞれ移動する（図１４）。この結果、各間引き画像Ｓ１乃至Ｓ４の被写体位置は一致し、サンプリング位置が異なるようになる。これらの画像を足し合わせると、復元画像Ｒ１が得られる。

次いで、動きベクトル検出部４７における動きベクトル検出処理について説明する。動きベクトル検出処理は、局所探索であり、初期動きベクトルを第１近似として探索を開始する。

なお、第１の初期動きベクトル検出部４３ａの補間前動きベクトル検出部６３、第２の初期動きベクトル検出部４３ｂの補間前動きベクトル検出部７４、第３の初期動きベクトル検出部４３ｃの補間前動きベクトル検出部８３及び初期動きベクトル検出処理部８６もこの動きベクトル検出部４７と同様の処理を行う。

（式４）に、局所探索における局所領域の類似性比較のための評価関数Ｅの一例を示す。動きベクトルの検出処理では、Ｅを最小化するｖを探索する計算を行う。この評価関数Ｅでは、収束計算を安定させるため、間引き画像の無効画素であったところに低い信頼度、有効画素であったところに高い信頼度を与える。

ここで、（式４）における各記号の意味は、
ｐ：現在フレームの任意の点の座標
ｖ：座標ｐから次／前フレームへの動きベクトル
ｄ：座標ｐからのずれ
ｒ（ｘ） ：現在フレームの座標ｘでの信頼度
ｒ’（ｘ）：次／前フレームの座標ｘでの信頼度
ｃ（ｘ） ：現在フレームの座標ｘでの色
ｃ’（ｘ）：次／前フレームの座標ｘでの色
である。

ｒ（ｘ）およびｒ’（ｘ）には、もし有効画素の座標とｘが一致すれば１、無効画素の座標とｘが一致すれば０に近い値（例えば、０．１）を与え、有効画素とも無効画素とも一致しないサブピクセル精度での座標ｘには４近傍双線形補間をした値を用いる。

動きベクトル検出部４７は、検出した動きベクトルを動きベクトル画像列バッファ４４に格納する。再構成処理部４５は、新たな動きベクトルが検出される度に、新たな動きベクトルと間引き画像とを元に復元画像の再構成処理を行う。動きベクトル検出部４７は、新たに再構成された復元画像を元に動きベクトルを検出する。

精度検出部４８は、直前に再構成した復元画像と、今回再構成した復元画像の差を示す精度検出指標を求め、精度検出指標がある閾値を下回ると、再構成の前後における画像の差が十分に小さくなったものとして、動きベクトル検出部４７と再構成処理部４５との計算を終了させる。精度検出指標は、例えば、再構成の前後における再構成画像の画素あたりの輝度変化の平均値、すなわち、再構成前の画素値と再構成後の画素値との絶対差を総和したものを全画素数で割った値である。精度検出部４８は、これらの精度検出指標が所定の閾値を下回ると、動きベクトル検出部４７と再構成処理部４５とのループ処理を終了させる。

なお、精度検出部４８の他の構成として、動きベクトル検出部４７と再構成処理部４５とのループ回数を計数し、ループ回数が所定の回数に達したときに、動きベクトル検出部４７と再構成処理部４５との計算を終了させるようにしてもよい。

また、精度検出指標として、輝度変化の代わりに、動きベクトル変化を用いることもできる。このとき、動きベクトル変化とは、例えば、動きベクトル検出の前後における動きベクトルの差の平均、すなわち、直前に検出した動きベクトルと今回検出した動きベクトルの差を総和したものを全動きベクトル数で割った値である。精度検出部４８は、動きベクトルの差の平均と所定の閾値を比較して、平均が閾値よりも小さくなったときにループ処理を終了させる。

以上説明したように、本発明を適用した動画像変換装置４０は、動きベクトルを付随しない間引き画像のみからなる圧縮画像データから動きベクトルを推定しつつ復元画像を再構成するため、動きベクトルを付随させることによる圧縮画像データの圧縮率の低下を回避することができる。

動画像変換装置４０における、動きベクトル検出部４７と再構成処理部４５とのループ処理では、当初、アーティファクトの多い復元画像が作成されるが、動き検出処理において一定の広さをもつ領域同士の比較で対応が求められアーティファクトが均らされて徐々に精度が向上してゆく。これにより、十分な精度の復元画像を得ることができる。

また、圧縮率が向上することにより高フレームレートの動画像であっても高い圧縮率で伝送／記録できる。高フレームレートの映像をより高い圧縮率で伝送または記録したのち、映像再生、特にスローモーション再生や任意時刻の静止画像表示が可能になる。

超解像効果を利用したデータ変換を実行する従来の動画像変換装置の基本構成を示すブロック図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示すブロック図である。 動画像変換装置におけるブロック処理部の空間方向間引き処理について説明する説明図である。 動画像変換装置におけるブロック処理部の時間方向間引き処理について説明する説明図である。 動画像変換装置におけるブロック処理部の空間間方向間引き処理について説明する説明図である。 動画像変換装置におけるブロック処理部の時間方向間引き処理について説明する説明図である。 動画像変換装置におけるブロック処理部の処理結果の一例について説明する説明図である。 本発明を適用した動画像変換装置の基本構成を示すブロック図である。 本実施の形態で使用する動きベクトルの向きを説明する説明図である。 第１の初期動きベクトル検出部の基本構成を示すブロック図である。 第２の初期動きベクトル検出部の基本構成を示すブロック図である。 第３の初期動きベクトル検出部の基本構成を示すブロック図である。 移動被写体に対する水平方向の空間間引き処理の処理例、および原画像の復元処理について説明する説明図である。 移動被写体に対する水平方向の空間間引き処理の間引き位置をフレーム毎に変更した処理例、および復元処理について説明する説明図である。

符号の説明

４０ 動画像変換装置、４１ 入力部、４２ 間引き画像列バッファ、４３ 初期動きベクトル検出部、４３ａ 第１の初期動きベクトル検出部、４３ｂ 第２の初期動きベクトル検出部、４３ｃ 第３の初期動きベクトル検出部、４４ 動きベクトル画像列バッファ、４５ 再構成処理部、４６ 復元画像列バッファ、４７ 動きベクトル検出部、４８ 精度検出部、６１ 縮小処理部、６２ 前初期動きベクトル検出部、６３ 補間前動きベクトル検出部、６４ 動きベクトル補間処理部、６５ 縮小画像列バッファ、７１ 縮小処理部、７２ 前初期動きベクトル検出部、７３ 拡大処理部、７４ 補間前動きベクトル検出部、７５ 動きベクトル補間処理部、７７ 縮小画像列バッファ、７８ 拡大画像列バッファ、８１ 縮小処理部、８２ 前初期動きベクトル検出部、８３ 補間前動きベクトル検出部、８４ 画像補間処理部、８５ 合成処理部、８６ 初期動きベクトル検出処理部、８７ 縮小画像列バッファ、８８ 補間前動きベクトル画像列バッファ、

Claims (10)

1. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換装置であって、
   上記間引き画像列を入力する入力部と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出部と、
   新たな動きベクトル画像列が検出される毎に、上記新たに検出された動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する再構成処理部と、
   新たな復元画像列が再構成される毎に、上記新たに再構成された復元画像列と過去に検出された上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出部と、
   上記再構成処理部が新たに再構成した復元画像列と、上記再構成処理部が上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出部によって新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに上記再構成処理部による再構成処理と上記動きベクトル検出部による動きベクトルの検出処理とを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了処理部と
   を有し、
   上記初期動きベクトル検出部は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理部と、
   上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
   上記補間前動きベクトル画像列のフレームレートおよび解像度を上記間引き画像に基づいて検出された動きベクトルと同じになるように補間し動きベクトル画像列を生成する補間処理部とを有し、
   上記動きベクトル検出部は、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換装置。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
2. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換装置であって、
   上記間引き画像列を入力する入力部と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出部と、
   新たな動きベクトル画像列が検出される毎に、上記新たに検出された動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する再構成処理部と、
   新たな復元画像列が再構成される毎に、上記新たに再構成された復元画像列と過去に検出された上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出部と、
   上記再構成処理部が新たに再構成した復元画像列と、上記再構成処理部が上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出部によって新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに上記再構成処理部による再構成処理と上記動きベクトル検出部による動きベクトルの検出処理とを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了処理部と
   を有し、
   上記初期動きベクトル検出部は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレートかつ解像度の低い縮小画像列を生成する縮小処理部と、
   上記縮小画像列の各画像を拡大して上記間引き画像列よりも低フレームレートかつ同解像度の拡大画像列を生成する拡大処理部と、
   上記拡大画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
   上記補間前動きベクトル画像列のフレームレートが上記間引き画像列に基づく動きベクトル画像列と同じになるように補間し動きベクトル画像列を生成する補間処理部とを有し、
   上記動きベクトル検出部は、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換装置。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
3. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換装置であって、
   上記間引き画像列を入力する入力部と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出部と、
   新たな動きベクトル画像列が検出される毎に、上記新たに検出された動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する再構成処理部と、
   新たな復元画像列が再構成される毎に、上記新たに再構成された復元画像列と過去に検出された上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出部と、
   上記再構成処理部が新たに再構成した復元画像列と、上記再構成処理部が上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出部によって新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに上記再構成処理部による再構成処理と上記動きベクトル検出部による動きベクトルの検出処理とを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了処理部と
   を有し、
   上記初期動きベクトル検出部は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理部と、
   上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
   上記補間前動きベクトル画像列を用いて上記縮小画像列のフレームレート及び解像度が上記間引き画像列と同じになるように補間し補間済画像列を生成する画像補間処理部と、
   上記補間済画像列を構成する各補間済画像と、上記各補間済画像と時間的に一致する上記間引き画像列の間引き画像とを合成し合成画像列を生成する合成処理部と、
   上記合成画像列から初期動きベクトル画像列を検出する初期動きベクトル検出処理部とを有し、
   上記動きベクトル検出部は、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換装置。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
4. 上記間引き画像列は、上記元画像列を構成する各画像を分割したブロックのフレーム間の移動量に応じた間引きパターンで上記復元画像の各ブロックの画素を間引いて得られたものであり、
   上記初期動きベクトル検出部は、間引き画像をブロックに分割し、各ブロックの間引きパターンに対応するブロックの移動量をもとに前初期動きベクトルを生成する前初期動きベクトル検出部を備え、
   上記補間前動きベクトル検出部は、上記前初期動きベクトルを初期値として補間前動きベクトルを検出する請求項１乃至３のうちいずれか１項記載の動画像変換装置。
5. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換方法であって、
   上記間引き画像列を入力する入力工程と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
   新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
   上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
   を有し、
   上記初期動きベクトル検出処理は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理工程と、
   上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出処理工程と、
   上記補間前動きベクトル画像列のフレームレートおよび解像度を上記間引き画像に基づいて検出された動きベクトルと同じになるように補間し動きベクトル画像列を生成する補間処理工程とを有し、
   上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換方法。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
6. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換方法であって、
   上記間引き画像列を入力する入力工程と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
   新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
   上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
   を有し、
   上記初期動きベクトル検出処理は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレートかつ解像度の低い縮小画像列を生成する縮小処理工程と、
   上記縮小画像列の各画像を拡大して上記間引き画像列よりも低フレームレートかつ同解像度の拡大画像列を生成する拡大処理工程と、
   上記拡大画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出工程と、
   上記補間前動きベクトル画像列のフレームレートが上記間引き画像列に基づく動きベクトル画像列と同じになるように補間し動きベクトル画像列を生成する補間処理工程とを有し、
   上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換方法。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
7. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換方法であって、
   上記間引き画像列を入力する入力工程と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
   新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づき上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
   上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
   を有し、
   上記初期動きベクトル検出処理は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理工程と、
   上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出工程と、
   上記補間前動きベクトル画像列を用いて上記縮小画像列のフレームレート及び解像度が上記間引き画像列と同じになるように補間し補間済画像列を生成する画像補間処理工程と、
   上記補間済画像列を構成する各補間済画像と、上記各補間済画像と時間的に一致する上記間引き画像列の間引き画像とを合成し合成画像列を生成する合成処理工程と、
   上記合成画像列から初期動きベクトル画像列を検出する初期動きベクトル検出処理工程とを有し、
   上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出する動画像変換方法。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
8. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を所定のコンピュータに実行させるコンピュータ・プログラムであり、
   上記間引き画像列を入力する入力工程と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
   新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づきと上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
   上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
   を有し、
   上記初期動きベクトル検出処理は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理工程と、
   上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出処理工程と、
   上記補間前動きベクトル画像列のフレームレートおよび解像度を上記間引き画像に基づいて検出された動きベクトルと同じになるように補間し動きベクトル画像列を生成する補間処理工程とを有し、
   上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出するコンピュータ・プログラム。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
9. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を所定のコンピュータに実行させるコンピュータ・プログラムであり、
   上記間引き画像列を入力する入力工程と、
   上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
   新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づきと上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
   上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
   を有し、
   上記初期動きベクトル検出処理は、
   上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレートかつ解像度の低い縮小画像列を生成する縮小処理工程と、
   上記縮小画像列の各画像を拡大して上記間引き画像列よりも低フレームレートかつ同解像度の拡大画像列を生成する拡大処理工程と、
   上記拡大画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出工程と、
   上記補間前動きベクトル画像列のフレームレートが上記間引き画像列に基づく動きベクトル画像列と同じになるように補間し動きベクトル画像列を生成する補間処理工程とを有し、
   上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出するコンピュータ・プログラム。
   Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
   ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
   上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。
10. 連続するＮ枚のフレームのそれぞれの同一位置にある４×４画素で構成される合計Ｎ個のブロックに対して、水平方向又は垂直方向の少なくとも４画素を残す空間方向間引き処理及び該合計Ｎ個のブロックを少なくとも１つのブロックにする時間方向間引き処理の少なくとも一方により、元画像列の画素を間引いて得られた間引き画像列の復元処理を所定のコンピュータに実行させるコンピュータ・プログラムであり、
    上記間引き画像列を入力する入力工程と、
    上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
    新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列の移動速度情報に基づきと上記間引き画像列の位置をあわせながら足し合わせることにより復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
    上記再構成する処理で新たに再構成した復元画像列と上記再構成する処理で上記新たな復元画像列の再構成処理より１つ前の処理で再構成した復元画像列との輝度変化を算出し、該輝度変化が十分小さくなったとき、又は、上記動きベクトル検出処理で新たに検出された動きベクトル画像列と該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、該ベクトル変化が十分小さくなったときに、上記繰り返しを終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
    を有し、
    上記初期動きベクトル検出処理は、
    上記間引き画像列の一部のフレームを選択し、選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理工程と、
    上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出工程と、
    上記補間前動きベクトル画像列を用いて上記縮小画像列のフレームレート及び解像度が上記間引き画像列と同じになるように補間し補間済画像列を生成する画像補間処理工程と、
    上記補間済画像列を構成する各補間済画像と、上記各補間済画像と時間的に一致する上記間引き画像列の間引き画像とを合成し合成画像列を生成する合成処理工程と、
    上記合成画像列から初期動きベクトル画像列を検出する初期動きベクトル検出処理工程とを有し、
    上記動きベクトル検出処理では、上記動きベクトル画像列を初期値として、上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の下記評価値Ｅ（ｐ＋ｖ）を最小化する動きベクトル画像列を検出するコンピュータ・プログラム。
    Ｅ（ｐ＋ｖ）＝（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ）｜ｃ（ｐ＋ｄ）−ｃ’（ｐ＋ｄ＋ｖ）｜）／（Σ _ｄ ｒ（ｐ＋ｄ）ｒ’（ｐ＋ｄ＋ｖ））
    ここで、ｐは現在フレームの任意の点の座標、ｖは座標ｐから次／前フレームへの動きベクトル、ｄは座標ｐからのずれ、ｒ（ｘ）は現在フレームの座標ｘでの信頼度、ｒ’（ｘ）は次／前フレームの座標ｘでの信頼度、ｃ（ｘ）は現在フレームの座標ｘでの色、ｃ’（ｘ）は次／前フレームの座標ｘでの色であり、
    上記信頼度は、上記間引き画像の有効画素の座標とｘとが一致すれば１であり、該間引き画像の無効画素の座標とｘとが一致すれば０に近い値である。

Images