JP3997171B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。
【０００２】
【従来の技術】
動画像符号化装置では、一般に、符号化対象フレームが所定サイズの複数のブロックに分割され、各々のブロックと参照フレームの所定領域における予測参照画像との動き補償予測が行われることによって動きベクトルが検出されて、符号化対象フレームの予測画像が生成される。かかる動画像符号化装置では、符号化対象フレームが参照フレームからの動きベクトルによって表現されることによって時間方向に存在する冗長度が削減される。また、符号化対象フレームと予測画像との差による予測残差画像が、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換され、ＤＣＴ係数として表現されることによって、空間方向に存在する冗長度が削減される。
【０００３】
上記の動画像符号化装置では、かかる時間方向の冗長度を更に削減するため、参照フレームの整数画素間の１／２画素位置、１／４画素位置に補間画素を設けて動き補償予測を高解像度に行うことによって、符号化効率の向上が図られている。補間画素のうち横方向に並ぶ整数画素に挟まれる１／２画素位置の補間画素には、近傍の左右３個の計６個の整数画素に（１，−５，２０，２０，−５，１）／１６の線形フィルタを施してなる画素値が与えられる。補間画素のうち縦方向に並ぶ整数画素に挟まれる１／２画素位置の補間画素には、近傍の上下３個の計６個の整数画素に（１，−５，２０，２０，−５，１）／１６の線形フィルタを施してなる画素値が与えられる。補間画素のうち近傍の４つの整数画素から等距離にある補間画素には、横方向に隣接する１／２画素位置の補間画素の画素値の平均値が画素値として与えられる。また、補間画素のうち１／４画素位置の補間画素には、近傍の整数画素または１／２画素位置の補間画素のうち２つの画素からの直線補間値が画素値として与えられる。すなわち、補間画素には近傍の整数画素に対してフィルタリングを施して得られる画素値が与えられることになり、参照フレームと符号化対象フレームとの差違が大きい場合であっても、フィルタリングによってその差違が減少される結果、効果的に冗長度が削減される。
【０００４】
ここで、フィルタリングの効果を更に向上させる為に、補間画素のうち（３／４，３／４）の画素位置に、近傍の４つの整数画素の平均値からなる画素値を与えて動き補償予測を行う動画像符号化装置が知られている（例えば、非特許文献１）。すなわち、かかる動画像符号化装置では、直線補間に相当するフィルタリングより高周波遮断特性の強い低域通過フィルタを用いた補間画素を設けることによって、更にフィルタリングの効果を高めて冗長度の削減が図られている。このように高周波遮断特性の強い低域通過フィルタを用いた画素値が与えられる補間画素はＦｕｎｎｙ Ｐｏｓｉｔｉｏｎと呼ばれている。
【０００５】
【非特許文献１】
G. Bjontegaard, "Clarification of "Funny Position", " ITU-T SG16/Q15, doc. Q15-K-27, Portland, 2000.
【０００６】
【発明が解決しようとする課題】
上記の動画像符号化装置では、Ｆｕｎｎｙ Ｐｏｓｉｔｉｏｎを設けることによって参照フレームに対して変化が大きい符号化対象フレームのブロックについては冗長度の削減が図られるものの、参照フレームに対して変化が小さい符号化対象フレームのブロックについてはＦｕｎｎｙ Ｐｏｓｉｔｉｏｎを設けることによって、却って参照フレームとの差違を生じさせることになり、動き補償予測の高解像度化を図った効果が損なわれるという問題点がある。
【０００７】
本発明は上記問題点を解決するためになされたもので、動き補償予測の高解像度化による符号化効率の向上とフィルタリングによる符号化効率の向上を同時に実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムを提供し、また、かかる動画像符号化装置によって生成される圧縮データから動画像を復元するための動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は、符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測手段を備える動画像符号化装置であって、上記動き補償予測手段は、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に上記複雑度抽出手段によって抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更する予測画像生成手段とを有することを特徴としている。
【０００９】
また、上記課題を解決するため、本発明の動画像符号化方法は、符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測ステップを備える動画像符号化方法であって、上記動き補償予測ステップにおいて、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出し、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更することを特徴としている。
【００１０】
また、上記課題を解決するため、本発明の動画像符号化プログラムにおいては、コンピュータを、符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測手段として機能させる動画像符号化プログラムであって、上記動き補償予測手段は、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に上記複雑度抽出手段によって抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更する予測画像生成手段とを有することを特徴としている。
【００１１】
これらの発明では、符号化対象フレームを複数に分割した複数のブロック各々について、参照フレームに対する動きの複雑度を示す複雑度情報が抽出される。かかる複雑度情報によって特定される動きの複雑度に応じて、予測参照画像において高周波遮断特性の強い低域通過フィルタを整数画素に施してなる画素値を与えるフィルタリング画素の数が増加される。すなわち、参照フレームからの変化が少ない処理対象のブロックについてはフィルタリング画素の数が少なくされた高解像度の予測参照画像に基づいて予測画像が生成され、動き補償予測の精度が向上されるので、冗長度の削減が図られる。一方、参照フレームからの変化が大きい処理対象のブロックについては、フィルタリング画素を増加させた予測参照画像に基づいて予測画像が生成されるので、かかる予測画像と処理対象のブロックとの差違が減少される結果、冗長度の削減が図られる。このように、符号化対象フレームのブロックごとに参照フレームからの変化に応じて柔軟にフィルタリング画素の数が変更される結果、符号化効率の向上が図られる。
【００１２】
上記の複雑度情報としては、複雑度情報を抽出すべきブロックの周囲のブロックにおける差分動きベクトルの絶対値を用いることができる。
【００１３】
また、符号化対象フレームと予測画像との差演算によって生成される予測残差画像を所定の変換規則に基づいて所定の係数の集合に変換する変換手段によって、予測残差画像を所定の係数の集合に変換し、上記の複雑度情報として複雑度情報を抽出すべきブロックの周囲のブロックにおける所定の係数のうち非零となる係数の数を用いることを特徴としても良い。
【００１４】
また、上記の複雑度情報として複雑度情報を抽出すべきブロックの差分動きベクトルの絶対値を用いることを特徴としても良い。
【００１５】
また、本発明は別の面においては、上記の動画像符号化装置、または上記の動画像符号化プログラムによって動作するコンピュータによって生成される圧縮データを復号して動画像を復元する動画像復号装置に関するものであり、かかる動画像復号装置は、復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、上記複数のブロック各々について符号化装置によって生成される圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測手段を備える動画像復号装置であって、上記動き補償予測手段は、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に上記複雑度抽出手段によって抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更する予測画像生成手段とを有することを特徴としている。
【００１６】
また、本発明の動画像復号方法は、復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から直線補間してなる補間画素を設けてなる予測参照画像を生成し、上記複数のブロック各々について符号化装置によって生成される圧縮データ圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測ステップを備える動画像復号方法であって、上記動き補償予測ステップにおいて、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出し、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更することを特徴としている。
【００１７】
また、本発明の動画像復号プログラムにおいては、コンピュータを、復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から直線補間してなる補間画素を設けてなる予測参照画像を生成し、上記複数のブロック各々について符号化装置によって生成される圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測手段として機能させる動画像復号プログラムであって、上記動き補償予測手段は、上記複数のブロック各々について上記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を上記複雑度の増加に応じて増加させる所定規則を参照し、上記ブロック毎に上記複雑度抽出手段によって抽出される上記複雑度情報によって特定される上記複雑度に応じて上記予測画像に設ける上記フィルタリング画素の数を変更する予測画像生成手段とを有することを特徴としている。
【００１８】
これらの発明によれば、上記の動画像符号化装置、または上記の動画像符号化プログラムによって動作するコンピュータによって生成される圧縮データから動きベクトルが復号される。そして、復号対象フレームの複数のブロック各々について、動きベクトルを用いて予測画像が生成される際に、各々のブロックの動きの複雑度を示す複雑度情報が抽出される。かかる複雑度情報によって特定される動きの複雑度に応じて、高周波遮断特性の強い低域通過フィルタを整数画素に施してなる画素値を与えるフィルタリング画素の数が増加された予測参照画像が生成され、この予測参照画像から上記の動きベクトルを用いて予測画像が生成される。したがって、上記の動画像符号化装置、または上記の動画像符号化プログラムによって動作するコンピュータによって生成される圧縮データから動画像を復元することが可能となる。
【００１９】
上記の複雑度情報としては、複雑度情報を抽出すべきブロックの周囲のブロックにおける差分動きベクトルの絶対値を用いることができる。
【００２０】
また、符号化装置によって生成される圧縮データであって、符号化対象フレームと予測画像との差演算によって生成される予測残差画像が所定の変換規則に基づいて所定の係数の集合に変換され、該所定の係数の集合が圧縮符号化された圧縮符号を含む圧縮データを所定の復号規則に基づいて復号し、上記の複雑度情報として複雑度情報を抽出すべきブロックの周囲のブロックにおける所定の係数のうち非零となる係数の数を用いることを特徴としても良い。
【００２１】
また、上記の複雑度情報として複雑度情報を抽出すべきブロックの差分動きベクトルの絶対値を用いることを特徴としても良い。
【００２２】
【発明の実施の形態】
以下、本発明の実施形態について説明する。なお、以下の実施形態に関する説明においては、説明の理解を容易にするため、各図面において同一又は相当の部分には同一の符号を附すこととする。
【００２３】
（第１実施形態）
まず、本発明の第１実施形態にかかる動画像符号化装置１について説明する。動画像符号化装置１は、物理的にはＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００２４】
次に、動画像符号化装置１の機能的な構成について説明する。図１は、動画像符号化装置１の機能的な構成を示すブロック図である。動画像符号化装置１は、機能的には、動き補償予測部２と、フレームメモリ４と、減算部６と、変換部８と、量子化部１０と、符号化部１２と、逆量子化部１４と、逆変換部１６と、加算部１８と、ＭＶＤ記憶部２０とを備える。
【００２５】
動き補償予測部２は、フレームメモリ４に格納されている参照フレームを用いて動き補償予測を行い、差分動きベクトル（以下、「ＭＶＤ」という。）を求めると共に、符号化対象フレームの予測画像を生成する。ＭＶＤは、あるブロックの動きベクトルと、そのブロックの周囲のブロックにおける動きベクトルの中間値によってなるベクトルとの差分ベクトルである。なお、動き補償予測部２についての詳細は後述する。
【００２６】
減算部６は、動き補償予測部２によって生成される予測画像と符号化対象フレームとの差演算を実行し、予測残差画像を生成する。
【００２７】
変換部８は、予測残差画像を所定の変換規則に基づいて所定の係数の集合に分解する。この所定の変換規則としては、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いることができる。ＤＣＴが用いられる場合には、予測残差画像はＤＣＴ係数の集合に変換される。また、所定の変換規則としては、ＤＣＴの他に、Ｍａｔｃｈｉｎｇ Ｐａｒｓｕｉｔｓ法（以下、「ＭＰ法」という）を用いることができる。ＭＰ法は、予測残差画像を初期の残差成分とし下式（１）を用いて残差成分を基底セットを用いて分解する処理を反復するものである。ここで、式（１）において、ｆは予測残差画像、Ｒ_nｆは第ｎ反復処理後の残差成分であり、Ｇ_knはＲ_nｆとの内積値を最大とする基底であり、Ｒｍｆは第ｍ反復処理後の残差成分である。すなわち、ＭＰ法によれば、基底セットのうちから残差成分との内積値を最大とする基底が選択され、選択された基底とこの基底に乗じる為の係数である最大の内積値とに残差成分が分解される。
【数１】

【００２８】
量子化部１０は、変換部８によって予測残差画像が分解されてなる係数に量子化操作を施して量子化係数とする。
【００２９】
符号化部１２は、動き補償予測部２によって生成されるＭＶＤを圧縮符号化してなる圧縮符号を生成する。また、符号化部１２は、量子化部１０によって量子化されてなる量子化係数を圧縮符号化して、圧縮符号を生成する。符号化部１２は、これら圧縮符号を含む圧縮データを生成する。この圧縮符号化処理には、例えば、算術符号化といったエントロピー符号化処理を用いることができる。
【００３０】
逆量子化部１４、逆変換部１６、及び加算部１８は、フレームメモリ４に参照フレームを格納するための処理を行う部分である。逆量子化部１４は、量子化部１０によって量子化されてなる量子化係数を逆量子化する。逆変換部１６は、変換部８によって行われる変換処理の逆変換処理を上記の係数を用いて行い、予測残差画像を復元する。加算部１８は、参照フレームの予測画像と逆変換部１６によって復元された予測残差画像を加算して参照フレームを生成する。かかる参照フレームは、上述したようにフレームメモリ４に格納され、動き補償予測部２によって符号化対象フレームの予測画像を生成する処理に用いられる。
【００３１】
ＭＶＤ記憶部２０は、動き補償予測部２によって生成されるＭＶＤを記憶する。ＭＶＤ記憶部２０に記憶されたＭＶＤは、後述する動き補償予測部２による処理に用いられる。
【００３２】
以下、動き補償予測部２について詳細に説明する。動き補償予測部２は、符号化対象フレームを所定サイズの複数のブロックに分割する。動き補償予測部２は、複数のブロック各々について、参照フレームへの動きベクトルを検出し、参照フレームを用いて符号化対象フレームの予測画像を生成する。図２は、動き補償予測部２の構成を示すブロック図である。動き補償予測部２は、予測参照領域生成部２４と、第１ＦＰ生成部２６と、第２ＦＰ生成部２８と、第１予測参照領域格納部３０と、第２予測参照領域格納部３２と、動きベクトル生成部３４と、参照領域セレクタ３６と、予測画像生成部３８と、予測誤差判定部４０とを備えている。
【００３３】
予測参照領域生成部２４は、フレームメモリ４に格納されている参照フレームＲＩに基づいて予測参照画像を生成する。予測参照領域生成部２４は、１／２画素補間領域生成部４２と、１／４画素補間領域生成部４４とを有している。
【００３４】
１／２画素補間領域生成部４２は、参照フレームの整数画素間の１／２画素位置に補間画素を設け、参照フレームを２倍の高解像度の画像とする。補間画素のうち横方向に並ぶ整数画素に挟まれる１／２画素位置の補間画素には、近傍の左右３個の計６個の整数画素に（１，−５，２０，２０，−５，１）／１６の線形フィルタを施してなる画素値が与えられる。補間画素のうち縦方向に並ぶ整数画素に挟まれる１／２画素位置の補間画素には、近傍の上下３個の計６個の整数画素に（１，−５，２０，２０，−５，１）／１６の線形フィルタを施してなる画素値が与えられる。補間画素のうち近傍の４つの整数画素から等距離にある補間画素には、横方向に隣接する１／２画素位置の補間画素の画素値の平均値が画素値として与えられる。
【００３５】
１／４画素補間領域生成部４４は、１／２画素補間領域生成部４２によって生成された２倍の高解像度の画像について画素間に補間画素を更に設けることによって、参照フレームの４倍の高解像度の画像を生成する。かかる補間画素には、近傍の整数画素または１／２画素位置の補間画素のうち２つの画素からの直線補間値が画素値として与えられる。１／２画素補間領域生成部４２及び１／４画素補間領域生成部４４によって、参照フレームは４倍の高解像度の画像とされ、かかる画像は予測参照画像として、第１ＦＰ生成部２６と、第２ＦＰ生成部２８とに出力される。
【００３６】
第１ＦＰ生成部２６は、予測参照画像に高周波遮断特性の強い低域通過フィルタを整数画素に施してなる画素値を（３／４，３／４）画素位置に与えた第１の予測参照画像を生成する。第１ＦＰ生成部２６は、第１の予測参照画像を第１予測参照領域格納部３０に格納する。以下、本明細書においては、高周波遮断特性の強い低域通過フィルタを整数画素に施してなる画素値を与える補間画素を「ＦＰ（Ｆｕｎｎｙ Ｐｏｓｉｔｉｏｎ）」という。また、高周波遮断特性の強い低域通過フィルタを「ローパスフィルタ」という。
【００３７】
図３は、第１ＦＰ生成部２６によって生成される第１の予測参照画像の一例を概略的に示す図である。図３において円形の図形は画素を示している。図３において、黒塗りの円は整数画素であり、中抜きの円は補間画素であり、また、格子状のハッチングが施された円はＦＰである。第１ＦＰ生成部２６は、このＦＰに与える画素値を直下近傍の４つの整数画素の画素値それぞれに１／２の係数を乗じた値を加算した画素値を与える。
【００３８】
第２ＦＰ生成部２８は、予測参照画像に第１ＦＰ生成部２６よりＦＰを多く設けた第２の予測参照画像を生成する。第２ＦＰ生成部２８は、第２の予測参照画像を第２予測参照領域格納部３２に格納する。図４は、第２ＦＰ生成部２８によって生成される第２の予測参照画像の一例を概略的に示す図である。図４においても図３と同様に円形の図形は画素を示している。図４において、黒塗りの円は整数画素であり、中抜きの円は補間画素であり、また、ハッチングが施された円はＦＰである。
【００３９】
第２ＦＰ生成部２８は、ＦＰに以下のように生成される画素値を与える。図４において斜線のハッチングが施された（１／４，１／４）画素位置のＦＰには、（４／３２，２４／３２，４／３２）を係数とする１次元ローパスフィルタを直上の近傍の３つの整数画素に横方向にかけて生成される画素値が与えられる。縦線のハッチングを施した（３／４，１／４）画素位置のＦＰには、（−２／３２，１／３２，１７／３２，１７／３２，１／３２，−２／３２）を係数とする１次元ローパスフィルタを直上の近傍の６つの整数画素に横方向にかけて生成される画素値が与えられる。横線のハッチングを施した（１／４，３／４）画素位置のＦＰには、（２／３２，６／３２，８／３２，８／３２，２／３２）を係数とする１次元ローパスフィルタを直下の近傍の５つの整数画素に横方向にかけて生成される画素値が与えられる。格子状のハッチングを施した（３／４，３／４）画素位置のＦＰには、（３／３２，１３／３２，１３／３２，３／３２）を係数とする１次元ローパスフィルタを直下の近傍の４つの整数画素に横方向にかけて生成される画素値が与えられる。
【００４０】
動きベクトル生成部３４は、動き補償予測を行う処理対象のブロックについて第１または第２の予測参照画像における所定の領域においてブロックマッチングを行う位置への動きベクトルを生成し、かかる動きベクトルを参照領域セレクタ３６と予測画像生成部３８に出力する。動きベクトル生成部３４は、参照フレームにおいて処理対象のブロックと同位置を中心に、例えば（−１６、−１６）から（１６，１６）までの動きベクトルを生成する。
【００４１】
参照領域セレクタ３６は、動き補償予測を行う処理対象のブロックの周囲のブロックにおけるＭＶＤをＭＶＤ記憶部２０から取得し、かかるＭＶＤの絶対値を処理対象のブロックの動きの複雑度を示す複雑度情報として用いる。ＭＶＤは、あるブロックについての動きベクトルとその周囲のブロックの動きベクトルとの差分ベクトルであるから、動きが複雑なブロックの周囲のＭＶＤはその絶対値が大きくなり、動きが平坦なブロックの周囲のＭＶＤはその絶対値が小さくなる。したがって、ＭＶＤの絶対値によってそのブロックの参照フレームからの動きの複雑さを表すことができる。
【００４２】
参照領域セレクタ３６は、処理対象のブロックの周囲のブロックにおけるＭＶＤの絶対値が所定の基準値より小さい場合には、処理対象のブロックにおける動きが複雑でないものとして、動き補償予測に用いる予測参照画像として第１予測参照領域格納部３０に格納された第１の予測参照画像を選択すべきであると判断する。一方、参照領域セレクタ３６は、処理対象のブロックの周囲のブロックにおけるＭＶＤの絶対値が所定の基準値以上の場合には、処理対象のブロックにおける動きが複雑であるとして、動き補償予測に用いる予測参照画像として第２予測参照領域格納部３２に格納された第２の予測参照画像を選択すべきであると判断する。参照領域セレクタ３６はかかる判断結果を予測画像生成部３８に出力する。
【００４３】
予測画像生成部３８は、参照領域セレクタ３６からの判断結果に基づいて、第１の予測参照画像、または第２の予測参照画像のいずれかを選択する。予測画像生成部３８は、選択した画像から動きベクトル生成部３４によって出力された動きベクトルによって特定される部分のブロックの画像を予測画像の候補とし、かかる候補と上記の動きベクトルを対応付ける。予測画像の候補は、動きベクトル生成部３４によって生成される複数の動きベクトル全てについて求められ、予測画像の候補とこれに対応する動きベクトルの組が複数生成される。
【００４４】
予測誤差判定部４０は、予測画像生成部３８によって生成される複数の予測画像の候補のうち、符号化対象フレームＥＩにおいて動き補償予測を行う対象のブロックとの誤差が最も少ない予測画像の候補を選択して、かかるブロックの予測画像ＰＩとする。また、予測誤差判定部４０は、この予測画像の候補に対応付けられている動きベクトルをかかるブロックの参照フレームに対する動きベクトルとする。予測画像ＰＩは、符号化対象フレームＥＩの全てのブロックについて求められて符号化対象フレームの予測画像とされ、かかる予測画像は上記のように減算部６によって処理される。また、動きベクトルも符号化対象フレームＥＩの全てのブロックについて求められ、動きベクトルは予測誤差判定部４０によってＭＶＤとされる。かかるＭＶＤは予測誤差判定部４０によって符号化部１２に出力される。
【００４５】
次に、動画像符号化装置１の動作について説明する。併せて、本発明の第１実施形態にかかる動画像符号化方法について説明する。図５は第１実施形態にかかる動画像符号化方法のフローチャートである。また、図６は、かかる動画像符号化方法における動き補償予測に関するフローチャートである。
【００４６】
図５に示すように、第１実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ０１）。動き補償予測においては、図６に示すように、まず、予測参照領域生成部２４によって予測参照画像が生成される（ステップＳ０２）。予測参照画像は、参照フレームに基づいて生成されるものである。参照フレームが、１／２画素補間領域生成部４２及び１／４画素補間領域生成部４４によって４倍の高解像度の画像とされ、かかる４倍の高解像度の画像が予測参照画像とされる。
【００４７】
予測参照画像は上述したように、第１のＦＰ生成部２６によって第１の予測参照画像とされて第１の予測参照領域格納部３０に格納される。また、予測参照画像は、第２のＦＰ生成部２８によって第２の予測参照画像生成とされ第２の予測参照領域格納部３２に格納される（ステップＳ０３）。
【００４８】
次に、参照領域セレクタ３６によって、処理対象のブロックの周囲のブロックにおけるＭＶＤが用いられて、処理対象のブロックの複雑度が求められる。参照領域セレクタ３６によって、かかる複雑度が所定の基準値と比較され、その比較結果に基づいて、第１の予測参照画像と第２の予測参照画像とのうちいずれかを選択する判断がなされる（ステップＳ０４）。
【００４９】
次に、動きベクトル生成部３４によって、動きベクトルが生成され、かかる動きベクトルが予測画像生成部３８と出力される（ステップＳ０５）。そして、上述したように抽出される処理対象のブロックの動きの複雑度に基づいて、参照領域セレクタ３６によって第１または第２の予測参照画像が選択される。第１または第２の予測参照画像のうち参照領域セレクタ３６によって選択された画像において、上記の動きベクトルに対応する部分のブロックの画像が、予測画像生成部３８によって抽出されて、予測画像の候補とされる。かかる予測画像の候補は、動きベクトルと対応付けられる（ステップＳ０６）。
【００５０】
ステップＳ０５及びステップＳ０６の処理は、処理対象のブロックについて予め定められている予測参照画像の所定の領域において繰り返され、生成される複数の予測画像の候補のうち最も処理対象のブロックとの誤差の少ない候補が処理対象のブロックの予測画像として予測誤差判定部４０によって抽出される。また、抽出された予測画像の候補に対応付けられている動きベクトルが処理対象のブロックの動きベクトルとして予測誤差判定部４０によって抽出される（ステップＳ０７）。ステップＳ０２〜ステップＳ０７の処理が、符号化対象フレームの全てのブロックについて繰り返された後、符号化対象フレームの予測画像が生成され減算部６に出力されると共に、全てのブロックに関する動きベクトルはＭＶＤとされ、かかるＭＶＤが符号化部１２に出力される。
【００５１】
図５に戻り、動き補償予測部２によって出力される予測画像と符号化対象フレームとの差演算が減算部６によって実行されて予測残差画像が生成される（ステップＳ０８）。予測残差画像は変換部８によって係数の集合に分解される（ステップＳ０９）。かかる集合に含まれる係数はそれぞれ、量子化部１０によって量子化されて量子化係数とされる（ステップＳ１０）。そして、上記のＭＶＤと量子化係数が符号化部１２によって圧縮符号化されて、圧縮データが生成される（ステップＳ１１）。
【００５２】
次に、コンピュータを動画像符号化装置１として機能させる動画像符号化プログラム５０について説明する。図７は動画像符号化プログラム５０の構成を説明するブロック図である。動画像符号化プログラム５０は、処理を統括するメインモジュール５１と、動き補償予測モジュール５２と、減算モジュール５４と、変換モジュール５６と、量子化モジュール５８と、符号化モジュール６０と、逆量子化モジュール６２と、逆変換モジュール６４と、加算モジュール６６と、ＭＶＤ記憶モジュール６８とを備える。動き補償予測モジュール５２は、その構成を示す図である図８に示すように、予測参照領域生成サブモジュール７０と、第１ＦＰ生成サブモジュール７２と、第２ＦＰ生成サブモジュール７４と、動きベクトル生成サブモジュール７６と、参照領域セレクトサブモジュール７８と、予測画像生成サブモジュール８０と、予測誤差判定サブモジュール８２とを有する。予測参照領域生成サブモジュール７０は、１／２画素補間領域生成サブモジュール８４と、１／４画素補間領域生成サブモジュール８６とを有する。
【００５３】
動き補償予測モジュール５２、減算モジュール５４、変換モジュール５６、量子化モジュール５８、符号化モジュール６０、逆量子化モジュール６２、逆変換モジュール６４、減算モジュール６６、ＭＶＤ記憶モジュール６８、予測参照領域生成サブモジュール７０、第１ＦＰ生成サブモジュール７２、第２ＦＰ生成サブモジュール７４、動きベクトル生成サブモジュール７６、参照領域セレクトサブモジュール７８、予測画像生成サブモジュール８０、予測誤差判定サブモジュール８２、１／２画素補間領域生成サブモジュール８４、１／４画素補間領域生成サブモジュール８６がコンピュータに実現させる機能はそれぞれ、動き補償予測部２、減算部６、変換部８、量子化部１０、符号化部１２、逆量子化部１４、逆変換部１６、加算部１８、ＭＶＤ記憶部２０、予測参照領域生成部２４、第１ＦＰ生成部２６、第２ＦＰ生成部２８、動きベクトル生成部３４、参照領域セレクタ３６、予測画像生成部３８、予測誤差判定部４０、１／２画素補間領域生成部４２、１／４画素補間領域生成部４４と同様である。
【００５４】
以下、第１実施形態にかかる動画像符号化装置１の作用及び効果について説明する。動画像符号化装置１では、符号化対象フレームを分割した複数のブロック各々について、周囲のブロックにおけるＭＶＤの絶対値が抽出される。かかるＭＶＤの絶対値は、処理対象のブロックについての参照フレームからの動きの複雑度を表す。動画像符号化装置１では、処理対象のブロックの周囲におけるＭＶＤの絶対値が所定の基準値をより小さい場合に、第１ＦＰ生成部２６によって生成された第１の予測参照画像が用いられることによって、予測画像が生成される。すなわち、処理対象のブロックの参照フレームからの動きが複雑でない場合には、ＦＰの数が少ない第１の予測参照画像から予測画像が抽出される。したがって、参照フレームからの動きが複雑でない処理対象のブロックについては、高解像度化による符号化効率の向上が図られる。一方、処理対象のブロックの周囲におけるＭＶＤの絶対値が所定の基準値以上の場合に、第２ＦＰ生成部２８によって生成された第２の予測参照画像が用いられることによって、予測画像が生成される。すなわち、処理対象のブロックの参照フレームからの動きが複雑な場合には、ＦＰの数が多い第２の予測参照画像から予測画像が抽出される。したがって、参照フレームからの動きが複雑な処理対象のブロックについては、ＦＰを多数設けた第２の予測参照画像から予測画像が抽出される結果、予測画像と処理対象のブロックの画像との差違が減少されるので、冗長度が削減される。このように、処理対象のブロックの参照フレームからの変化に応じて、柔軟にＦＰの数の異なる第１の予測参照画像と第２の予測参照画像が用いられて予測画像が生成される結果、符号化効率の向上が図られる。
【００５５】
なお、上記の動き補償予測部２においては、動き補償予測を行うときに参照フレーム全体に対する予測参照画像が生成されていたが、処理対象のブロックの位置に応じて参照フレームの所定の領域、すなわち動きベクトルを検出するためにブロックマッチングを行うべき領域についてのみ予測参照画像を生成してもよい。この場合には、処理対象のブロックを切り替える毎に新たに予測参照画像が生成される。図９は、かかる動き補償予測を行うための動き補償予測部８８の構成を示す図である。動き補償予測部８８を動画像符号化装置１の動き補償予測部２と置き換えることができる。
【００５６】
図９に示すように、動き補償予測部８８は、予測参照領域生成部９０と、適応ＦＰ生成部９２と、予測参照領域格納部９４と、動きベクトル生成部９６と、予測画像生成部９８と、予測誤差判定部１００とを有する。
【００５７】
予測参照領域生成部９０は、動き補償予測を行う処理対象のブロックに対応する参照フレームの所定の領域の画像に基づいて予測参照画像を生成する。かかる所定の領域とは、処理対象のブロックの動きベクトルを検出するためにブロックマッチングを行うべき領域である。
【００５８】
予測参照領域生成部９０は、１／２画素補間領域生成部１０２と、１／４画素補間領域生成部１０４とを有する。１／２画素補間領域生成部１０２は、上記の所定の領域の画像を２倍の高解像度の画像とする。また、１／４画素補間領域生成部１０４は、２倍の高解像度の画像を更に４倍の高解像度の画像とした予測参照画像を生成する。以上の高解像度化は、上述した１／２画素補間領域生成部４２と１／４画素補間領域生成部４４とによる処理と同様の処理によって実現される。
【００５９】
適応ＦＰ生成部９２は、処理対象のブロックの周囲のブロックにおけるＭＶＤをＭＶＤ記憶部２０から取得して、ＭＶＤの絶対値が所定の基準値より小さい場合には、予測参照画像の（３／４、３／４）画素位置をＦＰとする。かかるＦＰの生成処理については、第１ＦＰ生成部２６による処理と同様である。一方、適応ＦＰ生成部９２は、上記のＭＶＤの絶対値が所定の基準値以上の場合に、第２ＦＰ生成部２８と同様の処理によって、予測参照画像にＦＰを設ける。適応ＦＰ生成部９２によってＦＰが設けられた予測参照画像は、予測参照領域格納部９４に格納される。
【００６０】
動きベクトル生成部９６は、動き補償予測を行う処理対象のブロックと予測参照画像とのブロックマッチングを行うべき予測参照画像の位置への動きベクトルを生成し、この動きベクトルを予測画像生成部９８に出力する。動きベクトルは予測参照画像の全領域とのブロックマッチングが実現されるように複数生成される。
【００６１】
予測画像生成部９８は、予測参照領域格納部９４に格納された予測参照画像のうち、動きベクトル生成部９６によって出力された動きベクトルに対応するブロックの画像を予測画像の候補として抽出し、かかる予測画像の候補を動きベクトルと対応付ける。予測画像の候補は、動きベクトル生成部９６によって生成される複数の動きベクトル各々に対応して生成される。
【００６２】
予測誤差判定部１００は、予測画像生成部９８によって生成される複数の予測画像の候補のうち、処理対象のブロックとの誤差が最も少ない予測画像の候補を選択して、選択した候補を処理対象のブロックの予測画像ＰＩとする。また、予測誤差判定部１００は、この予測画像の候補に対応付けられている動きベクトルを処理対象のブロックの参照フレームに対する動きベクトルとする。予測画像は、符号化対象フレームＥＩの全てのブロックについて求められることによって符号化対象フレームの予測画像ＰＩとされ、かかる予測画像は上記のように減算部６に出力される。また、動きベクトルも符号化対象フレームＥＩの全てのブロックについて求められる。かかる動きベクトルは予測誤差判定部１００によってＭＶＤとされて、符号化部１２に出力される。
【００６３】
以下、動き補償予測部８８を用いた場合の動画像符号化装置１の動作、及びかかる動画像符号化装置１による動画像符号化の方法について説明する。ここでは、動き補償予測部２を用いた動画像符号化装置１による処理と異なる動き補償予測部８８による処理についてのみ説明する。図１０は、動き補償予測部８８によって実行される動画像符号化の方法を示すフローチャートである。
【００６４】
かかる動画像符号化方法においては、まず、処理対象のブロックの位置に応じて参照フレームの所定の領域の画像が抽出され、かかる画像が予測参照領域生成部９０によって４倍の高解像度の画像とされる。この４倍の高解像度の画像は、予測参照画像とされる（ステップＳ２０）。
【００６５】
次いで、適応ＦＰ生成部９２によってＦＰが予測参照画像に設けられる（ステップＳ２１）。適応ＦＰ生成部９２は、処理対象のブロックの周囲のブロックのＭＶＤの絶対値と所定の基準値を比較した結果に基づいて、上述したように、予測参照画像に設けるＦＰの数を変える。このようにＦＰが設けられた予測参照画像は予測参照領域格納部９４に格納される。
【００６６】
次いで、動きベクトル生成部９６によって、生成される動きベクトルが予測画像生成部９８に出力される（ステップＳ２２）。そして、予測画像生成部９８によって予測参照画像から動きベクトルに対応する部分のブロックの画像が抽出され、抽出された画像は予測画像の候補とされて動きベクトルと対応付けられる（ステップＳ２３）。ステップＳ２２及びステップＳ２３の処理は、動きベクトルを変更しつつ繰り返され、複数の予測画像の候補が生成される。そして、予測誤差判定部４０によって、複数の予測画像の候補のうち最も処理対象のブロックとの誤差の少ない候補が処理対象のブロックの予測画像として抽出される。また、予測誤差判定部１００によって、予測画像とされた上記の候補に対応付けられている動きベクトルが処理対象のブロックの動きベクトルとして抽出される（ステップＳ２４）。ステップＳ２０〜ステップＳ２４の処理が、符号化対象フレームの全てのブロックについて繰り返されたることによって符号化対象フレームの予測画像が生成され、かかる予測画像が減算部６に出力される。また、全てのブロックに関する動きベクトルが予測誤差判定部１００によってＭＶＤとされて、符号化部１２に出力される。
【００６７】
次に、動き補償予測部８８を備える動画像符号化装置１として、コンピュータを機能させるための動画像符号化プログラムについて説明する。かかる動画像符号化プログラムは、動画像符号化プログラム５０における動き補償予測モジュール５２を以下に説明する動き補償予測モジュール１０６に置き換えることによって構成される。図１１は、動き補償予測モジュール１０６の構成を示す図である。
【００６８】
動き補償予測モジュール１０６は、予測参照領域生成サブモジュール１０８と、適応ＦＰ生成サブモジュール１１０と、動きベクトル生成サブモジュール１１２と、予測画像生成サブモジュール１１４と、予測誤差判定サブモジュール１１６とを有する。また、予測参照領域生成サブモジュール１０８は、１／２画素補間領域生成サブモジュール１１８と、１／４画素補間領域生成サブモジュール１２０とを有する。予測参照領域生成サブモジュール１０８、適応ＦＰ生成サブモジュール１１０、動きベクトル生成サブモジュール１１２、予測画像生成サブモジュール１１４、予測誤差判定サブモジュール１１６、１／２画素補間領域生成サブモジュール１１８と、１／４画素補間領域生成サブモジュール１２０がコンピュータに実現させる機能はそれぞれ、予測参照領域生成部９０、適応ＦＰ生成部９２、動きベクトル生成部９６、予測画像生成部９８、予測誤差判定部１００、１／２画素補間領域生成部１０２、１／４画素補間領域生成部１０４と同様である。
【００６９】
以上のように、ブロックマッチングを行うべき参照フレームの所定の領域について予測参照画像を生成する処理によれば、参照フレーム全体の予測参照画像を一度に生成する処理に比べて、一時的に必要とされるメモリ容量が削減される。
【００７０】
（第２実施形態）
次に、本発明の第２実施形態にかかる動画像符号化装置１３０について説明する。動画像符号化装置１３０では、処理対象のブロックの参照フレームからの動きの複雑度を表すために処理対象のブロックの周囲のブロックにおける非零ＤＣＴ係数の数が用いられる点が、第１実施形態の動画像符号化装置１と異なる。ＤＣＴ係数は、予測残差画像を分解したものであるから、処理対象のブロックと予測画像との差違が大きい程、すなわち処理対象のブロックの参照フレームからの動きが複雑であるほど、非零ＤＣＴ係数の数は多くなる。
【００７１】
動画像符号化装置１３０は、物理的には第１実施形態の動画像符号化装置１と同様の構成を有する。図１２は、動画像符号化装置１３０の機能的な構成を示すブロック図である。図１２に示すように動画像符号化装置１３０は、機能的には、動き補償予測部１３２と、フレームメモリ１３４と、減算部１３６と、変換部１３８と、量子化部１４０と、符号化部１４２と、逆量子化部１４４と、逆変換部１４６と、加算部１４８と、係数数記憶部１５０とを備える。これらの構成要素のうち、動き補償予測部１３２と、変換部１３８と、係数数記憶部１５０とが、動画像符号化装置１と異なる機能をもつ部分であるので、以下、動き補償予測部１３２と、変換部１３８と、係数数記憶部１５０とについて説明し、他の部分の説明は省略する。
【００７２】
変換部１３８は、減算部１３６から出力される予測残差画像を所定サイズの複数のブロックに分割して、複数のブロック各々における予測残差画像にＤＣＴを施す。予測残差画像にＤＣＴが施されてなるＤＣＴ係数は、量子化部１４０によって量子化され量子化ＤＣＴ係数とされ、ブロックごとに量子化ＤＣＴ係数の数が係数数記憶部１５０に記録される。係数数記憶部１５０に記憶されている非零ＤＣＴ係数の数は、動き補償予測部１３２によって用いられる。
【００７３】
動き補償予測部１３２は、図２に示される第１実施形態の動き補償予測部２と同様の構成を有し、第１実施形態においては参照領域セレクタ３６が処理対象のブロックにおける動きの複雑度を求める際に処理対象のブロックの周囲のブロックのＭＶＤの絶対値を用いているのに代えて、処理対象のブロックの周囲のブロックの非零量子化ＤＣＴ係数の数を用いる。なお、動き補償予測部１３２の他の処理については、動き補償予測部２と同様であるので説明を省略する。
【００７４】
動画像符号化装置１３０の動作及び動画像符号化装置１３０による動画像符号化の方法についても、上述したように、処理対象のブロックの参照フレームからの動きの複雑度を表すために、処理対象のブロックの周囲のブロックにおける非零量子化ＤＣＴ係数の数を用いる点において、第１実施形態と異なるだけであるので説明を省略する。また、コンピュータを動画像符号化装置１３０として動作させるための動画像符号化プログラムについても同様に、処理対象のブロックの参照フレームからの動きの複雑さを表すために、周囲のブロックにおける非零量子化ＤＣＴ係数の数を用いる点において、第１実施形態の動画像符号化プログラム５０と異なるだけであるので、その説明を省略する。
【００７５】
なお、動画像符号化装置１３０においても、第１実施形態の動画像符号化装置１と同様に、動き補償予測を行うときに参照フレーム全体に対する予測参照画像を生成しても良く、処理対象のブロックの位置に応じてブロックマッチングを行うべき参照フレームの所定の領域についてのみ予測参照画像を生成してもよい。
【００７６】
以上のように、処理対象ブロックの参照フレームからの動きの複雑度として、処理対象ブロックの周囲のブロックにおける非零量子化ＤＣＴ係数の数を用いることによっても、本発明の思想を実現することができる。
【００７７】
（第３実施形態）
次に、本発明の第３実施形態にかかる動画像符号化装置１６０について説明する。動画像符号化装置１６０では、処理対象のブロックの参照フレームからの動きの複雑度を表すために、処理対象のブロックにおけるＭＶＤの絶対値が利用される点において、第１実施形態の動画像符号化装置１と異なる。
【００７８】
動画像符号化装置１６０は、物理的には第１実施形態の動画像符号化装置１と同様の構成を有する。図１３は、動画像符号化装置１６０の機能的な構成を示すブロック図である。図１３に示すように動画像符号化装置１６０は、機能的には、動き補償予測部１６２と、フレームメモリ１６４と、減算部１６６と、変換部１６８と、量子化部１７０と、符号化部１７２と、逆量子化部１７４と、逆変換部１７６と、加算部１７８とを備える。これらの構成要素のうち、動画像符号化装置１６０においては、動き補償予測部１６２が動画像符号化装置１に備えられる構成要素と異なる処理を行うので、以下、動き補償予測部１６２について説明し、他の構成要素に関する説明は省略する。
【００７９】
図１４は、動き補償予測部１６２の構成を示すブロック図である。図１４に示すように、動き補償予測部１６２は、予測参照領域生成部１８０と、予測参照領域格納部１８２と、動きベクトル生成部１８４、適応ＦＰ生成部１８６と、予測画像生成部１８８と、予測誤差判定部１９０とを有する。
【００８０】
予測参照領域生成部１８０は、１／２画素補間領域生成部１９２と、１／４画素補間領域生成部１９４とを有し、第１実施形態の予測参照領域生成部９０と同様の処理によって、処理対象のブロックに対応する参照フレームの所定の領域の画像を４倍の高解像度の画像とした予測参照画像を生成する。予測参照領域生成部１８０は、予測参照画像を予測参照領域格納部１８２に格納する。
【００８１】
動きベクトル生成部１８４は、処理対象のブロックについてブロックマッチングを行うべき予測参照画像の位置への動きベクトルを生成して、かかる動きベクトルを適応ＦＰ生成部１８６と、予測画像生成部１８８とに出力する。
【００８２】
適応ＦＰ生成部１８６は、処理対象のブロックの周囲のブロックにおける動きベクトルの中間値によりなるベクトルと、動きベクトル生成部１８４によって出力される動きベクトルとを用いてＭＶＤを生成する。適応ＦＰ生成部１８６は、このＭＶＤの絶対値が所定の基準値より小さい場合には、予測参照画像の（３／４、３／４）画素位置をＦＰとする。かかるＦＰの生成処理については、第１実施形態の第１ＦＰ生成部２６による処理と同様である。一方、適応ＦＰ生成部１８６は、上記のＭＶＤの絶対値が所定の基準値以上の場合に、第１実施形態の第２ＦＰ生成部２８と同様の処理によって、予測参照画像にＦＰを設ける。適応ＦＰ生成部１８６によってＦＰが設けられた予測参照画像は、予測画像生成部１８８に出力される。
【００８３】
予測画像生成部１８８は、適応ＦＰ生成部１８６によって出力される予測参照画像から動きベクトル生成部１８４によって出力される動きベクトルに対応する位置のブロックの画像を予測画像の候補とし、かかる予測画像の候補と上記の動きベクトルを対応付ける。動きベクトル生成部１８４は、予測参照画像の全領域についてブロックマッチングが行われるように動きベクトルを複数生成し、予測画像生成部１８８によって複数の動きベクトル各々についての予測画像の候補が生成される。
【００８４】
予測誤差判定部１９０は、予測画像生成部１８８によって生成される複数の予測画像の候補のうち、処理対象のブロックとの誤差が最も少ない候補を予測画像として抽出し、この候補に対応付けられている動きベクトルを処理対象のブロックの動きベクトルとして抽出する。予測画像は、符号化対象フレームの全てのブロックについて求められて、減算部１６６に出力される。動きベクトルも、符号化対象フレームの全てのブロックについて求められる。かかる動きベクトルは、予測誤差判定部１９０によってＭＶＤとされて、符号化部１７２に出力される。
【００８５】
次に、動画像符号化装置１６０の動作、及び第３実施形態にかかる動画像符号化方法について説明する。ここでは、第１実施形態の動画像符号化方法と異なる動き補償予測に関する処理についてのみ説明する。図１５は、かかる動き補償予測に関する処理のフローチャートである。
【００８６】
図１５に示すように、第３実施形態の動き補償予測においては、まず、予測参照領域生成部１８０によって、参照フレームのうち処理対象のブロックに対応する所定の領域の画像が４倍の高解像度の画像とされ、かかる画像が予測参照画像として予測参照領域格納部１８２に格納される（ステップＳ３０）。
【００８７】
次いで、ブロックマッチングを行うべき予測参照画像の位置への動きベクトルが動きベクトル生成部１８４によって生成され、かかる動きベクトルは、適応ＦＰ生成部１８６と予測画像生成部１８８とに出力される（ステップＳ３１）。
【００８８】
次いで、動きベクトル生成部１８４によって出力される動きベクトルと、処理対象のブロックの周囲のブロックにおける動きベクトルの中間値によってなるベクトルとに基づいて差分動きベクトル（ＭＶＤ）が、適応ＦＰ生成部１８６によって生成される。適応ＦＰ生成部１８６は、ＭＶＤの絶対値と所定の基準値との比較結果に基づいて、上述したように予測参照画像に設けるＦＰの数を変える。ＦＰが設けられた予測参照画像は、予測画像生成部１８８に出力される（ステップＳ３３）。
【００８９】
適応ＦＰ生成部１８６によって出力される予測参照画像から動きベクトル生成部１８４によって出力される動きベクトルに対応する位置のブロックの画像が、予測画像生成部１８８によって抽出され、かかる画像は予測画像の候補とされて上記の動きベクトルと対応付けて予測誤差判定部１９０に出力される（ステップＳ３４）。ステップＳ３１からステップＳ３４までの処理は、予測参照画像の全領域に対してブロックマッチングが行われるように繰り返され、複数の予測画像の候補が生成される。
【００９０】
予測誤差判定部１９０は、複数の予測画像の候補のうち、処理対象のブロックとの誤差が最小の候補を予測画像として抽出し、この予測画像を減算部１６６に出力する。また、予測誤差判定部１９０は、かかる予測画像に対応付けられている動きベクトルを抽出する。予測誤差判定部１９０は動きベクトルをＭＶＤにして、符号化部１７２に出力する（ステップＳ３５）。
【００９１】
以下、コンピュータを動画像符号化装置１６０として動作させる動画像符号化プログラムについて説明する。かかる動画像符号化プログラムは、第１実施形態の動画像符号化プログラム５０と、動き補償予測モジュールの構成が異なるので、ここではその動き補償予測モジュール２００の構成についてのみ説明する。
【００９２】
図１６は、動き補償予測モジュール２００の構成を示す図である。動き補償予測モジュール２００は、予測参照領域生成サブモジュール２０２と、動きベクトル生成サブモジュール２０４と、適応ＦＰ生成サブモジュール２０６と、予測画像生成サブモジュール２０８と、予測誤差判定サブモジュール２１０とを有する。予測参照領域生成サブモジュール２０２は、１／２画素補間領域生成サブモジュール２１２と、１／４画素補間領域生成サブモジュール２１４とを有する。予測参照領域生成サブモジュール２０２、動きベクトル生成サブモジュール２０４、適応ＦＰ生成サブモジュール２０６、予測画像生成サブモジュール２０８、予測誤差判定サブモジュール２１０、１／２画素補間領域生成サブモジュール２１２、１／４画素補間領域生成サブモジュール２１４がそれぞれコンピュータに実現させる機能はそれぞれ、予測参照領域生成部１８０、動きベクトル生成部１８４、適応ＦＰ生成部１８６、予測画像生成部１８８、予測誤差判定部１９０、１／２画素補間領域生成部１９２、１／４画素補間領域生成部１９４と同様である。
【００９３】
以上のように、処理対象のブロック自体のＭＶＤ値を用いる構成の動画像符号化装置によっても、本発明の思想は実現される。
【００９４】
（第４実施形態）
次に、本発明の第４実施形態にかかる動画像復号装置２２０について説明する。動画像復号装置２２０は、第１実施形態の動画像符号化装置１によって生成される圧縮データを復号して動画像を生成する装置である。動画像復号装置２２０は、物理的には、ＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００９５】
以下、動画像復号装置２２０の機能的な構成について説明する。図１７は、動画像復号装置２２０の機能的な構成を示すブロック図である。動画像復号装置２２０は、機能的には、復号部２２２と、逆量子化部２２４と、逆変換部２２６と、ＭＶＤ記憶部２２８と、動き補償予測部２３０と、フレームメモリ２３２と、加算部２３４とを備える。
【００９６】
復号部２２２は、動画像符号化装置１によって生成される圧縮データを復号する部分である。復号部２２２は、圧縮データを復号することによって得られるＭＶＤをＭＶＤ記憶部２２８と動き補償予測部２３０とに出力する。また、復号部２２２は、圧縮データから復号する量子化係数を逆量子化部２２４に出力する。
【００９７】
逆量子化部２２４は、上記の量子化係数に逆量子化操作を施してなる係数を生成し、かかる係数を逆変換部２２６に出力する。逆変換部２２６は、逆量子化部２２４によって出力される係数を用いて、所定の逆変換規則に基づき逆変換を行うことによって予測残差画像を生成する。逆変換部２２６はかかる予測残差画像を加算部２３４に出力する。ここで、動画像符号化装置１の変換部８によってＤＣＴが用いられる場合に、所定の逆変換規則として逆ＤＣＴを用いることができる。また、動画像符号化装置１の変換部８によってＭＰ法が用いられる場合には、ＭＰ法の逆操作を所定の逆変換規則とすることができる。
【００９８】
ＭＶＤ記憶部２２８は、復号部２２２によって出力されるＭＶＤを記憶する。ＭＶＤ記憶部２２８によって記憶されるＭＶＤは動き補償予測部２３０によって利用される。
【００９９】
動き補償予測部２３０は、復号部２２２によって出力されるＭＶＤを用いて、フレームメモリ２３２に格納される参照フレームから復号対象フレームの予測画像を生成する。かかる処理の詳細は後述する。動き補償予測部２３０は、生成した予測画像を加算部２３４に出力する。
【０１００】
加算部２３４は、動き補償予測部２３０によって出力される予測画像と逆変換部２２６によって出力される予測残差画像を加算して復号対象フレームを生成する。加算部２３４はかかるフレームをフレームメモリ２３２へ出力し、フレームメモリ２３２に出力されたフレームは参照フレームとして動き補償予測部２３０によって利用される。
【０１０１】
次に、動き補償予測部２３０の詳細について説明する。図１８は動き補償予測部２３０の構成を示すブロック図である。動き補償予測部２３０は、予測参照領域生成部２３６と、第１ＦＰ生成部２３８と、第２ＦＰ生成部２４０と、第１予測参照領域格納部２４２と、第２予測参照領域格納部２４４と、参照領域セレクタ２４６と、予測画像生成部２４８とを有する。
【０１０２】
予測参照領域生成部２３６は、フレームメモリ２３２に格納された参照フレームＲＩに基づいて予測参照画像を生成する。予測参照領域生成部２４は、１／２画素補間領域生成部２５０と、１／４画素補間領域生成部２５２とを有している。１／２画素補間領域生成部２５０、１／４画素補間領域生成部２５２はそれぞれ、動画像符号化装置１の１／２画素補間領域生成部４２、１／４画素補間領域生成部４４と同様の処理を行う。
【０１０３】
第１ＦＰ生成部２３８は、動画像符号化装置１の第１ＦＰ生成部２６と同様の処理を行い、第１の予測参照画像を生成して、第１予測参照領域格納部２４２に格納する。第２ＦＰ生成部２４０は、動画像符号化装置１の第２ＦＰ生成部２８と同様の処理を行い、第２の予測参照画像を生成して、第２予測参照領域格納部２４４に格納する。
【０１０４】
参照領域セレクタ２４６は、動画像符号化装置１の参照領域セレクタ３６と同様の処理を行い、処理対象のブロックの周囲のブロックにおけるＭＶＤをＭＶＤ記憶部２２８から取得し、取得したＭＶＤの絶対値を所定の基準値と比較し、かかる比較を行った結果に基づいて、第１の予測参照画像と第２の予測参照画像とのうちいずれかを選択する判断結果を、予測画像生成部２４８に出力する。
【０１０５】
予測画像生成部２４８は、復号部２２２によって出力されるＭＶＤから処理対象のブロックの動きベクトルを算出する。また、予測画像生成部２４８は、参照領域セレクタ２４６による判断結果に基づいて、第１の予測参照画像または第２の予測参照画像のいずれかを選択し、選択した画像のうち処理対象のブロックの動きベクトルに対応する位置のブロックの画像を予測画像として抽出する。
【０１０６】
以下、動画像復号装置２２０の動作について説明し、併せて第４実施形態にかかる動画像復号方法について説明する。図１９は、第４実施形態の動画像復号方法のフローチャートである。また、図２０は、かかる動画像復号方法の動き補償予測に関する処理を示すフローチャートである。
【０１０７】
図１９に示すように、第４実施形態の動画像復号方法においては、まず、動画像符号化装置１によって生成された圧縮データから、復号部２２２によって復号対象フレームの複数のブロックそれぞれについてのＭＶＤと、量子化係数が復号される（ステップＳ４０）。量子化係数は、逆量子化部２２４によって逆量子化操作が施されてなる係数とされ（ステップＳ４１）、かかる係数は逆変換部２２６によって逆変換に用いられ、かかる逆変換の結果、予測残差画像が復元される（ステップＳ４２）。
【０１０８】
復号部２２２によって復号されたＭＶＤは、ＭＶＤ記憶部２０８によって記憶される。また、復号部２２２によって復号されたＭＶＤは、動き補償予測部２３０に出力され、かかるＭＶＤを用いて動き補償予測部２３０によって動き補償予測が行われる（ステップＳ４３）。
【０１０９】
図２０に示すよう、動き補償予測部２３０では、予測参照領域生成部２３６によって、参照フレームが４倍の高解像度の画像とされた予測参照画像が生成される（ステップＳ４４）。かかる予測参照画像は、第１ＦＳ生成部２３８と第２ＦＳ生成部２４０とに出力される。予測参照画像は、第１ＦＳ生成部２３８によって第１の予測参照画像とされ、第２ＦＰ生成部２４０によって第２の予測参照画像とされる（ステップＳ４５）。
【０１１０】
次いで、参照領域セレクタ２４６によって、処理対象のブロックの周囲のブロックにおけるＭＶＤが用いられて、処理対象のブロックの複雑度が求められる。参照領域セレクタ２４６によって、かかる複雑度が所定の基準値と比較され、その比較結果に基づいて、第１の予測参照画像と第２の予測参照画像とのうちいずれかを選択する判断がなされる（ステップＳ４６）。そして、予測画像生成部２４８によって、処理対象のブロックの動きベクトルがＭＶＤに基づいて生成される。また、予測画像生成部２４８によって、第１の予測参照画像と第２の予測参照画像とのうち参照領域セレクタ２４６によって選択された画像から、処理対象のブロックの動きベクトルに対応する位置のブロックの画像が抽出される（ステップＳ４７）。予測画像生成部２４８によって抽出される画像は、処理対象のブロックの予測画像とされる。
【０１１１】
ステップＳ５２及びＳ５３の処理は、復号対象フレームの全てのブロックについて実行されることによって、復号対象フレームの予測画像が生成される。図１９に戻り、復号対象フレームの予測画像と予測残差画像とが加算部２３４によって加算され、復号対象フレームが復元される（ステップＳ４８）。
【０１１２】
以下、コンピュータを動画像復号装置２２０として動作させる動画像復号プログラム２６０について説明する。図２１は動画像復号プログラム２６０の構成を示す図である。動画像復号プログラム２６０は、処理を統括するメインモジュール２６１と、復号モジュール２６２と、逆量子化モジュール２６４と、逆変換モジュール２６６と、ＭＶＤ記憶モジュール２６８と、動き補償予測モジュール２７０と、加算モジュール２７２とを備える。動き補償予測モジュール２７０は、予測参照領域生成サブモジュール２７４と、第１ＦＰ生成サブモジュール２７６と、第２ＦＰ生成サブモジュール２７８と、参照領域セレクトサブモジュール２８０と、予測画像生成サブモジュール２８２とを有する。予測参照領域生成サブモジュール２７４は、１／２画素補間領域生成サブモジュール２８４と、１／４画像補間領域生成サブモジュール２８６とを有する。
【０１１３】
復号モジュール２６２、逆量子化モジュール２６４、逆変換モジュール２６６、ＭＶＤ記憶モジュール２６８、動き補償予測モジュール２７０、加算モジュール２７２、予測参照領域生成サブモジュール２７４、第１ＦＰ生成サブモジュール２７６、第２ＦＰ生成サブモジュール２７８、参照領域セレクトサブモジュール２８０、予測画像生成サブモジュール２８２、１／２画素補間領域生成サブモジュール２８４、１／４画像補間領域生成サブモジュール２８６がコンピュータに実現させる機能はそれぞれ、復号部２２２、逆量子化部２２４、逆変換部２２６、ＭＶＤ記憶部２２８、動き補償予測部２３０、加算部２３４、予測参照領域生成部２３６、第１ＦＰ生成部２３８、第２ＦＰ生成部２４０、参照領域セレクタ２４６、予測画像生成部２４８、１／２画素補間領域生成部２５０、１／４画像補間領域生成部２５２と同様である。
【０１１４】
以下、第４実施形態にかかる動画像復号装置２２０の作用及び効果を説明する。動画像復号装置２２０では、処理対象のブロックの周囲のブロックにおけるＭＶＤの絶対値が抽出される。かかるＭＶＤの絶対値は、処理対象のブロックについての参照フレームからの動きの複雑度を表す。動画像復号装置２２０では、処理対象のブロックの周囲におけるＭＶＤの絶対値が所定の基準値をより小さい場合には、第１ＦＰ生成部２３８によって生成された第１の予測参照画像から予測画像が抽出される。すなわち、ＦＰの数が少ない第１の予測参照画像が用いられて予測画像が生成される。一方、処理対象のブロックの周囲におけるＭＶＤの絶対値が所定の基準値以上の合には、第２ＦＰ生成部２４０によって生成された第２の予測参照画像から予測画像が抽出される。すなわち、ＦＰの数が多い第２の予測参照画像が用いられて予測画像が生成される。以上のように動画像復号装置２２０は、動画像符号化装置１が動画像から圧縮データを生成する処理の逆処理を忠実に行うことによって、上記の動画像を復元することができる。
【０１１５】
なお、動き補償予測部２３０においては、動き補償予測を行うときに参照フレーム全体に対する予測参照画像が生成されていたが、処理対象のブロックに対して参照フレームの所定の領域、すなわち動きベクトルを用いて予測画像を抽出するために必要な領域についてのみ予測参照画像が生成されるように構成されても良い。この場合には、処理対象のブロックを切り替える毎に予測参照画像が生成される。図２２は、かかる動き補償予測を行うための動き補償予測部２９０の構成を示すブロック図である。かかる動き補償予測部２９０は、動画像復号装置２２０の動き補償予測部２３０と置き換え可能である。
【０１１６】
動き補償予測部２９０は、予測参照領域生成部２９２と、適応ＦＰ生成部２９４と、予測参照領域格納部２９６と、予測画像生成部２９８とを有する。
【０１１７】
予測参照領域生成部２９２は、処理対象のブロックに対応する参照フレームの所定の領域の画像に基づいて予測参照画像を生成する。予測参照領域生成部２９２は、１／２画素補間領域生成部３０２と、１／４画素補間領域生成部３０４とを有する。１／２画素補間領域生成部３０２は、上記の所定の領域の画像を２倍の高解像度の画像とする。また、１／４画素補間領域生成部３０４は、２倍の高解像度の画像を更に４倍の高解像度の画像とした予測参照画像を生成する。かかる高解像度化は、動画像符号化装置１の１／２画素補間領域生成部４２、１／４画素補間領域生成部４４と同様の処理によって実現される。
【０１１８】
適応ＦＰ生成部２９４は、処理対象のブロックの周囲のブロックにおけるＭＶＤをＭＶＤ記憶部２０８から取得して、ＭＶＤの絶対値が所定の基準値より小さい場合には、予測参照画像の（３／４、３／４）画素位置をＦＰとする。かかるＦＰの生成処理については、第１ＦＰ生成部２３８による処理と同様である。一方、適応ＦＰ生成部２９４は、上記のＭＶＤの絶対値が所定の基準値以上の場合に、第２ＦＰ生成部２４０と同様の処理によって、予測参照画像にＦＰを設ける。適応ＦＰ生成部２９４によってＦＰが設けられた予測参照画像は、予測参照領域格納部２９６に格納される。
【０１１９】
予測画像生成部２９８は、復号部２２２によって復号されたＭＶＤから処理対象のブロックの動きベクトルを生成する。予測画像生成部２９８は、処理対象のブロックの動きベクトルに対応する位置のブロックの画像を、予測参照領域格納部９４に格納された予測参照画像から抽出して、この画像を予測画像として出力する。
【０１２０】
次に、コンピュータを動き補償予測部２９０と同様に動作させるための動き補償予測モジュール３１０について説明する。動き補償予測モジュール３１０は、動画像復号プログラム２６０の動き補償予測モジュール２７０に置き換えて用いられる。図２３は、動き補償予測モジュール３１０の構成を示す図である。
【０１２１】
動き補償予測モジュール３１０は、予測参照領域生成サブモジュール３１２と、適応ＦＰ生成サブモジュール３１４と、予測画像生成サブモジュール３１６とを有する。予測参照領域生成サブモジュール３１２は、１／２画素補間領域生成サブモジュール３１８と、１／４画素補間領域生成サブモジュール３２０とを有する。予測参照領域生成サブモジュール３１２、適応ＦＰ生成サブモジュール３１４、予測画像生成サブモジュール３１６、１／２画素補間領域生成サブモジュール３１８、１／４画素補間領域生成サブモジュール３２０がコンピュータに実現させる機能はそれぞれ、予測参照領域生成部２９２、適応ＦＰ生成部２９４、予測画像生成部２９８、１／２画素補間領域生成部３０２、１／４画素補間領域生成部３０４と同様である。
【０１２２】
動き補償予測部２９０によれば、処理対象のブロックについて予測画像を抽出するために必要な領域についてのみ予測参照画像を生成することができるので、参照フレーム全体の予測参照画像を生成するのに要するメモリ容量を削減することができる。
【０１２３】
（第５実施形態）
本発明の第５実施形態にかかる動画像復号装置３３０について説明する。動画像復号装置３３０は、第２実施形態の動画像符号化装置１３０によって生成される圧縮データから動画像を復元する装置である。動画像復号装置３３０では、復号対象フレームにおける処理対象のブロックの参照フレームからの動きの複雑度を表すために、処理対象のブロックの周囲のブロックにおける量子化ＤＣＴ係数の数が用いられる点が、第４実施形態の動画像復号装置２２０と異なる。
【０１２４】
動画像復号装置３３０は、物理的には第４実施形態の動画像復号装置２２０と同様の構成を有する。図２４は、動画像復号装置３３０の機能的な構成を示すブロック図である。動画像復号装置３３０は、機能的には、復号部３３２と、逆量子化部３３４と、逆変換部３３６と、係数数記憶部３３８と、動き補償予測部３４０と、フレームメモリ３４２と、加算部３４４とを備える。これらの構成要素のうち、逆変換部３３６と、係数数記憶部３３８と、動き補償予測部３４０とが、動画像復号装置２２０と異なる機能をもつ部分であるので、以下、逆変換部３３６と、係数数記憶部３３８と、動き補償予測部３４０とについて説明し、他の部分の説明は省略する。
【０１２５】
逆変換部３３６は、逆量子化部３３４によって逆量子化操作が施されてなるＤＣＴ係数に逆ＤＣＴを施して、予測残差画像を復元する。
【０１２６】
係数数記憶部３３８は、復号部３３２によって復号された量子化ＤＣＴ係数の数を復号対象フレームのブロックごとに記憶する。非零量子化ＤＣＴ係数の数は、動き補償予測部３４０によって利用される。
【０１２７】
動き補償予測部３４０では、参照領域セレクタが処理対象のブロックに関する動きの複雑度として、処理対象のブロックの周囲のブロックの非零量子化ＤＣＴ係数の数を用いる。動き補償予測部３４０の構成に関するその他の点において、動画像復号装置２２０の動き補償予測部２３０と同様の構成を有するので、説明を省略する。動き補償予測部３４０は、かかる動きの複雑度を判断した結果に基づいて、ＦＰの数を変更した予測画像を生成する。
【０１２８】
なお、第５実施形態にかかる動画像復元方法については、処理対象のブロックの動きの複雑度として、処理対象のブロックの周囲のブロックにおける非零量子化ＤＣＴ係数の数が用いられる点以外は、第４実施形態にかかる動画像復号方法と同様であるので、その説明を省略する。また、コンピュータを動画像復号装置３３０として動作させる動画像復号プログラムについても、動画像復号プログラム２６０の動き補償予測モジュール２７０を動き補償予測部３４０の機能を実現させるサブモジュールに置き換えることによって構成することができる。
【０１２９】
以上のように、第５実施形態にかかる動画像復号装置３３０は、動画像符号化装置１が動画像から圧縮データを生成する処理の逆処理を忠実に行うことによって、上記の動画像を復元することができる。
【０１３０】
（第６実施形態）
本発明の第６実施形態にかかる動画像復号装置３５０について説明する。動画像復号装置３５０は、第３実施形態の動画像符号化装置１６０によって生成される圧縮データから動画像を復号するための装置である。動画像復号装置３５０は、復号対象フレームにおける処理対象のブロックの参照フレームからの動きの複雑さを表すために、処理対象のブロックにおけるＭＶＤの絶対値が利用される点において、第４実施形態の動画像復号装置２２０と異なる。
【０１３１】
動画像復号装置３５０は、物理的には、第４実施形態の動画像復号装置２２０と同様の構成を有する。図２５は、動画像復号装置３５０の機能的な構成を示すブロック図である。図２５に示すように動画像復号装置３５０は、機能的には、復号部３５２と、逆量子化部３５４と、逆変換部３５６と、動き補償予測部３５８と、フレームメモリ３６０と、加算部３６２とを備える。これらの構成要素のうち、動画像復号装置３５０においては、動き補償予測部３５８が動画像復号装置２２０に備えられる構成要素と異なる処理を行うので、以下、動き補償予測部３５８について説明し、他の構成要素に関する説明は省略する。
【０１３２】
図２６は、動き補償予測部３５８の構成を示すブロック図である。図２６に示すように、動き補償予測部３５８は、予測参照領域生成部３７０と、適応ＦＰ生成部３７２と、予測参照領域格納部３７４と、予測画像生成部３７６とを有する。予測参照領域生成部３７０は、１／２画素補間領域生成部３８０と、１／４画素補間領域生成部３８２とを有し、第４実施形態にかかる予測参照領域生成部２９２と同様の処理によって、処理対象のブロックに対応する参照フレームの所定の領域の画像を４倍の高解像度の画像とした予測参照画像を生成する。
【０１３３】
適応ＦＰ生成部３７２は、復号部３５２によって復号された処理対象のブロックのＭＶＤの絶対値が所定の基準値より小さい場合には、予測参照画像の（３／４、３／４）画素位置をＦＰとする。かかるＦＰの生成処理については、第４実施形態の第１ＦＰ生成部２３８による処理と同様である。一方、適応ＦＰ生成部３７２は、上記のＭＶＤの絶対値が所定の基準値以上の場合に、第４実施形態の第２ＦＰ生成部２４０と同様の処理によって、予測参照画像にＦＰを設ける。適応ＦＰ生成部３７２によってＦＰが設けられた予測参照画像は、予測参照領域格納部３７４に格納される。
【０１３４】
予測画像生成部３７６は、復号部３５２によって復号された処理対象のブロックのＭＶＤから動きベクトルを生成する。予測画像生成部３７６は、適応ＦＰ生成部３７２によって生成される予測参照画像のうち、処理対象のブロックの動きベクトルに対応する位置のブロックの画像を予測画像とする。予測画像は、復号対象フレームの全てのブロックについて求められて、加算部３６２に出力される。
【０１３５】
以下、第６実施形態の動画像復号方法について説明する。かかる動画像復号方法については、第４実施形態の動画像復号方法と異なる動き補償予測の処理について説明する。図２７は、第６実施形態にかかる動画像復号方法における動き補償予測の処理を示すフローチャートである。図２７に示すように、かかる動き補償予測の処理においては、まず、予測参照領域生成部３７０によって予測参照画像が生成される（ステップＳ５０）。予測参照画像は、予測画像を抽出するのに生成するのに必要な参照フレームにおける所定の領域に基づいて生成される。次いで、適応ＦＰ生成部３７２によって、処理対象ブロックのＭＶＤの絶対値と所定の基準値が比較され、かかる比較の結果に応じた数のＦＰが設けられた予測参照画像が生成される（ステップＳ５１）。次いで、予測画像生成部３７６によって、処理対象のブロックのＭＶＤから動きベクトルが生成される。そして、予測画像生成部３７６によって、処理対象のブロックの動きベクトルによって特定される位置のブロックの画像が予測参照画像から抽出され、かかる画像が予測画像として出力される（ステップＳ５２）。ステップＳ５０からＳ５２の処理が、復号対象フレームの全てのブロックについて実行されることによって、復号対象フレームが復元される。
【０１３６】
以下、コンピュータを動画像復号装置３５０として動作させる為の動画像復号プログラム３９０について説明する。図２８は、動画像復号プログラム３９０の構成を示す図である。動画像復号プログラム３９０は、処理を統括するメインモジュール３９１と、復号モジュール３９２と、逆量子化モジュール３９４と、逆変換モジュール３９６と、動き補償予測モジュール３９８と、加算モジュール４００とを備える。動き補償予測モジュール３９８は、予測参照領域生成サブモジュール４０２と、適応ＦＰ生成サブモジュール４０４と、予測画像生成サブモジュール４０６とを有する。予測参照領域生成サブモジュール４０２は、１／２画素補間領域生成サブモジュール４０８と、１／４画素補間領域生成サブモジュール４１０とを有する。
【０１３７】
復号モジュール３９２、逆量子化モジュール３９４、逆変換モジュール３９６、動き補償予測モジュール３９８、加算モジュール４００、予測参照領域生成サブモジュール４０２、適応ＦＰ生成サブモジュール４０４、予測画像生成サブモジュール４０６、１／２画素補間領域生成サブモジュール４０８、１／４画素補間領域生成サブモジュール４１０がコンピュータに実現させる機能はそれぞれ、復号部３５２、逆量子化部３５４、逆変換部３５６、動き補償予測部３５８、加算部３６２、予測参照領域生成部３７０、適応ＦＰ生成部３７２、予測画像生成部３７６、１／２画素補間領域生成部３８０、１／４画素補間領域生成部３８２と同様である。
【０１３８】
以上のように、第６実施形態にかかる動画像復号装置３５０は、動画像符号化装置１６０が動画像から圧縮データを生成する処理の逆処理を忠実に行うことによって、上記の動画像を復元することができる。
【０１３９】
【発明の効果】
以上説明したように本発明によれば、動き補償予測の高解像度化による符号化効率の向上とフィルタリングによる符号化効率の向上を同時に実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。また、かかる動画像符号化装置によって生成される圧縮データから動画像を復元するための動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
【図面の簡単な説明】
【図１】図１は、第１実施形態にかかる動画像符号化装置の機能的な構成を示すブロック図である。
【図２】図２は、第１実施形態にかかる動画像符号化装置に備えられる動き補償予測部の構成を示すブロック図である。
【図３】図３は、第１実施形態にかかる動画像符号化装置に備えられる第１ＦＰ生成部によって生成される第１の予測参照画像の一例を概略的に示す図である。
【図４】図４は、第１実施形態にかかる動画像符号化装置に備えられる第２ＦＰ生成部によって生成される第２の予測参照画像の一例を概略的に示す図である。
【図５】図５は、第１実施形態にかかる動画像符号化方法のフローチャートである。
【図６】図６は、第１実施形態にかかる動画像符号化方法における動き補償予測に関するフローチャートである。
【図７】図７は、第１実施形態にかかる動画像符号化プログラムの構成を示すブロック図である。
【図８】図８は、第１実施形態にかかる動画像符号化プログラムにおける動き補償予測モジュールの構成を示すブロック図である。
【図９】図９は、第１実施形態にかかる動画像符号化装置の他の態様にかかる動き補償予測部の構成を示すブロック図である。
【図１０】図１０は、第１実施形態にかかる動画像符号化方法の他の態様にかかる動き補償予測に関するフローチャートである。
【図１１】図１１は、第１実施形態にかかる動画像符号化プログラムの他の態様にかかる動き補償予測モジュールの構成を示す図である。
【図１２】図１２は、第２実施形態にかかる動画像符号化装置の機能的な構成を示すブロック図である。
【図１３】図１３は、第３実施形態にかかる動画像符号化装置の機能的な構成を示すブロック図である。
【図１４】図１４は、第３実施形態にかかる動画像符号化装置の動き補償予測部の構成を示すブロック図である。
【図１５】図１５は、第３実施形態にかかる動き補償予測の処理を示すフローチャートである。
【図１６】図１６は、第３実施形態にかかる動画像符号化プログラムの動き補償予測モジュールの構成を示す図である。
【図１７】図１７は、第４実施形態にかかる動画像復号装置の機能的な構成を示すブロック図である。
【図１８】図１８は、第４実施形態にかかる動画像復号装置の動き補償予測部の構成を示すブロック図である。
【図１９】図１９は、第４実施形態にかかる動画像復号方法のフローチャートである。
【図２０】図２０は、第４実施形態にかかる動画像復号方法の動き補償予測に関する処理を示すフローチャートである。
【図２１】図２１は、第４実施形態にかかる動画像復号プログラムの構成を示す図である。
【図２２】図２２は、第４実施形態の動画像復号装置の他の態様にかかる動き補償予測部の構成を示すブロック図である。
【図２３】図２３は、第４実施形態の動画像符号化プログラムの他の態様にかかる動き補償予測モジュールの構成を示す図である。
【図２４】図２４は、第５実施形態の動画像復号装置の機能的な構成を示すブロック図である。
【図２５】図２５は、第６実施形態にかかる動画像復号装置の機能的な構成を示すブロック図である。
【図２６】図２６は、第６実施形態にかかる動画像復号装置の動き補償予測部の構成を示すブロック図である。
【図２７】図２７は、第６実施形態にかかる動画像復号方法における動き補償予測の処理を示すフローチャートである。
【図２８】図２８は、第６実施形態にかかる動画像復号プログラムの構成を示す図である。
【符号の説明】
１…動画像符号化装置、２…動き補償予測部、４…フレームメモリ、６…減算部、８…変換部、１０…量子化部、１２…符号化部、１４…逆量子化部、１６…逆変換部、１８…加算部、２０…ＭＶＤ記憶部、２４…予測参照領域生成部、２６…第１ＦＰ生成部、２８…第２ＦＰ生成部、３０…第１予測参照領域格納部、３２…第２予測参照領域格納部、３４…動きベクトル生成部、３６…参照領域セレクタ、４０…予測誤差判定部、４２…１／２画素補間領域生成部、４４…１／４画素補間領域生成部。

Claims (12)

1. 符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測手段を備える動画像符号化装置であって、
   前記動き補償予測手段は、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に前記複雑度抽出手段によって抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する予測画像生成手段と
   を有することを特徴とする動画像符号化装置。
2. 符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測ステップを備える動画像符号化方法であって、
   前記動き補償予測ステップにおいて、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出し、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する
   ことを特徴とする動画像符号化方法。
3. コンピュータを、
   符号化対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、該複数のブロック各々について該予測参照画像に対する動きベクトルを求めて、符号化対象フレームの予測画像を生成する動き補償予測手段として機能させる動画像符号化プログラムであって、
   前記動き補償予測手段は、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に前記複雑度抽出手段によって抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する予測画像生成手段と
   を有することを特徴とする動画像符号化プログラム。
4. 前記複雑度抽出手段は、前記複雑度情報として該複雑度情報を抽出すべき前記ブロックの周囲のブロックにおける差分動きベクトルの絶対値を用いることを特徴とする請求項３に記載の動画像符号化プログラム。
5. コンピュータを、前記符号化対象フレームと前記予測画像との差演算によって生成される予測残差画像を所定の変換規則に基づいて所定の係数の集合に変換する変換手段として更に機能させ、
   前記複雑度抽出手段は、前記複雑度情報として該複雑度情報を抽出すべき前記ブロックの周囲のブロックにおける前記所定の係数のうち非零となる係数の数を用いる
   ことを特徴とする請求項３に記載の動画像符号化プログラム。
6. 前記複雑度抽出手段は、前記複雑度情報として、該複雑度情報を抽出すべき前記ブロックの差分動きベクトルの絶対値を用いることを特徴とする請求項３に記載の動画像符号化プログラム。
7. 復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から補間してなる補間画素を設けてなる予測参照画像を生成し、前記複数のブロック各々について符号化装置によって生成される圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測手段を備える動画像復号装置であって、
   前記動き補償予測手段は、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に前記複雑度抽出手段によって抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する予測画像生成手段と
   を有することを特徴とする動画像復号装置。
8. 復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から直線補間してなる補間画素を設けてなる予測参照画像を生成し、前記複数のブロック各々について符号化装置によって生成される圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測ステップを備える動画像復号方法であって、
   前記動き補償予測ステップにおいて、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出し、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する
   ことを特徴とする動画像復号方法。
9. コンピュータを、復号対象フレームを所定サイズの複数のブロックに分割し、参照フレームの所定領域について整数画素間に近傍の整数画素から直線補間してなる補間画素を設けてなる予測参照画像を生成し、前記複数のブロック各々について符号化装置によって生成される圧縮データに基づいて生成される動きベクトルを用いて、該予測参照画像に基づく動き補償予測を行い予測画像を生成する動き補償予測手段として機能させる動画像復号プログラムであって、
   前記動き補償予測手段は、
   前記複数のブロック各々について前記参照フレームからの動きの複雑度を示す複雑度情報を抽出する複雑度抽出手段と、
   高周波遮断特性の異なる複数の低域通過フィルタのうち、高周波遮断特性の強い低域通過フィルタを周囲の整数画素に施してなる画素値を与えるフィルタリング画素の数を前記複雑度の増加に応じて増加させる所定規則を参照し、前記ブロック毎に前記複雑度抽出手段によって抽出される前記複雑度情報によって特定される前記複雑度に応じて前記予測画像に設ける前記フィルタリング画素の数を変更する予測画像生成手段と
   を有することを特徴とする動画像復号プログラム。
10. 前記複雑度抽出手段は、前記複雑度情報として該複雑度情報を抽出すべき前記ブロックの周囲のブロックにおける差分動きベクトルの絶対値を用いることを特徴とする請求項９に記載の動画像復号プログラム。
11. 符号化装置によって生成される圧縮データであって、符号化対象フレームと前記予測画像との差演算によって生成される予測残差画像が所定の変換規則に基づいて所定の係数の集合に変換され、該所定の係数の集合が圧縮符号化された圧縮符号を含む圧縮データを所定の復号規則に基づいて復号する復号手段として、コンピュータを更に機能させ、
    前記複雑度抽出手段は、前記複雑度情報として該複雑度情報を抽出すべき前記ブロックの周囲のブロックにおける前記所定の係数のうち非零となる係数の数を用いる
    ことを特徴とする請求項９に記載の動画像復号プログラム。
12. 前記複雑度抽出手段は、前記複雑度情報として該複雑度情報を抽出すべき前記ブロックの差分動きベクトルの絶対値を用いることを特徴とする請求項９に記載の動画像復号プログラム。

Images