JP5406465B2 - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム - Google Patents

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するもので、とりわけ、動き検索方法と信号合成方法を用いて予測符号化および復号する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図２２は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図２２（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図２２（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図２２（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図５は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４０１上の対象ブロック４０２を例に予測信号の生成手順を説明する。画面４０３は既に再生済みであり、領域４０４は対象ブロック４０２と空間的に同一位置の領域である。ブロックマッチングでは、領域４０４を囲む探索範囲４０５を設定し、この探索範囲の画素信号から対象ブロック４０２の画素信号との絶対値誤差和が最小となる領域４０６を検出する。この領域４０６の信号が予測信号となり、領域４０４から領域４０６への変位量が動きベクトル４０７として検出される。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。

先に示したとおり、Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる予測タイプが用意されている。しかしながら、ブロックサイズが小さくなると符号化する動きベクトルの数が増加する。そこで、１本の動きベクトルを参考として、符号化の対象となるブロックを４分割したブロックの動きベクトルを各ブロックに隣接する既再生の画素値を利用して生成する方法がある。この方法については特許文献４に記載されている。

さらに、動きベクトルを用いることなく、符号化対象となるブロックに隣接する既再生の画素値を利用して予測信号を生成する方法がある。この際、複数の候補予測信号を生成してそれらを平均することにより、双方向予測と同様に予測信号に含まれる雑音成分を除去することも可能である。この方法については特許文献５に記載されている。
米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号 特開平２−６２１８０号公報 特開２００７−３００３８０号公報

再生画素値をコピーすることにより各画素の予測信号を生成する信号予測手法では、再生画素値が符号化による歪（例えば量子化雑音）を含むため、予測信号もその歪を含むことになる。この符号化による歪を含む予測信号は、残差信号の符号量増加や再生画質劣化など符号化効率を低下させる要因となる。

符号化による歪の影響は、予測信号の平滑化にて抑制可能である。従って、２つの予測信号を平均化する双方向予測にも抑制効果がある。しかし、双方向予測は、２つの予測信号を再生側にて生成するため、２本の動きベクトルを符号化する必要がある。

一方、従来技術で示したように、符号化対象となるブロックに隣接する既再生の画素値を利用すれば、動きベクトルの符号化を行なわずに、予測信号を生成することは可能である。しかしながら、大きな動きを有する入力画像を高い予測性能で符号化するためには、探索範囲を広くする必要があり、動きベクトルを符号化する手法と比べて、復号時における予測信号の生成に多くの時間を要する。

そこで、上述の課題を解決するために、本発明は、少ない付加情報と少ない演算量で予測信号を効率よく生成することができる画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。

上述の課題を解決するために、本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定手段と、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号および前記動き推定手段により抽出された動き情報を符号化する符号化手段と、を備え、前記予測信号生成手段は、前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償手段と、前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定手段と、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチング手段と、前記動き補償手段により生成された第１種の候補予測信号と前記テンプレートマッチング手段により生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成手段と、を有する。

この構成により、動き情報に基づいて探索領域を決定し、この探索領域から第２種の候補予測信号を生成することができる。よって、探索時間を少なくすることができ、効率的に予測信号を生成することができる。

また、本発明の画像予測符号化装置は、前記動き推定手段にて抽出される前記動き情報は、少なくとも前記第１種の候補予測信号の生成に用いられる第１の再生画面を示す情報と前記第１種の候補予測信号を指示する動きベクトルの情報とを含み、前記探索領域決定手段は、前記第１の再生画面の情報に基づいて前記探索領域を含む第２の再生画面を選択し、前記対象領域を含む画面と前記第１の再生画面との間の時間方向の画面間隔と、前記対象領域を含む画面と前記第２の再生画面との間の時間方向の画面間隔と、前記動きベクトルとを用いて、前記探索領域の第２の再生画面内の空間位置を定めることが好ましい。

この発明によれば、第２種の候補予測信号を探索するための探索領域を決定することができ、第２種の候補予測信号の探索処理を迅速に行うことができる。

また、本発明の画像予測符号化装置において、前記候補予測信号合成手段は、前記対象隣接領域の隣接画素信号と前記複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて前記重み付け平均するための重み係数を生成し、当該重み係数を用いて前記複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成することが好ましい。

この発明によれば、予測信号を平均化することができ、より適切な予測信号を生成することができる。

また、本発明の画像予測符号化装置において、前記テンプレートマッチング手段は、前記動きベクトルを構成する各成分が０値であり、前記探索領域が前記第１の再生画面とは異なる画面に属する場合、前記第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択することが好ましい。この発明によれば、平均化処理の効果をより効果的に得ることができる。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２の再生画面を、前記対象領域を含む画面に対して、第１の再生画面と時間的に逆方向の画面に決定することが好ましい。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２の再生画面を、第１の再生画面とは異なる画面であり、かつ前記対象領域を含む画面と時間的に最も近い画面に決定することが好ましい。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２の再生画面として、複数の画面を選択することで、複数の探索領域を選択することが好ましい。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２の再生画面として第１の再生画面を選択することが好ましい。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２の再生画面として、前記入力画像の再生済み領域を選択することが好ましい。

また、本発明の画像予測符号化装置において、前記探索領域決定手段は、前記第２種の候補予測信号として、前記第１種の候補予測信号とは異なる画素信号を選択することが好ましい。

これらの発明において、第２の再生画面または第２の種の候補予測信号を決定・選択することにより、候補予測信号をより適切に平均化することができ、適切な予測信号を生成することができる。

また、本発明の画像予測復号装置は、圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号手段と、 前記データ復号手段により復号されて得られた残差信号から再生残差信号を復元する残差信号復元手段と、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、前記予測信号生成手段は、前記データ復号手段により復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償手段と、前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定手段と、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチング手段と、前記動き補償手段により生成された第１種の候補予測信号と前記テンプレートマッチング手段により生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成手段と、を有する。

また、本発明の画像予測復号装置は、前記動き推定手段にて抽出される前記動き情報は、少なくとも前記第１種の候補予測信号の生成に用いられる第１の再生画面を示す情報と前記第１種の候補予測信号を指示する動きベクトルの情報とを含み、前記探索領域決定手段は、前記第１の再生画面の情報に基づいて前記探索領域を含む第２の再生画面を選択し、前記対象領域を含む画面と前記第１の再生画面との間の時間方向の画面間隔と、前記対象領域を含む画面と前記第２の再生画面との間の時間方向の画面間隔と、前記動きベクトルとを用いて、前記探索領域の第２の再生画面内の空間位置を定めることが好ましい。

この発明によれば、第２種の候補予測信号を探索するための探索領域を決定することができ、第２種の候補予測信号の探索処理を迅速に行うことができる。

また、本発明の画像予測復号装置において、前記候補予測信号合成手段は、前記対象隣接領域の隣接画素信号と前記複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて前記重み付け平均するための重み係数を生成し、当該重み係数に基づいて前記複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成する。

この発明によれば、予測信号を平均化することができ、より適切な予測信号を生成することができる。

また、本発明の画像予測復号装置において、前記テンプレートマッチング手段は、前記動きベクトルを構成する各成分が０値であり、前記探索領域が前記第１の画面とは異なる画面に属する場合、前記第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択することが好ましい。この発明によれば、平均化処理の効果をより効果的に得ることができる。

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２の再生画面を、前記対象領域を含む画面に対して、第１の再生画面と時間的に逆方向の画面に決定することが好ましい。

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２の再生画面を、第１の再生画面とは異なる画面であり、かつ前記対象領域を含む画面と時間的に最も近い画面に決定することが好ましい。

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２の再生画面として、複数の画面を選択することで、複数の探索領域を選択することが好ましい。

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２の再生画面として第１の再生画面を選択することが好ましい

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２の再生画面として、前記対象領域を含む画面を選択することが好ましい。

また、本発明の画像予測復号装置において、前記探索領域決定手段は、前記第２種の候補予測信号として、前記第１種の候補予測信号とは異なる画素信号を選択することが好ましい。

これらの発明において、第２の再生画面または第２の種の候補予測信号を決定・選択することにより、候補予測信号をより適切に平均化することができ、適切な予測信号を生成することができる。

また、以下に記載するとおり、本発明の画像予測符号化装置、画像予測復号装置のほかに、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、および画像予測復号プログラムとして捉えることができる。これら発明は、カテゴリーが異なるものであり、装置と同様の作用効果を奏するものである。

すなわち、本発明の画像予測符号化方法は、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定ステップと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記予測信号生成ステップにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号および前記動き推定ステップにより抽出された動き情報を符号化する符号化ステップと、を備え、前記予測信号生成ステップは、前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償ステップと、前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定ステップと、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングステップと、前記動き補償ステップにより生成された第１種の候補予測信号と前記テンプレートマッチングステップにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成ステップと、を有する。

また、本発明の画像予測復号方法は、圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号ステップと、前記データ復号ステップにより復号されて得られた残差信号から再生残差信号を復元する残差信号復元ステップと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記予測信号生成ステップにより生成された予測信号と前記残差信号復元ステップにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、前記予測信号生成ステップは、 前記データ復号ステップにより復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償ステップと、前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定ステップと、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングステップと、
前記動き補償ステップにより生成された第１種の候補予測信号と前記テンプレートマッチングステップにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成ステップと、を有する。

また、本発明の画像予測符号化プログラムは、入力画像を複数の領域に分割する領域分割モジュールと、前記領域分割モジュールにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定モジュールと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、前記予測信号生成モジュールにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成モジュールと、前記残差信号生成モジュールにより生成された残差信号および前記動き推定モジュールにより抽出された動き情報を符号化する符号化モジュールと、を備え、前記予測信号生成モジュールは、前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償モジュールと、前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定モジュールと、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングモジュールと、前記動き補償モジュールにより生成された第１種の候補予測信号と前記テンプレートマッチングモジュールにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成モジュールと、を有する。

また、本発明の画像予測復号プログラムは、圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号モジュールと、前記データ復号モジュールにより復号されて得られた残差信号から再生残差信号を復元する残差信号復元モジュールと、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、前記予測信号生成モジュールにより生成された予測信号と前記残差信号復元モジュールにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元モジュールと、を備え、前記予測信号生成モジュールは、前記データ復号モジュールにより復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償モジュールと、 前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定モジュールと、前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングモジュールと、前記動き補償モジュールにより生成された第１種の候補予測信号と前記テンプレートマッチングモジュールにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成モジュールと、を有する。

本発明の画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば少ない動き情報に基づいて複数の候補予測信号を少ない探索時間で生成することができるので、平均化効果を伴う予測信号を効率良く生成することができる。また、動き情報を利用しない予測手法と本手法を適用的に利用する場合、前者の予測手法の探索範囲を制限できる効果がある。

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

＜画像予測符号化方法＞
図１は、本実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２（領域分割手段）、予測信号生成器１０３（予測信号生成手段）、フレームメモリ１０４、減算器１０５（残差信号生成手段）、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９（符号化手段）、加算器１１０（符号化手段）、エントロピー符号化器１１１（符号化手段）、出力端子１１２及び動き推定器１１３（動き推定手段）を備えている。変換器１０６及び量子化器１０７は、符号化手段として機能する。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。

動き推定器１１３は、符号化処理の対象となる対象領域（対象ブロック）の予測信号を生成するために必要となる動き情報を検出する。この動き推定器１１３の具体的な処理は後述する。

予測信号生成器１０３は、ラインＬ１１３を経由して入力された動き情報を用いて、対象ブロックの予測信号を生成し、その予測信号を減算器１０５に出力し、予測方法に関する情報をエントロピー符号化器１１１に出力する部分である。この予測信号生成器１０３の具体的な処理については後述する。

フレームメモリ１０４は、参照画像を記憶するものであって、後述するように対象ブロックの信号を再生することにより生成された参照画像を記憶する。

減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象領域から、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を符号化するとともに予測方法に関する情報を符号化し、符号化された情報をラインＬ１１１を経由して出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報を外部に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象領域に対する画面内予測もしくは画面間予測を行うために、圧縮された対象領域の画素信号は、逆処理にて復元されフレームメモリ１０４に記憶される。

次に、動き推定器１１３と予測信号生成器１０３について説明する。動き推定器１１３は、フレームメモリ１０４に記憶されている既再生信号から符号化処理の対象となる対象領域（以下、対象ブロックと称する）に類似する候補予測領域を探索し、探索した候補予測領域を既再生信号から取得するために必要となる動き情報を抽出する。予測信号生成器１０３は、抽出された動き情報と既再生信号を用いて対象ブロックの予測信号を生成する。本実施形態では、２種類の予測方法が用いられる。すなわち、予測信号生成器１０３は、画面間予測方法と画面内予測方法とのうち少なくとも一方を用いて予測信号を生成する。画面間予測方法及び画面内予測方法を選択するための選択情報は、量子化された変換係数及び動き情報とともにエントロピー符号化器１１１にて符号化され、出力端子１１２より送出される。

まず、動き推定器１１３における動き情報の生成処理を説明する。動き推定器１１３は、画面内予測方法を用いる場合、対象ブロックと同じ画面（フレームまたはフィールド）の既再生の画像信号を参照画面（第１の再生画面に相当）としてブロックマッチング処理により動きベクトルを検出する。ここで、参照画面とは動きベクトルの探索を実施する対象の再生画面を示す。画面間予測方法を用いる場合、対象ブロックと異なる画面（フレームまたはフィールド）の再生画像信号を参照画面（第１の再生画面に相当）として、ブロックマッチング処理により動きベクトルを検出する。検出した動きベクトルは、動き情報として動き推定器１１３から、Ｌ１１３を経由して予測信号生成器１０３とエントロピー符号化器（ラインＬ１１３経由）とにそれぞれ出力される。

図５を用いて、動き推定器１１３における画面間予測における動きベクトル探索方法をさらに詳しく述べる。図５では、この例としてブロックマッチング処理を説明する。動き推定器１１３は動き情報を探索できればよく、ブロックマッチング処理には限定されない。図５は、動きベクトルの検出方法を説明するための模式図であり、図５（ａ）は参照画面（第１の再生画面に相当）を示し、図５（ｂ）は符号化対象の画面を示す。ここでは、符号化対象の画面４０１において、対象ブロック４０２に対する動きベクトルを検出する場合について説明する。

まず、過去の処理で既に再生された画面４０３が参照画面とされ、参照画面上に探索領域４０５が設定される。図５では、対象ブロック４０２と空間的に同一位置の領域４０４の周囲に探索領域４０５が設定されているが、空間的にずれた位置に設定されても構わない。次に、探索領域４０５において、対象ブロック４０２と同じ形状を有する画素群との間で、対応する画素間の絶対値誤差和（ＳＡＤ）が求められ、最も小さいＳＡＤを与える領域４０６が検索される。この領域４０６は、第１種の候補予測信号となる。この際、領域４０６を検索するための評価値はＳＡＤ以外でもよい。そして、領域４０４から領域４０６への変位量が対象ブロックの動きベクトル４０７として検出される。図５では、参照画面は１枚であるが、複数の既再生画面上に探索領域を設定して、動きベクトルの探索を行なう方法もある。この場合には、検出した動きベクトルが属する既再生画面を識別する参照画面番号が動き情報に含まれる。なお、画面内予測方法では、図２０（ａ）に示すように探索領域４３９は、符号化対象の画面４０１内に設定されるため、参照画面番号の符号化は不要である。図２０（ａ）では、領域４３１が、対象ブロック４０２との間で最も小さいＳＡＤを与える領域を示しており、動きベクトル４３２が対象領域４０２から領域４３１への変位量を示している。

次に、予測信号生成器１０３における対象ブロックの予測信号の生成処理を画面間予測方法の場合を例として説明する。図２は、予測信号生成器１０３のブロック図である。予測信号生成器１０３は、探索領域設定器２０１（探索領域決定手段）と、テンプレートマッチング器２０２（テンプレートマッチング手段）と、候補予測信号合成器２０３（候補予測信号合成手段）と、動き補償器２０４（動き補償手段）と、候補予測領域取得器２０５（テンプレートマッチング手段に含まれる）と、重み係数算出器２０６（候補予測信号合成手段に含まれる）とを備えている。予測信号生成器１０３では、探索領域設定器２０１が上述の動き情報に基づいてテンプレートマッチングの対象となる探索領域を既再生の画面上に設定し、テンプレートマッチング器２０２が探索領域から対象ブロックに対する複数の候補予測信号（第２種の候補予測信号）を探索する。そして、動き補償器２０４と候補予測領域取得器２０５とが、既再生信号から取得した候補予測信号（それぞれ、第１種の候補予測信号と第２種の候補予測信号）を取得し、候補予測信号合成器２０３がこれらの候補予測信号を重み係数算出器２０６にて決定する重み係数を用いて重み付け平均により合成して、対象ブロックに対する予測信号を生成する。

この際、予測信号生成器１０３が、動き推定器１１３において生成され、Ｌ１１３を経由して入力される動き情報（探索領域設定器２０１と動き補償器２０４と重み係数算出器２０６に入力）に基づいて予測信号を生成することにより、つまり対象ブロック４０２の画像信号との誤差が小さい予測領域４０６の画像信号を、候補予測信号の１つ（第１種の候補予測信号、領域４０６は第１種の候補予測領域）とすることにより、予測性能の向上を図る。つまり、予測信号生成器１０３は、動き補償器２０４（動き補償手段）を含み、この動き補償器２０４は、Ｌ１１３を経由して入力される動き情報に基づいてフレームメモリ１０４の参照画面（第１の再生画面）から第1種の候補予測信号を取得し、候補予測信号合成器２０３に出力する。また、探索領域設定器２０１は、Ｌ１１３を経由して入力される動き情報に基づいて参照画面（第２の再生画面）と探索領域とを決定し、Ｌ２０１を経由でテンプレートマッチング器２０２に出力する。
テンプレートマッチング器２０２は、上記の探索領域（フレームメモリ１０４内の参照画面の一部）から１つ以上の候補予測信号（第２種の候補予測信号）を探索し、探索した信号を第２の再生画面から取得するためのアクセス情報をＬ２０２経由で候補予測領域取得器２０５に出力する。候補予測領域取得器２０５は、フレームメモリ１０４の参照画面（第２の再生画面）から第２種の候補予測信号を取得し、候補予測信号合成器２０３に出力する。このように上述の動き情報に基づいてその他の候補予測信号（第２種の候補予測信号）に対する探索領域をこの参照画面と動きベクトルとから決定するので、狭い探索領域で効率良く候補予測信号を探索することが可能となる。なお、第２種の候補予測信号は１つ以上であれば良く、その数は限定されてない。

（探索領域設定器２０１の説明）
探索領域設定器２０１では、Ｌ１１３を経由して入力される動き情報に基づいて第２種の候補予測信号を探索する参照画面と探索領域とを決定する。図６は、符号化対象の画面４０１内の対象ブロック４０２に対する第２種の候補予測信号を探索する参照画面４０９を複数の再生画面から選択する方法、ならびに、探索領域の中心位置（探索中心）を決定する方法を説明する図面である。この例では、既再生信号により構成される参照画面の候補から、動き情報が示す参照画面４０３（第１種の候補予測信号を探索した画面：第１の再生画面）とは異なり、かつ符号化対象の画面４０１に時間的に最も近い再生画面を第２種の候補予測信号を探索する参照画面（第２の再生画面）として選択する。

図６（１）と図６（２）とは、すべての参照画面の候補が符号化対象の画面に対して時間的に過去の画面であるときの参照画面４０９を示している。図６（１）のように、参照画面の候補のうち、動き情報が示す参照画面４０３（時間ｔ−ａ）が符号化対象の画面４０１（時間ｔ）に時間的に最も近い場合には、画面４０３よりも時間的に過去の参照画面（時間ｔ−ｂ、ａ＜ｂ）を、第２種の候補予測信号を探索する参照画面４０９として選択する。図６（２）のように、動き情報が示す参照画面４０３（時間ｔ−ａ）と符号化対象の画面４０１（時間ｔ）との間に、参照画面の別の候補が存在するに場合には、２画面の間の画面のうち、符号化対象の画面４０１（時間ｔ）に時間的に最も近い参照画面（時間ｔ−ｂ、ａ＞ｂ）を、第２種の候補予測信号を探索する参照画面４０９として選択する。

図６（３）と図６（４）とは、参照画面の候補に符号化対象の画面に対して時間的に未来の画面が含まれるときの参照画面４０９を示している。図６（３）のように、参照画面の候補のうち、動き情報が示す参照画面４０３（時間ｔ＋ａ、ａ＜０）が符号化対象の画面４０１（時間ｔ）に対して時間的に過去の画面の場合には、符号化対象の画面４０１に対して時間的に未来で、かつ符号化対象の画面４０１に最も近い画面（時間ｔ＋ｂ、ｂ＞０）を、第２種の候補予測信号を探索する参照画面４０９として選択する。図６（４）のように、参照画面の候補のうち、動き情報が示す参照画面４０３（時間ｔ＋ａ、ａ＞０）が符号化対象の画面４０１（時間ｔ）に対して時間的に未来の画面の場合には、符号化対象の画面４０１に対して時間的に過去で、かつ符号化対象の画面４０１に最も近い画面（時間ｔ＋ｂ、ｂ＜０）を、第２種の候補予測信号を探索する参照画面４０９として選択する。

図６（３）や図６（４）のように、符号化対象の画面に対して時間的に未来の画面を予測信号の生成に用いることができる場合には、参照画面４０９（第２の再生画面）を画面４０１に対して、参照画面４０３（第１の再生画面）と時間的に逆方向に選択することにより、双方向予測による予測効率改善効果が得られる。

図６（５）と図６（６）とは、参照画面の候補が１枚のときの参照画面４０９を示している。これらの場合には、第２種の候補予測信号を探索する参照画面４０９は動き情報が示す参照画面４０３と同じである。なお、参照画面の候補が１枚でない場合においても、第２種の候補予測信号を探索する参照画面４０９として動き情報に含まれる参照画面番号が指示する参照画面４０３を選択しても良い。

探索領域の中心位置である探索中心は、符号化対象の画面４０１と、動き情報が示す参照画面４０３ならびに第２種の候補予測信号を探索する参照画面４０９との間の画面間時間差（それぞれｔ１とｔ２）と動き情報に含まれる動きベクトル４０７とを参照画面４０９上にスケーリングすることで決定される。式（１）は動き情報に含まれる動きベクトル４０７、式（２）は動きベクトル４０７を参照画面４０９にスケーリングしたスケーリング動きベクトル４０８を示す

探索領域は、スケーリング動きベクトル４０８が示す画素位置を中心として、参照画面４０９に設定される。この際、スケーリング動きベクトル４０８の水平・垂直成分の値が１/２画素、１/４画素等の小数値の場合は、整数値に丸めてもよい。探索領域の大きさは任意であり、予め決めておく。また、探索領域の大きさはシーケンス単位や画面単位で符号化してもよい。

図６では、第２種の候補予測信号を探索する参照画面４０９を１枚としているが、複数枚を選択して、それぞれの画面に探索領域を設定してもよい。後述するように、第２種の候補予測信号は対象領域に隣接する既再生の画素群を用いて候補予測信号を探索される。そのため探索する参照画面の数を増やしても、第２種の候補予測信号の探索について、参照画面の情報を符号化する必要はない。

なお、動きベクトル４０７とスケーリング動きベクトル４０８とが共にゼロベクトルの場合には、探索中心位置のブロック信号、つまりスケーリング動きベクトルにて指示されるブロック信号は、テンプレートマッチング器２０２においてテンプレートマッチングの探索対象から除外される。このケースでは、探索中心位置のブロック信号が、第１種の候補予測信号と同じになる可能性が高く、平均化の効果が得られにくいと考えられるためである。特に動き情報に含まれる参照画面番号が、図６（１）のように符号化対象の画面に時間的に隣接する画面を示している場合には、この傾向が強い。そこで、参照画面番号が特定の値の場合に限って、動きベクトル４０７とスケーリング動きベクトル４０８とが共にゼロベクトルの場合に、探索中心位置のブロック信号を、テンプレートマッチングの探索対象から除外するようにしてもよい。すなわち、テンプレートマッチング器２０２は、動きベクトルを構成する成分がゼロであり、探索領域が参照画面４０３（第１の再生画面）とは異なる画面に属する場合、第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択することが好ましい。

画面内予測を適用する場合には、探索領域設定器２０１は不要である。画面内予測では、第２種の候補予測信号を探索する探索中心は符号化対象の画面４０１上で動き情報に含まれる動きベクトルが指示する画素位置に設定される。この場合、探索中心の画素位置は、第１種の候補予測信号を示すため、探索対象から除外する。

また、図６（５）と図６（６）のように、第２種の候補予測信号を探索する参照画面４０９が動き情報が示す参照画面４０３と同じ場合、スケーリング動きベクトル４０８は動きベクトル４０７と一致する。この場合、探索中心の画素位置は、第１種の候補予測信号を示すため、第２種の候補予測信号の探索対象から除外する。なお、参照画面の候補が１枚の場合に関わらず、第２種の候補予測信号を探索する参照画面４０９として動き情報に含まれる参照画面番号が指示する参照画面４０３を選択している場合には、同じく探索中心の画素位置を、第２種の候補予測信号の探索対象から除外する。

ここで示した３つのケースをまとめて、スケーリング動きベクトル４０８が指示するブロック信号を、第２種の候補予測信号を探索するためのテンプレートマッチングの探索対象から除外するようにしてもよい。また、第２種の候補予測信号は第１種の候補予測信号と異なる信号となるように制限してもよいし、第２種の候補予測信号に第１種の候補予測信号が含まれないように制限してもよい。

（テンプレートマッチング器２０２の説明）

テンプレートマッチング器２０２では、Ｌ２０１を経由して入力される参照画面と探索領域の情報に基づいて、参照画面内の探索領域から第２種の候補予測信号を複数個探索する。テンプレートマッチングでは、対象ブロックに隣接する再生画素群からなる対象隣接領域と類似する領域を再生信号から探索する。図３と図７を用いて説明する。

図３は、テンプレートマッチング器２０２の構成を示すブロック図である。テンプレートマッチング器２０２は、対象隣接領域取得器２１１と予測隣接領域取得器２１２と候補予測領域選択器２１３と候補予測領域決定器２１４で構成される。

（画面間予測におけるテンプレートマッチング器２０２の説明）
図７は、画面間予測の場合について、テンプレートマッチング器２０２にて第２種の候補予測信号を複数個探索する方法を説明する図面である。参照画面４０９内の探索領域４１４から第２種の候補予測信号を複数個探索する。座標４１０は探索中心を示す。

まず、対象隣接領域取得器２１１では、Ｌ１０４を経由して、対象ブロックに対し、予め決められた方法で対象隣接領域（テンプレートともいう）をフレームメモリ１０４から取得する。取得したテンプレート信号はＬ２１１を経由して、予測隣接領域取得器２１２と候補予測領域選択器２１３に出力される。本実施形態では、対象ブロック４０２に隣接する既再生の画素群（逆Ｌ文字の領域）４１５を対象隣接領域とする。この対象隣接領域４１５は、対象ブロック４０２の周囲の再生済み画素で構成されていれば良く、形と画素数は予め定めておくので任意でよい。また、シーケンス単位や画面単位やブロック単位でテンプレートの形状とサイズ（画素数）を符号化してもよい。

次に、予測隣接領域取得器２１２では、Ｌ２０１を経由して入力される参照画面４０９上の探索領域４１４について、対象隣接領域４１５と同じ形状を有する探索領域内の画素群を、Ｌ１０４を経由してフレームメモリから順次取得する。取得した画素群はＬ２１２を経由して候補予測領域選択器２１３に出力される。

候補予測領域選択器２１３では、Ｌ２１１を経由して入力された対象隣接領域４１５と、Ｌ２１２を経由して入力される対象隣接領域４１５と同じ形状の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求める。そして、ＳＡＤが小さいＭ個の領域を検出し、それらを第２種の候補予測隣接領域として選択する。探索領域４１４内の画素精度は整数画素単位でもよいし、１/２画素、１/４画素等の小数精度の画素を用意し、小数画素精度で探索を行なってもよい。Ｍの値は予め設定しておけば任意の値でよい。図７では、Ｍ＝３であり、候補予測隣接領域４１２ａ、４１２ｂ、４１２ｃが検出されている。

候補予測領域選択器２１３は、候補予測隣接領域４１２a、４１２ｂおよび４１２ｃに接している領域４１３ａ、４１３ｂおよび４１３ｃを対象ブロック４０２に対する第２種の候補予測領域として決定し、各候補予測領域内の画素信号を第２種の候補予測信号とする。なお、ここでは、候補予測隣接領域と候補予測領域との位置関係は、対象領域と対象隣接領域と同じ関係にあるが、そうでなくてもよい。最後に候補予測領域選択器２１３は、各候補予測隣接領域ならびに候補予測領域をフレームメモリ１０４から取得するためのアクセス情報として、対象隣接領域（および対象領域）と各候補予測隣接領域（および候補予測領域）との間の差分座標４１１ａ、４１１ｂおよび４１１ｃと各候補予測領域が属する参照画面の参照画面番号をＬ２１３経由で候補予測領域決定器２１４に出力する。
候補予測領域決定器２１４は、第２種の３つの候補予測領域（図７の場合、３つには限定されない）から１つの候補予測領域を選択する。候補予測領域の選択方法としては、テンプレートマッチング器２０２の候補予測領域選択器２１３にて、対象隣接領域とのＳＡＤが小さい候補予測隣接領域に隣接する候補予測信号を選択する方法がある（別例は後述）。候補予測領域決定器２１４は、選択された第２種の候補予測領域へのアクセス情報（差分座標と参照画面番号）は、Ｌ２０２経由で、候補予測領域取得器２０５と重み係数算出器２０６とに出力する。

（画面内予測におけるテンプレートマッチング器２０２の説明）
画面内予測の場合には、図２０（ｂ）に示すようにテンプレートマッチング器２０２にて第２種の候補予測信号が複数個探索される。参照画面４０１内の探索領域４３７から第２種の候補予測信号を複数個探索する。座標４３８は探索中心を示す。

まず、対象隣接領域取得器２１１では、Ｌ１０４を経由して、対象ブロックに対し、予め決められた方法で対象隣接領域（テンプレートともいう）をフレームメモリ１０４から取得する。取得したテンプレート信号はＬ２１１を経由して、予測隣接領域取得器２１２と候補予測領域選択器２１３に出力される。本実施形態では、対象ブロック４０２に隣接する既再生の画素群（逆Ｌ文字の領域）４１５を対象隣接領域とする。この対象隣接領域４１５は、対象ブロック４０２の周囲の再生済み画素で構成されていれば良く、形と画素数は予め定めておくので任意でよい。また、シーケンス単位や画面単位やブロック単位でテンプレートの形状とサイズ（画素数）を符号化してもよい。

次に、予測隣接領域取得器２１２では、Ｌ２０１を経由して入力される参照画面４０１上の探索領域４３７について、対象隣接領域４１５と同じ形状を有する探索領域内の画素群を、Ｌ１０４を経由してフレームメモリから順次取得する。取得した画素群はＬ２１２を経由して候補予測領域選択器２１３に出力される。

候補予測領域選択器２１３では、Ｌ２１１を経由して入力された対象隣接領域４１５と、Ｌ２１２を経由して入力される対象隣接領域４１５と同じ形状の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求める。そして、ＳＡＤが小さいＭ個の領域を検出し、それらを第２種の候補予測隣接領域として選択する。探索領域４３７内の画素精度は整数画素単位でもよいし、１/２画素、１/４画素等の小数精度の画素を用意し、小数画素精度で探索を行なってもよい。Ｍの値は予め設定しておけば任意の値でよい。図２０（ｂ）では、Ｍ＝３であり、候補予測隣接領域４３６ａ、４３６ｂ、４３６ｃが検出されている。

候補予測領域選択器２１３は、候補予測隣接領域４３６a、４３６ｂおよび４３６ｃに接している領域４３５ａ、４３５ｂおよび４３５ｃを対象ブロック４０２に対する第２種の候補予測領域として決定し、各候補予測領域内の画素信号を第２種の候補予測信号とする。なお、ここでは、候補予測隣接領域と候補予測領域との位置関係は、対象領域と対象隣接領域と同じ位置関係にあるが、そうでなくてもよい。最後に候補予測領域選択器２１３は、各候補予測隣接領域ならびに候補予測領域をフレームメモリ１０４から取得するためのアクセス情報として、対象隣接領域（および対象領域）と各候補予測隣接領域（および候補予測領域）との間の差分座標４３４ａ、４３４ｂおよび４３４ｃと各候補予測領域を属する参照画面の参照画面番号を、Ｌ２１３経由で候補予測領域決定器２１４に出力する。候補予測領域決定器２１４は、第２種の３つの候補予測領域（図２０の場合、３つには限定されない）から１つの候補予測領域を選択する。候補予測領域の選択方法としては、テンプレートマッチング器２０２の候補予測領域選択器２１３にて、対象隣接領域とのＳＡＤが小さい候補予測隣接領域に隣接する候補予測信号を選択する方法がある（別例は後述）。候補予測領域決定器２１４は、選択された第２種の候補予測領域へのアクセス情報（差分座標と参照画面番号）は、Ｌ２０２経由で、候補予測領域取得器２０５と重み係数算出器２０６とに出力する。

（対象ブロックを分割する場合のテンプレートマッチング器の説明）
図７では、第１種の候補予測領域４０６と第２種の候補予測領域４１３ａ、４１３ｂおよび４１３ｃとは、対象ブロック４０２と同じブロックサイズであったが、候補予測領域を対象ブロック４０２より小さいブロックに分割し、分割した対象小ブロック毎に予測信号を生成すれば更に予測性能が向上することが期待できる。そこで、本実施形態では、対象ブロック４０２を４つのブロックに分割して、分割ブロック単位で予測信号の生成処理を行なう場合について説明する。

第１種の候補予測信号については、動き情報の増加を抑えるため、第１種の候補予測領域４０６を４分割することにより、４つの対象小ブロックに対する第１種の候補予測信号を生成する。言い換えれば、４つの対象小ブロックに対する第１種の候補予測信号は、同じ動き情報に基づいて生成される。

図８は、テンプレートマッチング器２０２にて、画面間予測について、対象小ブロックに対する第２種の候補信号を複数個探索する方法を説明する図面である。図では、４つの分割ブロックのうち対象小ブロック４２０の例を示している。参照画面４０９内の探索領域４２６から第２種の候補予測信号を複数個探索する。座標４２２は探索中心を示す。ここで、探索領域４２６と座標４２２とは、探索領域４１４と座標４１０とを、対象ブロック４０２の左上端の座標と対象小ブロックの左上端の座標との差に応じて、移動したものである。

テンプレートマッチング器の処理手順は図７の場合とほぼ同じである。本実施形態では、対象小ブロック４２０に隣接する既再生の画素群（逆Ｌ文字の領域）４２１を対象隣接領域とする。

次に、Ｌ２０１を経由して入力される参照画面４０９上の探索領域４２６について、対象隣接領域４２１の画素とそれと同じ形状を有する探索領域内の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求め、ＳＡＤが小さいＭ個の領域を検出する。それらを予測隣接領域とする。Ｍの値は予め設定しておけば任意の値でよい。図８では、Ｍ＝３であり、候補予測隣接領域４２４ａ、４２４ｂ、４２４ｃが検出されている。

候補予測隣接領域４２４a、４２４ｂおよび４２４ｃに接している領域４２５ａ、４２５ｂおよび４２５ｃが対象小ブロック４２１に対する第２種の候補予測領域に決定され、各候補予測領域内の画素信号が第２種の候補予測信号に決定される。各候補予測隣接領域ならびに候補予測領域をフレームメモリ１０４から取得するためのアクセス情報として、対象隣接領域（および対象領域）と各候補予測隣接領域（および候補予測領域）との間の差分座標４２３ａ、４２３ｂおよび４２３ｃと、各候補予測領域が属する参照画面の参照画面番号とをＬ２１３経由で候補予測領域決定器２１４に出力する。候補予測領域決定器２１４は、第２種の３つの候補予測領域（図８の場合、３つには限定されない）から１つの候補予測領域を選択する。候補予測領域の選択方法としては、テンプレートマッチング器２０２の候補予測領域選択器２１３にて、対象隣接領域とのＳＡＤが小さい候補予測隣接領域に隣接する候補予測信号を選択する方法がある（別例は後述）。候補予測領域決定器２１４は、選択された第２種の候補予測領域へのアクセス情報（差分座標と参照画面番号）は、Ｌ２０２経由で、候補予測領域取得器２０５と重み係数算出器２０６とに出力する。

図２１は、テンプレートマッチング器２０２にて、画面内予測について、対象小ブロックに対する第２種の候補信号を複数個探索する方法を説明する図面である。図では、４つの分割ブロックのうち対象小ブロック４２０の例を示している。参照画面４０１内の探索領域４４７から第２種の候補予測信号を複数個探索する。座標４４８は探索中心を示す。ここで、探索領域４４７と座標４４８とは、探索領域４３７と座標４３８とを、対象ブロック４０２の左上端の座標と対象小ブロックの左上端の座標の差に応じて、移動したものである。

テンプレートマッチング器の処理手順は図２０（ｂ）の場合とほぼ同じである。本実施形態では、対象小ブロック４２０に隣接する既再生の画素群（逆Ｌ文字の領域）４２１を対象隣接領域とする。

次に、Ｌ２０１を経由して入力される参照画面４０１上の探索領域４４７について、対象隣接領域４２１の画素とそれと同じ形状を有する探索領域内の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求め、ＳＡＤが小さいＭ個の領域を検出する。それらを予測隣接領域とする。Ｍの値は予め設定しておけば任意の値でよい。図２１では、Ｍ＝３であり、候補予測隣接領域４４６ａ、４４６ｂ、４４６ｃが検出されている。

候補予測隣接領域４４６a、４４６ｂおよび４４６ｃに接している領域４４５ａ、４４５ｂおよび４４５ｃが対象小ブロック４２１に対する第２種の候補予測領域に決定され、各候補予測領域内の画素信号が第２種の候補予測信号に決定される。各候補予測隣接領域ならびに候補予測領域をフレームメモリ１０４から取得するためのアクセス情報として、対象隣接領域（および対象領域）と各候補予測隣接領域（および候補予測領域）との間の差分座標４４４ａ、４４４ｂおよび４４４ｃと、各候補予測領域が属する参照画面の参照画面番号とをＬ２１３経由で候補予測領域決定器２１４に出力する。候補予測領域決定器２１４は、第２種の３つの候補予測領域（図２１の場合、３つには限定されない）から１つの候補予測領域を選択する。候補予測領域の選択方法としては、テンプレートマッチング器２０２の候補予測領域選択器２１３にて、対象隣接領域とのＳＡＤが小さい候補予測隣接領域に隣接する候補予測信号を選択する方法がある（別例は後述）。候補予測領域決定器２１４は、選択された第２種の候補予測領域へのアクセス情報（差分座標と参照画面番号）は、Ｌ２０２経由で、候補予測領域取得器２０５と重み係数算出器２０６に出力する。

残りの３つの対象小ブロックについても、図１における変換・量子化を行なうブロックサイズが対象小ブロックと同じであれば、対象小ブロック４２１の場合と同様の方法で予測信号が生成できる。しかしながら、図１における変換・量子化を行なうブロックサイズが対象小ブロックより大きい場合には、対象小ブロックに隣接する逆Ｌ文字の領域の信号の一部あるいは全部がまだ再生されていない。この場合には、再生済み画素の替わりに予測済み画素を用いればよい。また、対象ブロック内の対象小ブロックの位置に応じて、テンプレートの形状を再生済み画素で構成できるように変更してもよい。

上記で説明した対象ブロックに対して予測信号の生成を行なう方法と対象ブロックを分割した小ブロック毎に予測信号の生成を行なう方法は、ブロック単位で選択することも可能である。この場合、選択情報は、動き情報なとど共にエントロピー符号化器１１１に出力される。

（重み係数算出器２０６と候補予測信号合成器２０３の説明）
重み係数算出器２０６では、Ｌ１１３を経由して入力される動き情報と、Ｌ２０２を経由して入力されるアクセス情報に基づいて、第１種の候補予測信号と第２種の候補予測信号とを重み付け平均する際の重み係数を算出し、Ｌ２０６経由で候補予測信号合成器２０３に出力する。候補予測信号合成器２０３では、動き補償器２０４と候補予測領域取得器２０５がフレームメモリ１０４から取得する第１種の候補予測信号と第２種の候補予測信号とを、それぞれＬ２０４とＬ２０５経由で入力する。候補予測信号合成器２０３は、これらの候補予測信号をＬ２０６経由で入力される重み係数に基づいて重み付け平均することにより対象ブロックに対する予測信号を生成し、Ｌ１０３経由で出力する。

図４は、重み係数算出器２０６と候補予測信号合成器２０３の構成を示すブロック図である。重み係数算出器２０６は、候補予測隣接領域取得器２２３と、対象隣接領域取得器２２１と、重み係数決定器２２４とを備えている。候補予測信号合成器２０３は、重み係数乗算器２２５と、加算・除算器２２６とを備えている。

式（３）にて、重み係数算出器２０６と候補予測信号合成器２０３とにて生成される予測信号Pb(i,j)の重み付け平均化処理による生成手順を整理する。ここで、(i, j)は対象領域における各画素の座標を示している。

式（３）において、Ｎは第１種と第２種の候補予測信号の数を示しており、ここではＮ＝２である（別例は後述）。候補予測信号合成器２０３には、動き補償器２０４と候補予測領域取得器２０５とからＮ個の候補予測領域の候補予測信号p_n(i, j) (n=0〜N-1)が入力される。

一方、重み係数算出器２０６では、まず、候補予測隣接領域取得器２２３が、Ｌ１１３とＬ２０２経由で入力されるアクセス情報に従って、Ｎ個の候補予測隣接領域の候補予測隣接信号s_n(r) (n=0〜N-1)をL104経由でフレームメモリ１０４から取得し、L223経由で重み係数決定器２２４に出力する。対象隣接領域取得器２２１は、L104経由でフレームメモリ１０４から対象隣接領域の対象隣接信号t(r)(rは対象隣接領域内のR個の画素の位置)を取得し、L221経由で重み係数決定器２２４に出力する。重み係数決定器２２４は、L223経由で入力されるＮ個の候補予測隣接信号s_n(r)とL221経由で入力される対象隣接信号t(r)とに基づいて、Ｎ個の候補予測信号に対する重み係数w_nを決定する（詳細は後述）。そして、重み係数決定器２２４は重み係数w_nをラインL206経由で候補予測信号合成器２０３の重み係数乗算器２２５に出力する。

候補予測信号合成器２０３の重み係数乗算器２２５では、式（３）に示すように、n番目の重み係数w_nをn番目の候補予測信号p_n(i, j)内の各画素と掛け合わせ、L225経由で加算・除算器２２６に出力する。加算・除算器２２６は、重み付けされたＮ個の候補予測信号の各画素を累積加算したのち、式（３）のように、重み係数の加算値で除算し、各画素の予測信号Pb(i,j)を算出する。

（候補予測信号決定器２１４の別例の説明）
候補予測領域決定器２１４におけるＮの決定方法について、さらに説明を加える。上記では、ＮのちはＮ＝２と予め定めた値としたが、これには依存せず、たとえば、任意のＮ個の候補予測隣接信号の重み付け平均により対象隣接領域の予測信号を生成し、生成した予測信号と対象隣接領域との差が最も小さくなるようなＮを選択する方法でもよい。この場合、重み係数算出器２０６内の機構が利用できる。

また、例えば、3個の候補予測隣接領域の候補予測隣接信号について、それぞれ第１の候補予測領域に隣接する候補予測隣接領域の候補予測信号との間で実際に重み付け平均処理を行い、３個の対象隣接信号の予測信号を生成する方法もある。この方法では、これらの予測信号と対象隣接信号とを比較して、差（たとえば絶対値誤差和）が最も小さくなる候補予測隣接領域に隣接する候補予測領域の候補予測信号を選択する。
なお、第１種の候補予測信号を候補予測信号に含めず、第２種の候補予測信号からＮ個の候補予測信号を選択しても良い（この場合、動き補償器２０４は不要）。また、Ｍ個の第２種の候補予測信号に第１種の候補予測信号を加えたＭ＋１個の候補予測信号からＮ個の候補予測信号を選択できる。選択方法としては、上記と同様に、Ｍ＋１個の候補予測領域に隣接する候補予測隣接領域の候補予測隣接信号から任意のＮ個を選択して重み付け平均することにより対象隣接領域の予測信号を生成する方法が適用できる。この場合、この予測信号と対象隣接信号の絶対値誤差和が最も小さくなるＮ個の候補予測隣接領域を選び、このＮ個の候補予測隣接領域に隣接するＮ個の候補予測領域の候補予測信号が最終的に選択される。

（重み係数算出器２０６の説明）
重み係数決定器２２４における重み係数の決定方法について、さらに説明を加える。重み係数は式（４）に示すように単純平均としてもよいが、対象隣接信号t(r)とＮ個の候補予測隣接信号s_n(r)との間のＳＡＤに基づいて、Ｎ個の重み係数を決定してもよい。前者の場合、重み係数は予め決まっているため重み係数算出器２０６は不要である。

後者の方法によれば、Ｎ個の候補予測領域と対象ブロックの相関に基づいて重み係数を決定できる。この方法では、式（５）に示すように、対象隣接信号t(r) (rは対象隣接領域内のR個の画素の位置)とＮ個の候補予測隣接信号s_n(r) (n=0〜N-1)との間のＳＡＤ（LSAD_n、式（６）にて算出）に基づいてＮ個の重み係数を算出する。

このように、本発明の符号化器における予測方法では、対象ブロックの原信号を用いて符号化器にて検出した動きベクトルなどの動き情報に基づいて複数の候補予測信号を生成する。本発明では、動き情報を用いて、対象ブロックの原信号に近い画素位置を推測するため、狭い探索範囲で効率良く複数の候補予測信号を生成することができる。これらの候補予測信号は画面の異なる領域から取得されるため、含まれる雑音成分（主に高周波成分）が互いに低くなっている。そのため、雑音成分の異なる複数の候補予測信号を平均化することにより、平滑化効果により、統計的に雑音の少ない予測信号が生成できる。

さらに、本発明の符号化器における予測方法は、動き情報を用いて生成される予測信号生成方法や、特許文献５に示すように動き情報を用いずに複数の候補予測信号を生成する方法とブロック単位で適応選択することが可能である。本発明の符号化器における予測方法は、動き情報の符号化に伴う符号量の増加と予測誤差信号の削減効果のトレードオフ性能の観点で、互いの効果を高める関係にある。そのため、これらの方法を適応選択することで、符号化効率の更なる改善効果が期待できる。

図９は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、動き推定器１１３は、対象ブロックとの相関が高い信号を既再生信号から検索し、この信号の生成に要する動き情報を生成する。つまり、動き推定器１１３では、図５あるいは図２０（ａ）に説明したブロックマッチング処理により、対象ブロックの第１種の候補予測領域を指示する動き情報（動きベクトル４０７と参照画面４０３の番号）を検出する。この動き情報は、エントロピー符号化器１１１にて符号化される（ステップＳ１０２）。次に、予測信号生成器１０３は、この動き情報に基づいて複数の候補予測信号を生成し、これらの合成処理により対象ブロックの予測信号を生成する（ステップＳ１０３）。ステップＳ１０３の詳細は図１０にて後述する。

このように決定された予測信号と対象ブロックの信号との差分を示す残差信号が、変換器１０６、量子化器１０７及びエントロピー符号化器１１１により符号化される（ステップＳ１０４）。そして、符号化された残差信号、動き情報及び予測信号生成方法の選択情報（必要の場合、画面内予測と画面間予測の選択など）が出力端子１１２を介して出力される（ステップＳ１０５）。ここで、動き情報には、画面間/画面内予測方法における動きベクトルや参照画面番号に加えて、第２種の候補予測信号の探索範囲の大きさ、Ｎの値（候補予測信号の数）などの各種設定情報が含まれる場合がある。

これら処理の後に又はこれらの処理と並行して、後続の対象ブロックを予測符号化するために符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画面として記憶される（ステップＳ１０６）。そして、すべての対象ブロックの処理が完了していない場合にはステップＳ１０２に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０７とステップＳ１０８）。

図１０は、予測信号生成器１０３にて実施されるステップＳ１０３における対象ブロックの予測信号生成方法の詳細手順を示すフローチャートである。

まず、動き補償器２０４は、ステップＳ１０２にて検出した動き情報に基づいて第１種の候補予測信号を生成する（ステップＳ２０２）。探索領域設定器２０１では、図６に示した手順により、上記の動き情報に含まれる参照画面番号から第２種の候補予測信号を探索する参照画面４０９を選択する（ステップＳ２０３）。さらに、探索領域設定器２０１は、式（２）に従って動きベクトル４０７を参照画面４０９上に対してスケーリングし、図７または図８または図２０（ｂ）または図２１に示した手順により探索中心と探索領域を決定する（ステップＳ２０４）。テンプレートマッチング器２０２では、探索領域からN-1個の第２種の候補予測信号を探索する（ステップＳ２０５、詳細は後述）。そして、候補予測領域合成器２０３と重み係数算出器２０６は、N個の候補予測信号を合成（重み付け平均）し、対象ブロックの予測信号を生成し（ステップＳ２０６、詳細は後述）、処理を終了する（ステップＳ２０７）。

図１１は、テンプレートマッチング器２０２における第２種のＮ−１個の候補予測信号の探索方法を示すフローチャートである（ステップＳ２０５の詳細）。対象隣接領域取得器２１１では、フレームメモリ１０４から対象ブロックに対する逆Ｌ字の対象隣接領域（テンプレート信号）を取得する（ステップＳ２１２）。次に候補予測領域選択器２１３は、Ｎ−１個の候補予測領域を探索する際に用いる閾値を最大値に設定する（ステップＳ２１３）。次に予測隣接領域取得器２１２は、ステップＳ２０４にて決定した探索領域から対象隣接領域と同じ形状の画素群を順次取得する。候補予測領域選択器２１３は、テンプレート信号と探索領域から取得した画素信号群との差分値SADを算出する（ステップＳ２１４）。さらに候補予測領域選択器２１３は、算出したSADと上記の閾値を比較する（ステップＳ２１５）。算出したSADが閾値より大きければ、後述するステップＳ２１８に進む。算出したSADが閾値より小さければ、第２種の候補予測領域を更新する（ステップＳ２１６）。この際、探索領域から取得した画素信号群のうちSADの小さい最大Ｎ−１個を候補予測領域とする。そして候補予測領域選択器２１３は、閾値をＮ−１番目に小さいSADの値に更新する（ステップＳ２１７）。候補予測領域選択器２１３は、探索領域内のすべての画素信号群の探索が完了していなければステップＳ２１４に戻り、完了していれば処理を終了する（ステップＳ２１８とステップＳ２１９）。

図１２は、候補予測信号合成器２０３と重み係数算出器２０６におけるＮ個の候補予測信号の合成方法を説明するフローチャートである（ステップＳ２０６の詳細）。対象隣接領域取得器２２１では、対象ブロックに対する対象隣接領域を取得する（ステップＳ２２２）。候補予測隣接領域取得器２２３では、動き補償器２０４と候補予測領域取得器２０５にて取得されるＮ個の候補予測領域に隣接するＮ個の候補予測隣接領域をフレームメモリ１０４から取得する（ステップＳ２２３）。次に、重み係数決定器２２４では、式（６）を用いて、対象隣接領域の隣接画素信号とＮ個の候補予測隣接領域の候補予測隣接信号との間のＳＡＤ（ＬＳＡＤ）を計算する（ステップＳ２２４）。さらに重み係数決定器２２４は、Ｎ個のＬＳＡＤに基づいて、式（５）にて各候補予測領域に対する重み係数を計算する（ステップＳ２２５）。重み係数乗算器２２５と加算・除算器２２６は、式（３）にて、Ｎ個の候補予測信号の重み付け平均処理にて対象ブロックの予測信号を生成し（ステップＳ２２６）、処理を終了する（ステップＳ２２７）。なお、図４の説明も示したように、Ｎ個の候補予測信号の合成方法は、ここで示した実施形態には限定されない。

このように構成された画像予測符号化装置１００の作用効果について説明する。この画像予測符号化装置１００は、ブロック分割器１０２が入力画像を複数の領域に分割し、動き推定器１１３は、分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を既再生信号から探索し、該探索した信号を指示する動き情報を抽出する。予測信号生成器１０３は、対象領域の対象画素信号に対する予測信号を生成し、減算器１０５は、生成された予測信号と対象画素信号との残差信号を生成する。変換器１０６、量子化器１０７、およびエントロピー符号化器１１１は、生成された残差信号および動き推定手段により抽出された動き情報を符号化する。

ここで、予測信号生成器１０３の動き補償器２０４は、動き情報に基づいて、既再生信号から第１種の候補予測信号を生成する。また、予測信号生成器１０３における探索領域設定器２０１は、この動き情報に基づいて、既再生信号の部分領域である探索領域（参照画面４０９における探索領域４１４）を決定する。

テンプレートマッチング器２０２は、対象領域４０２に隣接する既再生の隣接画素信号からなる対象隣接領域４１５との相関が高い候補予測隣接領域４１２ａ〜４１２ｃを、探索領域４１４から１つ以上探索し、複数の予測隣接領域に基づいて、既再生信号から対象画素信号の第２種の候補予測信号を１つ以上生成する。

候補予測信号合成器２０３は、動き推定器１１３により生成された第１種の候補予測信号およびテンプレートマッチング器２０２により生成された第２種の候補予測信号の少なくともいずれかを用いて、予測信号を生成する。

この構成により、探索領域を限定することができ、第２種の候補予測信号のための探索時間を少なくすることができ、少ない情報、演算量で、予測信号を効率的に生成することができる。

また、本実施形態の画像予測符号化装置１００においては、動き推定器１１３にて抽出される動き情報は、すくなくとも第１種の候補予測信号の生成に用いられる第１の再生画面である画面４０３を示す情報（参照画面番号）と第１種候補予測信号を指示する動きベクトルの情報とを含む。

そして、探索領域設定器２０１は、対象領域を含む画面４０１と第１の再生画面である参照画面４０３との時間方向の画面間隔、および動きベクトルに基づいて、第２種の候補予測信号の探索領域４１４を含んだ第２の再生画面である参照画面４０９を定める。

これにより、第２種の候補予測信号を探索するための探索領域を決定することができ、第２種の候補予測信号の探索処理を迅速に行うことができる。

また、本実施形態の画像予測符号化装置１００においては、候補予測信号合成器２０３と重み係数算出器２０６は、対象隣接領域の隣接画素信号と複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて重み付け平均するための重み係数を生成し、当該重み係数を用いて複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成する。これにより、予測信号を平均化することができ、より適切な予測信号を生成することができる。

また、本実施形態の画像予測符号化装置１００において、テンプレートマッチング器２０２は、動きベクトルを構成する各成分が０値であり、探索領域４１４が第１の再生画面とは異なる画面に属する場合、第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択する。これにより、平均化の効果をより効果的に得ることができる。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９を、対象領域４０２を含む画面４０１に対して、第１の再生画面である参照画面４０３と時間的に逆方向の画面に決定する。すなわち、第１の再生画面である参照画面４０３が過去に位置するものである場合には、第２の再生画面４０９を未来に位置するものとする。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９を、第１の再生画面である参照画面４０３とは異なる画面であり、かつ対象領域を含む画面４０１と時間的に最も近い画面に決定する。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として、複数の画面を選択することで、複数の探索領域４１４を選択する。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として第１の再生画面である参照画面４０３を選択する。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として、入力画像の再生済み領域を選択する。

また、本実施形態の画像予測符号化装置１００において、探索領域設定器２０１は、第２種の候補予測信号として、第１種の候補予測信号とは異なる画素信号を選択する。

上述のとおり、第２の再生画面または第２の種の候補予測信号を決定・選択することにより、候補予測信号をより適切に平均化することができ、適切な予測信号を生成することができる。

＜画像予測復号方法＞
次に、本実施形態に係る画像予測復号方法について説明する。図１３は、本実施形態に係る画像予測復号装置３００を示すブロック図である。この画像予測復号装置３００は、入力端子３０１、エントロピー復号器３０２（データ復号手段）、逆量子化器３０３（データ復号手段）、逆変換器３０４（残差信号復元手段）、加算器３０５（画像復元手段）、出力端子３０６、フレームメモリ１０４及び予測信号生成器１０３（予測信号生成手段）を備えている。逆量子化器３０３及び逆変換器３０４によるデータ復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器３０４はなくてもよい。

入力端子３０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号情報及び動き予測情報が含まれている。ここで動き予測情報には、動き情報には、画面間/画面内予測方法における動きベクトルや参照画面番号に加えて、第２種の候補予測信号の探索範囲の大きさ、Ｎの値（候補予測信号の数）などの各種設定情報が含まれる場合がある。

エントロピー復号器３０２は、入力端子３０１に入力された圧縮データをエントロピー復号することにより、対象ブロックの残差信号情報、動き予測情報を抽出する。

逆量子化器３０３は、対象ブロックの残差信号情報をラインＬ３０２a経由で入力し、逆量子化する。逆変換器３０４は、逆量子化したデータを逆離散コサイン変換する。

予測信号生成器１０３は、エントロピー復号器３０２からラインＬ３０２ｂ経由で動き情報を入力する。この予測信号生成器１０３は、入力された動き情報に基づいて、フレームメモリ１０４から参照画面を取得し、予測信号を生成する。

予測信号生成器１０３は、生成した予測信号をラインＬ１０３経由で加算器３０５に出力する。

加算器３０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器３０３および逆変換器３０４により復元された残差信号に加算して、対象ブロックの再生画像信号をラインＬ３０５経由で出力端子３０６およびフレームメモリ１０４に出力する。出力端子３０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ１０４は、つぎの復号処理のための参照用の再生画像として、加算器３０５から出力された再生画像を参照画面として記憶する。

フレームメモリ１０４と予測信号生成器１０３とは、図１の画像予測符号化装置１００における動作と同じであるため、説明を割愛する。予測信号生成器１０３は、復号された動き情報に基づいて複数の候補予測信号を生成し、これらを合成することにより復号対象ブロックに対する予測信号を生成する。Ｌ３０２ｂを経由して予測信号生成器１０３に入力される動き情報は、Ｌ１１３を経由して予測信号生成器１０３に入力される動き情報と同じである。

次に、図１４を用いて、図１３に示す画像予測復号装置３００における画像予測復号方法を説明する。まず、入力端子３０１を介して、圧縮された圧縮データが入力される（ステップＳ３０２）。そして、エントロピー復号器３０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、動き情報が抽出される（ステップＳ３０３）。ここで抽出された動き情報に基づいて、予測信号生成器１０３にて複数の候補予測信号が生成され、生成された複数の候補予測信号を合成することによって予測信号が生成される（ステップＳ１０３）。

一方、量子化された変換係数は、逆量子化器３０３において量子化パラメータを用いて逆量子化され、逆変換器３０４において逆変換が行われ、再生差分信号が生成される（ステップＳ３０５）。そして、生成された予測信号と再生差分信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ３０６）。次の圧縮データがある場合には、再度このプロセスを繰り返し（ステップＳ３０７）、全てデータが最後まで処理される（ステップＳ３０８）。なお、必要に応じてステップＳ３０２に戻り、圧縮データを取り込むようにしてもよい。

なお、ステップＳ１０３の処理フローは、図１０〜図１２における処理フローと同じであるため、説明は割愛する。

つぎに本実施形態の画像予測復号方法の作用効果について説明する。本発明における画像予測復号装置３００において、エントロピー復号器３０２、逆量子化器３０３は、圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号する。逆変換器３０４は、復号されて得られた残差信号から再生残差信号を復元する。

予測信号生成器１０３は、対象領域の対象画素信号に対する予測信号を生成する。加算器３０５は、生成された予測信号と復元された再生残差信号とを加算することによって、対象領域の画素信号を復元するとともに、これをフレームメモリ１０４に出力し、記憶させる。

ここで、予測信号生成器１０３は、復号された動き情報に基づいて、フレームメモリ１０４に記憶されている既再生信号から第１種の候補予測信号を生成する。また、この動き情報に基づいて、既再生信号の部分領域である探索領域４１４を決定する。

テンプレートマッチング器２０２は、対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域４１５との相関が高い予測隣接領域４１２a〜４１２ｃを、探索領域４１４から１つ以上探索し、複数の予測隣接領域に基づいて、既再生信号から対象画素信号の第２種の候補予測信号を１つ以上生成する。

候補予測信号合成器２０３は、生成された第１種の候補予測信号および生成された第２種の候補予測信号の少なくともいずれかに基づいて、予測信号を生成する。

また、本実施形態の画像予測復号装置３００においては、復号されて得られた動き情報は、すくなくとも第１種の候補予測信号の生成に用いられる第１の再生画面である参照画面４０３を示す情報（参照画面番号）と第１種候補予測信号を指示する動きベクトルの情報とを含む。

そして、探索領域設定器２０１は、対象領域を含む画面４０１と第１の再生画面である参照画面４０３との時間方向の画面間隔、および動きベクトルに基づいて、第２種の候補予測信号の探索領域４１４を含んだ第２の再生画面である参照画面４０９を定める。

これにより、第２種の候補予測信号を探索するための探索領域を決定することができ、第２種の候補予測信号の探索処理を迅速に行うことができる。

また、本実施形態の画像予測復号装置３００においては、候補予測信号合成器２０３は、対象隣接領域の隣接画素信号と複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて重み付け平均するための重み係数を生成し、当該重み係数を用いて複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成する。これにより、予測信号を平均化することができ、より適切な予測信号を生成することができる。

また、本実施形態の画像予測復号装置３００において、テンプレートマッチング器２０２は、動きベクトルを構成する各成分が０値であり、探索領域４１４が第１の再生画面とは異なる画面に属する場合、第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択する。これにより、平均化の効果をより効果的に得ることができる。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９を、対象領域４０２を含む画面４０１に対して、第１の再生画面である参照画面４０３と時間的に逆方向の画面に決定する。すなわち、第１の再生画面である参照画面４０３が過去に位置するものである場合には、第２の再生画面である参照画面４０９を未来に位置するものがある場合には、探索領域設定器２０１は、その画面を第２の再生画面である参照画面４０９として優先して選択する。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９を、第１の再生画面である参照画面４０３とは異なる画面であり、かつ対象領域を含む画面４０１と時間的に最も近い画面に決定する。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として、複数の画面を選択することで、複数の探索領域４１４を選択する。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として第１の再生画面である参照画面４０３を選択する。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２の再生画面である参照画面４０９として、入力画像の再生済み領域を選択する。

また、本実施形態の画像予測復号装置３００において、探索領域設定器２０１は、第２種の候補予測信号として、第１種の候補予測信号とは異なる画素信号を選択する。

上述のとおり、第２の再生画面または第２の種の候補予測信号を決定・選択することにより、候補予測信号をより適切に平均化することができ、適切な予測信号を生成することができる。

＜画像予測符号化方法および画像予測復号方法におけるプログラム＞
本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１５は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、動き推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０及びエントロピー符号化モジュールＰ１１１を備えている。予測信号生成モジュールＰ１０３は、図１６に示すように、対策領域設定モジュールＰ２０１、テンプレートマッチングモジュールＰ２０２及び候補予測信号合成モジュールＰ２０３を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、画像予測符号化プログラムＰ１００の各モジュールの機能は、動き推定器１１３、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、探索領域設定器２０１、テンプレートマッチング器２０２及び候補予測信号合成器２０３の機能と同様である。

また、図１７は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ３００は、エントロピー復号モジュールＰ３０２、逆量子化モジュールＰ３０３、逆変換モジュールＰ３０４、加算モジュールＰ３０５、記憶モジュールＰ１０４及び予測信号生成モジュールＰ１０３を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置３００の各構成要素と同じである。すなわち、画像予測復号プログラムＰ３００の各モジュールの機能は、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、フレームメモリ１０４及び予測信号生成器１０３の機能と同様である。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ３００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図１８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図１８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置（フロッピーディスクは登録商標）、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る画像符号化装置または画像復号装置として動作することが可能になる。

図１９に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

本実施形態に係る画像予測符号化装置を示すブロック図である。 図１に示す予測信号生成器を示すブロック図である。 図２に示すテンプレートマッチング器を示すブロック図である。 図２に示す候補予測信号合成器と重み係数算出器を示すブロック図である。 動き推定処理（ブロックマッチング処理）を説明するための模式図であり、（ａ）は参照画面を示し、（ｂ）は符号化対象の画面を示す。 探索領域設定処理に関する模式図である。 画面間予測におけるテンプレートマッチング処理に関する模式図であり、（ａ）は参照画面を示し、（ｂ）は符号化対象の画面を示す。 画面間予測テンプレートマッチング処理の変形例に関する第１の模式図であり、（ａ）は参照画面を示し、（ｂ）は符号化対象の画面を示す。 図１に示す画像予測符号化装置の画像予測符号化方法の手順を示すフローチャートである。 予測信号の生成方法の手順を説明するためのフローチャートである。 テンプレートマッチング処理の手順を説明するためのフローチャートである。 複数候補予測信号の合成方法の手順を説明するためのフローチャートである。 本実施形態に係る画像予測復号装置を示すブロック図である。 図１３に示す画像予測復号装置の画像予測復号方法の手順を示すフローチャートである。 本実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。 図１５に示す予測信号生成モジュールを示すブロック図である。 本実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 画面内予測における動き推定処理（ａ）とテンプレートマッチング処理（ｂ）に関する模式図である。 画面内予測におけるテンプレートマッチング処理の変形例に関する模式図である。 従来の画面内予測方法を説明するための模式図である。

符号の説明

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…動き推定器、２０１…探索領域設定器、２０２…テンプレートマッチング器、２０３…候補予測信号合成器、２０４…動き補償器、２０５…候補予測領域取得器、２０６…重み係数算出器、２１１…対象隣接領域取得器、２１２…予測隣接領域取得器、２１３…候補予測領域選択器、２１４…候補予測領域決定器、２２１…対象隣接領域取得器、２２３…候補予測隣接領域取得器、２２４…重み係数決定器、２２５…重み係数乗算器、２２６…加算・除算器、３００…画像予測復号装置、３０１…入力端子、３０２…エントロピー復号器、３０３…逆量子化器、３０４…逆変換器、３０５…加算器、３０６…出力端子。

Claims (24)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定手段と、
   前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号および前記動き推定手段により抽出された動き情報を符号化する符号化手段と、を備え、
   前記予測信号生成手段は、
   前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償手段と、
   前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定手段と、
   前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチング手段と、
   前記動き補償手段により生成された第１種の候補予測信号と前記テンプレートマッチング手段により生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成手段と、を有することを特徴とする画像予測符号化装置。
2. 前記動き推定手段にて抽出される前記動き情報は、少なくとも前記第１種の候補予測信号の生成に用いられる第１の再生画面を示す情報と前記第１種の候補予測信号を指示する動きベクトルの情報とを含み、
   前記探索領域決定手段は、前記第１の再生画面の情報に基づいて前記探索領域を含む第２の再生画面を選択し、
   前記対象領域を含む画面と前記第１の再生画面との間の時間方向の画面間隔と、前記対象領域を含む画面と前記第２の再生画面との間の時間方向の画面間隔と、前記動きベクトルとを用いて、前記探索領域の第２の再生画面内の空間位置を定めることを特徴とする請求項１に記載の画像予測符号化装置。
3. 前記候補予測信号合成手段は、前記対象隣接領域の隣接画素信号と前記複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて重み付け平均するための重み係数を生成し、当該重み係数を用いて前記複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成する
   ことを特徴とする請求項２に記載の画像予測符号化装置。
4. 前記テンプレートマッチング手段は、前記動きベクトルを構成する各成分が０値であり、前記探索領域が前記第１の再生画面とは異なる画面に属する場合、前記第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択することを特徴とする請求項２または３に記載の画像予測符号化装置。
5. 前記探索領域決定手段は、前記第２の再生画面を、前記対象領域を含む画面に対して、第１の再生画面と時間的に逆方向の画面に決定することを特徴とする請求項２から４のいずれか１項に記載の画像予測符号化装置。
6. 前記探索領域決定手段は、前記第２の再生画面を、第１の再生画面とは異なる画面であり、かつ前記対象領域を含む画面と時間的に最も近い画面に決定することを特徴とする請求項２から４のいずれか１項に記載の画像予測符号化装置。
7. 前記探索領域決定手段は、前記第２の再生画面として、複数の画面を選択することで、複数の探索領域を選択することを特徴とする請求項２から４のいずれか１項に記載の画像予測符号化装置。
8. 前記探索領域決定手段は、前記第２の再生画面として第１の再生画面を選択することを特徴とする請求項２から４、７のいずれか１項に記載の画像予測符号化装置。
9. 前記探索領域決定手段は、前記第２の再生画面として、前記入力画像の再生済み領域を選択することを特徴とする請求項２から４、７のいずれか１項に記載の画像予測符号化装置。
10. 前記探索領域決定手段は、前記第２種の候補予測信号として、前記第１種の候補予測信号とは異なる画素信号を選択することを特徴とする請求項１から９のいずれか１項に記載の画像予測符号化装置。
11. 圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号手段と、
    前記データ復号手段により復号されて得られた残差信号から再生残差信号を復元する残差信号復元手段と、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
    前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
    前記予測信号生成手段は、
    前記データ復号手段により復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償手段と、
    前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定手段と、
    前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチング手段と、
    前記動き補償手段により生成された第１種の候補予測信号と前記テンプレートマッチング手段により生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成手段と、を有することを特徴とする画像予測復号装置。
12. 前記動き情報は、少なくとも前記第１種の候補予測信号の生成に用いられる第１の再生画面を示す情報と前記第１種の候補予測信号を指示する動きベクトルの情報とを含み、
    前記探索領域決定手段は、前記第１の再生画面に基づいて前記探索領域を含む第２の再生画面を選択し、
    前記対象領域を含む画面と前記第１の再生画面との間の時間方向の画面間隔と、前記対象領域を含む画面と前記第２の再生画面との間の時間方向の画面間隔と、前記動きベクトルとを用いて、前記探索領域の第２の再生画面内の空間位置を定めることを特徴とする請求項１１に記載の画像予測復号装置。
13. 前記候補予測信号合成手段は、前記対象隣接領域の隣接画素信号と前記複数の候補予測信号に隣接する候補予測隣接領域の画素信号との間の差分値に基づいて重み付け平均するための重み係数を生成し、当該重み係数に基づいて前記複数の候補予測信号を重み付け平均することにより対象領域の予測信号を生成する
    ことを特徴とする請求項１２に記載の画像予測復号装置。
14. 前記テンプレートマッチング手段は、前記動きベクトルを構成する各成分が０値であり、前記探索領域が前記第１の画面とは異なる画面に属する場合、前記第２種の候補予測信号を指示する動きベクトルを構成する成分のうち少なくともいずれかの成分が０以外となるように選択することを特徴とする請求項１２または１３に記載の画像予測復号装置。
15. 前記探索領域決定手段は、前記第２の再生画面を、前記対象領域を含む画面に対して、第１の再生画面と時間的に逆方向の画面に決定することを特徴とする請求項１２から１４のいずれか１項に記載の画像予測復号装置。
16. 前記探索領域決定手段は、前記第２の再生画面を、第１の再生画面とは異なる画面であり、かつ前記対象領域を含む画面と時間的に最も近い画面に決定することを特徴とする請求項１２から１４のいずれか１項に記載の画像予測復号装置。
17. 前記探索領域決定手段は、前記第２の再生画面として、複数の画面を選択することで、複数の探索領域を選択することを特徴とする請求項１２から１４のいずれか１項に記載の画像予測復号装置。
18. 前記探索領域決定手段は、前記第２の再生画面として第１の再生画面を選択することを特徴とする請求項１２または請求項１７に記載の画像予測復号装置。
19. 前記探索領域決定手段は、前記第２の再生画面として、前記対象領域を含む画面を選択することを特徴とする請求項１２から１４、１７のいずれか１項に記載の画像予測復号装置。
20. 前記探索領域決定手段は、前記第２種の候補予測信号として、前記第１種の候補予測信号とは異なる画素信号を選択することを特徴とする請求項１１または請求項１２から１９のいずれか１項に記載の画像予測復号装置。
21. 入力画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定ステップと、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
    前記予測信号生成ステップにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
    前記残差信号生成ステップにより生成された残差信号および前記動き推定ステップにより抽出された動き情報を符号化する符号化ステップと、を備え、
    前記予測信号生成ステップは、
    前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償ステップと、
    前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定ステップと、
    前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングステップと、
    前記動き補償ステップにより生成された第１種の候補予測信号と前記テンプレートマッチングステップにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成ステップと、を有することを特徴とする画像予測符号化方法。
22. 圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号ステップと、
    前記データ復号ステップにより復号されて得られた残差信号から再生残差信号を復元する残差信号復元ステップと、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
    前記予測信号生成ステップにより生成された予測信号と前記残差信号復元ステップにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、
    前記予測信号生成ステップは、
    前記データ復号ステップにより復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償ステップと、
    前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定ステップと、
    前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングステップと、
    前記動き補償ステップにより生成された第１種の候補予測信号と前記テンプレートマッチングステップにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成ステップと、を有することを特徴とする画像予測復号方法。
23. 入力画像を複数の領域に分割する領域分割モジュールと、
    前記領域分割モジュールにより分割された複数の領域のうちの処理対象である対象領域の対象画素信号との相関が高い信号を第１の再生画面の既再生信号から探索し、該探索した信号を指示する動き情報を抽出する動き推定モジュールと、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、
    前記予測信号生成モジュールにより生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成モジュールと、
    前記残差信号生成モジュールにより生成された残差信号および前記動き推定モジュールにより抽出された動き情報を符号化する符号化モジュールと、を備え、
    前記予測信号生成モジュールは、
    前記動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償モジュールと、
    前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定モジュールと、
    前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングモジュールと、
    前記動き補償モジュールにより生成された第１種の候補予測信号と前記テンプレートマッチングモジュールにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成モジュールと、を有することを特徴とする画像予測符号化プログラム。
24. 圧縮データの中から処理対象である対象領域に関する動き情報の符号化データと残差信号の符号化データとを復号するデータ復号モジュールと、
    前記データ復号モジュールにより復号されて得られた残差信号から再生残差信号を復元する残差信号復元モジュールと、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成モジュールと、
    前記予測信号生成モジュールにより生成された予測信号と前記残差信号復元モジュールにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元モジュールと、を備え、
    前記予測信号生成モジュールは、
    前記データ復号モジュールにより復号された動き情報に基づいて、第１の再生画面の既再生信号から第１種の候補予測信号を生成する動き補償モジュールと、
    前記動き情報に基づいて、前記第１の再生画面とは異なる第２の再生画面の既再生信号の部分領域である探索領域を決定する探索領域決定モジュールと、
    前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を、前記探索領域から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて、前記第２の再生画面の既再生信号から前記対象画素信号の第２種の候補予測信号を１つ以上生成するテンプレートマッチングモジュールと、
    前記動き補償モジュールにより生成された第１種の候補予測信号と前記テンプレートマッチングモジュールにより生成された１つ以上の第２種の候補予測信号とに基づいて、予測信号を生成する候補予測信号合成モジュールと、を有することを特徴とする画像予測復号プログラム。

Images