JP4994767B2 - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム - Google Patents

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するもので、とりわけ、テキスチャー合成方法を用いて予測符号化および復号する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１８は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図１８（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図１８（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図１８（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図４は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４０１上の対象ブロック４０２を例に予測信号の生成手順を説明する。画面４０３は既に再生済みであり、領域４０４は対象ブロック４０２と空間的に同一位置の領域である。ブロックマッチングでは、領域４０４を囲む探索範囲４０５を設定し、この探索範囲の画素信号から対象ブロック４０２の画素信号との絶対値誤差和が最小となる領域４０６を検出する。この領域４０６の信号が予測信号となり、領域４０４から領域４０６への変位量が動きベクトル４０７として検出される。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各フレームの符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号

しかしながら、従来技術では、符号化による歪（例えば量子化雑音）を含む再生画素値をコピーすることにより各画素の予測信号を生成するため、予測信号もその歪を含むことになる。符号化による歪を含む予測信号は、残差信号の符号量増加や再生画質劣化など符号化効率を低下させる要因となる。

符号化による歪の影響は、予測信号の平滑化にて抑制可能であり、２つの予測信号を平均化する双方向予測によっても抑制可能である。しかし、双方向予測は、２つの予測信号を再生側にて生成するために、２本の動きベクトルを符号化する必要があるため、予測信号の平滑化効果を高めるために平均化する信号の数を増やすと、符号化すべき動きベクトルの本数も増加してしまう。

そこで、上述の課題を解決するために、本発明は、予測信号を効率よく生成することができる画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。

本発明の画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。

また、本発明の画像予測符号化方法は、画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、画像予測符号化装置が、領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測符号化装置が、予測信号生成ステップにおいて生成された予測信号と対象画素信号との残差信号を生成する残差信号生成ステップと、
画像予測符号化装置が、残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、予測信号生成ステップは、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、予測関連情報生成ステップにおいて生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成ステップとを有し、テキスチャー合成ステップは、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化ステップは、予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする。

また、本発明の画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と対象画素信号との残差信号を生成する残差信号生成手段と、残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、予測信号生成手段は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、予測関連情報生成手段により生成された予測関連情報に基づいて対象領域の予測信号を生成するテキスチャー合成手段とを有し、テキスチャー合成手段は、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、符号化手段は、予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする。

このような画像予測符号化装置、画像予測符号化方法及び画像予測符号化プログラムによれば、入力画像が複数の領域に分割され、分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号が生成され、その予測信号と対象画素信号との残差信号が生成され、その残差信号が符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。なお、生成された予測関連情報も残差信号と同様に符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。

本発明の画像予測符号化装置では、指定領域と対象領域とが同じ形状であることが好ましい。これらの領域の形状を同じにすることで、より簡易に予測信号を生成することができる。

本発明の画像予測符号化装置では、テキスチャー合成手段は、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。

この場合、対象領域が分割され、分割された各小領域について予測信号が生成され、小領域毎の予測信号を合成することにより対象領域の予測信号が生成される。そのため、最終的に生成される対象領域の予測信号の性能をより高めることが可能となる。すなわち、より雑音の少ない予測信号を生成することができる。

本発明の画像予測符号化装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。

テンプレート信号は、対象領域の対象画素信号との相関が高い信号を生成する方法が含まれる予測関連情報に基づいて生成される。すなわち、テンプレート信号は、対象領域の画素信号との差分が最も小さい信号である。そのため、そのテンプレート信号を含むテキスチャー信号を利用することで、より雑音の少ない予測信号を生成することができる。

本発明の画像予測符号化装置では、テキスチャー合成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。

本発明の画像予測符号化装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。

本発明の画像予測符号化装置では、テキスチャー合成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。

この場合、複数の既再生画像の中から類似領域を探索することができるので、指定領域との相関がより高い類似領域を抽出することが可能となる。その結果、より雑音の少ない予測信号を生成することができる。

本発明の画像予測復号装置は、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、を備え、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。

また、本発明の画像予測復号方法は、画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、画像予測復号装置が、データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、画像予測復号装置が、対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、画像予測復号装置が、予測信号生成ステップにおいて生成された予測信号と残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元ステップと、を備え、予測信号生成ステップは、データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。

また、本発明の画像予測復号プログラムは、コンピュータを、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、予測信号生成手段により生成された予測信号と残差信号復元手段により復元された再生残差信号とを加算することによって、対象領域の画素信号を復元する画像復元手段と、して機能させ、予測信号生成手段は、データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする。

このような画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、圧縮データから抽出された予測関連情報の符号化データから予測信号が生成されるとともに、その圧縮データから抽出された残差信号の符号化データから再生残差信号が復元され、予測信号と再生残差信号とを加算することにより対象領域の画素信号が復元される。ここで、予測信号は、復元された予測関連情報に基づいて生成される複数のテキスチャー信号を特定のテキスチャー合成方法により加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。

本発明の画像予測復号装置では、指定領域と対象領域が同じ形状であることが好ましい。この場合、指定領域と対象領域とを同様に設定することが可能であるため、より簡易に予測信号を生成することができる。

本発明の画像予測復号装置では、予測信号生成手段は、予測関連情報の符号化データから予測関連情報を復元し、対象領域を複数の小領域に分割し、分割された各小領域ついて、予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって対象領域の予測信号を生成することが好ましい。

この場合、対象領域が分割され、分割された各小領域について予測信号が生成され、小領域毎の予測信号を合成することにより対象領域の予測信号が生成される。そのため、最終的に生成される対象領域の予測信号の性能をより高めることが可能となる。すなわち、より雑音の少ない予測信号を生成することができる。

本発明の画像予測復号装置では、テンプレート信号が複数のテキスチャー信号に含まれることが好ましい。

テンプレート信号は、対象領域の対象画素信号との相関が高い信号を生成する方法が含まれる予測関連情報に基づいて生成される。すなわち、テンプレート信号は、対象領域の画素信号との差分が最も小さい信号である。そのため、そのテンプレート信号を含むテキスチャー信号を利用することで、より雑音の少ない予測信号を生成することができる。

本発明の画像予測復号装置では、予測信号生成手段は、テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって予測信号を生成することが好ましい。この場合、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。

本発明の画像予測復号装置では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含むことが好ましい。この動きベクトルを用いることにより、対象領域の対象画素信号との相関が高い信号をより容易に導出することができるので、予測信号をより簡易に生成することが可能になる。

本発明の画像予測復号装置では、予測信号生成手段は、指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することが好ましい。

この場合、複数の既再生画像の中から類似領域を探索することができるので、指定領域との相関がより高い類似領域を抽出することが可能となる。その結果、より雑音の少ない予測信号を生成することができる。

本発明の画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、１本の動きベクトル等、少ない予測関連情報に基づいて多数のテキスチャー信号を生成することができるので、テキスチャー信号の平滑化処理を伴う予測信号を効率良く生成することができる。

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１及び出力端子１１２を備えている。変換器１０６及び量子化器１０７は、符号化手段として機能する。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。

予測信号生成器１０３は、符号化処理の対象となる対象領域（対象ブロック）に対して予測信号を生成し、その予測信号を減算器１０５に出力し、予測方法に関する情報をエントロピー符号化器１１１に出力する部分である。この予測信号生成器１０３の具体的な処理については後述する。

減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象領域から、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を符号化するとともに予測方法に関する情報を符号化し、符号化された情報をラインＬ１１１を経由して出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報を外部に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象領域に対する画面内予測もしくは画面間予測を行うために、圧縮された対象領域の画素信号は、逆処理にて復元されフレームメモリ１０４に記憶される。

次に、予測信号生成器１０３について説明する。予測信号生成器１０３は、符号化処理の対象となる対象領域（以下、対象ブロックと称する）に対する予測信号を生成する。本実施形態では、２種類の予測方法が用いられる。すなわち、予測信号生成器１０３は、後述する画面間予測方法と画面内予測方法とのうち少なくとも一方を用いて予測信号を生成する。画面間予測方法及び画面内予測方法を選択するための選択情報は、量子化された変換係数及び予測信号の生成に関する予測関連情報とともにエントロピー符号化器１１１にて符号化され、出力端子１１２より送出される。

図２は、図１に示す予測信号生成器１０３のブロック図である。予測信号生成器１０３は、予測関連情報生成器２０１とテキスチャー合成器２０２とを備えている。

予測関連情報生成器２０１は、ラインＬ１０２経由で入力される対象ブロックの信号を受け付けるとともに、フレームメモリ１０４からラインＬ１０４経由で入力される、過去の処理で既に再生された画像信号（再生画像信号）を受け付ける。予測関連情報生成器２０１は、対象ブロックに対して誤差の最も小さい予測信号を再生画像信号から生成し、その生成に必要となる予測関連情報を求める。すなわち、予測関連情報生成器２０１は、対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する。予測関連情報は、ラインＬ２０１を経由してテキスチャー合成器２０２に送られると共に、ラインＬ１１３を経由してエントロピー符号化器１１１にも送られる。

ここで、予測関連情報の生成処理について説明する。画面間予測方法を用いる場合、予測関連情報生成器２０１は、対象ブロックと異なる画面（フレームまたはフィールド）の再生画像信号を参照画像として、ブロックマッチング処理により動きベクトルを検出する。検出した動きベクトルは、予測関連情報として予測関連情報生成器２０１から、エントロピー符号化器（ラインＬ１１３経由）とテキスチャー合成器２０２（ラインＬ２０１経由）とにそれぞれ出力される。

図４を用いて、画面間予測方法を用いた予測関連情報の生成方法をさらに詳しく述べる。図４は、画面間予測方法を用いた予測関連情報の生成方法、つまり動きベクトルの検出方法を説明するための模式図であり、図４（Ａ）は参照画像を示し、図４（Ｂ）は符号化対象の画面を示す。ここでは、符号化対象の画面４０１において、対象ブロック４０２に対する動きベクトルを検出する場合について説明する。

まず、過去の処理で既に再生された画面４０３が参照画像とされ、参照画面上に探索領域４０５が設定される。図４では、対象ブロック４０２と空間的に同一位置の領域４０４の周囲に探索領域４０５が設定されているが、空間的にずれた位置に設定されても構わない。次に、探索領域４０５において、対象ブロック４０２と同じ形状を有する画素群との間で、対応する画素間の絶対値誤差和（ＳＡＤ）が求められ、最も小さいＳＡＤを与える領域４０６が検索される。この際、領域４０６を検索するための評価値はＳＡＤ以外でもよい。そして、領域４０４から領域４０６への変位量が対象ブロックの動きベクトル４０７として検出される。

なお、動きベクトルは、対象ブロックを再分割し、再分割された小領域単位で検出されるようにしてもよい。この場合、選択した分割方法と各小領域の動きベクトルとが予測関連情報に含まれる。また、複数の既再生の画面を参照画像として用いてもよい。複数の参照画像について最適な動きベクトルが検出され、ＳＡＤが最小となる１つが選択される。この場合には、選択された参照画像のフレーム番号（小領域毎でも対象ブロックに１つでもよい）も予測関連情報に含まれる。

一方、画面内予測方法を用いる場合、予測関連情報生成器２０１に対象ブロックと同じ画面内にある再生画像信号が入力され、図１８に示す予測方法により対象ブロックに対して最も小さい予測信号を与える方法が選択される。選択された予測方法は、予測関連情報として予測関連情報生成器２０１から、エントロピー符号化器（ラインＬ１１３経由）とテキスチャー合成器２０２（ラインＬ２０１経由）にそれぞれ出力される。

次に、図３を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について説明する。図３は、図２に示すテキスチャー合成器２０２の構成を示すブロック図である。テキスチャー合成器２０２は、テンプレート信号生成器３０１とテキスチャー生成器３０２と合成器３０３とを備えている。テンプレート信号生成器３０１は、ラインＬ２０１経由で入力される予測関連情報を受け付けるとともに、またラインＬ１０４経由でフレームメモリ１０４から入力される再生画像信号を受け付ける。そして、テンプレート信号生成器３０１は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインＬ３０１経由でテキスチャー生成器３０２に出力する。

テキスチャー合成器２０２では、テキスチャー生成器３０２が、ラインＬ１０４経由でフレームメモリ１０４から入力される、過去の処理で既に再生された画像信号（再生画像信号）を受け付けるとともに、テンプレート信号生成器３０１がラインＬ２０１経由で入力される予測関連情報を受け付ける。テキスチャー生成器３０２は、下記に説明するような方法で、入力された予測関連情報に基づいて予め指定された領域（指定領域）の信号をテンプレート信号として生成し、テンプレートマッチング処理により再生画像信号から複数のテキスチャー信号を生成する。さらに合成器３０３が、生成した複数のテキスチャー信号を合成して対象ブロックに対する予測信号を生成する。そして、合成器３０３は、生成した予測信号をＬ１０３を介して減算器１０５に出力する。

本実施形態では、このテンプレート信号を含む領域の形状は任意である。この形状は上記に示したように方式により指定されることから、本実施形態では、テンプレート信号を含む領域を「指定領域」と呼ぶことにする。また、テンプレートマッチング処理により検索される領域を「類似領域」と呼ぶことにする。さらに、合成器３０３に入力される複数のテキスチャー信号が属する領域、つまり予測対象の領域と同じ形状の領域を「テキスチャー領域」と呼ぶことにする。

指定領域の形状と類似領域の形状とは常に一致している。テキスチャー領域の形状は、予測対象の領域と同じである。類似領域とテキスチャー領域との位置関係は、同一の画面上において、「２領域の相対的な座標位置を示す変位量」により予め規定されている。図１１を用いて簡単に説明する。画面４０３にて、領域７６１が指定領域、領域７５１がテキスチャー領域であるとする。このとき、領域７６１の左上隅の座標と領域７５１の左上隅の座標との間の変位量を予め既定しておく。図１１のように類似領域の形状とテキスチャー領域の形状とが異なる例については、後述する。ここでは、図６に示すように、類似領域の形状とテキスチャー領域の形状とが一致する場合について説明する。類似領域の形状とテキスチャー領域の形状とが一致する場合では、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は０となる。なお、テンプレート信号を含む領域の形状は、ブロックに限定されない。

テキスチャー生成器３０２は、再生画像信号を探索し、テンプレートと同じ形状の領域を有する領域について、テンプレートに対応する画素間の絶対値誤差和（ＳＡＤ）を求める。本実施形態では、対象ブロックの画素信号との相関が高い信号がテンプレート信号として選択されているので、テキスチャー生成器３０２は、対象ブロックの画素信号に近い信号を探索できる。

テンプレート信号生成器３０１におけるテンプレート信号の生成処理を、図４で示した画面間予測方法の場合について説明する。画面内予測方法の場合については、後述する（図１７）。図４では、符号化対象の画面４０１の対象ブロック４０２の予測信号を生成することが示されている。対象ブロック４０２おける予測関連情報は動きベクトル４０７であり、ラインＬ２０１経由でテンプレート信号生成器３０１に入力される。テンプレート信号生成器３０１は、ラインＬ１０４経由で図１のフレームメモリ１０４に保存されている参照画像４０３にアクセスし、動きベクトル４０７に基づいて対象ブロック４０２に対応する領域４０６を取得する。取得した領域４０６（指定領域）の信号は、テンプレート信号として、テンプレート信号生成器３０１から出力される。

動きベクトル４０７により示される指定領域４０６は、対象ブロック４０２の画素信号との差分が最も小さい信号である。従って、この指定領域４０６をテンプレート信号とすれば、テキスチャー生成器３０２は、対象ブロック４０２の画素信号に類似する複数のテキスチャー信号を検索することができる。なお、指定領域４０６のテンプレート信号は、復号した動きベクトルに基づいて取得できるため、同じテキスチャー信号を復号装置にて検索できる。

テキスチャー生成器３０２では、ラインＬ３０１経由でテンプレート信号生成器３０１からテンプレート信号が入力され、またラインＬ１０４経由でフレームメモリ１０４から再生画像信号が入力される。テキスチャー生成器３０２は、入力されたテンプレート信号及び再生画像信号に基づいて、以下に説明する設定でテンプレートマッチングを行い、Ｎ個のテキスチャー信号を生成する。生成したＮ個のテキスチャー信号は、ラインＬ３０２を経由して合成器３０３に出力される。合成器３０３は、これらＮ個のテキスチャー信号を後述する予め定めた方法で合成して予測信号を生成し、ラインＬ１０３を経由して出力する。以降、本実施形態では、Ｎの値を５として説明するが、Ｎの値は１以上の任意の値に設定できる。

ここで図５及び図６を用いて、テキスチャー生成器３０２におけるテキスチャー信号の生成方法を詳しく説明する。図５は、図３に示すテキスチャー生成器３０２のブロック図である。図６は、本実施形態に係るマッチング処理及びテキスチャー生成処理に関する模式図であり、図６（Ａ）は参照画像を示し、図６（Ｂ）は符号化対象の画面を示す。

テキスチャー生成器３０２は、マッチング器５０１と、候補テキスチャー選択器５０２と、テキスチャー取得器５０３とを備えている。まず、マッチング器５０１がラインＬ３０１経由で入力されるテンプレート信号を受け付ける。次に、マッチング器５０１は、ラインＬ１０４経由でフレームメモリ１０４にある再生画像信号にアクセスし、予め定めた手順でマッチング処理を実施し、指定領域と同じ形状を有する画素群を順次取得する。そして、マッチング器５０１は、取得したそれぞれの画素群について、テンプレート信号との間で対応する画素間の絶対値誤差和（ＳＡＤ）をそれぞれ算出する。算出した各ＳＡＤ値は、取得した画素群にアクセスするための座標情報と共に、ラインＬ５０１経由で候補テキスチャー選択器５０２に出力される。

なお、本実施形態では、テンプレート信号との類似性を計る評価値をＳＡＤとしているが、それに限定されるものではなく、誤差二乗和や、座標情報とＳＡＤから算出される値などでもよい。

候補テキスチャー選択器５０２は、入力された複数のＳＡＤ値を予め定めた閾値と比較し、ＳＡＤ値が閾値より小さい画素群とその座標情報を抽出する。そして、候補テキスチャー選択器５０２は、抽出した画素群からＳＡＤ値が小さい領域を順に最大Ｎ個を選択し、対応する座標情報をラインＬ５０２経由でテキスチャー取得器５０３に出力する。ここで、抽出されたＮ個の領域が類似領域である。閾値より小さいＳＡＤ値がＮ個に満たない場合、候補テキスチャー選択器５０２は、その対象ブロックにおけるＮの値を更新する。テキスチャー生成器３０２への入力信号はすべて復号装置にて復元されるデータであるため、復号装置においても同様の方法でＮの値を更新できる。従って、更新したＮの値を符号化する必要はない。なお、座標情報の選択方法は、ＳＡＤ値の小さい順でなくてもかまわない。Ｎ個の座標情報の選択方法については後述する（図１６）。

テキスチャー取得器５０３は、ラインＬ５０２から入力されるＮ個の座標情報を受け付ける。テキスチャー取得器５０３は、ラインＬ１０４経由でフレームメモリ１０４にある再生画像信号にアクセスし、Ｎ個の座標情報に基づいて、対象ブロックと同じ形状の領域、つまりテキスチャー領域の信号（テキスチャー信号）をＮ個取得し、ラインＬ３０２経由で合成器３０３に順次出力する。なお、本実施形態では、テキスチャー領域と類似領域とが一致するため、類似領域とテキスチャー領域との相対的な座標位置を示す変位量は０である。従って、テキスチャー取得器５０３は、テキスチャー信号を指定領域の座標情報から直接取得できる。

図６に示す例では、符号化対象の画面４０１の対象ブロック４０２について、複数のテキスチャー信号が生成されている。図６において、マッチング処理に用いるテンプレート信号は、対象ブロックと同じ形状の領域４０６（指定領域）の信号であり、動きベクトル４０７に従ってテンプレート信号生成器３０１により決定されている。

マッチング器５０１のマッチング処理では、まず、予め決められた方法で対象ブロック４０２に対する探索領域が設定される。本実施形態では、既に再生済みの画面４０３全体が探索領域とされる。なお、画面全体を探索領域とせず、画面の一部を探索領域としてもよい。

マッチング器５０１は、探索領域４０３全体を探索し、指定領域４０６と同じ形状を有する複数の画素群（領域６０１、６０２…）との間で、対応する画素間の絶対値誤差値の和（ＳＡＤ）を求める。なお、探索方法は、間引き探索等でもよい。

次に、候補テキスチャー選択器５０２は、閾値よりもＳＡＤ値が小さい５個の領域（領域６０１、６０２、６０３、６０４及び４０６）を類似領域の候補として検出する。ここで用いる閾値は、予め定めた値でもよいし、テキスチャー合成器２０２にて最適なテキスチャー信号が得られる値を決定し、エントロピー符号化器１１１にて符号化したものでもよい（図示しない）。本実施形態における画面間予測方法では、テンプレートマッチングの探索領域が指定領域４０６を含んでいるため、必然的にテンプレート信号がテキスチャー信号の候補に含まれる。このテンプレート信号は、対象ブロックの画素信号との差分が最も小さい信号であり、雑音が少なく且つ対象ブロックとの差分が小さい予測信号を生成するために必要となる。

候補テキスチャー選択器５０２は、検出された類似領域の６０１〜６０４及び４０６のそれぞれについて左上隅の座標を検出し、これらの座標をラインＬ５０１経由でテキスチャー取得器５０３に出力する。ここで出力される座標情報は、フレームメモリにアクセスするための情報であり、各類似領域の左上隅である必要はなく、右下隅などでもよい。すなわち、出力される座標情報は、位置を特定する情報であればよい。

このようにして、決定された座標情報がテキスチャー取得器５０３に入力されると、テキスチャー取得器５０３は、類似領域とテキスチャー領域との相対的な座標位置を示す変位量に従って、Ｎ個の類似領域の座標情報をそれぞれテキスチャー領域の座標情報に変換する。この変換処理は、候補テキスチャー選択器５０２にて行なってもよい。続いて、テキスチャー取得器５０３は、変換した座標情報に従って、ラインＬ１０４経由でフレームメモリ１０４の参照画像４０３にアクセスし、Ｎ個のテキスチャー信号の候補を取得する。取得したＮ個のテキスチャー信号は、ラインＬ３０２経由で合成器３０３に出力される。なお、図６に示す例では類似領域とテキスチャー領域とが一致するため、テキスチャー生成器３０２は、その例を実行する際に座標情報の変換処理を省略することができる。

図６に示す場合の探索領域については、例えば、図４の探索領域４０５に示すような部分領域が領域４０６を囲むように設定されてもよい。探索領域が領域４０６を含まない場合には、テンプレート信号がテキスチャー信号に含まれるように探索対象が設定されてもよい。また、探索領域は１つの画面の領域に限定されることはなく、複数の画面の部分領域が探索領域として設定されてもよい。この際、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。但し、テキスチャー生成器３０２にて探索領域を複数の候補から選ぶような場合には、探索対象の画面や探索領域に関する情報を符号化する必要がある。符号化を行なう場合には、テキスチャー合成器２０２からラインＬ１１３を経由してエントロピー符号化器１１１に選択した画面情報や探索領域の情報を出力する（図示しない）。これら関連情報の符号化は、予測関連情報と同じく対象ブロック毎に行なってもよいが、ブロック毎の変更効果が小さい場合には、フレーム単位やシーケンス単位で行なってもよい。

合成器３０３は、テキスチャー生成器３０２からのＮ個のテキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器３０３は、重み付け器３０４及び加算器３０５を備えている。重み付け器３０４における重み値は、１／Ｎなどと定められる。重み付け器３０４は、入力されたテキスチャー信号にそれぞれ１／Ｎの重みをかけ、ラインＬ３０４を経由して加算器３０５に出力する。加算器３０５は、重み付け処理されたＮ個のテキスチャー信号を加算し、加算したテキスチャー信号を予測信号としてラインＬ１０３を経由して出力する。

なお、合成器３０３における重み値は予め定めておいてもよいが、合成器３０３にて最適な予測信号となるように各テキスチャー信号への重み値を求めてもよい。予め定めておく場合には、重み値は任意の値でよい。例えば、合成器３０３がテンプレート信号に対して１／２、その他のテキスチャー信号に対して１／（２×（Ｎ−１））のように定めてもよい。また、合成器３０３が領域内の位置に応じて重み値を変化させてもよい。合成器３０３にて重み値を決める場合には、ラインＬ１０２経由で対象ブロックの信号を合成器３０３に入力し、予測信号が最小となる重み値を求めて、その値をラインＬ１１３経由で図１のエントロピー符号化器１１１に出力する（図示しない）。エントロピー符号化器１１１は、重み値を符号化した上で出力端子１１２から送出する。この際、重み値の変更は、ブロック単位で行ってもよいし、フレーム単位やシーケンス単位で行ってもよい。

なお、合成器３０３は図３の構成に限定されない。テキスチャー信号に対する重み値を整数とし、重み付け処理されたＮ個のテキスチャー信号を加算した後、加算した信号をN個の重み値の和で除算するように構成しても良い。この際、除算の丸め込み方法を予め定めておけば、演算器に関わらず同じ結果が得られる。例えば、テンプレート信号に対する重み値をＮ＋１、その他のＮ個のテキスチャー信号に対する重み値を１のように定めた場合、加算した信号にさらにＮを２×Ｎで除算する。

このように、本実施形態の予測処理では、動きベクトルなどの予測関連情報に基づいて複数のテキスチャー信号が生成される。これらのテキスチャー信号は、画面の異なる領域から取得されるため、含まれる雑音成分（主に高周波成分）の相関が互いに低くなっている。本実施形態によれば、雑音成分の異なる複数のテキスチャー信号を平均化するので、平滑化効果により、統計的に雑音の少ない予測信号が生成できる。

ここまでの説明では、テキスチャー領域の形状を対象領域（対象ブロック）と同じ形状としていた。しかしながら、符号化対象ブロックとテキスチャー領域（指定領域）との位置関係を明確にしておけば、対象領域とテキスチャー領域とが異なる形状であっても本発明を実施可能である。以下に、いくつかの別例を示す。図６を用いた説明と同様に、画面４０１の対象ブロック４０２についてテキスチャー信号の生成手順について説明する。

図７〜図１０は、テキスチャー領域の形状が対象領域の形状と異なる場合のマッチング処理及びテキスチャー生成処理に関する模式図である。なお、この実施例では、指定領域及び類似領域がテキスチャー領域と同じ形状であるものとして説明する。

図７では、小領域４１１が対象ブロック４０２の左上１／４の部分を示し、左上領域４１２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき領域４０６から面積で左上１／４の部分の領域４１２を切り出し、領域４１２の信号をテンプレート信号として出力する。このとき、領域４０６の左上隅から指定領域４１２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４１２と同じ形状の画素群をテンプレートマッチングにより複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７１１、７１２、７１３、７１４及び４１２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４１１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置及び形状は、記録している変位量と類似領域の形状とから分かる。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化してもよい。

対象ブロックの他の領域の予測信号の生成処理を、図８〜図１０を用いて説明する。図８〜図１０の場合においても、図７と同様に、図３のテンプレート信号生成器３０１が予測関連情報に基づいて図７の領域４０６から面積で１／４の部分の領域を切り出すが、その切り出し位置が異なる。

図８では、小領域４２１が対象ブロック４０２の右上１／４の部分を示し、領域４２２が指定領域を示している。図３のテンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で右上１／４の部分の領域４２２を切り出し、領域４２２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４２２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４２２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７２１、７２２、７２３、７２４及び４２２をテキスチャー信号の候補として検出する（本実施形態ではＮの値は５）。

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４２１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。

図９では、小領域４３１が対象ブロック４０２の左下１／４の部分を示し、領域４３２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で左下１／４の部分の領域４３２を切り出し、領域４３２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４３２（テキスチャー領域）の左上隅への変位量は指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４３２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７３１、７３２、７３３、７３４及び４３２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。

これらＮ個のテキスチャー領域におけるテキスチャー信号を、図３の合成器３０３にて重み付け平均化することにより、小領域４３１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は、記録されている変位量と類似領域の形状から分かる。

図１０では、小領域４４１が対象ブロック４０２の右下１／４の部分を示し、領域４４２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に基づき図６の領域４０６から面積で右下１／４の部分の領域４４２を切り出し、領域４４２をテンプレート信号として出力する。この際、領域４０６の左上隅から指定領域４４２（テキスチャー領域）の左上隅への変位量は、指定領域及びテキスチャー領域の形状に関する情報と共にテキスチャー合成器２０２に記録されている。テキスチャー生成器３０２は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４４２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ個の領域７４１、７４２、７４３、７４４及び４４２を類似領域（テキスチャー領域）の候補として検出する（本実施形態ではＮの値は５）。

これらＮ個のテキスチャー領域におけるテキスチャー信号を、合成器３０３にて重み付け平均化することにより、小領域４４１の予測信号が生成される。この際、対象ブロックにおける予測領域の位置と形状は記録されている変位量と類似領域の形状から分かる。

このように、テキスチャー領域の形状と対象ブロックの形状が異なっていても、テキスチャー取得器５０３に入力される座標情報と対象ブロックとの位置関係を予め定めておけば、座標情報に基づいて、対象ブロックと同じ形状の領域の信号が取得できる。

図７〜図１０に示す処理は、図６における対象ブロックを４分割し、４分割したテンプレート信号に基づいて、分割領域毎に予測信号を生成するものである。このように、本発明では、予測関連情報に基づいて生成される信号を分割して、テンプレート信号を生成することができる。そのため、予測関連情報を増やすことなく、対象ブロックより小さい領域単位で高い性能の予測信号を生成することができる。なお、対象ブロックの分割数や分割後の形状は上記変形例に限定されず、任意に設定することができる。

図６〜図１０に示す処理では、テキスチャー領域の形状と類似領域の形状とが一致していた。しかし、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、予測対象の領域であるテキスチャー領域と類似領域は、異なる形状であってもよい。テキスチャー領域と類似領域の形状が異なる例を図１１及び図１２に示す。

図１１は、テキスチャー領域の形状が類似領域の形状と異なる例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図１１（Ａ）は参照画像を示し、図１１（Ｂ）は符号化対象の画面を示す。図１１では、領域４６２が指定領域を示し、領域４６１が指定領域に対応するテキスチャー領域を示している。

図１１に示す変形例では、テキスチャー領域４６１の形状と対象領域４０２の形状とが同じである。テンプレート信号生成器３０１は、予測関連情報に基づき図６に示す領域４０６から予め指定された領域４６２を切り出し、指定領域４６２に属するテンプレート信号をラインＬ３０１経由でテキスチャー生成器３０２に出力する。この際、テキスチャー領域４６１の左上隅から指定領域４６２の左上隅への変位量、指定領域（類似領域）の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器２０２に記録されている。

マッチング器５０１は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４６２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、候補テキスチャー選択器５０２は、ＳＡＤ値が小さいＮ個の領域７６１、７６２、７６３、７６４及び４６２を類似領域として検出し、その座標情報をテキスチャー取得器５０３に出力する（本実施形態ではＮの値は５）。テキスチャー取得器５０３は、入力された座標情報と記録している上記の変位量に基づいて、参照画像４０３からＮ個のテキスチャー領域７５１、７５２、７５３、７５４及び４６１の信号を取得する。これらＮ個のテキスチャー信号を、合成器３０３にて重み付け平均化することにより、対象ブロック４０２の予測信号が生成される。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。

このように、テキスチャー領域と類似領域の形状が異なっていても、類似領域とテキスチャー領域との相対的な座標位置を示す変位量を明確にしておけば、テキスチャー取得器５０３に入力される座標情報に基づいてテキスチャー領域（対象領域）の領域の信号が取得できる。つまり、予測関連情報に基づいて生成される領域（領域４０６）の信号から、部分信号（領域４６２の信号）を切り出してテンプレート信号に設定できる。この方法によれば、予測関連情報により得られる領域（領域４０６）の信号にマッチング処理に適さない強い特徴を持った信号が含まれている場合に、その信号の領域をテンプレート信号から除外できるという利点がある。

図１１を用いた説明と関連して、さらに、本発明では、テキスチャー領域において、類似領域に属さない画素と属する画素で重み付け処理の重み係数を切り替えることが可能である。例えば、テキスチャー領域（領域４６１）に対応する指定領域（領域４６２）の信号を分析し、平滑化処理を必要としない領域が認められる領域については、指定領域のテンプレート信号への重み値を１に、他のテキスチャー信号への重み値を０に設定することも可能である。

図１２は、テキスチャー領域の形状が類似領域の形状と異なる別の例について、マッチング処理とテキスチャー生成処理を説明するための模式図であり、図１２（Ａ）は参照画像を示し、図１２（Ｂ）は符号化対象の画面を示す。図１２では、領域４７２が指定領域、領域４７１が指定領域に対応するテキスチャー領域を示している。このように、本発明では、指定領域を予測関連情報により生成される領域４７１の外部に設定することも可能である。また、指定領域は、必ずしも領域４７１に触れていることを要しない。この変形例では、テキスチャー領域４７１の形状と対象領域４０２の形状とは同じである。

テンプレート信号生成器３０１は、予測関連情報に基づき画面４０３から領域４７２を切り出し、指定領域４７２をテンプレート信号としてラインＬ３０１経由でテキスチャー生成器３０２に出力する。この際、テキスチャー領域４７１の左上隅から指定領域４７２の左上隅への変位量、指定領域（類似領域）の形状及びテキスチャー領域の形状に関する情報は、テキスチャー合成器２０２に記録されている。

マッチング器５０１は、ラインＬ１０４経由で参照画像４０３にアクセスし、指定領域４７２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、候補テキスチャー選択器５０２は、ＳＡＤ値が小さいＮ個の領域７８１、７８２、７８３、７８４及び４７２を類似領域として検出し、その座標情報をテキスチャー取得器５０３に出力する（本実施形態ではＮの値は５）。テキスチャー取得器５０３は、入力された座標情報と記録している変位量に基づいて、参照画像４０３からＮ個のテキスチャー領域７７１、７７２、７７３、７７４及び４７１の信号を取得する。これらＮ個のテキスチャー信号を、合成器３０３にて重み付け平均化することにより、対象ブロック４０２の予測信号が生成される。なお、ここでは、探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。

このように、本発明では、予測関連情報に基づいて生成される領域に対して、その隣接領域の信号をテンプレート信号に設定することも可能である。例えば、図１２に示す方法は、隣接ブロックと対象ブロックとの信号の連続性を保ちたい場合に有効である。この場合には、図１３に示すように予測関連情報となる動きベクトル４０８を、対象ブロック４０２の隣接領域１３０１の画素信号を用いたマッチング処理により検出してもよい。この場合、再生済みの画面４０３に設定した探索領域１３０４において、領域１３０１と同じ形状の画素群から、対応する画素間のＳＡＤが最小となる領域１３０５が検出される。そして、対象ブロック４０２と同じ空間位置のブロック１３０３から領域１３０５への変位量が動きベクトル４０８として検出される。なお、領域１３０５とこの領域に対応するテキスチャー領域との位置関係は限定されない。

本発明では、図７〜図１０に示す処理と、図１１または図１２に示す処理とを組み合わせることも可能である。また、本実施形態では、類似領域とテキスチャー領域との間の変位量及びテキスチャー領域と対象領域との間の変位量を、それぞれの領域の左上隅を基準として求めているが、左上隅とは異なる予め定めた基準であってもよい。さらに、指定領域と類似領域及びテキスチャー領域の形状は、上記の例に限定されず、任意に設定することができる。例えば、指定領域の形状がテキスチャー領域の形状よりも大きくてもよい。

図７〜図１２の探索領域についても、図６と同じように複数の画面（複数の参照画像）の部分領域を探索領域として設定できる。この場合でも、探索対象とする画面を選択するためのルールが予め定められていれば、その画面の情報を符号化する必要はない。

探索領域については、Ｍ個（ＭはＮと同じか小さい値）の探索領域を設定し、それぞれ探索する候補テキスチャーの数を予め決めておいてもよい。例えば、Ｍ＝Ｎとし、Ｍ個の探索領域を異なる画面に設定すれば、複数の参照画像からそれぞれ候補テキスチャー信号を探索できる。この際、ＳＡＤの閾値などの条件を満たす候補テキスチャー信号が所定の参照画像から探索できない場合には、Ｎの数を削減しても良いし、代わりの候補テキスチャー信号を探索する参照画像について、優先順位を定めておいてもよい。また、複数の参照画像に含まれる探索領域の集まりを１つの探索領域として設定しても良い。例えば、P枚の参照画像にそれぞれ探索領域を設け、Ｐ個の探索領域から、指定領域の画素群と対応する画素群との間の絶対値誤差値の和（ＳＡＤ）が小さいＱ個（Ｎより小さい正の整数）の類似領域を探索するという設定がＭ個の探索領域に含まれても良い。なお、複数の参照画像に探索領域を設定する場合には、候補テキスチャー選択部５０２からテキスチャー取得部５０３に出力される座標情報に、参照画像が属するフレームを識別する情報（参照画像フレーム番号）が含まれる。

次に、画面内予測方法の場合について述べる。図６を用いた説明と同様に、画面４０１の対象ブロック４０２についてテキスチャー信号の生成手順を説明する。なお、本実施形態では、図１４に示すように４ｘ４ブロック単位で画面内予測処理を行なうため、ここでは、対象ブロック内の４ｘ４画素の領域１４０２に注目する。

図１４は、画面内予測方法の場合について、マッチング処理と候補テキスチャー生成処理を説明するための模式図である。領域１４０２が指定領域を示している。テンプレート信号生成器３０１は、予測関連情報に与えられる予測方法に従い、対象ブロック４０２の隣接領域１４０１の再生済み信号から領域１４０２の信号を生成する。領域１４０２の信号は、テンプレート信号として出力される。この際、領域４０２の左上隅から指定領域１４０２（テキスチャー領域）の左上隅への変位量と、指定領域（類似領域）及びテキスチャー領域の形状がテキスチャー合成器２０２に記録されている。

テキスチャー生成器３０２は、対象ブロック４０２と同じ画面４０１の再生済み信号を探索領域とする。なお、本実施形態では、探索領域を画面４０１内の全ての再生済み領域としているが、その一部を探索領域として設定してもよい。テキスチャー生成器３０２は、ラインＬ１０４経由でアクセスし、指定領域１４０２と同じ形状の画素群をテンプレートマッチングにて複数個取得し、テンプレート信号との間で対応する画素間のＳＡＤ値を算出する。そして、テキスチャー生成器３０２は、ＳＡＤ値が小さいＮ−１個の領域１４０３、１４０４、１４０５及び１４０６をテキスチャー信号の候補として検出する（本実施形態ではＮの値は５）。これらＮ―１個のテキスチャー信号にテンプレート信号１４０２を加えたＮ個の信号を合成器３０３にて重み付け平均化することにより、対象ブロック４０２の左上１／４の領域１４０２の予測信号が生成される。この際、対象領域におけるテキスチャー領域の形状は、記録しているテキスチャー領域の形状から分かる。

なお、画面内予測方法により生成したテンプレート信号を画面間予測方法に適用することも可能である。この場合、図１４に示す例において、既再生の他の画面を探索領域に含める。探索領域、Ｎ値及び閾値などの設定方法については説明を省略するが、図６の場合と同じく、符号化するようにしてもよい。

本実施形態では、テキスチャー合成器２０２のテンプレート信号生成器３０１及びテキスチャー生成器３０２の設定を変更することにより、図６〜図１２及び図１４に示したような複数のテキスチャー合成方法に対応しているが、画像予測符号化装置１００を他の方法に対応させてもよい。例えば、テンプレート信号生成器３０１及びテキスチャー生成器３０２の設定が異なるテキスチャー合成器２０２を複数用意し、適応的に切り替えて使う方法でもよい。複数のテキスチャー合成方法から１つの方法を選択する手段（例えば、対象ブロックとの誤差が最も小さい方法を選択する手段）を用意し（図示せず）、選択したテキスチャー合成方法をエントロピー符号化器１１１にて符号化するように画像予測符号化装置１００を構成することにより、テキスチャー合成方法の適応化が可能となる。

図１５は、図２に示すテキスチャー合成器２０２における対象ブロックのテキスチャー生成方法の手順を示すフローチャートである。まず、テンプレート信号生成器３０１では、予測関連情報に基づいて指定領域のテンプレート信号が取得される（ステップＳ３０２）。

次に、テキスチャー生成器３０２のマッチング器５０１により、指定領域及び探索領域にある同じ形状の画素群との絶対値和（ＳＡＤ値）が求められる（ステップＳ３０３）。そして、テキスチャー生成器３０２の候補テキスチャー選択器５０２により、ＳＡＤ値と所定の閾値が比較され（ステップＳ３０４）、ＳＡＤ値が閾値より小さいと判断された場合、ステップＳ３０５に進み、そうでないと判断された場合、ステップＳ３０６に進む。

テキスチャー生成器３０２の候補テキスチャー選択器５０２では、求めたＳＡＤ値と、以前のＳＡＤ値とが比較される。そして、求めたＳＡＤ値が小さい順でＮ番までに含まれる場合に、探索した類似領域が類似領域の候補に追加され、類似領域の候補が更新される（ステップＳ３０５）。

その後、テキスチャー生成器３０２のマッチング器５０１により、探索領域が全て探索済みであるか否か確認される（ステップＳ３０６）。全て探索済みではないと判断された場合は、ステップＳ３０３に戻り、テキスチャー生成器３０２のマッチング器５０１により指定領域と探索領域にある同じ形状の別の画素群との絶対値和ＳＡＤが求められる。

全部探索済みとなった時点で、テキスチャー生成器３０２のテキスチャー取得器５０３にて複数のテキスチャー信号の候補が取得され、合成器３０３にて重み付け平均化されることによりテキスチャー信号が生成される（ステップＳ３０８）。これで、ひとつの対象ブロックに対する処理が終了する（ステップＳ３０９）。

ステップＳ３０５では、ＳＡＤ値の小さいＮ個をテキスチャー信号の候補として選択しているが、別の方法でもよい。候補テキスチャー信号の平均化により、統計的に雑音の少ないテキスチャー信号を得るためには、複数のテキスチャー信号の候補は互いに相関が低いほうがよい。つまり、候補信号が多様性を持った方が好ましい場合がある。候補のテキスチャー信号に多様性を持たせる簡単な方法の一つとして、所定の閾値よりＳＡＤ値が小さい類似領域の中から、指定領域との空間的位置が遠い順にＮ個のテキスチャー信号を選択するという方法がある。また、図１６のように、候補となる類似領域間の空間的な距離が互いに大きくなるようにＮ個の領域を選択する方法もある。

図１６は、図１５に示すステップＳ３０５にて、Ｎ個の類似領域を選択する一方法の手順を示すフローチャートである。図１６で、Ａ［ｐ］［ｉ］は、所定の閾値よりＳＡＤ値が小さい画素領域のうち、ｐ番目に検索された画素領域について、参照画像上の座標情報を示している。値ｉには、水平座標を示す０または垂直座標を示す１が設定される。Ｃ［ｋ］［ｉ］は、ステップＳ３０５にてｋ番目に選択される類似領域の座標を示している。以下、水平座標と垂直座標の区別を必要としない場合には、Ａ［ｐ］及びＣ［ｐ］と記載する。

まず、Ｃ［１］にテンプレート生成器にて得られる指定領域の座標が保存され（ステップＳ５０２）、これまでに選択した類似領域の数Ｋが１に設定される。

次に、ＳＡＤ値が所定の閾値より小さい画素領域について、参照画像上での座標Ａ［ｐ］とＣ［１］とが比較され、その距離差（ベクトルの大きさ）が最も大きいＡ［ｍ］が選択される（ステップＳ５０３）。そして、Ｋの値がＫ＋１（＝２）に更新され、Ｃ［Ｋ］＝Ａ［ｍ］と設定される（ステップＳ５０４）。このときＡ［ｍ］は類似領域に確定したので、ｍ番目に検索されたテキスチャーは、選択対象から削除される。

その後、ＫとＮとが比較され（ステップＳ５０５）、ＫがＮより小さいと判断されればステップＳ５０３に戻り、Ｋ＝Ｎと判断されれば処理を終了する。

続いて、ステップＳ５０３では、Ｃ［１］〜Ｃ［Ｋ］のそれぞれと残されたＡ［ｐ］とが比較され、距離差の和が最も大きいＡ［ｍ］が選択される。この方法によれば、選択された候補類似領域間の距離が保つことが可能となる。

図１７は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、予測関連情報生成器２０１にて、対象ブロックの画素信号を用いて予測処理が実施され、予測関連情報が生成される（ステップＳ１０２）。次に、テキスチャー合成器２０２が予測関連情報に基づいて複数のテキスチャー信号の候補を生成し、テキスチャー合成処理により対象ブロックの予測信号を生成する（ステップＳ１０３）。この際、テキスチャー合成器２０２は、複数のテキスチャー生成方法にて予測信号を生成し、対象ブロックの信号と対応する画素間の誤差二乗和が最も小さい予測信号を選択してもよい。

このように決定された予測信号と対象ブロックの信号との差分を示す残差信号が、変換器１０６、量子化器１０７及びエントロピー符号化器１１１により符号化される（ステップＳ１０４）。そして、符号化された残差信号、予測関連情報及びテキスチャー生成方法の選択情報（必要の場合）が出力端子１１２を介して出力される（ステップＳ１０５）。ここで、予測関連情報には、画面間予測方法における動きベクトル及び参照画像フレーム番号、画面内予測方法における予測方法及び画面内予測方法及び画面間予測方法の選択に関する選択情報に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）ならびに重み値（テキスチャー合成時の重み係数）などの各種設定情報が含まれる場合がある。

これら処理の後に又はこれらの処理と並行して、後続の対象ブロックを予測符号化するために符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画像として記憶される（ステップＳ１０６）。そして、すべての対象ブロックの処理が完了していない場合にはステップＳ１０２に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０８）。

次に、本実施形態に係る画像予測復号方法について説明する。図１９は、本実施形態に係る画像予測復号装置１９００を示すブロック図である。この画像予測復号装置１９００は、入力端子１９０１、データ解析器１９０２、逆量子化器１９０３、逆変換器１９０４、加算器１９０５、出力端子１９０６、フレームメモリ１９０７及びテキスチャー合成器１９０８を備えている。逆量子化器１９０３及び逆変換器１９０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器１９０４はなくてもよい。

入力端子１９０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測関連情報が含まれている。ここで予測関連情報には、画面内予測方法における予測方法、画面内予測方法及び画面間予測方法の選択に関する選択情報、画面間予測方法における動きベクトル及び参照画像フレーム番号に加えて、テキスチャー信号の候補の生成及び選択に用いる探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）ならびに重み値（テキスチャー合成時の重み係数）などの各種設定情報が含まれる場合がある。なお、各種設定情報は、方式として予め定められている場合には必要ない。

データ解析器１９０２は、入力端子１９０１に入力された圧縮データを解析することにより、対象ブロックの残差信号、予測関連情報、各種設定情報（必要の場合）を抽出する。

逆量子化器１９０３は、対象ブロックの残差信号をラインＬ１９０２ａ経由で入力し、逆量子化する。逆変換器１９０４は、逆量子化したデータを逆離散コサイン変換する。

テキスチャー合成器１９０８は、データ解析器１９０２からラインＬ１９０２ｂ経由で予測補助信号情報を入力する。このテキスチャー合成器１９０８は、（後述するような方法で）予測関連情報に基づいて、フレームメモリ９０７から参照画像を取得し、予測信号を生成する。テキスチャー合成器１９０８は、生成した予測信号をラインＬ１９０８経由で加算器１９０５に出力する。

加算器１９０５は、テキスチャー合成器１９０８で生成された予測信号を、逆量子化器１９０３および逆変換器１９０４により復元された残差信号に加算して、対象ブロックの再生画像信号をラインＬ１９０５経由で出力端子１９０６およびフレームメモリ１９０７に出力する。出力端子１９０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ１９０７は、つぎの復号処理のための参照用の再生画像として、加算器１９０５から出力された再生画像を参照画像として記憶する。

次に、テキスチャー合成器１９０８について説明する。テキスチャー合成器１９０８の詳細は図２０に示されており、基本的に図３に示した構成と同じ構成またはそれに相当する機能をもつ。

図２０を用いて、本実施形態に係るテキスチャー信号の生成・合成処理について、詳しく説明する。図２０は、図１９に示すテキスチャー合成器１９０８のブロック図である。テキスチャー合成器１９０８は、テンプレート信号生成器２００１とテキスチャー生成器２００２と合成器２００３とを備えている。テンプレート信号生成器２００１は、ラインＬ２００１経由で入力される予測関連情報を受け付けるとともに、ラインＬ１９０７経由で入力されるフレームメモリ１９０７からの再生画像信号を受け付ける。テンプレート信号生成器２００１は、予測関連情報に基づいて再生画像信号からテンプレート信号を生成し、ラインＬ２００１経由でテキスチャー生成器２００２に出力する。テンプレート信号は、画面内予測方法と画面間予測方法についての選択情報及び予測関連情報に従って画面内予測方法あるいは画面間予測方法により生成される。

テキスチャー生成器２００２は、ラインＬ２００１経由でテンプレート信号生成器２００１から入力されるテンプレート信号を受け付けるとともに、ラインＬ１９０７経由でフレームメモリ１９０７から入力される再生画像信号を受け付ける。テキスチャー生成器２００２は、テンプレート信号及び再生画像信号から、符号化装置のテキスチャー生成器３０２と同様の方法でＮ個のテキスチャー信号を生成する。生成したＮ個のテキスチャー信号は、ラインＬ２００２を経由して合成器２００３に出力される。合成器２００３は、ラインＬ２００２から入力されるＮ個のテキスチャー信号を受け付ける。合成器２００３は、これらＮ個のテキスチャー信号を符号化装置の合成器３０３と同じ方法で合成して予測信号を生成し、その予測信号をラインＬ１９０８を経由して出力する。

合成器２００３は、Ｎ個の候補テキスチャー信号の入力を受け、重み付け平均化処理により対象ブロックの予測信号を生成する。合成器２００３は、重み付け器２００４と加算器２００５とを備えている。重み付け器２００４における重み値は、予め定められている場合もあれば、圧縮データに含まれている場合もある。重み付け器２００４は、入力されたＮ個のテキスチャー信号に対して、決められた重み値をかけ、ラインＬ２００４を経由して加算器２００５に出力する。加算器２００５は、重み付け処理されたＮ個のテキスチャー信号を加算し、加算されたテキスチャー信号を予測信号としてラインＬ１９０８を経由して出力する。

テキスチャー合成器１９０８は、探索領域（候補テキスチャー信号の探索）、Ｎの値（候補テキスチャー信号の数）、閾値（候補テキスチャー信号とテンプレート信号との類似性を計る評価値）及び重み値（テキスチャー合成時の重み係数）などの各種設定情報に従ってテキスチャー合成処理を実行する。生成される複数の候補のテキスチャー信号は、画像予測符号化装置で生成される信号と一致させる必要があり、テキスチャー合成により生成れる予測信号も画像予測符号化装置で生成される信号と一致させなければならない。そのために、テキスチャー合成器１９０８で用いられる各種設定情報は、画像予測符号化装置のテキスチャー合成器２０２にて用いる情報と完全に一致させておく必要がある。ゆえに、予め定めていない情報については、画像予測符号化装置１００から伝送され、画像予測復号装置１９００にて復元される。

なお、画像予測符号化装置１００内の合成器３０３と同じく画像予測復号装置１９００内の合成器２００３も図２０の構成に限定されない。例えば、重み付けキスチャー信号に対する重み値を整数とし、重み付け処理されたＮ個のテキスチャー信号を加算した後、加算した信号をＮ個の重み値の和で除算するように構成しても良い。

次に、図２１を用いて、図１９に示す画像予測復号装置１９００における画像予測復号方法を説明する。まず、入力端子１９０１を介して、圧縮された圧縮データが入力される（ステップＳ１９０２）。そして、データ解析器１９０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、予測関連情報が抽出される（ステップＳ１９０３）。ここで抽出された予測関連情報に基づいて、テキスチャー合成器１９０８にて複数のテキスチャー信号が生成され、生成された複数のテキスチャー信号を合成することによって予測信号が生成される（ステップＳ１９０４）。

一方、量子化された変換係数は、逆量子化器１９０３において量子化パラメータを用いて逆量子化され、逆変換器１９０４において逆変換が行われ、再生差分信号が生成される（ステップＳ１９０５）。そして、生成された予測信号と再生差分信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１９０７に格納される（ステップＳ１９０６）。次の圧縮データがある場合には、再度このプロセスを繰り返し（ステップＳ１９０７）、全てデータが最後まで処理される（ステップＳ１９０８）。なお、必要に応じてステップＳ１９０２に戻り、圧縮データを取り込むようにしてもよい。

本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図２２は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０及びエントロピー符号化モジュールＰ１１１を備えている。なお、予測信号生成モジュールＰ１０３は、図２３に示すように、予測関連情報生成モジュールＰ２０１及びテキスチャー合成モジュールＰ２０２を備えている。さらに、テキスチャー信号モジュールＰ２０２は、図２４に示すように、テンプレート信号生成モジュールＰ３０１、テキスチャー生成モジュールＰ３０２及び合成モジュールＰ３０３を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、予測関連情報生成器２０１、テキスチャー合成器２０２、テンプレート信号生成器３０１、テキスチャー生成器３０２及び合成器３０３の機能と同様である。

また、図２５は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ１９００は、データ解析モジュールＰ１９０２、逆量子化モジュールＰ１９０３、逆変換モジュールＰ１９０４、加算モジュールＰ１９０５、記憶モジュールＰ１９０７及びテキスチャー合成モジュールＰ１９０８を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置１９００の各構成要素と同じである。すなわち、画像予測復号プログラムＰ１９００の各モジュールの機能は、データ解析器１９０２、逆量子化器１９０３、逆変換器１９０４、加算器１９０５、フレームメモリ１９０７及びテキスチャー合成器１９０８の機能と同様である。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ１９００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図２６は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図２７は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図２６に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る画像符号化装置または画像復号装置として動作することが可能になる。

図２７に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

以上説明したように、本実施形態に係る画像予測符号化装置によれば、まず、入力端子１０１に入力された動画像がブロック分割器１０２により複数の領域に分割され、分割された複数の領域のうちの処理対象である対象ブロックの対象画素信号に対する予測信号が予測信号生成器１０３により生成される。そして、その予測信号と対象画素信号との残差信号が減算器１０５により生成され、その残差信号がエントロピー符号化器１１１により符号化される。ここで、予測信号は、予測関連情報に基づいて生成される複数のテキスチャー信号を合成器３０３で加算することで生成される。なお、生成された予測関連情報も残差信号と同様にエントロピー符号化器１１１により符号化される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。

また、本実施形態に係る画像予測符号化装置１００は、指定領域の形状と対象領域の形状とを（例えば領域４０６の形状と領域４０２の形状とを）同じに設定することが可能であるため、より簡易に予測信号を生成することができる。

また、本実施形態に係る画像予測符号化装置１００は、対象領域４０２を分割し、分割された各小領域（小領域４１１、４２１、４３１及び４４１）について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域４０２の予測信号を生成することが可能である。そのため、最終的に生成される対象領域４０２の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。

また、本実施形態に係る画像予測符号化装置１００では、候補テキスチャー選択器５０２が、対象領域の画素信号との差分が最も小さいテンプレート信号をテキスチャー信号の一つとして選択する。すなわち、テンプレート信号がテキスチャー信号に含まれる。したがって、より雑音の少ない予測信号を生成することができる。

また、本実施形態に係る画像予測符号化装置１００では、合成器３０３がテキスチャー信号に対して重み付け平均化処理を施すので、複数のテキスチャー信号が平均化される。そのため、統計的に誤差が少ない予測信号を生成することができる。

また、本実施形態に係る画像予測符号化装置１００では、予測関連情報が対象領域の空間的な変位量を示す動きベクトルを含む。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。

本実施形態に係る画像予測復号装置１９００では、データ解析器１９０２が圧縮データから予測関連情報と残差信号とを抽出する。その後、テキスチャー合成器１９０８が予測関連情報に基づいて予測信号を生成し、逆量子化器１９０３及び逆変換器１９０４が残差信号を復元する。そして、加算器１９０５が予測信号と残差信号とを加算して対象領域の再生画素信号を復元する。ここで、予測信号は、テキスチャー生成器２００２が復元された予測関連情報に基づいて生成する複数のテキスチャー信号を合成器２００３が重み付け平均化処理を用いて加工することで生成される。このように、複数のテキスチャー信号に基づいて予測信号が生成されるので、予測信号に含まれる雑音を低減することができる。また、これら複数のテキスチャー信号は、少ない予測関連情報で効率よく生成することが可能である。したがって、雑音の少ない予測信号を効率よく生成することができる。

また、本実施形態に係る画像予測復号装置１９００は、指定領域の形状と対象領域の形状とを同じに設定することが可能であるため、より簡易に予測信号を生成することができる。

また、本実施形態に係る画像予測復号装置１９００では、対象領域を分割し、分割された各小領域について予測信号を生成し、小領域毎の予測信号を合成することにより対象領域の予測信号を生成することが可能である。そのため、最終的に生成される対象領域の予測信号の性能をより高めること、すなわち、より雑音の少ない予測信号を生成することができる。

また、本実施形態に係る画像予測復号装置１９００では、テキスチャー生成器２００２が、対象領域の画素信号との差分が最も小さいテンプレート信号を含むテキスチャー信号を生成することが可能であるので、より雑音の少ない予測信号を生成することができる。

また、本実施形態に係る画像予測復号装置１９００では、合成器２００３が、テキスチャー信号に対して重み付け平均化処理を施し、その処理をされたテキスチャー信号を加算することで予測信号を生成する。このように、予測信号を生成する際にテキスチャー信号が平均化されるので、統計的に誤差が少ない予測信号を生成することができる。

また、本実施形態に係る画像予測復号装置１９００では、データ解析器１９０２が、対象領域の空間的な変位量を示す動きベクトルを含む予測関連情報を抽出することが可能である。そのため、対象領域の対象画素信号との相関が高い信号をより容易に導出することができ、予測信号をより簡易に生成することが可能になる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

本実施形態に係る画像予測符号化装置を示すブロック図である。 図１に示す予測信号生成器を示すブロック図である。 図２に示すテキスチャー合成器を示すブロック図である。 予測関連情報生成処理（ブロックマッチング処理）を説明するための模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 図３に示すテキスチャー生成器を示すブロック図である。 マッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 マッチング処理及び候補テキスチャー生成処理の変形例に関する第１の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 マッチング処理及び候補テキスチャー生成処理の変形例に関する第２の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 マッチング処理及び候補テキスチャー生成処理の変形例に関する第３の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 マッチング処理及び候補テキスチャー生成処理の変形例に関する第４の模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 テンプレート信号の形状とテキスチャー信号の形状とが異なる第１の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 テンプレート信号の形状とテキスチャー信号の形状とが異なる第２の場合のマッチング処理及び候補テキスチャー生成処理に関する模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 予測関連情報生成処理（ブロックマッチング処理）の変形例を説明するための模式図であり、（Ａ）は参照画像を示し、（Ｂ）は符号化対象の画面を示す。 マッチング処理ならびに候補テキスチャー生成処理において画面内予測方法を用いる変形例を説明するための模式図である。 候補テキスチャー信号の生成方法及び合成方法の手順を説明するためのフローチャートである。 候補テキスチャー信号の選択方法の手順の変形例を説明するためのフローチャートである。 図１に示す画像予測符号化装置の画像予測符号化方法の手順を示すフローチャートである。 画面内予測方法を説明するための模式図である。 本実施形態に係る画像予測復号装置を示すブロック図である。 図１９に示すテキスチャー合成器を示すブロック図である。 図１９に示す画像予測復号装置の画像予測復号方法の手順を示すフローチャートである。 本実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。 図２２に示す予測信号生成モジュールを示すブロック図である。 図２３に示すテキスチャー合成モジュールを示すブロック図である。 本実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。

符号の説明

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、２０１…予測関連情報生成器、２０２…テキスチャー合成器、３０１…テンプレート信号生成器、３０２…テキスチャー生成器、３０３…合成器、１９００…画像予測復号装置、１９０１…入力端子、１９０２…データ解析器、１９０３…逆量子化器、１９０４…逆変換器、１９０５…加算器、１９０６…出力端子、１９０７…フレームメモリ、１９０８…テキスチャー合成器、２００１…テンプレート信号生成器、２００２…テキスチャー生成器、２００３…合成器。

Claims (18)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、を備え、
   前記予測信号生成手段は、
   前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
   前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
   前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
   前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化装置。
2. 前記指定領域と前記対象領域とが同じ形状であることを特徴とする請求項１に記載の画像予測符号化装置。
3. 前記テキスチャー合成手段は、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項１に記載の画像予測符号化装置。
4. 前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項１〜３のいずれか一項に記載の画像予測符号化装置。
5. 前記テキスチャー合成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項１〜４のいずれか一項に記載の画像予測符号化装置。
6. 前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項１〜５のいずれか一項に記載の画像予測符号化装置。
7. 前記テキスチャー合成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項１〜６のいずれか一項に記載の画像予測符号化装置。
8. 圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
   前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
   前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
   前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
   前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号装置。
9. 前記指定領域と前記対象領域が同じ形状であることを特徴とする請求項８に記載の画像予測復号装置。
10. 前記予測信号生成手段は、前記予測関連情報の符号化データから前記予測関連情報を復元し、前記対象領域を複数の小領域に分割し、分割された各小領域ついて、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記小領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって前記小領域の予測信号を生成し、生成された各小領域の予測信号を合成することによって前記対象領域の予測信号を生成することを特徴とする請求項８に記載の画像予測復号装置。
11. 前記テンプレート信号は、前記複数のテキスチャー信号に含まれることを特徴とする請求項８〜１０のいずれか一項に記載の画像予測復号装置。
12. 前記予測信号生成手段は、前記テキスチャー信号に対して、予め定めた重み付け係数による重み付け平均処理を施すことによって前記予測信号を生成することを特徴とする請求項８〜１１のいずれか一項に記載の画像予測復号装置。
13. 前記予測関連情報は、対象領域の空間的な変位量を示す動きベクトルを含むことを特徴とする請求項８〜１２のいずれか一項に記載の画像予測復号装置。
14. 前記予測信号生成手段は、前記指定領域と相関の高い複数の類似領域を予め定めた複数の既再生画像から探索することを特徴とする請求項８〜１３のいずれか一項に記載の画像予測復号装置。
15. 画像予測符号化装置が、入力画像を複数の領域に分割する領域分割ステップと、
    前記画像予測符号化装置が、前記領域分割ステップにおいて分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
    前記画像予測符号化装置が、前記予測信号生成ステップにおいて生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、
    前記画像予測符号化装置が、前記残差信号生成ステップにおいて生成された残差信号を符号化する符号化ステップと、を備え、
    前記予測信号生成ステップは、
    前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成ステップと、
    前記予測関連情報生成ステップにおいて生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成ステップとを有し、
    前記テキスチャー合成ステップは、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
    前記符号化ステップは、前記予測関連情報生成ステップにおいて生成された予測関連情報を符号化することを特徴とする画像予測符号化方法。
16. 画像予測復号装置が、圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析ステップと、
    前記画像予測復号装置が、前記データ解析ステップにおいて抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
    前記画像予測復号装置が、前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成ステップと、
    前記画像予測復号装置が、前記予測信号生成ステップにおいて生成された予測信号と前記残差信号復元ステップにおいて復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、を備え、
    前記予測信号生成ステップは、前記データ解析ステップにおいて抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号方法。
17. コンピュータを、
    入力画像を複数の領域に分割する領域分割手段と、
    前記領域分割手段により分割された複数の領域のうちの処理対象である対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
    前記予測信号生成手段により生成された予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
    前記残差信号生成手段により生成された残差信号を符号化する符号化手段と、して機能させ、
    前記予測信号生成手段は、
    前記対象領域の対象画素信号との相関が高い信号を既再生信号から生成する方法を予測関連情報として生成する予測関連情報生成手段と、
    前記予測関連情報生成手段により生成された予測関連情報に基づいて前記対象領域の予測信号を生成するテキスチャー合成手段とを有し、
    前記テキスチャー合成手段は、前記予測関連情報に基づいて定められる指定領域のテンプレート信号を前記既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成し、
    前記符号化手段は、前記予測関連情報生成手段により生成された予測関連情報を符号化することを特徴とする画像予測符号化プログラム。
18. コンピュータを、
    圧縮データの中から処理対象である対象領域に関する予測関連情報の符号化データと残差信号の符号化データとを抽出するデータ解析手段と、
    前記データ解析手段により抽出された残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
    前記対象領域の対象画素信号に対する予測信号を生成する予測信号生成手段と、
    前記予測信号生成手段により生成された予測信号と前記残差信号復元手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、して機能させ、
    前記予測信号生成手段は、前記データ解析手段により抽出された予測関連情報の符号化データから予測関連情報を復元し、復元された予測関連情報に基づいて定められる指定領域のテンプレート信号を既再生信号から生成し、前記指定領域と相関の高い複数の類似領域を予め定めた既再生画像から探索し、該複数の類似領域に基づいて前記対象領域に対する複数のテキスチャー信号を生成し、該複数のテキスチャー信号を予め定めたテキスチャー合成方法を用いて加工することによって予測信号を生成することを特徴とする画像予測復号プログラム。

Images