JP5590133B2 - 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム - Google Patents

Description

本発明は、例えば、予測符号化方式により動画像データを符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。また本発明は、例えば、予測符号化方式により符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化することにより圧縮する。「高能率符号化」は、あるデータ列を他のデータ列に変換する符号化処理であり、元のデータ列のデータ量を圧縮する処理をいう。
代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が広く利用されている。
このような符号化標準では、予測符号化方式が採用されている。予測符号化方式では、符号化対象のピクチャが複数のブロックに分割される。そして複数のブロックのうちの符号化対象ブロックと、そのブロックの予測画像間の画素ごとの誤差を表す予測誤差画像が算出される。予測誤差画像は直交変換されて各周波数の成分を表す周波数係数が求められる。そして、その周波数係数を量子化した量子化係数がエントロピー符号化される。このような量子化及びエントロピー符号化を行うことにより、動画像のデータ量が削減される。

ここで、符号化による動画像データの画質劣化を抑制しつつ、データ量をできるだけ削減するには、周波数係数を量子化する際に用いられる量子化代表値を適切に決定することが重要である。また、予測誤差画像を直交変換することにより得られた周波数係数について、正の符号を持つ周波数係数の分布と負の符号を持つ周波数係数の分布とが略対称となることが知られている。そして、このような、中心対称な確率分布、例えば、ラブラシアン分布及びガウシアン分布に対して適切に量子化代表値を設定する技術が提案されている（例えば、非特許文献１を参照）。
また、Llord-Maxアルゴリズムを用いて、任意の確率分布を持つシンボルを量子化するための量子化代表値を最適化する技術も提案されている（例えば、非特許文献２を参照）。

M. D .Paez, T. H. Glisson, "Minimum Mean-Squared-Error Quantization in Speech PCM and DPCM Systems", IEEE TRANSACTIONS ON COMMUNICATIONS, 1972年4月, pp.225-230 Matthew I. Noah, "Optimal Lloyd-Max quantization of LPC speech parameters", Acoustics, Speech, and Signal Processing, IEEE International Conference on ICASSP, 1984年, pp.29-32

しかしながら、近年、動画像に対する高画質化の要求の高まりに応じて、動画像データに含まれる各ピクチャの画素数が増え、その結果として動画像データのデータ量も増える傾向にある。そのため、より圧縮効率の高い画像符号化技術が求められている。

そこで、本明細書は、動画像データの符号化効率を向上可能な動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法を提供することを目的とする。

一つの実施形態によれば、動画像データを符号化する動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれる、既に符号化されたピクチャまたは符号化対象ピクチャの既に符号化された領域から、符号化対象ピクチャの符号化対象ブロックに対する予測画像を生成する予測画像生成部と、符号化対象ブロックと予測画像間で差分演算することにより符号化対象ブロックの予測誤差画像を生成する予測誤差画像生成部と、予測誤差画像を直交変換することにより、複数の第１の周波数係数を算出する予測誤差直交変換部と、予測画像を直交変換することにより、複数の第２の周波数係数を算出する予測画像直交変換部と、複数の第２の周波数係数のそれぞれの正負の符号を判定する符号判定部と、複数の第１の周波数係数のそれぞれの正負の符号と、複数の第２の周波数係数のうちのその第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて複数の第１の周波数係数を符号化する適応符号化部とを有する。

また、他の実施形態によれば、符号化された動画像データを復号する動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データに含まれる、既に復号されたピクチャまたは復号対象ピクチャの既に復号された領域から、復号対象ピクチャの復号対象ブロックに対する予測画像を生成する予測画像生成部と、予測画像を直交変換することにより、複数の第２の周波数係数を算出する予測画像直交変換部と、複数の第２の周波数係数のそれぞれの正負の符号を判定する符号判定部と、復号対象ブロックと予測画像間の予測誤差画像を直交変換することにより算出される複数の第１の周波数係数のそれぞれについての正負の符号と、複数の第２の周波数係数のうちのその第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて複数の第１の周波数係数を復号する適応復号部と、複数の第１の周波数係数を逆直交変換することにより予測誤差画像を再生する逆変換部と、予測誤差画像の各画素の値に予測画像の対応する画素の値を加算することにより、復号対象ブロックを再生する加算器とを有する。

さらに他の実施形態によれば、動画像データを符号化する動画像符号化方法が提供される。この動画像符号化方法は、動画像データに含まれる、既に符号化されたピクチャまたは符号化対象ピクチャの既に符号化された領域から、符号化対象ピクチャの符号化対象ブロックに対する予測画像を生成し、符号化対象ブロックと予測画像間で差分演算することにより符号化対象ブロックの予測誤差画像を生成し、予測誤差画像を直交変換することにより、複数の第１の周波数係数を算出し、予測画像を直交変換することにより、複数の第２の周波数係数を算出し、複数の第２の周波数係数のそれぞれの正負の符号を判定し、複数の第１の周波数係数のそれぞれの正負の符号と、複数の第２の周波数係数のうちのその第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて複数の第１の周波数係数を符号化することを含む。

さらに他の実施形態によれば、符号化された動画像データを復号する動画像復号方法が提供される。この動画像復号方法は、符号化された動画像データに含まれる、既に復号されたピクチャまたは復号対象ピクチャの既に復号された領域から、復号対象ピクチャの復号対象ブロックに対する予測画像を生成し、予測画像を直交変換することにより、複数の第２の周波数係数を算出し、複数の第２の周波数係数のそれぞれの正負の符号を判定し、復号対象ブロックと予測画像間の予測誤差画像を直交変換することにより算出される複数の第１の周波数係数のそれぞれについての正負の符号と、複数の第２の周波数係数のうちのその第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて複数の第１の周波数係数を復号し、複数の第１の周波数係数を逆直交変換することにより予測誤差画像を再生し、予測誤差画像の各画素の値に予測画像の対応する画素の値を加算することにより、復号対象ブロックを再生することを含む。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

ここに開示される動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法は、動画像データの符号化効率を向上できる。

図１は、第１の実施形態による動画像符号化装置の概略構成図である。 図２は、予測画像の各周波数係数について、正負の符号を判定する順序の一例を示す図である。 図３は、符号化対象ブロックのパワースペクトルと対応する予測画像のパワースペクトルの関係を示す図である。 図４は、符号化対象ブロックの周波数係数の絶対値から予測画像の周波数係数の絶対値を引いた差分値の確率分布を示す図である。 図５は、補正周波数係数の確率分布と、予測誤差画像の周波数係数の確率分布を示す図である。 図６は、周波数係数適応符号化部の概略構成図である。 図７は、補正周波数係数の確率密度分布と量子化スケールの関係の一例を表す図である。 図８は、補正周波数係数の確率密度分布と量子化代表値の関係の一例を表す図である。 図９は、周波数係数の参照順序と有効係数情報との関係を示す図である。 図１０は、図９に対応する予測画像の周波数係数と、符号一致予測値を示す図である。 図１１は、第１の実施形態による動画像符号化処理の動作フローチャートである。 図１２は、第１の実施形態による動画像符号化処理の動作フローチャートである。 図１３は、第１の実施形態による動画像符号化装置により符号化された動画像データを復号する第２の実施形態による動画像復号装置の概略構成図である。 図１４は、第２の実施形態による周波数係数適応復号部の概略構成図である。 図１５は、第２の実施形態による動画像復号処理の動作フローチャートである。 図１６は、第２の実施形態による動画像復号処理の動作フローチャートである。 図１７は、第３の実施形態による動画像符号化装置の概略構成図である。 図１８は、第３の実施形態による周波数係数適応符号化部の概略構成図である。 図１９は、第３の実施形態による動画像符号化処理の動作フローチャートである。 図２０は、第３の実施形態による動画像符号化処理の動作フローチャートである。 図２１は、第３の実施形態による動画像符号化装置により符号化された動画像データを復号する第４の実施形態による動画像復号装置の概略構成図である。 図２２は、第４の実施形態による周波数係数適応復号部の概略構成図である。 図２３は、第４の実施形態による動画像復号処理の動作フローチャートである。 図２４は、第４の実施形態による動画像復号処理の動作フローチャートである。 図２５は、第５の実施形態による動画像符号化装置の概略構成図である。 図２６は、第５の実施形態による周波数係数適応符号化部の概略構成図である。 図２７は、第５の実施形態による動画像符号化処理の動作フローチャートである。 図２８は、第５の実施形態による動画像符号化処理の動作フローチャートである。 図２９は、第５の実施形態による動画像符号化装置により符号化された動画像データを復号する第６の実施形態による動画像復号装置の概略構成図である。 図３０は、第６の実施形態による周波数係数適応復号部の概略構成図である。 図３１は、第６の実施形態による動画像復号処理の動作フローチャートである。 図３２は、第６の実施形態による動画像復号処理の動作フローチャートである。 図３３は、各実施形態による動画像符号化方法または動画像復号方法を実行するコンピュータの概略構成図である。

以下、図を参照しつつ、様々な実施形態による、動画像符号化装置及び動画像復号装置について説明する。一般に、符号化しようとするシンボルの確率分布に偏りがある方が、少ない情報量でそのシンボルを伝送できることがシャノンにより示されている。すなわち、符号化しようとするシンボルの確率分布に偏りがあるほど、そのシンボルを含むデータ列に対する圧縮効率は高くなる。
そこで、発明者は、予測誤差画像について求めた周波数係数を直接符号化する代わりに、確率分布に偏りがある情報を符号化することを検討した。その結果、発明者は、予測誤差画像の周波数係数の正負の符号と、その周波数係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数係数の正負の符号との一致、不一致を表す符号一致情報の確率分布に偏りがあることを見出した。
そこで、以下に説明する動画像符号化装置は、予測誤差画像を直交変換するだけでなく、予測画像も直交変換する。そして動画像符号化装置は、予測誤差画像を直交変換することにより求められた周波数係数と、予測画像を直交変換することにより求められた、対応する周波数係数の正負の符号とに基づいて求めた符号一致情報を用いて予測誤差画像の周波数係数を符号化する。
なお、以下では、符号化された動画像データに含まれる各情報に割り当てられた符号と正負の符号とを区別するために、正負の符号をサインと呼ぶ。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また、符号化された動画像は、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。

図１は、第１の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、予測モード判定部１１と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測誤差画像生成部１５と、予測誤差直交変換部１６と、予測画像直交変換部１７と、符号判定部１８と、周波数係数適応符号化部１９と、逆変換部２０と、加算器２１と、画像メモリ２２と、サイド情報符号化部２３とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

動画像符号化装置１は、図示しない、符号化する動画像データを記憶するバッファメモリから、符号化する動画像データのピクチャのデータをマクロブロック単位で順次読み込む。そして動画像符号化装置１は、符号化対象マクロブロックを予測モード判定部１１、動き補償部１３及び予測誤差画像生成部１５へ渡す。

予測モード判定部１１は、符号化対象マクロブロックに含まれる各ブロックに対する予測画像の生成方法を規定する予測符号化モードを決定する。そのために、予測モード判定部１１は、各予測符号化モードについてのマクロブロックの符号化されたデータ量の評価値であるコストをそれぞれ算出する。そして予測モード判定部１１は、コストが最小となる予測符号化モードを、符号化対象マクロブロックに対して適用される予測符号化モードとする。例えば、コストが最小となる予測符号化モードがインター予測符号化することを表すインター予測符号化モードであれば、予測モード判定部１１は、予測符号化モードとしてインター予測符号化モードを選択する。一方、コストが最小となる予測符号化モードがイントラ予測符号化することを表すイントラ予測符号化モードであれば、予測モード判定部１１は、予測符号化モードとしてイントラ予測符号化モードを選択する。
あるいは、予測モード判定部１１は、符号化対象マクロブロックが含まれる符号化対象ピクチャの種別に応じて、予測符号化モードを決定してもよい。例えば、符号化対象ピクチャがイントラ予測符号化されるIピクチャであれば、予測モード判定部１１は、予測符号化モードとしてイントラ予測符号化モードを選択する。また、符号化対象ピクチャがインター予測符号化されるBピクチャまたはPピクチャであれば、予測モード判定部１１は、予測符号化モードとしてインター予測符号化モードを選択する。

予測モード判定部１１は、選択した予測符号化モードをセレクタ１４及びサイド情報符号化部２３へ通知する。また予測モード判定部１１は、選択した予測符号化モードがイントラ予測符号化モードであれば、イントラ予測部１２へ予測画像を生成するよう通知する。一方、選択した予測符号化モードがインター予測符号化モードであれば、予測モード判定部１１は、動き補償部１３へ動き補償された予測画像を生成するよう通知する。

イントラ予測部１２は、予測画像生成部の一例であり、予測モード判定部１１によって選択されたイントラ予測符号化モードに従って、符号化対象マクロブロック内の各ブロックに対する予測画像を生成する。その際、イントラ予測部１２は、例えば、MPEG-4 AVC/H.264に規定されている水平モード、ＤＣモード、または垂直モードなどに従って、既に符号化され、その後復号された、符号化対象ブロックに隣接する参照ブロックの画素値を用いて予測画像を生成する。何れのモードにおいても、予測画像の各画素の値は、参照ブロック内の複数の画素の値を平均または加重平均することにより算出される。平均演算または加重平均演算は、ローパスフィルタ処理の一例である。したがって、予測画像の各画素の値は、参照ブロックに対してローパスフィルタリングを行って得られた値である。従って、一般に、イントラ予測により作成される予測画像の高周波数成分は、参照ブロックの高周波数成分よりも小さくなる。
イントラ予測部１２は、生成された予測画像をセレクタ１４へ渡す。

動き補償部１３は、予測画像生成部の他の一例であり、符号化対象マクロブロックがインター予測符号化される場合、符号化対象マクロブロック内の符号化対象ブロックと参照ピクチャとを用いて動きベクトルを算出する。動きベクトルは、符号化対象ブロックと、そのブロックに最も類似する参照ピクチャとの空間的な移動量を表す。
動き補償部１３は、符号化対象ブロックと、参照ピクチャとのブロックマッチングを実行することにより、符号化対象ブロックと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定する。

動き補償部１３は、符号化対象ブロックのピクチャ上の位置と、そのブロックに最も一致する参照ピクチャ上の領域との水平方向及び垂直方向の移動量を動きベクトルとする。
動き補償部１３は、画像メモリ２２から得た参照ピクチャ中の符号化対象ブロックと最も一致する参照ピクチャ上の領域を動きベクトルに基づいて動き補償することにより予測画像を生成する。なお、動き補償は、動きベクトルで表された、符号化対象ブロックとそれに対して最も類似する参照ピクチャ上の領域の位置ずれ量を相殺するように、その最も類似する参照ピクチャ上の領域の位置を移動する処理である。

符号化対象ブロックと最も良好に一致する参照ピクチャ上の領域間の水平方向または垂直方向の移動量が画素サイズの整数倍でない場合もある。そこで動き補償部１３は、予測画像中の注目画素について、その注目画素の近傍に位置する対応する参照ピクチャの複数の画素を用いて補間演算処理を行うことにより、その注目画素の値を求める。例えば、注目画素が、参照ピクチャ上のある画素に対して水平方向に画素サイズの1/4ずれている場合、補間演算は、例えば、次式で表される。

ここで、補間により求められるp(x)は、予測画像の注目画素xの値であり、r(A)〜r(F)は、それぞれ、注目画素xの周囲に位置し、水平方向に一列に並んだ参照ピクチャの画素A〜Fの値である。この例では、注目画素xは、画素Cと画素Dの間に位置し、画素Cから画素サイズの1/4離れ、かつ、画素Dから画素サイズの3/4離れている。
（１）式から明らかなように、注目画素xの値は、参照ピクチャに対してローパスフィルタリングを行って得られた値である。従って、一般に、インター予測により作成される予測画像の高周波数成分は、参照ピクチャの対応する領域の高周波数成分よりも小さくなる。

動き補償部１３は、符号化対象マクロブロック内の各ブロックについての動きベクトルとともに参照ピクチャの識別子をサイド情報符号化部２３へ渡す。また動き補償部１３は、符号化対象マクロブロック内の各ブロックについての予測画像をセレクタ１４へ渡す。

セレクタ１４は、予測モード判定部１１から通知された予測符号化モードに応じて、イントラ予測部１２及び動き補償部１３の何れかから受け取った予測画像を予測誤差画像生成部１５、予測画像直交変換部１７及び加算器２１へ出力する。

予測誤差画像生成部１５は、符号化対象マクロブロックに含まれる各ブロックと、セレクタ１４から受け取った、各ブロックに対応する予測画像との差分演算を実行することにより、各ブロックについての予測誤差画像を算出する。予測誤差画像生成部１５は、各予測誤差画像を予測誤差直交変換部１６へ出力する。

予測誤差直交変換部１６は、符号化対象マクロブロック内の各ブロックについての予測誤差画像を直交変換することにより、予測誤差画像の水平方向の周波数成分及び垂直方向の周波数成分を表す複数の周波数係数を求める。例えば、予測誤差直交変換部１６は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を予測誤差画像に対して実行することにより、複数の周波数係数として、DCT係数の組を得る。あるいは、予測誤差直交変換部１６は、離散コサイン変換の代わりに、他の直交変換処理、例えば、アダマール変換またはウェーブレット変換を用いてもよい。
予測誤差直交変換部１６は、各予測誤差画像について得られた複数の周波数係数を周波数係数適応符号化部１９へ出力する。

予測画像直交変換部１７は、符号化対象マクロブロックに含まれる各ブロックの予測画像を直交変換することにより、各予測画像の複数の周波数係数を算出する。なお、予測画像直交変換部１７は、予測誤差直交変換部１６により実行される直交変換と同じ直交変換を用いる。
予測画像直交変換部１７は、各予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、符号化対象マクロブロック内の各ブロックの予測画像の各周波数係数のサインを所定の順序に従って順に判定する。そして符号判定部１８は、予測画像の注目する周波数係数のサインが正である場合、'1'を周波数係数適応符号化部１９の適応量子化／逆量子化部１９１へ出力し、'0'を周波数係数適応符号化部１９の出力適応量子化係数符号化部１９２へ出力する。
一方、符号判定部１８は、注目する周波数係数のサインが負である場合、'-1'を適応量子化／逆量子化部１９１へ出力し、'1'を適応量子化係数符号化部１９２へ出力する。
なお、所定の順序は、適応量子化／逆量子化部１９１及び適応量子化係数符号化部１９２が予測誤差画像の各周波数係数を量子化及びエントロピー符号化する順序と同じ順序であり、例えば、MPEG-4 AVC/H.264に規定された順序とすることができる。

図２は、予測画像の各周波数係数について、サインを判定する順序の一例を示す図である。図２に示された例では、予測画像２００は4×4画素のサイズを有する。そして予測画像２００において、例えば、左上端の画素の画素値が最も低い周波数成分を表す周波数係数である。そして左上端の画素に近い画素ほど、低い周波数成分に相当する周波数係数を表す。
一般に、予測誤差画像及び予測画像に関して、低い周波数成分に対応する周波数係数ほど、大きな絶対値となる傾向がある。逆に、右下端に近い画素、すなわち、高い周波数成分に対応する周波数係数の絶対値は相対的に小さな値となる。その結果、予測誤差画像の周波数係数が量子化されると、右下端に近い画素は量子化係数'0'となる可能性が高い。そして、特定のシンボルが連続するデータは、効率良く符号化できる。そこで、本実施形態では、符号判定部１８は、矢印２０１で示されるように、左上端画素に近い方から順に各周波数係数のサインを判定する。なお、予測画像及び予測誤差画像が他のサイズ、例えば、8×8画素を有している場合も、符号判定部１８は、同様に、最も低い周波数成分に対応する画素から順に各周波数係数のサインを判定する。

周波数係数適応符号化部１９は、適応符号化部の一例である。そして周波数係数適応符号化部１９は、予測誤差画像の複数の周波数係数のそれぞれに対して、その周波数係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数係数のサインを乗じることにより補正周波数係数を算出する。この補正周波数係数は、符号一致情報の一例である。そして周波数係数適応符号化部１９は、補正周波数係数を量子化し、その量子化により得られた量子化係数をエントロピー符号化する。

ここで、補正周波数係数の出現確率の偏りについて説明する。
図３は、符号化対象ピクチャの符号化対象ブロックのパワースペクトルと、符号化対象ブロックに対する予測画像のパワースペクトルの関係を示す図である。この図において、横軸は周波数を表し、縦軸はパワースペクトル密度を表す。そしてグラフ３００は、符号化対象ブロックのパワースペクトルを表し、一方、グラフ３０１は、予測画像のパワースペクトルを表す。

上述したように、予測画像は、一旦符号化され、その後復号された参照ピクチャまたは参照ブロックに対してローパスフィルタ処理が行われることにより算出される。そのため、予測画像の高周波数成分は、予測画像を作成するために利用された参照ピクチャの領域または参照ブロックの高周波数成分よりも小さい。また、予測画像は、符号化対象ブロックと類似するように作成されるため、予測画像の作成に利用された参照ピクチャの領域または参照ブロックも、符号化対象ブロックと類似している可能性が高い。したがって、符号化対象ブロックの高周波数成分は、予測画像の作成に利用された参照ピクチャの領域または参照ブロックの高周波数成分と同程度である可能性が高い。
したがって、図３に示されるように、各周波数において、予測画像のパワースペクトルは、符号化対象ブロックのパワースペクトルよりも小さくなる。その結果、例えば、周波数ω_iに対応する予測画像のi番目の周波数係数の絶対値|Coef_pred(i)|は、符号化対象ブロックを直接直交変換して得られたi番目の周波数係数の絶対値|Coef_org(i)|よりも小さくなる可能性が高い。

図４は、符号化対象ブロックの周波数係数の絶対値から予測誤差画像の対応する周波数係数の絶対値を引いた差分値｛|Coef_org(i)|- |Coef_pred(i)|｝の確率分布を示す図である。図４において、横軸は｛|Coef_org(i)|- |Coef_pred(i)|｝を表し、縦軸は確率密度を表す。そしてグラフ４００は、｛|Coef_org(i)|- |Coef_pred(i)|｝に対する確率密度分布を表すグラフである。
上述したように、各周波数において、予測画像の周波数係数の絶対値|Coef_pred(i)|は、符号化対象ブロックの周波数係数の絶対値|Coef_org(i)|よりも小さくなる可能性が高い。そのため、図４に示されるように、｛|Coef_org(i)|- |Coef_pred(i)|｝が正となる確率は、｛|Coef_org(i)|- |Coef_pred(i)|｝が負となる確率よりも高くなる。

ここで、変数xのサインを返す関数sign(x)を次式のように定義する。

この関数sign(x)を用いることにより、｛|Coef_org(i)|- |Coef_pred(i)|｝は次式のように表される。

ここで、符号化対象ブロックと予測画像間の差分により求められる予測誤差画像を直交変換することにより得られる周波数係数は、符号化対象ブロックの周波数係数から予測画像の周波数係数を引いた値となる。従って、次式が成立する。

なお、Coef_diff(i)は、周波数ω_iに対応する、予測誤差画像のi番目の周波数係数である。
また、予測画像は、符号化対象ブロックと類似するように作成されたものであるため、符号化対象ブロックの各周波数係数の符号sign(Coef_org(i))は、予測画像の対応する周波数係数の符号sign(Coef_pred(i))と同一である可能性が高い。
したがって、（３）式において、sign(Coef_org(i))をsign(Coef_pred(i))で置換し、かつ（４）式を適用することにより次式が得られる。

したがって、予測誤差画像の周波数係数に、予測画像の対応する周波数係数のサインを乗じた値、すなわち補正周波数係数sign(Coef_pred(i))Coef_diff(i)の確率密度分布も、図４に示されるように、正の値となる確率の方が負の値となる確率よりも高い。

図５は、補正周波数係数の確率分布と、予測誤差画像の周波数係数の確率分布を示す図である。図５において、横軸は周波数を表し、縦軸は確率密度を表す。そしてグラフ５００は、補正周波数係数sign(Coef_pred(i))Coef_diff(i)の確率分布を表し、一方、グラフ５０１は、予測誤差画像の周波数係数Coef_diff(i)の確率分布を表す。
上記のように、補正周波数係数sign(Coef_pred(i))Coef_diff(i)が正となる確率密度は、補正周波数係数sign(Coef_pred(i))Coef_diff(i)が負となる確率密度よりも高い。その結果、補正周波数係数sign(Coef_pred(i))Coef_diff(i)の確率分布は、周波数'0'に対して非対称な、偏りのある分布となっている。一方、予測誤差画像の周波数係数Coef_diff(i)の確率分布は、正の値と負の値の確率密度がほぼ等しい分布である。
したがって、補正周波数係数sign(Coef_pred(i))Coef_diff(i)の情報量は、予測誤差画像の周波数係数Coef_diff(i)の情報量よりも小さい。そこで動画像符号化装置１は、補正周波数係数sign(Coef_pred(i))Coef_diff(i)を符号化することにより、符号化効率を向上できる。

図６は、周波数係数適応符号化部１９の概略構成図である。周波数係数適応符号化部１９は、適応量子化／逆量子化部１９１と、適応量子化係数符号化部１９２とを有する。
適応量子化／逆量子化部１９１は、符号化対象マクロブロック内の各ブロックについての予測誤差画像の補正周波数係数を算出し、その補正周波数係数を量子化する。そのために、適応量子化／逆量子化部１９１は、３個の乗算器１９１１〜１９１３と、非線形量子化部１９１４と、非線形逆量子化部１９１５とを有する。

乗算器１９１１は、予測誤差画像の各周波数係数に、符号判定部１８により求められたその周波数係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数のサインを乗じることで各補正周波数係数を算出する。したがって、予測誤差画像の注目する周波数係数のサインと、予測画像の対応する周波数係数のサインが一致する場合、その注目する周波数係数に対応する補正周波数係数のサインは'正'となる。一方、注目する周波数係数のサインと、予測画像の対応する周波数係数のサインが一致しない場合、その注目する周波数係数に対応する補正周波数係数のサインは'負'となる。
乗算器１９１１は、各予測誤差画像についてそれぞれ求めた複数の補正周波数係数を非線形量子化部１９１４へ出力する。

非線形量子化部１９１４は、補正周波数係数を量子化する。
図７は、補正周波数係数の確率密度分布と量子化スケールの関係の一例を表す図である。図７において、横軸は補正周波数係数を表し、縦軸は確率密度を表す。そしてグラフ７００は、補正周波数係数の確率密度分布を表す。なお、このグラフ７００は、図５における、sign(Coef_pred(i))Coef_diff(i)の確率分布５００に対応する。また、QP1、QP2は、それぞれ、補正周波数係数が'正'、'負'の値を有する場合の量子化スケールである。そしてlevelは、補正量子化係数である。またq(i)は、level(i)に対応する量子化代表値である。ここでは、量子化代表値は、補正周波数係数を量子化した場合の補正周波数係数の代表値である。そして補正量子化係数は、対応する量子化代表値のインデックス値である。
上記のように、補正周波数係数、すなわち、sign(Coef_pred(i))Coef_diff(i)が正となる確率密度は、sign(Coef_pred(i))Coef_diff(i)が負となる確率密度よりも高い。その結果、グラフ７００に表されるように、補正周波数係数sign(Coef_pred(i))Coef_diff(i)の確率分布は、'0'に対して非対称な、偏りのある分布となっている。

このような、非対称な、偏りのある分布については、出現確率が高いシンボルほど、そのシンボルに対する隣接する量子化代表値間の間隔を狭くすることで、量子化誤差が小さくなることが知られている。そして本実施形態では、上記のように、補正周波数係数の絶対値が同一であれば、'正'の値を有する補正周波数係数の出現確率は、'負'の値を有する補正周波数係数の出現確率よりも高い。
そこで、非線形量子化部１９１４は、補正周波数係数が'負'の値を有する場合の量子化スケールQP2を、補正周波数係数が'正'の値を有する場合の量子化スケールQP1よりも大きくする。これにより、非線形量子化部１９１４は、出現確率の高い、正の値を持つ補正周波数係数は正確に再現されるように量子化しつつ、出現確率の低い、負の値を持つ補正周波数係数の情報を削減できる。
例えば、非線形量子化部１９１４は、次式に従って補正周波数係数を量子化することにより、補正量子化係数を算出する。

ここで関数int(x)は、x以下の最大の整数を出力する関数である。また関数abs(x)は、変数xの絶対値を出力する関数である。そしてCoef_c(i)は、i番目の補正周波数係数であり、Coef_c(i) = sign(Coef_pred(i))Coef_diff(i)である。これにより、各補正周波数係数は、量子化スケール間隔で設定される複数の周波数係数代表値のうちの最も近い代表値に対応する補正量子化係数に量子化される。

なお、非線形量子化部１９１４は、上記の関数int()内の演算の代わりに、補正周波数係数の絶対値に量子化スケールの1/2を加えた値に対して量子化スケールQP1またはQP2に相当する右方向へのビットシフト演算を行って補正量子化係数を求めてもよい。例えば、量子化スケールQP1が'8'であれば、8=2³であるため、非線形量子化部１９１４は、補正周波数係数の絶対値に量子化スケールの1/2を加えた値を3ビット右方向へシフトする。

なお、量子化スケールQP1、QP2は、例えば、以下のように事前に決定され、非線形量子化部１９１４が有するメモリに予め記憶される。
まず、量子化スケールの初期値QP及び定数αが設定される。このQP及びαを用いて、QP1及びQP2は次式のように表される。

そして、予め準備されたテスト用動画像データに対して、量子化スケールQPを変化させつつ、テスト用動画像データを本実施形態に従って符号化し、符号化レート・歪特性を求める。なお、符号化レート・歪特性は、例えば、符号化レートを様々に変更した場合における、符号化されたテスト用動画像データを復号した動画像データの信号対ノイズ比により表される。そして符号化レート・歪特性が最も良いQPの値が選択される。次に、テスト用動画像データに対して、定数αを変化させつつ、テスト用動画像データを本実施形態に従って符号化し、符号化レート・歪特性を求める。そして符号化レート・歪特性が最も良いαの値が選択される。そして選択されたQP及びαを（７）式に代入することにより、QP1及びQP2が決定される。

また、非線形量子化部１９１４は、隣接する量子化代表値間の間隔を、補正周波数係数の確率密度分布に応じて最適な間隔となるように、その間隔が量子化代表値の絶対値に応じて非線形に変化するように設定してもよい。この場合、量子化誤差を最小化するために、量子化代表値に対応する確率が高いほど、隣接する量子化代表値間の間隔が狭くなる。
例えば、M. D .Paez, T. H. Glisson, “Minimum Mean-Squared-Error Quantization in Speech PCM and DPCM Systems”, IEEE TRANSACTIONS ON COMMUNICATIONS, 1972年4月, pp.225-230には、確率密度分布がラプラシアン分布に従う場合の量子化代表値が示されている。ラプラシアン分布に従う確率分布PDF(x)は、一般には、aを任意の定数とし、xをシンボルの値として、以下の式で表される。
PDF(x) = a/2・exp|-a・x|
そして、xの値が大きいほど、確率分布PDF(x)の値は指数関数的に0に近づく。そして上記の文献には、量子化代表値の数Nが2、4、8、16、32の場合の量子化代表値が示されている。例えば、量子化代表値の数Nが8であり、y_iが(i=1,2,3,4)が、それぞれ0に近い順、かつ正負対称な、各量子化代表値とする。この場合、第一の量子化代表値y₁=±0.222、第二の量子化代表値y₂=±0.785、第三の量子化代表値y₃=±1.576、第四の量子化代表値y₄=±2.994、となる。よって、それぞれ、隣接する量子化代表値の間隔は、y2-y1=0.563、y3-y2=0.791、y4-y3=1.418となる。すなわち、シンボルの値が大きくなり、かつそのシンボルの値に対する確率が小さくなるほど、量子化代表値の間隔が広がっていることが分かる。
本実施形態では、補正周波数係数の絶対値が同一であれば、正の値を持つ補正周波数係数の出現確率は、負の値を持つ補正周波数係数の出現確率よりも高くなる。したがって、各量子化代表値は、補正周波数係数の絶対値が同一であれば、隣接する二つの負の値を持つ補正周波数係数に対する量子化代表値間の間隔が、隣接する二つの正の値を持つ補正周波数係数に対する量子化代表値間の間隔よりも広くなるよう設定される。そのために、補正周波数係数に対する各量子化代表値は、例えば、テスト用動画像シーケンスに対して求めた補正周波数係数の出現確率分布に基づいて、Llord-Max法に従って決定されてもよい。そして各量子化代表値は、例えば、非線形量子化部１９１４が有するメモリに予め記憶される。
この場合、非線形量子化部１９１４は、各補正周波数係数を量子化する際、複数の量子化代表値のうちの補正周波数係数に最も近い量子化代表値を求め、その量子化代表値に対応する補正量子化係数を出力する。

図８は、補正周波数係数の確率密度分布と量子化代表値の関係の一例を表す図である。図８において、横軸は補正周波数係数を表し、縦軸は確率密度を表す。そしてグラフ８００は、補正周波数係数の確率密度分布を表す。なお、このグラフ８００は、図５における、sign(Coef_pred(i))Coef_diff(i)の確率分布５００に対応する。そしてlevelは、補正量子化係数である。またq(i)は、level(i)に対応する量子化代表値である。
上記のように、補正周波数係数、すなわち、sign(Coef_pred(i))Coef_diff(i)が正となる確率密度は、sign(Coef_pred(i))Coef_diff(i)が負となる確率密度よりも高い。その結果、絶対値が等しい補正量子化係数に対応する量子化代表値間の間隔は、負の値を持つ量子化代表値よりも正の値を持つ量子化代表値に対して広くなるように設定される。例えば、補正量子化係数'-1'に対応する量子化代表値q(-1)と補正量子化係数'-2'に対応する量子化代表値q(-2)との間隔８０１は、補正量子化係数'1'に対応する量子化代表値q(1)と補正量子化係数'2'に対応する量子化代表値q(2)との間隔８０２よりも広い。

非線形量子化部１９１４は、各補正周波数係数に対応する補正量子化係数を、非線形逆量子化部１９１５及び乗算器１９１２へ出力する。

乗算器１９１２は、各補正量子化係数に、その補正量子化係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の各周波数係数に対応する量子化係数を算出する。このサインの乗算の結果、各補正量子化係数に対応する予測誤差画像の周波数係数に対して、予測画像の対応する周波数係数のサインが２回乗じられたことになる。したがって、乗算器１９１２から出力される各量子化係数のサインは、予測誤差画像の対応する周波数係数のサインと一致する。
乗算器１９１２から出力された各量子化係数は、適応量子化係数符号化部１９２へ入力される。

非線形逆量子化部１９１５は、各補正量子化係数を逆量子化することにより、各補正周波数係数を再生する。本実施形態では、非線形逆量子化部１９１５は、非線形量子化部１９１４と同様に、補正量子化係数のサインに応じて異なる量子化スケールを用いて逆量子化する。
例えば、非線形逆量子化部１９１５は、次式に従って各補正量子化係数を逆量子化する。

ここでlevelは補正量子化係数である。またQP1、QP2は、それぞれ、補正量子化係数のサインが'正'、'負'であるときの量子化スケールであり、非線形量子化部１９１４が用いる量子化スケールQP1、QP2と同一である。そしてq(level)は、再生される補正周波数係数であり、補正量子化係数levelに応じた補正周波数係数の代表値である。
あるいは、量子化代表値間の間隔が、補正周波数係数の絶対値に応じて変化するように設定されている場合、非線形逆量子化部１９１５は、例えば、補正量子化係数と量子化代表値との対応関係を表す参照テーブルを内蔵するメモリに予め記憶しておく。そして非線形逆量子化部１９１５は、その参照テーブルを参照して、補正量子化係数に対応する量子化代表値を、再生される補正周波数係数として求める。
非線形逆量子化部１９１５は、再生した各補正周波数係数を乗算器１９１３へ出力する。

乗算器１９１３は、再生された各補正周波数係数に、予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の各周波数係数を再生する。これにより、再生された各周波数係数に対応する予測誤差画像の周波数係数に対して、予測画像の対応する周波数係数のサインが２回乗じられたことになる。したがって、乗算器１９１３から出力される再生された各周波数係数のサインは、予測誤差画像の対応する周波数係数のサインと一致する。
乗算器１９１３から出力された、再生された各周波数係数は、逆変換部２０へ入力される。

適応量子化係数符号化部１９２は、適応量子化／逆量子化部１９１から受け取った、符号化対象マクロブロック内の各予測誤差画像の量子化係数をエントロピー符号化する。そのために、適応量子化係数符号化部１９２は、有効係数情報生成部１９２１と、有効係数位置情報符号化部１９２２と、有効係数絶対値情報符号化部１９２３と、排他的論理和部１９２４と、有効係数符号情報予測符号化部１９２５とを有する。

有効係数情報生成部１９２１は、符号化対象マクロブロック内の各ブロックについての予測誤差画像の複数の量子化係数のうち、'0'以外の値を持つ量子化係数である有効係数を抽出する。有効係数情報生成部１９２１は、符号判定部１８が予測画像の周波数係数のサインを判定する順序と同一の順序に従って、量子化係数が'0'か否か判定する。そして有効係数情報生成部１９２１は、有効係数の位置を表す有効係数位置情報を有効係数位置情報符号化部１９２２へ出力する。また有効係数情報生成部１９２１は、有効係数の絶対値を表す有効係数絶対値情報を有効係数絶対値情報符号化部１９２３へ出力する。そして有効係数情報生成部１９２１は、有効係数のサインを表す有効係数符号情報を排他的論理和部１９２４へ出力する。

図９は、量子化係数の参照順序と有効係数情報との関係を示す図である。図９における画像９００は、予測誤差画像の量子化係数を表す画像である。そして画像９００の各画素の値は量子化係数を表す。また画像９００内に示された矢印９０１は、参照される量子化係数の順序を表す。この例では、'0'以外の値を持つ画素は、1〜5番目、7番目、及び9〜10番目に参照される。
表９１０は、画像９００に対応する有効係数位置情報、有効係数絶対値情報及び有効係数符号情報を表す。表９００において、行９１１は、各有効係数の識別番号を表す。この識別番号は、量子化係数の参照順序に従って、最初に検出された有効係数から順に1ずつ大きくなるように付される。
また行９１２は、有効係数位置情報を表す。有効係数位置情報は、有効係数が含まれる画素の参照順序に従った番号を含み、この例では、有効係数の識別番号'1'から順に、1、2、3、4、5、7、9、10となる。

さらに、行９１３は、有効係数絶対値情報を表す。この例では、有効係数の識別番号'1'は、左上端の画素に対応するので、有効係数の識別番号'1'に対応する有効係数の絶対値は'3'となる。同様に、有効係数の識別番号'5'は、左端及び上端からそれぞれ2番目の画素に対応するので、有効係数の識別番号'1'に対応する有効係数の絶対値は'1'となる。
さらに、行９１４は、有効係数符号情報を表す。本実施形態では、有効係数符号情報は、有効係数のサインが'正'である場合、その有効係数のサインを'0'で表し、一方、有効係数のサインが'負'である場合、その有効係数のサインを'1'で表す。この例では、5番目に参照される画素についてのみ、有効係数が負の値を持つ。そのため、有効係数の識別番号'5'に対応する有効係数符号情報のみが'1'となり、その他の識別番号に対応する有効係数符号情報は'0'となっている。

有効係数位置情報符号化部１９２２は、有効係数位置情報をエントロピー符号化する。そこで、有効係数位置情報符号化部１９２２は、対応する周波数が低い量子化係数ほど有効係数となる頻度が高いことを利用して、最適なエントロピー符号を割り当てる。例えば、有効係数位置情報符号化部１９２２は、ハフマン符号化方式、またはContext Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化方式といったエントロピー符号化方式を用いて有効係数位置情報をエントロピー符号化する。
有効係数位置情報符号化部１９２２は、エントロピー符号化された有効係数位置情報を図示しない統合部へ出力する。

有効係数絶対値情報符号化部１９２３は、有効係数絶対値情報をエントロピー符号化する。そこで、有効係数絶対値情報符号化部１９２３は、対応する周波数が低い量子化係数ほど大きな値となる確率が高く、逆に対応する周波数が高い量子化係数ほど小さな値となる確率が低いことを利用して、最適なエントロピー符号を割り当てる。例えば、有効係数絶対値情報符号化部１９２３は、ハフマン符号化方式、またはCABACなどの算術符号化方式といったエントロピー符号化方式を用いて有効係数絶対値情報をエントロピー符号化する。
有効係数絶対値情報符号化部１９２３は、エントロピー符号化された有効係数絶対値情報を図示しない統合部へ出力する。

排他的論理和部１９２４は、有効係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数係数のサインを表す値を符号判定部１８から受け取る。そして排他的論理和部１９２４は、有効係数のサインを表す有効係数符号情報の値と、予測画像の対応する周波数係数のサインを表す値との間で排他的論理和演算を実行することにより符号一致予測値を求める。この符号一致予測値は、符号一致情報の一例である。
本実施形態では、有効係数のサインが'正'である場合、有効係数符号情報が表す値は'0'であり、有効係数のサインが'負'である場合、有効係数符号情報が表す値は'1'である。一方、予測画像の周波数係数のサインが'正'である場合、符号判定部１８から受け取る値は'0'であり、予測画像の周波数係数のサインが'負'である場合、符号判定部１８から受け取る値は'1'である。したがって、有効係数のサインと予測画像の対応する周波数係数のサインが一致する場合、符号一致予測値は'0'となり、一方、有効係数のサインと予測画像の対応する周波数係数のサインが一致しない場合、符号一致予測値は'1'となる。
排他的論理和部１９２４は、各有効係数に対応する符号一致予測値を含む符号一致予測情報を有効係数符号情報予測符号化部１９２５へ出力する。

有効係数符号情報予測符号化部１９２５は、符号一致予測情報をエントロピー符号化する。ここで、符号一致予測情報に含まれる符号一致予測値は、上記のように、有効係数、すなわち'0'でない値を持つ量子化係数のサインと、予測画像の対応する周波数係数のサインが一致する場合に'0'となる値である。そして量子化係数のサインと、予測画像の対応する周波数係数のサインとが一致する確率は、それらのサインが一致しない確率よりも高い。従って、符号一致予測値が'0'となる確率も、符号一致予測値が'1'となる確率よりも高い。

図１０は、図９に対応する予測画像の周波数係数と、符号一致予測値を示す図である。図１０において、画像１０００は、図９に示された予測誤差画像の周波数係数を表す画像に対応する、予測画像の周波数係数を表す画像である。また図１０に示された表１０１０は、図９に示された表９００に、有効係数に対応する予測画像の周波数係数及びそのサインと、符号一致予測値とを追加したものである。
表１０１０において行１０１１〜１０１４は、それぞれ、各有効係数の識別番号、有効係数位置情報、有効係数絶対値情報及び有効係数符号情報を表す。また行１０１５は、有効係数に対応する予測画像の周波数係数の値を表す。この例では、最初に参照される有効係数に対応する画像１０００の左上端の画素値は'227.25'であるため、有効係数の識別番号'1'に対応する行１０１５中の欄の値も、'227.25'となっている。

また、行１０１６は、有効係数に対応する予測画像の周波数係数のサインの値、すなわち、有効係数符号情報の予測値を表す。本実施形態では、この有効係数符号情報の予測値は、符号化判定部１８から受け取った値である。したがって、周波数係数のサインが'正'である場合'0'であり、周波数係数のサインが'負'である場合、その値は'1'である。この例では、2、5、9番目に参照される画素の周波数係数が'負'の値を持ち、有効係数に対応するその他の画素の周波数係数は'正'の値を持つ。そのため、有効係数の識別番号'2'、'5'及び'7'に対応する予測画像の周波数係数のサインの値が'1'となり、その他の識別番号に対応する予測画像の周波数係数のサインの値は'0'となっている。
そして行１０１７は、符号一致予測値を表す。この例では、識別番号'2'と'7'に対応する有効係数のサインと予測画像の周波数係数のサインが一致するので、識別番号'2'及び'7'の符号一致予測値は'1'となる。

このように、符号一致予測値の出現頻度には、値に応じた偏りが存在する。そこで有効係数符号情報予測符号化部１９２５は、その偏り度合いに応じた最適なエントロピー符号を用いて符号一致予測情報に含まれる複数の符号一致予測値をエントロピー符号化する。例えば、有効係数符号情報予測符号化部１９２５は、CABACなどの算術符号化方式を用いて符号一致予測情報をエントロピー符号化する。あるいは、有効係数符号情報予測符号化部１９２５は、複数の符号一致予測値に対してエントロピー符号を割り当てるように、他のエントロピー符号化方式を適用してもよい。これにより、有効係数符号情報予測符号化部１９２５は、一つの有効係数のサインに対して1ビット未満の情報量で符号化できる。
これに対し、予測誤差画像の各周波数係数の値が'正'となる確率と'負'となる確率は略等しいため、従来技術では、一つの有効係数のサインに対して1ビット割り当てる必要があった。したがって、本実施形態による動画像符号化装置１は、従来技術よりも少ない情報量で、有効係数のサインに関する情報を符号化できる。

なお、有効係数符号情報予測符号化部１９２５は、周波数係数ごとに、適用する符号化方式、あるいは割り当てる符号を最適化してもよい。図２に示されるように、一般に、符号化対象ブロックのパワースペクトルに対する予測画像のパワースペクトルの比は、周波数ごとに異なる。そして、そのパワースペクトルの比が'1'に近づくほど、予測画像の周波数係数の確率密度分布は、符号化対象ブロックの周波数係数の確率密度分布に近づく。その結果、予測誤差画像の周波数係数のサインが、予測画像の対応する周波数係数のサインと一致する確率も高くなる。そして、予測誤差画像の周波数係数のサインと予測画像の対応する周波数係数のサインが一致する確率が高いほど、符号一致予測値の分布の偏りも大きくなる。

そこで、例えば、予め準備されたテスト用動画像データに基づいて、周波数係数ごとに、符号一致予測値の分布を求め、その分布に応じて各予測値に対する適切なエントロピー符号が予め決定される。そして周波数係数ごとに、あるいは、上記のパワースペクトルの比が略一致する周波数係数の組ごとに、符号一致予測値の分布に応じたエントロピー符号が有効係数符号情報予測符号化部１９２５が有するメモリに記憶される。そして有効係数符号情報予測符号化部１９２５は、周波数係数に応じて適用するエントロピー符号を切り替える。
あるいは、有効係数符号情報予測符号化部１９２５がCABACのような適応型の算術符号化方式を用いる場合には、周波数係数ごとに別個に符号一致予測値の出現確率を調べることで、周波数係数ごとに符号一致予測値に割り当てるエントロピー符号を決定してもよい。

また、有効係数符号情報予測符号化部１９２５は、予測画像の画素値の分散に応じて、適用する符号化方式、あるいは割り当てる符号を最適化してもよい。予測画像の画素値の分散が大きい場合には、予測画像内に高周波数成分が多く含まれる。このような場合、符号化対象ブロックに写っている像が予測画像に写っている像に対して僅かに変形していても、符号化対象ブロックと予測画像との間で一致しない画素が多くなる。そのため、予測誤差画像の周波数係数のサインと予測画像の対応する周波数係数のサインも一致する確率が低くなる。その結果として、符号一致予測値の偏り度合いは小さくなる。
一方、予測画像の画素値の分散が小さい場合には、予測画像内に含まれる高周波数成分は少ない。このような場合、符号化対象ブロックに写っている像が予測画像に写っている像に対して変形していても、符号化対象ブロックと予測画像との間で一致しない画素が少なくなる。そのため、予測誤差画像の周波数係数のサインと予測画像の対応する周波数係数のサインも一致する確率が高くなる。その結果として、符号一致予測値の偏り度合いは大きくなる。

そこで、例えば、予め準備されたテスト用動画像データに基づいて、予測画像の画素値の分散ごとに、符号一致予測値の分布を求めることにより、その分布に応じて各予測値に対する適切なエントロピー符号が予め決定される。そして分散ごとに、符号一致予測値に割り当てられるエントロピー符号が有効係数符号情報予測符号化部１９２５が有するメモリに記憶される。
有効係数符号情報予測符号化部１９２５は、予測画像をセレクタ１４から受け取って予測画像の分散を求め、その分散に応じて適用するエントロピー符号を切り替える。あるいは、有効係数符号情報予測符号化部１９２５がCABACのような適応型の算術符号化方式を用いる場合には、分散ごとに別個に符号一致予測値の出現確率を調べることで、分散ごとに符号一致予測値に割り当てるエントロピー符号を決定してもよい。

有効係数符号情報予測符号化部１９２５は、エントロピー符号化した符号一致予測情報を図示しない統合部へ出力する。

また実施形態によっては、補正量子化係数に対する量子化代表値がその出現確率に応じて最適化されている、すなわち、出現確率が高いほど、隣接する量子化代表値間の間隔が狭くなるように量子化代表値が設定されている。この場合、周波数係数適応符号化部１９の他の一例は、量子化代表値の出現確率に応じたエントロピー符号を、その量子化代表値に対応する量子化係数に割り当ててもよい。
この場合、各量子化代表値の出現確率は、例えば、テスト用動画像シーケンスに対して求めた補正周波数係数の出現確率分布に基づいて、Llord-Max法により決定される。このようなエントロピー符号は、例えば、ハフマン符号あるいは算術符号とすることができる。これにより、例えば、ハフマン符号が適用される場合、出現確率の高い量子化代表値に対応する量子化係数ほど、符号長の短いエントロピー符号が割り当てられる。また算術符号が適用される場合も、量子化代表値の出現確率に応じてその量子化代表値に対応する量子化係数に割り当てられるエントロピー符号が最適化される。その結果、周波数係数適応符号化部１９は、より効率よく量子化係数を符号化できる。

逆変換部２０は、周波数係数適応符号化部１９から受け取った、各予測誤差画像の再生された複数の周波数係数を逆直交変換する。例えば、予測誤差直交変換部１６においてDCT処理が行われる場合、逆変換部２０は、逆DCT処理を実行する。逆直交変換処理を再生周波数係数の組に対して実行することにより、符号化前の予測誤差画像と同程度の情報を有する、予測誤差画像が再生される。
そして逆変換部２０は、再生された予測誤差画像を加算器２１へ出力する。

加算器２１は、セレクタ１４から受け取った予測画像の各画素の値に、逆変換部２０から受け取った、予測誤差画像の対応する画素の値を加算することにより、その予測画像及び予測誤差画像に対応するブロックを再生する。加算器２１は、符号化対象ブロック内の各ブロックをそれぞれ再生し、それらを所定の符号化順序に従って結合することにより、符号化対象マクロブロックを再生する。加算器２１は、再生したマクロブロックを参照ブロックとしてイントラ予測部１２へ供給する。
さらに、加算器２１は、再生された符号化対象マクロブロックを所定の符号化順序に従って結合することにより、その後に符号化されるピクチャに対する予測画像を生成するために利用される参照ピクチャを生成する。
加算器２１は、得られた参照ピクチャを画像メモリ２２に記憶させる。

画像メモリ２２は、例えば、半導体メモリを有する。そして画像メモリ２２は、加算器２１から受け取った参照ピクチャを一時的に記憶する。そして画像メモリ２２は、イントラ予測部１２、動き補償部１３及び予測モード判定部１１にその参照ピクチャを供給する。なお、画像メモリ２２は、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、符号化順序が古い参照ピクチャから順に破棄する。

サイド情報符号化部２３は、符号化対象マクロブロックごとの予測符号化モード、動き補償ベクトルなどのサイド情報を、例えばハフマン符号またはCABACを用いてエントロピー符号化する。そしてサイド情報符号化部２３は、エントロピー符号化されたサイド情報を図示しない統合部へ出力する。

統合部は、周波数係数適応符号化部１９から受け取ったエントロピー符号化された有効係数位置情報、有効係数絶対値情報及び符号一致予測情報と、サイド情報符号化部２３から受け取ったエントロピー符号化されたサイド情報を、所定のフォーマットに従って一つのデータストリームに格納する。そして統合部は、そのデータストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶部（図示せず）に記憶するか、あるいはそのデータストリームを他の機器へ出力する。なお、所定のフォーマットは、例えば、MPEG-2において規定されたデータフォーマットとすることができる。

図１１及び図１２は、第１の実施形態による動画像符号化処理の動作フローチャートである。なお、動画像符号化装置１は、この動画像符号化処理を予測符号化される符号化対象マクロブロックごとに実行する。なお、動画像符号化装置１は、符号化対象マクロブロックが予測符号化されない場合、その符号化対象マクロブロックを、例えば、MPEG-4 AVC/H.264に規定されたイントラ予測符号化方式に従って符号化する。

予測モード判定部１１は、符号化対象マクロブロック及び画像メモリ２２に記憶されている参照ピクチャに基づいて予測符号化モードを決定する（ステップＳ１０１）。
動画像符号化装置１は、予測符号化モードに応じて、符号化対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ１０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測誤差画像生成部１５、予測画像直交変換部１７及び加算器２１へ出力する。

また、予測誤差画像生成部１５は、符号化対象マクロブロック内のブロックと予測画像間の差分により予測誤差画像を生成する（ステップＳ１０３）。そして予測誤差画像生成部１５は、予測誤差画像を予測誤差直交変換部１６へ出力する。そして予測誤差直交変換部１６は、予測誤差画像を直交変換することにより予測誤差画像の複数の周波数係数を算出する（ステップＳ１０４）。そして予測誤差直交変換部１６は、予測誤差画像の複数の周波数係数を周波数係数適応符号化部１９へ出力する。
一方、予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の複数の周波数係数を算出する（ステップＳ１０５）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ１０６）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応符号化部１９の適応量子化／逆量子化部１９１及び適応量子化係数符号化部１９２へそれぞれ出力する。

適応量子化／逆量子化部１９１の乗算器１９１１は、予測誤差画像の各周波数係数に予測画像の対応する周波数のサインを乗じて各補正周波数係数を算出する（ステップＳ１０７）。そして乗算器１９１１は、各補正周波数係数を適応量子化／逆量子化部１９１の非線形量子化部１９１４へ出力する。
非線形量子化部１９１４は、各補正周波数係数に対して、正の補正周波数係数に対する隣接量子化代表値間の間隔よりも負の補正周波数係数に対する隣接量子化代表値間の間隔が広くなるように定められた量子化代表値のうちの最も近い量子化代表値を求める。そして非線形量子化部１９１４は、量子化代表値に対応する補正量子化係数を求める（ステップＳ１０８）。非線形量子化部１９１４から出力された補正量子化係数は、適応量子化／逆量子化部１９１の非線形逆量子化部１９１５へ入力される。また非線形量子化部１９１４から出力された補正量子化係数は、乗算器１９１２により予測誤差画像の対応する周波数のサインと一致するよう、予測画像の対応する周波数のサインが乗じられて各量子化係数が算出される。その後、各量子化係数は、適応量子化係数符号化部１９２に入力される。

図１２に示されるように、適応量子化係数符号化部１９２の有効係数情報生成部１９２１は、各量子化係数のうち、0でない絶対値を持つ有効係数の位置、絶対値及びサインに関する情報を抽出する（ステップＳ１０９）。そして有効係数情報生成部１９２１は、有効係数の位置情報を適応量子化係数符号化部１９２の有効係数位置情報符号化部１９２２へ出力する。また有効係数情報生成部１９２１は、有効係数の絶対値情報を適応量子化係数符号化部１９２の有効係数絶対値情報符号化部１９２３へ出力する。そして有効係数情報生成部１９２１は、有効係数の符号情報を適応量子化係数符号化部１９２の排他的論理和部１９２４へ出力する。
有効係数位置情報符号化部１９２２は、有効係数の位置情報をエントロピー符号化する。また有効係数絶対値情報符号化部１９２３は、有効係数の絶対値をエントロピー符号化する（ステップＳ１１０）。有効係数位置情報符号化部１９２２及び有効係数絶対値情報符号化部１９２３は、それぞれ、エントロピー符号化された有効係数の位置情報及び有効係数の絶対値情報を図示しない統合部へ出力する。

一方、排他的論理和部１９２４は、各有効係数のサインを表す値と予測画像の対応する周波数のサインを表す値との間で排他的論理和演算を実行する。そして排他的論理和部１９２４は、各有効係数のサインが予測画像の対応する周波数のサインと一致するか否かを表す符号一致予測情報を算出する（ステップＳ１１１）。排他的論理和部１９２４は、符号一致予測情報を有効係数符号情報予測符号化部１９２５へ出力する。
有効係数符号情報予測符号化部１９２５は、符号一致予測情報をエントロピー符号化する（ステップＳ１１２）。そして有効係数符号情報予測符号化部１９２５は、エントロピー符号化された符号一致予測情報を統合部へ出力する。
また、サイド情報符号化部２３は、動きベクトルなどのサイド情報を符号化する（ステップＳ１１３）。そしてサイド情報符号化部２３は、符号化されたサイド情報を統合部へ出力する。

また、動画像符号化装置１は、以降のマクロブロックまたはピクチャを符号化するために利用される参照ピクチャまたは参照ブロックを生成する。そのために、周波数係数適応符号化部１９の非線形逆量子化部１９１５は、各補正量子化係数を逆量子化して各補正周波数係数を再生する。そして再生された各補正周波数係数は、乗算器１９１３により、予測画像の対応する周波数のサインが乗じられることで、予測誤差画像の複数の周波数係数が再生される（ステップＳ１１４）。その後、再生された予測誤差画像の複数の周波数係数は、逆変換部２０に入力される。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ１１５）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して符号化対象マクロブロック内の、その予測画像及び予測誤差画像に対応するブロックを再生する（ステップＳ１１６）。そして加算器２１は、再生されたブロックを所定の順序に従って結合することにより、符号化対象マクロブロックを再生する。さらに加算器２１は、再生された符号化対象マクロブロックを所定の符号化順序に従って順次結合することにより、参照ピクチャを作成する。そして加算器２１は、参照ピクチャを画像メモリ２２に記憶させる。
なお、ステップＳ１０２〜Ｓ１１６の処理は、符号化対象マクロブロック内の各ブロックについて実行される。

その後、動画像符号化装置１は、動画像符号化処理を終了する。なお、動画像符号化装置１は、ステップＳ１０４の処理とＳ１０５の処理の順序を入れ換えてもよい。また動画像符号化装置１は、ステップＳ１１０の処理とＳ１１１及びＳ１１２の処理の順序を入れ換えてもよい。さらに、動画像符号化装置１は、ステップＳ１１４〜Ｓ１１６の処理と、ステップＳ１０９〜Ｓ１１３の処理の順序を入れ換えてもよい。
また、動画像符号化装置１は、ステップＳ１０９〜Ｓ１１２の処理の代わりに、各量子化係数に対応する量子化代表値の出現確率に応じたエントロピー符号を各量子化係数に割り当てることで、各量子化係数をエントロピー符号化する処理を実行してもよい。

以上に説明してきたように、第１の実施形態による動画像符号化装置は、符号化対象マクロブロック内の各予測誤差画像の周波数係数よりも情報量が少ない補正周波数係数を算出し、その補正周波数係数を量子化する。またこの動画像符号化装置は、補正周波数係数に対する量子化代表値を、その量子化代表値の出現確率に応じて適切に設定できる。そのため、この動画像符号化装置は、各予測誤差画像の周波数係数を符号化するために要する情報量を削減できるので、各予測誤差画像の周波数係数の符号化効率を向上できる。さらに、この動画像符号化装置は、量子化係数を、その量子化係数に対応する量子化代表値の出現確率に応じてエントロピー符号化するか、有効係数の符号一致予測情報をエントロピー符号化できるので、符号化効率をさらに向上できる。

次に第２の実施形態による動画像復号装置について説明する。この第２の実施形態による動画像復号装置は、第１の実施形態による動画像符号化装置によって符号化された動画像データを再生する。
図１３は、第２の実施形態による動画像復号装置の概略構成図である。図１３に示されるように、動画像復号装置２は、周波数係数適応復号部２４と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測画像直交変換部１７と、符号判定部１８と、逆変換部２０と、加算器２１と、画像メモリ２２とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置２が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置２に実装されてもよい。さらに、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
また図１３において、動画像復号装置２の各部には、図１に示された動画像符号化装置１の対応する各部の参照番号と同一の参照番号を付した。
動画像復号装置２のイントラ予測部１２、動き補償部１３、セレクタ１４、予測画像直交変換部１７、符号判定部１８、逆変換部２０、加算器２１及び画像メモリ２２は、それぞれ、動画像符号化装置１の対応する構成要素と同一の構成及び機能を有する。そのため、イントラ予測部１２、動き補償部１３、セレクタ１４、予測画像直交変換部１７、符号判定部１８、逆変換部２０、加算器２１及び画像メモリ２２の詳細については、動画像符号化装置１の関連する部分の説明を参照されたい。

動画像復号装置２は、符号化された動画像データを含むデータストリームを、例えば、通信ネットワーク及び動画像復号装置２を通信ネットワークに接続するためのインターフェース回路（図示せず）を介して取得する。そして動画像復号装置２は、そのデータストリームから取り出した符号化された動画像データを、図示しないバッファメモリに記憶させる。動画像復号装置２は、符号化された動画像データを、所定の単位、例えば、マクロブロックごと、あるいはピクチャごとにバッファメモリから読み出し、その読み出したデータを周波数係数適応復号部２４へ入力する。

周波数係数適応復号部２４は、エントロピー符号化された動きベクトルなどのサイド情報を復号する。そして周波数係数適応復号部２４は、各マクロブロックのうち、インター予測符号化されたマクロブロックの動きパラメータを動き補償部１３へ出力する。また周波数係数適応復号部２４は、各マクロブロックのうち、イントラ予測符号化されたマクロブロックのイントラ予測符号化モードを示す情報をイントラ予測部１２へ出力する。さらに周波数係数適応復号部２４は、復号対象マクロブロックの予測符号化モードをセレクタ１４へ出力する。そして復号対象マクロブロックがイントラ予測符号化されている場合、イントラ予測部１２が既に復号されている参照ブロックから予測画像を作成する。一方、復号対象マクロブロックがインター予測符号化されている場合、動き補償部１３が、既に復号されている参照ピクチャに基づいて予測画像を作成する。イントラ予測部１２または動き補償部１３で作成された予測画像は、セレクタ１４に入力され、セレクタ１４は、その予測画像を予測画像直交変換部１７及び加算器２１へ出力する。

また周波数係数適応復号部２４は、適応復号部の一例であり、符号化された動画像データから、復号対象マクロブロックに含まれる各ブロックの予測誤差画像の複数の周波数係数を再生する。
図１４は、予測誤差画像の複数の周波数係数の再生に関する、周波数係数適応復号部２４の概略構成図である。
周波数係数適応復号部２４は、適応量子化係数復号部２４１と、適応逆量子化部２４２とを有する。

適応量子化係数復号部２４１は、エントロピー符号化されている有効係数位置情報、有効係数絶対値情報及び符号一致予測情報を復号することにより、量子化係数を再生する。そのために、適応量子化係数復号部２４１は、有効係数位置情報復号部２４１１と、有効係数絶対値情報復号部２４１２と、有効係数符号情報予測復号部２４１３と、排他的論理和部２４１４と、有効係数情報再生部２４１５とを有する。

有効係数位置情報復号部２４１１は、動画像符号化装置１の有効係数位置情報符号化部１９２２により用いられたエントロピー符号化方式に従って、エントロピー符号化されている有効係数位置情報を復号する。そして有効係数位置情報復号部２４１１は、復号した有効係数位置情報を有効係数情報再生部２４１５へ出力する。
また有効係数絶対値情報復号部２４１２は、動画像符号化装置１の有効係数絶対値情報符号化部１９２３により用いられたエントロピー符号化方式に従って、エントロピー符号化されている有効係数絶対値情報を復号する。そして有効係数絶対値情報復号部２４１２は、復号した有効係数絶対値情報を有効係数情報再生部２４１５へ出力する。

有効係数符号情報予測復号部２４１３は、動画像符号化装置１の有効係数符号情報予測符号化部１９２５により用いられたエントロピー符号化方式に従って、エントロピー符号化されている符号一致予測情報を復号する。そして有効係数符号情報予測復号部２４１３は、復号した符号一致予測情報を排他的論理和部２４１４へ出力する。
排他的論理和部２４１４は、符号判定部１８から、各有効係数が表す周波数成分と同じ周波数成分を表す予測画像の周波数係数のサインを表す値を受け取る。なお、このサインを表す値は、例えば、第１の実施形態による動画像符号化装置１の排他的論理和部１９２４が受け取る値と同じ値である。
排他的論理和部２４１４は、有効係数符号情報予測復号部２４１３から受け取った符号一致予測情報に含まれる、各有効係数の符号一致予測値と、その有効係数に対応する予測画像の周波数係数のサインを表す値との排他的論理和演算を行う。なお、符号一致予測値は、有効係数の符号情報が表す値と予測画像の対応する周波数係数との排他的論理和である。そのため、符号一致予測値と予測画像の対応する周波数係数との排他的論理和を求めることにより、各有効係数の符号情報が復号される。
排他的論理和部２４１４は、各有効係数の符号情報を有効係数情報再生部２４１５へ出力する。

有効係数情報再生部２４１５は、各有効係数の絶対値情報及び符号情報を組み合わせることにより、各有効係数を再生する。そして有効係数情報再生部２４１５は、有効係数を、有効係数の位置情報に従って配列し、有効係数以外のところに、'0'の値を挿入することにより、予測誤差画像の複数の量子化係数を再生する。
有効係数情報再生部２４１５は、再生した予測誤差画像の複数の量子化係数を適応逆量子化部２４２へ出力する。

また、量子化代表値の出現確率に応じたエントロピー符号が各量子化係数に割り当てられるよう、各量子化係数がエントロピー符号化されている場合、周波数係数適応復号部２４は、適用されたエントロピー符号化方式に従って各量子化係数を復号する。
そして周波数係数適応複合部２４は、再生した各量子化係数を適応逆量子化部２４２へ出力する。

適応逆量子化部２４２は、予測誤差画像の複数の量子化係数に基づいて、予測誤差画像の複数の周波数係数を再生する。そのために、適応逆量子化部２４２は、乗算器２４２１、２４２２と、非線形逆量子化部２４２３とを有する。

乗算器２４２１は、予測誤差画像の各量子化係数に、その量子化係数が表す周波数成分と同じ周波数成分を表す予測画像の対応する周波数係数のサインを乗じることで、補正量子化係数を再生する。そして乗算器２４２１は、補正量子化係数を非線形逆量子化部２４２３へ出力する。
非線形逆量子化部２４２３は、動画像符号化装置１の非線形逆量子化部１９１５と同様に、各補正量子化係数を逆量子化することにより、補正周波数係数を再生する。本実施形態では、非線形逆量子化部２４２３は、動画像符号化装置１の非線形量子化部１９１４にて用いられた、補正量子化係数のサインに応じて異なる量子化スケールを用いて逆量子化する。例えば、非線形逆量子化部２４２３は、（８）式に従って各補正量子化係数を逆量子化する。
あるいは、量子化代表値間の間隔が、補正周波数係数の絶対値に応じて変化するように設定されている場合、非線形逆量子化部２４２３は、例えば、補正量子化係数と量子化代表値との対応関係を表す参照テーブルを内蔵するメモリに予め記憶しておく。そして非線形逆量子化部２４２３は、その参照テーブルを参照して、補正量子化係数に対応する量子化代表値を、再生される補正周波数係数として求める。
非線形逆量子化部２４２３は、再生した各補正周波数係数を乗算器２４２２へ出力する。

乗算器２４２２は、再生された各補正周波数係数に、予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の複数の周波数係数を再生する。これにより、再生された各量子化係数に対して、予測画像の対応する周波数係数のサインが２回乗じられたことになる。したがって、乗算器２４２２から出力される再生された各周波数係数のサインは、予測誤差画像の対応する周波数係数のサインと一致する。
乗算器２４２２から出力された、再生された各周波数係数は、逆変換部２０へ入力される。
なお、動画像符号化装置１と同様に、再生された各周波数係数が逆変換部２０にて逆直交変換されることにより、予測誤差画像が再生される。そして加算器２１が、その予測誤差画像の各画素の値に、対応する予測画像の画素の値を加算することで、復号対象ブロックが再生される。

動画像復号装置２は、ピクチャごとに、再生されたマクロブロックをその符号化順序に従って結合することにより、ピクチャを再生する。そして動画像復号装置２は、ピクチャを時間順に配置して、動画像データを再生する。動画像復号装置２は、再生した動画像データを出力する。出力された動画像データは、例えば、図示しない記憶装置に記憶される。また出力された動画像データは、動画像復号装置２と接続された、図示しない表示装置に表示される。

図１５及び図１６は、第２の実施形態による動画像復号処理の動作フローチャートである。動画像復号装置２は、この動画像復号処理を復号対象マクロブロックごとに実行する。
周波数係数適応復号部２４は、エントロピー符号化された動きベクトルなどのサイド情報を復号する（ステップＳ２０１）。そして周波数係数適応復号部２４は、イントラ予測部１２、動き補償部１３及びセレクタ１４に対して、サイド情報に含まれる情報のうち、それらの各部で使用される予測符号化モード、動きベクトルなどの情報を出力する。そして動画像復号装置２は、予測符号化モードに応じて、復号対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ２０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測画像直交変換部１７及び加算器２１へ出力する。

予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の複数の周波数係数を算出する（ステップＳ２０３）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ２０４）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応復号部２４の適応量子化係数復号部２４１及び適応逆量子化部２４２へそれぞれ出力する。

適応量子化係数復号部２４１の有効係数位置情報復号部２４１１は、有効係数の位置情報をエントロピー復号する。また適応量子化係数復号部２４１の有効係数絶対値情報復号部２４１２は、有効係数の絶対値をエントロピー復号する（ステップＳ２０５）。有効係数位置情報復号部２４１１及び有効係数絶対値情報復号部２４１２は、それぞれ、復号された有効係数の位置情報及び有効係数の絶対値情報を適応量子化係数復号部２４１の有効係数情報再生部２４１５へ出力する。

また、適応量子化係数復号部２４１の有効係数符号情報予測復号部２４１３は、符号一致予測情報をエントロピー復号する（ステップＳ２０６）。そして有効係数符号情報予測復号部２４１３は、復号された符号一致予測情報を適応量子化係数復号部２４１の排他的論理和部２４１４へ出力する。そして排他的論理和部２４１４は、符号一致予測情報に含まれる各符号一致予測値と予測画像の対応する周波数のサインを表す値との排他的論理和を求めることにより、有効係数の符号情報を再生する（ステップＳ２０７）。排他的論理和部２４１４は、有効係数の符号情報を有効係数情報再生部２４１５へ出力する。
有効係数情報再生部２４１５は、有効係数の位置情報、絶対値情報及び符号情報に基づいて予測誤差画像の複数の量子化係数を再生する（ステップＳ２０８）。そして有効係数情報再生部２４１５は、再生した予測誤差画像の複数の量子化係数を適応逆量子化部２４２へ出力する。

図１６に示されるように、適応逆量子化部２４２の乗算器２４２１は、予測誤差画像の各量子化係数に、予測画像の対応する周波数係数のサインを乗じることで、補正量子化係数を再生する（ステップＳ２０９）。そして乗算器２４２１は、補正量子化係数を適応逆量子化部２４２の非線形逆量子化部２４２３へ出力する。
非線形逆量子化部２４２３は、正の値と負の値とで隣接する量子化代表値間の間隔が異なるように定められた量子化代表値のうち、補正量子化係数に対応する量子化代表値を求めることで各補正量子化係数を逆量子化する。これにより、非線形逆量子化部２４２３は各補正周波数係数を再生する（ステップＳ２１０）。そして非線形逆量子化部２４２３は、再生した各補正周波数係数を適応逆量子化部２４２の乗算器２４２２へ出力する。

乗算器２４２２は、再生された各補正周波数係数に、予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の複数の周波数係数を再生する（ステップＳ２１１）。乗算器２４２２から出力された、再生された各周波数係数は、逆変換部２０へ入力される。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ２１２）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して復号対象ブロックを再生する（ステップＳ２１３）。そして加算器２１は、再生された復号対象ブロックを所定の順序に従って結合することにより、復号対象マクロブロックを再生する。さらに加算器２１は、再生された復号対象マクロブロックを所定の符号化順序に従って順次結合することにより、ピクチャを再生する。そして加算器２１は、再生されたピクチャを出力するとともに、その再生されたピクチャを参照ピクチャとして画像メモリ２２に記憶させる。
なお、ステップＳ２０２〜Ｓ２１３の処理は、復号対象マクロブロック内の各ブロックについて実行される。
その後、動画像復号装置２は、動画像復号処理を終了する。なお、動画像復号装置２は、ステップＳ２０５の処理とステップＳ２０６及びＳ２０７の処理の順序を入れ換えてもよい。
また、動画像符号化装置１について説明したように、補正量子化係数の量子化代表値の出現確率に応じたエントロピー符号が各量子化係数に割り当てられるよう、各量子化係数がエントロピー符号化されていてもよい。この場合、動画像復号装置２は、ステップＳ２０４〜Ｓ２０８の処理の代わりに、適用されたエントロピー符号化方式に従って各量子化係数を復号してもよい。

以上に説明してきたように、第２の実施形態による動画像復号装置は、第１の実施形態による動画像符号化装置により符号化された動画像データを復号できる。

次に、第３の実施形態による動画像符号化装置について説明する。第３の実施形態による動画像符号化装置は、有効係数の符号情報に関して、第１の実施形態と同様に、有効係数のサインと予測画像の対応する周波数のサインが一致するか否かを表す符号一致予測情報をエントロピー符号化する。ただし、この動画像符号化装置は、予測誤差画像の各周波数係数を従来技術と同様に量子化する。

図１７は、第３の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置３は、予測モード判定部１１と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測誤差画像生成部１５と、予測誤差直交変換部１６と、予測画像直交変換部１７と、符号判定部１８と、周波数係数適応符号化部３１と、逆変換部２０と、加算器２１と、画像メモリ２２と、サイド情報符号化部２３とを有する。
動画像符号化装置３が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置３が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置３に実装されてもよい。さらに、動画像符号化装置３が有するこれらの各部は、動画像符号化装置３が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

また図１７において、動画像符号化装置３の各部には、図１に示された動画像符号化装置１の対応する各部の参照番号と同一の参照番号を付した。
第３の実施形態による動画像符号化装置３は、第１の実施形態による動画像符号化装置１と比較して、周波数係数適応符号化部３１のみが異なる。そのため、以下では、周波数係数適応符号化部３１について説明する。動画像符号化装置３のその他の各部の詳細については、動画像符号化装置１の関連する部分の説明を参照されたい。

図１８は、第３の実施形態による周波数係数適応符号化部３１の概略構成図である。周波数係数適応符号化部３１は、適応符号化部の一例であり、量子化部３１１と、逆量子化部３１２と、適応量子化係数符号化部１９２とを有する。
量子化部３１１は、符号化対象マクロブロック内の各ブロックについての予測誤差画像の複数の周波数係数をそれぞれ量子化する。この場合、上記のように、周波数係数の正の値の出現確率と、周波数係数の負の値の出現確率は略等しい。そこで量子化部３１１は、周波数係数の符号によらずに決定された量子化代表値を用いて、各周波数係数を量子化する。量子化代表値は、例えば、M. D .Paez, T. H. Glisson, “Minimum Mean-Squared-Error Quantization in Speech PCM and DPCM Systems”, IEEE TRANSACTIONS ON COMMUNICATIONS, 1972年4月, pp.225-230に開示された方法に従って決定される。そして量子化部３１１は、周波数係数に最も近い量子化代表値を求め、その量子化代表値に対応する量子化係数を、その周波数係数に対する量子化係数として求める。

あるいは、量子化部３１１は、所定の量子化パラメータの値に対する量子化スケールを表す関数にしたがって、使用される量子化スケールを決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化スケールを規定する量子化マトリクスが、予め複数準備され、量子化部３１１が有するメモリに記憶される。そして量子化部３１１は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして量子化部３１１は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化スケールを決定してもよい。

また量子化部３１１は、MPEG-2、MPEG-4、MPEG-4 AVC/H.264などの動画像符号化標準に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。量子化部３１１は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。

量子化部３１１は、各量子化係数を逆量子化部３１２及び適応量子化係数符号化部１９２へ出力する。

逆量子化部３１２は、各量子化係数に、量子化部３１１により決定された、その量子化係数に対応する量子化スケールを乗じることにより逆量子化する。この逆量子化により、予測誤差画像の複数の周波数係数が再生される。この実施形態では、量子化スケールは、'正'の値を持つ量子化係数及び'負'の値を持つ量子化係数の何れについても同一の値が使用される。あるいは、逆量子化部３１２は、量子化代表値と量子化係数との関係を表す参照テーブルを参照して、量子化係数に対応する量子化代表値を再生される周波数係数として求めてもよい。
逆量子化部３１２は、再生された予測誤差画像の複数の周波数係数を逆変換部２０へ出力する。そして再生された予測誤差画像の各周波数係数は、第１の実施形態による動画像符号化装置１と同様に、参照ピクチャまたは参照ブロックを作成するために利用される。

適応量子化係数符号化部１９２は、第１の実施形態による動画像符号化装置１が有する適応量子化係数符号化部１９２と同様の構成及び機能を有する。すなわち、適応量子化係数符号化部１９２は、有効係数情報生成部１９２１と、有効係数位置情報符号化部１９２２と、有効係数絶対値情報符号化部１９２３と、排他的論理和部１９２４と、有効係数符号情報予測符号化部１９２５とを有する。

適応量子化係数符号化部１９２は、符号化対象マクロブロック内の各予測誤差画像の量子化係数のうちの有効係数を検出し、有効係数の位置情報及び絶対値情報をそれぞれエントロピー符号化する。さらに、適応量子化係数符号化部１９２は、有効係数に対応する予測画像の周波数係数のサインを表す値を符号判定部１８から受け取る。適応量子化係数符号化部１９２は、有効係数のサインを表す値とその有効係数に対応する予測画像の周波数係数のサインを表す値との排他的論理和演算により、有効係数のサインと予測画像の対応する周波数係数のサインとが一致するか否かを表す符号一致予測情報を求める。この符号一致予測情報は、符号一致情報の一例である。そして適応量子化係数符号化部１９２は、符号一致予測情報をエントロピー符号化する。
適応量子化係数符号化部１９２は、エントロピー符号化された有効係数の位置情報及び絶対値情報とエントロピー符号化された符号一致予測情報とを図示しない統合部へ出力する。そして統合部により、これらのエントロピー符号化された情報とエントロピー符号化されたサイド情報とが所定のフォーマットに従ってデータストリームに格納される。

図１９及び図２０は、第３の実施形態による動画像符号化処理の動作フローチャートである。なお、動画像符号化装置３は、この動画像符号化処理を予測符号化される符号化対象マクロブロックごとに実行する。なお、動画像符号化装置３は、符号化対象マクロブロックが予測符号化されない場合、その符号化対象マクロブロックを、例えば、MPEG-4 AVC/H.264に規定されたイントラ予測符号化方式に従って符号化する。

予測モード判定部１１は、符号化対象マクロブロック及び画像メモリ２２に記憶されている参照ピクチャに基づいて予測符号化モードを決定する（ステップＳ３０１）。動画像符号化装置１は、予測符号化モードに応じて、符号化対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ３０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測誤差画像生成部１５、予測画像直交変換部１７及び加算器２１へ出力する。

また、予測誤差画像生成部１５は、符号化対象マクロブロック内のブロックと予測画像間の差分により予測誤差画像を生成する（ステップＳ３０３）。そして予測誤差画像生成部１５は、予測誤差画像を予測誤差直交変換部１６へ出力する。そして予測誤差直交変換部１６は、予測誤差画像を直交変換することにより予測誤差画像の複数の周波数係数を算出する（ステップＳ３０４）。そして予測誤差直交変換部１６は、予測誤差画像の複数の周波数係数を周波数係数適応符号化部３１へ出力する。
一方、予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の周波数係数の組を算出する（ステップＳ３０５）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ３０６）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応符号化部３１へ出力する。

量子化部３１１１は、予測誤差画像の複数の周波数係数のそれぞれを所定の量子化スケールを用いて量子化することにより、複数の量子化係数を求める（ステップＳ３０７）。そして量子化部３１１１は、各量子化係数を逆量子化部３１２及び適応量子化係数符号化部１９２へ出力する。

図２０に示されるように、適応量子化係数符号化部１９２の有効係数情報生成部１９２１は、各量子化係数のうち、0でない絶対値を持つ有効係数の位置、絶対値及びサインに関する情報を抽出する（ステップＳ３０８）。そして有効係数情報生成部１９２１は、有効係数の位置情報を適応量子化係数符号化部１９２の有効係数位置情報符号化部１９２２へ出力する。また有効係数情報生成部１９２１は、有効係数の絶対値情報を適応量子化係数符号化部１９２の有効係数絶対値情報符号化部１９２３へ出力する。そして有効係数情報生成部１９２１は、有効係数の符号情報を適応量子化係数符号化部１９２の排他的論理和部１９２４へ出力する。
有効係数位置情報符号化部１９２２は、有効係数の位置情報をエントロピー符号化する。また有効係数絶対値情報符号化部１９２３は、有効係数の絶対値をエントロピー符号化する（ステップＳ３０９）。有効係数位置情報符号化部１９２２及び有効係数絶対値情報符号化部１９２３は、それぞれ、エントロピー符号化された有効係数の位置情報及び有効係数の絶対値情報を図示しない統合部へ出力する。

一方、排他的論理和部１９２４は、各有効係数のサインを表す値と予測画像の対応する周波数のサインを表す値との間で排他的論理和演算を実行する。そして排他的論理和部１９２４は、符号一致予測情報を算出する（ステップＳ３１０）。排他的論理和部１９２４は、符号一致予測情報を有効係数符号情報予測符号化部１９２５へ出力する。
有効係数符号情報予測符号化部１９２５は、符号一致予測情報をエントロピー符号化する（ステップＳ３１１）。そして有効係数符号情報予測符号化部１９２５は、エントロピー符号化された符号一致予測情報を統合部へ出力する。
また、サイド情報符号化部２３は、動きベクトルなどのサイド情報を符号化する（ステップＳ３１２）。そしてサイド情報符号化部２３は、符号化されたサイド情報を統合部へ出力する。

また、動画像符号化装置３は、以降のマクロブロックまたはピクチャを符号化するために利用される参照ピクチャを生成する。そのために、周波数係数適応符号化部１９の逆量子化部３１２は、各量子化係数を逆量子化して予測誤差画像の複数の周波数係数を再生する（ステップＳ３１３）。そして再生された複数の周波数係数は、逆変換部２０に入力される。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ３１４）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して符号化対象マクロブロック内の、その予測画像及び予測誤差画像に対応するブロックを再生する（ステップＳ３１５）。そして加算器２１は、再生されたブロックを所定の順序に従って結合することにより、符号化対象マクロブロックを再生する。さらに加算器２１は、再生された符号化対象マクロブロックを所定の符号化順序に従って順次結合することにより、参照ピクチャを作成する。そして加算器２１は、参照ピクチャを画像メモリ２２に記憶させる。
なお、ステップＳ３０２〜Ｓ３１５の処理は、符号化対象マクロブロック内の各ブロックについて実行される。

その後、動画像符号化装置３は、動画像符号化処理を終了する。なお、動画像符号化装置３は、ステップＳ３０４の処理とＳ３０５の処理の順序を入れ換えてもよい。また動画像符号化装置３は、ステップＳ３０９の処理とＳ３１０及びＳ３１１の処理の順序を入れ換えてもよい。さらに、動画像符号化装置３は、ステップＳ３１３〜Ｓ３１５の処理と、ステップＳ３０８〜Ｓ３１２の処理の順序を入れ換えてもよい。

以上に説明してきたように、第３の実施形態による動画像符号化装置は、符号化対象マクロブロック内の各予測誤差画像の有効係数のサインと予測画像の対応する周波数係数のサインが一致するか否かを表す符号一致予測情報をエントロピー符号化する。両者のサインが一致することを表す値の出現確率の方が両者のサインが一致しないことを表す値の出現確率よりも高いので、符号一致予測情報の情報量は、有効係数のサインそのものの情報量よりも少ない。そのため、この動画像符号化装置は、有効係数のサインそのものを符号化した場合よりも符号化効率を向上できる。

次に第４の実施形態による動画像復号装置について説明する。この第４の実施形態による動画像復号装置は、第３の実施形態による動画像符号化装置によって符号化された動画像データを再生する。
図２１は、第４の実施形態による動画像復号装置の概略構成図である。図２１に示されるように、動画像復号装置４は、周波数係数適応復号部４１と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測画像直交変換部１７と、符号判定部１８と、逆変換部２０と、加算器２１と、画像メモリ２２とを有する。
動画像復号装置４が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置４が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置４に実装されてもよい。さらに、動画像復号装置４が有するこれらの各部は、動画像復号装置４が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
また図２１において、動画像復号装置４の各部には、図１３に示された動画像復号装置２の対応する各部の参照番号と同一の参照番号を付した。
第４の実施形態による動画像復号装置４は、第２の実施形態による動画像復号装置２と比較して、周波数係数適応復号部４１のみが異なる。そのため、以下では、周波数係数適応符号化部４１について説明する。

周波数係数適応復号部４１は、エントロピー符号化された動きベクトルなどのサイド情報を復号する。そして周波数係数適応復号部４１は、各マクロブロックのうち、インター予測符号化されたマクロブロックの動きパラメータを動き補償部１３へ出力する。また周波数係数適応復号部４１は、各マクロブロックのうち、イントラ予測符号化されたマクロブロックのイントラ予測符号化モードを示す情報をイントラ予測部１２へ出力する。さらに周波数係数適応復号部４１は、復号対象マクロブロックの予測符号化モードをセレクタ１４へ出力する。そして復号対象マクロブロックがイントラ予測符号化されている場合、イントラ予測部１２が既に復号されている参照ブロックから予測画像を作成する。一方、復号対象マクロブロックがインター予測符号化されている場合、動き補償部１３が、既に復号されている参照ピクチャに基づいて予測画像を作成する。イントラ予測部１２または動き補償部１３で作成された予測画像は、セレクタ１４に入力され、セレクタ１４は、その予測画像を予測画像直交変換部１７及び加算器２１へ出力する。

また周波数係数適応復号部４１は、適応復号部の一例であり、符号化された動画像データから、復号対象マクロブロックに含まれる各ブロックの予測誤差画像の複数の周波数係数を再生する。

図２２は、予測誤差画像の複数の周波数係数の再生に関する、第４の実施形態による周波数係数適応復号部４１の概略構成図である。周波数係数適応復号部４１は、適応量子化係数復号部２４１と、逆量子化部４１１とを有する。

適応量子化係数復号部２４１は、第２の実施形態による動画像復号装置２が有する適応量子化係数復号部２４１と同様の構成及び機能を有する。すなわち、適応量子化係数復号部２４１は、有効係数位置情報復号部２４１１と、有効係数絶対値情報復号部２４１２と、有効係数符号情報予測復号部２４１３と、排他的論理和部２４１４と、有効係数情報再生部２４１５とを有する。
適応量子化係数復号部２４１の有効係数位置情報復号部２４１１と、有効係数絶対値情報復号部２４１２は、それぞれ、エントロピー符号化されている有効係数位置情報、有効係数絶対値情報を復号する。また適応量子化係数復号部２４１の有効係数符号情報予測復号部２４１３は、エントロピー符号化されている符号一致予測情報を復号する。そして適応量子化係数復号部２４１の排他的論理和部２４１４は符号一致予測情報に含まれる有効係数の符号一致予測値と、判定部１８から受け取った予測画像の対応する周波数のサインを表す値との排他的論理和演算を行って、有効係数の符号情報を再生する。
そして適応量子化係数復号部２４１の有効係数情報再生部２４１５は、有効係数位置情報、有効係数絶対値情報及び有効係数符号情報に基づいて、複数の量子化係数を再生する。適応量子化係数復号部２４１は、再生した量子化係数を逆量子化部４１１へ出力する。

逆量子化部４１１は、各量子化係数に、その量子化係数に対応する量子化スケールを乗じることにより逆量子化する。この逆量子化により、予測誤差画像の複数の周波数係数が再生される。この実施形態では、量子化スケールは、'正'の値を持つ量子化係数及び'負'の値を持つ量子化係数の何れについても同一の値が使用される。
あるいは、逆量子化部４１１は、量子化代表値と量子化係数との関係を表す参照テーブルを参照して、量子化係数に対応する量子化代表値を、再生される周波数係数として求めてもよい。
逆量子化部４１１は、再生された予測誤差画像の複数の周波数係数を逆変換部２０へ出力する。
そして動画像復号装置２と同様に、再生された各周波数係数が逆変換部２０にて逆直交変換されることにより、予測誤差画像が再生される。そして加算器２１が、その予測誤差画像の各画素の値に、対応する予測画像の画素の値を加算することで、復号対象ブロックが再生される。

動画像復号装置４は、ピクチャごとに、再生されたマクロブロックをその符号化順序に従って結合することにより、ピクチャを再生する。

図２３及び図２４は、第４の実施形態による動画像復号処理の動作フローチャートである。なお、動画像復号装置４は、この動画像復号処理を復号対象マクロブロックごとに実行する。
周波数係数適応復号部４１は、エントロピー符号化された動きベクトルなどのサイド情報を復号する（ステップＳ４０１）。そして周波数係数適応復号部４１は、イントラ予測部１２、動き補償部１３及びセレクタ１４に対して、サイド情報に含まれる情報のうち、それらの各部で使用される予測符号化モード、動きベクトルなどの情報を出力する。そして動画像復号装置２は、予測符号化モードに応じて、復号対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ４０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測画像直交変換部１７及び加算器２１へ出力する。

予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の複数の周波数係数を算出する（ステップＳ４０３）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ４０４）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応復号部４１の適応量子化係数復号部２４１へ出力する。

適応量子化係数復号部２４１の有効係数位置情報復号部２４１１は、有効係数の位置情報をエントロピー復号する。また適応量子化係数復号部２４１の有効係数絶対値情報復号部２４１２は、有効係数の絶対値をエントロピー復号する（ステップＳ４０５）。有効係数位置情報復号部２４１１及び有効係数絶対値情報復号部２４１２は、それぞれ、復号された有効係数の位置情報及び有効係数の絶対値情報を適応量子化係数復号部２４１の有効係数情報再生部２４１５へ出力する。
また、適応量子化係数復号部２４１の有効係数符号情報予測復号部２４１３は、符号一致予測情報をエントロピー復号する（ステップＳ４０６）。そして有効係数符号情報予測復号部２４１３は、復号された符号一致予測情報を適応量子化係数復号部２４１の排他的論理和部２４１４へ出力する。そして排他的論理和部２４１４は、符号一致予測情報に含まれる各符号一致予測値と予測画像の対応する周波数のサインとの排他的論理和を求めることにより、有効係数の符号情報を再生する（ステップＳ４０７）。排他的論理和部２４１４は、有効係数の符号情報を有効係数情報再生部２４１５へ出力する。
有効係数情報再生部２４１５は、有効係数の位置情報、絶対値情報及び符号情報に基づいて予測誤差画像の複数の量子化係数を再生する（ステップＳ４０８）。そして有効係数情報再生部２４１５は、再生した予測誤差画像の複数の量子化係数を周波数係数適応復号部４１の逆量子化部４１３へ出力する。

図２４に示されるように、逆量子化部４１１は、各量子化係数を、正の値と負の値とで同一の量子化スケールを用いて逆量子化することにより、予測誤差画像の複数の周波数係数を復元する（ステップＳ４０９）。そして逆量子化部４１１は、再生した各周波数係数を逆変換部２０へ出力する。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ４１０）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して復号対象ブロックを再生する（ステップＳ４１１）。そして加算器２１は、再生された復号対象ブロックを所定の順序に従って結合することにより、復号対象マクロブロックを再生する。さらに加算器２１は、再生された復号対象マクロブロックを所定の符号化順序に従って順次結合することにより、ピクチャを再生する。そして加算器２１は、再生されたピクチャを出力するとともに、その再生されたピクチャを参照ピクチャとして画像メモリ２２に記憶させる。
なお、ステップＳ４０２〜Ｓ４１１の処理は、復号対象マクロブロック内の各ブロックについて実行される。
その後、動画像復号装置４は、動画像復号処理を終了する。なお、動画像復号装置２は、ステップＳ４０５の処理とステップＳ４０６及びＳ４０７の処理の順序を入れ換えてもよい。

以上に説明してきたように、第４の実施形態による動画像復号装置は、第３の実施形態による動画像符号化装置により符号化された動画像データを復号できる。

次に、第５の実施形態による動画像符号化装置について説明する。第５の実施形態による動画像符号化装置は、予測誤差画像の各周波数係数に、予測画像の対応する周波数係数のサインを乗じることで、正の値の出現確率と負の値の出現確率が異なる補正周波数係数を算出する。そしてこの動画像符号化装置は、出現確率の低い負の値を持つ補正周波数係数に対する隣接量子化代表値間の間隔を、出現確率の高い正の値を持つ補正周波数係数に対する隣接量子化代表値間の間隔よりも大きくする。

図２５は、第５の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置５は、予測モード判定部１１と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測誤差画像生成部１５と、予測誤差直交変換部１６と、予測画像直交変換部１７と、符号判定部１８と、周波数係数適応符号化部５１と、逆変換部２０と、加算器２１と、画像メモリ２２と、サイド情報符号化部２３とを有する。
動画像符号化装置５が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置５が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置５に実装されてもよい。さらに、動画像符号化装置５が有するこれらの各部は、動画像符号化装置５が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

また図２５において、動画像符号化装置５の各部には、図１に示された動画像符号化装置１の対応する各部の参照番号と同一の参照番号を付した。
第５の実施形態による動画像符号化装置５は、第１の実施形態による動画像符号化装置１と比較して、周波数係数適応符号化部５１のみが異なる。そのため、以下では、周波数係数適応符号化部５１について説明する。動画像符号化装置５のその他の各部の詳細については、動画像符号化装置１の関連する部分の説明を参照されたい。

図２６は、第５の実施形態による周波数係数適応符号化部の概略構成図である。周波数係数適応符号化部５１は、適応符号化部の一例であり、適応量子化／逆量子化部１９１と、量子化係数符号化部５１１とを有する。

適応量子化／逆量子化部１９１は、第１の実施形態による動画像符号化装置１が有する適応量子化／逆量子化部１９１と同様の構成及び機能を有する。すなわち、適応量子化／逆量子化部１９１は、３個の乗算器１９１１〜１９１３と、非線形量子化部１９１４と、非線形逆量子化部１９１５とを有する。

適応量子化／逆量子化部１９１は、符号化対象マクロブロック内の各予測誤差画像の各周波数係数に、予測画像の対応する周波数のサインを乗じて得られる各補正周波数係数を量子化する。上述したように、正の値を持つ補正周波数係数の出現確率は、負の値を持つ補正周波数係数の出現確率よりも高い。そこで適応量子化／逆量子化部１９１は、負の値を持つ補正周波数係数に対する量子化代表値間の間隔を正の値を持つ補正周波数係数に対する量子化代表値管の間隔よりも広くすることで、補正周波数係数を効率良く符号化できる。
適応量子化／逆量子化部１９１は、さらに、補正量子化係数に、予測画像の対応する周波数係数のサインを乗じて、補正量子化係数のサインを予測誤差画像の対応する周波数係数のサインと一致させることで、予測誤差画像の周波数係数に対する量子化係数とする。そして適応量子化／逆量子化部１９１は、各量子化係数を量子化係数符号化部５１１へ出力する。

また適応量子化／逆量子化部１９１は、補正量子化係数を逆量子化して補正周波数係数を再生し、その再生された補正周波数係数に予測画像の対応する周波数係数のサインを乗じることで、予測誤差画像の複数の周波数係数を再生する。そして適応量子化／逆量子化部１９１は、再生した予測誤差画像の複数の周波数係数を逆変換部２０へ出力する。

量子化係数符号化部５１１は、符号化対象マクロブロック内に含まれる各ブロックについての各量子化係数をエントロピー符号化する。そのために、量子化係数符号化部５１１は、有効係数情報生成部５１１１と、有効係数位置情報符号化部５１１２と、有効係数絶対値情報符号化部５１１３と、有効係数符号情報符号化部５１１４とを有する。

有効係数情報生成部５１１１は、第１の実施形態による動画像符号化装置１の有効係数情報生成部１９２１と同様に、符号化対象マクロブロック内の各予測誤差画像の量子化係数のうち、'0'以外の値を持つ量子化係数である有効係数を抽出する。そして有効係数情報生成部５１１１は、有効係数の位置を表す有効係数位置情報を有効係数位置情報符号化部５１１２へ出力する。また有効係数情報生成部５１１１は、有効係数の絶対値を表す有効係数絶対値情報を有効係数絶対値情報符号化部５１１３へ出力する。そして有効係数情報生成部５１１１は、有効係数のサインを表す有効係数符号情報を有効係数符号情報符号化部５１１４へ出力する。

有効係数位置情報符号化部５１１２は、第１の実施形態による動画像符号化装置１の有効係数情報生成部１９２１と同様に、有効係数位置情報をエントロピー符号化する。例えば、有効係数位置情報符号化部５１１２は、ハフマン符号化方式、またはCABACといった算術符号化方式といったエントロピー符号化方式を用いて有効係数位置情報をエントロピー符号化する。
有効係数位置情報符号化部５１１２は、エントロピー符号化された有効係数位置情報を図示しない統合部へ出力する。

有効係数絶対値情報符号化部５１１３は、第１の実施形態による動画像符号化装置１の有効係数絶対値情報符号化部１９２３と同様に、有効係数絶対値情報をエントロピー符号化する。例えば、有効係数絶対値情報符号化部５１１３は、ハフマン符号化方式、またはCABACなどの算術符号化方式といったエントロピー符号化方式を用いて有効係数絶対値情報をエントロピー符号化する。
有効係数絶対値情報符号化部５１１３は、エントロピー符号化された有効係数絶対値情報を図示しない統合部へ出力する。

有効係数符号情報符号化部５１１４は、有効係数符号情報を符号化する。ここで、有効係数のサインが正となる確率は、有効係数のサインが負となる確率と略等しい。そのため、有効係数符号情報に対してエントロピー符号を用いても、符号化効率は殆ど向上しない。そこで有効係数符号情報符号化部５１１４は、各有効係数のサインに対して、そのサインが正か負かを表す1ビットの符号を割り当てる。
有効係数符号情報符号化部５１１４は、符号化された有効係数符号情報を図示しない統合部へ出力する。

図２７及び図２８は、第５の実施形態による動画像符号化処理の動作フローチャートである。動画像符号化装置５は、この動画像符号化処理を予測符号化される符号化対象マクロブロックごとに実行する。なお、動画像符号化装置５は、符号化対象マクロブロックが予測符号化されない場合、その符号化対象マクロブロックを、例えば、MPEG-4 AVC/H.264に規定されたイントラ予測符号化方式に従って符号化する。

予測モード判定部１１は、符号化対象マクロブロック及び画像メモリ２２に記憶されている参照ピクチャに基づいて予測符号化モードを決定する（ステップＳ５０１）。
動画像符号化装置５は、予測符号化モードに応じて、符号化対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ５０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測誤差画像生成部１５、予測画像直交変換部１７及び加算器２１へ出力する。

また、予測誤差画像生成部１５は、符号化対象マクロブロック内のブロックと予測画像間の差分により予測誤差画像を生成する（ステップＳ５０３）。そして予測誤差画像生成部１５は、予測誤差画像を予測誤差直交変換部１６へ出力する。そして予測誤差直交変換部１６は、予測誤差画像を直交変換することにより予測誤差画像の複数の周波数係数を算出する（ステップＳ５０４）。そして予測誤差直交変換部１６は、予測誤差画像の複数の周波数係数を周波数係数適応符号化部５１へ出力する。
一方、予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の複数の周波数係数を算出する（ステップＳ５０５）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ５０６）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応符号化部５１の適応量子化／逆量子化部１９１へ出力する。

適応量子化／逆量子化部１９１の乗算器１９１１は、予測誤差画像の各周波数係数に予測画像の対応する周波数のサインを乗じて補正周波数係数を算出する（ステップＳ５０７）。そして乗算器１９１１は、各補正周波数係数を適応量子化／逆量子化部の非線形量子化部１９１４へ出力する。
非線形量子化部１９１４は、各補正周波数係数に対して、正の補正周波数係数に対する隣接量子化代表値間の間隔よりも負の補正周波数係数に対する隣接量子化代表値間の間隔が広くなるように定められた量子化代表値のうちの最も近い量子化代表値を求める。そして非線形量子化部１９１４は、量子化代表値に対応する補正量子化係数を求める（ステップＳ５０８）。そして非線形量子化部１９１４から出力された補正量子化係数は、適応量子化／逆量子化部１９１の非線形逆量子化部１９１５へ入力される。また非線形量子化部１９１４から出力された補正量子化係数は、乗算器１９１２により予測誤差画像の対応する周波数のサインと一致するよう、予測画像の対応する周波数のサインが乗じられて各量子化係数が算出される。その後、各量子化係数は、量子化係数符号化部５１１に入力される。

図２８に示されるように、量子化係数符号化部５１１の有効係数情報生成部５１１１は、各量子化係数のうち、0でない絶対値を持つ有効係数の位置、絶対値及びサインに関する情報を抽出する（ステップＳ５０９）。そして有効係数情報生成部５１１１は、有効係数の位置情報を量子化係数符号化部５１１の有効係数位置情報符号化部５１１２へ出力する。また有効係数情報生成部５１１１は、有効係数の絶対値情報を量子化係数符号化部５１１の有効係数絶対値情報符号化部５１１３へ出力する。そして有効係数情報生成部５１１１は、有効係数の符号情報を量子化係数符号化部５１１の有効係数符号情報符号化部５１１４へ出力する。
有効係数位置情報符号化部５１１２は、有効係数の位置情報をエントロピー符号化する。また有効係数絶対値情報符号化部５１１３は、有効係数の絶対値をエントロピー符号化する（ステップＳ５１０）。有効係数位置情報符号化部５１１２及び有効係数絶対値情報符号化部５１１３は、それぞれ、エントロピー符号化された有効係数の位置情報及び有効係数の絶対値情報を図示しない統合部へ出力する。

一方、有効係数符号情報符号化部５１１４は、各有効係数のサインに対して、1ビットの符号を割り当てる（ステップＳ５１１）。有効係数符号情報符号化部５１１４は、各有効係数のサインを表すビットを統合部へ出力する。
また、サイド情報符号化部２３は、動きベクトルなどのサイド情報を符号化する（ステップＳ５１２）。そしてサイド情報符号化部２３は、符号化されたサイド情報を統合部へ出力する。

また、動画像符号化装置５は、以降のマクロブロックまたはピクチャを符号化するために利用される参照ピクチャを生成する。そのために、周波数係数適応符号化部１９の非線形逆量子化部１９１５は、各補正量子化係数を逆量子化して各補正周波数係数を再生する（ステップＳ５１３）。そして再生された各補正周波数係数には、予測誤差画像の対応する周波数のサインと一致するよう、乗算器１９１３により、予測画像の対応する周波数のサインが乗じられ、その後、逆変換部２０に入力される。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ５１４）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して、符号化対象マクロブロック内のその予測画像及び予測誤差画像に対応するブロックを再生する（ステップＳ５１５）。そして加算器２１は、再生されたブロックを所定の順序に従って結合することにより、符号化対象マクロブロックを再生する。さらに加算器２１は、再生された符号化対象マクロブロックを所定の符号化順序に従って順次結合することにより、参照ピクチャを作成する。そして加算器２１は、参照ピクチャを画像メモリ２２に記憶させる。
なお、ステップＳ５０２〜Ｓ５１５の処理は、符号化対象マクロブロック内の各ブロックについて実行される。

その後、動画像符号化装置５は、動画像符号化処理を終了する。なお、動画像符号化装置５は、ステップＳ５０４の処理とＳ５０５の処理の順序を入れ換えてもよい。また動画像符号化装置５は、ステップＳ５１０の処理とＳ５１１の処理の順序を入れ換えてもよい。さらに、動画像符号化装置５は、ステップＳ５１３〜Ｓ５１５の処理と、ステップＳ５０９〜Ｓ５１２の処理の順序を入れ換えてもよい。

以上に説明してきたように、第５の実施形態による動画像符号化装置は、符号化対象マクロブロック内の各予測誤差画像について、正の値と負の値との間で出現確率に偏りがある補正周波数係数を求める。そしてこの動画像符号化装置は、正の値を持つ補正周波数係数に対する隣接量子化代表値間の間隔と負の値を持つ補正周波数係数に対する隣接量子化代表値間の間隔を異ならせることで、出現頻度が低い負の値を持つ補正周波数係数の情報量を減らすことができる。このように、この動画像符号化装置は、各予測誤差画像の周波数係数を符号化するために要する情報量を削減できるので、各予測誤差画像の周波数係数の符号化効率を向上できる。

次に第６の実施形態による動画像復号装置について説明する。この第６の実施形態による動画像復号装置は、第５の実施形態による動画像符号化装置によって符号化された動画像データを再生する。
図２９は、第６の実施形態による動画像復号装置の概略構成図である。図２９に示されるように、動画像復号装置６は、周波数係数適応復号部６１と、イントラ予測部１２と、動き補償部１３と、セレクタ１４と、予測画像直交変換部１７と、判定部１８と、逆変換部２０と、加算器２１と、画像メモリ２２とを有する。
動画像復号装置６が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像復号装置６が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像復号装置６に実装されてもよい。さらに、動画像復号装置６が有するこれらの各部は、動画像復号装置６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
また図２９において、動画像復号装置６の各部には、図１３に示された動画像復号装置２の対応する各部の参照番号と同一の参照番号を付した。
第６の実施形態による動画像復号装置６は、第２の実施形態による動画像復号装置２と比較して、周波数係数適応復号部６１のみが異なる。そのため、以下では、周波数係数適応符号化部６１について説明する。

周波数係数適応復号部６１は、エントロピー符号化された動きベクトルなどのサイド情報を復号する。そして周波数係数適応復号部６１は、各マクロブロックのうち、インター予測符号化されたマクロブロックの動きパラメータを動き補償部１３へ出力する。また周波数係数適応復号部６１は、各マクロブロックのうち、イントラ予測符号化されたマクロブロックのイントラ予測符号化モードを示す情報をイントラ予測部１２へ出力する。さらに周波数係数適応復号部４１は、復号対象マクロブロックの予測符号化モードをセレクタ１４へ出力する。そして復号対象マクロブロックがイントラ予測符号化されている場合、イントラ予測部１２が既に復号されている参照ブロックから予測画像を作成する。一方、復号対象マクロブロックがインター予測符号化されている場合、動き補償部１３が、既に復号されている参照ピクチャに基づいて予測画像を作成する。イントラ予測部１２または動き補償部１３で作成された予測画像は、セレクタ１４に入力され、セレクタ１４は、その予測画像を予測画像直交変換部１７及び加算器２１へ出力する。

また周波数係数適応復号部６１は、適応復号部の一例であり、符号化された動画像データから、復号対象マクロブロックに含まれる各ブロックの予測誤差画像の複数の周波数係数を再生する。

図３０は、予測誤差画像の複数の周波数係数の再生に関する、第６の実施形態による周波数係数適応復号部６１の概略構成図である。周波数係数適応復号部６１は、量子化係数復号部６１１と、適応逆量子化部２４２とを有する。

量子化係数復号部６１１は、予測誤差画像の各量子化係数を再生する。そのために、量子化係数復号部６１１は、有効係数位置情報復号部６１１１と、有効係数絶対値情報復号部６１１２と、有効係数符号情報復号部６１１３と、有効係数情報再生部６１１４とを有する。

有効係数位置情報復号部６１１１は、動画像符号化装置５の有効係数位置情報符号化部５１１２により用いられたエントロピー符号化方式に従って、エントロピー符号化されている有効係数位置情報を復号する。そして有効係数位置情報復号部６１１１は、復号した有効係数位置情報を有効係数情報再生部６１１４へ出力する。
また有効係数絶対値情報復号部６１１２は、動画像符号化装置５の有効係数絶対値情報符号化部５１１３により用いられたエントロピー符号化方式に従って、エントロピー符号化されている有効係数絶対値情報を復号する。そして有効係数絶対値情報復号部６１１２は、復号した有効係数絶対値情報を有効係数情報再生部６１１４へ出力する。

有効係数符号情報復号部６１１３は、有効係数のサインを表すビット値を参照することにより、有効係数のサインを表す符号情報を再生する。そして有効係数符号情報復号部６１１３は、符号情報を有効係数情報再生部６１１４へ出力する。

有効係数情報再生部６１１４は、各有効係数の絶対値情報及び符号情報を組み合わせることにより、各有効係数を再生する。そして有効係数情報再生部６１１４は、有効係数を、有効係数の位置情報に従って配列し、有効係数以外のところに、'0'の値を挿入することにより、予測誤差画像の複数の量子化係数を再生する。
有効係数情報再生部６１１４は、再生した予測誤差画像の複数の量子化係数を適応逆量子化部２４２へ出力する。

適応逆量子化部２４２は、第２の実施形態による動画像復号装置２が有する適応逆量子化部２４２と同様の構成及び機能を有する。すなわち、適応逆量子化部２４２は、乗算器２４２１、２４２２と、非線形逆量子化部２４２３とを有する。
適応逆量子化部２４２は、予測誤差画像の量子化係数の組に基づいて、予測誤差画像の複数の周波数係数を再生する。適応逆量子化部２４２は、予測誤差画像の各量子化係数に、予測画像の対応する周波数係数のサインを乗じることで、補正量子化係数を再生する。そして適応逆量子化部２４２は、補正量子化係数に対して、正の値と負の値とで異なる量子化スケールの値を用い、（８）式に従って逆量子化することにより各補正周波数係数を再生する。
あるいは、量子化代表値間の間隔が、補正周波数係数の絶対値に応じて変化するように設定されている場合、適応逆量子化部２４２は、例えば、補正量子化係数と量子化代表値との対応関係を表す参照テーブルを参照する。そして適応逆量子化部２４２は、補正量子化係数に対応する量子化代表値を、再生される補正周波数係数として求めてもよい。
さらに適応逆量子化部２４２は、再生された各補正周波数係数に、予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の各周波数係数を再生する。
再生された各周波数係数は、逆変換部２０へ入力される。
なお、動画像符号化装置１と同様に、再生された各周波数係数が逆変換部２０にて逆直交変換されることにより、予測誤差画像が再生される。そして加算器２１が、その予測誤差画像の各画素の値に、対応する予測画像の画素の値を加算することで、復号対象ブロックが再生される。

動画像復号装置６は、ピクチャごとに、再生されたマクロブロックをその符号化順序に従って結合することにより、ピクチャを再生する。そして動画像復号装置６は、ピクチャを時間順に配置して、動画像データを再生する。動画像復号装置６は、再生した動画像データを出力する。出力された動画像データは、例えば、図示しない記憶装置に記憶される。また出力された動画像データは、動画像復号装置６と接続された、図示しない表示装置に表示される。

図３１及び図３２は、第６の実施形態による動画像復号処理の動作フローチャートである。動画像復号装置２は、この動画像復号処理を復号対象マクロブロックごとに実行する。
周波数係数適応復号部６１は、エントロピー符号化された動きベクトルなどのサイド情報を復号する（ステップＳ６０１）。そして周波数係数適応復号部６１は、イントラ予測部１２、動き補償部１３及びセレクタ１４に対して、サイド情報に含まれる情報のうち、それらの各部で使用される予測符号化モード、動きベクトルなどの情報を出力する。そして動画像復号装置６は、予測符号化モードに応じて、復号対象マクロブロック内の各ブロックについての予測画像を生成する（ステップＳ６０２）。具体的には、予測符号化モードがイントラ予測符号化モードである場合、イントラ予測部１２が予測画像を生成する。一方、予測符号化モードがインター予測符号化モードである場合、動き補償部１３が予測画像を生成する。そしてイントラ予測部１２または動き補償部１３は予測画像をセレクタ１４へ出力する。セレクタ１４は、受け取った予測画像を、予測画像直交変換部１７及び加算器２１へ出力する。

予測画像直交変換部１７は、予測画像を直交変換することにより予測画像の周波数係数の組を算出する（ステップＳ６０３）。そして予測画像直交変換部１７は、予測画像の複数の周波数係数を符号判定部１８へ出力する。

符号判定部１８は、予測画像の各周波数係数のサインを判定する（ステップＳ６０４）。そして符号判定部１８は、予測画像の各周波数係数のサインを表す値を、周波数係数適応復号部６１の適応逆量子化部２４２へ出力する。

周波数係数適応復号部６１の量子化係数復号部６１１の有効係数位置情報復号部６１１１は、有効係数の位置情報をエントロピー復号する。また量子化係数復号部６１１の有効係数絶対値情報復号部６１１２は、有効係数の絶対値をエントロピー復号する（ステップＳ６０５）。有効係数位置情報復号部６１１１及び有効係数絶対値情報復号部６１１２は、それぞれ、復号された有効係数の位置情報及び有効係数の絶対値情報を量子化係数復号部６１１の有効係数情報再生部６１１４へ出力する。
また、量子化係数復号部６１１の有効係数符号情報復号部６１１３は、有効係数のサインを表すビットを参照して有効係数のサインを求める（ステップＳ６０６）。そして有効係数符号情報復号部６１１３は、有効係数のサインを有効係数情報再生部６１１４へ出力する。
有効係数情報再生部６１１４は、有効係数の位置情報、絶対値情報及び符号情報に基づいて予測誤差画像の複数の量子化係数を再生する（ステップＳ６０７）。そして有効係数情報再生部６１１４は、再生した予測誤差画像の複数の量子化係数を適応逆量子化部２４２へ出力する。

図３２に示されるように、適応逆量子化部２４２の乗算器２４２１は、予測誤差画像の各量子化係数に、予測画像の対応する周波数係数のサインを乗じることで、補正量子化係数を再生する（ステップＳ６０８）。そして乗算器２４２１は、補正量子化係数を適応逆量子化部２４２の非線形逆量子化部２４２３へ出力する。
非線形逆量子化部２４２３は、正の値と負の値とで隣接する量子化代表値間の間隔が異なるように定められた量子化代表値のうち、補正量子化係数に対応する量子化代表値を求めることで各補正量子化係数を逆量子化する。これにより、非線形逆量子化部２４２３は各補正周波数係数を再生する（ステップＳ６０９）。そして非線形逆量子化部２４２３は、再生した各補正周波数係数を適応逆量子化部２４２の乗算器２４２２へ出力する。

乗算器２４２２は、再生された各補正周波数係数に、予測画像の対応する周波数係数のサインを乗じることにより、予測誤差画像の複数の周波数係数を再生する（ステップＳ６１０）。乗算器２４２２から出力された、再生された各周波数係数は、逆変換部２０へ入力される。
逆変換部２０は、再生された予測誤差画像の複数の周波数係数を逆直交変換することにより予測誤差画像を再生する（ステップＳ６１１）。そして逆変換部２０は、再生した予測誤差画像を加算器２１へ出力する。加算器２１は、再生された予測誤差画像の各画素の値に予測画像の対応する画素の値を加算して復号対象ブロックを再生する（ステップＳ６１２）。そして加算器２１は、再生された復号対象ブロックを所定の順序に従って結合することにより、復号対象マクロブロックを再生する。さらに加算器２１は、再生された復号対象マクロブロックを所定の符号化順序に従って順次結合することにより、ピクチャを再生する。そして加算器２１は、再生されたピクチャを出力するとともに、その再生されたピクチャを参照ピクチャとして画像メモリ２２に記憶させる。
なお、ステップＳ６０２〜Ｓ６１２の処理は、復号対象マクロブロック内の各ブロックについて実行される。
その後、動画像復号装置６は、動画像復号処理を終了する。なお、動画像復号装置６は、ステップＳ６０５の処理とステップＳ６０６の処理の順序を入れ換えてもよい。

以上に説明してきたように、第６の実施形態による動画像復号装置は、第５の実施形態による動画像符号化装置により符号化された動画像データを復号できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、第１及び第５の実施形態による動画像符号化装置が有する適応量子化／逆量子化部は、乗算器の代わりに、符号一致判定部を有してもよい。その符号一致判定部は、周波数係数、補正周波数係数または量子化係数のサインと、予測画像の対応する周波数係数のサインが一致する場合、周波数係数、補正周波数係数または量子化係数のサインを正とする。逆に、周波数係数、補正周波数係数または量子化係数のサインと、予測画像の対応する周波数係数のサインが一致しない場合、符号一致判定部は、周波数係数、補正周波数係数または量子化係数のサインを負とする。同様に、第２及び第６の実施形態による動画像復号装置が有する適応逆量子化部は、乗算器の代わりに、上記のような符号一致判定部を有してもよい。

図３３は、各実施形態またはその変形例による動画像符号化方法または動画像復号方法を実行するコンピュータの概略構成図である。コンピュータ１００は、入力装置１０１と、通信インターフェース１０２と、メモリ１０３と、可搬記録媒体駆動装置１０４と、外部記憶装置１０５と、プロセッサ１０６と、出力装置１０７とを有する。
コンピュータ１００が有するこれらの各部は、データ及び制御信号を伝送するためのバス１０８を介して相互に接続されている。

入力装置１０１は、例えば、キーボードまたはマウスなどのポインティングデバイスを有する。そして入力装置１０１は、ユーザの操作に応じて、動画像符号化処理または動画像復号処理を開始させる操作信号または動画像符号化処理の対象となる動画像データを選択する操作信号などを生成し、その操作信号をプロセッサ１０６へ出力する。
通信インターフェース１０２は、例えば、コンピュータ１００を通信ネットワークへ接続するためのインターフェース回路を有する。そして通信インターフェース１０２は、通信ネットワーク（図示せず）を介して他の機器から符号化対象の動画像データまたは復号対象の符号化された動画像データを取得し、それらのデータをプロセッサ１０６へ渡す。あるいは、通信インターフェース１０２は、符号化された動画像データまたは復号された動画像データをプロセッサ１０６から受け取り、それらのデータを通信ネットワークを介して他の機器へ出力する。

メモリ１０３は、例えば、揮発性または不揮発性の半導体メモリ回路を有する。そしてメモリ１０３は、プロセッサ１０６により実行される動画像符号化処理または動画像復号処理で必要とされるメモリ領域を提供する。例えば、メモリ１０３は、上記の各実施形態における画像メモリとして機能する。
可搬記録媒体駆動装置１０４は、光記録媒体またはメモリカードといった持ち運び可能な可搬記録媒体１０９を駆動するための駆動装置である。そして可搬記録媒体駆動装置１０４は、例えば、可搬記録媒体１０９に記録された、上記の実施形態の何れかによる動画像符号化方法または動画像復号方法をコンピュータに実行させるためのコンピュータプログラムを読み込む。そして可搬記録媒体駆動装置１０４は、そのコンピュータプログラムをプロセッサ１０６に渡す。あるいは可搬記録媒体駆動装置１０４は、可搬記録媒体１０９に記録された符号化対象の動画像データまたは復号対象の符号化された動画像データを読み込み、それらのデータをプロセッサ１０６へ渡してもよい。さらに、可搬記録媒体駆動装置１０４は、符号化された動画像データまたは復号された動画像データをプロセッサ１０６から受け取り、それらのデータを可搬記録媒体１０９に書き込んでもよい。
外部記憶装置１０５は、例えば、ハードディスク装置といった磁気記憶装置である。そして外部記憶装置１０５は、例えば、上記の実施形態の何れかによる動画像符号化方法または動画像復号方法をコンピュータに実行させるためのコンピュータプログラムを記憶する。あるいは、外部記憶装置１０５は、符号化対象の動画像データまたは復号対象の符号化された動画像データを記憶する。

プロセッサ１０６は、コンピュータ１００全体を制御する。またプロセッサ１０６は、可搬記録媒体駆動装置１０４または外部記憶装置１０５から受け取った、上記の実施形態の何れかによる動画像符号化方法または動画像復号方法をコンピュータに実行させるためのコンピュータプログラムをメモリ１０３にマップする。そしてプロセッサ１０６は、そのコンピュータプログラムに従って、動画像符号化方法または動画像復号方法を実行する。
またプロセッサ１０６は、動画像データまたは符号化された動画像データを、通信インターフェース１０２または可搬記録媒体駆動装置１０４から受け取り、そのデータをメモリ１０３に一時的に記憶させたり、あるいは、外部記憶装置１０５に記憶させる。
さらにプロセッサ１０６は、符号化した動画像データまたは復号した動画像データを通信インターフェース１０２、可搬記録媒体駆動装置１０４、外部記憶装置１０５または出力装置１０７へ出力する。
出力装置１０７は、例えば、液晶ディスプレイを有する。そして出力装置１０７は、復号された動画像データをプロセッサ１０６から受け取って、その動画像データに含まれる各ピクチャを表示する。

コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像復号装置及び動画像符号化装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録されて配布されてもよい。

上述した実施形態またはその変形例による動画像符号化装置及び動画像復号装置は、様々な用途に利用される。例えば、この動画像符号化装置及び動画像復号装置は、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。例えば、この動画像復号装置が映像受信装置に組み込まれる場合、符号化動画像データは、まず映像送信装置にて生成される。そしてその符号化動画像データは、音声信号等、動画像データと同時に取得される他の信号とともに、所定の通信規格に従ったデータストリームに変換される。そのデータストリームは、映像送信装置の出力部に接続されたアンテナを介して、あるいは通信回線を介して、遠隔地に設置された映像受信装置に伝送される。そして動画像復号装置を組み込んだ映像受信装置は、そのデータストリームから符号化動画像データを取り出し、動画像復号装置に出力する。動画像復号装置は動画像を復号し、出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１、３、５ 動画像復号装置
２、４、６ 動画像復号装置
１１ 予測モード判定部
１２ イントラ予測部
１３ 動き補償部
１４ セレクタ
１５ 予測誤差画像生成部
１６ 予測誤差直交変換部
１７ 予測画像直交変換部
１８ 符号判定部
１９、３１、５１ 周波数係数適応符号化部
２０ 逆変換部
２１ 加算器
２２ 画像メモリ
２３ サイド情報符号化部
１９１ 適応量子化／逆量子化部
１９１１〜１９１３ 乗算器
１９１４ 非線形量子化部
１９１５ 非線形逆量子化部
１９２ 適応量子化係数符号化部
１９２１ 有効係数情報生成部
１９２２ 有効係数位置情報符号化部
１９２３ 有効係数絶対値情報符号化部
１９２４ 排他的論理和部
１９２５ 有効係数符号情報予測符号化部
２４、４１、６１ 周波数係数適応復号部
２４１ 適応量子化係数復号部
２４１１ 有効係数位置情報復号部
２４１２ 有効係数絶対値情報復号部
２４１３ 有効係数符号情報予測復号部
２４１４ 排他的論理和部
２４１５ 有効係数情報再生部
２４２ 適応逆量子化部
２４２１、２４２２ 乗算器
２４２３ 非線形逆量子化部
３１１ 量子化部
３１２ 逆量子化部
４１１ 逆量子化部
５１１ 量子化係数符号化部
５１１１ 有効係数情報生成部
５１１２ 有効係数位置情報符号化部
５１１３ 有効係数絶対値情報符号化部
５１１４ 有効係数符号情報符号化部
６１１ 量子化係数復号部
６１１１ 有効係数位置情報復号部
６１１２ 有効係数絶対値情報復号部
６１１３ 有効係数符号情報復号部
６１１４ 有効係数情報再生部
１００ コンピュータ
１０１ 入力装置
１０２ 通信インターフェース
１０３ メモリ
１０４ 可搬記録媒体駆動装置
１０５ 外部記憶装置
１０６ プロセッサ
１０７ 出力装置
１０８ バス
１０９ 可搬記録媒体

Claims (15)

1. 動画像データに含まれる、既に符号化されたピクチャまたは符号化対象ピクチャの既に符号化された領域から、該符号化対象ピクチャの符号化対象ブロックに対する予測画像を生成する予測画像生成部と、
   前記符号化対象ブロックと前記予測画像間で差分演算することにより前記符号化対象ブロックの予測誤差画像を生成する予測誤差画像生成部と、
   前記予測誤差画像を直交変換することにより、複数の第１の周波数係数を算出する予測誤差直交変換部と、
   前記予測画像を直交変換することにより、複数の第２の周波数係数を算出する予測画像直交変換部と、
   前記複数の第２の周波数係数のそれぞれの正負の符号を判定する符号判定部と、
   前記複数の第１の周波数係数のそれぞれの正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて前記複数の第１の周波数係数を符号化する適応符号化部と、
   を有する動画像符号化装置。
2. 前記適応符号化部は、前記複数の第１の周波数係数のそれぞれについて、当該第１の周波数係数の正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かに応じて異なる正負の符号を持ち、かつ当該第１の周波数係数の絶対値と同一の絶対値を持つ補正周波数係数を前記符号一致情報として算出し、前記補正周波数係数を、複数の量子化代表値のうちの当該補正周波数係数に最も近い量子化代表値に対応する量子化係数を求めることで量子化し、かつ、前記複数の量子化代表値は、出現確率の低い前記補正周波数係数の値に対応する量子化代表値ほど、隣接する量子化代表値間の間隔が広くなるように設定される適応量子化部を有する請求項１に記載の動画像符号化装置。
3. 前記適応符号化部は、前記量子化係数に対して、当該量子化係数に対応する前記量子化代表値の出現確率に応じたエントロピー符号を割り当てることで前記量子化係数をエントロピー符号化する適応量子化係数符号化部をさらに有する、請求項２に記載の動画像符号化装置。
4. 前記適応符号化部は、前記複数の第１の周波数係数のそれぞれについて、当該第１の周波数係数の正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かに応じて異なる正負の符号を持ち、かつ当該第１の周波数係数の絶対値と同一の絶対値を持つ補正周波数係数を前記符号一致情報として算出し、前記第１の周波数係数の正負の符号が前記第２の周波数係数の正負の符号と一致する場合、前記補正周波数係数を第１の量子化スケールを用いて量子化し、一方、前記第１の周波数係数の正負の符号が前記第２の周波数係数の正負の符号と一致しない場合、前記補正周波数係数を前記第１の量子化スケールよりも大きい第２の量子化スケールを用いて量子化する適応量子化部を有する請求項１に記載の動画像符号化装置。
5. 前記適応符号化部は、
   前記複数の第１の周波数係数のそれぞれを所定の量子化スケールを用いて量子化することにより複数の量子化係数を算出する量子化部と、
   前記複数の量子化係数のうち、0でない値を持つ量子化係数である有効係数の正負の符号と、前記複数の第２の周波数係数のうち、当該有効係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致予測情報を前記符号一致情報として算出し、前記符号一致予測情報をエントロピー符号化する適応量子化係数符号化部と、
   を有する請求項１または２に記載の動画像符号化装置。
6. 符号化された動画像データに含まれる、既に復号されたピクチャまたは復号対象ピクチャの既に復号された領域から、該復号対象ピクチャの復号対象ブロックに対する予測画像を生成する予測画像生成部と、
   前記予測画像を直交変換することにより、複数の第２の周波数係数を算出する予測画像直交変換部と、
   前記複数の第２の周波数係数のそれぞれの正負の符号を判定する符号判定部と、
   前記復号対象ブロックと前記予測画像間の予測誤差画像を直交変換することにより算出される複数の第１の周波数係数のそれぞれについての正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表し、前記符号化された動画像データに含まれる符号一致情報を用いて前記複数の第１の周波数係数を復号する適応復号部と、
   前記複数の第１の周波数係数を逆直交変換することにより前記予測誤差画像を再生する逆変換部と、
   前記予測誤差画像の各画素の値に前記予測画像の対応する画素の値を加算することにより、前記復号対象ブロックを再生する加算器と、
   を有する動画像復号装置。
7. 前記適応復号部は、
   前記複数の第１の周波数係数のそれぞれに対応する複数の量子化係数について、当該量子化係数の正負の符号と、前記複数の第２の周波数係数のうちの当該量子化係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かに応じて異なる正負の符号を持ち、かつ当該量子化係数の絶対値と同一の絶対値を持つ補正量子化係数を前記符号一致情報を用いて算出し、
   前記補正量子化係数を、複数の量子化代表値のうちの当該補正量子化係数に対応する量子化代表値を求めることで逆量子化し、かつ、前記複数の量子化代表値は、出現確率の低い前記補正量子化係数の値に対応する量子化代表値ほど、隣接する量子化代表値間の間隔が広くなるように設定される適応逆量子化部を有する請求項６に記載の動画像復号装置。
8. 前記複数の量子化係数のそれぞれは、当該量子化係数に対応する前記量子化代表値の出現確率に応じたエントロピー符号に符号化されており、
   前記適応復号部は、前記エントロピー符号に対応する量子化係数を求めることにより、前記量子化係数をエントロピー復号する適応量子化係数復号部をさらに有する、請求項７に記載の動画像復号装置。
9. 前記適応復号部は、
   前記複数の第１の周波数係数のそれぞれに対応する複数の量子化係数について、当該量子化係数の正負の符号と、前記複数の第２の周波数係数のうちの当該量子化係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かに応じて異なる正負の符号を持ち、かつ当該量子化係数の絶対値と同一の絶対値を持つ補正量子化係数を前記符号一致情報を用いて算出し、前記量子化係数の正負の符号が前記第２の周波数係数の正負の符号と一致する場合、前記補正量子化係数を第１の量子化スケールを用いて逆量子化し、一方、前記量子化係数の正負の符号が前記第２の周波数係数の正負の符号と一致しない場合、前記補正量子化係数を前記第１の量子化スケールよりも大きい第２の量子化スケールを用いて逆量子化することにより、前記複数の第１の周波数係数を復号する適応逆量子化部を有する請求項６に記載の動画像復号装置。
10. 前記適応復号部は、
    前記複数の第１の周波数係数のそれぞれに対応する複数の量子化係数のうち、0でない値を持つ量子化係数である有効係数の正負の符号と、前記複数の第２の周波数係数のうち、当該有効係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す、前記符号一致情報である符号一致予測情報をエントロピー復号し、当該符号一致予測情報に基づいて前記有効係数の正負の符号を求めることで前記複数の量子化係数を再生する適応量子化係数復号部と、
    前記複数の量子化係数のそれぞれを所定の量子化スケールを用いて逆量子化することにより前記複数の第１の周波数係数を復号する逆量子化部と、
    を有する請求項６または７に記載の動画像復号装置。
11. 前記適応復号部は、
    前記複数の第１の周波数係数のそれぞれに対応する複数の量子化係数のうち、0でない値を持つ量子化係数である有効係数の正負の符号と、前記複数の第２の周波数係数のうち、当該有効係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す、前記符号一致情報である符号一致予測情報をエントロピー復号し、当該符号一致予測情報に基づいて前記有効係数の正負の符号を求めることで前記複数の量子化係数を再生する適応量子化係数復号部と、
    前記複数の量子化係数のそれぞれについて、当該量子化係数の正負の符号と、前記複数の第２の周波数係数のうちの当該量子化係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かに応じて異なる正負の符号を持ち、かつ当該量子化係数の絶対値と同一の絶対値を持つ補正量子化係数を前記符号一致情報を用いて算出し、前記量子化係数の正負の符号が前記第２の周波数係数の正負の符号と一致する場合、前記補正量子化係数を第１の量子化スケールを用いて逆量子化し、一方、前記量子化係数の正負の符号が前記第２の周波数係数の正負の符号と一致しない場合、前記補正量子化係数を前記第１の量子化スケールよりも大きい第２の量子化スケールを用いて逆量子化することにより、前記複数の第１の周波数係数を復号する適応逆量子化部と、
    を有する請求項６に記載の動画像復号装置。
12. 動画像データに含まれる、既に符号化されたピクチャまたは符号化対象ピクチャの既に符号化された領域から、該符号化対象ピクチャの符号化対象ブロックに対する予測画像を生成し、
    前記符号化対象ブロックと前記予測画像間で差分演算することにより前記符号化対象ブロックの予測誤差画像を生成し、
    前記予測誤差画像を直交変換することにより、複数の第１の周波数係数を算出し、
    前記予測画像を直交変換することにより、複数の第２の周波数係数を算出し、
    前記複数の第２の周波数係数のそれぞれの正負の符号を判定し、
    前記複数の第１の周波数係数のそれぞれの正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて前記複数の第１の周波数係数を符号化する、
    ことを含む動画像符号化方法。
13. 符号化された動画像データに含まれる、既に復号されたピクチャまたは復号対象ピクチャの既に復号された領域から、該復号対象ピクチャの復号対象ブロックに対する予測画像を生成し、
    前記予測画像を直交変換することにより、複数の第２の周波数係数を算出し、
    前記複数の第２の周波数係数のそれぞれの正負の符号を判定し、
    前記復号対象ブロックと前記予測画像間の予測誤差画像を直交変換することにより算出される複数の第１の周波数係数のそれぞれについての正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表し、前記符号化された動画像データに含まれる符号一致情報を用いて前記複数の第１の周波数係数を復号し、
    前記複数の第１の周波数係数を逆直交変換することにより前記予測誤差画像を再生し、
    前記予測誤差画像の各画素の値に前記予測画像の対応する画素の値を加算することにより、前記復号対象ブロックを再生する、
    ことを含む動画像復号方法。
14. 動画像データに含まれる、既に符号化されたピクチャまたは符号化対象ピクチャの既に符号化された領域から、該符号化対象ピクチャの符号化対象ブロックに対する予測画像を生成し、
    前記符号化対象ブロックと前記予測画像間で差分演算することにより前記符号化対象ブロックの予測誤差画像を生成し、
    前記予測誤差画像を直交変換することにより、複数の第１の周波数係数を算出し、
    前記予測画像を直交変換することにより、複数の第２の周波数係数を算出し、
    前記複数の第２の周波数係数のそれぞれの正負の符号を判定し、
    前記複数の第１の周波数係数のそれぞれの正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表す符号一致情報を用いて前記複数の第１の周波数係数を符号化する、
    ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。
15. 符号化された動画像データに含まれる、既に復号されたピクチャまたは復号対象ピクチャの既に復号された領域から、該復号対象ピクチャの復号対象ブロックに対する予測画像を生成し、
    前記予測画像を直交変換することにより、複数の第２の周波数係数を算出し、
    前記複数の第２の周波数係数のそれぞれの正負の符号を判定し、
    前記復号対象ブロックと前記予測画像間の予測誤差画像を直交変換することにより算出される複数の第１の周波数係数のそれぞれについての正負の符号と、前記複数の第２の周波数係数のうちの当該第１の周波数係数と同一の周波数の成分を表す周波数係数の正負の符号とが一致するか否かを表し、前記符号化された動画像データに含まれる符号一致情報を用いて前記複数の第１の周波数係数を復号し、
    前記複数の第１の周波数係数を逆直交変換することにより前記予測誤差画像を再生し、
    前記予測誤差画像の各画素の値に前記予測画像の対応する画素の値を加算することにより、前記復号対象ブロックを再生する、
    ことをコンピュータに実行させる動画像復号用コンピュータプログラム。

Images