JP5740239B2 - モード情報伝送置換装置、画像符号化装置、画像復号装置、及びこれらのプログラム - Google Patents

Description

本発明は、画像の圧縮符号化技術に関するものであり、特に、画像の圧縮符号化におけるモード情報について伝送効率を改善するモード情報伝送置換装置、画像符号化装置、画像復号装置、及びこれらのプログラムに関する。

画像の圧縮符号化技術においては、様々な処理要素を組み合わせて符号化方式を構築し、圧縮の効率向上を達成している。これらの圧縮符号化技術における処理要素は、常に使用されるとは限らず、入力画像や既符号化情報などの画像特徴に応じて使用を決定する仕組みとなっていたり、あるいは同じ目的の処理要素においても複数の処理要素が用意され、これらから選択して使用することが可能な仕組みとなっていたりすることが多い。

ここで、本願明細書中で扱う圧縮符号化技術における処理要素とは復号側で処理内容の特定を要するものを云う。例えば、このような圧縮符号化技術における処理要素の選択例として、フレーム画像を分割するスライスやサイズの選択、画像部分を分割したブロックの形状やサイズの選択、ブロックに対して直交変換を施す際に用いるＤＣＴ（Discrete Cosine Transform）とＤＳＴ（Discrete Sine Transform）の選択、量子化スケール又は量子化パラメータの係数の選択、複数の直交変換・量子化の処理の選択、画面内予測の予測方向や参照ブロックの位置又はサイズの選択、画面間予測の参照フレームや動き探索の範囲の選択、動きベクトルの参照ブロックの形状やサイズの選択、伝送情報のスキャン方法の選択、圧縮符号化の処理モードの選択などがある。

このような符号化方式においては、使用されている処理要素が何であるかを復号側に情報（以下、「モード情報」と称する）として伝送しなければならない。例えば、図１１に、ＡＶＣ／Ｈ．２６４で代表される従来からの画像符号化装置のブロック図を示している。従来からの画像符号化装置は、画像符号化部１０ａと、符号化設定部１１とを備える。画像符号化部１０ａは、周波数変換部１００とエントロピー符号化部１０３からなり、周波数変換部１００は、符号化対象の画像信号を入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施す直交変換・量子化部１０１と、入力画像信号を構成するブロックと隣接するブロックの既符号化情報を用いて、当該入力画像信号を予測する予測信号を生成する予測信号生成部１０２とを備える。エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。符号化設定部１１は、予め定めた処理要素を有する符号化方式に従って、直交変換・量子化部１０１、予測信号生成部１０２及びエントロピー符号化部１０３で用いる各種モード情報を設定する。設定されたモード情報は、エントロピー符号化部１０３にて、上記差分信号の画像情報とは別に符号化される。

このように、処理要素の選択を要求する符号化方式においては、使用されている処理要素が何であるかを示すモード情報を画像情報とは別に符号化して伝送する必要がある。当然、このようなモード情報も画像を圧縮した結果得られる符号化ビットストリームの中に入るため、圧縮効率の観点からは情報量としてできる限り少ないことが望ましい。しかしながら、例えばブロック単位の処理において、ＡＶＣ／Ｈ．２６４（ISO/IEC 14496-10, Advanced Video Coding/ITU-T Rec. H. 264）方式などで利用される画面内予測は、予測の方向をブロックごとにモード情報として伝達しなければならず、各ブロックでは数ビット程度の追加の情報であっても１つ又は複数のフレーム画像の全体では膨大な情報量となる。このため、ＡＶＣ／Ｈ．２６４では、隣接ブロックの情報との差分を計算するなどして、伝送情報の情報量を低減する仕組みが取り入れられている。

特に、放送や動画配信等に用いられている符号化方式ＡＶＣ／Ｈ．２６４では、画面内予測や動き補償予測を行い、予測画像と入力画像との差分信号に対して、４×４画素、８×８画素、１６×１６画素といった２次元のブロックごとに直交変換及び量子化を行い、２次元のブロックを所定の順序でスキャンして１次元の信号とし、エントロピー符号化を行って圧縮するという技法が用いられている。符号化側から復号側に伝送される情報は、符号化処理に関する様々なモード情報と画像情報の直交変換係数とが伝送される。伝送されるモード情報の１つに例えばスキャン方法の種類を示す情報があり、従来から、２次元のブロックを１次元の信号に変換する際に、複数種類のスキャン方法を切り替える技法が知られている（例えば、特許文献１、非特許文献１及び非特許文献２参照）。

特許文献１には、ランの長さ、符号長、周囲からの予測に応じて、渦巻き走査、横走査、縦走査、ヒルベルト走査などの９種類のスキャン方法を切り替える技法が記載されているが、スキャン方法の種類を示すフラグ（モード情報）をどのように伝送するかについては開示されていない。

非特許文献１には、ＡＶＣ／Ｈ．２６４の画面内予測の予測モードに応じて、予め決定された３種類のスキャンを切り替える技法が記載されている。非特許文献１に開示される技法では、スキャン方法の種類を画面内予測の予測モードに対応して決定するため、スキャン方法の種類を示すフラグの伝送を不要とするが、画面内予測の予測モードに関するモード情報を伝送する必要がある。非特許文献１には、各処理要素のモード情報の情報量を如何にして低減させるかについて開示されていない。

また、非特許文献２には、ＲＤ（Rate-Distortion: レート‐歪み）コストの計算に応じて、画面内予測の予測モードに関らず３種類のスキャン方法を切り替える技法が記載されているが、スキャン方法の種類を示すフラグなどの各処理要素のモード情報の情報量を如何にして低減させるかについて開示されていない。尚、非特許文献２では、３種類のスキャン方法として、図１２に示すようなジグザグスキャン、水平スキャン及び垂直スキャンが用いられている。図１２は、水平方向ｕ及び垂直方向ｖの２次元配列を（ｕ，ｖ）としたとき、一般的に、（０，０），（０，１），・・・,（３，３）から表される４×４のブロックについて係数をスキャンする順序を示したものである。

また、画面内予測に関するモード情報の情報量を実質的に低減させる技術として、異なる予測モードと予測信号が一致する予測モードを検出し、予測信号が一致する予測モードが存在する場合に予め定められた優先順位に従って一つを選択して残りの予測モードを欠番にし、欠番になった予測モードには符号語を割り当てないとする条件を定めることで、実質的に予測モードの情報量を低減させる技術が開示されている（例えば、特許文献２参照）。

特開２００２−３５４２６７号公報 特開２００９−１０５６９６号公報

Jie Jia, Eun-Ku Jung, Hae-Kwang Kim, "Adaptive Transform Coefficient Scan for H. 264 Intra Cording", IEICE transactions on information and systems, Volume E90-D Issue 10, October 2007, pp.1709-1711 Vadim Seregin, Jianle Chen, "Low-complexity adaptive coefficients scanning", Doc JCTVC-C205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, Guanzhou, CN, October 2010

上記説明したように、符号化方式で使用している処理要素を示すモード情報は、圧縮符号化による圧縮効率の向上のために必要であるものの、一方で、モード情報自体が情報量の増大となってしまうことがあり、画面全体又は圧縮符号化を行う画像全体としての符号化効率の向上の観点から改善の余地がある。

非特許文献１に記載されている技法を用いることにより、スキャン方法の種類を示すフラグを伝送することなく、スキャン方法を切り替えることができる。しかし、画面内予測モードに対応させていなければ切り替えることができず、さらに、画面内予測モードにおける予測モードのモード情報については依然として伝送する必要がある。

非特許文献２に記載されている技法を用いることにより、画面内予測の予測モードに関らずスキャン方法を切り替えることができる。しかし、スキャン方法の種類に応じたフラグを伝送するため、符号量が増えるという問題点がある。特に、特許文献１のようにスキャン方法の種類を多くした際には、フラグの符号量が増加する。

このため、画面内予測モード以外にも、符号化方式における任意の処理要素に用いることができ、モード情報を示すフラグ等の補助情報を必ずしも伝送することなく多種類のモード情報を伝送可能とすることが望まれる。

さらに、特許文献２の技術において圧縮符号化を行う画像全体としてモード情報を実質的に低減させることができるとしても、モード情報自体の情報量の増大による影響をさらに抑制可能にする仕組みが要望されている。

本発明の目的は、上述の問題を鑑みて為されたものであり、画像の圧縮符号化におけるモード情報について伝送効率を改善するモード情報伝送置換装置、画像符号化装置、画像復号装置、及びこれらのプログラムを提供することにある。

上記課題を解決するため、本発明では、処理要素の特定に必要なモード情報を明示的に情報として符号化するのではなく、画像情報を用いて間接的に符号化することで情報量の増大を抑制し、符号化対象画像の全体としての圧縮符号化効率又は伝送効率を向上させる。この「画像情報を用いてモード情報を間接的に符号化」とは、モード情報を画像情報によって表現して符号化することを意味しており、モード情報によって画像情報を拘束し、その拘束された画像情報の状態の分析によってモード情報を判別できるように符号化することである。

即ち、本発明による第１態様のモード情報伝送置換装置は、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換するモード情報伝送置換装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、 当該割り当てられたモード情報に対応する画像情報となるように、前記周波数変換係数の値を変更する係数変更部とを備え、前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、前記モード情報割当部は、前記ブロック単位での識別を要するモード情報の割り当てを決定し、前記係数変更部は、前記符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、前記ブロック単位の複数の周波数変換係数のうちのスキャン順で最後の非ゼロ係数について値を変更するよう構成され、前記モード情報割当部は、３通り以上の内容のモード情報をモジュロ演算により識別可能なビット数で構成し、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てるよう構成されていることを特徴とする。

また、本発明による第１態様のモード情報伝送置換装置において、前記モード情報割当部は、画像の圧縮符号化による情報量と画質劣化度合いに関して予め統計で定めた結果を基に、前記ブロック単位での識別を要するモード情報の割り当てを行うか否かを決定する手段と、該手段によりモード情報の割り当てを行う際に、前記３通り以上の内容のモード情報の割り当てによるモード情報の伝送方法を示す情報伝送方法情報を前記画像情報の周波数変換係数に対する補助情報として伝送するよう生成する手段と、を有することを特徴とする。

また、本発明による第１態様のモード情報伝送置換装置において、前記モード情報割当部は、前記ブロック単位での識別を要するモード情報について、前記符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかに対応させる割り当てを決定し、前記係数変更部は、前記非ゼロ係数の個数、前記ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかで当該割り当てられたモード情報に対応する画像情報となるように、前記ブロック単位の複数の周波数変換係数のうちのスキャン順で最後の非ゼロ係数について値を変更することを特徴とする。

さらに、本発明による第２態様のモード情報伝送置換装置は、画像の圧縮符号化におけるモードをＮ種類（Ｎは３以上の整数）から選択し、選択したモードに応じて置換された画像情報を伝送するモード情報伝送置換装置であって、予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち２つ以上の係数値を変更して、Ｎ種類のブロックを生成する係数変更部と、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するモード選択部とを備え、前記モード情報割当部は、前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードを割り当てるよう構成され、前記係数変更部は、前記ブロック内の周波数変換係数のうち２つ以上の係数値を変更する際に、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の周波数変換係数を選択し、選択された前記２つ以上の周波数変換係数の係数値が±２以下となるよう分散させて変更する手段を有することを特徴とする

さらに、本発明による画像符号化装置は、本発明によるモード情報伝送置換装置と、該モード情報伝送置換装置によって変更された周波数変換係数に対してエントロピー符号化を施すエントロピー符号化部と、を備えることを特徴とする。

さらに、本発明による第１態様の画像復号装置は、画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されており、前記符号化ビットストリームをエントロピー復号して前記画像情報の周波数変換係数を送出するエントロピー復号部と、前記画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するモード情報抽出部と、抽出されたモード情報と前記画像情報の周波数変換係数とを用いて、逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部とを備え、前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、前記ブロック単位での識別を要する３通り以上の内容のモード情報がモジュロ演算により識別可能なビット数で構成され、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てられており、前記モード情報抽出部は、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいてモジュロ演算により前記３通り以上の内容のモード情報を抽出するよう構成されていることを特徴とする。

さらに、本発明による第２態様の画像復号装置は、画像の圧縮符号化におけるＮ種類（Ｎは３以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、且つ前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードが割り当てられ、前記ブロック内の周波数変換係数のうち２つ以上の係数値が、Ｎ種類のモードの識別のために前記ブロック内の周波数変換係数のうちの絶対値が大きい順に±２以下で分散して変更されており、前記符号化ビットストリームからブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するエントロピー復号部と、ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部とを備え、前記エントロピー復号部は、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の係数値を基に、前記Ｎ種類のモードの割り当てを判別する手段を有することを特徴とする。

また、本発明のプログラムは、本発明のモード情報伝送置換装置、画像符号化装置又は画像復号装置の各構成要素をコンピュータに実行させるためのプログラムとして構成することができる。

本発明によれば、圧縮符号化の処理要素に必要なモード情報を、補助情報として付加することなしに、伝送する画像情報を用いて間接的に表現可能にすることで圧縮符号化効率又は伝送効率を更に改善することができるようになる。

また、本発明によれば、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしに多種類のモード情報を間接的に伝送可能とするため、画質の改善に有効な処理要素のモードについて符号量を増やすことなく増大させることができるようになる。

本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置のブロック図である。 本発明による第１の実施形態の画像復号装置のブロック図である。 本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。 本発明による第１の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。 （Ａ）本発明による第１の実施形態のモード情報伝送置換装置における第１及び第２のモード情報伝送方法の動作を説明する図であり、（Ｂ）本発明による第１の実施形態のモード情報伝送置換装置における第３のモード情報伝送方法の動作を説明する図である。 本発明による第１の実施形態のモード情報伝送置換装置における第４のモード情報伝送方法の動作を説明する図である。 本発明による第２の実施形態の画像符号化装置のブロック図である。 本発明による第２の実施形態の画像復号装置のブロック図である。 本発明による第２の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。 本発明による第２の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。 従来からの画像符号化装置のブロック図である。 （Ａ）従来からの代表的なスキャン方法であるジグザグスキャンを例示する図であり、（Ｂ）従来からの代表的なスキャン方法である水平スキャンを例示する図であり、（Ｃ）従来からの代表的なスキャン方法である垂直スキャンを例示する図である。

以下、本発明による第１の実施形態及び第２の実施形態について、図面を参照して順に説明する。本発明の理解を高めるために、以下に説明する実施形態では、ＡＶＣ／Ｈ．２６４などの予め定められた符号化方式で様々な処理要素を指定する例を説明し、特に、複数の周波数変換係数からなるブロックとして、限定するものではないが、例えば８×８の直交変換係数からなるブロックを例示して説明する。このため、本願明細書中、各実施形態のモード情報伝送置換装置が処理する単位の画像情報を「ブロック」と称し、予め定められた符号化方式で符号化対象とする画像全体を「符号化対象画像」と称することにする。ただし、本発明による各実施形態のモード情報伝送置換装置が処理する単位の画像情報は、動画ファイルなどの複数のフレーム画像からなる画像列全体であったり、１つのフレーム画像であったり、１つのフレーム画像を幾つかに分割したスライスごとの画像部分であったり、スライスごとの画像部分を分割したブロックであってもよい。

先ず、本発明による第１の実施形態のモード情報伝送置換装置、画像符号化装置及び装置について説明する。

＜第１の実施形態＞
〔装置構成〕
（モード情報伝送置換装置／画像符号化装置）
図１は、本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置のブロック図である。本実施形態の画像符号化装置１は、画像符号化部１０と、符号化設定部１１と、モード情報伝送置換装置１２とを備える。

本実施形態の画像符号化部１０及び符号化設定部１１は、それぞれ図１１で説明した従来からの圧縮符号化の処理に必要な画像符号化部１０ａ及び符号化設定部１１に対応しており、同様な構成要素には同一の参照番号を付している。つまり、画像符号化部１０は、周波数変換部１００を構成する直交変換・量子化部１０１及び予測信号生成部１０２と、エントロピー符号化部１０３とを備えている。

直交変換・量子化部１０１は、符号化対象画像の入力画像信号を入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施す。ただし、予測信号生成部１０２を設けない場合には、符号化対象画像の入力画像信号に対して直交変換及び量子化を施すことになる。

予測信号生成部１０２は、入力画像信号を構成するブロックと隣接するブロックの既符号化情報を用いて、当該入力画像信号を予測する予測信号を生成する。例えば、予測信号生成部１０２は、画面内予測や画面間予測による入力画像信号を予測する予測信号を生成する。

エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。ただし、本実施形態の画像符号化装置１では、直交変換・量子化部１０１によって直交変換及び量子化を施した直交変換係数がモード情報伝送置換装置１２を経由してエントロピー符号化部１０３に入力される点で、図１１で説明した従来からの画像符号化装置とは相違する。

符号化設定部１１は、予め定めた処理要素を有する符号化方式で、本実施形態における直交変換・量子化部１０１、予測信号生成部１０２及びエントロピー符号化部１０３で用いる各種モード情報を設定する。ただし、本実施形態の画像符号化装置１では、設定されたモード情報がモード情報伝送置換装置１２にも供給される点で、図１１で説明した従来からの画像符号化装置とは相違する。

モード情報伝送置換装置１２は、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換する装置であり、モード情報割当部１２０を構成するモード情報伝送決定部１２１、決定判断情報供給部１２２、モード情報伝送方法選択部１２３及びモード情報伝送値決定部１２４と、係数変更部１２５とを備える。

モード情報割当部１２０は、符号化設定部１１で指定される符号化方式のモード情報について、この符号化方式の周波数変換処理による画像情報の周波数変換係数（例えば、直交変換係数）に対する割り当てを決定する機能部である。

係数変更部１２５は、当該割り当てられたモード情報に対応する画像情報となるように、画像符号化部１０から得られる周波数変換係数（例えば、直交変換係数）の値を変更し、変更済みの周波数変換係数（例えば、直交変換係数）を画像符号化部１０に送出する機能部である。

特に、符号化設定部１１で指定される符号化方式の周波数変換処理による画像情報がブロック単位の複数の周波数変換係数（例えば、直交変換係数）からなる場合、モード情報割当部１２０は、ブロック単位での識別を要するモード情報の割り当てを決定し、係数変更部１２５は、この符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、当該割り当てられたモード情報に対応する画像情報となるようにブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更する。

モード情報伝送決定部１２１は、符号化設定部１１から供給されたモード情報について、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する予め定めた条件に基づいて、補助情報として明示的に（直接的に）符号化・伝送を行うか、伝送する画像情報を用いて本発明に係る間接的な符号化・伝送を行うかを決定し、この決定を示すモード情報伝送決定情報をモード情報伝送方法選択部１２３に送出する。尚、モード情報伝送決定情報には、モード情報の伝送値が事前に決定されているか否かを示す情報を含めることができる。符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合いに依存する予め定めた条件については、詳細に後述する。

決定判断情報供給部１２２は、必ずしも必要とされるものではないが、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定のために随意設けられる機能部である。決定判断情報供給部１２２は、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定の際に、符号化設定部１１から供給されたモード情報について、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関して、予め多くの画像を使った実験等の統計で定めた結果をメモリ（図示せず）に保持しておき、モード情報ごとに明示的に付加するか否かの決定を示す決定判断情報をモード情報伝送決定部１２１に供給する。この場合、モード情報伝送決定部１２１は、モード情報伝送決定部１２１からの決定判断情報を基に、モード情報を明示的に付加するか、画像情報を用いた間接的な符号化・伝送を行うかを決定する。

また、決定判断情報供給部１２２は、モード情報伝送決定部１２１によるモード情報を間接的に付加するか否かの決定の際に、符号化設定部１１から供給されたモード情報について、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関して、予め多くの画像を使った実験等の統計で定める代わりに、予め当該符号化対象画像を使った実験等で定めた結果をメモリ（図示せず）に保持しておき、モード情報ごとに間接的に付加するか否かの決定を示す決定判断情報をモード情報伝送決定部１２１に供給するように構成してもよい。この決定判断情報に関して、決定判断情報供給部１２２は、モード情報伝送決定部１２１による符号化対象画像の符号化処理毎に各モード情報を間接的に付加するか否かの決定判断情報を供給してもよいし、各モード情報を間接的に付加するか否かの決定判断情報を一括したリストとしてモード情報伝送決定部１２１に供給してもよい。

モード情報伝送方法選択部１２３は、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、複数のモード情報伝送方法が予め定められている場合に、決定判断情報供給部１２２からのモード情報伝送決定情報に基づいてモード情報の間接的な符号化・伝送に関するモード情報伝送方法を決定するとともに、いずれのモード情報伝送方法を用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成する。尚、この補助情報は必ずしも必要とされるものではなく、複数のモード情報伝送方法に関しては詳細に後述する。

モード情報伝送値決定部１２４は、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、画像情報に対するモード情報の伝送値の割り当てを決定し、当該決定した値を示す伝送値決定情報を、符号化する補助情報として生成する。尚、この補助情報は必ずしも必要とされるものではなく、伝送値決定情報に関しては、後述する複数のモード情報伝送方法の詳細な説明から明らかになる。

また、伝送方法情報及び伝送値決定情報を符号化ビットストリームにヘッダ情報として付加した場合であっても、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定の際に（又は決定判断情報供給部１２２の決定判断の際に）、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関してモード情報を明示的に付加する場合よりも有効であるとして決定されているものとする。

係数変更部１２５は、主に、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、モード情報割当部１２０を構成するモード情報伝送決定部１２１、決定判断情報供給部１２２、モード情報伝送方法選択部１２３及びモード情報伝送値決定部１２４からの情報を基に、モード情報を間接的に符号化・伝送するときには、割り当てるモード情報に対応する画像情報となるように、画像符号化部１０から得られる周波数変換係数（例えば、直交変換係数）の値を変更し、変更済みの周波数変換係数（例えば、直交変換係数）を画像符号化部１０におけるエントロピー符号化部１０３に送出する。モード情報を明示的に符号化・伝送するときには、係数変更部１２５は、入力される直交変換係数をそのまま画像符号化部１０におけるエントロピー符号化部１０３に送出する。

エントロピー符号化部１０３は、モード情報伝送置換装置１２を介して得られる周波数変換係数を符号化し、伝送方法情報及び伝送値決定情報を補助情報として伝送する場合も併せて符号化して符号化ビットストリームを生成する。

本実施形態のモード情報伝送置換装置１２又は画像符号化装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のモード情報伝送置換装置１２又は画像符号化装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

（画像復号装置）
図２は、本発明による第１の実施形態の画像復号装置のブロック図である。本実施形態の画像復号装置２０は、画像符号化装置１によって符号化されたビットストリーム、つまり、画像の圧縮符号化におけるモード情報について画像情報を用いて間接的に表現されている符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、画像符号化装置１により周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されている。尚、画像の圧縮符号化におけるモード情報について明示的に付加されている場合には、従来技術と同様に明示的に付加されたモード情報に基づいて画像情報の周波数変換係数に対して逆周波数変換処理を行えば画像を復元できるため、更なる詳細な説明は省略する。画像復号装置２０は、エントロピー復号部２０１と、モード情報抽出部２０２と、逆周波数変換部２０３とを備える。逆周波数変換部２０３は、逆量子化・逆直交変換部２０４と、予測信号生成部２０５とを備える。

エントロピー復号部２０１は、符号化ビットストリームに対してエントロピー復号を施して、モード情報が間接的に表現された画像情報の周波数変換係数（本例では、変更済みの直交変換係数）をモード情報抽出部２０２及び逆周波数変換部２０３に送出する。符号化ビットストリームにて、伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、これらの補助情報も併せて復号され、モード情報抽出部２０２に送出される。

モード情報抽出部２０２は、モード情報が間接的に表現された画像情報の周波数変換係数の値及び／又は個数を分析して当該割り当てられたモード情報を抽出する。伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、モード情報抽出部２０２は、これらの補助情報を基に画像情報の周波数変換係数から当該割り当てられたモード情報を抽出する。

逆周波数変換部２０３は、モード情報抽出部２０２によって抽出されたモード情報を用いて、エントロピー復号部２０１によって復号した画像情報の周波数変換係数に対して、逆周波数変換処理、つまり逆量子化・逆直交変換部２０４による逆量子化及び逆直交変換処理を施し、復号した画像信号を生成する。尚、符号化側にて、符号化対象画像の入力画像信号と前述した予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施している場合には、逆周波数変換部２０３は、予測信号生成部２０５によって既復号済の画像信号を逆量子化及び逆直交変換処理を施した差分信号に加算することで、復号した画像信号を生成する。

本実施形態の画像復号装置２０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像復号装置２０の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

次に、モード情報伝送置換装置１２を備える画像符号化装置１における画像符号化処理の動作と、画像復号装置２０における画像復号処理の代表的な動作について、それぞれ詳細に説明する。尚、限定するものではないが、８×８の直交変換係数のブロックを、モード情報を間接的に伝送する画像情報として用いる場合について説明する。

〔装置動作〕
（画像符号化処理）
図３は、本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。先ず、モード情報割当部１２０によって、符号化に関するモード情報を取得する（ステップＳ１１）。

次に、モード情報伝送決定部１２１によって、符号化設定部１１から供給されたモード情報について、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する予め定めた条件に基づいて、モード情報の伝送置換を行うか否か、つまり、明示的に補助情報として符号化・伝送を行うか、本発明に係る画像情報を用いた間接的な符号化・伝送を行うかを決定する（ステップＳ１２）。尚、モード情報の伝送置換を行うか否かを示す情報は、モード情報伝送決定情報としてモード情報伝送方法選択部１２３及び係数変更部１２５に送出される。

モード情報伝送決定部１２１では、モード情報の伝送置換を行うか否かを決定するが、この決定は、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する。例えば、圧縮符号化の処理要素に必要なモード情報がブロック単位に１ビットであっても、これをブロック単位に明示的に付加すると１つ又は複数のフレーム画像の全体では膨大な情報量になる。しかし、モード情報を明示的に付加しない場合（即ち、モード情報による処理要素の選択が無い場合）に比べて、モード情報による情報量の増大よりも画質劣化度合いが少なければモード情報を明示的に付加することを選択するのが有効である。逆に、モード情報を付加したことによる符号化対象画像の全体の情報量の増大が、画質劣化度合いよりも大きい場合には、モード情報を明示的に付加しないほうがよい。

例えば、モード情報伝送決定部１２１は、符号化対象画像自体の情報量をＩ、符号化対象画像に関するモード情報の情報量をＱ、符号化対象画像に関する画質劣化度合いをＰとしたとき、所定の閾値Ｔを用いた式（１）を満たす場合には、モード情報を明示的に付加しないで間接的に伝送するとして決定する。

（Ｉ＋Ｑ）−ｋＰ＞Ｔ （１）
ここに、ｋは、画質劣化度合いと符号化対象画像に関する情報量の比較を行うための重み係数である。

一方、モード情報伝送処理部１２１において明示的にモード情報を付加する決定が行われたときは、従来技術と同様に、符号化対象画像に関する符号化処理の単位で必要なビット数のモード情報を付加することになる。

次に、モード情報伝送方法選択部１２３によって、モード情報伝送決定部１２１が供給するモード情報伝送決定情報を参照した結果、モード情報の伝送値が事前に決定されているか否かを判別して（ステップＳ１３）、モード情報の伝送値が事前に決定されていない場合、先ず、モード情報の間接的な伝送を行う際に予め定められた複数のモード情報伝送方法のうちのいずれかを選択する（ステップＳ１４）。つまり、モード情報伝送方法選択部１２３によって、予め定められた複数のモード情報伝送方法について、周波数変換係数の値及び／又は個数に基づいてモード情報伝送方法を選択して決定するとともに、いずれのモード情報伝送方法を用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成する。予め定められた４つのモード情報伝送方法について、図５及び図６を参照しながら説明する。

第１のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値がゼロでない値をもつ係数（本願明細書中、「非ゼロ係数」とも称する）の個数に応じたモード情報を設定する（図５（Ａ）参照）。

例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、非ゼロ係数の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。つまり、周波数変換によって得られる変換係数は、全てが非ゼロ係数ではなくとも、量子化を施すことでゼロになる係数がある。このように符号化対象画像に関する非ゼロ係数の個数に応じたモード情報を設定することができる。

第２のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値がゼロの値をもつ係数（本願明細書中、「ゼロ係数」とも称する）の個数に応じたモード情報を設定する（図５（Ａ）参照）。

例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、ゼロ係数の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。つまり、周波数変換によって得られる変換係数に対して量子化を施すことでゼロになる係数の個数を利用する。このように符号化対象画像に関するゼロ係数の個数に応じたモード情報を設定することができる。

尚、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、ブロック内に存在する全係数値は定まっているので、第１のモード情報伝送方法と第２のモード情報伝送方法は同時に使用することができない。

第３のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値の絶対値が１となる周波数変換係数の個数に応じたモード情報を設定する（図５（Ｂ）参照）。

前述のとおり、量子化を施した周波数変換係数として、ブロック内にてゼロ又は±１などの小さい値を多く持つ。そこで、例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、絶対値が１となる周波数変換係数の値の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。このように周波数変換係数の値の絶対値が１となる周波数変換係数の個数に応じたモード情報を設定することができる。

或いは、第１のモード情報伝送方法と第３のモード情報伝送方法の組み合わせや、第２のモード情報伝送方法と第３のモード情報伝送方法の組み合わせとすることもできる。例えば、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、ＤＣＴ係数など）を利用し、符号化対象画像に関する周波数変換係数の値の絶対値が１の係数の個数と、ゼロ係数（又は非ゼロ係数）の個数との総数に応じたモード情報を設定する。

尚、ここでは１ビットのモード情報を符号化する方法を説明したが、２ビット以上のモード情報についてモジュロ（剰余）を用いて間接的な符号化・伝送を行うことも可能である。例えば、２ビットのモード情報で３通りの内容を復号側で識別させる場合に、第１のモード情報伝送方法に適用するとすれば、非ゼロ係数の個数を３で割った剰余数の０，１，２に対応させてモード情報を割り当てることで間接的な符号化・伝送を行うことが可能となる。４通り以上の内容のモード情報を割り当てる場合も同様に、例えば、非ゼロ係数の個数を所定値で割った剰余数に対応させてモード情報を割り当てることで間接的な符号化・伝送を行うことができる。

第４のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関するスキャン順で最後の非ゼロ係数の値に応じたモード情報を設定する（図６参照）。ここでは特に、周波数変換ブロックに対し、１ビットのモード情報を伝送する場合を説明する。この場合、第４のモード情報伝送方法は、周波数変換係数のうち、スキャン順で最後の非ゼロ係数が１か１以外かによってモード情報を伝送する。周波数変換によって得られる変換係数は、量子化を施された後、特に通常のスキャン順で後方になる高周波成分についてはゼロや１など小さい数値になる傾向が多い。このため、スキャン順で最後の非ゼロ係数が１か１以外かによって１ビットのモード情報を伝送するのが好適である。

尚、ここでは１ビット（２通り）のモード情報を伝送する例を説明したが、第４のモード情報伝送方法においても、３通り以上のモードに関するモード情報を伝送することが可能である。例えば、３通りのモードがある場合、スキャン順で最後の非ゼロ係数が１か２か、それ以外かとすることでモード情報を伝送することができる。４通り以上のモードがある場合も同様である。

以上のように、モード情報伝送方法選択部１２３は、モード情報の符号化に利用する方法を選択する。ここでは４通りのモード情報伝送方法を主に例示しているが、いずれのモード情報伝送方法を選択するかの選択基準として、予め定めておくこともできるが、周波数変換係数の値及び／又は個数に基づくものとすることができる。例えば、限定するものではないが、ゼロ係数の個数が非ゼロ係数よりも多い場合には、第１のモード情報伝送方法か第２のモード情報伝送方法を選択し、非ゼロ係数の個数がゼロ係数よりも多い場合には、第３のモード情報伝送方法か第４のモード情報伝送方法を選択するように決めておくことができる。これにより、モード情報伝送方法を適応的に選択することができる。或いはまた、ゼロ係数の存在の有無、非ゼロ係数の存在の有無、絶対値１の周波数変換係数の存在の有無を、いずれのモード情報伝送方法を選択するかの選択基準としてもよい。或いはまた、第１〜第４のモード情報伝送方法のＲＤコストを算出することでＲＤコストの最も小さいものを選択するようにしてもよい。また、いずれのモード情報伝送方法を利用したかを示す伝送方法情報を補助情報として符号化・伝送しない場合、例示した４通りのモード情報伝送方法のちのいずれを用いるかを画像符号化装置１及び画像復号装置２０間で予め定めておけばよい。例示した４通りのモード情報伝送方法のうちのいずれを用いるかについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合は、モード情報伝送方法選択部１２３を必ずしも設ける必要はない。

続いて、モード情報伝送値決定部１２４によって、画像情報に対するモード情報の伝送値の割り当てを決定し、当該決定した値を示す伝送値決定情報を、符号化する補助情報として生成する。

モード情報伝送方法選択部１２３では、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に対して１ビットのモード情報の割り当てを決定する例を説明したが、モード情報伝送値決定部１２４は、１ビットのモード情報（例えば０と１）のうちのいずれを特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に割り当てるかを定める。モード情報伝送値決定部１２４によって割り当てるモード情報の値が決定されると、その旨が係数変更部１２５に供給される。

尚、モード情報伝送値決定部１２４によって、奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用したかを示す伝送値決定情報を補助情報として符号化・伝送しない場合、奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用するかについて、画像符号化装置１及び画像復号装置２０間で予め定めておけばよい。奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用したかについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合は、モード情報伝送値決定部１２４を必ずしも設ける必要はない。

次に、係数変更部１２５によって、画像符号化部１０から符号化対象画像の直交変換係数を取得し（ステップＳ１５）、割り当てるモード情報に対応する画像情報となるように（つまり、モード情報の伝送値の割り当てに対応するように）、画像符号化部１０から得られる直交変換係数の値を置き換えて変更し、変更済みの直交変換係数を画像符号化部１０におけるエントロピー符号化部１０３に送出する（ステップＳ１６）。

モード情報割当部１２０の処理において、符号化する１ビットのモード情報は、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数によって表現することを決定したが、符号化したい画像情報のブロックの周波数変換係数に関する個数が、必ずしもモード情報の値に対応する個数の奇数又は偶数に一致しているとは限らない。このため、係数変更部１２５は、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に一致するように画像情報のブロックの周波数変換係数の値を変更する。

例えば、周波数変換としてＤＣＴ及びＤＳＴをブロック単位で切り替えて利用する符号化方式を想定する。この場合、量子化された周波数変換係数のブロックに対し１ビットのモード情報としてＤＣＴ又はＤＳＴで周波数変換が施されている旨を伝送するにあたり、例えば、モード情報伝送方法選択部１２３によって第１のモード情報伝送方法が選択され、モード情報伝送値決定部１２４によって非ゼロ係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。一方で、画像符号化部１０で処理するブロックがＤＣＴで周波数変換されているにも関わらず、当該ブロックの非ゼロ係数の個数が偶数であった場合に、係数変更部１２５は、当該ブロックの非ゼロ係数の個数を奇数となるように画像情報のブロックの周波数変換係数を強制的に変更する。具体的には、図５（Ａ）に示すように、非ゼロ係数を１つ削除して係数の値自体をゼロにする。周波数変換では、周波数の大きい係数ほど値が小さい傾向にあり、また、復号した場合に人間の視覚に気づかれにくい性質を有する。そこで、ゼロに変更する周波数変換係数は、非ゼロ係数のうち最高周波数の係数（last significant coefficient）とするのが好適である。圧縮符号化においては、量子化された周波数変換係数は、低周波成分から順番に並び替え（スキャン）が施されることが多く、最高周波数の係数を並び替えの最後とすることからlast significant coefficientと称することがある。

また、モード情報伝送方法選択部１２３によって第２のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によってゼロ係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図５（Ａ）に示すように、係数変更部１２５は、符号化したい画像情報のブロックの周波数変換係数の個数が、割り当てるモード情報の値に対応する個数に一致するように（本例では、ＤＣＴで周波数変換されているブロックのゼロ係数の個数を奇数となるように）、例えば非ゼロ係数のうち最高周波数の係数をゼロに変更することで、画像情報のブロックの周波数変換係数を強制的に変更する。

また、モード情報伝送方法選択部１２３によって第３のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によって絶対値１の周波数変換係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図５（Ｂ）に示すように、符号化したい画像情報のブロックの周波数変換係数の個数が、割り当てるモード情報の値に対応する個数に一致するように（本例では、ＤＣＴで周波数変換されているブロックの絶対値１の周波数変換係数の個数を奇数となるように）、例えば絶対値１の周波数変換係数のうちの最高周波数の係数をゼロに変更するか、或いは、絶対値として２又は３のような予め定められている小さい値を持つ非ゼロ係数のうちの最高周波数の係数を絶対値１に変更することで、符号化対象画像の周波数変換係数を強制的に変更する。

また、モード情報伝送方法選択部１２３によって第４のモード情報伝送方法が選択されている場合、モード情報伝送値決定部１２４によって、モード情報の伝送値（例えば１ビットならば０か１）のいずれを、スキャン順で最後の非ゼロ係数が１か１以外かに割り当てるかについて決定される。ただし、スキャン順で最後の非ゼロ係数が１か１以外のいずれに利用したのかを補助情報として符号化する場合と、予め定めておく場合がある。モード情報の伝送値の割り当てについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合、モード情報の伝送値を決定する必要はないので、モード情報伝送値決定部１２４を必ずしも設ける必要はない。

第４のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によって仮に係数のスキャン順で最後の非ゼロ係数が１の場合がＤＣＴ、１以外の場合がＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図６に示すように、符号化したい画像情報のブロックの周波数変換係数におけるスキャン順で最後の非ゼロ係数の値が、割り当てるモード情報に対応する値に一致するように（１ビットのモード情報では、ＤＣＴで周波数変換されているブロックのスキャン順で最後の非ゼロ係数の値が１となるように）、符号化対象画像のブロックの周波数変換係数を強制的に変更する。

つまり、符号化する１ビットのモード情報は、係数のスキャン順で最後の非ゼロ係数が１か１以外かによって表現されるが、符号化したい情報が必ずしもこれらに一致しているとは限らない。このため、これらが一致するよう変更する。上述の周波数変換としてＤＣＴとＤＳＴのモードがある例では、周波数変換がＤＣＴであるにも関わらず、最後の非ゼロ係数が１以外であった場合には、これを強制的に１に変更する。逆に、周波数変換がＤＳＴであるにも関わらず最後の非ゼロ係数が１であった場合には、２通りの変更方法がある。第１の変更方法は、最後の非ゼロ係数の値を２とする方法である。２以上の数値にしてもよいが、できるだけ小さい方が復号後の画質変化の影響が少ない。第２の変更方法は、最後の非ゼロ係数の値をゼロにし、新たにスキャン順で最後の非ゼロ係数の値を調べ、１でなければそのままとし、１であれば１以外の係数に値を変更する。

周波数変換では、周波数の大きい係数ほど値が小さい傾向になり、また、復号した場合に人間の視覚に気づかれにくい性質を有する。そこで、スキャン順で最後の非ゼロ係数の値によって間接的なモード情報の伝送が可能となる。

最終的に、エントロピー符号化部１０３によって、明示的又は間接的にモード情報を直交変換係数に付随してエントロピー符号化する（ステップＳ１７）。

これにより、モード情報について、画像情報を用いた間接的な符号化・伝送を行うことができ、圧縮符号化効率又は伝送効率を高めることができる。特に、最高周波数の係数や絶対値１の周波数変換係数を本発明に係るモード情報の間接的な伝送のための変更対象とすることで、実質的な画質劣化を生じさせることなく符号化・伝送に係るモード情報の情報量を低減させることができる。

続いて、画像復号装置２０における画像復号処理の動作について説明する。

（画像復号処理）
図４は、本発明による第１の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。先ず、画像復号装置２０は、符号化ビットストリームを入力して、エントロピー復号部２０１によって、符号化された画像情報に対してエントロピー復号を施す（ステップＳ２１）。図２に示すように、符号化ビットストリームは、エントロピー復号部２０１で処理され、モード情報が明示的な伝送であれば周波数変換係数に付与されており、モード情報が間接的な伝送であれば変更済みの周波数変換係数が伝送されているため、エントロピー復号部２０１は、モード情報が明示的に伝送されているか否かの判別を行う（ステップＳ２２）。モード情報が明示的に伝送されている場合は、ステップＳ２５に進み、モード情報が間接的に伝送されている場合は、ステップＳ２３に進む。

また、画像復号装置２０は、エントロピー復号部２０１によって、モード情報の伝送方法情報及び伝送値決定情報が補助情報として符号化ビットストリームに付加されているか否かを判別し、補助情報として付加されている場合には、これらのモード情報の伝送方法情報及び伝送値決定情報を復号する（ステップＳ２３）。

次に、モード情報抽出部２０２によって、モード情報が間接的に表現された画像情報の周波数変換係数の値及び／又は個数を分析し（ステップＳ２４）、当該割り当てられたモード情報を抽出する（ステップＳ２５）。伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、モード情報抽出部２０２は、これらの補助情報を基に画像情報の周波数変換係数から当該割り当てられたモード情報を抽出する。

つまり、図２に示すように、変更済みの周波数変換係数（例えば、直交変換係数）は、モード情報抽出部２０２へ供給される。モード情報抽出部２０２では、モード情報伝送置換装置１２におけるモード情報割当部１２０の処理の逆処理で、周波数変換係数からモード情報を抽出することができる。ここで、モード情報伝送方法の補助情報とモード情報伝送値の補助情報も併せて符号化されている場合には、これらの補助情報を用いてモード情報を抽出する。

図５（Ａ）で示す例で説明すると、モード情報抽出部２０２は、第１のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値がゼロでない係数（非ゼロ係数）の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。

図５（Ａ）で示す例で説明すると、モード情報抽出部２０２は、第２のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値がゼロの係数（ゼロ係数）の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。

図５（Ｂ）で示す例で説明すると、モード情報抽出部２０２は、第３のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値の絶対値が１の係数の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。

図６で示す例で説明すると、モード情報抽出部２０２は、第４のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値のうち、スキャン順で最後の非ゼロ係数が１か１以外かを判別し、判別した結果からモード情報の値に換算する。

最終的に、画像符号化装置１の処理の逆手順となる画像復号処理（逆変換処理）を実行し、復号した画像信号を出力する（ステップＳ２６）。

これにより、画像情報からモード情報を抽出することができ、圧縮符号化効率又は伝送効率を高めることができる。尚、第１の実施形態で画像情報を用いて間接的に伝送されるモード情報が、２次元配列の周波数変換係数に対するスキャン方法を示す符号化のモードである場合には、符号化ストリームで取得する一次元配列からこのモード情報を判別し、判別したモード情報に従って２次元配列の周波数変換係数のブロックを再構成することになる。

次に、本発明による第２の実施形態の画像符号化装置及び画像復号装置について説明する。

＜第２の実施形態＞
〔装置構成〕
（画像符号化装置）
本発明による第２の実施形態では、主に、複数種類のスキャン方法からなるモードのうち選択したモード情報を間接的に伝送するにあたり、ブロックの直流（ＤＣ）成分の係数値を変更する例を説明する。また、複数種類のスキャン方法として、図１２に示すジグザグスキャン、水平スキャン及び垂直スキャンの３種類のスキャン方法を切り替える例について説明する。

図７は、本発明による第２の実施形態の画像符号化装置のブロック図である。第２の実施形態の画像符号化装置１ｂは、周波数変換部を構成する直交変換・量子化部１０１及び予測信号生成部１０２と、モード情報伝送置換装置１２ｂと、エントロピー符号化１０３とを備える。第１の実施形態の画像符号化装置１と同様な構成要素には同一の参照番号を付している。

直交変換・量子化部１０１は、減算部１０１０、整数変換部１０１１及び量子化部１０１２を備え、符号化対象画像の入力画像信号を２次元配列のブロック単位で入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して整数変換及び量子化を施す機能部である。減算部１０１０は、この差分信号を生成する機能部であり、整数変換部１０１１は、周波数変換としてＡＶＣ／Ｈ．２６４で代表される整数変換を行う機能部であり、量子化部１０１２は整数変換された係数の量子化を行う機能部である。

エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。

モード情報伝送置換装置１２ｂは、モード情報を間接的に伝送するべく量子化された周波数変換係数の値を変更する点で第１の実施形態のモード情報伝送置換装置１２と同一であるが、第１の実施形態のモード情報伝送置換装置１２では、入力される周波数変換係数に対して間接的に伝送するモード情報の値の割り当てを決定して周波数変換係数の値を変更するものであったのに対し、第２の実施形態のモード情報伝送置換装置１２ｂは、Ｎ種類（Ｎは２以上の整数）のモードがある所定の処理要素を適応的に選択するために、選択するモードに関するモード情報について周波数変換係数の値を変更するように構成されている点で相違する。

具体的には、モード情報伝送置換装置１２ｂは、モード情報割当部１２０ｂと、係数変更部１２５ｂと、モード選択部１２６とを備える。

モード情報割当部１２０ｂは、直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックに対し、ＤＣ成分以外の周波数変換係数が全て０であるか否かを判定し、ＤＣ成分以外の係数が全て０である場合には係数変更部１２５ｂ及びモード選択部１２６の処理をバイパスして当該周波数変換係数をエントロピー符号化部１０３に送出し、ＤＣ成分以外の係数が全て０でない場合には、予め定められた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てを決定し、この割り当て情報を係数変更部１２５ｂに送出する。

係数変更部１２５ｂは、モード情報割当部１２０ｂを経て直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックに対し、モード情報割当部１２０ｂからの割り当て情報を基に、予め定められたＮ種類の符号化のモード（例えば、Ｎ種類のスキャン方法）の種類数と同数のブロックを生成し、モード選択部１２６に送出する。係数変更部１２５ｂが生成する複数のブロックは、Ｎ種類の符号化のモード（例えば、Ｎ種類のスキャン方法）に応じて各々が異なる周波数変換係数を有するように、入力された周波数変換係数のブロックに対して変更されている。

モード選択部１２６は、係数変更部１２５ｂによって生成された、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックに対して当該モードに対応するスキャン方法を適用し、予め定めた最適化計算（例えば、ＲＤ最適化法の計算や、エントロピー符号化における０ランの長さの計算）に基づいてＮ種類のブロックから１つのブロックを選択してエントロピー符号化部１０３に送出する。例えば、ＲＤ最適化法では、ＲＤコストは、元の入力画像との誤差の大きさと発生するデータ量の重み付き加算で表すことができ、このＲＤコストの最も小さくなるブロックを選択する。

尚、予測信号生成部１０２は、モード情報伝送置換装置１２ｂから送出されるブロックを用いて逆量子化及び逆整数変換を施し、画面内予測や画面間予測による入力画像信号を予測する予測信号を生成するための既符号化情報としてメモリ（図示せず）に保持する。

エントロピー符号化部１０３は、モード情報伝送置換装置１２から送出される周波数変換係数を符号化し、符号化ビットストリームを生成する。

本実施形態の画像符号化装置１ｂをコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像符号化装置１ｂの各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

（画像復号装置）
図８は、本発明による第２の実施形態の画像復号装置のブロック図である。第２の実施形態の画像復号装置２０ｂは、エントロピー復号部２０１ｂと、逆周波数変換部を構成する逆量子化・逆直交変換部２０４及び予測信号生成部２０５とを備える。本実施形態の画像復号装置２０ｂは、画像符号化装置１ｂによって符号化されたビットストリーム、つまり、画像の圧縮符号化におけるモード情報について画像情報を用いて間接的に表現されている符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、画像符号化装置１ｂにより周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されている。第１の実施形態の画像復号装置２０と同様な構成要素には同一の参照番号を付している。

エントロピー復号部２０１ｂは、モード情報が間接的に表現された画像情報の周波数変換係数を有する符号化ビットストリームに対してエントロピー復号を施して周波数変換係数のブロックを再構成し、逆量子化・逆直交変換部２０４に送出する。ただし、エントロピー復号部２０１ｂは、モード抽出機能（第１の実施形態におけるモード情報抽出部２０２の機能に相当する）を有し、本例では、スキャン方法の種類に関するモード情報が間接的に表現されたブロックの周波数変換係数の値を分析して当該割り当てられたモード情報を抽出するモード判別部２０２ｂを備える。

モード判別部２０２ｂは、モード情報が間接的に表現されたブロックの周波数変換係数の値を分析して当該割り当てられたモード情報（本例では、スキャン方法の種類に関するモード情報）を抽出する。これにより、エントロピー復号部２０１ｂは、スキャン方法の種類を判別してエントロピー復号処理を実行する。

逆量子化・逆直交変換部２０４は、エントロピー復号部２０１ｂによって復号したブロックの周波数変換係数に対して、逆周波数変換処理、つまり逆量子化及び逆整数変換処理を施し、復号した画像信号を生成する。尚、前述したように、符号化側にて、符号化対象画像の入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して整数変換及び量子化が施されているため、逆量子化・逆直交変換部２０４は、予測信号生成部２０５によって既復号済の画像信号を逆量子化及び逆整数変換処理を施した差分信号に加算することで、復号した画像信号を生成する。

本実施形態の画像復号装置２０ｂをコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像復号装置２０ｂの各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

次に、モード情報伝送置換装置１２ｂを備える画像符号化装置１ｂにおける画像符号化処理の動作と、画像復号装置２０における画像復号処理の代表的な動作について、それぞれ詳細に説明する。尚、限定するものではないが、４×４の直交変換係数のブロックを、スキャン方法の種類に関する間接的なモード情報を伝送する画像情報として用いる場合について説明する。

〔装置動作〕
（画像符号化処理）
図９は、本発明による第２の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。

先ず、画像符号化装置１ｂは、入力画像信号に関して、直交変換・量子化部１０１によって２次元配列のブロックからなる量子化された直交変換係数をモード情報伝送置換装置１２ｂにおけるモード情報割当部１２０ｂに送出する。モード情報割当部１２０ｂは、直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックを入力して分析を開始する（ステップＳ３１）。

モード情報割当部１２０ｂによって、量子化後のブロックに対し、以下の処理を行う。先ず、ＤＣ成分以外の周波数変換係数が全て０であるか否かを判定する（ステップＳ３２）。ＤＣ成分以外の係数が全て０である場合、いずれのスキャン方法でも伝送効率は同じであるので、係数変更部１２５ｂ及びモード選択部１２６の処理をバイパスして周波数変換係数の値の変更を行わずにエントロピー符号化を行う（ステップＳ３５）。一方、ＤＣ成分以外の係数の全てが０ではない場合、モード情報割当部１２０ｂは、予め定められた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てを決定し、この割り当て情報を係数変更部１２５ｂに送出する。係数変更部１２５ｂは、予め定めた複数種類のスキャン方法の種類数と同数のブロックを生成する。係数変更部１２５ｂが生成する複数のブロックは、スキャン方法の種類に応じて各々が異なる周波数変換係数を有するように、入力された周波数変換係数のブロックに対して変更される（ステップＳ３３）。

例えば、予め定めた複数種類のスキャン方法の種類数が３であるとき、係数変更部１２５ｂは、入力された周波数変換係数のブロックに対して３種類のブロックを生成する。第１のブロックは、ＤＣ成分の周波数変換係数の値を変更せずに、その入力値のまま出力したもの、第２のブロックは、ＤＣ成分の周波数変換係数を、入力値−１（或いは入力値＋２）に変更したもの、第３のブロックは、ＤＣ成分の周波数変換係数を、入力値＋１（或いは入力値−２）に変更したものである。

これにより、ＤＣ成分の周波数変換係数を３で割った剰余がそれぞれ０，１，２である３種類のブロックとすることができる。尚、ＤＣ成分の周波数変換係数を変更するにあたり、その入力値の絶対値からの差異が大きくなるような変更をなるべく行わないことが好ましい。ＤＣ成分の周波数変換係数の値の変更に伴う画質の変化を視覚的に認識しにくいようにするためである。そこで、ＤＣ成分の周波数変換係数の値を変更するにあたり、原則としてＤＣ成分の周波数変換係数の入力値を±１とし、入力値＋１や入力値−１では符号化方式によって扱える上限値及び下限値を超える場合には、それぞれ入力値−２、入力値＋２とする。

次に、モード選択部１２６によって、係数変更部１２５ｂによって生成された、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックに対し、ＲＤコストに基づいて最適なスキャン方法を示すブロックを選択する（ステップＳ３４）。例えば、ステップＳ３３で生成された３種類のブロックのそれぞれに対してＤＣ成分の周波数変換係数を３で割った剰余に対応した異なるスキャン方法（本例では、ジグザグスキャン、水平スキャン、垂直スキャンの３種類のスキャン）が割り当てられている際に、所定の最適化計算（例えば、ＲＤコスト）に基づいて最適なスキャン方法を示すブロックを選択する。

より具体的には、ステップＳ３３で作成したブロックのうち、ＤＣ成分の周波数変換係数を３で割った剰余について、この剰余が０であるブロックに対してジグザグスキャンを、剰余が１であるブロックに対して水平スキャンを、剰余が２であるブロックに対して垂直スキャンを割り当て、ＲＤコストの最も小さくなるブロックを選択する。

最終的に、エントロピー符号化部１０３によって、ステップＳ３２，Ｓ３４で選択したブロックについてエントロピー符号化を行う（ステップＳ３５）。

これにより、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしにモード情報を間接的に伝送することができる。

（画像復号処理）
図１０は、本発明による第２の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。

エントロピー復号部２０１ｂにおけるモード判別部２０２ｂによって、エントロピー復号処理において、モード情報が間接的に表現されたブロックの周波数変換係数を１次元化した符号化ビットストリームに対してエントロピー復号を施す際に、モード情報が間接的に表現されたブロックの周波数変換係数の値を分析して画像符号化装置１ｂで割り当てられたモード情報を抽出し（ステップＳ４１）、抽出したモード情報を基に２次元配列の周波数変換係数のブロックを再構成する（ステップＳ４２）。例えば、モード判別部２０２ｂは、画像符号化装置１ｂで設定したスキャン方法に対応させて、ブロックのＤＣ成分の周波数変換係数（１次元配列の最初の周波数変換係数）を抽出し、このＤＣ成分の周波数変換係数を３で割った剰余からスキャン方法に関するモードを判別し、判別したモードに対応するスキャン方法で逆スキャンを実行してブロックの２次元配列を再構成する。本例では、剰余が０であるブロックに対してジグザグスキャンを、剰余が１であるブロックに対して水平スキャンを、剰余が２であるブロックに対して垂直スキャンを適用し、逆スキャンを実行してブロックの２次元配列を再構成する。

最終的に、逆量子化・逆直交変換部２０４によって、エントロピー復号部２０１ｂによって復号したブロックの周波数変換係数に対して、逆周波数変換処理、つまり逆量子化及び逆整数変換処理を施し、復号した画像信号を生成する（ステップＳ４３）。

以上述べた第２の実施形態は、例示にすぎない。例えば、上述の例では、ジグザグスキャン、水平スキャン及び垂直スキャンの３種類のスキャン方法として説明したが、スキャン方法は、特許文献１に記載されているように多数の種類を設けることができる。つまり、Ｎ（Ｎは２以上の整数）種類のスキャン方法を切り替えるようにしてもよい。Ｎ種類のスキャン方法に対応させるには、ＤＣ成分の直交変換係数をＮで割った剰余に応じてＮ種類のスキャン方法に対応するように、Ｎ種類のＤＣ成分の直交変換係数を有するブロックを生成する。

また、上述の例では、ＤＣ成分の直交変換係数のみを変更する例を説明したが、Ｎ種類のスキャンに対応させるために、ブロック内の周波数変換係数の和（或いは、ブロック内の周波数変換係数の絶対値和）をＮで割った剰余に応じてＮ種類のスキャンに対応するように、Ｎ種類の直交変換係数を有するブロックを生成することもできる。この場合、周波数変換係数の和（或いは、絶対値和）による変更を行うにあたり、元のブロック内の周波数変換係数のうちの絶対値が最も大きい係数の値を変更してＮ種類のブロックを生成するか、又は元のブロック内の周波数変換係数のうちそれぞれ異なるＮ種類の係数の値をランダムに選択して変更することでＮ種類のブロックを生成するのが好適である。また、±２よりも広い幅で周波数変換係数の値を変更したい場合には、１つの係数を±２よりも広い幅で変更するよりも、±２以下で複数の係数に分散させて変更するのが好適である。これは、周波数変換係数の変更に伴う画質の変化を視覚的に認識しにくいようにするためである。

例えば、元のブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のスキャンを割り当てる際に、例えば変更する１つの係数の絶対値を＋３とするよりも、元のブロック内の周波数変換係数のうちの絶対値の大きさが上位３つの係数を選択し、選択された３つの係数の値をそれぞれ＋１ずつ大きくなるようにＮの値（本例では、「３」）について分散して変更する。或いは、周波数変換部の処理として整数変換である場合に、ブロックの所定の領域に絶対値が大きい係数が出やすいことが予め分かっているときには、その領域内の係数を変更するように構成することができる。例えば、ＤＣＴに基づく整数変換では、ブロックのＤＣ成分周辺の領域で絶対値が大きい係数が集中することが知られている。

また、上述の例では、ＲＤコストを計算して最適なスキャン方法を選択するとして説明したが、エントロピー符号化の際の符号長を考慮して、０ランの長さが最も長くなるようなスキャン方法を選択するように構成することができる。

また、上述の例では、モード情報としてスキャンの種類を示す情報を伝送する例を挙げて説明したが、例えば直交変換の種類を示す情報や量子化等に用いるフィルタの種類を示す情報、或いはイントラ予測の予測モードの情報など、他のモード情報であってもよいことは勿論である。例えば、イントラ予測の予測モードが９種類のモードである場合、この９種類のモード情報を識別できるように、元のブロック内の周波数変換係数（ＤＣ成分）の値を変更しつつ、実際に各モードに対応する予測画像のブロックを９種類生成する。この生成した９種類の予測画像のブロックからＲＤコストや０ランの長さを計算して最適なモードのブロックを選択すればよい。或いは、例えば、イントラ予測の予測モードが９種類であり、スキャン方法の種類が上述のごとく３種類であるとすると、イントラ予測の予測モードの９種類から１つを選択しスキャン方法の３種類から１つを選択して、全部で１２種類のモードを１つのブロックのＤＣ成分で識別させることができる。

これにより、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしに多種類のモード情報が間接的に伝送可能となる。また、第１の実施形態で説明したモード情報伝送方法を兼用することで、スキャン方法の種類を増大させるだけでなく、他の符号化に関するモード情報を増大させたとしても、画質の改善に有効な処理要素のモードについて符号量を増やすことなく多種類の間接的なモード情報の伝送が可能となる。

包括的には、本発明による第１の実施形態及び第２の実施形態のモード情報伝送置換装置１２，１２ｂは、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換する装置であり、予め定められた符号化方式のモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部１２０，１２０ｂと、当該割り当てられたモード情報に対応する画像情報となるように、周波数変換係数の値を変更する係数変更部１２５，１２５ｂと、を備える。

特に、第１の実施形態のモード情報伝送置換装置１２において、周波数変換処理による画像情報は、符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、モード情報割当部１２０は、ブロック単位での識別を要するモード情報の割り当てを決定し、係数変更部１２５は、符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で間接的なモード情報を識別可能とした伝送が可能となる。

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要するモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかに対応させる割り当てを決定し、係数変更部１２５は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかで当該割り当てられたモード情報に対応する画像情報となるように、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で間接的なモード情報を識別可能とするにあたり、如何なるブロックに対しても、間接的なモード情報の伝送が可能となる。

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要するモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかを所定値で割った剰余数に対応させる割り当てを決定し、係数変更部１２５は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかを所定値で割った剰余数で当該割り当てられたモード情報に対応する画像情報となるように、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で２ビット以上の間接的なモード情報の伝送が可能となる。

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要する１ビットのモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数又は絶対値１の係数の個数が奇数であるか偶数であるか、スキャン順で最後の非ゼロ係数の値が１であるか１以外であるかによって割り当てを決定するように構成することができる。これにより、１ビットのモード情報について復号側でモード情報を抽出する追加の処理負担をほとんど無くすことができる。

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれを用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成するモード情報伝送方法選択部１２３を有するように構成することができる。これにより、従来技術であれば３ビット以上のモード情報の伝送が必要であった場合にも、本発明では間接的なモード伝送に付随して、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のうちのいずれか２つ以上の選択がある旨を復号側に伝送するとしても、１ビット又は２ビットの伝送方法情報で済ませることができ、伝送効率を改善することができる。

さらに、包括的には、本発明による第２の実施形態のモード情報伝送置換装置１２ｂは、画像の圧縮符号化におけるモードをＮ種類（Ｎは２以上の整数）から選択し、選択したモードに応じて置換された画像情報を伝送する装置であり、予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部１２０ｂと、当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち１つ以上の係数値を変更して、Ｎ種類のブロックを生成する係数変更部１２５ｂと、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するモード選択部１２６と、を備える。例えば、間接的に伝送したいモード情報が３種類あるとすると、係数変更部１２５ｂは、元の画像情報の周波数変換係数の１つのブロックから、周波数変換係数をそれぞれ変更した３種類のブロックを生成する。これらの３種類のブロックは、それぞれ３種類のモードを割り当てたブロックとなる。そこで、モード選択部１２６は、これらの３種類のブロックに対して、割り当てた３種類のモードに関する処理要素（例えば、画面内予測やスキャン方法など）を実際に適用して予め定めた最適化計算を行い、最適なブロックを１つ選択する。この１つの最適なブロックを選択することで、圧縮符号化にとって最適なモードを選択したことになるのと同時に、選択したモード情報が間接的に表現されたブロックを決定したことになる。したがって、モード選択部１２６は、選択した最適なブロックを出力して伝送させるのみで、モード情報を別途フラグ等の補助情報で伝送することなしに、画像復号側に画像情報と同時にモード情報を伝えることができる。これにより、ブロック単位でＮ種類のモード情報を間接的に識別可能とした伝送が可能となる。予め定めた最適化計算としてＲＤコストの計算とする場合には、モード選択部１２６は、ＲＤコストが最小となるモードを選択する。また、予め定めた最適化計算としてエントロピー符号化における０ランの長さの計算とする場合には、モード選択部１２６は、０ランの長さが最長となるモードを選択する。

係数変更部１２５ｂは、ブロック内の１つ以上の係数からなる第１の係数グループに対して所定値の加減算を行なうことで係数値を変更し、第１の係数グループを含みブロック内の１つ以上の係数からなる第２の係数グループに応じたＮの剰余が、０からＮ−１となるＮ種類のブロックを生成することができる。例えば、係数変更部１２５ｂは、第１の係数グループをブロック内のＤＣ成分とし、第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの和に対するＮの剰余に応じて、第１の係数グループに対して、所定値の加減算を行うことで係数値を変更する。

或いはまた、例えば、係数変更部１２５ｂは、第１の係数グループをブロック内のＤＣ成分とし、第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの絶対値和に対するＮの剰余に応じて、第１の係数グループに対して所定値の加減算を行うことで係数値を変更する。

ここで、係数変更部１２５ｂは、周波数変換係数の和（或いは、絶対値和）による変更を行うにあたり、ランダムに選択して変更することでＮ種類のブロックを生成するように構成することができる。特に、係数変更部１２５ｂは、元のブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のスキャンを割り当てる際に、元のブロック内の周波数変換係数のうちの絶対値が大きい順に所定数の係数を選択し、選択された所定数の係数の値をＮの値について分散して変更するように構成することができる。これにより、モード情報のＮ値が大きい場合でも、画質劣化を視認させることなく間接的なモード情報の伝送が可能となる。

第１の実施形態の画像復号装置２０は、画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されており、符号化ビットストリームをエントロピー復号して画像情報の周波数変換係数を送出するエントロピー復号部と、画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するモード情報抽出部と、抽出されたモード情報を用いて、逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部と、を備える。これにより、画像情報を用いて間接的に表現されているモード情報を復号することができる。

第２の実施形態の画像復号装置２０ｂは、画像の圧縮符号化におけるＮ種類（Ｎは２以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、符号化ビットストリームにおけるブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するエントロピー復号部２０１ｂと、ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部（つまり、逆量子化・逆直交変換部２０４）と、を備える。これにより、画像情報を用いて間接的に表現されている符号化ビットストリームを復号することができ、Ｎ種類のモードを含むモード情報を復号することができる。

また、第２の実施形態の画像復号装置２０ｂにおいて、当該符号化ビットストリームにおけるブロックの周波数変換係数から当該割り当てられたモード情報を判別するエントロピー復号部２０１ｂは、それぞれＮ種類の符号化のモードが割り当てられた当該Ｎ種類のブロックの周波数変換係数から、当該割り当てられたモード情報を判別するように構成することができる。

また、第２の実施形態の画像復号装置２０ｂにおいて、当該符号化ビットストリームにおけるブロックは、第１の係数グループの周波数係数と、第２の係数グループの周波数係数として予めグループ化されており、第１の係数グループを含みブロック内の１つ以上の係数からなる第２の係数グループに応じたＮの剰余が、０からＮ−１となるようにＮ種類のブロックが定義されているように構成することができる。

また、第２の実施形態の画像復号装置２０ｂにおいて、当該第１の係数グループをブロック内のＤＣ成分とし、当該第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの絶対値和に対するＮの剰余に応じて、第１の係数グループに対して所定値の加減算を行うことでＮ種類のブロックが定義されているように構成することができる。

本発明によれば、画像情報からモード情報を抽出することができ、圧縮符号化効率又は伝送効率を高めることができるので、モード情報の伝送を要する圧縮符号化の用途に有用である。

１，１ｂ 画像符号化装置
１０，１０ａ 画像符号化部
１１ 符号化設定部
１２，１２ｂ モード情報伝送置換装置
２０ 画像復号装置
１００ 周波数変換部
１０１ 直交変換・量子化部
１０２ 予測信号生成部
１０３ エントロピー符号化部
１２０，１２０ｂ モード情報割当部
１２１ モード情報伝送決定部
１２２ 決定判断情報供給部
１２３ モード情報伝送方法選択部
１２４ モード情報伝送値決定部
１２５，１２５ｂ 係数変更部
１２６ モード選択部
２０１，２０１ｂ エントロピー復号部
２０２ モード情報抽出部
２０２ｂ モード判別部
２０３ 逆周波数変換部
２０４ 逆量子化・逆直交変換部
２０５ 予測信号生成部
１０１０ 減算部
１０１１ 整数変換部
１０１２ 量子化部

Claims (11)

1. 画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換するモード情報伝送置換装置であって、
   予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、
   当該割り当てられたモード情報に対応する画像情報となるように、前記周波数変換係数の値を変更する係数変更部とを備え、
   前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、
   前記モード情報割当部は、前記ブロック単位での識別を要するモード情報の割り当てを決定し、
   前記係数変更部は、前記符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、前記ブロック単位の複数の周波数変換係数のうちのスキャン順で最後の非ゼロ係数について値を変更するよう構成され、
   前記モード情報割当部は、３通り以上の内容のモード情報をモジュロ演算により識別可能なビット数で構成し、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てるよう構成されていることを特徴とするモード情報伝送置換装置。
2. 前記モード情報割当部は、画像の圧縮符号化による情報量と画質劣化度合いに関して予め統計で定めた結果を基に、前記ブロック単位での識別を要するモード情報の割り当てを行うか否かを決定する手段と、該手段によりモード情報の割り当てを行う際に、前記３通り以上の内容のモード情報の割り当てによるモード情報の伝送方法を示す情報伝送方法情報を前記画像情報の周波数変換係数に対する補助情報として伝送するよう生成する手段と、を有することを特徴とする、請求項１に記載のモード情報伝送置換装置。
3. 前記モード情報割当部は、前記ブロック単位での識別を要するモード情報について、前記符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかに対応させる割り当てを決定し、
   前記係数変更部は、前記非ゼロ係数の個数、前記ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかで当該割り当てられたモード情報に対応する画像情報となるように、前記ブロック単位の複数の周波数変換係数のうちのスキャン順で最後の非ゼロ係数について値を変更することを特徴とする、請求項１又は２に記載のモード情報伝送置換装置。
4. 画像の圧縮符号化におけるモードをＮ種類（Ｎは３以上の整数）から選択し、選択したモードに応じて置換された画像情報を伝送するモード情報伝送置換装置であって、
   予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、
   当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち２つ以上の係数値を変更して、Ｎ種類のブロックを生成する係数変更部と、
   それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するモード選択部とを備え、
   前記モード情報割当部は、前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードを割り当てるよう構成され、
   前記係数変更部は、前記ブロック内の周波数変換係数のうち２つ以上の係数値を変更する際に、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の周波数変換係数を選択し、選択された前記２つ以上の周波数変換係数の係数値が±２以下となるよう分散させて変更する手段を有することを特徴とするモード情報伝送置換装置。
5. 請求項１〜４のいずれか一項に記載のモード情報伝送置換装置と、
   該モード情報伝送置換装置によって変更された周波数変換係数に対してエントロピー符号化を施すエントロピー符号化部と、
   を備えることを特徴とする画像符号化装置。
6. 画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、
   予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されており、
   前記符号化ビットストリームをエントロピー復号して前記画像情報の周波数変換係数を送出するエントロピー復号部と、
   前記画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するモード情報抽出部と、
   抽出されたモード情報と前記画像情報の周波数変換係数とを用いて、逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部とを備え、
   前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、
   前記ブロック単位での識別を要する３通り以上の内容のモード情報がモジュロ演算により識別可能なビット数で構成され、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てられており、
   前記モード情報抽出部は、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいてモジュロ演算により前記３通り以上の内容のモード情報を抽出するよう構成されていることを特徴とする画像復号装置。
7. 画像の圧縮符号化におけるＮ種類（Ｎは３以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、
   予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、且つ前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードが割り当てられ、前記ブロック内の周波数変換係数のうち２つ以上の係数値が、Ｎ種類のモードの識別のために前記ブロック内の周波数変換係数のうちの絶対値が大きい順に±２以下で分散して変更されており、
   前記符号化ビットストリームからブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するエントロピー復号部と、
   ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部とを備え、
   前記エントロピー復号部は、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の係数値を基に、前記Ｎ種類のモードの割り当てを判別する手段を有することを特徴とする画像復号装置。
8. 画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換する画像符号化装置として機能するコンピュータに、
   （Ａ）予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するステップと、
   （Ｂ）当該割り当てられたモード情報に対応する画像情報となるように、前記周波数変換係数の値を変更するステップと、
   （Ｃ）当該変更された周波数変換係数を符号化するステップとを実行させるためのプログラムであって、
   前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、
   前記ステップ（Ａ）は、前記ブロック単位での識別を要する３通り以上の内容のモード情報をモジュロ演算により識別可能なビット数で構成し、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てるステップを含み、
   前記ステップ（Ｂ）は、前記符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、前記ブロック単位の複数の周波数変換係数のうちのスキャン順で最後の非ゼロ係数について値を変更するステップを含むことを特徴とするプログラム。
9. 画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置として機能するコンピュータに、
   （Ａ）予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されている際に、前記符号化ビットストリームを復号して前記画像情報の周波数変換係数を送出するステップと、
   （Ｂ）前記画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するステップと、
   （Ｃ）抽出されたモード情報と前記画像情報の周波数変換係数とを用いて、逆周波数変換処理を施し、復号した画像信号を生成するステップとを実行させるためのプログラムであって、
   前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、
   前記ブロック単位での識別を要する３通り以上の内容のモード情報がモジュロ演算により識別可能なビット数で構成され、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいて適応的に前記画像情報の周波数変換係数に割り当てられており、
   前記ステップ（Ｂ）は、前記ブロック内の周波数変換係数の値と個数のうちいずれか一方又は双方に基づいてモジュロ演算により前記３通り以上の内容のモード情報を抽出するステップを含むことを特徴とするプログラム。
10. 画像の圧縮符号化におけるモードをＮ種類（Ｎは３以上の整数）から選択し、選択したモードに応じて、伝送する画像情報を置換する画像符号化装置として機能するコンピュータに、
    （Ａ）予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するステップと、
    （Ｂ）当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち２つ以上の係数値を変更して、Ｎ種類のブロックを生成するステップと、
    （Ｃ）それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するステップと、
    （Ｄ）当該変更された周波数変換係数を符号化するステップとを実行させるためのプログラムであって、
    前記ステップ（Ａ）は、前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードを割り当てるステップを含み、
    前記ステップ（Ｂ）は、前記ブロック内の周波数変換係数のうち２つ以上の係数値を変更する際に、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の周波数変換係数を選択し、選択された前記２つ以上の周波数変換係数の係数値が±２以下となるよう分散させて変更するステップを含むことを特徴とするプログラム。
11. 画像の圧縮符号化におけるＮ種類（Ｎは３以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置として機能するコンピュータに、
    （Ａ）予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、且つ前記ブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のモードが割り当てられ、前記ブロック内の周波数変換係数のうち２つ以上の係数値が、Ｎ種類のモードの識別のために前記ブロック内の周波数変換係数のうちの絶対値が大きい順に±２以下で分散して変更されている際に、前記符号化ビットストリームにおけるブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するステップと、
    （Ｂ）ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成するステップとを実行させるためのプログラムであって、
    前記ステップ（Ａ）は、前記ブロック内の周波数変換係数のうちの絶対値が大きい順に前記２つ以上の係数値を基に、前記Ｎ種類のモードの割り当てを判別するステップを含むことを特徴とするプログラム。