JP4254147B2 - 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 - Google Patents
画像情報符号化方法及び装置、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP4254147B2 JP4254147B2 JP2002207487A JP2002207487A JP4254147B2 JP 4254147 B2 JP4254147 B2 JP 4254147B2 JP 2002207487 A JP2002207487 A JP 2002207487A JP 2002207487 A JP2002207487 A JP 2002207487A JP 4254147 B2 JP4254147 B2 JP 4254147B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- qqp
- component
- dead zone
- orthogonal transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘなどの様に、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報符号化方法及びその装置、並びにプログラム及び記録媒体に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、ＪＶＴ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。このＪＶＴは、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＪＶＴをベースに、ＪＶＴではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図１１に示す。図１１に示すように、画像情報符号化装置１００は、Ａ／Ｄ変換部１０１と、画面並べ替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、フレームメモリ１１０と、動き予測・補償部１１１と、レート制御部１１２とにより構成されている。
【０００７】
図１１において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１０２は、当該画像情報符号化装置１００から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１０２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１０４に供給する。直交変換部１０４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、得られた直交変換係数を量子化部１０５に供給する。量子化部１０５は、直交変換部１０４から供給された直交変換係数に対して量子化処理を施す。
【０００８】
可逆符号化部１０６は、量子化された直交変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された直交変換係数を蓄積バッファ１０７に供給して蓄積させる。この符号化された直交変換係数は、画像圧縮情報として出力される。
【０００９】
量子化部１０５の挙動は、レート制御部１１２によって制御される。また、量子化部１０５は、量子化後の直交変換係数を逆量子化部１０８に供給し、逆量子化部１０８は、その直交変換係数を逆量子化する。逆直交変換部１０９は、逆量子化された直交変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１１０に供給して蓄積させる。
【００１０】
一方、画面並び替えバッファ１０２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部１１１に供給する。動き予測・補償部１１１は、同時に参照される画像情報をフレームメモリ１１０より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部１１１は、この参照画像情報を加算器１０３に供給し、加算器１０３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部１１１は、同時に動きベクトル情報を可逆符号化部１０６に供給する。
【００１１】
可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００１２】
続いて、上述した画像情報符号化装置１００に対応する画像情報復号装置の概略構成を図１２に示す。図１２に示すように、画像情報復号装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画面並べ替えバッファ１２６と、Ｄ／Ａ変換部１２７と、動き予測・補償部１２８と、フレームメモリ１２９とにより構成されている。
【００１３】
図１２において、蓄積バッファ１２１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部１４に転送する。可逆復号部１２２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された直交変換係数を逆量子化部１２３に供給する。また、可逆復号部１２２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部１２８に供給する。
【００１４】
逆量子化部１２３は、可逆復号部１２２から供給された量子化後の直交変換係数を逆量子化し、得られた直交変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、定められた画像圧縮情報のフォーマットに基づき、直交変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００１５】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ１２６に格納され、Ｄ／Ａ変換部１２７におけるＤ／Ａ変換処理の後に出力される。
【００１６】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部１２８は、可逆復号処理が施された動きベクトル情報とフレームメモリ１２９に格納された画像情報とに基づいて参照画像を生成し、加算器１２５に供給する。加算器１２５は、この参照画像と逆直交変換部１２４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００１７】
ところで、ＭＰＥＧ２ビデオ規格においては、量子化についての直接的な規定はされておらず、逆量子化についてのみ、その詳細な規定がなされている。したがって、実際に量子化を行う際には、量子化の規定に含まれるいくつかの媒介変数を変化させ、その自由度内の範囲内で量子化特性を変化させることにより、高画質化や視覚特性を反映した符号化を行うことになる。以下、ＭＰＥＧ２における逆量子化処理について説明する。
【００１８】
ＭＰＥＧ２ビデオ規格において、イントラマクロブロックのＤＣ係数量子化では、ピクチャ単位にその量子化精度を指定することが可能であり、その他の係数の量子化では、ピクチャ単位で指定可能な量子化行列の各要素にマクロブロック単位で指定可能な量子化スケールを乗じた値により、各係数の量子化精度を制御することができる。
【００１９】
イントラマクロブロックのＤＣ係数は、以下の式（１）に従って逆量子化される。
【００２０】
【数６】
【００２１】
ここで、式（１）において、Ｆ"[０][０]はＤＣ係数値の量子化代表値を示し、ＱＦ[０][０]はＤＣ係数値の量子化代表値レベル番号を示す。また、intra_dc_multは、ＤＣ係数量子化精度を指定するためにピクチャ単位で設定可能な媒介変数であるintra_dc_precisionに従い、図１３に示す関係で決まる値である。
【００２２】
ここで、ＭＰＥＧ１においては、intra_dc_precisionが０に対応する精度（８ビット精度相当）のみであったが、輝度レベルが緩やかに変化する画像を高画質で符号化するためには、この精度では不十分であった。そこで、ＭＰＥＧ２においては、図１３に示すように、本媒介変数を用いて８〜１１ビット精度相当のＤＣ係数量子化精度を指定することが可能となっている。但し、４：２：２フォーマットでの使用が可能であり画質への要求レベルが高いＨｉｇｈプロファイル以外では、最高１０ビット精度で十分とし、８〜１０ビット精度に制限されている。
【００２３】
また、イントラマクロブロックのその他の係数は、以下の式（２）に従って逆量子化される。
【００２４】
【数７】
【００２５】
ここで、式（２）において、Ｆ"[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値を示し、ＱＦ[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値レベル番号を示す。また、ｋの値は、以下の式（３）により定義される。
【００２６】
【数８】
【００２７】
また、上述した式（２）において、Ｗ[ｗ][ｕ][ｖ]及びquantiser_scaleは、それぞれ量子化行列及び量子化スケールを示し、これらの媒介変数によって量子化特性が制御される。
【００２８】
また、媒介変数ｋは、非イントラマクロブロックにおいて、その値がＱＦ[ｕ][ｖ]の符号に応じて１、０、−１となる。例えば、ＱＦ[ｕ][ｖ]が−２、−１、０、１、２である場合のＦ"[ｕ][ｖ]は、それぞれ−５ｍ、−３ｍ、０、３ｍ、５ｍ（ｍは定数）となり、零近傍にデッドゾーンが設けられている。
【００２９】
ところで、量子化行列は、ブロック内での離散コサイン変換係数値間での相対的な量子化精度を設定するために設けられた行列である。この量子化行列を用いることにより、例えば視覚的に劣化の目立ちにくい高域離散コサイン係数値を、視覚的に劣化の目立ちやすい低域離散コサイン係数と比較して粗く量子化するといった処理が可能となり、量子化特性を視覚特性に合致させることができる。なお、量子化行列は、ピクチャ単位で設定することが可能である。
【００３０】
ＭＰＥＧ１及びＭＰＥＧ２の４：２：０フォーマットの場合、イントラマクロブロック用と非イントラマクロブロック用の２種類の量子化行列を設定することができ、４：２：２フォーマット及び４：４：４フォーマットの場合には、さらに輝度信号と色差信号とで独立に合計４種類の量子化行列を設定することができる。なお、Ｗ[ｗ][ｕ][ｖ]におけるｗ（０，１，２，３）は、４種類の行列のうちの１つを意味する。
【００３１】
ここで、ＭＰＥＧ２において定められているイントラマクロブロック及び非イントラマクロブロックの量子化行列のデフォルト値をそれぞれ図１４（Ａ）、（Ｂ）に示す。上述したように、量子化行列は、ユーザがピクチャ単位で設定可能であるが、設定されていない場合にはこのデフォルト値が用いられる。図１４に示すように、デフォルト値ではイントラマクロブロックに対してのみ重みを有している。
【００３２】
なお、MPEG2 Test Model 5（ISO/IEC JTC/SC29/WG11/N0400）においては、非イントラマクロブロックに対して図１５に示すような量子化行列が定義されている。これは、図１４（Ｂ）に示したデフォルト値とは異なり、重みを有した特性となっている。
【００３３】
量子化スケール（quantiser_scale）は、量子化特性のスケーリングを行うことにより発生符号量を制御するための媒介変数であり、ピクチャ単位で設定される媒介変数q_scale_typeと、マクロブロック単位で設定される量子化スケールコードquantiser_scale_codeにより設定される。図１６にこれらの関係を示す。
【００３４】
ここで、q_scale_typeが０の場合には線形量子化となり、ＭＰＥＧ１と同様、quantiser_scale_code（１〜３１）の２倍の値がquantiser_scale（２〜６２）に設定される。
【００３５】
また、q_scale_typeが１の場合には非線形量子化となり、quantiser_scale_code（１〜３１）は、小さい量子化スケールコードではより細かく、大きな量子化スケールコードではより粗くスケーリングすることにより、線形量子化の場合に比べ、広い範囲のquantiser_scale（１〜１１２）に変換される。このモードは、ＭＰＥＧ２において新たに導入されたもので、特に高いレートで符号化する場合に、小さな量子化スケール領域でより細かな量子化スケール制御を行うことや、極めて複雑な画像を符号化する場合に、より粗い量子化スケールを用いることが可能となり、ＭＰＥＧ１と比較して、より安定した符号量制御を実現することができる。
【００３６】
一方、ＪＶＴにおいては、量子化／逆量子化を行うための媒介変数ＱＰには０〜５１の５２の異なる値が使われる。ここで、ＱＰは、値が６増える毎に量子化スケールが２倍になるように設定されている。すなわち、ＱＰが１増す毎に量子化スケールが約１２％増加する。
【００３７】
なお、色差成分に使用されるＱＰＣは、輝度成分に使用されるＱＰＹから、以下の表１に示す対照表に従って算出される。以下では、特に断りのない限り、ＱＰＹのことをＱＰと呼ぶことにする。
【００３８】
【表１】
【００３９】
ここで、ＪＶＴにおいては、４×４離散コサイン変換に基づく符号化が行われるが、輝度信号と色差信号とについて、実際には、以下の演算が行われる。すなわち、Ｘ＝（ｘ００，…．ｘ３３）を画素値又は差分値とし、Ｙを直交変換係数とした場合に、以下の式（４）に示すような離散コサイン変換に相当する処理が実行される。
【００４０】
【数９】
【００４１】
次に量子化処理として、以下の式（５）に示すような処理が実行される。
【００４２】
【数１０】
【００４３】
ここで、式（５）において、ＹＱは量子化された直交変換係数を示し、Ｑは量子化ステップサイズに対応する量子化係数を示す。また、ｆはイントラマクロブロックでは２１５＋ＱＰ／６／３、インターマクロブロックでは２１５＋ＱＰ／６／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。なお、Ｑは以下に示すように定義されている。
Q[QP%6][i][j]＝quantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
Q[QP%6][i][j]＝quantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
Q[QP%6][i][j]＝quantMat[QP%6][2] otherwise.
quantMat[6][3]＝{{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, {7384, 2943, 4660}}
【００４４】
また、量子化後の逆量子化処理として、以下の式（６）に示すような処理が実行される。
【００４５】
【数１１】
【００４６】
ここで、式（６）において、Ｒは逆量子化係数を示し、以下に示すように定義されている。
R[QP%6][i][j]＝dequantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
R[QP%6][i][j]＝dequantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
R[QP%6][i][j]＝dequantMat[QP%6][2] otherwise.
dequantMat[6][3]＝{{10, 16, 13}, {11, 18, 14}, {13, 20, 16}, {14, 23, 18}, {16, 25, 20}, {18, 29, 23}}
【００４７】
次に逆離散コサイン変換処理として、以下の式（７）に示すような処理が実行され、正規化処理として、以下の式（８）に示すような処理が実行される。
【００４８】
【数１２】
【００４９】
最後に、復号された予測残差値Ｘ"（ｉ，ｊ）は、以下の式（９）に示すように、動き補償予測値又は空間予測値Ｐ（ｉ，ｊ）と足し合わされ、０から２５５の範囲にクリッピングされて最終復号画素値が算出される。
【００５０】
【数１３】
【００５１】
ところで、ＪＶＴでは、イントラ１６×１６モードにおいて、輝度信号のＤＣ成分をさらに４×４単位のブロックに集め、アダマール変換を施して圧縮率を向上させている。輝度信号の４×４ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００５２】
先ず、４×４変換によって算出された直交変換係数の１６個の輝度信号ＤＣ成分が集められて４×４単位の入力マトリックスＸＤとされ、アダマール変換に相当する処理として、以下の式（１０）に示すような処理が実行される。
【００５３】
【数１４】
【００５４】
次に、量子化処理として、以下の式（１１）に示すような処理が実行される。
【００５５】
【数１５】
【００５６】
また、逆アダマール変換に相当する処理として、以下の式（１２）に示すような処理が実行される。
【００５７】
【数１６】
【００５８】
次に、ＱＰが１２以上である場合には、逆量子化処理として、以下の式（１３）に示すような処理が実行され、ＱＰが１２未満である場合には、逆量子化処理として、以下の式（１４）に示すような処理が実行される。
【００５９】
【数１７】
【００６０】
また、ＪＶＴでは、色差信号のＤＣ成分についても、さらに２×２画素のブロックに集め、アダマール変換を施して圧縮率を向上させている。色差信号の２×２ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００６１】
先ず、４個の色差ＤＣ成分が集められて２×２画素の入力マトリックスＸＤとされ、アダマール変換に相当する処理として、以下の式（１５）に示すような処理が実行される。
【００６２】
【数１８】
【００６３】
次に、量子化処理として、以下の式（１６）に示すような処理が実行される。
【００６４】
【数１９】
【００６５】
また、逆アダマール変換に相当する処理として、以下の式（１７）に示すような処理が実行される。
【００６６】
【数２０】
【００６７】
次に、ＱＰが６以上である場合には、逆量子化処理として、以下の式（１８）に示すような処理が実行され、ＱＰが６未満である場合には、逆量子化処理として、以下の式（１９）に示すような処理が実行される。
【００６８】
【数２１】
【００６９】
なお、直交変換及び量子化の一連の処理は、１６ビット演算でオーバーフローが起こらないよう規格化されている。
【００７０】
【発明が解決しようとする課題】
ところで、上述のＪＶＴで規定されている量子化／逆量子化においては、ＭＰＥＧ２で規定されているような、量子化行列を用いた直交変換係数の重み付けや、量子化処理におけるデッドゾーンに関する機能が含まれていないため、視覚特性に基づいた効率的な量子化を行うことができない。
【００７１】
本発明は、このような従来の実情に鑑みて提案されたものであり、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置、並びにそのような画像情報符号化処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００７２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、上記直交変換の単位となるブロックは、４×４画素からなり、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
【００７３】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【００７４】
また、上述した目的を達成するために、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するデッドゾーン設定手段を備え、上記直交変換の単位となるブロックは、４×４画素からなり、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）を算出し、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とする。
【００７５】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【００７６】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００７７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置に適用したものである。具体的には、本実施の形態における画像情報符号化方法及びその装置では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、直交変換係数の成分毎にデッドゾーンが算出される。
【００７８】
そこで、以下では、本実施の形態における画像情報符号化方法及びその方法の説明の前に、量子化ステップサイズに対する重み付けを実際に行って量子化及び逆量子化する画像情報符号化装置及び画像情報復号装置について説明する。
【００７９】
先ず、本実施の形態の説明に供する画像情報符号化装置の概略構成を図１に示す。図１に示すように、画像情報符号化装置１０は、Ａ／Ｄ変換部１１と、画面並べ替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、重み付け部１６と、可逆符号化部１７と、蓄積バッファ１８と、逆量子化部１９と、重み付け部２０と、逆直交変換部２１と、フレームメモリ２２と、動き予測・補償部２３と、レート制御部２４とにより構成されている。
【００８０】
図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、得られた直交変換係数を量子化部１５に供給する。
【００８１】
量子化部１５は、直交変換部１４から供給された直交変換係数に対して量子化処理を施す。その際、量子化部１５の構成要素である重み付け部１６は、後述するようにして、直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８２】
可逆符号化部１７は、量子化された直交変換係数に対して可変長符号化又は算術符号化等の可逆符号化を施し、符号化された直交変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された直交変換係数は、画像圧縮情報として出力される。
【００８３】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の直交変換係数を逆量子化部１９に供給し、逆量子化部１９は、その直交変換係数を逆量子化する。その際、逆量子化部１９の構成要素である重み付け部２０は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８４】
逆直交変換部２１は、逆量子化された直交変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２に供給して蓄積させる。
【００８５】
一方、画面並び替えバッファ１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２３に供給する。動き予測・補償部２３は、同時に、参照される画像情報をフレームメモリ２２より取り出し、動き予測・補償処理を施して参照画像情報を生成する。
【００８６】
動き予測・補償部２３は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２３は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００８７】
可逆符号化部１７は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００８８】
次に、上述した画像情報符号化装置１０から出力された画像圧縮情報を復号する画像情報復号装置の概略構成を図２に示す。図２に示すように、画像情報復号装置３０は、蓄積バッファ３１と、可逆復号部３２と、逆量子化部３３と、重み付け部３４と、逆直交変換部３５と、加算器３６と、画面並べ替えバッファ３７と、Ｄ／Ａ変換部３８と、動き予測・補償部３９と、フレームメモリ４０とにより構成されている。
【００８９】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された直交変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部３９に供給する。
【００９０】
逆量子化部３３は、可逆復号部３２から供給された量子化後の直交変換係数を逆量子化し、逆量子化後の直交変換係数を逆直交変換部３５に供給する。その際、逆量子化部３３の構成要素である重み付け部３４は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。逆直交変換部３５は、定められた画像圧縮情報のフォーマットに基づき、直交変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００９１】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換部３５は、逆直交変換処理後の画像情報を画面並べ替えバッファ３７に供給する。画面並び替えバッファ３７は、この画像情報を一時的に格納した後、Ｄ／Ａ変換部３８に供給する。Ｄ／Ａ変換部３８は、この画像情報に対してＤ／Ａ変換処理を施して出力する。
【００９２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部３９は、可逆復号処理が施された動きベクトル情報とフレームメモリ４０に格納された画像情報とに基づいて参照画像を生成する。加算器３６は、この参照画像と逆直交変換部３５の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００９３】
ところで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０では、重み付け部１６，２０，３４において、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って、量子化及び逆量子化が行われている。そして、この重み付け処理によって、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【００９４】
そこで、以下では、この重み付け処理について説明する。なお、重み付け部１６，２０，３４の動作原理は同様であるため、以下では重み付け部１６の動作原理についてのみ説明する。
【００９５】
重み付け部１６においては、イントラマクロブロックとインターマクロブロックのそれぞれに対して、デフォルトで、それぞれ図３（Ａ）、（Ｂ）に示すようなＷｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【００９６】
また、輝度信号と色差信号のそれぞれに対して、デフォルトで、それぞれ図３（Ａ），（Ｂ）に示すような、Ｗｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を含むようにすることもできる。
【００９７】
以下では、Ｗｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）、或いはＷｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）に関する処理が同等であるため、特に断りのない限り、これらをＷ（ｉ，ｊ）と表記する。
【００９８】
なお、Ｗｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）、或いはＷｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）は、図３に示したデフォルト値に限定されるものではなく、ユーザがピクチャ単位で設定することが可能である。その際、Ｗ（ｉ，ｊ）の値そのものを出力となる画像圧縮情報に埋め込むことも可能であるが、その差分値を生成し、又は可変長符号化、算術符号化等の可逆符号化方式を用いてその情報量を削減し、出力される画像圧縮情報に埋め込んでもよい。
【００９９】
ここで、重み付け部１６においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数のそれぞれの成分に対して、以下の式（２０）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１００】
【数２２】
【０１０１】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、各成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１０２】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２０）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１０３】
ここで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０においては、デフォルトで使用される重み行列が、輝度信号及び色差信号の双方に対して、以下の式（２１）、（２２）のように定義されている。
【０１０４】
【数２３】
【０１０５】
なお、実際に画像情報符号化装置１０及び画像情報復号装置３０で量子化／逆量子化に用いられる重み行列は必ずしもこの通りではなく、ピクチャ単位でユーザが設定することが可能である。
【０１０６】
この重み行列に関する情報を、画像圧縮情報中に埋め込むための構文の例を図４に示す。図４において、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、load_chroma_intra_quantiser_matrix、及びload_chroma_non_intra_quantiser_matrixは、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の重み行列が用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外の重み行列が用いられる。
【０１０７】
例えばload_intra_quantiser_matrixの値が１であった場合、後続のintra_quantiser_matrix[16]において、それぞれの成分が４ビットで表された４×４の重み行列に関する情報が埋め込まれる。
【０１０８】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１０９】
また、差分を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、intra_quantiser_matrix[16]に関する情報を圧縮してもよい。
【０１１０】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１１１】
以上説明したように、画像情報符号化装置１０及び画像情報復号装置３０によれば、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って量子化処理及び逆量子化処理を行うことにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【０１１２】
ここで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分について重み行列Ｗ（ｉ，ｊ）を加算し、得られた変数ＱＱＰ（ｉ，ｊ）を用いて量子化処理及び逆量子化処理を行った。しかしながら、このように４×４直交変換係数の全ての成分について重み行列Ｗ（ｉ，ｊ）を定義する例に限定されるものではなく、視覚的に劣化の目立ちやすい低域直交変換係数についてのみ媒介変数ＱＰに対してオフセット値を与え、量子化精度を向上させる処理を行うようにしても構わない。
【０１１３】
このような処理を行う画像情報符号化装置及びこの画像符号化装置から出力された画像圧縮情報を復号する画像情報復号装置の概略構成をそれぞれ図５、図６に示す。
【０１１４】
図５に示すように、画像情報符号化装置５０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりに、低域精度変更部５１，５２を備えており、低域直交変換係数の量子化精度を変更する点に特徴を有している。また、図６に示すように、画像情報復号装置６０の基本構成は、先に図２に示した画像情報復号装置３０と同様とするが、重み付け部３４の代わりに、低域精度変更部６１を備えており、低域直交変換係数の逆量子化精度を変更する点に特徴を有している。
【０１１５】
したがって、先に図１、２に示した画像情報符号化装置１０及び画像情報復号装置３０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、低域精度変更部５１，５２，６１における処理について説明する。なお、低域精度変更部５１，５２，６１の動作原理は同様であるため、以下では低域精度変更部５１の動作原理についてのみ説明する。
【０１１６】
低域精度変更部５１においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数の指定された成分に対して、以下の式（２３）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１１７】
【数２４】
【０１１８】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、指定された成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１１９】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２３）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１２０】
ここで、低域精度変更部５１では、予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズの各々の項目の組み合わせに準拠する構文を定義することができる。
【０１２１】
すなわち、例えば予測モードについては、１６×１６予測モード及び／又は４×４予測モード、或いはユーザが指定した上記予測モードの任意の組み合わせについての構文を定義することができる。
【０１２２】
また、量子化ステップサイズを変更する直交変換係数については、例えば図７左の斜線で示すようにＤＣ係数のみを変更するモード１、図７中央の斜線で示すようにＤＣ係数及び低域のＡＣ係数２個を変更するモード２、図７右の斜線で示すようにＤＣ係数及び低域のＡＣ係数５個を変更するモード３、或いはユーザが指定した直交変換係数についての構文を定義することができる。
【０１２３】
また、量子化ステップサイズとしては、デフォルト値（例えば−６）や、ユーザが設定したオフセット値（offset_QP）についての構文を定義することができる。また、ユーザが指定した変数ＱＱＰの絶対値についての構文を定義するようにしても構わない。
【０１２４】
上述した予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を図８に示す。なお、構文がこの例に限定されないのは勿論であり、上述した項目の任意の組み合わせに準拠する構文を定義することができる。
【０１２５】
図８において、load_16x16, load_4x4は、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の媒介変数ＱＰが用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外のＱＰが用いられる。
【０１２６】
例えばload_16x16の値が１であった場合、後続のoffset_QPにおいて、４ビットで表された媒介変数ＱＰのオフセット値に関する情報が埋め込まれる。さらに、後続のcoef_numにおいて、２ビットで表された量子化ステップサイズを変更する直交変換係数に関する情報、例えば上述の図７におけるモード１乃至モード３の何れかに関する情報が埋め込まれる。
【０１２７】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１２８】
また、絶対値を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、offset_QPに関する情報を圧縮してもよい。
【０１２９】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１３０】
以上説明したように、画像情報符号化装置５０及び画像情報復号装置６０によれば、低域直交変換係数についてのみ、量子化ステップサイズを指定するための媒介変数ＱＰに対してオフセット値（offset_QP）を与えることにより、視覚的に劣化の目立ちやすい低域直交変換係数の量子化精度を上げ、復号画像の画質を向上させることが可能となる。
【０１３１】
ところで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分、或いは指定された成分について重み付け処理を行うことで、視覚特性を考慮した量子化を実現しており、重み付け処理機能を有していることを前提としていた。
【０１３２】
しかしながら、ＪＶＴにおいて重み付け処理機能がない場合であっても、以下に説明するように、入力値の零近傍の直交変換係数について視覚特性を考慮したデッドゾーンを算出することによっても、上述と同様の効果を奏することができる。
【０１３３】
このようなデッドゾーン算出処理を行う本発明の実施の形態における画像情報符号化装置の概略構成を図９に示す。図９に示すように、画像情報符号化装置７０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりにデッドゾーン算出部７１を備えており、視覚特性を考慮したデッドゾーンを算出する点に特徴を有している。
【０１３４】
したがって、先に図１に示した画像情報符号化装置１０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、このデッドゾーン算出部７１におけるデッドゾーン算出処理についてのみ説明する。
【０１３５】
デッドゾーン算出部７０においては、直交変換係数毎に以下の式（２４）に従ってデッドゾーンの閾値Ｔ（ｉ，ｊ）を求める。
【０１３６】
【数２５】
【０１３７】
ここで、式（２４）において、ｆはイントラマクロブロックでは２１５＋ＱＱＰ／６／３、インターマクロブロックでは２１５＋ＱＱＰ／６／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。また、ＱＱＰは、前述した重み付け処理で用いたＷｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）（i,j=0,1,2,3）等を用いて、算出したものとする。
【０１３８】
このように算出されたデッドゾーンの閾値Ｔ（ｉ，ｊ）を用いて、入力値Ｙ（ｉ，ｊ）の絶対値がＴ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値ＹＱ（ｉ，ｊ）を０とする。
【０１３９】
同様に、輝度のＤＣ成分をさらに４×４単位のブロックに集めてアダマール変換を施した直交変換係数ＹＤ（ｉ，ｊ）については、以下の式（２５）に従ってデッドゾーンの閾値ＴＤ（ｉ，ｊ）を算出する。また、色差のＤＣ成分をさらに２×２単位のブロックに集めてアダマール変換を施した直交変換係数ＹＤ（ｉ，ｊ）については、以下の式（２６）に従ってデッドゾーンの閾値ＴＤ（ｉ，ｊ）を算出する。
【０１４０】
【数２６】
【０１４１】
そして、入力値ＹＤ（ｉ，ｊ）の絶対値がＴＤ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値ＹＤＱ（ｉ，ｊ）を０とする。
【０１４２】
入力値Ｙ（ｉ，ｊ）と量子化値ＹＱ（ｉ，ｊ）との対応グラフを図１０に示す。図１０に示すように、本実施の形態の対応グラフ（ａ）におけるデッドゾーンの閾値Ｔ（ｉ，ｊ）は、重み行列Ｗ（ｉ，ｊ）で重み付け処理を行った場合の対応グラフ（ｂ）における量子化値がゼロとなる入力値の範囲において、同様に量子化値がゼロとなるように算出されている。
【０１４３】
以上説明したように、本実施の形態における画像情報符号化装置７０によれば、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１４４】
また、このような視覚特性を考慮したデッドゾーンを算出する手法では、従来通りのＪＶＴ復号器で復号処理を行えるため、処理量の増加を伴わないという利点がある。
【０１４５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１４６】
例えば、本発明による手法は、任意の変換方式に適用可能である。すなわち、演算精度や、整数変換の変換マトリクスに依存せず、同様に適用可能である。
【０１４７】
また、本発明は、変換ブロックのサイズに依存せず、任意のサイズの変換に対して同様に適用可能である。また、４×４，４×８、８×４、８×８，１６×１６の任意のブロックサイズで適応的に周波数変換を行う適応可変ブロックサイズ変換方式にも同様に適用可能である。
【０１４８】
また、本発明、任意の処理をＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１４９】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するものである。
【０１５０】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【０１５１】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５２】
また、本発明に係る画像情報符号化装置は、力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備える。
【０１５３】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【０１５４】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５５】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムプログラムが記録されたコンピュータ読み取り可能なものである。
【０１５６】
このようなプログラム及び記録媒体によれば、上述した画像情報符号化処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の説明に供する画像情報符号化装置の概略構成を説明する図である。
【図２】本実施の形態の説明に供する画像情報復号装置の概略構成を説明する図である。
【図３】同画像情報符号化装置の重み付け部に格納されている重み行列のデフォルト値を説明する図であり、同図（Ａ）は、イントラマクロブロック用又は輝度信号用の重み行列を示し、同図（Ｂ）は、非イントラマクロブロック用又は色差信号用の重み行列を示す。
【図４】重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図５】本実施の形態の説明に供する画像情報符号化装置の概略構成の他の例を説明する図である。
【図６】本実施の形態の説明に供する画像情報復号装置の概略構成の他の例を説明する図である。
【図７】量子化ステップサイズを変更する直交変換係数の例を示す図である。
【図８】予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図９】本実施の形態における画像情報符号化装置の概略構成を説明する図である。
【図１０】同画像情報符号化装置の量子化部における入力値と量子化値との対応グラフを示す図である。
【図１１】直交変換と動き補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。
【図１２】直交変換と動き補償により圧縮された画像圧縮情報を復号する従来の画像情報復号装置の概略構成を説明する図である。
【図１３】ＭＰＥＧ２において定められた、intra_dc_precisionと、ビット精度、逆量子化係数及びＤＣ予測リセット値との関係を説明する図である。
【図１４】ＭＰＥＧ２で定められているイントラマクロブロックとインターマクロブロックとに対する量子化行列のデフォルト値を説明する図である。
【図１５】 MPEG2 Test Model 5において定められている非イントラマクロブロックに対する量子化行列を説明する図である。
【図１６】ＭＰＥＧ２における、量子化スケール（quantiser_scale）、ピクチャ単位で設定される媒介変数q_scale_type、及びマクロブロック単位で設定される量子化スケールコードquantiser_scale_codeの関係を説明する図である。
【符号の説明】
１０，５０，７０ 画像情報符号化部、１１ Ａ／Ｄ変換部、１２ 画面並べ替えバッファ、１３ 加算器、１４ 直交変換部、１５ 量子化部、１６ 重み付け部、１７ 可逆符号化部、１８ 蓄積バッファ、１９ 逆量子化部、２０ 重み付け部、２１ 逆直交変換部、２２ フレームメモリ、２３ 動き予測・補償部、２４ レート制御部、３０，６０ 画像情報復号装置、３１ 蓄積バッファ、３２ 可逆復号部、３３ 逆量子化部、３４ 重み付け部、３５ 逆直交変換部、３６ 加算器、３７ 画面並べ替えバッファ、３８ Ｄ／Ａ変換部、３９動き予測・補償部、４０ フレームメモリ、５１，５２，６１ 低域精度変更部、７１ デッドゾーン算出部
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘなどの様に、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報符号化方法及びその装置、並びにプログラム及び記録媒体に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、ＪＶＴ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。このＪＶＴは、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＪＶＴをベースに、ＪＶＴではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図１１に示す。図１１に示すように、画像情報符号化装置１００は、Ａ／Ｄ変換部１０１と、画面並べ替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、フレームメモリ１１０と、動き予測・補償部１１１と、レート制御部１１２とにより構成されている。
【０００７】
図１１において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１０２は、当該画像情報符号化装置１００から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１０２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１０４に供給する。直交変換部１０４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、得られた直交変換係数を量子化部１０５に供給する。量子化部１０５は、直交変換部１０４から供給された直交変換係数に対して量子化処理を施す。
【０００８】
可逆符号化部１０６は、量子化された直交変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された直交変換係数を蓄積バッファ１０７に供給して蓄積させる。この符号化された直交変換係数は、画像圧縮情報として出力される。
【０００９】
量子化部１０５の挙動は、レート制御部１１２によって制御される。また、量子化部１０５は、量子化後の直交変換係数を逆量子化部１０８に供給し、逆量子化部１０８は、その直交変換係数を逆量子化する。逆直交変換部１０９は、逆量子化された直交変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１１０に供給して蓄積させる。
【００１０】
一方、画面並び替えバッファ１０２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部１１１に供給する。動き予測・補償部１１１は、同時に参照される画像情報をフレームメモリ１１０より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部１１１は、この参照画像情報を加算器１０３に供給し、加算器１０３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部１１１は、同時に動きベクトル情報を可逆符号化部１０６に供給する。
【００１１】
可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００１２】
続いて、上述した画像情報符号化装置１００に対応する画像情報復号装置の概略構成を図１２に示す。図１２に示すように、画像情報復号装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画面並べ替えバッファ１２６と、Ｄ／Ａ変換部１２７と、動き予測・補償部１２８と、フレームメモリ１２９とにより構成されている。
【００１３】
図１２において、蓄積バッファ１２１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部１４に転送する。可逆復号部１２２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された直交変換係数を逆量子化部１２３に供給する。また、可逆復号部１２２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部１２８に供給する。
【００１４】
逆量子化部１２３は、可逆復号部１２２から供給された量子化後の直交変換係数を逆量子化し、得られた直交変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、定められた画像圧縮情報のフォーマットに基づき、直交変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００１５】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ１２６に格納され、Ｄ／Ａ変換部１２７におけるＤ／Ａ変換処理の後に出力される。
【００１６】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部１２８は、可逆復号処理が施された動きベクトル情報とフレームメモリ１２９に格納された画像情報とに基づいて参照画像を生成し、加算器１２５に供給する。加算器１２５は、この参照画像と逆直交変換部１２４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００１７】
ところで、ＭＰＥＧ２ビデオ規格においては、量子化についての直接的な規定はされておらず、逆量子化についてのみ、その詳細な規定がなされている。したがって、実際に量子化を行う際には、量子化の規定に含まれるいくつかの媒介変数を変化させ、その自由度内の範囲内で量子化特性を変化させることにより、高画質化や視覚特性を反映した符号化を行うことになる。以下、ＭＰＥＧ２における逆量子化処理について説明する。
【００１８】
ＭＰＥＧ２ビデオ規格において、イントラマクロブロックのＤＣ係数量子化では、ピクチャ単位にその量子化精度を指定することが可能であり、その他の係数の量子化では、ピクチャ単位で指定可能な量子化行列の各要素にマクロブロック単位で指定可能な量子化スケールを乗じた値により、各係数の量子化精度を制御することができる。
【００１９】
イントラマクロブロックのＤＣ係数は、以下の式（１）に従って逆量子化される。
【００２０】
【数６】
ここで、式（１）において、Ｆ"[０][０]はＤＣ係数値の量子化代表値を示し、ＱＦ[０][０]はＤＣ係数値の量子化代表値レベル番号を示す。また、intra_dc_multは、ＤＣ係数量子化精度を指定するためにピクチャ単位で設定可能な媒介変数であるintra_dc_precisionに従い、図１３に示す関係で決まる値である。
【００２２】
ここで、ＭＰＥＧ１においては、intra_dc_precisionが０に対応する精度（８ビット精度相当）のみであったが、輝度レベルが緩やかに変化する画像を高画質で符号化するためには、この精度では不十分であった。そこで、ＭＰＥＧ２においては、図１３に示すように、本媒介変数を用いて８〜１１ビット精度相当のＤＣ係数量子化精度を指定することが可能となっている。但し、４：２：２フォーマットでの使用が可能であり画質への要求レベルが高いＨｉｇｈプロファイル以外では、最高１０ビット精度で十分とし、８〜１０ビット精度に制限されている。
【００２３】
また、イントラマクロブロックのその他の係数は、以下の式（２）に従って逆量子化される。
【００２４】
【数７】
ここで、式（２）において、Ｆ"[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値を示し、ＱＦ[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値レベル番号を示す。また、ｋの値は、以下の式（３）により定義される。
【００２６】
【数８】
また、上述した式（２）において、Ｗ[ｗ][ｕ][ｖ]及びquantiser_scaleは、それぞれ量子化行列及び量子化スケールを示し、これらの媒介変数によって量子化特性が制御される。
【００２８】
また、媒介変数ｋは、非イントラマクロブロックにおいて、その値がＱＦ[ｕ][ｖ]の符号に応じて１、０、−１となる。例えば、ＱＦ[ｕ][ｖ]が−２、−１、０、１、２である場合のＦ"[ｕ][ｖ]は、それぞれ−５ｍ、−３ｍ、０、３ｍ、５ｍ（ｍは定数）となり、零近傍にデッドゾーンが設けられている。
【００２９】
ところで、量子化行列は、ブロック内での離散コサイン変換係数値間での相対的な量子化精度を設定するために設けられた行列である。この量子化行列を用いることにより、例えば視覚的に劣化の目立ちにくい高域離散コサイン係数値を、視覚的に劣化の目立ちやすい低域離散コサイン係数と比較して粗く量子化するといった処理が可能となり、量子化特性を視覚特性に合致させることができる。なお、量子化行列は、ピクチャ単位で設定することが可能である。
【００３０】
ＭＰＥＧ１及びＭＰＥＧ２の４：２：０フォーマットの場合、イントラマクロブロック用と非イントラマクロブロック用の２種類の量子化行列を設定することができ、４：２：２フォーマット及び４：４：４フォーマットの場合には、さらに輝度信号と色差信号とで独立に合計４種類の量子化行列を設定することができる。なお、Ｗ[ｗ][ｕ][ｖ]におけるｗ（０，１，２，３）は、４種類の行列のうちの１つを意味する。
【００３１】
ここで、ＭＰＥＧ２において定められているイントラマクロブロック及び非イントラマクロブロックの量子化行列のデフォルト値をそれぞれ図１４（Ａ）、（Ｂ）に示す。上述したように、量子化行列は、ユーザがピクチャ単位で設定可能であるが、設定されていない場合にはこのデフォルト値が用いられる。図１４に示すように、デフォルト値ではイントラマクロブロックに対してのみ重みを有している。
【００３２】
なお、MPEG2 Test Model 5（ISO/IEC JTC/SC29/WG11/N0400）においては、非イントラマクロブロックに対して図１５に示すような量子化行列が定義されている。これは、図１４（Ｂ）に示したデフォルト値とは異なり、重みを有した特性となっている。
【００３３】
量子化スケール（quantiser_scale）は、量子化特性のスケーリングを行うことにより発生符号量を制御するための媒介変数であり、ピクチャ単位で設定される媒介変数q_scale_typeと、マクロブロック単位で設定される量子化スケールコードquantiser_scale_codeにより設定される。図１６にこれらの関係を示す。
【００３４】
ここで、q_scale_typeが０の場合には線形量子化となり、ＭＰＥＧ１と同様、quantiser_scale_code（１〜３１）の２倍の値がquantiser_scale（２〜６２）に設定される。
【００３５】
また、q_scale_typeが１の場合には非線形量子化となり、quantiser_scale_code（１〜３１）は、小さい量子化スケールコードではより細かく、大きな量子化スケールコードではより粗くスケーリングすることにより、線形量子化の場合に比べ、広い範囲のquantiser_scale（１〜１１２）に変換される。このモードは、ＭＰＥＧ２において新たに導入されたもので、特に高いレートで符号化する場合に、小さな量子化スケール領域でより細かな量子化スケール制御を行うことや、極めて複雑な画像を符号化する場合に、より粗い量子化スケールを用いることが可能となり、ＭＰＥＧ１と比較して、より安定した符号量制御を実現することができる。
【００３６】
一方、ＪＶＴにおいては、量子化／逆量子化を行うための媒介変数ＱＰには０〜５１の５２の異なる値が使われる。ここで、ＱＰは、値が６増える毎に量子化スケールが２倍になるように設定されている。すなわち、ＱＰが１増す毎に量子化スケールが約１２％増加する。
【００３７】
なお、色差成分に使用されるＱＰＣは、輝度成分に使用されるＱＰＹから、以下の表１に示す対照表に従って算出される。以下では、特に断りのない限り、ＱＰＹのことをＱＰと呼ぶことにする。
【００３８】
【表１】
ここで、ＪＶＴにおいては、４×４離散コサイン変換に基づく符号化が行われるが、輝度信号と色差信号とについて、実際には、以下の演算が行われる。すなわち、Ｘ＝（ｘ００，…．ｘ３３）を画素値又は差分値とし、Ｙを直交変換係数とした場合に、以下の式（４）に示すような離散コサイン変換に相当する処理が実行される。
【００４０】
【数９】
次に量子化処理として、以下の式（５）に示すような処理が実行される。
【００４２】
【数１０】
ここで、式（５）において、ＹＱは量子化された直交変換係数を示し、Ｑは量子化ステップサイズに対応する量子化係数を示す。また、ｆはイントラマクロブロックでは２１５＋ＱＰ／６／３、インターマクロブロックでは２１５＋ＱＰ／６／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。なお、Ｑは以下に示すように定義されている。
Q[QP%6][i][j]＝quantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
Q[QP%6][i][j]＝quantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
Q[QP%6][i][j]＝quantMat[QP%6][2] otherwise.
quantMat[6][3]＝{{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, {7384, 2943, 4660}}
【００４４】
また、量子化後の逆量子化処理として、以下の式（６）に示すような処理が実行される。
【００４５】
【数１１】
ここで、式（６）において、Ｒは逆量子化係数を示し、以下に示すように定義されている。
R[QP%6][i][j]＝dequantMat[QP%6][0] for (i,j)＝{(0,0),(0,2),(2,0),(2,2)},
R[QP%6][i][j]＝dequantMat[QP%6][1] for (i,j)＝{(1,1),(1,3),(3,1),(3,3)},
R[QP%6][i][j]＝dequantMat[QP%6][2] otherwise.
dequantMat[6][3]＝{{10, 16, 13}, {11, 18, 14}, {13, 20, 16}, {14, 23, 18}, {16, 25, 20}, {18, 29, 23}}
【００４７】
次に逆離散コサイン変換処理として、以下の式（７）に示すような処理が実行され、正規化処理として、以下の式（８）に示すような処理が実行される。
【００４８】
【数１２】
最後に、復号された予測残差値Ｘ"（ｉ，ｊ）は、以下の式（９）に示すように、動き補償予測値又は空間予測値Ｐ（ｉ，ｊ）と足し合わされ、０から２５５の範囲にクリッピングされて最終復号画素値が算出される。
【００５０】
【数１３】
ところで、ＪＶＴでは、イントラ１６×１６モードにおいて、輝度信号のＤＣ成分をさらに４×４単位のブロックに集め、アダマール変換を施して圧縮率を向上させている。輝度信号の４×４ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００５２】
先ず、４×４変換によって算出された直交変換係数の１６個の輝度信号ＤＣ成分が集められて４×４単位の入力マトリックスＸＤとされ、アダマール変換に相当する処理として、以下の式（１０）に示すような処理が実行される。
【００５３】
【数１４】
次に、量子化処理として、以下の式（１１）に示すような処理が実行される。
【００５５】
【数１５】
また、逆アダマール変換に相当する処理として、以下の式（１２）に示すような処理が実行される。
【００５７】
【数１６】
次に、ＱＰが１２以上である場合には、逆量子化処理として、以下の式（１３）に示すような処理が実行され、ＱＰが１２未満である場合には、逆量子化処理として、以下の式（１４）に示すような処理が実行される。
【００５９】
【数１７】
また、ＪＶＴでは、色差信号のＤＣ成分についても、さらに２×２画素のブロックに集め、アダマール変換を施して圧縮率を向上させている。色差信号の２×２ＤＣ成分の直交変換及び量子化は、以下の手法に基づいて実行される。
【００６１】
先ず、４個の色差ＤＣ成分が集められて２×２画素の入力マトリックスＸＤとされ、アダマール変換に相当する処理として、以下の式（１５）に示すような処理が実行される。
【００６２】
【数１８】
次に、量子化処理として、以下の式（１６）に示すような処理が実行される。
【００６４】
【数１９】
また、逆アダマール変換に相当する処理として、以下の式（１７）に示すような処理が実行される。
【００６６】
【数２０】
次に、ＱＰが６以上である場合には、逆量子化処理として、以下の式（１８）に示すような処理が実行され、ＱＰが６未満である場合には、逆量子化処理として、以下の式（１９）に示すような処理が実行される。
【００６８】
【数２１】
なお、直交変換及び量子化の一連の処理は、１６ビット演算でオーバーフローが起こらないよう規格化されている。
【００７０】
【発明が解決しようとする課題】
ところで、上述のＪＶＴで規定されている量子化／逆量子化においては、ＭＰＥＧ２で規定されているような、量子化行列を用いた直交変換係数の重み付けや、量子化処理におけるデッドゾーンに関する機能が含まれていないため、視覚特性に基づいた効率的な量子化を行うことができない。
【００７１】
本発明は、このような従来の実情に鑑みて提案されたものであり、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置、並びにそのような画像情報符号化処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００７２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、上記直交変換の単位となるブロックは、４×４画素からなり、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
また、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされるものである。
【００７３】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【００７４】
また、上述した目的を達成するために、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するデッドゾーン設定手段を備え、上記直交変換の単位となるブロックは、４×４画素からなり、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）を算出し、上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とする。
また、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とする。
【００７５】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【００７６】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００７７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、視覚特性を考慮したデッドゾーンを設けて量子化することにより、低ビットレートでの高効率な圧縮を実現する画像情報符号化方法及びその装置に適用したものである。具体的には、本実施の形態における画像情報符号化方法及びその装置では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、直交変換係数の成分毎にデッドゾーンが算出される。
【００７８】
そこで、以下では、本実施の形態における画像情報符号化方法及びその方法の説明の前に、量子化ステップサイズに対する重み付けを実際に行って量子化及び逆量子化する画像情報符号化装置及び画像情報復号装置について説明する。
【００７９】
先ず、本実施の形態の説明に供する画像情報符号化装置の概略構成を図１に示す。図１に示すように、画像情報符号化装置１０は、Ａ／Ｄ変換部１１と、画面並べ替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、重み付け部１６と、可逆符号化部１７と、蓄積バッファ１８と、逆量子化部１９と、重み付け部２０と、逆直交変換部２１と、フレームメモリ２２と、動き予測・補償部２３と、レート制御部２４とにより構成されている。
【００８０】
図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、得られた直交変換係数を量子化部１５に供給する。
【００８１】
量子化部１５は、直交変換部１４から供給された直交変換係数に対して量子化処理を施す。その際、量子化部１５の構成要素である重み付け部１６は、後述するようにして、直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８２】
可逆符号化部１７は、量子化された直交変換係数に対して可変長符号化又は算術符号化等の可逆符号化を施し、符号化された直交変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された直交変換係数は、画像圧縮情報として出力される。
【００８３】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の直交変換係数を逆量子化部１９に供給し、逆量子化部１９は、その直交変換係数を逆量子化する。その際、逆量子化部１９の構成要素である重み付け部２０は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。
【００８４】
逆直交変換部２１は、逆量子化された直交変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２に供給して蓄積させる。
【００８５】
一方、画面並び替えバッファ１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２３に供給する。動き予測・補償部２３は、同時に、参照される画像情報をフレームメモリ２２より取り出し、動き予測・補償処理を施して参照画像情報を生成する。
【００８６】
動き予測・補償部２３は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２３は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００８７】
可逆符号化部１７は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００８８】
次に、上述した画像情報符号化装置１０から出力された画像圧縮情報を復号する画像情報復号装置の概略構成を図２に示す。図２に示すように、画像情報復号装置３０は、蓄積バッファ３１と、可逆復号部３２と、逆量子化部３３と、重み付け部３４と、逆直交変換部３５と、加算器３６と、画面並べ替えバッファ３７と、Ｄ／Ａ変換部３８と、動き予測・補償部３９と、フレームメモリ４０とにより構成されている。
【００８９】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された直交変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部３９に供給する。
【００９０】
逆量子化部３３は、可逆復号部３２から供給された量子化後の直交変換係数を逆量子化し、逆量子化後の直交変換係数を逆直交変換部３５に供給する。その際、逆量子化部３３の構成要素である重み付け部３４は、後述するようにして、量子化された直交変換係数の成分毎に、量子化ステップサイズを指定するための媒介変数ＱＰの重み付けを行う。逆直交変換部３５は、定められた画像圧縮情報のフォーマットに基づき、直交変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００９１】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換部３５は、逆直交変換処理後の画像情報を画面並べ替えバッファ３７に供給する。画面並び替えバッファ３７は、この画像情報を一時的に格納した後、Ｄ／Ａ変換部３８に供給する。Ｄ／Ａ変換部３８は、この画像情報に対してＤ／Ａ変換処理を施して出力する。
【００９２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部３９は、可逆復号処理が施された動きベクトル情報とフレームメモリ４０に格納された画像情報とに基づいて参照画像を生成する。加算器３６は、この参照画像と逆直交変換部３５の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００９３】
ところで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０では、重み付け部１６，２０，３４において、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って、量子化及び逆量子化が行われている。そして、この重み付け処理によって、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【００９４】
そこで、以下では、この重み付け処理について説明する。なお、重み付け部１６，２０，３４の動作原理は同様であるため、以下では重み付け部１６の動作原理についてのみ説明する。
【００９５】
重み付け部１６においては、イントラマクロブロックとインターマクロブロックのそれぞれに対して、デフォルトで、それぞれ図３（Ａ）、（Ｂ）に示すようなＷｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【００９６】
また、輝度信号と色差信号のそれぞれに対して、デフォルトで、それぞれ図３（Ａ），（Ｂ）に示すような、Ｗｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を含むようにすることもできる。
【００９７】
以下では、Ｗｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）、或いはＷｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）に関する処理が同等であるため、特に断りのない限り、これらをＷ（ｉ，ｊ）と表記する。
【００９８】
なお、Ｗｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）、或いはＷｌｕｍａ（ｉ，ｊ）及びＷｃｈｒｏｍａ（ｉ，ｊ）は、図３に示したデフォルト値に限定されるものではなく、ユーザがピクチャ単位で設定することが可能である。その際、Ｗ（ｉ，ｊ）の値そのものを出力となる画像圧縮情報に埋め込むことも可能であるが、その差分値を生成し、又は可変長符号化、算術符号化等の可逆符号化方式を用いてその情報量を削減し、出力される画像圧縮情報に埋め込んでもよい。
【００９９】
ここで、重み付け部１６においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数のそれぞれの成分に対して、以下の式（２０）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１００】
【数２２】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、各成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１０２】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２０）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１０３】
ここで、上述したように、画像情報符号化装置１０及び画像情報復号装置３０においては、デフォルトで使用される重み行列が、輝度信号及び色差信号の双方に対して、以下の式（２１）、（２２）のように定義されている。
【０１０４】
【数２３】
なお、実際に画像情報符号化装置１０及び画像情報復号装置３０で量子化／逆量子化に用いられる重み行列は必ずしもこの通りではなく、ピクチャ単位でユーザが設定することが可能である。
【０１０６】
この重み行列に関する情報を、画像圧縮情報中に埋め込むための構文の例を図４に示す。図４において、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、load_chroma_intra_quantiser_matrix、及びload_chroma_non_intra_quantiser_matrixは、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の重み行列が用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外の重み行列が用いられる。
【０１０７】
例えばload_intra_quantiser_matrixの値が１であった場合、後続のintra_quantiser_matrix[16]において、それぞれの成分が４ビットで表された４×４の重み行列に関する情報が埋め込まれる。
【０１０８】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１０９】
また、差分を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、intra_quantiser_matrix[16]に関する情報を圧縮してもよい。
【０１１０】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１１１】
以上説明したように、画像情報符号化装置１０及び画像情報復号装置３０によれば、量子化ステップサイズを指定するための媒介変数ＱＰの重み付け処理を行って量子化処理及び逆量子化処理を行うことにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能とされる。
【０１１２】
ここで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分について重み行列Ｗ（ｉ，ｊ）を加算し、得られた変数ＱＱＰ（ｉ，ｊ）を用いて量子化処理及び逆量子化処理を行った。しかしながら、このように４×４直交変換係数の全ての成分について重み行列Ｗ（ｉ，ｊ）を定義する例に限定されるものではなく、視覚的に劣化の目立ちやすい低域直交変換係数についてのみ媒介変数ＱＰに対してオフセット値を与え、量子化精度を向上させる処理を行うようにしても構わない。
【０１１３】
このような処理を行う画像情報符号化装置及びこの画像符号化装置から出力された画像圧縮情報を復号する画像情報復号装置の概略構成をそれぞれ図５、図６に示す。
【０１１４】
図５に示すように、画像情報符号化装置５０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりに、低域精度変更部５１，５２を備えており、低域直交変換係数の量子化精度を変更する点に特徴を有している。また、図６に示すように、画像情報復号装置６０の基本構成は、先に図２に示した画像情報復号装置３０と同様とするが、重み付け部３４の代わりに、低域精度変更部６１を備えており、低域直交変換係数の逆量子化精度を変更する点に特徴を有している。
【０１１５】
したがって、先に図１、２に示した画像情報符号化装置１０及び画像情報復号装置３０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、低域精度変更部５１，５２，６１における処理について説明する。なお、低域精度変更部５１，５２，６１の動作原理は同様であるため、以下では低域精度変更部５１の動作原理についてのみ説明する。
【０１１６】
低域精度変更部５１においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数の指定された成分に対して、以下の式（２３）に示すような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０１１７】
【数２４】
量子化／逆量子化処理に関しては、上述したＪＶＴにおけるＱ（QP%6,i,j）及びＲ（QP%6,i,j）に代え、指定された成分毎に、Ｑ（QQP%6,i,j）及びＲ（QQP%6,i,j）を用いて、ＪＶＴと同様の処理を行う。
【０１１９】
なお、ＱＰのダイナミックレンジは０〜５１であるが、上述した式（２３）においては、ＱＱＰ（ｉ，ｊ）の値がこのダイナミックレンジから外れる可能性がある。そこで、ＱＱＰ（ｉ，ｊ）の値が５１を超えた場合にはＱＱＰ（ｉ，ｊ）＝５１とし、０を下回った場合にはＱＱＰ（ｉ，ｊ）＝０とする。
【０１２０】
ここで、低域精度変更部５１では、予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズの各々の項目の組み合わせに準拠する構文を定義することができる。
【０１２１】
すなわち、例えば予測モードについては、１６×１６予測モード及び／又は４×４予測モード、或いはユーザが指定した上記予測モードの任意の組み合わせについての構文を定義することができる。
【０１２２】
また、量子化ステップサイズを変更する直交変換係数については、例えば図７左の斜線で示すようにＤＣ係数のみを変更するモード１、図７中央の斜線で示すようにＤＣ係数及び低域のＡＣ係数２個を変更するモード２、図７右の斜線で示すようにＤＣ係数及び低域のＡＣ係数５個を変更するモード３、或いはユーザが指定した直交変換係数についての構文を定義することができる。
【０１２３】
また、量子化ステップサイズとしては、デフォルト値（例えば−６）や、ユーザが設定したオフセット値（offset_QP）についての構文を定義することができる。また、ユーザが指定した変数ＱＱＰの絶対値についての構文を定義するようにしても構わない。
【０１２４】
上述した予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を図８に示す。なお、構文がこの例に限定されないのは勿論であり、上述した項目の任意の組み合わせに準拠する構文を定義することができる。
【０１２５】
図８において、load_16x16, load_4x4は、それぞれ当該ピクチャで、輝度信号及び色差信号に対するイントラマクロブロック及びインターマクロブロックにおいて、デフォルトで定められた以外の媒介変数ＱＰが用いられるか否かを示す１ビットのフラグであり、その値が１を取るとき、当該ピクチャにおいてはデフォルト以外のＱＰが用いられる。
【０１２６】
例えばload_16x16の値が１であった場合、後続のoffset_QPにおいて、４ビットで表された媒介変数ＱＰのオフセット値に関する情報が埋め込まれる。さらに、後続のcoef_numにおいて、２ビットで表された量子化ステップサイズを変更する直交変換係数に関する情報、例えば上述の図７におけるモード１乃至モード３の何れかに関する情報が埋め込まれる。
【０１２７】
なお、上述のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット又は１２ビット等で表されてもよい。
【０１２８】
また、絶対値を取り、又は可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、offset_QPに関する情報を圧縮してもよい。
【０１２９】
また、上述の説明では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０１３０】
以上説明したように、画像情報符号化装置５０及び画像情報復号装置６０によれば、低域直交変換係数についてのみ、量子化ステップサイズを指定するための媒介変数ＱＰに対してオフセット値（offset_QP）を与えることにより、視覚的に劣化の目立ちやすい低域直交変換係数の量子化精度を上げ、復号画像の画質を向上させることが可能となる。
【０１３１】
ところで、上述の説明では、マクロブロックごとの量子化のための媒介変数ＱＰに対して、４×４離散コサイン変換係数のそれぞれの成分、或いは指定された成分について重み付け処理を行うことで、視覚特性を考慮した量子化を実現しており、重み付け処理機能を有していることを前提としていた。
【０１３２】
しかしながら、ＪＶＴにおいて重み付け処理機能がない場合であっても、以下に説明するように、入力値の零近傍の直交変換係数について視覚特性を考慮したデッドゾーンを算出することによっても、上述と同様の効果を奏することができる。
【０１３３】
このようなデッドゾーン算出処理を行う本発明の実施の形態における画像情報符号化装置の概略構成を図９に示す。図９に示すように、画像情報符号化装置７０の基本構成は、先に図１に示した画像情報符号化装置１０と同様とするが、重み付け部１６，２０の代わりにデッドゾーン算出部７１を備えており、視覚特性を考慮したデッドゾーンを算出する点に特徴を有している。
【０１３４】
したがって、先に図１に示した画像情報符号化装置１０と同様の構成については同一符号を付して詳細な説明を省略し、以下では、このデッドゾーン算出部７１におけるデッドゾーン算出処理についてのみ説明する。
【０１３５】
デッドゾーン算出部７０においては、直交変換係数毎に以下の式（２４）に従ってデッドゾーンの閾値Ｔ（ｉ，ｊ）を求める。
【０１３６】
【数２５】
ここで、式（２４）において、ｆはイントラマクロブロックでは２１５＋ＱＱＰ／６／３、インターマクロブロックでは２１５＋ＱＱＰ／６／６とし、量子化される直交変換係数Ｙと同じ正負の符号を持つとする。また、ＱＱＰは、前述した重み付け処理で用いたＷｉｎｔｒａ（ｉ，ｊ）及びＷｉｎｔｅｒ（ｉ，ｊ）（i,j=0,1,2,3）等を用いて、算出したものとする。
【０１３８】
このように算出されたデッドゾーンの閾値Ｔ（ｉ，ｊ）を用いて、入力値Ｙ（ｉ，ｊ）の絶対値がＴ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値ＹＱ（ｉ，ｊ）を０とする。
【０１３９】
同様に、輝度のＤＣ成分をさらに４×４単位のブロックに集めてアダマール変換を施した直交変換係数ＹＤ（ｉ，ｊ）については、以下の式（２５）に従ってデッドゾーンの閾値ＴＤ（ｉ，ｊ）を算出する。また、色差のＤＣ成分をさらに２×２単位のブロックに集めてアダマール変換を施した直交変換係数ＹＤ（ｉ，ｊ）については、以下の式（２６）に従ってデッドゾーンの閾値ＴＤ（ｉ，ｊ）を算出する。
【０１４０】
【数２６】
そして、入力値ＹＤ（ｉ，ｊ）の絶対値がＴＤ（ｉ，ｊ）の絶対値よりも小さい場合、量子化値ＹＤＱ（ｉ，ｊ）を０とする。
【０１４２】
入力値Ｙ（ｉ，ｊ）と量子化値ＹＱ（ｉ，ｊ）との対応グラフを図１０に示す。図１０に示すように、本実施の形態の対応グラフ（ａ）におけるデッドゾーンの閾値Ｔ（ｉ，ｊ）は、重み行列Ｗ（ｉ，ｊ）で重み付け処理を行った場合の対応グラフ（ｂ）における量子化値がゼロとなる入力値の範囲において、同様に量子化値がゼロとなるように算出されている。
【０１４３】
以上説明したように、本実施の形態における画像情報符号化装置７０によれば、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１４４】
また、このような視覚特性を考慮したデッドゾーンを算出する手法では、従来通りのＪＶＴ復号器で復号処理を行えるため、処理量の増加を伴わないという利点がある。
【０１４５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１４６】
例えば、本発明による手法は、任意の変換方式に適用可能である。すなわち、演算精度や、整数変換の変換マトリクスに依存せず、同様に適用可能である。
【０１４７】
また、本発明は、変換ブロックのサイズに依存せず、任意のサイズの変換に対して同様に適用可能である。また、４×４，４×８、８×４、８×８，１６×１６の任意のブロックサイズで適応的に周波数変換を行う適応可変ブロックサイズ変換方式にも同様に適用可能である。
【０１４８】
また、本発明、任意の処理をＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１４９】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するものである。
【０１５０】
このような画像情報符号化方法では、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更が加えられる。
【０１５１】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５２】
また、本発明に係る画像情報符号化装置は、力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備える。
【０１５３】
このような画像情報符号化装置は、量子化の際の量子化ステップサイズに対する仮想的な重み付け処理を考慮して、例えば高域直交変換係数ほど量子化の出力が０となる入力の範囲であるデッドゾーンが広くなるように、直交変換係数の成分毎にデッドゾーンに対して所定の変更を加える。
【０１５４】
これにより、視覚特性を考慮した重み付け処理のデッドゾーンと同等のデッドゾーンを算出することができ、視覚特性を考慮した量子化処理を行うことが可能となる。
【０１５５】
また、本発明に係るプログラムは、上述した画像情報符号化処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムプログラムが記録されたコンピュータ読み取り可能なものである。
【０１５６】
このようなプログラム及び記録媒体によれば、上述した画像情報符号化処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の説明に供する画像情報符号化装置の概略構成を説明する図である。
【図２】本実施の形態の説明に供する画像情報復号装置の概略構成を説明する図である。
【図３】同画像情報符号化装置の重み付け部に格納されている重み行列のデフォルト値を説明する図であり、同図（Ａ）は、イントラマクロブロック用又は輝度信号用の重み行列を示し、同図（Ｂ）は、非イントラマクロブロック用又は色差信号用の重み行列を示す。
【図４】重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図５】本実施の形態の説明に供する画像情報符号化装置の概略構成の他の例を説明する図である。
【図６】本実施の形態の説明に供する画像情報復号装置の概略構成の他の例を説明する図である。
【図７】量子化ステップサイズを変更する直交変換係数の例を示す図である。
【図８】予測モード、量子化ステップサイズを変更する直交変換係数、及び量子化ステップサイズについての情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図９】本実施の形態における画像情報符号化装置の概略構成を説明する図である。
【図１０】同画像情報符号化装置の量子化部における入力値と量子化値との対応グラフを示す図である。
【図１１】直交変換と動き補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。
【図１２】直交変換と動き補償により圧縮された画像圧縮情報を復号する従来の画像情報復号装置の概略構成を説明する図である。
【図１３】ＭＰＥＧ２において定められた、intra_dc_precisionと、ビット精度、逆量子化係数及びＤＣ予測リセット値との関係を説明する図である。
【図１４】ＭＰＥＧ２で定められているイントラマクロブロックとインターマクロブロックとに対する量子化行列のデフォルト値を説明する図である。
【図１５】 MPEG2 Test Model 5において定められている非イントラマクロブロックに対する量子化行列を説明する図である。
【図１６】ＭＰＥＧ２における、量子化スケール（quantiser_scale）、ピクチャ単位で設定される媒介変数q_scale_type、及びマクロブロック単位で設定される量子化スケールコードquantiser_scale_codeの関係を説明する図である。
【符号の説明】
１０，５０，７０ 画像情報符号化部、１１ Ａ／Ｄ変換部、１２ 画面並べ替えバッファ、１３ 加算器、１４ 直交変換部、１５ 量子化部、１６ 重み付け部、１７ 可逆符号化部、１８ 蓄積バッファ、１９ 逆量子化部、２０ 重み付け部、２１ 逆直交変換部、２２ フレームメモリ、２３ 動き予測・補償部、２４ レート制御部、３０，６０ 画像情報復号装置、３１ 蓄積バッファ、３２ 可逆復号部、３３ 逆量子化部、３４ 重み付け部、３５ 逆直交変換部、３６ 加算器、３７ 画面並べ替えバッファ、３８ Ｄ／Ａ変換部、３９動き予測・補償部、４０ フレームメモリ、５１，５２，６１ 低域精度変更部、７１ デッドゾーン算出部
Claims (11)
- 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、
上記直交変換の単位となるブロックは、４×４画素からなり、
上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、
上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされること
を特徴とする画像情報符号化方法。 - 上記量子化ステップサイズＱは、
Y(i,j) ＝ {(0,0),(0,2),(2,0),(2,2)} の場合、 Q[QQP%6][i][j] ＝ quantMat[QQP%6][0] 、
Y(i,j) ＝ {(1,1),(1,3),(3,1),(3,3)} の場合、 Q[QQP%6][i][j] ＝ quantMat[QQP%6][1] 、
Y(i,j) が上記以外の場合、 Q[QQP%6][i][j] ＝ quantMat[QQP%6][2] であり、
上記 quantMat は、
quantMat[6][3] ＝ {{13107, 5243, 8224}, {11651, 4660, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825}, {8322, 3290, 5243}, {7384, 2943, 4660}} であること
を特徴とする請求項１記載の画像情報符号化方法。 - 上記ブロックを含む符号化単位としてのマクロブロック毎に画像内符号化又は画像間符号化が選択され、上記配列Ｗ（ｉ，ｊ）のデフォルト値又はピクチャ単位のユーザ設定値として、画像内符号化マクロブロックの場合にＷ ｉｎｔｒａ （ｉ，ｊ） が用いられ、画像間符号化マクロブロックの場合にＷ ｉｎｔｅｒ （ｉ，ｊ） が用いられることを特徴とする請求項１記載の画像情報符号化方法。
- 上記Ｗ ｉｎｔｒａ （ｉ，ｊ）として、
- 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、
上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、
上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、
上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされること
を特徴とする画像情報符号化方法。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更が加えたデッドゾーンを設定するものであって、
上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、
上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）が算出され、
上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力が０とされること
を特徴とする画像情報符号化方法。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するデッドゾーン設定手段を備え、
上記直交変換の単位となるブロックは、４×４画素からなり、
上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）を算出し、
上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力を０とすること
を特徴とする画像情報符号化装置。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、
上記デッドゾーンは、上記量子化後の輝度信号のＤＣ成分を集めて構成された４×４画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、
上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、
上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とすること
を特徴とする画像情報符号化装置。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して所定の変更を加えたデッドゾーンを設定するデッドゾーン設定手段を備え、
上記デッドゾーンは、上記量子化後の色差信号のＤＣ成分を集めて構成された２×２画素単位のブロックの各ＤＣ成分を量子化する際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記ＤＣ成分毎に変更が加えられ、
上記デッドゾーン設定手段は、上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記ＤＣ成分Ｙ Ｄ （ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ Ｄ （ｉ，ｊ）＝（２ １６＋ＱＱＰ／６ −２・ｆ）／Ｑ （ i,j=0,1 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ Ｄ （ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ Ｄ （ｉ，ｊ）を算出し、
上記Ｙ Ｄ （ｉ，ｊ）の絶対値が上記Ｔ Ｄ （ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ Ｄ （ｉ，ｊ）の量子化出力を０とすること
を特徴とする画像情報符号化装置。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化処理をコンピュータに実行させるプログラムにおいて、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、
上記直交変換の単位となるブロックは、４×４画素からなり、
上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、
上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされること
を特徴とするプログラム。 - 入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
上記量子化の際に、上記ブロックの直交変換係数の成分毎に決定された量子化ステップサイズにおけるデッドゾーンに対して、上記量子化の際の上記量子化ステップサイズに対する仮想的な重み付け処理を考慮して、上記直交変換係数の成分毎に変更が加えられたデッドゾーンを設定するものであって、
上記直交変換の単位となるブロックは、４×４画素からなり、
上記量子化ステップサイズＱを指定するための媒介変数ＱＰに対して、上記直交変換係数の成分Ｙ（ｉ，ｊ）毎に重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られた変数ＱＱＰ（ｉ，ｊ）を用いて、
Ｔ（ｉ，ｊ）＝（２ １５＋ＱＱＰ／６ −ｆ）／Ｑ （ i,j=0,1,2,3 ）
ただし、ｆはイントラマクロブロックでは２ １５＋ＱＱＰ／６ ／３、インターマクロブロックでは２ １５＋ＱＱＰ／６ ／６とし、上記Ｙ（ｉ，ｊ）と同じ正負の符号を持つ
のように閾値Ｔ（ｉ，ｊ）が算出され、
上記Ｙ（ｉ，ｊ）の絶対値が上記Ｔ（ｉ，ｊ）の絶対値よりも小さい場合に、当該Ｙ（ｉ，ｊ）の量子化出力が０とされること
を特徴とするプログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207487A JP4254147B2 (ja) | 2001-11-30 | 2002-07-16 | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367868 | 2001-11-30 | ||
| JP2001-367868 | 2001-11-30 | ||
| JP2002207487A JP4254147B2 (ja) | 2001-11-30 | 2002-07-16 | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003230142A JP2003230142A (ja) | 2003-08-15 |
| JP2003230142A5 JP2003230142A5 (ja) | 2005-10-27 |
| JP4254147B2 true JP4254147B2 (ja) | 2009-04-15 |
Family
ID=27759605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002207487A Expired - Fee Related JP4254147B2 (ja) | 2001-11-30 | 2002-07-16 | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4254147B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO319007B1 (no) * | 2003-05-22 | 2005-06-06 | Tandberg Telecom As | Fremgangsmate og apparat for videokomprimering |
| EP1564997A1 (en) * | 2004-02-12 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Encoding and decoding of video images based on a quantization with an adaptive dead-zone size |
| EP2611157A1 (en) | 2004-02-20 | 2013-07-03 | Nec Corporation | Image encoding method, device thereof, and control program thereof |
| JP5053081B2 (ja) * | 2004-06-18 | 2012-10-17 | トムソン ライセンシング | ビデオ・コーデック量子化のための方法および装置 |
| US7995649B2 (en) | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US8503536B2 (en) | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| US8498335B2 (en) | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| US8243797B2 (en) | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| EP2136566A4 (en) * | 2007-04-16 | 2012-07-18 | Toshiba Kk | METHOD AND DEVICE FOR IMAGE ENCODING AND IMAGE DECODING |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US20130272390A1 (en) * | 2012-04-16 | 2013-10-17 | Qualcomm Incorporated | Uniform granularity for quantization matrix in video coding |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| GB2512826B (en) | 2013-04-05 | 2017-05-10 | Canon Kk | Method and device for determining the value of a quantization parameter |
-
2002
- 2002-07-16 JP JP2002207487A patent/JP4254147B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230142A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4617644B2 (ja) | 符号化装置及び方法 | |
| US7620103B2 (en) | Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding | |
| KR100785589B1 (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
| KR101156996B1 (ko) | 복호 장치 및 복호 방법 | |
| JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| WO2005062622A1 (ja) | 画像復号装置及び画像復号方法並びに画像復号プログラム | |
| JP2001054119A (ja) | 画像予測符号化方法 | |
| KR100949475B1 (ko) | 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치 | |
| JP4560694B2 (ja) | 符号化装置及びその方法 | |
| JP5375938B2 (ja) | 復号装置及び方法 | |
| JP2008219205A (ja) | 画像情報符号化装置及び画像情報符号化方法 | |
| JP4214771B2 (ja) | 画像処理装置およびその方法と符号化装置 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| KR100366382B1 (ko) | 동영상 부호화 장치 및 방법 | |
| JP4277530B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP4924708B2 (ja) | 復号装置及び方法 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4348899B2 (ja) | 画像情報復号方法 | |
| JP4983908B2 (ja) | 復号装置及び方法 | |
| JP5375935B2 (ja) | 符号化装置及び方法 | |
| JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
| JP4924744B2 (ja) | 復号装置及びその方法 | |
| JP2002359852A (ja) | 画像予測復号化装置及び方法 | |
| JP4983907B2 (ja) | 符号化装置及び方法 | |
| JP5375936B2 (ja) | 復号装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050712 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4254147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |