JP4292658B2 - 画像情報変換装置及び画像情報変換方法 - Google Patents
画像情報変換装置及び画像情報変換方法 Download PDFInfo
- Publication number
- JP4292658B2 JP4292658B2 JP32877799A JP32877799A JP4292658B2 JP 4292658 B2 JP4292658 B2 JP 4292658B2 JP 32877799 A JP32877799 A JP 32877799A JP 32877799 A JP32877799 A JP 32877799A JP 4292658 B2 JP4292658 B2 JP 4292658B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- quantization
- picture
- image
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像情報のビットレートを変換する画像情報変換装置及び画像情報変換方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、そのデジタルデータに対して画像情報特有の冗長性を利用した直交変換と動き補償により圧縮を行い、衛星放送やケーブルテレビジョン等のネットワークメディアへ伝送や、光ディスクや磁気ディスク等のストレージメディアへの記録を行う装置が普及している。このような装置では、一般に、画像圧縮方式に、離散コサイン変換を用いたＭＰＥＧ−２（Moving Picture Experts Group phase - 2）が用いられている。
【０００３】
また、近年、このＭＰＥＧ−２等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。
【０００４】
ところで、この高解像度画像の画像情報は膨大であり、ＭＰＥＧ−２等の符号化方式を用いて圧縮しても、十分な画質を得るためには多くの符号量（ビットレート）が必要となる。例えば、画枠が１９２０画素×１０８０画素の３０Ｈｚの飛び越し走査画像の場合には、１８〜２２Ｍｂｐｓ程度或いはそれ以上の符号量を必要とする。
【０００５】
そのため、例えば衛星放送やケーブルテレビジョン等のネットワークメディアへこのような高解像度画像を伝送する場合には、伝送経路のバンド幅に合わせて更に符号量の削減をしなければならない。同様に、光ディスクや磁気ディスク等のストレージメディアへこのような高解像度画像を記録する場合にも、メディアの記録容量に合わせて、更に符号量の削減をしなければならない。また、このような符号量の削減の必要性は、高解像度画像のみならず、標準解像度画像（例えば画枠が７２０画素×４８０画素の３０Ｈｚの飛び越し走査画像等）でも生じることが考えられる。
【０００６】
かかる問題を解決する手段としては、階層符号化（スケーラビリティ）、又は画像情報変換（トランスコーディング）等がある。ＭＰＥＧ−２では、前者について、ＳＮＲスケーラビリティが標準化されており、これを用いて、高ＳＮＲの画像圧縮情報（ビットストリーム）と低ＳＮＲの画像圧縮情報（ビットストリーム）を階層的に符号化している。しかしながら、階層符号化を行うためには、符号化の時点で、バンド幅又は記憶容量等の所定の値が既知である必要があるが、実際のシステムにおいては、未知であることが多い。従って、後者の方が、実際のシステムに則した、より自由度の高い方式であると言える。
【０００７】
そして、この後者の画像情報変換（トランスコーディング）を用いた従来の画像情報変換装置（トランスコーダ）では、入力となる画像圧縮情報（ビットストリーム）を復号又は部分復号する復号化部と、この復号化部の出力を再符号化する符号化部とが並列接続され、空間領域又は周波数領域の２つの領域で画像情報が復号化部から符号化部へ供給されている。
【０００８】
前者の空間領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、演算処理量は大きいが、出力となる画像圧縮情報（ビットストリーム）の復号化画像の劣化を抑えることが可能で、主として放送用機器等のアプリケーションに用いられている。一方、後者の周波数領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、前者の画像情報変換装置に比べて、若干の画質劣化を引き起こすものの、より少ない演算処理量での実現が可能で、主として民生用機器のアプリケーションに用いられている。
【０００９】
つぎに、これら空間領域又は周波数領域のそれぞれの領域で用いられる従来の画像情報変換装置について、図面を参照しながら説明する。
【００１０】
最初に、空間領域で用いられる従来の画像情報変換装置について説明する。この空間領域で用いられる従来の画像情報変換装置を図１１に示す。
【００１１】
従来の画像情報変換装置１００は、この図１１に示すように、画像情報復号装置１０１と、付加情報バッファ１０２と、画像情報符号化装置１０３とを備える。
【００１２】
この従来の画像情報変換装置１００は、一般に画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置１０１から画像情報符号化装置１０３への画像情報の供給を、空間領域で行う。
【００１３】
まず、従来の画像情報変換装置１００では、画像情報復号装置１０１は、高ビットレートの画像圧縮情報が入力される。この画像情報復号装置１０１は、高ビットレートの画像圧縮情報を一旦完全に復号し、ベースバンドのビデオデータを出力する。これと同時的に、付加情報バッファ１０２は、画像情報復号装置１０１が復号化の際に用いた情報（以下、付加情報という。）を当該画像情報復号装置１０１から供給され、この供給された付加情報を記憶する。
【００１４】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００１５】
そして、画像情報符号化装置１０２は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ１０２から取得した付加情報とに基づいて、符号化処理を行う。即ち、画像情報符号化装置１０３は、この目標符号量と付加情報とに基づいて、画像情報復号装置１０１の出力として得られるベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。このように、画像情報符号化装置１０３は、付加情報バッファ１０２に記憶された付加情報を利用することにより、再符号化に伴う演算処理量の増大や画質劣化等を低減することができる。
【００１６】
例えば、一般的に画像情報を符号化する場合には、動きベクトル探索に多大なる演算処理量を要するが、従来の画像情報変換装置１００では、付加情報バッファ１０２に記憶された各マクロブロック毎の動きベクトル及び予測モードを用いることにより、動きベクトル探索を行うことなく符号化処理を行うことができる。
【００１７】
つぎに、周波数領域で用いられる従来の画像情報変換装置について説明する。この周波数領域で用いられる従来の画像情報変換装置を図１２に示す。
【００１８】
従来の画像情報変換装置１１０は、この図１２に示すように、符号バッファ１１１と、圧縮情報解析装置１１２と、可変長復号化装置１１３と、逆量子化装置１１４と、帯域制限装置１１５と、量子化装置１１６と、情報バッファ１１７と、可変長符号化装置１１８と、符号バッファ１１９と、符号量制御装置１２０とを備える。
【００１９】
符号バッファ１１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１１２に供給する。
【００２０】
圧縮情報解析装置１１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報（以下、解析結果情報という。）を抽出し、この抽出した解析結果情報を可変長復号化装置１１３及び情報バッファ１１７に供給する。この圧縮情報解析装置１１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２０における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１１７に供給する。
【００２１】
可変長復号化装置１１３は、圧縮情報解析装置１１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１１３は、圧縮情報解析装置１１２により抽出された解析結果情報に含まれる走査方式（ジグザグスキャン若しくはオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１１４に供給する。
【００２２】
逆量子化装置１１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１１５に供給する。
【００２３】
帯域制限装置１１５は、逆量子化装置１１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。そして、帯域制限装置１１５は、この帯域制限を行った離散コサイン変換係数を、量子化装置１１６に供給する。
【００２４】
量子化装置１１６は、帯域制限装置１１５から供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。
【００２５】
情報バッファ１１７は、圧縮情報解析装置１１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１１７は、この記憶した解析結果情報を、符号量制御装置１２０に供給する。
【００２６】
可変長符号化装置１１８は、量子化装置１１６から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１９に供給する。
【００２７】
符号バッファ１１９は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１９では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１９は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２０に供給する。
【００２８】
符号量制御装置１２０は、可変長符号化装置１１８により可変長符号化された後の画像圧縮情報が符号バッファ１１９においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１１７から取得する解析結果情報とに基づいて、量子化装置１１６において用いられる量子化行列の量子化幅の制御を行う。
【００２９】
以上のように構成された画像情報変換装置１１０では、逆量子化装置１１４は、可変長復号化装置１１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１１５に供給する。そして、量子化装置１１６は、逆量子化装置１１４から帯域制限装置１１５を介して供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１９から出力される。
【００３０】
【発明が解決しようとする課題】
ところで、ＣＣＩＲ（International Radio Consultative Committee）テストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に準拠したＭＰＥＧ−２対応の画像情報符号化装置（以下、ＭＰＥＧ−２画像情報符号化装置という。）によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号の信号雑音比（以下、ｐＳＮＲという。）の各フレーム毎の遷移を、図１３に示す。
【００３１】
ここで、符号化の条件は、ビットレートが６Ｍｂｐｓで、ＧＯＰ（Group of Pictures）の構成が、Ｎ＝１５，Ｍ＝３である。なお、上記Ｎは、ＧＯＰ内のピクチャ枚数であり、上記Ｍは、Ｉピクチャ又はＰピクチャが現れる周期である。
【００３２】
このとき、各フレーム毎の原画像との平均二乗誤差をＭＳＥとすれば、ｐＳＮＲは、次式（９）で表される。
【００３３】
【数１９】
【００３４】
そして、図１３では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図１４に示す。
【００３６】
この図１４では、図１３の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図１５（ａ）、図１５（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図１４に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図１５（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図１５（ｃ）の量子化行列が一般に用いられる。また、図１３，図１４，図１６，図１７に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図１５（ａ）、図１５（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１１若しくは図１２に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図１６及び図１７に示す。
【００４０】
図１６に示す結果は、図１１における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図１７に示す結果は、図１２における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図１３に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（１０）で表される。
【００４２】
【数２０】
【００４３】
ここで、図１６及び図１７における画質の傾向としては、上述した図１４に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図１４に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図１６及び図１７に示した実験においても、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図１６及び図１７においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記逆量子化手段により逆量子化された上記第１の画像圧縮情報の直交変換係数を上記量子化行列切替手段により与えられる量子化行列を用いて再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１のビットレートの第１の画像圧縮情報を入力し、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２とを備える。
【００５８】
符号バッファ２は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２は、蓄積された画像圧縮情報を、圧縮情報解析装置３に供給する。
【００５９】
圧縮情報解析装置３は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ２から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置４及び情報バッファ７に供給する。この圧縮情報解析装置３は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ７に供給する。
【００６０】
可変長復号化装置４は、圧縮情報解析装置３から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置４は、圧縮情報解析装置３により抽出された解析結果情報に含まれる走査方式（図２（ａ）に示すジグザグスキャン若しくは図２（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置４は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置５に供給する。
【００６１】
逆量子化装置５は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置５は、この逆量子化された離散コサイン変換係数を、帯域制限装置６に供給する。
【００６２】
帯域制限装置６は、逆量子化装置５から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００６３】
図３に、帯域制限装置６における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置６は、輝度信号に関しては、図３（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置６は、色差信号に関しては、図３（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００６４】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置６では、垂直方向の帯域制限は行わない。
【００６５】
さらに、この帯域制限装置６では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置６では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００６６】
さらにまた、帯域制限装置６における水平方向の離散コサイン変換係数の帯域制限処理は、この図３に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００６７】
帯域制限装置６は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置９に供給する。
【００６８】
情報バッファ７は、圧縮情報解析装置３から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ７は、この記憶した解析結果情報を、量子化行列切替装置８及び符号量制御装置１２に供給する。
【００６９】
量子化行列切替装置８は、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００７０】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【００７１】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００７２】
量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、以下に説明するような符号量制御装置１２により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【００７３】
可変長符号化装置１０は、量子化装置９から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１に供給する。
【００７４】
符号バッファ１１は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２に供給する。
【００７５】
符号量制御装置１２は、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【００７６】
以上のように構成された画像情報変換装置１では、逆量子化装置５は、可変長復号化装置４から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置６に供給する。そして、量子化装置９は、逆量子化装置５から帯域制限装置６を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、符号量制御装置１２により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１から出力される。
【００７７】
つぎに、符号量制御装置１２における処理について、詳しく説明する。
【００７８】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【００７９】
このように、本発明を適用した実施の形態である画像情報変換装置１も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【００８０】
しかしながら、この手法を、図１に示した画像情報変換装置１の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【００８１】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図１に示した画像情報変換装置１では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【００８２】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図１に示した画像情報変換装置１では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【００８３】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【００８４】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置１２における一連の処理の流れを、図５に示すフローチャートに従って説明する。
【００８５】
まず、図５のステップＳ１において、情報バッファ７は、図６に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【００８６】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１では、まず、圧縮情報解析装置３に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図６に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図６に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【００８７】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【００８８】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ1，Ｂ2，Ｐ1，Ｂ3，Ｂ4，Ｉ1，Ｂ5，Ｂ6，・・・，ＰL，ＢM-1，ＢM］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（６）で表される。
【００８９】
【数２３】
【００９０】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔi，Ｔp，Ｔbは、それぞれ次の式（１）、式（２）、式（３）により算出される。
【００９１】
【数２４】
【００９２】
【数２５】
【００９３】
【数２６】
【００９４】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（４）、式（５）を用いて表される。
【００９５】
【数２７】
【００９６】
【数２８】
【００９７】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置３でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（７）により表される。
【００９８】
【数２９】
【００９９】
さらに、Ｋp及びＫbは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１１）により表される。
【０１００】
【数３０】
【０１０１】
そして、Ｋp及びＫbが上記式（１１）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１０２】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔi，Ｔp，Ｔb）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１０３】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１２）、式（１３）、式（１４）により表される。
【０１０４】
【数３１】
【０１０５】
【数３２】
【０１０６】
【数３３】
【０１０７】
但し、これらの式（１２）〜式（１４）で示した“ｄ0 i”，“ｄ0 p”，“ｄ0 b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂj”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_cnt b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）として用いられる。
【０１０８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１５）により表される。
【０１０９】
【数３４】
【０１１０】
但し、この式（１５）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１６）により与えられる。
【０１１１】
【数３５】
【０１１２】
なお、符号化開始時における仮想バッファの初期値は、次の式（１７）で与えられる。
【０１１３】
【数３６】
【０１１４】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置３では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ７に格納される。これと同時に、圧縮情報解析装置３では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ７に格納される。
【０１１５】
また、符号量制御装置１２では、正規化アクティビティＮ＿ａｃｔは、情報バッファ７に格納されたＱ，Ｂの情報に基づいて、次の式（１８）、式（１９）、式（２０）の内のいずれかの式によって表される。
【０１１６】
【数３７】
【０１１７】
【数３８】
【０１１８】
【数３９】
【０１１９】
このうち、式（１９）と式（２０）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１８）の方がより高画質となるが、主観画質は、式（１９）又は式（２０）で表されるものの方が良い。
【０１２０】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置１２において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１２１】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１２２】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置９から可変長符号化装置１０に供給される。
【０１２３】
可変長符号化装置１０は、量子化装置９から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１０は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１２４】
そして、量子化装置９は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１２５】
なお、可変長符号化装置１０は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１２６】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図７（ａ）に示すようになっていたとする。図７において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図７（ｂ）に示すようになる。この図７（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図２（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図２（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１２７】
そして、可変長符号化装置１０により可変長符号化された離散コサイン変換係数は符号バッファ１１に供給され、この符号バッファ１１に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１２８】
また、符号量制御装置１２は、上述したように、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【０１２９】
その際、符号量制御のパラメータであるＫp，Ｋbを後述する方法によって設定することにより、Ｂピクチャに割り当てられる符号量（ビット）を削減することなく、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャにより多くの符号量（ビット）が割り当てることができ、Ｉピクチャの画質が向上され、これを参照するＰピクチャ及びＢピクチャの画質も向上される。
【０１３０】
ここで、符号量制御装置１２において、目標符号量（ターゲットビット）の調整を行う場合に、Ｐピクチャの目標符号量（ターゲットビット）のみを減らし、Ｂピクチャの目標符号量（ターゲットビット）は減らさないようにしなければならない理由について説明する。
【０１３１】
まず第一の理由は、図８に示すように、量子化行列を切り替えることによって減らされているのはＰピクチャの符号量（ビット）のみであって、Ｂピクチャに関しては殆ど変化がないからである。
【０１３２】
そして、第二の理由を説明するために、高解像度画像テストシーケンス「並木道」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて１２Ｍｂｐｓで符号化した時に、各フレームに割り当てられる符号量（ビット）を表した図を、図９に示す。
【０１３３】
ＭＰＥＧ−２では、動きベクトルは、前マクロブロックとの差分値が可変長符号化される。また、Ｂピクチャには、双方向予測モードが含まれる。これらのことから、画面全体に渡って動きが一様ではない画像（例えばカメラがパンしている画像）の場合、又は原画像に雑音が含まれ、これに動きベクトル値が影響を受ける場合等には、ヘッダ部に多くの符号量（ビット）が割り当てられ、離散コサイン変換係数に割り当てられる符号量（ビット）はその分少なくなる。このため、低い符号量（低ビットレート）での符号化を行う場合には、図９に示すように、Ｂピクチャにおける離散コサイン変換係数の符号量が極端に低いものとなることもある。これに対して、さらにＢピクチャの目標符号量（ターゲットビット）を低くすることは、画質劣化のみならず、バッファのアンダーフローも引き起こすことになりかねない。これらのことが第二の理由である。
【０１３４】
つぎに、符号量制御装置１２において用いられる符号量制御のパラメータであるＫp，Ｋbの設定方法について説明する。
【０１３５】
上述したように、Ｔｅｓｔ Ｍｏｄｅｌ ５では、符号量制御のパラメータとして、Ｉピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率Ｋp，Ｋbが規定されている。そして、一般の画像情報変換装置では、Ｋp及びＫbが式（１１）により表される値のときに、常に全体の画質が最適化されると仮定されており、このＫp及びＫbの値が、画像情報変換装置１においても用いられている。従って、この２つのパラメータであるＫp及びＫbの設定を変えることで、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャに対して余計に符号量（ビット）を割り当てることができる。
【０１３６】
ここで、符号量制御装置１２において、Ｋp及びＫbの値が式（１１）により表される値の場合、Ｉピクチャ，Ｐピクチャ及びＢピクチャのそれぞれに割り当てられるビット量を、ＢＩ＿ｏｒｇ，ＢＰ＿ｏｒｇ，ＢＢ＿ｏｒｇとする。また、Ｋp及びＫbの値を調整した後のビット量を、ＢＩ＿ｎｅｗ，ＢＰ＿ｎｅｗ，ＢＢ＿ｎｅｗとする。
【０１３７】
そして、これらのＫp及びＫbの値を調整する前後において、Ｉピクチャに対する割り当てビット量を増加させることをＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇとし、Ｐピクチャに対する割り当てビット量を減少させることをＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇとし、Ｂピクチャに対する割り当てビット量を現状維持させることをＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇとし、これらのＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇ、ＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇの関係が満たされるときに、画質が向上するとする。
【０１３８】
まず、例えば、Ｋpを１．０より少し大きな値である１．５とし、Ｋbを１．４とすると、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇの関係は満たされることが分かる。しかしながら、ＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ及びＢＢ＿ｎｅｗ＞ＢＢ＿ｏｒｇという関係も同時に満たしてしまう。これは、Ｋbを変化させないと、ＢＩとＢＢの比は変わらず、Ｐピクチャのビット量が減少した分は、ＢＩ＿ｎｅｗ及びＢＢ＿ｎｅｗの両方の増大に寄与してしまうからである。これでは、Ｐピクチャのビット量を減少させても、この一部のビットはＢピクチャの増大に割り当てられてしまい、Ｉピクチャには割り当てられないため、画質が向上する効果は半減してしまう。
【０１３９】
従って、ＢＢを現状のまま保持し、ＢＩを増大させるため、その比を規定するＫbを相対的に大きくしなければいけない。
【０１４０】
また、式（１）から、Ｋp及びＫbの値の両方とも式（１１）で規定されている値よりも大きな値を設定することで、Ｔiを増大させ、Ｉピクチャの画質を増大させることができる。しかしながら、削減する符号量（ビットレート）はＰピクチャのみであり、Ｂピクチャの符号量（ビットレート）を削減することは、さらなる画質の劣化や、バッファのアンダーフローに繋がる恐れがある。
【０１４１】
そこで、Ｋp＞１．０，Ｋb＞１．４とすることでＩピクチャに割り当てる符号量（ターゲットビット）を増大させることができる。さらに、式（３）に示すように、Ｋb／Ｋp＝１．４に保つことにより、Ｂピクチャに割り当てられる符号量（ターゲットビット）をそのままに保つことができる。
【０１４２】
以上述べたことから、Ｋp及びＫbは、次の式（８）で表されるように設定されればよい。
【０１４３】
【数４０】
【０１４４】
例えば、Ｋp＝１．５，Ｋb＝２．１と設定することにより、Ｉピクチャにおいて２〜３ｄＢ程度の画質の向上を図ることができる。これによって、上述したフラッシュ現象が防がれ、また、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質を向上することもできる。
【０１４５】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１４６】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１４７】
さらに、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１４８】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２において設定される目標符号量（ターゲットビット）の調整を行うことで、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１４９】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２の制御パラメータであるＫp，Ｋbを調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１５０】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１５１】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【０１５２】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図１０に示す。
【０１５３】
なお、この画像情報変換装置２０を説明するにあたり、上記第１の実施の形態である画像情報変換装置１と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１５４】
量子化行列切替装置８は、図１０に示すように、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列から、インターマクロブロック用の量子化行列に切り替える。
【０１５５】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【０１５６】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１５７】
画像情報変換装置２０は、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、加算器３０と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２と、動き補償誤差補正装置４０とを備える。
【０１５８】
加算器３０は、逆量子化装置５と帯域制限装置６との間に設けられる。この加算器３０は、逆量子化装置５が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置４０により生成された動き補償誤差補正係数を減算する。
【０１５９】
動き補償誤差補正装置４０は、逆量子化装置５により逆量子化した離散コサイン変換係数を、量子化装置９により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１６０】
次に、動き補償誤差が生じる原因について説明する。
【０１６１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ1とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ2とする。そして、これら量子化幅Ｑ1及び量子化幅Ｑ2で復号された参照画像の画素値を、それぞれＬ（Ｑ1），Ｌ（Ｑ2）とする。
【０１６２】
インターマクロブロックの画素は、符号化時において、例えば図９に示した画像情報変換装置２０の加算器３０により差分値“Ｏ−Ｌ（Ｑ1）”が計算され、この差分値“Ｏ−Ｌ（Ｑ1）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ1）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ1）”から動き補償により生成された参照画像“Ｌ（Ｑ1）”が減算され、原画像の画素値Ｏが復号される。
【０１６３】
一方、インターマクロブロックの画素は、図１に示した画像情報変換装置１による符号量（ビットレート）の削減時において、逆量子化装置５及び量子化装置９により差分値“Ｏ−Ｌ（Ｑ1）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ2）”が量子化幅Ｑ2で符号化されたものと見なされて復号される。
【０１６４】
ここで、画像情報変換装置１において量子化幅を変えて符号量を削減していることからＱ1＝Ｑ2は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１６５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１６６】
この第２の実施の形態である画像情報圧縮装置４０の動き補償誤差補正装置４０では、動き補償誤差補正係数を生成し、逆量子化装置５により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１６７】
続いて、この動き補償誤差補正装置４０について説明する。
【０１６８】
動き補償誤差補正装置４０は、逆量子化装置４１と、加算器４２と、逆離散コサイン変換装置４３と、ビデオメモリ４４と、動き補償予測装置４５と、離散コサイン変換装置４６とを備える。
【０１６９】
逆量子化装置４１は、量子化装置９により再量子化された離散コサイン変換係数を、上記量子化装置９で用いられた量子化行列に基づき逆量子化する。逆量子化装置４１により逆量子化された離散コサイン変換係数は、加算器４２に供給される。
【０１７０】
加算器４２は、逆量子化装置４１により逆量子化された離散コサイン変換係数から、加算器３０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置４３に供給する。
【０１７１】
逆離散コサイン変換装置４３は、加算器４２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ４４に格納される。
【０１７２】
動き補償予測装置４５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ４４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置４６に供給される。
【０１７３】
離散コサイン変換装置４６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器３０に供給される。
【０１７４】
そして、この加算器３０において、逆量子化装置５により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１７５】
以上のように構成された本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置２０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１７６】
なお、上記動き補償誤差補正装置４０の逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１７７】
また、逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、帯域制限装置６において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１７８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ４４の容量を削減することも可能となる。
【０１７９】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１８０】
また、本発明を適用した第２の実施の形態である画像情報変換装置２０では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１８１】
さらに、本発明を適用した第２の実施の形態である画像情報変換装置２０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１８２】
なお、上述した画像情報変換装置２０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１８３】
また、上述した画像情報変換装置１及び画像情報変換装置２０では、量子化行列切替装置８が用いられているが、この量子化行列切替装置８を用いなくてもよい。この場合において、量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、符号量制御装置１２から供給される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅に基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【０１８４】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することにより、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置において、Ｉピクチャにおける再量子化に伴う画質劣化を低減して、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１８５】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号量制御手段の制御パラメータであるＫp，Ｋbの値を調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図３】第１の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図４】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図５】第１の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図６】擬似ＧＯＰの構成を説明する図である。
【図７】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】高解像度画像テストシーケンスを、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて符号化した時に、各フレームに割り当てられる符号量を表す図である。
【図１０】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１１】従来の画像情報変換装置のブロック構成図である。
【図１２】従来の画像情報変換装置のブロック構成図である。
【図１３】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１４】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１５】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図１６】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１７】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 符号バッファ、３ 圧縮情報解析装置、４ 可変長復号化装置、５ 逆量子化装置、６ 帯域制限装置、７ 情報バッファ、８ 量子化行列切替装置、９ 量子化装置、１０ 可変長符号化装置、１１ 符号バッファ、１２ 符号量制御装置
【発明の属する技術分野】
本発明は、圧縮された画像情報のビットレートを変換する画像情報変換装置及び画像情報変換方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、そのデジタルデータに対して画像情報特有の冗長性を利用した直交変換と動き補償により圧縮を行い、衛星放送やケーブルテレビジョン等のネットワークメディアへ伝送や、光ディスクや磁気ディスク等のストレージメディアへの記録を行う装置が普及している。このような装置では、一般に、画像圧縮方式に、離散コサイン変換を用いたＭＰＥＧ−２（Moving Picture Experts Group phase - 2）が用いられている。
【０００３】
また、近年、このＭＰＥＧ−２等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。
【０００４】
ところで、この高解像度画像の画像情報は膨大であり、ＭＰＥＧ−２等の符号化方式を用いて圧縮しても、十分な画質を得るためには多くの符号量（ビットレート）が必要となる。例えば、画枠が１９２０画素×１０８０画素の３０Ｈｚの飛び越し走査画像の場合には、１８〜２２Ｍｂｐｓ程度或いはそれ以上の符号量を必要とする。
【０００５】
そのため、例えば衛星放送やケーブルテレビジョン等のネットワークメディアへこのような高解像度画像を伝送する場合には、伝送経路のバンド幅に合わせて更に符号量の削減をしなければならない。同様に、光ディスクや磁気ディスク等のストレージメディアへこのような高解像度画像を記録する場合にも、メディアの記録容量に合わせて、更に符号量の削減をしなければならない。また、このような符号量の削減の必要性は、高解像度画像のみならず、標準解像度画像（例えば画枠が７２０画素×４８０画素の３０Ｈｚの飛び越し走査画像等）でも生じることが考えられる。
【０００６】
かかる問題を解決する手段としては、階層符号化（スケーラビリティ）、又は画像情報変換（トランスコーディング）等がある。ＭＰＥＧ−２では、前者について、ＳＮＲスケーラビリティが標準化されており、これを用いて、高ＳＮＲの画像圧縮情報（ビットストリーム）と低ＳＮＲの画像圧縮情報（ビットストリーム）を階層的に符号化している。しかしながら、階層符号化を行うためには、符号化の時点で、バンド幅又は記憶容量等の所定の値が既知である必要があるが、実際のシステムにおいては、未知であることが多い。従って、後者の方が、実際のシステムに則した、より自由度の高い方式であると言える。
【０００７】
そして、この後者の画像情報変換（トランスコーディング）を用いた従来の画像情報変換装置（トランスコーダ）では、入力となる画像圧縮情報（ビットストリーム）を復号又は部分復号する復号化部と、この復号化部の出力を再符号化する符号化部とが並列接続され、空間領域又は周波数領域の２つの領域で画像情報が復号化部から符号化部へ供給されている。
【０００８】
前者の空間領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、演算処理量は大きいが、出力となる画像圧縮情報（ビットストリーム）の復号化画像の劣化を抑えることが可能で、主として放送用機器等のアプリケーションに用いられている。一方、後者の周波数領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、前者の画像情報変換装置に比べて、若干の画質劣化を引き起こすものの、より少ない演算処理量での実現が可能で、主として民生用機器のアプリケーションに用いられている。
【０００９】
つぎに、これら空間領域又は周波数領域のそれぞれの領域で用いられる従来の画像情報変換装置について、図面を参照しながら説明する。
【００１０】
最初に、空間領域で用いられる従来の画像情報変換装置について説明する。この空間領域で用いられる従来の画像情報変換装置を図１１に示す。
【００１１】
従来の画像情報変換装置１００は、この図１１に示すように、画像情報復号装置１０１と、付加情報バッファ１０２と、画像情報符号化装置１０３とを備える。
【００１２】
この従来の画像情報変換装置１００は、一般に画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置１０１から画像情報符号化装置１０３への画像情報の供給を、空間領域で行う。
【００１３】
まず、従来の画像情報変換装置１００では、画像情報復号装置１０１は、高ビットレートの画像圧縮情報が入力される。この画像情報復号装置１０１は、高ビットレートの画像圧縮情報を一旦完全に復号し、ベースバンドのビデオデータを出力する。これと同時的に、付加情報バッファ１０２は、画像情報復号装置１０１が復号化の際に用いた情報（以下、付加情報という。）を当該画像情報復号装置１０１から供給され、この供給された付加情報を記憶する。
【００１４】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００１５】
そして、画像情報符号化装置１０２は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ１０２から取得した付加情報とに基づいて、符号化処理を行う。即ち、画像情報符号化装置１０３は、この目標符号量と付加情報とに基づいて、画像情報復号装置１０１の出力として得られるベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。このように、画像情報符号化装置１０３は、付加情報バッファ１０２に記憶された付加情報を利用することにより、再符号化に伴う演算処理量の増大や画質劣化等を低減することができる。
【００１６】
例えば、一般的に画像情報を符号化する場合には、動きベクトル探索に多大なる演算処理量を要するが、従来の画像情報変換装置１００では、付加情報バッファ１０２に記憶された各マクロブロック毎の動きベクトル及び予測モードを用いることにより、動きベクトル探索を行うことなく符号化処理を行うことができる。
【００１７】
つぎに、周波数領域で用いられる従来の画像情報変換装置について説明する。この周波数領域で用いられる従来の画像情報変換装置を図１２に示す。
【００１８】
従来の画像情報変換装置１１０は、この図１２に示すように、符号バッファ１１１と、圧縮情報解析装置１１２と、可変長復号化装置１１３と、逆量子化装置１１４と、帯域制限装置１１５と、量子化装置１１６と、情報バッファ１１７と、可変長符号化装置１１８と、符号バッファ１１９と、符号量制御装置１２０とを備える。
【００１９】
符号バッファ１１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１１２に供給する。
【００２０】
圧縮情報解析装置１１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報（以下、解析結果情報という。）を抽出し、この抽出した解析結果情報を可変長復号化装置１１３及び情報バッファ１１７に供給する。この圧縮情報解析装置１１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２０における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１１７に供給する。
【００２１】
可変長復号化装置１１３は、圧縮情報解析装置１１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１１３は、圧縮情報解析装置１１２により抽出された解析結果情報に含まれる走査方式（ジグザグスキャン若しくはオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１１４に供給する。
【００２２】
逆量子化装置１１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１１５に供給する。
【００２３】
帯域制限装置１１５は、逆量子化装置１１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。そして、帯域制限装置１１５は、この帯域制限を行った離散コサイン変換係数を、量子化装置１１６に供給する。
【００２４】
量子化装置１１６は、帯域制限装置１１５から供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。
【００２５】
情報バッファ１１７は、圧縮情報解析装置１１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１１７は、この記憶した解析結果情報を、符号量制御装置１２０に供給する。
【００２６】
可変長符号化装置１１８は、量子化装置１１６から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１９に供給する。
【００２７】
符号バッファ１１９は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１９では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１９は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２０に供給する。
【００２８】
符号量制御装置１２０は、可変長符号化装置１１８により可変長符号化された後の画像圧縮情報が符号バッファ１１９においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１１７から取得する解析結果情報とに基づいて、量子化装置１１６において用いられる量子化行列の量子化幅の制御を行う。
【００２９】
以上のように構成された画像情報変換装置１１０では、逆量子化装置１１４は、可変長復号化装置１１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１１５に供給する。そして、量子化装置１１６は、逆量子化装置１１４から帯域制限装置１１５を介して供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１９から出力される。
【００３０】
【発明が解決しようとする課題】
ところで、ＣＣＩＲ（International Radio Consultative Committee）テストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に準拠したＭＰＥＧ−２対応の画像情報符号化装置（以下、ＭＰＥＧ−２画像情報符号化装置という。）によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号の信号雑音比（以下、ｐＳＮＲという。）の各フレーム毎の遷移を、図１３に示す。
【００３１】
ここで、符号化の条件は、ビットレートが６Ｍｂｐｓで、ＧＯＰ（Group of Pictures）の構成が、Ｎ＝１５，Ｍ＝３である。なお、上記Ｎは、ＧＯＰ内のピクチャ枚数であり、上記Ｍは、Ｉピクチャ又はＰピクチャが現れる周期である。
【００３２】
このとき、各フレーム毎の原画像との平均二乗誤差をＭＳＥとすれば、ｐＳＮＲは、次式（９）で表される。
【００３３】
【数１９】
そして、図１３では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図１４に示す。
【００３６】
この図１４では、図１３の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図１５（ａ）、図１５（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図１４に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図１５（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図１５（ｃ）の量子化行列が一般に用いられる。また、図１３，図１４，図１６，図１７に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図１５（ａ）、図１５（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１１若しくは図１２に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図１６及び図１７に示す。
【００４０】
図１６に示す結果は、図１１における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図１７に示す結果は、図１２における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図１３に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（１０）で表される。
【００４２】
【数２０】
ここで、図１６及び図１７における画質の傾向としては、上述した図１４に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図１４に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図１６及び図１７に示した実験においても、イントラマクロブロックは、図１５（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図１６及び図１７においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記逆量子化手段により逆量子化された上記第１の画像圧縮情報の直交変換係数を上記量子化行列切替手段により与えられる量子化行列を用いて再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１のビットレートの第１の画像圧縮情報を入力し、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２とを備える。
【００５８】
符号バッファ２は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２は、蓄積された画像圧縮情報を、圧縮情報解析装置３に供給する。
【００５９】
圧縮情報解析装置３は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ２から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置４及び情報バッファ７に供給する。この圧縮情報解析装置３は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ７に供給する。
【００６０】
可変長復号化装置４は、圧縮情報解析装置３から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置４は、圧縮情報解析装置３により抽出された解析結果情報に含まれる走査方式（図２（ａ）に示すジグザグスキャン若しくは図２（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置４は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置５に供給する。
【００６１】
逆量子化装置５は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置５は、この逆量子化された離散コサイン変換係数を、帯域制限装置６に供給する。
【００６２】
帯域制限装置６は、逆量子化装置５から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００６３】
図３に、帯域制限装置６における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置６は、輝度信号に関しては、図３（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置６は、色差信号に関しては、図３（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００６４】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置６では、垂直方向の帯域制限は行わない。
【００６５】
さらに、この帯域制限装置６では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置６では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００６６】
さらにまた、帯域制限装置６における水平方向の離散コサイン変換係数の帯域制限処理は、この図３に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００６７】
帯域制限装置６は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置９に供給する。
【００６８】
情報バッファ７は、圧縮情報解析装置３から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ７は、この記憶した解析結果情報を、量子化行列切替装置８及び符号量制御装置１２に供給する。
【００６９】
量子化行列切替装置８は、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００７０】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【００７１】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００７２】
量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、以下に説明するような符号量制御装置１２により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【００７３】
可変長符号化装置１０は、量子化装置９から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１に供給する。
【００７４】
符号バッファ１１は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２に供給する。
【００７５】
符号量制御装置１２は、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【００７６】
以上のように構成された画像情報変換装置１では、逆量子化装置５は、可変長復号化装置４から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置６に供給する。そして、量子化装置９は、逆量子化装置５から帯域制限装置６を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置８から供給された量子化行列と、符号量制御装置１２により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１から出力される。
【００７７】
つぎに、符号量制御装置１２における処理について、詳しく説明する。
【００７８】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【００７９】
このように、本発明を適用した実施の形態である画像情報変換装置１も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【００８０】
しかしながら、この手法を、図１に示した画像情報変換装置１の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【００８１】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図１に示した画像情報変換装置１では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【００８２】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図１に示した画像情報変換装置１では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【００８３】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【００８４】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置１２における一連の処理の流れを、図５に示すフローチャートに従って説明する。
【００８５】
まず、図５のステップＳ１において、情報バッファ７は、図６に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【００８６】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１では、まず、圧縮情報解析装置３に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図６に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図６に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【００８７】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【００８８】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ1，Ｂ2，Ｐ1，Ｂ3，Ｂ4，Ｉ1，Ｂ5，Ｂ6，・・・，ＰL，ＢM-1，ＢM］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（６）で表される。
【００８９】
【数２３】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔi，Ｔp，Ｔbは、それぞれ次の式（１）、式（２）、式（３）により算出される。
【００９１】
【数２４】
【数２５】
【数２６】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（４）、式（５）を用いて表される。
【００９５】
【数２７】
【数２８】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置３でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（７）により表される。
【００９８】
【数２９】
さらに、Ｋp及びＫbは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１１）により表される。
【０１００】
【数３０】
そして、Ｋp及びＫbが上記式（１１）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１０２】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔi，Ｔp，Ｔb）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１０３】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１２）、式（１３）、式（１４）により表される。
【０１０４】
【数３１】
【数３２】
【数３３】
但し、これらの式（１２）〜式（１４）で示した“ｄ0 i”，“ｄ0 p”，“ｄ0 b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂj”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_cnt b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）として用いられる。
【０１０８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１５）により表される。
【０１０９】
【数３４】
但し、この式（１５）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１６）により与えられる。
【０１１１】
【数３５】
なお、符号化開始時における仮想バッファの初期値は、次の式（１７）で与えられる。
【０１１３】
【数３６】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置３では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ７に格納される。これと同時に、圧縮情報解析装置３では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ７に格納される。
【０１１５】
また、符号量制御装置１２では、正規化アクティビティＮ＿ａｃｔは、情報バッファ７に格納されたＱ，Ｂの情報に基づいて、次の式（１８）、式（１９）、式（２０）の内のいずれかの式によって表される。
【０１１６】
【数３７】
【数３８】
【数３９】
このうち、式（１９）と式（２０）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１８）の方がより高画質となるが、主観画質は、式（１９）又は式（２０）で表されるものの方が良い。
【０１２０】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置１２において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１２１】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１２２】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置９から可変長符号化装置１０に供給される。
【０１２３】
可変長符号化装置１０は、量子化装置９から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１０は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１２４】
そして、量子化装置９は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１２５】
なお、可変長符号化装置１０は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１２６】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図７（ａ）に示すようになっていたとする。図７において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図７（ｂ）に示すようになる。この図７（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図２（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図２（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１２７】
そして、可変長符号化装置１０により可変長符号化された離散コサイン変換係数は符号バッファ１１に供給され、この符号バッファ１１に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１２８】
また、符号量制御装置１２は、上述したように、可変長符号化装置１０により可変長符号化された後の画像圧縮情報が符号バッファ１１においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ７から取得する解析結果情報とに基づいて、量子化装置９において用いられる量子化行列の量子化幅の制御を行う。
【０１２９】
その際、符号量制御のパラメータであるＫp，Ｋbを後述する方法によって設定することにより、Ｂピクチャに割り当てられる符号量（ビット）を削減することなく、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャにより多くの符号量（ビット）が割り当てることができ、Ｉピクチャの画質が向上され、これを参照するＰピクチャ及びＢピクチャの画質も向上される。
【０１３０】
ここで、符号量制御装置１２において、目標符号量（ターゲットビット）の調整を行う場合に、Ｐピクチャの目標符号量（ターゲットビット）のみを減らし、Ｂピクチャの目標符号量（ターゲットビット）は減らさないようにしなければならない理由について説明する。
【０１３１】
まず第一の理由は、図８に示すように、量子化行列を切り替えることによって減らされているのはＰピクチャの符号量（ビット）のみであって、Ｂピクチャに関しては殆ど変化がないからである。
【０１３２】
そして、第二の理由を説明するために、高解像度画像テストシーケンス「並木道」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて１２Ｍｂｐｓで符号化した時に、各フレームに割り当てられる符号量（ビット）を表した図を、図９に示す。
【０１３３】
ＭＰＥＧ−２では、動きベクトルは、前マクロブロックとの差分値が可変長符号化される。また、Ｂピクチャには、双方向予測モードが含まれる。これらのことから、画面全体に渡って動きが一様ではない画像（例えばカメラがパンしている画像）の場合、又は原画像に雑音が含まれ、これに動きベクトル値が影響を受ける場合等には、ヘッダ部に多くの符号量（ビット）が割り当てられ、離散コサイン変換係数に割り当てられる符号量（ビット）はその分少なくなる。このため、低い符号量（低ビットレート）での符号化を行う場合には、図９に示すように、Ｂピクチャにおける離散コサイン変換係数の符号量が極端に低いものとなることもある。これに対して、さらにＢピクチャの目標符号量（ターゲットビット）を低くすることは、画質劣化のみならず、バッファのアンダーフローも引き起こすことになりかねない。これらのことが第二の理由である。
【０１３４】
つぎに、符号量制御装置１２において用いられる符号量制御のパラメータであるＫp，Ｋbの設定方法について説明する。
【０１３５】
上述したように、Ｔｅｓｔ Ｍｏｄｅｌ ５では、符号量制御のパラメータとして、Ｉピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率Ｋp，Ｋbが規定されている。そして、一般の画像情報変換装置では、Ｋp及びＫbが式（１１）により表される値のときに、常に全体の画質が最適化されると仮定されており、このＫp及びＫbの値が、画像情報変換装置１においても用いられている。従って、この２つのパラメータであるＫp及びＫbの設定を変えることで、Ｐピクチャに割り当てられる符号量（ビット）を削減し、その分Ｉピクチャに対して余計に符号量（ビット）を割り当てることができる。
【０１３６】
ここで、符号量制御装置１２において、Ｋp及びＫbの値が式（１１）により表される値の場合、Ｉピクチャ，Ｐピクチャ及びＢピクチャのそれぞれに割り当てられるビット量を、ＢＩ＿ｏｒｇ，ＢＰ＿ｏｒｇ，ＢＢ＿ｏｒｇとする。また、Ｋp及びＫbの値を調整した後のビット量を、ＢＩ＿ｎｅｗ，ＢＰ＿ｎｅｗ，ＢＢ＿ｎｅｗとする。
【０１３７】
そして、これらのＫp及びＫbの値を調整する前後において、Ｉピクチャに対する割り当てビット量を増加させることをＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇとし、Ｐピクチャに対する割り当てビット量を減少させることをＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇとし、Ｂピクチャに対する割り当てビット量を現状維持させることをＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇとし、これらのＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇ、ＢＢ＿ｎｅｗ＝ＢＢ＿ｏｒｇの関係が満たされるときに、画質が向上するとする。
【０１３８】
まず、例えば、Ｋpを１．０より少し大きな値である１．５とし、Ｋbを１．４とすると、ＢＰ＿ｎｅｗ＜ＢＰ＿ｏｒｇの関係は満たされることが分かる。しかしながら、ＢＩ＿ｎｅｗ＞ＢＩ＿ｏｒｇ及びＢＢ＿ｎｅｗ＞ＢＢ＿ｏｒｇという関係も同時に満たしてしまう。これは、Ｋbを変化させないと、ＢＩとＢＢの比は変わらず、Ｐピクチャのビット量が減少した分は、ＢＩ＿ｎｅｗ及びＢＢ＿ｎｅｗの両方の増大に寄与してしまうからである。これでは、Ｐピクチャのビット量を減少させても、この一部のビットはＢピクチャの増大に割り当てられてしまい、Ｉピクチャには割り当てられないため、画質が向上する効果は半減してしまう。
【０１３９】
従って、ＢＢを現状のまま保持し、ＢＩを増大させるため、その比を規定するＫbを相対的に大きくしなければいけない。
【０１４０】
また、式（１）から、Ｋp及びＫbの値の両方とも式（１１）で規定されている値よりも大きな値を設定することで、Ｔiを増大させ、Ｉピクチャの画質を増大させることができる。しかしながら、削減する符号量（ビットレート）はＰピクチャのみであり、Ｂピクチャの符号量（ビットレート）を削減することは、さらなる画質の劣化や、バッファのアンダーフローに繋がる恐れがある。
【０１４１】
そこで、Ｋp＞１．０，Ｋb＞１．４とすることでＩピクチャに割り当てる符号量（ターゲットビット）を増大させることができる。さらに、式（３）に示すように、Ｋb／Ｋp＝１．４に保つことにより、Ｂピクチャに割り当てられる符号量（ターゲットビット）をそのままに保つことができる。
【０１４２】
以上述べたことから、Ｋp及びＫbは、次の式（８）で表されるように設定されればよい。
【０１４３】
【数４０】
例えば、Ｋp＝１．５，Ｋb＝２．１と設定することにより、Ｉピクチャにおいて２〜３ｄＢ程度の画質の向上を図ることができる。これによって、上述したフラッシュ現象が防がれ、また、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質を向上することもできる。
【０１４５】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１４６】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１４７】
さらに、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１４８】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２において設定される目標符号量（ターゲットビット）の調整を行うことで、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１４９】
さらにまた、本発明を適用した第１の実施の形態である画像情報変換装置１では、符号量制御装置１２の制御パラメータであるＫp，Ｋbを調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１５０】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１５１】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【０１５２】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図１０に示す。
【０１５３】
なお、この画像情報変換装置２０を説明するにあたり、上記第１の実施の形態である画像情報変換装置１と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１５４】
量子化行列切替装置８は、図１０に示すように、情報バッファ７から取得した解析結果情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列から、インターマクロブロック用の量子化行列に切り替える。
【０１５５】
具体的には、量子化行列切替装置８は、情報バッファ７に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ７から取得する。そして、量子化行列切替装置８は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置８は、この切り替えたインターマクロブロック用の量子化行列を量子化装置９に供給する。
【０１５６】
但し、量子化行列切替装置８は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図４に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置９に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１５７】
画像情報変換装置２０は、符号バッファ２と、圧縮情報解析装置３と、可変長復号化装置４と、逆量子化装置５と、加算器３０と、帯域制限装置６と、情報バッファ７と、量子化行列切替装置８と、量子化装置９と、可変長符号化装置１０と、符号バッファ１１と、符号量制御装置１２と、動き補償誤差補正装置４０とを備える。
【０１５８】
加算器３０は、逆量子化装置５と帯域制限装置６との間に設けられる。この加算器３０は、逆量子化装置５が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置４０により生成された動き補償誤差補正係数を減算する。
【０１５９】
動き補償誤差補正装置４０は、逆量子化装置５により逆量子化した離散コサイン変換係数を、量子化装置９により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１６０】
次に、動き補償誤差が生じる原因について説明する。
【０１６１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ1とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ2とする。そして、これら量子化幅Ｑ1及び量子化幅Ｑ2で復号された参照画像の画素値を、それぞれＬ（Ｑ1），Ｌ（Ｑ2）とする。
【０１６２】
インターマクロブロックの画素は、符号化時において、例えば図９に示した画像情報変換装置２０の加算器３０により差分値“Ｏ−Ｌ（Ｑ1）”が計算され、この差分値“Ｏ−Ｌ（Ｑ1）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ1）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ1）”から動き補償により生成された参照画像“Ｌ（Ｑ1）”が減算され、原画像の画素値Ｏが復号される。
【０１６３】
一方、インターマクロブロックの画素は、図１に示した画像情報変換装置１による符号量（ビットレート）の削減時において、逆量子化装置５及び量子化装置９により差分値“Ｏ−Ｌ（Ｑ1）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ2）”が量子化幅Ｑ2で符号化されたものと見なされて復号される。
【０１６４】
ここで、画像情報変換装置１において量子化幅を変えて符号量を削減していることからＱ1＝Ｑ2は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１６５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１６６】
この第２の実施の形態である画像情報圧縮装置４０の動き補償誤差補正装置４０では、動き補償誤差補正係数を生成し、逆量子化装置５により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１６７】
続いて、この動き補償誤差補正装置４０について説明する。
【０１６８】
動き補償誤差補正装置４０は、逆量子化装置４１と、加算器４２と、逆離散コサイン変換装置４３と、ビデオメモリ４４と、動き補償予測装置４５と、離散コサイン変換装置４６とを備える。
【０１６９】
逆量子化装置４１は、量子化装置９により再量子化された離散コサイン変換係数を、上記量子化装置９で用いられた量子化行列に基づき逆量子化する。逆量子化装置４１により逆量子化された離散コサイン変換係数は、加算器４２に供給される。
【０１７０】
加算器４２は、逆量子化装置４１により逆量子化された離散コサイン変換係数から、加算器３０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置４３に供給する。
【０１７１】
逆離散コサイン変換装置４３は、加算器４２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ４４に格納される。
【０１７２】
動き補償予測装置４５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ４４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置４６に供給される。
【０１７３】
離散コサイン変換装置４６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器３０に供給される。
【０１７４】
そして、この加算器３０において、逆量子化装置５により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１７５】
以上のように構成された本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置２０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１７６】
なお、上記動き補償誤差補正装置４０の逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１７７】
また、逆離散コサイン変換装置４３及び離散コサイン変換装置４６では、帯域制限装置６において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１７８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ４４の容量を削減することも可能となる。
【０１７９】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置２０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１８０】
また、本発明を適用した第２の実施の形態である画像情報変換装置２０では、量子化装置９において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１８１】
さらに、本発明を適用した第２の実施の形態である画像情報変換装置２０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置８は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１８２】
なお、上述した画像情報変換装置２０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１８３】
また、上述した画像情報変換装置１及び画像情報変換装置２０では、量子化行列切替装置８が用いられているが、この量子化行列切替装置８を用いなくてもよい。この場合において、量子化装置９は、帯域制限装置６から供給された８×８離散コサイン変換係数を、符号量制御装置１２から供給される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅に基づいて、量子化を行う。そして、量子化装置９は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１０に供給する。
【０１８４】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することにより、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置において、Ｉピクチャにおける再量子化に伴う画質劣化を低減して、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【０１８５】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号量制御手段の制御パラメータであるＫp，Ｋbの値を調整することにより、Ｉピクチャの画質を向上させてフラッシュ現象を防止するとともに、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図３】第１の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図４】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図５】第１の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図６】擬似ＧＯＰの構成を説明する図である。
【図７】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】高解像度画像テストシーケンスを、Ｔｅｓｔ Ｍｏｄｅｌ ５に基づく画像情報変換装置を用いて符号化した時に、各フレームに割り当てられる符号量を表す図である。
【図１０】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１１】従来の画像情報変換装置のブロック構成図である。
【図１２】従来の画像情報変換装置のブロック構成図である。
【図１３】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１４】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１５】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図１６】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１７】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 符号バッファ、３ 圧縮情報解析装置、４ 可変長復号化装置、５ 逆量子化装置、６ 帯域制限装置、７ 情報バッファ、８ 量子化行列切替装置、９ 量子化装置、１０ 可変長符号化装置、１１ 符号バッファ、１２ 符号量制御装置
Claims (6)
- フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、
入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、
上記逆量子化手段により逆量子化された上記第１の画像圧縮情報の直交変換係数を上記量子化行列切替手段により与えられる量子化行列を用いて再量子化する量子化手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段と
を備え、
上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを量子化することを特徴とする画像情報変換装置。 - 上記所定の目標符号量は、下記の式（８）により表されるＫp及びＫbに基づいて定められることを特徴とする請求項１記載の記録再生装置。
- 上記所定の目標符号量は、下記の式（１）〜式（８）により得られるＩピクチャの目標符号量とＰピクチャの目標符号量とＢピクチャの目標符号量とからなることを特徴とする請求項２記載の記録再生装置。
- フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、
上記第１のビットレートの第１の画像圧縮情報を入力し、
入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、
上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、 上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、
上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、
切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成する
ことを特徴とする画像情報変換方法。 - 上記所定の目標符号量は、下記の式（８）により表されるＫp及びＫbに基づいて定められることを特徴とする請求項４記載の記録再生方法。
- 上記所定の目標符号量は、下記の式（１）〜式（８）により得られるＩピクチャの目標符号量とＰピクチャの目標符号量とＢピクチャの目標符号量とからなることを特徴とする請求項５記載の記録再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32877799A JP4292658B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32877799A JP4292658B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001148855A JP2001148855A (ja) | 2001-05-29 |
| JP2001148855A5 JP2001148855A5 (ja) | 2006-05-18 |
| JP4292658B2 true JP4292658B2 (ja) | 2009-07-08 |
Family
ID=18214023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32877799A Expired - Fee Related JP4292658B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4292658B2 (ja) |
-
1999
- 1999-11-18 JP JP32877799A patent/JP4292658B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001148855A (ja) | 2001-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
| US6658157B1 (en) | Method and apparatus for converting image information | |
| US7170938B1 (en) | Rate control method for video transcoding | |
| KR100934290B1 (ko) | 엠피이지-2 4:2:2-프로파일 비트스트림을 메인-프로파일비트스트림으로 컨버팅 하기 위한 방법 및 아키텍처 | |
| US7301999B2 (en) | Quantization method and system for video MPEG applications and computer program product therefor | |
| JP4334768B2 (ja) | 圧縮映像のブリージングアーチファクトを低減する方法および装置 | |
| US8300688B2 (en) | Method for video transcoding with adaptive frame rate control | |
| US8325797B2 (en) | System and method of reduced-temporal-resolution update for video coding and quality control | |
| EP1549074A1 (en) | A bit-rate control method and device combined with rate-distortion optimization | |
| JP2006521771A (ja) | ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー | |
| US5974185A (en) | Methods and apparatus for encoding video data using motion vectors for decoding by regular or downconverting decoders | |
| US20090207907A1 (en) | Image processing device, method, and program | |
| JP2007312411A (ja) | ビデオ伝送におけるビットストリーム間の切換 | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| KR20010021879A (ko) | 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법 | |
| JP2004201298A (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| JP2002209215A (ja) | 符号量制御装置及び方法、並びに画像情報変換装置及び方法 | |
| JP2004289796A (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| JP2006191253A (ja) | レート変換方法及びレート変換装置 | |
| JP2003520513A (ja) | 画像データの圧縮 | |
| US9071844B2 (en) | Motion estimation with motion vector penalty | |
| US20070076803A1 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| JP2000236547A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |