JP2001128175A

JP2001128175A - 画像情報変換装置及び方法、並びに記録媒体

Info

Publication number: JP2001128175A
Application number: JP30495099A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤; Hisafumi Yanagihara; 尚史柳原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-10-27
Filing date: 1999-10-27
Publication date: 2001-05-11

Abstract

(57)【要約】【課題】伝送経路のバンド幅や記憶容量などに応じて
画像圧縮情報の符号量の更なる削減を行う。【解決手段】高ビットレートの画像圧縮情報を符号バ
ッファ１に取り込み、この画像圧縮情報を圧縮情報解析
装置２で解析し、可変長復号装置４で復号し、逆量子化
装置５で逆量子化してから、帯域制限装置７で帯域制限
を行って符号量を更に削減した後に、量子化装置８によ
り再量子化し、可変長符号化装置１１で再符号化し、符
号バッファ１０から低ビットレートの画像圧縮情報とし
て出力する。目標符号量算出器５４は、ヘッダ符号量バ
ッファ５２に格納された各フレームのヘッダ部の符号量
と、コンプレクシティ算出器５３で算出されたコンプレ
クシティに基づいて、目標符号量を設定し、量子化装置
８を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像情報変換装置及
び方法、並びに記録媒体に関し、特に、MPEG（Moving
Picture Experts Group）などの様に、離散コサイン
変換等の直交変換によって圧縮された画像圧縮情報（ビ
ットストリーム）を、衛星放送，ケーブルテレビジョ
ン，インターネットなどのネットワークメディアを介し
て伝送する際、あるいは光ディスク，磁気ディスクのよ
うな記億メディア上で処理する際に、更に圧縮してデー
タの符号量を削減する画像情報変換装置及び方法、並び
に記録媒体に関する。

【０００２】

【従来の技術】近年、画像情報をデジタルデータとして
取り扱い、その際、効率の高い情報の伝送，蓄積を目的
とし、画像情報特有の冗長性を利用して、離散コサイン
変換等の直交変換と動き補償とにより画像情報を圧縮す
るMPEGなどの方式に準拠した装置が、放送局などの情報
配信や一般家庭における情報受信の双方において普及し
つつある。

【０００３】特に、MPEG-2(ISO/IEC13818-2)は、汎用画
像符号化方式として定義されており、飛び越し走査画像
及び順次走査画像の双方、並びに標準解像度画像及び高
精細画像を網羅する標準となっており、プロフェッショ
ナル用途及びコンシユーマ用途の広範なアプリケーショ
ンに今後とも用いられるものと予想される。

【０００４】しかし、MPEG-2圧縮方式等を用いても、良
好な画質を実現するためには、例えば７２０×４８０画
素を持つ標準解像度の飛び越し走査画像であれば、４乃
至８Mbps、１９２０×１０８０画素を持つ高解像度の飛
び越し走査画像であれば１８乃至２２Mbps、の符号量
（ビットレート）を画像情報として割り当てる必要があ
る。

【０００５】ところが、斯かる膨大な符号量の圧縮画像
を、例えば、衛星放送，ケーブルテレビジョンなどのネ
ットワークメディアとして伝送する際には、伝送経路の
バンド幅に合わせて、画質劣化を最小限に抑えながら更
に画像情報を圧縮する必要が生じる。また、光ディス
ク，磁気ディスクのような記憶メディア上で斯かる膨大
な符号量の圧縮画像を処理する際には、記録メディアの
容量に合わせて、画質劣化を最小限に抑えながら更なる
符号量の削減すなわち画像圧縮を行う必要が生じる。

【０００６】このような符号量削減の必要性は、高解像
度画像のみならず、標準解像度画像（例えば画枠が７２
０画素×４８０画素の３０Ｈｚの飛び越し走査画像）
を、上述の様に、ネットワークメディア若しくは記憶メ
ディア上で処理する場合にも生じることが予想される。

【０００７】

【発明が解決しようとする課題】上述した問題を解決す
る手段として、階層符号化（スケーラビリティ）や画像
情報変換（トランスコーディング）が考えられる。前者
に関連しては、MPEG-2ではSNR(Signal Noise Ratio)ス
ケーラビリティが標準化されており、これによって、高
SNRの画像圧縮情報と低SNRの画像圧縮情報を階層的に符
号化することを可能としている。しかしながら、階層符
号化を行うには、符号化の時点でバンド幅若しくは記憶
容量の拘束条件が既知である必要がある。

【０００８】ところが、実際のシステムでは、これらの
拘束条件は未知であることが多く、このため、後者の画
像情報変換（トランスコーディング）の方が、実際のシ
ステムに則したより自由度の高い方式であると言える。
そこで、画像劣化を最小限に抑え、伝送経路のバンド幅
等に応じて更なる画像情報の圧縮を可能にする画像情報
変換方法とこの方法を実行する装置の実現が望まれてい
る。

【０００９】画像情報変換装置では、基本的に、入力さ
れた画像圧縮情報を復号或いは部分復号し、この復号さ
れた画像情報を更に圧縮し（符号量を削減し）て再び符
号化することになるが、復号部から符号化部への情報
（画素データ）の受け渡しを、空間領域で行うか、また
は周波数領域で行うかの２通りの構成が考えられる。

【００１０】前者は、演算処理量は大きいが、出力とな
る圧縮情報の復号画像の劣化を最小限に抑えることが可
能で、主として放送用機器等のアプリケーションに用い
られる。一方、後者は、前者に比ベ、若干の画質劣化を
引き起こすものの、より少ない演算処理量での実現が可
能で、主として民生用機器のアプリケーションに用いら
れる。

【００１１】しかし、いずれの構成においても、画像情
報変換装置は、MPEGやMPEG-2などで画像情報を圧縮する
画像情報符号化装置と類似な装置構成になるが、原画像
の画像情報が入力される画像情報符号化装置に対し、画
像情報変換装置は、画像情報符号化装置によって圧縮さ
れた後の画像圧縮情報を入力とするため、画像情報符号
化装置の装置構成をそのまま適用して構成することがで
きない。例えば、画像情報符号化装置では、予めGOP(Gr
oup of Picture)の構造が与えられるが、画像情報変換
装置では、如何なる構造のGOPが入力されてくるのか予
測できず、入力された画像圧縮情報を解析しなければ分
からないという問題がある。

【００１２】また、画像情報符号化装置では、更なる符
号量の削減を図るために、例えば、文献“Bit-rate con
trol for MPEG encoders”(G.Keesman,I.Shah and R.K
lein-Gunnewiek,Signal Processing Image Communicati
on 6,pp.545-560,1995)により、フレーム符号量を、量
子化幅に依存する離散コサイン変換係数部の符号量と、
量子化幅に依存しないヘッダ部の符号量とに分離して符
号量配分を行う手法が提案されているが、この画像情報
符号化装置の構成をそのまま画像情報変換装置に適用す
ることができないという問題もある。

【００１３】本発明の目的は、入力された画像圧縮情報
のGOPの長さ等の構造が不明であっても画質劣化を最小
限に抑えて更なる符号量の削減を行うことができ、ま
た、伝送経路のバンド幅や記憶容量などに応じて符号量
の削減ができ、更に、演算処理量や回路規模を増大させ
ずに更なる符号量の削減を行うことができる画像情報変
換装置及びその方法、並びに記録媒体を提供することに
ある。

【００１４】

【課題を解決するための手段】請求項１に記載の画像情
報変換装置は、直交変換と動き補償によって符号化され
た画像圧縮情報を取り込み、符号量を更に削減してから
出力する画像情報変換装置において、画像圧縮情報のヘ
ッダ部に割り当てられた符号量を検出する検出手段と、
検出手段により検出された、ヘッダ部に割り当てられた
符号量に基づいて、画像圧縮情報の直交変換係数に割り
当てる符号量を演算する第１の演算手段と、第１の演算
手段により演算された、直交変換係数に割り当てる符号
量に基づいて、目標符号量を演算する第２の演算手段
と、第２の演算手段により演算された目標符号量に基づ
いて、画像圧縮情報の再量子化時の符号量を制御する制
御手段とを備えることを特徴とする。

【００１５】前記直交変換は、離散コサイン変換とする
ことができる。

【００１６】前記第２の演算手段は、ヘッダ部に対する
目標符号量をＴ_headerとし、直交変換係数に対する目標
符号量を_Tcoefとするとき、画像圧縮情報の各フレーム
に対する目標符号量Ｔを

【数９】として演算するようにすることができる。

【００１７】前記第２の演算手段は、検出手段により検
出されたヘッダ部の符号量を、Ｔ_he _aderとすることがで
きる。

【００１８】取り込まれた画像圧縮情報の各フレームに
対する平均量子化スケールと、各フレームの直交変換係
数に対して割り当てられている符号量から、各フレーム
に対するコンプレクシティを算出する算出手段をさらに
設け、第２の演算手段は、算出手段により算出されたコ
ンプレクシティに基づいて、目標符号量Ｔ_coefを求める
ようにすることができる。

【００１９】前記画像圧縮情報を復号して得た画像情報
中のＩピクチャの間隔から擬似的なGOPの構造を決定す
る決定手段とをさらに設けることができる。

【００２０】前記第１の演算手段は、Ｎを擬似的なGOP
内に含まれるフレーム数とし、bit_rateを出力となる画
像圧縮情報の符号量とし、picture_rateを出力となる画
像が毎秒何フレーム表示されるかを表す値とし、擬似的
なGOPの最初のフレームを再符号化する際に、擬似的なG
OP内の未符号化フレームに対する割当符号量Ｒを、

【数１０】として更新し、入力された画像圧縮情報内で、擬似的な
GOP内に含まれるフレームのへッダに対する符号量の合
計Ｒ_headを

【数１１】として算出し、擬似的なGOP内の未符号化フレームの直
交変換係数に対する割当符号量Ｒ_coefを、

【数１２】として算出するようにすることができる。

【００２１】前記第１の演算手段は、各フレームが再符
号化された後、そのフレームの発生符号量のうち、直交
変換係数に割り当てられた分をＳ_coefとするとき、割当
符号量Ｒ_coefを、

【数１３】として更新するようにすることができる。

【００２２】前記第２の演算手段は、割当符号量Ｒ_coef
を用いて各フレームに対する目標符号量Ｔ_coefを演算す
るようにすることができる。

【００２３】前記第２の演算手段は、目標符号量Ｔ_coef
を、画像に応じたパラメータKpとKbの値を用いて演算す
るようにすることができる。

【００２４】前記第２の演算手段は、パラメータの値
を、入力された画像圧縮情報の各フレームのコンプレク
シティを用いて適応的に演算する。

【００２５】前記第２の演算手段は、各フレームのコン
プレクシティを、入力された画像圧縮情報内の各フレー
ムでの平均量子化スケール、並びにそのフレーム内で直
交変換係数に割り当てられた符号量を用いて演算するよ
うにすることができる。

【００２６】Ｘｉ，Ｘｐ，Ｘｂを、夫々擬似的なGOPを
構成するＩピクチャ，Ｐピクチャ，Ｂピクチャにおける
コンプレクシティとし、１／（１＋ｍ）を所定の値とす
るとき、第２の演算手段は、パラメータＫｐ及びＫｂを

【数１４】

【数１５】により演算するようにすることができる。

【００２７】入力された画像圧縮情報のそのフレームに
おける平均量子化スケールコードをＱとし、総符号量の
うち直交変換係数に割り当てられた分をＳ_coefとしたと
き、第２の演算手段は、コンプレクシティXを

【数１６】により演算するようにすることができる。

【００２８】前記第２の演算手段は、１／（１＋ｍ）の
値を、０．６乃至１．２に設定するようにすることがで
きる。

【００２９】前記第２の演算手段は、１／（１＋ｍ）の
値を、１．０に設定するようにすることができる。

【００３０】前記第２の演算手段は、パラメータＫｐ及
びＫｂを求める際の指数演算を、予め設定されたテーブ
ルを参照することによって実行するようにすることがで
きる。

【００３１】前記第２の演算手段は、シーケンスの最初
における仮想バッファ初期値を与えるパラメータＫｐ，
Ｋｂの値として、Ｋｐ＝１．０，Ｋｂ＝ｌ．４という値
を用いるようにすることができる。

【００３２】請求項１９に記載の画像情報変換方法は、
直交変換と動き補償によって符号化された画像圧縮情報
を取り込み、符号量を更に削減してから出力する画像情
報変換装置の画像情報変換方法において、画像圧縮情報
のヘッダ部に割り当てられた符号量を検出する検出ステ
ップと、検出ステップの処理により検出された、ヘッダ
部に割り当てられた符号量に基づいて、画像圧縮情報の
直交変換係数に割り当てる符号量を演算する第１の演算
ステップと、第１の演算ステップの処理により演算され
た、直交変換係数に割り当てる符号量に基づいて、目標
符号量を演算する第２の演算ステップと、第２の演算ス
テップの処理により演算された目標符号量に基づいて、
画像圧縮情報の再量子化時の符号量を制御する制御ステ
ップとを含むことを特徴とする。

【００３３】請求項２０に記載の記録媒体に記録されて
いるプログラムは、直交変換と動き補償によって符号化
された画像圧縮情報を取り込み、符号量を更に削減して
から出力する画像情報変換装置を制御するプログラムに
おいて、画像圧縮情報のヘッダ部に割り当てられた符号
量を検出する検出ステップと、検出ステップの処理によ
り検出された、ヘッダ部に割り当てられた符号量に基づ
いて、画像圧縮情報の直交変換係数に割り当てる符号量
を演算する第１の演算ステップと、第１の演算ステップ
の処理により演算された、直交変換係数に割り当てる符
号量に基づいて、目標符号量を演算する第２の演算ステ
ップと、第２の演算ステップの処理により演算された目
標符号量に基づいて、画像圧縮情報の再量子化時の符号
量を制御する制御ステップとを含むことを特徴とする。

【００３４】請求項１に記載の画像情報変換装置、請求
項１９に記載の画像情報変換方法、および請求項２０に
記載の記録媒体に記録されているプログラムにおいて
は、ヘッダ部に割り当てられた符号量に基づいて、画像
圧縮情報の直交変換係数に割り当てる符号量が演算され
る。

【００３５】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して説明する。

【００３６】図１は、本発明に係る画像情報変換装置
（トランスコーダ）の構成図である。この実施の形態に
係る画像情報変換装置は、復号部から符号化部への情報
（画素データ）の受け渡しを周波数領域で行うようにな
っており、高ビットレートの画像圧縮情報が入力される
符号バッファ１と、この符号バッファ１の出力に接続さ
れた圧縮情報解析装置２と、圧縮情報解析装置２が解析
した高ビットレートの画像圧縮情報中の量子化値などの
データを格納する情報バッファ３と、圧縮情報解析装置
２を通過した高ビットレートの画像圧縮情報を取り込
み、可変長復号する可変長復号装置４と、可変長復号さ
れた画像データを逆量子化する逆量子化装置５とを備え
る。

【００３７】更に、この画像情報変換装置は、逆量子化
装置５の出力と、後述する動き補償誤差補正値との差分
をとる加算器６と、この加算器６から出力される高ビッ
トレートの画像情報の符号量を削減する帯域制限装置７
と、帯域制限装置７から出力される画像データを量子化
する量子化装置８と、量子化装置８から出力される画像
データを可変長符号化する可変長符号化装置１１と、こ
の可変長符号化装置１１から出力される低ビットレート
の画像圧縮情報を取り込み、外部に出力する符号バッフ
ァ１０と、符号バッファ１０の状態と情報バッファ３の
格納情報とから量子化装置８を制御する符号量制御装置
９とを備えてなる。

【００３８】図１に示す画像情報変換装置には、上記構
成に加え、動き補償誤差補正装置１２が設けられてい
る。この動き補償誤差補正装置１２は、量子化装置８の
出力データを取り込み、逆量子化する逆量子化装置１３
と、この逆量子化装置１３の出力と前記の加算器６の出
力との差分をとる（加算機６の出力の逆極性のデータを
加算する）加算器１４と、加算器１４の出力を逆離散コ
サイン変換する逆離散コサイン変換装置１５と、逆離散
コサイン変換装置１５の出力データを格納するビデオメ
モリ１６と、ビデオメモリ１６の内容に基づき動き補償
予測を行う動き補償予測装置１７と、この動き補償予測
装置１７の出力を離散コサイン変換して動き誤差補正値
を生成し、加算器６に出力する離散コサイン変換装置１
８とを備える。多少の画質劣化を許しても回路規模をよ
り縮小したいという場合には、この動き補償誤差補正装
置１２を省略することも可能である。

【００３９】以下では、まず、動き補償誤差補正装置１
２を省略した画像情報変換装置の動作原理について述べ
る。

【００４０】多くの符号量（高いビットレート）を持つ
画像圧縮情報（ビットストリーム）は、まず、符号バッ
ファ１に入力され格納される。この画像圧縮情報は、MP
EG-2で規定されているVBV(Video Buffering Verifier)
の拘束条件を満たすよう符号化されているので、符号バ
ッファ１において、オーバーフローやアンダーフローを
起こすことはない。

【００４１】符号バッファ１に格納された画像圧縮情報
は、次に、圧縮情報解析装置２に送られる。圧縮情報解
析装置２は、MPEG-2で定められた構文（シンタクス）に
従って、画像圧縮情報中から必要な情報を抽出する。本
実施の形態に係る画像情報変換装置は、この抽出された
情報に従って、以下の再符号化処理を実行する。特に、
後述する様に、符号量制御装置９の動作に必要となるpi
cture_coding_typeや、各マクロブロック毎の量子化値
（量子化スケール：q_scale）等の情報は、情報バッフ
ァ３に格納される。

【００４２】可変長復号装置４は、まず、インターマク
ロブロックの直流成分に関しては隣のブロックとの差分
値として符号化されているデータを復号し、その他の係
数に関してはラン（連続する０係数の数）とレベル（非
０係数）により符号化されたデータを可変長復号し、量
子化された一次元の離散コサイン変換係数を得る。

【００４３】可変長復号装置４は、次に、圧縮情報解析
装置２により抽出された画像の走査方式に関する情報を
基に、量子化された離散コサイン変換係数を二次元デー
タとして再配列する。MPEG-2では、２種類の走査方式
（ジグザグスキャン方式とオルタネートスキャン方式）
が定められており、図２にジグザグスキャン方式のスキ
ャン順の一覧を、図３にオルタネートスキャン方式のス
キャン順の一覧を示す。

【００４４】二次元データに再配列された量子化された
離散コサイン変換係数は、圧縮情報解析装置２によって
抽出された量子化幅および量子化行列に関する情報を基
に、逆量子化装置５において逆量子化が行われる。

【００４５】逆量子化装置５の出力として得られる離散
コサイン変換係数は、帯域制限装置７において、ブロッ
ク毎に、ｌ水平方向高域成分係数の削減が行われる。図
４（Ａ），（Ｂ）に、帯域制限装置７における処理の一
例を示す。

【００４６】この図４の例では、輝度信号に関しては、
同図（Ａ）に示すように、８×８個の離散コサイン変換
係数のうち、水平方向低域成分である８×６個の係数の
みの値を保存し、残りを“０”（図４（Ａ）の例では白
丸）と置きかえる。色差信号に関しては、図４（Ｂ）に
示すように、８×８個の離散コサイン変換係数のうち、
水平方向低域成分である８×４個の係数のみの値を保存
し、残りを“０”（図４（Ｂ）の例では白丸）と置きか
える。

【００４７】符号バッファ１に入力された画像圧縮情報
が飛び越し走査画像のものである場合、フレーム離散コ
サイン変換モードの際に、フィールド間の時間差に関す
る情報には離散コサイン変換係数の垂直方向高域成分が
含まれることになり、その制限を行うことは大幅な画質
劣化に繋がるため、垂直方向の帯域制限は行わない。ま
た、この例で示したように、劣化がより人間の目に付き
やすい輝度信号に比ベ、より人間の目に付きにくい色差
信号に対して、より大きく帯域制限を行うことで、画質
劣化を最小限に抑えながら、再量子化の歪みを低減する
ことができる。

【００４８】尚、帯域制限装置７における処理は図４
（Ａ），（Ｂ）に示したものに限らない。例えば、
“０”と置き換える代わりに、予め用意した重み係数を
離散コサイン変換係数の水平方向高域成分に乗じること
で同様の効果をもたらすことができる。

【００４９】帯域制限装置７の出力となる８×８個の離
散コサイン変換係数は、量子化装置８によって量子化が
行われる。その際に用いられる量子化幅は、符号量制御
装置９によって決定される。

【００５０】符号量制御装置９の動作原理について説明
する前に、まず、本実施の形態に係る画像情報変換装置
と比較するため、MPEG-2 Test Mode1 5(ISO/IEC JTC1/S
C29/WG11 N0400)で用いられている手法が適用されるMPE
G-2画像情報符号化装置について説明する。

【００５１】MPEG-2画像情報符号化装置では、次の第１
ステップ，第２ステップ，第３ステップによる制御が行
われる。第１ステップでは、GOP(Group of Picture)内
の各ピクチャに対する割当ビット量の配分が行なわれ
る。この配分は、割当て対象ピクチャを含めGOP内でま
だ符号化されていないピクチャに対して割り当てられる
ビット量を基にして行なわれる。

【００５２】第２ステップでは、第１ステップで求めら
れた各ピクチャに対する割当てビット量を実際の符号量
と一致させるため、各ピクチャ毎に独立に設定した３種
類の仮想バッファの容量を基に、量子化スケールコード
がマクロブロック単位のフィードバック制御で求められ
る。

【００５３】第３ステップでは、第２ステップで求めら
れた量子化スケールコードが、視覚的に劣化の目立ちや
すい平坦部でより細かく量子化し、劣化の比較的目立ち
にくい絵柄の複雑な部分でより粗く量子化する様に、各
マクロブロック毎のアクティビティによって変化され
る。実用上用いられているMPEG-2画像情報符号化装置
は、このTest Model 5で定められた方式に準じたアルゴ
リズムによって符号量制御が行われる。

【００５４】しかしながら、画像情報符号化装置に適用
される上述した手法を、図１に示したような画像情報変
換装置の符号化部にそのまま適用するには、２つの問題
点がある。第１の問題点は、前述の第１ステップに関す
る問題である。すなわち、MPEG-2画像情報符号化装置に
おいては、予めGOP構造が与えられているため、これに
基づいて第１ステップの動作を行うことが可能であるの
に対し、図１に示した画像情報変換装置においては、GO
P構造が予め与えられることはなく、入力された画像圧
縮情報中の１つのGOP分の情報全てを構文（シンタク
ス）解析することで初めてGOP構造が明らかになる。

【００５５】また、GOPの長さは固定であるとは限ら
ず、実用上用いられているMPEG-2画像情報符号化装置で
は、シーンチェンジを検出し、それに応じて適応的にGO
Pの長さを画像圧縮情報中で制御するというものも存在
するため、斯かる画像情報符号化装置で圧縮された画像
圧縮情報を入力とする画像情報変換装置では、GOPの長
さを固定として扱うことはできない。。

【００５６】第２の問題点は、前述の第３ステップに関
する問題である。すなわち、MPEG-2画像情報符号化装置
においては、アクティビティを、原画の輝度信号画素値
を用いて算出している。しかしながら、図１に示した画
像情報変換装置では、MPEG-2による画像圧縮情報を入力
としており、原画の輝度信号画素値を知ることができな
い。

【００５７】そこで、本実施の形態に係る画像情報変換
装置では、上述した第１の問題点と第２の問題点を解決
するため、図５に示す手順により動作する。まず、ステ
ップＳ１で以下のように擬似GOPが決定され、これに基
づいた符号量制御が行なわれる。擬似GOPとは、１つの
Ｉピクチャおよび複数のＰピクチャとＢピクチャから構
成される擬似的なGOPである。その長さは可変であり、
入力された画像圧縮情報中で、どのようにＩピクチャを
検出するかに依存する。

【００５８】図６は、擬似GOPがどの様に決定されるか
を説明する図である。この図６に示すようなpicture_co
ding_typeを格納する環状バッファを、図１の情報バッ
ファ３は持っている。環状バッファは、MPEGで規定され
ている１個のGOPに含むことのできる最大フレーム数と
同じ２５６個のpicture_coding_typeを格納するだけの
容量を持つ。環状バッファの各要素には、予め初期値が
格納されている。

【００５９】図６において、入力された画像圧縮情報に
含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ
まで処理され、次のＰピクチャの処理を行う場合を考え
る。この時、まず、圧縮情報解析装置２（図１）に含ま
れるフィードフォワードバッファによって、数フレーム
分のpicture_coding_typeが先読みされ、環状バッファ
の要素が更新される。フィードフォワードバッファの大
きさは任意であるが、図６の例では６フレームとしてあ
る。

【００６０】次に、環状バッファの状態から、圧縮情報
解析装置２により、図６のように、現在のＩピクチャを
指すポインタａ及び次のＩピクチヤ（この例場合、この
Ｉピクチャは、初期値として設定されたもの）を指すポ
インタｂを参照することで、擬似GOPの長さが決定され
る。

【００６１】最後に、フィードフォワードバッファの最
後のフレームを指すポインタｄと、既に決定された擬似
GOPの長さから最初のフレームを指すポインタｃが決ま
り、図６に示すように、擬似GOPの構成が符号量制御装
置９において決定される（図５のステップＳ１）。

【００６２】このようにして決定された擬似GOPの構成
が、｛Ｂ₁，Ｂ₂，Ｐ₁，Ｂ₃，Ｂ₄，Ｉ₁，Ｂ₅，Ｂ₆，…，
Ｐ_L，Ｂ_M-1，Ｂ_M｝の様であった場合、擬似GOPの大きさＬ_pgopは、

【数１７】で与えられる。この時、符号量制御装置９は、Ｉピクチ
ャ，Ｐピクチャ，Ｂピクチヤの目標符号量（ターゲット
ビット）Ｔｉ，Ｔｐ，Ｔｂを、夫々、

【数１８】

【数１９】

【数２０】で求める（図５のステップＳ２）。但し、Ωは、夫々、
擬似GOP内において、これから処理が行われるフレーム
を指し、フレームレートをＦ、出力となる画像圧縮情報
の符号量（ビットレート）をＢとし、発生符号量をgene
rated_bitとすると、（数１８）乃至（数２０）中のＲ
は、

【数２１】

【数２２】である。（数２２）において、Θは、疑似GOP内におい
て、既に処理が終わったフレームを表す。また、Ｘ
（Ｉ），Ｘ（Ｐ）などのＸ（・）は、各フレームの複雑
さを表すパラメータ(global complexity measure)であ
り、圧縮情報解析装置２で事前解析（プリパーシング）
を行う際に当該フレームの総符号量（ビット数）Ｓおよ
び平均量子化スケールコードＱを予め算出しておき、

【数２３】のように求められる。パラメータＫｐ及びＫｂの値は、
シーケンスの最初における仮想バッファの初期値を与
え、これにより、符号量制御装置９において、目標の符
号量が（数１８）乃至（数２０）で制御される（図５の
ステップＳ３）。このパラメータＫｐ，Ｋｂの値は、夫
々、MPEG-2 Test Mode1 5で定められている通り、Ｉピ
クチヤの量子化スケールコードを基準としたＰピクチ
ャ，Ｂピクチャの量子化スケールコードの比率であり、
Ｋｐ＝１．０、Ｋｂ＝１．４の値の時に、常に全体の画
質が最適化されると仮定されている。

【００６３】上述した第２の問題点は、次の様に解決さ
れる。符号バッファ１に入力される画像圧縮情報におけ
る各マクロブロックの量子化スケールＱは、符号化時
に、原画の輝度信号画素値を用いて算出されたものであ
る。そこで、まず、圧縮情報解析装置２がプリパーシン
グを行う際、当該フレーム内の各マクロブロックの量子
化スケールＱおよび符号量（ビット数）Ｂを抽出し、情
報バッファ３に格納すると同時に、当該フレーム全体の
Ｑ，Ｂの平均値Ｅ（Ｑ），Ｅ（Ｂ）、あるいは、その積
の平均値Ｅ（ＱＢ）を予め算出し、その値も情報バッフ
ァ３に格納する。

【００６４】符号量制御装置９は、情報バッファ３に格
納されたＱ，Ｂやその平均値等の情報を基に、以下のい
ずれかの数式によって、正規化アクティビティＮ_actを
算出する（図５のステップＳ４）。

【数２４】

【数２５】

【数２６】

【００６５】このうち、（数２５）と（数２６）は等価
処理となる。画質をSNR(Signal Noise Ratio)で評価し
た場合、（数２４）の方がより高い画質となるが、主観
的な画質は、（数２５）若しくは（数２６）で与えられ
るものの方が良い。

【００６６】ところで今、あるマクロブロックに対する
入力画像圧縮情報における量子化値がＱ_lで、符号量制
御装置９にて算出された出力画像圧縮情報に対する量子
化値がＱ₂になったとする。図１の画像情報変換装置
は、符号量を削減するためのものであるから、Ｑ₁＞Ｑ₂
となった場合には、一度粗く量子化されたマクロブロッ
クが、再量子化された結果、より細かく量子化されたこ
とになる。

【００６７】粗く量子化されたことによる歪みは、細か
く再量子化することでは低減されない。また、細かく再
量子化するということは、このマクロブロックに対して
ビットが多く使われることを意味し、これは、他のマク
ロブロックに割り当てるビットの減少を招き、更なる画
質劣化を引き起こす。このため、符号量制御装置９は、
Ｑ₁＞Ｑ₂であるか否かを判定し（図６のステップＳ
５）、YESである場合、Ｑ₂＝Ｑ₁とする。

【００６８】量子化装置８において量子化が行われた離
散コサイン変換係数は、可変長符号化装置１１によって
可変長符号化される。その際、離散コサイン変換係数の
直流成分に関しては、１ブロック前の直流成分係数を予
測値としてその差分を符号化し、その他の成分に関して
は、予め設定された走査方式（図２のジグザグスキャン
方式、若しくは図３のオルタネートスキャン方式）に基
づいて２次元の配列データに並べ替えた後、連続する０
係数の数（ラン）及び非０係数（レベル）のペアを事象
とした可変長符号化が行われる。ブロック内のスキャン
順で、それ以降の係数が全て“０”となった場合、EOB
(End of Block)と呼ばれる符号が出力され、そのブロッ
クに対する可変長符号化を終了される。

【００６９】今、符号バッファ１に入力される画像圧縮
情報における或るブロックの係数が図７（Ａ）に示すよ
うになっていたとする。この図７で黒丸は非０係数、白
丸は０係数を示す。これに、例えば、図４（Ａ）に示す
ような、離散コサイン変換係数の水平高域成分の削減を
施したとすると、非０係数の分布は図７（Ｂ）のように
なる。これを、図２のジグザグスキャンのまま（図２に
そのスキャン順を点線矢印で示す。）再符号化すると、
最後のスキャン順となる非０係数（図７（Ｂ）に符号ｚ
で示す。）のスキャン番号は“５０”になる。

【００７０】そこで、走査変換を行い、図３のオルタネ
ートスキャン（図３にそのスキャン順を点線矢印で示
す。）で改めて符号化することにより、最後の非０係数
ｚのスキャン番号は“４４”になる。これにより、EOB
信号を、ジグザグスキャンの場合より早いスキャン番号
で設定することが可能となり、その分だけ量子化幅とし
てより細かな値を割り当てることができ、再量子化に伴
う量子化歪みを低減することが可能となる。

【００７１】次に、図１の動き補償誤差補正装置１２の
動作原理について説明する。

【００７２】まず、動き補償誤差の生じる原因について
述べる。原画像の画素値をＯとし、この画素値に対する
入力画像圧縮情報の量子化幅をＱ₁とし、再符号化後の
出力画像圧縮情報における、この画素値に対する量子化
幅をＱ₂とする。量子化幅Ｑ_l，Ｑ₂で復号された時の、
参照画像の画素値を夫々Ｌ（Ｑ₁），Ｌ（Ｑ₂）と表すこ
とにする。

【００７３】MPEG-2画像情報符号化装置においては、イ
ンターマクロブロックの画素は、まず、Ｏ―Ｌ（Ｑ₁）
が計算され、この差分値に離散コサイン変換が施されて
符号化される。一方、図１に示した動き補償誤差補正装
置１２を省略した画像情報変換装置で符号量の更なる削
減が行われた出力画像圧縮情報をネットワーク等を介し
て受信したMPEG-2画像情報復号装置は、この受信した画
像圧縮情報を復号する際に、画像圧縮情報中の離散コサ
イン変換係数は、Ｏ―Ｌ（Ｑ₂）を離散コサイン変換し
て符号化したものと見なすこととなる。図１の構成にお
ける画像情報変換装置では、一般的に、Ｑ_l＝Ｑ₂は成立
しない。このような現象が、Ｐピクチャ，Ｂピクチャで
生じるため、動き補償に伴う誤差が発生する。

【００７４】更に、Ｐピクチャで生じた画質劣化は、後
続のＰピクチャ及びこれを参照とするＢピクチャに伝播
し、更なる画質劣化に繋がる。このような原理により、
GOPの後ろに行くに従って動き補償に伴う誤差が蓄積す
るため画質が劣化し、次のGOPの先頭でまた良好な画質
に戻るという現象（ドリフト）が生じることになる。

【００７５】そこで、動き補償誤差補正装置１２を設け
るのであるが、その動作は以下の通りである。量子化装
置８の出力となる量子化された離散コサイン変換係数
は、可変長符号化装置１１に伝送されると共に、逆量子
化装置１３にも伝送され、ここで、量子化幅と量子化行
列に関する情報を基に逆量子化が施される。逆量子化装
置１３の出力となる離散コサイン変換係数と、逆量子化
装置５の出力となる離散コサイン変換係数との差分が加
算器１４において算出され、この出力が逆離散コサイン
変換装置１５に入カされて逆離散コサイン変換が施され
る。その出力は、動き補償誤差補正情報としてビデオメ
モリ１６に格納される。

【００７６】画像情報変換装置に入力された画像圧縮情
報内における動き補償予測モード情報（フィールド動き
補償予測モード或いはフレーム動き補償予測モード、及
び、前方向予測モード、後方向予測モード、或いは、双
方向予測モード）及び、動きベクトル情報（圧縮情報解
析装置２により解析、抽出され、動き補償予測装置１７
に供給される）を基に、ビデオメモリ１６内の動き補償
誤差情報から動き補償予測装置１７において動き補償が
行われ、これによって生成されたデータが空間領域での
誤差補正値となる。この補正値を入力とする離散コサイ
ン変換装置１８において離散コサイン変換を施すこと
で、周波数領域での誤差補正値が得られる。

【００７７】逆離散コサイン変換装置１５及び離散コサ
イン変換装置１８では、例えば、文献“A fast computa
tional algorithm for the discrete cosine transfor
m”(IEEE Trans.commun.,vol.25.no.9,pp.1004-1009,19
77)に示されている様な高速アルゴリズムを適用するこ
とが可能である。

【００７８】また、逆離散コサイン変換装置１５及び離
散コサイン変換装置１８において、水平方向の離散コサ
イン変換係数は、帯域制限装置７において高域成分係数
が“０”と置き直されているため、これに対する逆離散
コサイン変換及び離散コサイン変換を省くことで、回路
規模及び演算処理量を削減することが可能である。

【００７９】更に、画像における色差信号の劣化は、輝
度信号の劣化に比べ、人間の目には分かり難いという特
色を有しているため、上記の動き補償誤差補正を、輝度
信号のみに適用することで、画質劣化を最小に保ちなが
ら回路規模及び演算処理量を大幅に削減することもでき
る。

【００８０】また、Ｐピクチャにおける誤差はＢピクチ
ャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝
播しない。一方、Ｂピクチャには双方向予測モードを含
み、多大なる演算処理量を要する。そこで、Ｐピクチャ
にのみ動き補償誤差補正を行うことで、画質劣化を最小
に保ちながら回路規模及び演算処理量を大幅に削減する
こともできる。Ｂピクチャにおける処理を行わないこと
で、ビデオメモリ１６の容量を削減することも可能とな
る。

【００８１】更にまた、図１の動き補償誤差補正装置１
２では、誤差補正成分として８×８個の離散コサイン変
換係数の全ての成分を用いているが、特に離散コサイン
変換モードがフレーム離散コサイン変換モードであり、
入力画像圧縮情報の走査方式が飛び越し走査である場合
には、垂直方向高域成分の誤差を無視することは大幅な
画質劣化に繋がるものの、水平方向に関しては、８次の
離散コサイン変換係数のうち、高域４成分（０次乃至７
次の離散コサイン変換係数のうちの４次乃至７次の成
分）を無視することによる画質劣化は殆どない。

【００８２】この事実を利用して、画質劣化を最小限に
抑えながら、逆離散コサイン変換装置１５、離散コサイ
ン変換装置１８における演算処理量およびビデオメモリ
１６における容量を削減することが可能である。

【００８３】即ち、逆離散コサイン変換装置１５及び離
散コサイン変換装置１８において、垂直方向には通常の
８次の処理（８次の逆離散コサイン変換およ１び１／２
画素精度の動き補償）が施されるが、水平方向に関して
は、８次の離散コサイン変換係数のうち、低域４成分
（０次乃至７次の離散コサイン変換係数のうちの０次乃
至３次の成分）のみを用いた処理が行なわれる。これに
より、ビデオメモリ１６の水平方向解像度は１／２とな
り、その容量を削減することが可能となる。但し、この
場合、動き補償予測装置１７においては、１／４画素精
度の動き補償処理が必要となる。この処理は、画像圧縮
情報中の動きベクトルの値に応じて、図８に示す様に、
１／４画素単位で線形内挿を行うことで、動き補償誤差
に伴う画質劣化を十分に抑制することが可能である。

【００８４】水平方向に対する処理としては、以下の２
つの手法が考えられる。

【００８５】第１の手法は、逆離散コサイン変換装置１
５が、８次の離散コサイン変換係数のうち、低域４次係
数のみに対して４次の逆離散コサイン変換を施し、離散
コサイン変換装置１８が、ビデオメモリ１６から動き補
償によって作られた画素領域での各ブロックの４×８個
のの誤差補正値に対して、水平方向には４次の離散コサ
イン変換を施すことで、４×８個のの周波数領域での誤
差補正値を出力するというものである。

【００８６】４次の逆離散コサイン変換及び離散コサイ
ン変換に高速アルゴリズムを用いることで、更なる処理
量の削減が可能となる。図９は、公知のWangのアルゴリ
ズム（文献：Zhong de Wang.,“Fast Algorithms for t
he Discrete W Transform and for the Discrete Fouri
er Transform",IEEE Tr.ASSP-32,No.4,pp.803-816,Aug.
1984）に基づく４次の離散コサイン変換・逆離散コサイ
ン変換処理を示す図である。図９において、データＦ
（０）乃至Ｆ（３）を入力とし、データｆ（０）乃至ｆ
（３）を出力とすることで、逆離散コサイン変換が実現
され、データｆ（０）乃至ｆ（３）を入力とし、データ
Ｆ（０）乃至Ｆ（３）を出力とすることで離散コサイン
変換が実現される。

【００８７】例えば、データＦ（０）とＦ（２）は、加
算器３１と加算器３４に入力される。加算器３１は、デ
ータＦ（０）とデータＦ（２）とを加算し、演算器３２
に出力する。演算器３２は、加算器３１の出力（Ｆ(０)
＋Ｆ(２)）に、係数１／√２を乗算し、加算器３３と加
算器４４に出力する。

【００８８】加算器３４は、データＦ（０）に、データ
Ｆ（２）を逆極性で加算（減算）し、演算器３５に出力
する。演算器３５は、加算器３４の出力（Ｆ(０)−Ｆ
(２)）に、係数１／√２を乗算し、加算器３６と加算器
３９に出力する。

【００８９】加算器３３は、演算器３２の出力と、加算
器４３の出力とを加算し、データｆ（０）として出力す
る。

【００９０】加算器３６は、演算器３５の出力と、加算
器３８の出力とを加算し、データｆ（１）として出力す
る。

【００９１】データＦ（３）は、演算器３７と加算器４
１に入力される。演算器３７は、データＦ（３）に、
（数２７）に示すような演算を施して、加算器３８に出
力する。

【数２７】

【００９２】演算器４０は、データＦ（１）に対して、
(数２８)で示す演算を施して、加算器４３に出力する。

【数２８】

【００９３】加算器４１は、データＦ（３）に対して、
データＦ（１）を逆極性で加算し（減算し）、演算器４
２に出力する。演算器４２は、加算器４１より入力され
たデータに対して、（数２９）で示す演算を施し、加算
器３８と加算器４３に出力する。

【数２９】

【００９４】加算器３８は、演算器３７の出力に対し
て、演算器４２の出力を逆極性で加算し（減算し）、加
算器３６と加算器３９に出力する。加算器３９は、演算
器３５の出力に対して、加算器３８の出力を逆極性で加
算し（減算し）、データｆ（２）として出力する。

【００９５】加算器４３は、演算器４０の出力と、演算
器４２の出力を加算し、加算器３３と加算器４４に出力
する。加算器４４は、演算器３２の出力に対して、加算
器４３の出力を逆極性で加算し（減算し）、データｆ
（３）として出力する。

【００９６】水平方向に対する処理の第２の手法は、逆
離散コサイン変換装置１５が、高域４係数を“０”と置
き換えて、８次の逆離散コサイン変換を施し、間引き処
理若しくは平均処理を行って画素領域の４点の誤差補正
値を出力とし、離散コサイン変換装置１８が、動き補償
予測装置１７の動き補償によって得られた画素領域の４
点の誤差補正値を、補間処理によって８点にし、これに
離散コサイン変換を施した後、４次までの低域を取り出
すことで、４×８個の周波数領域での誤差補正値を出力
する。逆離散コサイン変換装置１５、離散コサイン変換
装置１８夫々における処理において、一連の処理と等価
な行列を予め算出しておき、これを、夫々の入力となる
係数に直接施すことで、更なる処理量の削減が可能とな
る。

【００９７】逆離散コサイン変換装置１５が、高域４係
数を“０”と置き換え、８次の逆離散コサイン変換を施
した後の処理が、間引き処理である場合、及び、平均処
理である場合の、一連の処理と等価な行列（個別に順次
乗算する行列Ａ，Ｂ，Ｃを、予めすべて乗算して得た行
列Ａ＊Ｂ＊Ｃ）を、夫々ｉＤ₄__deci，ｉＤ₄__aveとし、
この夫々の場合において、離散コサイン変換装置１８に
おいて施される一連の処理と等価な行列をＤ₄__deci，Ｄ
₄__aveとする。行列ｉＤ₄__deci，ｉＤ₄__aveを、図１０
（Ａ），（Ｂ）に示す。Ｄ₄__deci，Ｄ₄__aveについて
は、

【数３０】

【数３１】が成立するものとする。ここで、^t（）は転置行列を表
す。また、図１０において、ｉＤ₈は、８次の逆離散コ
サイン変換係数を表す。

【００９８】更に、一般的に、輝度信号に比べ、色差信
号は、その劣化が人間の目に付き難いことが知られてい
る。そこで、色差信号に関しては、更なる処理量の削減
を行うことも可能である。すなわち、逆離散コサイン変
換装置１５および離散コサイン変換装置１８において、
上記４×８個の誤差補正信号のうち、色差信号の誤差補
正成分に関しては、図１１に示すように、垂直方向の低
域係数のみ（例えぱ４×４個）を補正に用い、残りの高
域係数に関しては“０”と置き換えることで、誤差補正
に伴う演算処理量を更に削減することができる。

【００９９】図１２乃至図１４は、CCIR（Consultative
Committee on InternationalRadio）（現在のITU(I
nternationnal Telecommunication Union)−Ｒ）にお
いて、画質評価に使用するように規定された標準画像の
１つであるテストシーケンス“Mobile & Calendar”
を、符号量制御を行わず、量子化幅を一定にして符号化
した場合の符号量（ビット数）と量子化幅（Q_scale）
の関係を示す図である。図１２は、Ｉピクチャにおける
量子化幅を“１４”から“１１２”まで変化させた場合
の、符号量と量子化幅の関係を示した図である。図１３
は、参照となるＩピクチャの量子化幅を“１４”に固定
し、Ｐピクチャの量子化幅を“１４”から“１１２”ま
で変化させた場合の、符号量と量子化幅の関係を示した
図である。図１４は、参照となるＰピクチャの量子化幅
を“１４”に固定し、Ｂピクチャの量子化幅を“１８”
から“１１２”まで変化させた場合の、符号量と量子化
幅の関係を示した図である。

【０１００】MPEG-2 Test Model 5と図１に示した画像
情報変換装置において、符号量制御を行う際の各ピクチ
ャを符号化するのに用いる平均量子化スケールコードと
発生符号量の積は、画面が変化しない限りピクチャタイ
プ毎に一定値になるという仮定の元に処理が行われてい
る。

【０１０１】しかしながら、図１２乃至図１４からも分
かる通り、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの夫々
における発生符号量は、量子化幅に依存する部分（図
中、水平に近い部分）と依存しない部分（図中、垂直に
近い部分）に別れる。前者は、量子化された離散コサイ
ン変換係数に相当する分であり、後者は動きベクトルな
どのヘッダ情報に関する分である。各ピクチャを符号化
するのに用いられる平均量子化スケールコードと、発生
符号量のうち離散コサイン変換係数に割り当てられた符
号量（ビット数）の積は一定となるが、各ピクチャを符
号化するのに用いられる平均量子化スケールコードと発
生符号量の積は必ずしも一定とならない。

【０１０２】上述の事実は、量子化幅が十分細かい場合
には、離散コサイン変換係数に割り当てられる符号量
（ビット数）に比ベ、ヘッダ情報に割り当てられる符号
量（ビット数）は無視できる程度であるため、実際に符
号量制御を行う際にはさほど間題とならないことを示す
が、より低い符号量（低ビットレート）で符号化する場
合には、ヘッダ情報に割り当てられる符号量が無視でき
ない程度の割合を占めるまでになることを示す。特に、
Ｂピクチャにおいては、双方向予測モードを含むため、
絵柄によっては、動きベクトルに割り当てられる符号量
が無視できない程度に増大し、安定した符号量制御を行
う妨げとなり、バッファが破綻する原因になることも予
想される。

【０１０３】MPEG-2画像情報符号化装置においては、こ
の問題を解決する手法として、前述した文献“Bit-rate
control for MPEG encoders"(G.Keesman,I.Shahand R.
Klein-Gunnewiek,Signal Processing Image Communicat
ion 6,pp.545-560,1995)で、フレーム符号量を、量子化
幅に依存する離散コサイン変換係数部の符号量と、量子
化幅に依存しないヘッダ部の符号量とに分離して符号量
配分を行う手法が提案されている。

【０１０４】この提案に係るへッダ部の符号量配分は、
固定量子化器での符号化処理による事前解析から導か
れ、離散コサイン変換係数部での符号量配分は、Test M
ode1 5で述べられている手法と同様、パラメータＸに基
づいて行われるが、パラメータＸは、離散コサイン変換
係数部の発生符号量と量子化幅の積で計算される。

【０１０５】このMPEG-2画像情報符号化装置に対する符
号量配分の提案は、固定量子化器での符号化処理に要す
る演算処理量と回路規模の増大を招くという問題があ
り、この問題を解決しないと、図１の画像情報変換装置
に適用することが難しい。演算処理量と回路規模の増大
を回避しつつ、符号量配分を適切に行うようにした。

【０１０６】図１５は、本発明の画像情報変換装置の構
成図である。この実施の形態では、圧縮情報解析装置２
で解析し、情報バッファ３に格納したデータを利用して
上記の符号量配分を行う構成とすることで、演算処理量
の増大と回路規模の増大を回避している。そのため、図
１の符号量制御装置９に対応する符号量制御装置５１の
構成が、図１の実施の形態と異なっている。符号量制御
装置５１には、ヘッダ符号量バッファ５２と、Complexi
ty算出器５３、および目標符号量算出器５４が設けられ
ている。その他の符号バッファ１，圧縮情報解析装置
２，可変長復号装置４，逆量子化装置５，加算器６，帯
域制限装置７，量子化装置８，符号バッファ１０，可変
長符号化装置１１，および動き補償誤差補正装置１２の
構成は、図１の実施の形態と同じである。

【０１０７】この画像情報変換装置においては、図１の
画像情報変換装置と同様に、圧縮情報解析装置２が画像
圧縮情報（ビットストリーム）の構文解析を行い、以下
の処理に必要な符号化された情報を抽出し、それらの情
報のうち、以下の処理に必要なものを情報バッファ３に
格納する。可変長復号装置４は、圧縮情報解析装置２か
ら抽出される走査方式に関する情報（ジグザグスキャン
若しくはオルタネートスキャン）に応じて、可変長符号
化された離散コサイン変換係数を可変長復号する。

【０１０８】逆量子化装置５は、圧縮情報解析装置２か
ら抽出される量子化に関する情報（量子化スケール及び
量子化行列）に応じて、離散コサイン変換係数の逆量子
化を行う。帯域制限装置７は、逆量子化装置５の出力と
なる離散コサイン変換係数の高域成分係数を“０”と置
いたり、重み係数を乗じることで、画像の持つ解像度を
落とす。量子化装置８は、出力となる画像圧縮情報（ビ
ットストリーム）の画像情報量（ターゲットビットレー
ト）に応じた量子化幅により、離散コサイン変換係数の
再量子化を行う。可変長符号化装置１１は、離散コサイ
ン変換係数の可変長符号化を行う。

【０１０９】符号量制御装置５１は、図１の符号量制御
装置９と同様に、可変長復号化された後の画像圧縮情報
が、符号バッファ１０のオーバーフロー若しくはアンダ
ーフローを起こさないように、与えられた目標符号量お
よび情報バッファ３から抽出される量子化幅の制御を行
う。

【０１１０】更に、本実施の形態に係る符号量制御装置
５１の構成要素であるへッダ符号量バッファ５２は、入
力された画像圧縮情報の中で、各フレームに割り当てら
れたヘッダ部に対する符号量に関する情報を格納する。
また、コンプレクシティ（Complexity）算出器５３は、
情報バッファ３に格納された入力画像圧縮情報内の各フ
レームの離散コサイン変換係数に対して割り当てられた
符号量及び量子化スケールから各フレームのコンプレク
シティを算出する。

【０１１１】目標符号量算出器５４は、コンプレクシテ
ィ算出器５３において算出された各フレームの算出結果
を基に、出力となる画像圧縮情報中の各フレームに最適
な離散コサイン変換係数に対する符号量を算出し、更
に、この符号量に、へッダ符号量バッファ５２に格納さ
れた値（ビット数）を合計することで、当該フレームの
目標符号量（ターゲットビット）とする。動き補償誤差
補正装置１２は、各マクロブロックの動き補償誤差をビ
デオメモリ１６に格納し、この格納された誤差値を、入
力された画像圧縮情報より抽出された動きベクトルと予
測モードに関する情報に応じて取り出し、誤差補正を行
う。

【０１１２】次に、図１６のフローチャートを参照し
て、その動作を説明する。今ここで、Ｒを、図６に示し
た擬似GOP内の未符号化フレームに対して割り当てられ
る符号量であるとする。MPEG-2 Test Mode1 5で定めら
れているのと同様、擬似GOPの初めに、目標符号量算出
器５４は、Ｒを以下のように算出する（ステップＳ２
１）。

【数３２】

【０１１３】ここで、Ｎは擬似GOP内のピクチャ数（フ
レーム数）であり、bit_rateは出力となる画像圧縮情報
の符号量であり、picture_rateは出力となる画像が毎秒
何フレーム表示されるかを表す値である。シーケンスの
最初でのＲの初期値は“０”とされる。

【０１１４】次に、目標符号量算出器５４は、圧縮情報
解析装置２より検出された、擬似GOP内の各フレームの
ヘッダ部に割り当てられた符号量Ｔ_headerを、ヘッダ符
号量バッファ５２を介して入力し、その合計Ｒ_headを次
式で求める（ステップＳ２２）。

【数３３】

【０１１５】目標符号量算出器５４は、ステップＳ２１
の処理で与えられる符号量Ｒのうち、離散コサイン変換
係数に割り当てられる符号量Ｒ_coefを、

【数３４】のように算出する（ステップＳ２３）。

【０１１６】コンプレクシティ算出器５３は、（数２
３）に対応して、当該フレームに対するコンプレクシテ
ィ Xを以下のように計算する（ステップＳ２４）。

【数３５】

【０１１７】ここで、Ｑは（数２３）と同様、入力され
た画像圧縮情報における平均量子化スケールコードであ
り、また、Ｓ_coefは、入力された画像圧縮情報におい
て、当該フレームに実際に割り当てられている総符号量
（ビット数）のうち、離散コサイン変換係数に割り当て
られた分である。

【０１１８】目標符号量算出器５４は、（数３５）によ
って計算された各フレームのコンプレクシティを基に、
まず、（数１８）乃至（数２０）に対応して、以下のよ
うに、目標符号量（ターゲットビット）のうち離散コサ
イン変換係数に割り当てられる分を計算する（ステップ
Ｓ２５）。

【数３６】

【数３７】

【数３８】ここで、Ｋｐ＝１．０，Ｋｂ＝１．４とされる。

【０１１９】次に、目標符号量算出器５４は、へッダ符
号量バッファ５２に貯えられた情報Ｔ_header、及び（数
３６）乃至（数３８）によって算出されたＴ_coefを用い
て、当該フレームに対する目標符号量Ｔを以下のように
算出し、その値に対応して量子化装置８を制御する（ス
テップＳ２６）。

【数３９】

【０１２０】目標符号量算出器５４は、符号量Ｒ_coef
を、当該フレームの再符号化が終わり、その発生符号量
のうち、離散コサイン変換係数に割り当てられた分Ｓ
_coefをgenereted_bit_coefで表すとすると、以下の数式
により更新する（ステップＳ２７）。

【数４０】

【０１２１】その後、ステップＳ２８で、処理の終了が
指令されたか否かが判定され、指令されていない場合、
処理はステップＳ２４に戻り、それ以降の処理が繰り返
される。ステップＳ２８で、終了が指令されていると判
定された場合、目標符号量算出器５４は処理を終了させ
る。

【０１２２】ところで、（数３６）乃至（数３８）で
は、Ｋｐ＝１．０，Ｋｂ＝１．４とし、固定された値を
用いているが、文献”ＭＰＥＧ圧縮効率の理論解析とそ
の符号量制御への応用”（甲藤・太田、信学技報、IE−
95,DSP95-10,1995年５月）に述べられている手法を用
い、入力された画像圧縮情報における各フレームのコン
プレクシティに応じ、Ｋｐ，Ｋｂを動的に制御すること
で、更なる高画質化を計ることができる。

【０１２３】その手法を用いる場合、目標符号量算出器
５４は、Ｋｐ及びＫｂを以下のように算出する。

【数４１】

【数４２】

【０１２４】上記の文献との違いは、コンプレクシティ
Xを算出するのに、（数３５）に示した通り、当該フレ
ームに割り当てられた総符号量（ビット数）Ｓ（数２
３）ではなく、当該フレームの離散コサイン変換係数に
割り当てられた符号量Scoefを用いる点にある。

【０１２５】（数４１）と（数４２）中の１／（１＋
ｍ）の値に関しては、文献にも述べられている通り、そ
の値を０．６乃至１．２程度に設定することで、各フレ
ームに対する符号量割当を最適なものとすることができ
る。特に、１／（１＋ｍ）の値を１．０と設定すると、
（数４１）と（数４２）の実行に指数演算を必要としな
いため、高速な実行が可能となる。また、１／（１＋
ｍ）の値を１．０以外に設定した場合には、予めテーブ
ルを用意し、これを参照し指数演算を行うことによっ
て、（数４１）と（数４２）の高速な実現が可能とな
る。

【０１２６】次に、目標符号量算出器５４は、（数３
６）乃至（数３８）に対応して、各フレームの離散コサ
イン変換係数に対する目標符号量Ｔ_i，_coef，
Ｔ_p，_coef，Ｔ_b，_coefを以下のように算出する。

【数４３】

【数４４】

【数４５】

【０１２７】但し、パラメータＫｐ，Ｋｂは、符号量制
御装置５１において、シーケンスの最初における仮想バ
ッファの初期値を与える際にも必要となる。演算を簡略
化するため、この初期値を与えるためのＫｐ，Ｋｂの値
は、Ｋｐ＝１．０，Ｋｂ＝１．４とする。

【０１２８】以上、MPEG-2方式による画像圧縮情報を上
述した実施の形態に係る画像情報変換装置の入力対象と
したが、MPEG-1や、H.263などのように、直交変換また
は直交変換と動き補償とによって符号化された画像圧縮
情報であれば、本発明の実施の形態に係る画像情報変換
装置と同様の構成で符号量の削減が可能となる。

【０１２９】尚、上述した各実施の形態では、画像情報
変換装置として説明したが、これらの装置構成を、ハー
ドウェアではなく、ソフトウェアだけでも実現できる。
また、復号部から符号化部への情報（画素データ）の受
け渡しを周波数領域で行う実施の形態について説明した
が、空間領域で行う画像情報変換装置にも本発明を適用
することが可能である。

【０１３０】

【発明の効果】以上の如く、請求項１に記載の画像情報
変換装置、請求項１９に記載の画像情報変換方法、およ
び請求項２０に記載の記録媒体に記録されているプログ
ラムによれば、ヘッダ部に割り当てられてた符号量に基
づいて、画像圧縮情報の直交変換係数に割り当てる符号
量を演算するようにしたので、演算数量と回路規模の増
大を回避しつつ、適切に符号量を配分することが可能と
なる。

【図面の簡単な説明】

【図１】本発明に係る画像情報変換装置の構成を示すブ
ロック図である。

【図２】ジグザグスキャン方式のスキャン順を説明する
図である。

【図３】オルタネートスキャン方式のスキャン順を説明
する図である。

【図４】図１の帯域制限装置の動作を説明する図であ
る。

【図５】図１の符号量制御装置における動作手順を示す
フローチャートである。

【図６】図１の符号量制御装置で擬似的なGOPの構造を
決定する処理を説明する図である。

【図７】図１の可変長符号化装置でスキャン方式の変換
を行う利点を説明する図である。

【図８】線形内挿により１／４画素精度の補間を行う場
合の動き補償予測装置の動作原理を示す図である。

【図９】Ｗａｎｇの高速アルゴリズムに基づく４次の離
散コサイン変換・逆離散コサイン変換処理を行う装置の
構成を示すブロック図である。

【図１０】図１の逆離散コサイン変換装置における処理
に等価な行列の算出方法を示す図である。

【図１１】図１の逆離散コサイン変換装置及び離散コサ
イン変換装置で色差信号に対する更なる符号量の削減方
法を示す図である。

【図１２】Ｉピクチャにおける量子化幅を変化させた場
合の符号量と量子化幅の関係を示す図である。

【図１３】参照となるＩピクチャの量子化幅を固定しＰ
ピクチャの量子化幅を変化させた場合の符号量と量子化
幅の関係を示す図である。

【図１４】参照となるＰピクチャの量子化幅を固定しＢ
ピクチャの量子化幅を変化させた場合の符号量と量子化
幅の関係を示す図である。

【図１５】本発明に係る画像情報変換装置の構成を示す
ブロック図である。

【図１６】図１５の画像情報変換装置の動作を説明する
フローチャートである。

【符号の説明】

１符号バッファ，２圧縮情報解析装置，３情報バ
ッファ，４可変長復号装置，５，１３逆量子化装
置，６，１４加算器，７帯域制限装置，８量子化装
置，９，５１符号量制御装置，１０符号バッファ，
１１可変長符号化装置，１２動き補償誤差補正装
置，１５逆離散コサイン変換装置，１６ビデオメモ
リ，１７動き補償予測装置，１８離散コサイン変換
装置，５２ヘッダ符号量バッファ，５３コンプレクシ
ティ算出器，５４目標符号量算出器

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK35 MA00 MA01 MA23 MA32 MA33 MC01 MC22 MC24 ME01 NN09 NN28 PP04 RC09 RC28 SS01 SS06 SS11 UA33 5J064 AA02 AA04 BA09 BA16 BC01 BC16 BD02

Claims

【特許請求の範囲】

【請求項１】直交変換と動き補償によって符号化され
た画像圧縮情報を取り込み、符号量を更に削減してから
出力する画像情報変換装置において、前記画像圧縮情報のヘッダ部に割り当てられた符号量を
検出する検出手段と、前記検出手段により検出された、前記ヘッダ部に割り当
てられた符号量に基づいて、前記画像圧縮情報の前記直
交変換係数に割り当てる符号量を演算する第１の演算手
段と、前記第１の演算手段により演算された、前記直交変換係
数に割り当てる符号量に基づいて、目標符号量を演算す
る第２の演算手段と、前記第２の演算手段により演算された前記目標符号量に
基づいて、前記画像圧縮情報の再量子化時の符号量を制
御する制御手段とを備えることを特徴とする画像情報変
換装置。
【請求項２】前記直交変換は、離散コサイン変換であ
ることを特徴とする請求項１に記載の画像情報変換装
置。
【請求項３】前記第２の演算手段は、前記ヘッダ部に
対する目標符号量をＴ_headerとし、前記直交変換係数に
対する目標符号量をＴ_coefとするとき、前記画像圧縮情
報の各フレームに対する前記目標符号量Ｔを【数１】として演算することを特徴とする請求項１に記載の画像
情報変換装置。
【請求項４】前記第２の演算手段は、前記検出手段に
より検出された前記ヘッダ部の符号量を、前記Ｔ_header
とすることを特徴とする請求項３に記載の画像情報変換
装置。
【請求項５】取り込まれた前記画像圧縮情報の各フレ
ームに対する平均量子化スケールと、各フレームの前記
直交変換係数に対して割り当てられている符号量から、
各フレームに対するコンプレクシティを算出する算出手
段をさらに備え、前記第２の演算手段は、前記算出手段により算出された
前記コンプレクシティに基づいて、前記目標符号量Ｔ
_coefを求めることを特徴とする請求項３に記載の画像情
報変換装置。
【請求項６】前記画像圧縮情報を復号して得た画像情
報中のＩピクチャの間隔から擬似的なGOPの構造を決定
する決定手段をさらに備えることを特徴とする請求項３
に記載の画像情報変換装置。
【請求項７】前記第１の演算手段は、Ｎを擬似的なGOP内に含まれるフレーム数とし、bit_rat
eを出力となる画像圧縮情報の符号量とし、picture_rat
eを出力となる画像が毎秒何フレーム表示されるかを表
す値とし、擬似的なGOPの最初のフレームを再符号化す
る際に、擬似的なGOP内の未符号化フレームに対する割
当符号量Ｒを、【数２】として更新し、入力された前記画像圧縮情報内で、擬似的なGOP内に含
まれるフレームのへッダに対する符号量の合計Ｒ_headを【数３】として算出し、擬似的なGOP内の未符号化フレームの前記直交変換係数
に対する割当符号量Ｒ_coefを、【数４】として算出することを特徴とする請求項３に記載の画像
情報変換装置。
【請求項８】前記第１の演算手段は、各フレームが再
符号化された後、そのフレームの発生符号量のうち、前
記直交変換係数に割り当てられた分をＳ_coefとすると
き、前記割当符号量Ｒ_coefを、【数５】として更新することを特徴とする請求項７に記載の画像
情報変換装置。
【請求項９】前記第２の演算手段は、前記割当符号量
Ｒ_coefを用いて各フレームに対する前記目標符号量Ｔ
_coefを演算することを特徴とする請求項８に記載の画像
情報変換装置。
【請求項１０】前記第２の演算手段は、前記目標符号
量Ｔ_coefを、画像に応じたパラメータKpとKbの値を用い
て演算することを特徴とする請求項３に記載の画像情報
変換装置。
【請求項１１】前記第２の演算手段は、前記パラメー
タの値を、入力された前記画像圧縮情報の各フレームの
コンプレクシティを用いて適応的に演算することを特徴
とする請求項１０に記載の画像情報変換装置。
【請求項１２】前記第２の演算手段は、各フレームの
前記コンプレクシティを、入力された前記画像圧縮情報
内の各フレームでの平均量子化スケール、並びにそのフ
レーム内で前記直交変換係数に割り当てられた符号量を
用いて演算することを特徴とする請求項１１に記載の画
像情報変換装置。
【請求項１３】Ｘｉ，Ｘｐ，Ｘｂを、夫々擬似的なGO
Pを構成するＩピクチャ，Ｐピクチャ，Ｂピクチャにお
ける前記コンプレクシティとし、１／（１＋ｍ）を所定
の値とするとき、前記第２の演算手段は、前記パラメー
タＫｐ及びＫｂを【数６】【数７】により演算することを特徴とする請求項１１に記載の画
像情報変換装置。
【請求項１４】入力された前記画像圧縮情報のそのフ
レームにおける平均量子化スケールコードをＱとし、総
符号量のうち前記直交変換係数に割り当てられた分をＳ
_coefとしたとき、前記第２の演算手段は、コンプレクシ
ティXを【数８】により演算することを特徴とする請求項１３に記載の画
像情報変換装置。
【請求項１５】前記第２の演算手段は、前記１／（１
＋ｍ）の値を、０．６乃至１．２に設定することを特徴
とする請求項１３に記載の画像情報変換装置。
【請求項１６】前記第２の演算手段は、前記１／（１
＋ｍ）の値を、１．０に設定することを特徴とする請求
項１５に記載の画像情報変換装置。
【請求項１７】前記第２の演算手段は、前記パラメー
タＫｐ及びＫｂのを求める際の指数演算を、予め設定さ
れたテーブルを参照することによって実行することを特
徴とする請求項１３に記載の画像情報変換装置。
【請求項１８】前記第２の演算手段は、シーケンスの
最初における仮想バッファ初期値を与える前記パラメー
タＫｐ，Ｋｂの値として、Ｋｐ＝１．０，Ｋｂ＝ｌ．４
という値を用いることを特徴とする請求項１３に記載の
画像情報変換装置。
【請求項１９】直交変換と動き補償によって符号化さ
れた画像圧縮情報を取り込み、符号量を更に削減してか
ら出力する画像情報変換装置の画像情報変換方法におい
て、前記画像圧縮情報のヘッダ部に割り当てられた符号量を
検出する検出ステップと、前記検出ステップの処理により検出された、前記ヘッダ
部に割り当てられた符号量に基づいて、前記画像圧縮情
報の前記直交変換係数に割り当てる符号量を演算する第
１の演算ステップと、前記第１の演算ステップの処理により演算された、前記
直交変換係数に割り当てる符号量に基づいて、目標符号
量を演算する第２の演算ステップと、前記第２の演算ステップの処理により演算された前記目
標符号量に基づいて、前記画像圧縮情報の再量子化時の
符号量を制御する制御ステップとを含むことを特徴とす
る画像情報変換方法。
【請求項２０】直交変換と動き補償によって符号化さ
れた画像圧縮情報を取り込み、符号量を更に削減してか
ら出力する画像情報変換装置を制御するプログラムにお
いて、前記画像圧縮情報のヘッダ部に割り当てられた符号量を
検出する検出ステップと、前記検出ステップの処理により検出された、前記ヘッダ
部に割り当てられた符号量に基づいて、前記画像圧縮情
報の前記直交変換係数に割り当てる符号量を演算する第
１の演算ステップと、前記第１の演算ステップの処理により演算された、前記
直交変換係数に割り当てる符号量に基づいて、目標符号
量を演算する第２の演算ステップと、前記第２の演算ステップの処理により演算された前記目
標符号量に基づいて、前記画像圧縮情報の再量子化時の
符号量を制御する制御ステップとを含むことを特徴とす
るコンピュータが読み取り可能なプログラムが記録され
ている記録媒体。