JP3902987B2 - 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 - Google Patents
画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP3902987B2 JP3902987B2 JP2002188356A JP2002188356A JP3902987B2 JP 3902987 B2 JP3902987 B2 JP 3902987B2 JP 2002188356 A JP2002188356 A JP 2002188356A JP 2002188356 A JP2002188356 A JP 2002188356A JP 3902987 B2 JP3902987 B2 JP 3902987B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- compression
- encoded
- encoded data
- compression encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、プログラム、記憶媒体に関するものである。
【０００２】
【従来の技術】
現在、静止画像に対する圧縮符号化処理機能は、多くのデジタル・イメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものは所謂デジタル・カメラの類であるが、デジタル・カラー・コピー機も圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。
【０００３】
デジタル・カラー・コピー機では、原稿読み取り部から印刷部に対して読み取られた原稿画像データを転送する際のデータ転送量を軽減する目的で原稿読み取り部には読み取られた原稿画像データに対する圧縮符号化処理機能が、一方の印刷部には符号化された原稿画像データ列に対する伸張復号化処理機能がそれぞれ搭載されている。
【０００４】
原稿読み取り部の後段に具備される圧縮符号化処理部によって生成される符号化された原稿画像データ列のデータ量は、圧縮符号化処理される前の原稿画像データ、すなわち読み取られた原稿画像データのデータ量に比べると数分の一から十数分の一程度に低減される。
【０００５】
符号化された原稿画像データ列の圧縮符号化処理される前の原稿画像データに対するデータ量の低減度、すなわち圧縮率の上限値は、符号化歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。
【０００６】
一方、上記圧縮率の許容される下限値は、原稿読み取り部における単位時間あたりに読み込むことができる原稿画像データの最大データ量、および原稿読み取り部から印刷部に転送する際の圧縮符号化された原稿画像データ列の最大データ転送量、といったようなそのシステムにおける各種システム・パラメータによって一意に決定される。
【０００７】
このように圧縮率の許容される上限値および下限値が設定されたとしても、供給されるすべての原稿画像データに対する圧縮率をその範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。
【０００８】
その理由は、量子化テーブルに代表される符号化パラメータとして同一のものを用いて圧縮符号化処理を行なっても、得られる符号化された原稿画像データ列のデータ量は原稿画像データ毎に不定であること、言い換えるならば、読み取られた原稿画像データ毎にその圧縮率は変わってしまうことに起因する。
【０００９】
これは、読み取られた原稿画像データ毎にその画像データが有する情報の空間周波数から見た偏りおよびその度合いが異なり、そのような原稿画像データに対する圧縮符号化処理の中では、値が０である変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化といったような被圧縮符号化画像データが持つ冗長性を限りなく除去するための様々な手法が採用されているためである。
【００１０】
従って、すべての原稿画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、被圧縮符号化データすなわち供給される原稿画像データの各々に対して適用する符号化パラメータを適応的に変える必要がある。
【００１１】
一般的に圧縮率が一定になるように圧縮符号化処理を行なうためには、所謂情報量制御あるいは符号量制御と称される符号化制御を実現しなければならない。
【００１２】
上記情報量制御の具体的な実現手法としては、フィードフォワード手法とフィードバック手法の大きくふたつの手法が知られている。
【００１３】
フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミック・レンジ、電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。
【００１４】
これに対して、フィードバック手法は試行となる圧縮符号化処理を行なうことによって得られた符号化データ量の実測値から最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。
【００１５】
圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを予測するフィードバック手法のほうが、実際に得られた符号化データ量を直接的に予測値算出に用いているという点で、フィードフォワード手法に比べてより高い精度で目的とする符号化データ量を生成する符号化パラメータの予測値を得ることができる。しかし、このフィードバック手法は原理的に試行となる圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。
【００１６】
ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもその処理時間の増分が許容できるようなシステム、言わばリアルタイム性や性能が過度に要求されないシステムであれば、特公平８−３２０３７号公報に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。
【００１７】
しかし、デジタル・カメラやデジタル・カラー・コピー機器のようなデジタル・イメージング機器では一般的にリアルタイム性および性能が要求される。したがって、最適な符号化パラメータを予測するための試行となる圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、さらにその予測精度として十分高いものが要求される。
【００１８】
フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることは容易に考えられる。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に用いられる符号化パラメータの数と同数の演算回路あるいは処理回路を具備し、それらの回路を並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要となる。従来からこの課題を解決するいくつかの公知技術が考案されている。
【００１９】
このような言わば並列回路アーキテクチャの公知技術の一例である文献１”映像情報１９９２年１月号５１-５８ページ『６０〜１４０Ｍｂｐｓ対応のＨＤＴＶコーデック』”では、複数の符号化パラメータとしてＮ組の量子化テーブルを用いて、Ｎ個の量子化回路およびＮ個の発生符号量測定回路を具備する圧縮符号化装置から得られるＮ個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。
【００２０】
同様な構成でありながら回路規模の増大を抑える工夫として、特許第２５２３９５３号では、３個の量子化回路を備えることによって試行となる圧縮符号化処理の際に５組の量子化テーブルを用いた量子化を並列に行ない、結果として５つの符号化データ量の値を算出することが記載されている。
【００２１】
ひとつの画像データを圧縮復号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を適応的に変えながら順次圧縮符号化処理を進めることができる符号化方式を採用している動画像圧縮符号化では、特許第２８９７５６３号に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。
【００２２】
この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いて量子化して得られるブロック単位の符号化データ列のデータ量を算出し、その算出されたデータ量を基にＭ個の量子化スケール値で得られることが期待されるＭ個の符号化データ列のデータ量を予測し、前記Ｍ個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用している量子化スケーリング値を逐次補正しながら圧縮符号化処理を進めている。
【００２３】
さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で特許第３０３８０２２号では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化および可変長符号化して得られた符号化データ列のデータ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること（有意の変換係数の情報を廃棄すること）が記載されている。
【００２４】
【発明が解決しようとする課題】
前述したようなフィードバック手法を用いた情報量制御における従来例の思想は、試行として行なわれる圧縮符号化処理によって得られたひとつあるいは複数個の符号化データ量の実測値を基に最適な符号化パラメータ、およびその符号化パラメータによって生成される符号化データ量の予測値を導出するという点でいずれも共通している。
【００２５】
また一般的な静止画像圧縮符号化方式として今日広く採用されているＪＰＥＧ符号化方式においては、最も代表的な符号化パラメータのひとつである量子化ステップ値行列、すなわち量子化テーブルについては、そのただ一つのテーブルの組み合わせがひとつの被圧縮符号化データを構成するすべてのブロックに対して共通に適用される。従って、このような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用することが前提になっている場合、従来例のひとつとして前述した符号化パラメータの逐次補正アルゴリズムを適用することはできない。
【００２６】
さらに、もうひとつの従来例として引用した特許第３０３８０２２号に記載されているアルゴリズムでは、ブロック単位に割り当てたデータ量を超えてしまった時点でそのブロックに対する可変長符号化を打ち切ってしまうので、画像データを構成するすべてのブロックの圧縮符号化処理が終了した時点で得られた最終的な符号化データ列のデータ量が許容される上限値を超えない場合でも、本来廃棄する必要が無い有意の変換係数まで廃棄することになってしまい、伸張復号化処理によって得られる再構成画像において圧縮符号化歪みの局所的なばらつきが生じてしまう。したがってデジタル・イメージング機器への適用は好ましいとは言えない。
【００２７】
デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムにおいて、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつ圧縮符号化処理を行なう場合、従来例として前述した並列回路アーキテクチャは確かに有効な実現形態ではあることには間違いがない。しかし、複数の符号化処理回路を実現するための回路規模、および複数個の符号化データ列を一時的に格納するためのバッファの容量としていずれも莫大なものが必要とされ、コスト的な見地からすると余りに多くの並列化を実現することは困難である。
【００２８】
これらのことから、デジタル・イメージング機器において、ＪＰＥＧ符号化方式のような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用する場合、許容範囲内の回路規模で並列化数を上げて、少しでも多くの互いに異なる符号化パラメータによって圧縮符号化処理を同時に行ない、得られた複数個の符号化データ列から圧縮率の許容される範囲内で最も符号化歪みの小さい符号化データ列を出力とすることが最適な実現形態となる。しかし、並列化数が有限である以上、複数の符号化パラメータをもって生成された符号化データ列がいずれも圧縮率の許容範囲内からはずれてしまう場合もあり得る。
【００２９】
このような場合、新たな符号化パラメータを決定して、被符号化データの先頭から再び圧縮符号化処理をやり直す必要がある。しかし、やり直し、すなわち再符号化処理に費やされる時間はそのままシステムの性能低下に繋がる。
【００３０】
本発明は以上の問題を鑑みてなされたものであり、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることを目的とする。又、本発明は上記予め定められたサイズを適宜求めることを目的とする。
【００３１】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。
【００３２】
すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化手段により圧縮符号化された符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。
【００３３】
本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。
【００３４】
すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化手段と、前記第２の圧縮符号化手段に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化手段により圧縮符号化された置換候補の符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。
【００３５】
本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。
【００３６】
すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化工程で圧縮符号化された符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを含むことを特徴とする。
【００３７】
本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。
【００３８】
すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化工程と、前記第２の圧縮符号化工程に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化工程で圧縮符号化された置換候補の符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを備えることを特徴とする。
【００３９】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００４０】
［第１の実施形態］
図１は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。図２は、図１に示した符号化部１０３の構成を示すブロック図である。各部についての説明は後述する。図３は図１に示した再符号化部１０７の構成を示すブロック図である。各部についての説明は後述する。図４は、図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。図５は、第１の原画像データを表わした図である。
【００４１】
図６は、第１の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。さらに図１０は、図１に示した制御部１０１が行う処理のフローチャートである。
【００４２】
本実施形態の画像符号化装置が図５に示した第１の原画像データに対して行う一連の圧縮符号化処理について、上記図１乃至図６、及び図１０を用いて以下、説明する。
【００４３】
まず、画像符号化装置の初期化処理を行う（ステップＳ１）。初期化処理の具体的な内容を以下に示す。
【００４４】
不図示の外部システム等によって、制御部１０１には第１の原画像データの大きさを表わす情報、より具体的には、その原画像データを構成する矩形領域の総個数が一連の圧縮符号化処理に先んじて格納されている。ここで矩形領域の大きさは、１６×１６画素であるものとするが、これに限定されるものではない。
【００４５】
また不図示の外部システム等によって、制御部１０１には最終的に画像符号化装置から出力される符号化データ列の累積加算されたデータ量の最大許容値（ビット数あるいはバイト数）が一連の圧縮符号化処理に先んじて格納されている。図４および図６に示すグラフにおいて、制御部１０１に格納された最大許容符号化データ量はグラフの上部に水平の点直線として記されている。
【００４６】
また不図示の外部システム等によって、符号化部１０３内の量子化テーブル２０５には８行×８列の直交変換係数行列を構成するそれぞれの直交変換係数に対応づけられた８×８個の量子化ステップ値行列が一連の圧縮符号化処理に先んじて格納されており、その値は量子化ステップ信号２１４を介して量子化部２０２によって参照される。
【００４７】
また不図示の外部システム等によって、符号化部１０３内の可変長符号語化テーブル２０６には被符号化データであるシンボルのそれぞれに対応づけられた可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、その値は可変長符号語信号２１５を介してエントロピー符号化部２０４によって参照される。
【００４８】
また不図示の外部システム等によって、再符号化部１０７内の復号化用可変長符号語テーブル３０４および符号化用可変長符号語テーブル３０５には符号化部１０３内の可変長符号語化テーブル２０６に格納されたものと同一の可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、それらの値は復号化用可変長符号語信号３１３を介してエントロピー復号化部３０１によって、および符号化用可変長符号語信号３１４を介してエントロピー符号化部３０３によって、それぞれ参照される。
【００４９】
以上の初期化処理が終了すると、画像符号化装置は以下の画像符号化処理を行う。まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６をＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２）。
【００５０】
動作フェーズ指示信号１３５によってスイッチ１０６は、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【００５１】
次に、制御部１０１は第１の符号化データ列バッファ１０４内を空にすべく第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なうとともに、同様に第２の符号化データ列バッファ１０８内を空にすべく第２の符号化データ列バッファ１０８に対して初期化指示を第２のバッファ制御信号１３４を介して行なう（ステップＳ３）。
【００５２】
また、制御部１０１はその内部でそのデータ量を累積加算する第１の符号化データ列に対応する第１の累積値、および第２の符号化データ列に対応する第２の累積値をいずれも０にリセットする（ステップＳ４）。
【００５３】
さらに、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの初期値として値“×１”を、同様に再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を、それぞれ出力する（ステップＳ５）。
【００５４】
その後、制御部１０１は符号化部１０３に対してその符号化処理の動作開始を符号化部動作制御信号１３１を介して指示し、同時に再符号化部１０７に対してその再符号化処理の動作開始を再符号化部動作制御信号１３２を介して指示する（ステップＳ６）。
【００５５】
上記指示によって画像符号化装置は、実質的に第１の原画像データに対する１回目の符号化フェーズに移行することになる。図１３に符号化部１０３が行う一連の圧縮符号化処理のフローチャートを示す。
【００５６】
不図示の外部装置、例えば原稿読み取り部や撮像部によって原画像データ入力信号１２１を介して供給された第１の原画像データは、原画像データ入力部１０２において所定の大きさである矩形領域に等分割され、その矩形領域単位で被符号化データ入力信号１２２上に順次出力される（ステップＳ１３０１）。その際、原画像データ入力部１０２は矩形領域位置情報信号１５１上に現在被符号化データ入力信号１２２上に出力している矩形領域の原画像データにおける位置情報、より具体的には既に出力された矩形領域の個数の累計値を順次出力する（ステップＳ１３０１）。
【００５７】
原画像データ入力部１０２によって被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域単位の原画像データは、符号化部１０３内の直交変換部２０１においてさらに複数個の８行×８列サンプルのブロックに等分割された後、そのブロック単位で直交変換演算が施され、その演算結果として得られた複数個の８行×８列の直交変換係数行列が変換係数行列信号２１１上に順次出力される（ステップＳ１３０２）。
【００５８】
符号化部１０３内の量子化部２０２では、直交変換部２０１から変換係数行列信号２１１を介して供給される複数個の８行×８列の直交変換係数行列と、量子化テーブル２０５から量子化ステップ信号２１４を介して供給される８×８個の量子化ステップ値とを用いて量子化演算を行ない、その演算結果として得られた複数個の８行×８列の量子化された直交変換係数行列が量子化された変換係数行列信号２１２上に順次出力される（ステップＳ１３０３）。
【００５９】
符号化部１０３内のスケーリング部２０３では、量子化部２０２から量子化された変換係数行列信号２１２を介して供給される複数個の８行×８列の量子化された直交変換係数行列に対して、別途符号化パラメータ指示信号１３６を介して制御部１０１から指示されるスケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列のスケーリングされた直交変換係数行列が、スケーリングされた変換係数行列信号２１３上に順次出力される（ステップＳ１３０４）。
【００６０】
このスケーリング部２０３で実行されるスケーリング演算はビットシフトを基本としている。また本実施形態ではスケーリング値として“×１”、“×２”、“×４”、および“×８”の４つの値のうちのいずれかが選択可能であり、その値“×Ｎ”の意味するところは直交変換係数の交流成分に対応する量子化ステップ値をすべてＮ倍した量子化テーブルで量子化することによって得られる直交変換係数行列と同等のものであることを意味している。例えばスケーリング値が“×２”であれば入力される直交変換係数の交流成分に対して右に１ビット算術シフトした値を演算結果とし、スケーリング値が“×４”であれば右に２ビット算術シフトした値、スケーリング値が“×８”であれば右に３ビット算術シフトした値、がぞれぞれ演算結果とする。但しスケーリング値が“×１”である場合は、入力される直交変換係数のすべての成分がそのまま演算結果として出力される。またいずれのスケーリング値であっても直交変換係数の直流成分に対しては何ら演算を施さない。
【００６１】
スケーリング部２０３に対するスケーリング値の初期値としてはこの“×１”が設定されている（ステップＳ５）。
【００６２】
スケーリング部２０３で実行されるスケーリング演算における入力値（直交変換係数の交流成分）と演算結果（スケーリングされた変換係数）を表の形式でまとめたものを表１に示す。
【００６３】
【表１】
【００６４】
符号化部１０３内のエントロピー符号化部２０４では、スケーリング部２０３からスケーリングされた変換係数行列信号２１３を介して供給される複数個の８行×８列のスケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル２０６を参照しながらの可変長符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力される（ステップＳ１３０５）。
【００６５】
エントロピー符号化部２０４から第１の符号化データ列信号１２３上に出力された第１の符号化データ列は、符号化部１０３内の符号化データ量計数部２０７によって個々の矩形領域に対応する符号化データ列の単位でそのデータ長が計数され、結果として得られる第１の符号化データ列のデータ量が、符号化付帯情報通知信号１５２上に出力される（ステップＳ１３０６）。
【００６６】
一方、制御部１０１では、符号化部１０３から符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算される（ステップＳ７）。
【００６７】
図５に示した第１の原画像データに対して、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する４個の符号化ストリームのデータ量の累積値の推移が図４に示すグラフ上で原点から始まる４本の直線で表わされている。実際の累積値はこのように直線的に増えることは無いが、ここでは説明を簡単にするために敢えて直線で表わしている。
【００６８】
このグラフ上で、スケーリング値“×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は直線Ｑ１（Ａ）で表わされている。既に圧縮符号化された矩形領域の相対位置がｐ１の時点で、言いかえれば第１の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×１”を用いた圧縮符号化処理は必要とされないことになる。
【００６９】
なお、この矩形領域の第１の原画像データにおける相対位置ｐ１は、図５に描かれている第１の原画像データ上でその二次元的な位置が示されている。また分割領域Ａは第１の原画像データ上で、最初に圧縮符号化処理された矩形領域（原画像データにおいて最も左上隅に位置する矩形領域）から相対位置ｐ１に位置する矩形領域までのすべての矩形領域の集まりとして示されている。
【００７０】
圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ａの範囲にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【００７１】
従って、相対位置ｐ１以降の矩形領域に対する圧縮符号化処理は、残り３つのスケーリング値“×２”、“×４”、および“×８”に対応する３つの符号化データ列に対するもののみに対してその動作が継続される。
【００７２】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【００７３】
スケーリング値“×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまっているので、これ以降の矩形領域に対するスケーリング値“×２”を用いた圧縮符号化処理は必要とされないことになる。
【００７４】
従って、相対位置ｐ２以降の矩形領域に対する圧縮符号化処理は、残り２つのスケーリング値“×４”、および“×８”に対応する２つの符号化データ列に対するもののみに対してその動作が継続される。
【００７５】
図４に示した第１の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｃの範囲（ｐ２から１００%まで）にある期間に、残り２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００%に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬ４（Ａ＋Ｂ＋Ｃ）およびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【００７６】
このことから、図５に示した第１の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる２つの符号化データ列のデータ量の最終的な累積値は、いずれも最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。
【００７７】
結果としては、符号化歪みの観点からより圧縮率の低い符号化データ列であるスケーリング値“×４”を用いた圧縮符号化処理によって得られる符号化データ列が、この画像符号化装置の出力すべき最適な符号化データ列になる。
【００７８】
実際には、このように結果として得られるスケーリング値“×４”が最適な符号化パラメータであることは、図５に示した第１の原画像データに対する一連の圧縮符号化処理を開始する時点では未知である。
【００７９】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。図１４に再符号化部１０７が行う処理のフローチャートを示す。
【００８０】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で再符号化部１０７内のエントロピー復号化部３０１に入力される。
【００８１】
再符号化部１０７内のエントロピー復号化部３０１では、選択された符号化データ列信号１２４を介して供給される個々の矩形領域に対応する符号化データ列に対して、可変長復号語テーブル３０４を参照しながらの復号化、およびランレングス復号化、さらに所定のスキャン順序による二次元化を順に施し、結果として得られた複数個の８行×８列の復号化された直交変換係数行列が復号化された変換係数行列信号３１１上に順次出力される（ステップＳ１４０１）。
【００８２】
再符号化部１０７内のスケーリング部３０２では、エントロピー復号化部３０１から復号化された変換係数行列信号３１１を介して供給される複数個の８行×８列の復号化された直交変換係数行列に対して、別途再符号化パラメータ指示信号１３７を介して制御部１０１から指示される再スケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列の再スケーリングされた直交変換係数行列が、再スケーリングされた変換係数行列信号３１２上に順次出力される（ステップＳ１４０２）。このスケーリング部３０２で実行されるスケーリング演算は符号化部１０３内のスケーリング部２０３で実行されるスケーリング演算と同一の演算である。スケーリング部３０２に対するスケーリング値としては特別なケースを除けば、常に固定値“×２”が設定される。
【００８３】
再符号化部１０７内のエントロピー符号化部３０３では、スケーリング部３０２から再スケーリングされた変換係数行列信号３１２を介して供給される複数個の８行×８列の再スケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル３０５を参照しながら可変長の符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力される（ステップＳ１４０３）。
【００８４】
エントロピー符号化部３０３から第２の符号化データ列信号１２７上に出力された置換候補となる第２の符号化データ列は、再符号化部１０７内の符号化データ量計数部３０６によって個々の矩形領域に対応する符号化データ列の単位でそのデータ量が計数され、結果として得られる第２の符号化データ列のデータ量が、再符号化付帯情報通知信号１５３上に出力される（ステップＳ１４０４）。
【００８５】
再符号化部１０７から再符号化付帯情報通知信号１５３を介して同様に制御部１０１に順次供給される個々の矩形領域に対応する置換候補となる第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ８）。
【００８６】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第２の符号化データ列バッファ１０８内に順次格納される。
【００８７】
１回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ａの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×１”（初期値）を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ１（Ａ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ１（Ａ）に相当するものである。
【００８８】
一方、同じ１回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×１”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ１（Ａ）→Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ａ）に相当するものである。
【００８９】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の１回目の符号化フェーズを終了すべきであると判断する（ステップＳ９）。
【００９０】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ１１）。
【００９１】
その後、画像符号化装置の動作フェーズを１回目の符号化フェーズから１回目の転送フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【００９２】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ１０６をＴ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ１２）。
【００９３】
動作フェーズ指示信号１３５によりスイッチ１０６内では、第２のバッファ読み出し信号１２８を介して供給される置換候補である第２の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【００９４】
次に、制御部１０１は１回目の符号化フェーズ期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ１３）。
【００９５】
次に、制御部１０１はこの時点での第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される１回目の転送フェーズの期間中に再符号化器１０７によって“次の”置換候補となる第２の符号化データ列を同時に生成すべきか否かを判断する（ステップＳ１４）。
【００９６】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ１５）、その後、先ほど（ステップＳ１１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ１６）。
【００９７】
“次の”置換候補となる第２の符号化データ列を生成するか否かに係わらず、制御部１０１はこの時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１７）。
【００９８】
その後、制御部１０１は先行する１回目の符号化フェーズの期間中に再符号化部１０７によって生成され、さらに第２の符号化データ列バッファ１０８に格納された、そのデータ量の累積値がＬ２（Ａ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０８に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１８）。
【００９９】
上記指示によって、画像符号化装置は実質的に１回目の転送フェーズに移行することになる。
【０１００】
第２のバッファ読み出し信号１２８を介して第２の符号化データ列バッファ１０８から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０７にも順次供給される。
【０１０１】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１０２】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する“次の”置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１０３】
この１回目の転送フェーズの期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される第２の符号化データ列は、先行する１回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、この１回目の転送フェーズの期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示される。
【０１０４】
一方、“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、同じ１回目の転送フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される“次の”置換候補となる第２の符号化データ列は、先行する１回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成された第２の符号化データ列に対して、さらに同じ再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ２（Ａ）→Ｑ４（Ａ）として、およびその最終的な累積値がＬ４（Ａ）として示される（ステップＳ１９）。
【０１０５】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０７によって生成された“次の”置換候補となる第２の符号化データ列がすべて第２の符号化データ列バッファ１０８に格納されたことが確認されたならば、実行中の１回の転送フェーズを終了して、速やかに２回目の符号化フェーズに復帰すべきであると判断する（ステップＳ２０）。
【０１０６】
このような判断がなされた場合、先行する転送フェーズの期間中に次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、制御部１０１は直ちに、再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１）。
【０１０７】
その後、画像符号化装置の動作フェーズを１回目の転送フェーズから２回目の符号化フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１０８】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６を再びＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２２）。
【０１０９】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように再び接続する。
【０１１０】
次に、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの更新値として値“×２”を出力し（ステップＳ２３）、その後、先行する１回目の転送フェーズの期間中に中断状態にあった符号化部１０３に対してその符号化処理の動作再開を符号化部動作制御信号１３１を介して指示する（ステップＳ２４）。
【０１１１】
先行する１回目の転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、今から開始される２回目の符号化フェーズの期間中にも再符号化器１０７によるその再符号化処理を継続するものと判断して（ステップＳ２５）、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ２６）、その後、先ほど（ステップＳ２１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ２７）。
【０１１２】
上記指示によって、画像符号化装置は実質的に２回目の符号化フェーズに移行することになる。
【０１１３】
原画像データ入力部１０２は先行する１回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第１の原画像データにおける相対位置がｐ１の直後の矩形領域から再開する。また、符号化部１０３による符号化処理は上記の通り、図１３に示したフローチャートに従って行われる。
【０１１４】
つまり、原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１１５】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。
【０１１６】
この際に、第１の符号化データ列バッファ１０４内では、入力される第１の符号化データ列が先行する１回目の転送フェーズの期間中に格納（転送）された第１の原画像データ上の分割領域Ａに対応するスケーリング値“×２”の符号化データ列に後続する位置から順次格納される。
【０１１７】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１１８】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１１９】
この際に、第２の符号化データ列バッファ１０８内では、第２の符号化データ列が先行する１回目の転送フェーズの期間中に格納された第１の原画像データ上の分割領域Ａに対応するスケーリング値“×４”の符号化データ列に後続する位置から順次格納される。
【０１２０】
２回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｂの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×２”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ｂ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ｂ）に相当するものである。
【０１２１】
一方、同じ２回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×２”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ２（Ｂ）→Ｑ４（Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｂ）に相当するものである。
【０１２２】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の２回目の符号化フェーズを終了すべきであると判断する（ステップＳ９）。
【０１２３】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示し（ステップＳ１１）。
【０１２４】
その後、画像符号化装置の動作フェーズを２回目の符号化フェーズから２回目の転送フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１２５】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ１０６をＴ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ１２）。
【０１２６】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第２のバッファ読み出し信号１２８を介して供給される置換候補である第２の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【０１２７】
次に、制御部１０１は１回目の転送フェーズおよび２回目の符号化フェーズの期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ１３）。
【０１２８】
次に、制御部１０１はこの時点での第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される２回目の転送フェーズの期間中に再符号化部１０７によって“次の”置換候補となる第２の符号化データ列を同時に生成すべきか否かを判断する（ステップＳ１４）。
【０１２９】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ１５）、その後、先ほど（ステップＳ１１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ１６）。
【０１３０】
“次の”置換候補となる第２の符号化データ列を生成するか否かに係わらず、制御部１０１はこの時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１７）。
【０１３１】
その後、制御部１０１は先行する１回目の転送フェーズおよび１回目の符号化フェーズ期間中に再符号化部１０７によって生成され、さらに第２の符号化データ列バッファ１０８に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０８に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１８）。
【０１３２】
上記指示によって、画像符号化装置は実質的に２回目の転送フェーズに移行することになる。
【０１３３】
第２のバッファ読み出し信号１２８を介して第２の符号化データ列バッファ１０８から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０７にも順次供給される。
【０１３４】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１３５】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する“次の”置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１３６】
この２回目の転送フェーズの期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される第２の符号化データ列は、先行する１回目の転送フェーズおよび２回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、この２回目の転送フェーズの期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ａ＋Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示される。
【０１３７】
一方、“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、同じ２回目の転送フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される“次の”置換候補となる第２の符号化データ列は、先行する２回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成された第２の符号化データ列に対して、さらに同じ再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ４（Ａ＋Ｂ）→Ｑ８（Ａ＋Ｂ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ）として示される（ステップＳ１９）。
【０１３８】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０７によって生成された“次の”置換候補となる第２の符号化データ列がすべて第２の符号化データ列バッファ１０８に格納されたことが確認されたならば、実行中の２回目の転送フェーズを終了して、速やかに３回目の符号化フェーズに復帰すべきであると判断する（ステップＳ２０）。
【０１３９】
このような判断がなされた場合、先行する転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、制御部１０１は直ちに、再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１）。
【０１４０】
その後、画像符号化装置の動作フェーズを２回目の転送フェーズから３回目の符号化フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１４１】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６を再びＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２２）。
【０１４２】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように再び接続する。
【０１４３】
次に、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの更新値として値“×４”を出力し（ステップＳ２３）、その後、先行する２回目の転送フェーズの期間中に中断状態にあった符号化部１０３に対してその符号化処理の動作再開を符号化部動作制御信号１３１を介して指示する（ステップＳ２４）。
【０１４４】
先行する２回目の転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、今から開始される３回目の符号化フェーズの期間中にも再符号化器１０７によるその再符号化処理を継続するものと判断して（ステップＳ２５）、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ２６）、その後、先ほど（ステップＳ２１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ２７）。
【０１４５】
上記指示によって、画像符号化装置は実質的に３回目の符号化フェーズに移行することになる。
【０１４６】
原画像データ入力部１０２は先行する２回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第１の原画像データにおける相対位置がｐ２の直後の矩形領域から再開する。
【０１４７】
原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値“×４”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１４８】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。
【０１４９】
この際に、第１の符号化データ列バッファ１０４内では、入力される第１の符号化データ列が先行する２回目の転送フェーズの期間中に格納（転送）された第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値“×４”の符号化データ列に後続する位置から順次格納される。
【０１５０】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１５１】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１５２】
この際に、第２の符号化データ列バッファ１０８内では、入力される置換候補となる第２の符号化データ列が、先行する２回目の転送フェーズの期間中に格納された第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値“×８”の符号化データ列に後続する位置から順次格納される。
【０１５３】
３回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｃの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×４”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ｃ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｃ）に相当するものである。
【０１５４】
一方、同じ３回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×４”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ４（Ｃ）→Ｑ８（Ｃ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で示された直線Ｑ８（Ｃ）に相当するものである。
【０１５５】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍを超えないことが確認されたならば、実行中の３回目の符号化フェーズを終了すべきであると判断する（ステップＳ１０）。
【０１５６】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作終了を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作終了を再符号化部動作制御信号１３２を介して指示する（ステップＳ２８）。
【０１５７】
続いて、制御部１０１は先行する２回目の転送フェーズさらに３回目の符号化フェーズの期間中に第１の符号化データ列バッファ１０４に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ＋Ｃ）である符号化データ列を画像符号化装置から出力すべく、第１の符号化データ列バッファ１０４に対して読み出し指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ２９）。
【０１５８】
第１の符号化データ列バッファ１０４から第１のバッファ読み出し信号１２５を介して読み出された個々の矩形領域に対応する符号化データ列は、符号化データ列出力部１０５によって第１の原画像データ全体に対するひとつの符号化データ列としてまとめられ、その符号化データ列が画像符号化装置の圧縮符号化処理の結果として符号化データ列出力信号１２６上に出力される。
【０１５９】
本実施形態の画像符号化装置は、符号化データ列出力部１０５による符号化データ列の出力処理の終了をもって（ステップＳ３０）、第１の原画像データに対する一連の圧縮符号化処理を終了することになる。
【０１６０】
以上説明してきた第１の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×４”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが都合２回挿入された。
【０１６１】
さらに、２回目の転送フェーズおよびそれに続く３回目の符号化フェーズの期間中に、“次の”置換候補となるスケーリング値“×８”に相当する第２の符号化データ列が再符号化部１０７における再符号化処理によって生成された。
【０１６２】
結論から見ると、この最後の置換候補となる第２の符号化データ列は、あくまでも”候補”で終わってしまい、画像符号化装置から出力されることはなかったが、このことは、画像符号化装置の動作フェーズが２回目の転送フェーズへ移行する時点で、制御部１０１がステップＳ１４において“次の”置換候補となる符号化データ列を生成すべきという判断を下したことに起因する。
【０１６３】
以上の説明により、本実施形態の画像符号化装置及び画像符号化方法によって、画像圧縮符号化結果のデータサイズを予め定められたサイズ以下に抑えることができると共に、上述した従来の圧縮符号化処理のように冗長した処理を行うことがないので、圧縮符号化処理に要する時間を従来よりも短縮する事ができる。
【０１６４】
［第２の実施形態］
本実施形態では、第１の原画像とは異なる第２の原画像に対して図１に示した構成を備える画像符号化装置を用いて圧縮符号化する際の処理について説明する。第１の原画像が符号化フェーズが３回となるような画像であったのに対し、符号化フェーズの数が４回となるような圧縮符号化対象の画像を第２の原画像としている。
【０１６５】
図７は、図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。図８は、上記第２の原画像データを表わした図である。図９は、図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【０１６６】
本実施形態の画像符号化装置が図８に示した第２の原画像データに対して行う一連の圧縮符号化処理について、上記図１乃至図３、及び図７乃至１０を用いて以下、説明する。なお、本実施形態における圧縮符号化処理は図１０に示したフローチャートに従ったものとなる。
【０１６７】
図８に示した第２の原画像データに対して、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理を実行した場合に得られる個々の矩形領域に対応する４個の符号化ストリームのデータ量の累積値の推移が図７に示すグラフ上で原点から始まる４本の直線で表わされている。
【０１６８】
このグラフ上で、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ａの範囲にある期間に、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ１（Ａ）、Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら４個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【０１６９】
スケーリング値“×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×１”を用いた圧縮符号化処理は必要とされないことになる。
【０１７０】
従って、相対位置ｐ１以降の矩形領域に対する圧縮符号化処理は、残り３つのスケーリング値“×２”、“×４”、および“×８”に対応する３つの符号化データ列に対するもののみに対してその動作が継続される。
【０１７１】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【０１７２】
スケーリング値“×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×２”を用いた圧縮符号化処理は必要とされないことになる。
【０１７３】
従って、相対位置ｐ２以降の矩形領域に対する圧縮符号化処理は、残り２つのスケーリング値“×４”、および“×８”に対応する２つの符号化データ列に対するもののみに対してその動作が継続される。
【０１７４】
図７に示した第２の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｃの範囲（ｐ２からｐ３まで）にある期間に、残り２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ３に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬｌｉｍおよびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【０１７５】
スケーリング値“×４”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａ、分割領域Ｂおよび分割領域Ｃを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×４”を用いた圧縮符号化処理は必要とされないことになる。
【０１７６】
従って、相対位置ｐ３以降の矩形領域に対する圧縮符号化処理は、残りのスケーリング値“×８”に対応する符号化データ列に対するもののみに対してその動作が継続される。
【０１７７】
図７に示した第２の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｃの範囲（ｐ３から１００%まで）にある期間に、残りのスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ８（Ｄ）として表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００%に達した時点におけるこの符号化データ列のデータ量の累積値はＬ８（Ａ＋Ｂ＋Ｃ＋Ｄ）に達することが示されている。
【０１７８】
このことから、図８に示した第２の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、２つのスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の最終的な累積値は、最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。
【０１７９】
結果としては、このスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列が、画像符号化装置の出力すべき最適な符号化データ列になる。
【０１８０】
この第２の原画像データに対して実際に画像符号化装置において一連の圧縮符号化処理を行なった場合、第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値の遷移は図９に示すようになる。
【０１８１】
図９を見るとわかるように、第２の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×８”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが３回挿入される。
【０１８２】
しかし、この第２の原画像データの例では、３回目の転送フェーズおよびそれに続く４回目の符号化フェーズの期間中に、“次の”置換候補となる第２の符号化データ列を生成するための再符号化処理は再符号化部１０７によって実行されなかったことが示されている。
【０１８３】
このことは、画像符号化装置の動作フェーズが３回目の転送フェーズへ移行する時点で、制御部１０１がステップＳ１４において“次の”置換候補となる符号化データ列の生成が不要であるという判断を下したことに起因する。
【０１８４】
以上説明してきたように、第１，２の実施形態の画像符号化装置では、制御部１０１が一連の圧縮符号化処理の過程において２つの動作フェーズである符号化フェーズと転送フェーズ間の移行を制御している。
【０１８５】
そして、符号化パラメータ（スケーリング値）に対する更新の必要性に伴なう実行中の符号化フェーズの中断と転送フェーズへの移行の際に、さらなる“次の”置換候補となり得る新たな符号化データ列を再符号化処理によって生成するか否かを、制御部１０１はその内部で、第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、所定の判断基準によって決定する。この判断基準は、言うなれば、さらなる“次の”置換候補となり得る符号化データ列がその後に発生する転送フェーズの期間中に実際に第１の符号化データ列バッファに転送され得る確率の予測値が基になっている。
【０１８６】
例えば、その確率の予測値を算出する方法は、転送フェーズに移行した時点において圧縮符号化がなされていない残りの矩形領域が原画像データ上で占める割合いが小さいほど低くなり、またその時点において第２の符号化データ列バッファに格納されている最新の置換候補となる符号化データ列のデータ量の累積値が小さいほど低くなる、と言った統計的性質、および想定される矩形領域単位の符号化データ列の最大データ量等に代表されるような入力される原画像データそのものの統計的性質、等を用いている。
【０１８７】
［第３の実施形態］
上記第１，２の実施形態の画像符号化装置においては、転送フェーズの期間中に“次の”置換候補となる符号化データ列を生成するための実現手段として、専用に具備された再符号化部１０７における再符号化処理を採用した。そして、最初の符号化フェーズの期間中に最初の置換候補となる符号化データ列を生成するための実現手段、および先行する転送フェーズに後続する符号化フェーズの期間中にその置換候補となる符号化データ列の後続部分を生成するための実現手段、のいずれにも、符号化部１０３で生成された第１の符号化データ列（出力候補となる符号化データ列）を入力とする再符号化部１０７を採用した。
【０１８８】
この構成では、再符号化部１０７の稼動率は高まり、回路規模を低く抑える目的には有利であるが、一旦符号化データ列として生成されたものに対する再符号化処理は、その再符号化処理に係る処理サイクル数の増大に伴なって、対符号化部のデータ転送に伴なうフロー制御上でビジー状態を通知する可能性も比較的高くなり、このことが画像符号化装置全体としての一連の圧縮符号化処理の性能低下を招く要因にもなり得る。
【０１８９】
そういった観点から、符号化フェーズの期間中に、その置換候補となる符号化データ列の後続部分を生成するための実現手段として、符号化部において第１の符号化データ列と同時に置換候補となる符号化データ列を同時に生成するといった構成も考えられる。
【０１９０】
図１１は、このような構成をとる、本実施形態における画像符号化装置の構成を示すブロック図である。さらに図１２は、図１１に示した画像符号化装置における符号化部４０３の構成を表わすブロック図である。
【０１９１】
本実施形態の画像符号化装置においては、符号化フェーズの期間中に、符号化器４０３によって生成される２つの符号化データ列、すなわち出力候補となる第１の符号化データ列が第１の符号化データ列信号４２３〜第１のスイッチ４０６〜選択された符号化データ列信号４２５を介して第１の符号化データ列バッファ４０４に順次格納される。また同時に、置換候補となる第２の符号化データ列が第２の符号化データ列信号４２４〜第２のスイッチ４０８〜第２のバッファ書き込み信号４２８を介して第２の符号化データ列バッファ４０９に順次格納される。
【０１９２】
符号化部４０３には２つの符号化データ列に対してそれぞれ独立した符号化パラメータが、第１の符号化パラメータ指示信号４３６および第２の符号化パラメータ指示信号４３７を介して制御部４０１から供給される。
【０１９３】
例えば、第１の符号化パラメータ指示信号４３６上にスケーリング値”×２”が指示されているとき、第２の符号化パラメータ指示信号４３７上にはスケーリング値”×４”が指示される。これによって第２の符号化パラメータ指示信号４３７に対応する第２の符号化データ列が、第１の符号化データ列に対する置換候補となる。
【０１９４】
たとえば、再符号化処理への移行が決定された時点におけるそれぞれの符号化データ列の累積加算されたデータ量の目標符号化データ量に対する比率等から再符号化処理の対象とする符号化データ列を適応的に選択しても構わない。
【０１９５】
そしてそれ以外の処理は第１，２の実施形態と同様に行えばよい。
【０１９６】
以上の実施形態を後述の通りまとめる。すなわち、入力画像データに対する一連の圧縮符号化処理に伴なう所謂情報量制御を実施するにあたって、符号化フェーズにある画像符号化装置内の制御手段では、あらかじめ設定された最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された符号化データ列のデータ量の累積値等を基に、符号化フェーズを継続することの妥当性が随時判断されている。
【０１９７】
所定の判断基準によって、現在の符号化パラメータを用いた圧縮符号化処理を終了すべきと判断した場合、制御手段は符号化手段に対する符号化パラメータの更新指示と置換候補の符号化データ列との置換を行なうべく、”転送モード”への移行とおよびそれに伴なう各種動作制御を行なう。
【０１９８】
本発明の画像符号化装置においては、次に転送フェーズに移行した際に更新される符号化パラメータが既知であることが前提になっている。従って、原理的に、置換候補となリ得るもうひとつの符号化データ列を生成する処理を、符号化フェーズの期間中に行なわれる圧縮符号化処理と同時に実行することが可能である。
【０１９９】
この置換候補となり得る符号化データ列を生成する具体的な実現方法として、本発明ではふたつの方法を適用している。
【０２００】
そのひとつは、符号化手段による圧縮符号化処理によって生成された出力候補となり得る第１の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果として置換候補となり得る第２の符号化データ列を生成するものである。
【０２０１】
もうひとつの方法は、符号化手段において出力候補となり得る第１の符号化データ列の符号化処理と並行して、次に更新される符号化パラメータに対応する符号化データ列の符号化処理を同時行なうことによって、結果として置換候補となり得る第２の符号化データ列を作成するものである。
【０２０２】
符号化フェーズの期間中に前記いずれかの方法で生成され、さらに、置換候補として第２の符号化データ列バッファに格納される第２の符号化データ列は、画像符号化装置が転送フェーズに移行した際に、第１の符号化データ列バッファに転送され、その上でそれまで出力候補として格納されていた符号化データ列と置き換えられる。
【０２０３】
さらに転送フェーズの期間中に、先行投資的に、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理が前記２つのバッファ間の符号化データ列の転送処理と並行して同時に行なうことができる。
【０２０４】
この転送動作と同時に行なわれる“次の”置換候補となり得る符号化データ列を生成する実現方法は、転送中の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、さらにその次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果としてさらに“次の”置換候補となり得る符号化データ列を生成するものである。
【０２０５】
前記説明した２つのバッファメモリ間での符号化データ列の転送処理とそれと並行して行われる、先行投資的な再符号化処理が終了すると、画像符号化装置としての動作フェーズは転送フェーズから再び符号化フェーズに戻る。
【０２０６】
再び符号化フェーズに復帰した画像符号化装置においては、制御手段によって符号化手段に対する符号化パラメータの更新指示がなされた後に、その符号化手段に対する符号化処理の中断状態が解除される。この動作制御によって更新された符号化パラメータを用いた圧縮符号化処理が再開される。
【０２０７】
更新された符号化パラメータを用いて再び符号化手段によって生成される符号化データ列は、先行する転送フェーズの期間中に転送および格納された（置換候補であった）符号化データ列に後続して第１の符号化データ列バッファ上に順次格納される。
【０２０８】
また符号化フェーズの期間中に、符号化手段における圧縮符号化処理に並行して、さらに“次の”置換候補となり得る符号化データ列も前記説明した方法で生成される。
【０２０９】
いずれかの方法で生成されたさらに“次の”置換候補となり得る符号化データ列は、先行する転送フェーズの期間中に生成および格納された符号化データ列に後続して第２の符号化データ列バッファ上に順次格納される。
【０２１０】
なお、転送フェーズの期間中に先行投資的に行なわれる、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理の必要性、言い換えれば、そうやって生成された“次の”置換候補となり得る符号化データ列が、将来発生する転送フェーズにおいて実際に出力候補の符号化データ列として第１の符号化データ列バッファに転送される可能性が、最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された置換候補の符号化データ列のデータ量の累積値等を基に、転送フェーズに移行する時に定量的に評価される。
【０２１１】
したがって、転送フェーズへの移行時に、“次の”置換候補の符号化データを生成するための再符号化処理が不要であると判断される場合も有り、そのような場合には、本来転送フェーズで行なうべき２つの符号化データ列バッファ間の符号化データ列の転送処理のみが、そしてそれに続く符号化フェーズの期間中には出力候補の符号化データ列を生成するための圧縮符号化処理のみが画像符号化装置内で実行される。
【０２１２】
［第４の実施形態］
図１５は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。また、以下の実施形態の画像符号化装置の制御部では、“次の”置換候補となる符号化データ列の生成は常に行うとする。
【０２１３】
図１８は本実施形態の画像符号化装置に設定される最大許容符号化データ量５４１０と、図１５に示す目標符号化データ量算出器５１１８によって算出された目標符号化データ量５４１１と、符号化器５１０２及び再符号化器５１０３が生成する符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【０２１４】
図２１は、図１５に示したグラフ上で示される矩形領域の４箇所の相対位置０％、Ｐ１，Ｐ２、および１００％と３つの分割領域Ａ、ＢおよびＣを２次元的に原画像データ上で表わした図である。
【０２１５】
以下、図１５、図１８及び図２１を参照しながら本実施形態における画像符号化装置について説明する。
【０２１６】
画像符号化装置が符号化処理を開始する前に、外部から最大許容符号化データ量格納レジスタ５１１９に符号化データ列の累積加算されたデータ量の許容される上限値が設定される。また、制御部５１１１は、符号化・再符号化パラメータ格納レジスタ５１１２に所定の量子化スケーリング値Ｑ１、Ｑ２を設定する。なお以下、量子化スケーリング値Ｑｎ、Ｑｍ（ｍ＞ｎ）の場合、量子化スケーリング値Ｑｍを用いた方が、量子化スケーリング値Ｑｎを用いた場合よりも圧縮率が高いものとする。また、本実施形態の画像符号化装置においては、符号化・再符号化パラメータ格納レジスタ５１１２に設定されるパラメータは、量子化スケーリング値に限定されない。例えば、量子化テーブルが設定される。
【０２１７】
原画像データ５１５１が入力されると、原画像データ入力部５１０１は、原画像データ５１５１を所定の大きさのブロックに分割する。符号化器５１０２が符号化処理を開始できる状態にあれば、符号化器５１０２にブロックに分割された画像データ５１５２を送る。同時に、符号化されたブロックの原画像における相対位置５１６１を出力する。符号化器５１０２は、制御部５１１１からの制御により、符号化・再符号化パラメータ格納レジスタ５１１２に格納されている量子化スケーリング値Ｑ１を基に、ブロックに分割された画像データ５１５２を圧縮符号化し、符号化データ列５１５３と、符号化データ量５１６４を出力する。量子化スケーリング値を用いた符号化処理については公知の技術であるために、ここでの説明は省略する。
【０２１８】
符号化データ列５１５３は、符号化データ列バッファ５１０５及び選択器５１０７に入力される。選択器５１０７は、制御部５１１１からの制御により符号化データ列５１５３を選択する。再符号化器５１０３は、選択された符号化データ列５１５４に対し、符号化・再符号化パラメータ格納レジスタ５１１２から得られる量子化スケーリング値Ｑ２を基に圧縮再符号化し、再符号化データ列５１５５を符号化データ列バッファ５１０４に出力し、再符号化データ列５１５５の符号化データ量５１６８を再符号化データ量計数器５１１４に出力する。
【０２１９】
符号化データ量計数器５１１３は、符号化データ量５１６４を順次累積加算する。再符号化データ量計数器５１１４は、再符号化データ列５１５５の符号化データ量５１６８を順次累積加算する。
【０２２０】
以上の符号化及び再符号化処理により、図１８に示した量子化スケーリング値Ｑ１によって符号化された符号化データ列の累積加算された符号化データ量Ｑ１（５４２１）が符号化データ量計数器５１１３によって出力され、量子化スケーリング値Ｑ２によって符号化された符号化データ列の累積加算された符号化データ量Ｑ２（５４２２ａ）が再符号化データ量計数器５１１４から出力される。ここで、以上の処理が行なわれるフェーズを符号化フェーズ（５４０１）と呼ぶ。符号化フェーズ５４０１では、図２１に示す領域Ａのブロックの原画像が符号化されている。
【０２２１】
一方、目標符号化データ量算出器５１１８は、最大許容符号化データ量格納レジスタ５１１９から得られる最大許容符号化データ量５１７８と、原画像データ入力部５１０１から得られる符号化されたブロックの原画像における相対位置５１６１を基に、目標符号化データ量５１７３（図１８の５４１１）を算出する。なお、目標符号化データ量の具体的な算出方法としては例えば次のように求めることができる。最大許容符号化データ量をＬｍａｘ、符号化器５１０２による符号化処理を終えていないブロックの数をＮ、目標符号化データ量算出定数をCとすると、目標符号化データ量Ｌｔは次式で表現される。
【０２２２】
Ｌｔ ＝ Ｌｍａｘ − C × Ｎ
なお、目標符号化データ量算出方法はこれに限定されるものではい。符号化データ量比較器５１１７は、目標符号化データ量５１７３と、符号化データ量計数器５１１３から得られる累積加算された符号化データ量５１７５を随時比較する。
【０２２３】
ここで、図２１のブロックｐ１の符号化処理を終えた段階で、累積加算された符号化データ量５１７５が目標符号化データ量５１７３を超えたとき、制御部５１１１は、符号化器５１０２へのブロックに分割された画像データ５１５２の入力を停止させ、符号化データ列バッファ５１０５に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ５１１２に量子化スケーリング値Ｑ２及びＱ３を設定し、再符号化データ量格納レジスタ５１１５に再符号化データ列５１５５の累積加算された符号化データ量５１７６を格納し、符号化データ量計数器５１１３及び再符号化データ量計数器５１１４がカウントしていた符号化データ量をゼロにクリアした後、符号化データ列バッファ５１０４に格納されている再符号化データ列５１５６の読み出しを開始する。
【０２２４】
符号化データ列バッファ５１０４に格納されている再符号化データ列５１５８は符号化データ列バッファ５１０５にコピーされる。
【０２２５】
選択器５１０７は、再符号化データ列５１５６を選択し、再符号化器５１０３に出力する。再符号化器５１０３は、量子化スケーリング値Ｑ３を基に再符号化データ列５１５６に対して圧縮再符号化処理を行ない、さらに圧縮された再符号化データ列５１５５と、再符号化データ列５１５５の符号化データ量５１６８（図１８の５４２３ａ）を出力する。
【０２２６】
以上の処理を行なうフェーズを転送フェーズ（図１８の５４０２）と呼ぶ。転送フェーズ５４０２では、量子化スケーリング値Ｑ２を基に符号化された図２１の領域Ａのブロックの原画像が量子化スケーリング値Ｑ３を基に再符号化される。
【０２２７】
再符号化データ列５１５６に対する圧縮再符号化処理が終了（図１８の転送フェーズ５４０２が終了）した後、図２１に示す領域Ｂのブロックを符号化するフェーズに移行する。このフェーズでは、制御部５１１１は符号化器５１０２へのブロックに分割された画像データ５１５２の入力を開始し、符号化器５１０２は先程設定された量子化スケーリング値Ｑ２を用いて符号化処理を再開する（図１８の符号化フェーズ５４０３へ移行する）。そして符号化データ列５１５３は符号化データ列バッファ５１０５に入力され、先程格納した領域Ａの符号化データ列の後続のデータとして格納される。
【０２２８】
選択器５１０７は符号化データ列５１５３を選択する。符号化データ量加算器５１１６は、再符号化データ量格納レジスタ５１１５に格納されている符号化データ量５１７７と、符号化データ量計数器５１１３から得られる累積加算された符号化データ量５１７５とを加算する。符号化データ量比較器５１１７は最大許容符号化データ量５１７８と加算結果５１７４（図１８の５４２２ａと５４２２ｂの加算値）とを比較する。
【０２２９】
図２１のｐ２のブロックの原画像を符号化した時点で、符号化データ量加算器５１１６から得られる加算結果５１７４が目標符号化データ量５１７３を超えると、制御部５１１１は符号化器５１０２へのブロックに分割された画像データ５１５２の入力を停止させ、符号化データ列バッファ５１０５に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ５１１２に量子化スケーリング値Ｑ３及びＱ４を設定し、再符号化データ量格納レジスタ５１１５に再符号化データ列５１５５の累積加算された符号化データ量５１７６を格納し、符号化データ量計数器５１１３及び再符号化データ量計数器５１１４がカウントしていた符号化データ量をゼロにクリアする。以上の処理を行なった後、符号化データ列バッファ５１０４に格納されている再符号化データ列５１５６の読み出しを開始し、図１８の転送フェーズ５４０４へ移行する。
【０２３０】
転送フェーズ５４０４では、量子化スケーリング値Ｑ３を基に符号化されている図２１の領域Ａ及びＢのブロックの原画像が符号化データ列バッファ５１０５にコピーされると共に、再符号化器５１０３によって量子化スケーリング値Ｑ４で再符号化される。
【０２３１】
以下、同様の処理を行ない、原画像を構成する全てのブロックに対する符号化が終了した時点で、目標符号化データ量及び最大許容符号化データ量を超えない図１８の量子化スケーリング値Ｑ３で符号化された符号化データ列Ｑ３（５４２３ａ〜５４２３ｃ）が最終的な出力となる。制御部５１１１は、符号化データ列バッファ５１０４に格納されている、量子化スケーリング値Ｑ３で再符号化された図２１の領域Ａ及びＢの符号化データ列Ｑ３（５４２３ａ、５４２３ｂ）と、符号化データ列バッファ５１０５に格納されている図２１の領域Ｃの符号化データ列Ｑ３（５４２３ｃ）を、符号化データ列出力部５１０６を通して外部に出力する。
【０２３２】
以上説明したように、本実施形態の画像符号化装置は、ブロックに分割された原画像の符号化が進むにつれて、図１８のグラフに示したように符号化データ量が増加していき、同時に符号化処理が進むのに応じて原画像におけるブロックの相対位置から目標符号化データ量を算出し、目標符号化データ量と符号化処理を終えた符号化データ量の累積加算値との比較結果に応じて、適応的に量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替えながら符号化処理を行なう。
【０２３３】
ここで、目標符号化データ量算出器を備えず、最大許容符号化データ量との比較結果のみに応じて量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替える制御を行なう画像符号化装置において、符号化データ量の増加と原画像の符号化に要する時間について述べる。
【０２３４】
図１９は、最大許容符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えた場合の、符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。図１８に示したグラフと比較すると、図１９に示したグラフでは領域Ａの転送フェーズへの移行が遅れる。このことにより、転送フェーズ５５０２で再符号化する領域Ａのブロックの原画像の量が本実施形態の画像符号化装置よりも増える。よって、領域Ａの転送フェーズに要する時間が本実施形態の画像符号化装置よりも増加する。領域Ａ及びＢの転送フェーズにおいても同様である。ゆえに、図１９に示す符号化フェーズと転送フェーズの切り替え制御を行なう画像符号化装置は、本実施形態の画像符号化装置よりも符号化処理に要する時間が長くなってしまう。
【０２３５】
以上より、本実施形態の画像符号化装置は、符号化されたブロックの原画像における相対位置情報を基に随時目標符号化データ量を算出し、符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えるため、転送フェーズへの移行を早めることができ、転送フェーズで再符号化処理を行なうデータ量を減らすことができるので、原画像全体の符号量制御を伴う符号化処理に要する時間を短縮できることは明らかであろう。
【０２３６】
［第５の実施形態］
上記第４の実施形態の画像符号化装置では、原画像の持つ特徴によっては、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず、転送フェーズに移行してしまう可能性がある。このことを説明するために図２０を用いる。図２０は符号化されたブロック数（横軸）に応じた符号化データ量（縦軸）の変化を示すグラフである。
【０２３７】
例えば図２０のグラフに示すように符号化データ量が増加していく場合、最大許容符号化データ量５６０１に累積加算された符号化データ量５６０３が達しないにも係わらず、目標符号化データ量５６０２を超えた時点５６０４で転送フェーズに移行し、再符号化処理を行なってしまう。これにより、画像の量子化歪みが増し、画質が低下する恐れがある。そこで、量子化歪みが最も小さい符号化データ列を生成するために、目標符号化データ量算出方法をより正確に行なう必要がある。
【０２３８】
この問題に対し、本実施形態の画像符号化装置は第４の実施形態とは異なる方法で目標符号化データ量を算出する手段を備え、より正確に目標符号化データ量を算出することを可能とする。
【０２３９】
図１６は本実施形態における画像符号化装置の構成を示すブロック図である。同図に示した画像符号化装置は図１５に示した画像符号化装置の構成に加えて、原画像属性格納レジスタ５２０２、符号化パラメータ変更時情報格納レジスタ５２０３、最大累積符号化データ量予測器５２０４、平均累積符号化データ量予測器５２０５、無為ブロック累積符号化データ量予測器５２０６、画像入力装置誤差格納レジスタ５２０７を備える。
【０２４０】
原画像属性格納レジスタ５２０２には、原画像が持つ属性、例えば自然画像である、文書であるなどの情報を保持する。尚、この情報は外部から設定される。文字は隣接する画素間の相関関係が低いため、符号化データ量が自然画よりも多くなる傾向にある。このような傾向を情報として予め原画像属性格納レジスタ５２０２に格納しておくことで、このことを利用して、符号化データ量の予測精度をさらに高めることができる。
【０２４１】
符号化パラメータ変更時情報格納レジスタ５２０３は、制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置５１６１と、符号化データ量計数器５１１３および符号化データ量加算器５１１６から得られる累積加算された符号化データ量を保持する。
【０２４２】
最大累積符号化データ量予測器５２０４は、符号化されたブロックの原画像における相対位置５１６１を基に、既に符号化処理を終えたブロックの原画像データの後に符号化データ量が最大になるブロックのみが存在するときの今後の符号化データ列の累積加算された符号化データ量の予測値５２５３を算出する。
【０２４３】
平均累積符号化データ量予測器５２０５は、符号化データ量計数器５１１３あるいは符号化データ量加算器５１１６から得られる累積加算された符号化データ量と、符号化されたブロックの原画像における相対位置５１６１を基に、１ブロックあたりの符号化データ列の平均符号化データ量を求め、平均符号化データ量を基に、符号化データ列の累積加算された符号化データ量の予測値５２５４を算出する。
【０２４４】
画像入力装置誤差格納レジスタ５２０７には、原画像データ入力部５１０１に入力される原画像を読みとる装置（例えばスキャナなどの光学的な画像読み取り装置）が、原画像を読み取る際の誤差が外部から設定される。この誤差とは、例えば、スキャナが原稿を読み取った時の色のブレなどである。色のブレがあった場合、たとえ真っ白な原稿であったとしても、わずかな色のブレによって隣接する画素間に変化が生じる。
【０２４５】
無為ブロック累積符号化データ量予測器５２０６は、符号化されたブロックの原画像における相対位置５１６１と、画像入力装置誤差格納レジスタ５２０７に格納されている読み取り誤差情報５２５６に応じて、既に符号化処理を終えたブロックの原画像データの後に画像入力装置による読み取り誤差以外に有意な情報が存在しない無為ブロックのみが存在するときの、今後の無為ブロックの符号化データ列の累積加算された符号化データ量の予測値５２５５を算出する。
【０２４６】
目標符号化データ量算出器５２０１は、原画像属性格納レジスタ５２０２から得られる原画像が持つ属性５２５１と、符号化パラメータ変更時情報格納レジスタ５２０３から得られる制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置５１６１と、符号化データ量計数器５１１３および符号化データ量加算器５１１６から得られる累積加算された符号化データ量と、最大累積符号化データ量予測器５２０４から得られる符号化データ列の累積加算された符号化データ量の予測値５２５３と、平均累積符号化データ量予測器５２０５から得られる符号化データ列の累積加算された符号化データ量の予測値５２５４と、無為ブロック累積符号化データ量予測器５２０６から得られる無為ブロックの符号化データ列の累積加算された符号化データ量の予測値５２５５とから、符号化されたブロックの原画像における相対位置５１６１に応じた複数の目標符号化データ量を算出することができる。
【０２４７】
具体的には、符号化されたブロックの原画像における相対位置５１６１に応じた３つの予測値（５２５３乃至５２５５）、すなわち、３つの目標符号化データ量を算出することができる。
【０２４８】
なお、上記予測値からの目標符号化データ量の算出方法は規定されないが、本実施形態の画像符号化装置においては例えば以下のように算出される。
【０２４９】
最大許容符号化データ量をＬｍａｘ、原画像を構成するブロックの数をＭ、符号化器５１０２による符号化処理を終えたブロックの数をＮ、目標符号化データ量をＬｔ、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値５２５３をＬ１、平均符号化データ量を基に算出した符号化データ量の予測値５２５４をＬ２、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値５２５５をＬ３とする。
【０２５０】
Ｎ ＜ Ｍ／４ のときは、転送フェーズへの移行を前倒しすることにより転送フェーズにおいて処理されるブロックの数を削減して画像全体の符号化レート低下を防止するために、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値５２５３を用いて目標符号化データ量を次式で算出する。
【０２５１】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ１／Ｍ
Ｍ／４ ≦ Ｎ ＜ ３／４ × Ｍ のときは、平均符号化データ量を基に算出した符号化データ量の予測値５２５４を用いて目標符号化データ量を次式で算出する。
【０２５２】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ２／Ｍ
Ｎ ≧ ３／４ × Ｍ のときは、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず転送フェーズに移行してしまうことを防ぐため、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値５２５５を用いて目標符号化データ量を次式で算出する。
【０２５３】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ３／Ｍ
ただし、目標符号化データ量算出方法はこれに限定されるものではない。このように、複数の目標符号化データ量を算出することにより、累積加算された符号化データ量を予測するためのサンプルが増えるので、累積加算された符号化データ量をより正確に予測できる。よって、本実施形態の画像符号化装置は、図２０のグラフで示すように符号化データ量が増加していく画像であっても、転送フェーズに移行することなく符号化処理を進めていくことができる。また、本実施形態の画像符号化装置は、符号化レートを落とすことなく、且つ最大許容符号化データ量の範囲内で量子化歪みが最も小さい符号化データ列を生成できる。
【０２５４】
［第６の実施形態］
再符号化処理による符号化レート低下を避ける方法として、再符号化処理の負荷に応じて、符号化データ列の累積加算された符号化データ量が目標符号化データ量に到達するよりも前に、転送フェーズに移行して符号化データ列バッファ内の符号化データ列に対する再符号化処理を開始する方法が挙げられる。ここでの再符号化とは、符号化データ列を復号化して直交変換行列に変換し、前記直交変換行列に対し再量子化を行なった後に符号化を行なう処理である。ゆえに、再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存する。
【０２５５】
図１７は本実施形態における画像符号化装置の構成を示すブロック図である。本実施形態における画像符号化装置の構成は、図１５に示した画像符号化装置の構成に加えて、再符号化シンボル数計数器５３０２、目標シンボル数算出器５３０４、シンボル数比較器５３０５を備える。
【０２５６】
再符号化シンボル数計数器５３０２は、再符号化器５１１３から得られる再符号化された符号化データ列に対応する符号語のシンボルの数５３５２を累積加算する。
【０２５７】
目標シンボル数算出器５３０４は、符号化されたブロックの原画像における相対位置５１６１を基に、目標シンボル数を算出する。目標シンボル数の算出方法は例えば次のように算出できる。再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存するため、転送フェーズに要する時間はシンボル数の累積加算値に依存する。よって、転送フェーズに要する時間を所定時間以内に抑えられるように目標シンボル数を算出する。例えば、再符号化器５１０３の再符号化処理性能が１シンボルあたり１サイクルで、転送フェーズに要する時間をｎサイクル以内に抑える場合、目標シンボル数はｎとなる。ただし、原画像を構成するブロックのうち符号化されていないブロックが残り少ない場合は、転送フェーズに要する時間を極力抑えて画像全体の符号化レート低下を回避するために、符号化されたブロックの原画像における相対位置５１６１に基づいて目標シンボル数を減らすなど、適応的に目標シンボル数を変更する。
【０２５８】
シンボル数比較器５３０５は、再符号化シンボル数計数器５３０２から得られるシンボル数の累積加算値５３５４と、目標シンボル数算出器５３０４から得られる目標シンボル数５３５６とを比較する。
【０２５９】
制御部５１１１は、符号化データ量比較器５１１７から得られる比較結果及びシンボル数比較器５３０５から得られる比較結果を基に、累積加算された符号化データ量が目標符号化データ量を超えているか、もしくは累積加算されたシンボル数が目標シンボル数を超えた場合は、第４の実施形態の画像符号化装置と同じく符号化パラメータを変更し、符号化フェーズから転送フェーズへ制御を移行する。
【０２６０】
本実施形態における画像符号化装置により、再符号化処理の負荷に応じて符号量制御を行なうため、より確実に符号化レート低下を回避できる。
【０２６１】
［第７の実施形態］
ここで、隣接する画素間の相関関係が低い画像、例えばノイズで埋め尽くされたような画像を、所定の符号化データ量以下に収める符号化処理について説明する。
【０２６２】
隣接する画素間の相関関係が低い画像は、粗く量子化しないと符号化データ量が最大許容符号化データ量以下に収まらない。このような画像を、符号化フェーズと転送フェーズを切り替えて量子化スケーリング値を変えながら再符号化する場合、図２２のグラフに示すように、何回も再符号化を繰り返すことになり、転送フェーズにおける処理時間が画像全体の符号化処理において大きなオーバーヘッドになってしまう。
【０２６３】
そこで、図２３のグラフに示すように、ブロック毎の符号化処理の比較的早い段階で、量子化スケーリング値Ｑ１で符号化された符号化データ列Ｑ１（Ａ）の累積加算された符号化データ量が目標符号化データ量を超えた場合、符号化パラメータ格納レジスタに対して通常よりも大きい量子化スケーリング値を設定することで、転送フェーズの回数を減らすことができ、符号化レート低下を防ぐことが可能となる。
【０２６４】
本実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置は、図１５に示した第４の実施形態の画像符号化装置と同じ構成から成るが、制御部５１１１における処理が第４の実施形態とは異なる。以下、図１４と図２３を用いて本実施形態の画像符号化装置について説明する。
【０２６５】
本実施形態における制御部５１１１は、現在符号化処理の対象となっているブロックの原画像データにおける相対的な位置情報５１６１に応じて、量子化スケーリング値を決定し、符号化・再符号化パラメータ格納レジスタ５１１２が保持する量子化スケーリング値を変更する。具体的には、図２３の領域Ａ転送フェーズに移行する際、量子化スケーリング値をＱ４に設定し、再符号化器５１０３は量子化スケーリング値をＱ４を基に、領域Ａ符号化フェーズにおいて量子化スケーリング値Ｑ２で符号化された符号化データ列Ｑ２（Ａ）を再符号化し、符号化データＱ４（Ａ）を生成する。尚、量子化スケーリング値Ｑ４を用いて再符号化した例について説明したが、これに限定されるものではない。
【０２６６】
以上に説明した制御を行なうことにより、転送フェーズで再符号化処理を行なう回数を減らすことができるので、何回も再符号化を行なわなければ最大許容符号化データ量以内に符号化データ量が収まらないような画像の符号化処理においても、再符号化処理に係るオーバーヘッドを最小限に抑えることができる。
【０２６７】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６９】
【発明の効果】
以上の説明によって、本発明によれば、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることができる。又、上記予め定められたサイズを適宜求めることができる。
【図面の簡単な説明】
【図１】本発明の第１、２の実施形態における画像符号化装置の構成を示すブロック図である。
【図２】図１に示した符号化部１０３の構成を示すブロック図である。
【図３】図１に示した再符号化部１０７の構成を示すブロック図である。
【図４】図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図５】第１の原画像を表した図である。
【図６】第１の原画像に対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４及び第２の符号化データ列バッファ１０８に夫々格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図７】図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図８】第２の原画像を表した図である。
【図９】図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図１０】図１に示した制御部１０１が行う処理のフローチャートである。
【図１１】本発明の第３の実施形態における画像符号化装置の構成を示すブロック図である。
【図１２】図１１に示した画像符号化装置における符号化部４０３の構成を示すブロック図である。
【図１３】符号化部１０３が行う一連の圧縮符号化処理のフローチャートである。
【図１４】再符号化部１０７が行う処理のフローチャートである。
【図１５】本発明の第４の実施形態における画像符号化装置の構成を示すブロック図である。
【図１６】本発明の第５の実施形態における画像符号化装置の構成を示すブロック図である。
【図１７】本発明の第６の実施形態における画像符号化装置の構成を示すブロック図である。
【図１８】本実施形態の画像符号化装置に設定される最大許容符号化データ量５４１０と、図１５に示す目標符号化データ量算出器１１８によって算出された目標符号化データ量４１１と、符号化器１０２及び再符号化器１０３が生成する符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【図１９】最大許容符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えた場合の、符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【図２０】本発明の第５の実施形態における画像符号化装置の効果を説明する図である。
【図２１】図１５に示したグラフ上で示される矩形領域の４カ所の相対位置０％、Ｐ１，Ｐ２、および１００％と３つの分割領域Ａ、ＢおよびＣを２次元的に原画像データ上で表わした図である。
【図２２】ノイズで埋め尽くされた画像を符号化する際に、符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図２３】ノイズで埋め尽くされた画像を符号化する際に、符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、プログラム、記憶媒体に関するものである。
【０００２】
【従来の技術】
現在、静止画像に対する圧縮符号化処理機能は、多くのデジタル・イメージング機器に搭載されている。これらデジタル・イメージング機器の代表的なものは所謂デジタル・カメラの類であるが、デジタル・カラー・コピー機も圧縮符号化処理機能を備えるデジタル・イメージング機器のひとつである。
【０００３】
デジタル・カラー・コピー機では、原稿読み取り部から印刷部に対して読み取られた原稿画像データを転送する際のデータ転送量を軽減する目的で原稿読み取り部には読み取られた原稿画像データに対する圧縮符号化処理機能が、一方の印刷部には符号化された原稿画像データ列に対する伸張復号化処理機能がそれぞれ搭載されている。
【０００４】
原稿読み取り部の後段に具備される圧縮符号化処理部によって生成される符号化された原稿画像データ列のデータ量は、圧縮符号化処理される前の原稿画像データ、すなわち読み取られた原稿画像データのデータ量に比べると数分の一から十数分の一程度に低減される。
【０００５】
符号化された原稿画像データ列の圧縮符号化処理される前の原稿画像データに対するデータ量の低減度、すなわち圧縮率の上限値は、符号化歪みが伸張復号化処理によって得られる再構成画像データから容易に視認できない程度の値がその許容される上限値として設定される。
【０００６】
一方、上記圧縮率の許容される下限値は、原稿読み取り部における単位時間あたりに読み込むことができる原稿画像データの最大データ量、および原稿読み取り部から印刷部に転送する際の圧縮符号化された原稿画像データ列の最大データ転送量、といったようなそのシステムにおける各種システム・パラメータによって一意に決定される。
【０００７】
このように圧縮率の許容される上限値および下限値が設定されたとしても、供給されるすべての原稿画像データに対する圧縮率をその範囲内に収めるように圧縮符号化処理を行なうことは容易で無い。
【０００８】
その理由は、量子化テーブルに代表される符号化パラメータとして同一のものを用いて圧縮符号化処理を行なっても、得られる符号化された原稿画像データ列のデータ量は原稿画像データ毎に不定であること、言い換えるならば、読み取られた原稿画像データ毎にその圧縮率は変わってしまうことに起因する。
【０００９】
これは、読み取られた原稿画像データ毎にその画像データが有する情報の空間周波数から見た偏りおよびその度合いが異なり、そのような原稿画像データに対する圧縮符号化処理の中では、値が０である変換係数に対するランレングス符号化および可変長符号を用いたエントロピー符号化といったような被圧縮符号化画像データが持つ冗長性を限りなく除去するための様々な手法が採用されているためである。
【００１０】
従って、すべての原稿画像データに対する圧縮率をその許容される上限値と下限値の間の範囲に収めるように圧縮符号化処理を施すためには、被圧縮符号化データすなわち供給される原稿画像データの各々に対して適用する符号化パラメータを適応的に変える必要がある。
【００１１】
一般的に圧縮率が一定になるように圧縮符号化処理を行なうためには、所謂情報量制御あるいは符号量制御と称される符号化制御を実現しなければならない。
【００１２】
上記情報量制御の具体的な実現手法としては、フィードフォワード手法とフィードバック手法の大きくふたつの手法が知られている。
【００１３】
フィードフォワード手法は圧縮符号化処理を行なう前に被圧縮符号化データとして入力される原画像データから別途ダイナミック・レンジ、電力、各種統計情報を算出して、それらの算出値を基に最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて実際の圧縮符号化処理を行なうものである。
【００１４】
これに対して、フィードバック手法は試行となる圧縮符号化処理を行なうことによって得られた符号化データ量の実測値から最適な符号化パラメータを予測した後、その得られた符号化パラメータを用いて最終的な圧縮符号化処理を行なうものである。
【００１５】
圧縮符号化処理を試行することによって得られた符号化データ量の実測値から最適な符号化パラメータを予測するフィードバック手法のほうが、実際に得られた符号化データ量を直接的に予測値算出に用いているという点で、フィードフォワード手法に比べてより高い精度で目的とする符号化データ量を生成する符号化パラメータの予測値を得ることができる。しかし、このフィードバック手法は原理的に試行となる圧縮符号化処理のために費やされる時間的なオーバーヘッドが余計にかかってしまうという欠点がある。
【００１６】
ひとつの原画像データに対して目標とする圧縮率の符号化データ列が得られるまで何回も圧縮符号化処理を繰り返してもその処理時間の増分が許容できるようなシステム、言わばリアルタイム性や性能が過度に要求されないシステムであれば、特公平８−３２０３７号公報に記載されているような有限回繰り返し試行アルゴリズムが適用可能である。
【００１７】
しかし、デジタル・カメラやデジタル・カラー・コピー機器のようなデジタル・イメージング機器では一般的にリアルタイム性および性能が要求される。したがって、最適な符号化パラメータを予測するための試行となる圧縮符号化処理に費やされる時間的なオーバーヘッドは限りなく小さく抑えることが課題とされ、さらにその予測精度として十分高いものが要求される。
【００１８】
フィードバック手法を用いた情報量制御における最適な符号化パラメータの予測精度を高めるためには、互いに異なる数多くの符号化パラメータを用いて試行となる圧縮符号化処理を複数回行ない、それらの符号化パラメータと実際に得られた符号化データ量の実測値との組み合わせ数を増やすことが効果的であることは容易に考えられる。しかし、その時間的なオーバーヘッドを最小限に抑えるためには、試行となる圧縮符号化処理の際に用いられる符号化パラメータの数と同数の演算回路あるいは処理回路を具備し、それらの回路を並列に動作させて、試行となる圧縮符号化処理を高速に行なうような工夫が必要となる。従来からこの課題を解決するいくつかの公知技術が考案されている。
【００１９】
このような言わば並列回路アーキテクチャの公知技術の一例である文献１”映像情報１９９２年１月号５１-５８ページ『６０〜１４０Ｍｂｐｓ対応のＨＤＴＶコーデック』”では、複数の符号化パラメータとしてＮ組の量子化テーブルを用いて、Ｎ個の量子化回路およびＮ個の発生符号量測定回路を具備する圧縮符号化装置から得られるＮ個の符号化データ量から曲線近似を行なうことによって最適な符号化パラメータ、すなわち最適な量子化テーブルを得ることが記載されている。
【００２０】
同様な構成でありながら回路規模の増大を抑える工夫として、特許第２５２３９５３号では、３個の量子化回路を備えることによって試行となる圧縮符号化処理の際に５組の量子化テーブルを用いた量子化を並列に行ない、結果として５つの符号化データ量の値を算出することが記載されている。
【００２１】
ひとつの画像データを圧縮復号化処理するにあたって、符号化パラメータ、より具体的には量子化テーブルに対するスケーリング値を適応的に変えながら順次圧縮符号化処理を進めることができる符号化方式を採用している動画像圧縮符号化では、特許第２８９７５６３号に記載されるような符号化パラメータの逐次補正アルゴリズムが適用できる。
【００２２】
この従来例では、試行となる圧縮符号化処理の際に特定の量子化スケーリング値を用いて量子化して得られるブロック単位の符号化データ列のデータ量を算出し、その算出されたデータ量を基にＭ個の量子化スケール値で得られることが期待されるＭ個の符号化データ列のデータ量を予測し、前記Ｍ個の予測値から算出した目標符号化データ量と、実際に出力されている符号化データ列の現在までのデータ量の累積値との差分、すなわち予測誤差から実際に使用している量子化スケーリング値を逐次補正しながら圧縮符号化処理を進めている。
【００２３】
さらに、実際に生成された符号化データ量が予測に反して許容される上限値を超えることを回避する目的で特許第３０３８０２２号では、試行となる圧縮符号化処理の際に得られた符号化データ量から導出した量子化ステップ値を用いて実際に量子化および可変長符号化して得られた符号化データ列のデータ量が、ブロック単位に割り当てたデータ量を超えてしまった場合には、そのブロックにおける可変長符号化を打ち切ること（有意の変換係数の情報を廃棄すること）が記載されている。
【００２４】
【発明が解決しようとする課題】
前述したようなフィードバック手法を用いた情報量制御における従来例の思想は、試行として行なわれる圧縮符号化処理によって得られたひとつあるいは複数個の符号化データ量の実測値を基に最適な符号化パラメータ、およびその符号化パラメータによって生成される符号化データ量の予測値を導出するという点でいずれも共通している。
【００２５】
また一般的な静止画像圧縮符号化方式として今日広く採用されているＪＰＥＧ符号化方式においては、最も代表的な符号化パラメータのひとつである量子化ステップ値行列、すなわち量子化テーブルについては、そのただ一つのテーブルの組み合わせがひとつの被圧縮符号化データを構成するすべてのブロックに対して共通に適用される。従って、このような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用することが前提になっている場合、従来例のひとつとして前述した符号化パラメータの逐次補正アルゴリズムを適用することはできない。
【００２６】
さらに、もうひとつの従来例として引用した特許第３０３８０２２号に記載されているアルゴリズムでは、ブロック単位に割り当てたデータ量を超えてしまった時点でそのブロックに対する可変長符号化を打ち切ってしまうので、画像データを構成するすべてのブロックの圧縮符号化処理が終了した時点で得られた最終的な符号化データ列のデータ量が許容される上限値を超えない場合でも、本来廃棄する必要が無い有意の変換係数まで廃棄することになってしまい、伸張復号化処理によって得られる再構成画像において圧縮符号化歪みの局所的なばらつきが生じてしまう。したがってデジタル・イメージング機器への適用は好ましいとは言えない。
【００２７】
デジタル・イメージング機器のようにリアルタイム性および性能が要求されるシステムにおいて、予測精度の高いフィードバック手法を用いた情報量制御を実現しつつ圧縮符号化処理を行なう場合、従来例として前述した並列回路アーキテクチャは確かに有効な実現形態ではあることには間違いがない。しかし、複数の符号化処理回路を実現するための回路規模、および複数個の符号化データ列を一時的に格納するためのバッファの容量としていずれも莫大なものが必要とされ、コスト的な見地からすると余りに多くの並列化を実現することは困難である。
【００２８】
これらのことから、デジタル・イメージング機器において、ＪＰＥＧ符号化方式のような符号化パラメータの自由度に制限のある静止画像圧縮符号化方式を採用する場合、許容範囲内の回路規模で並列化数を上げて、少しでも多くの互いに異なる符号化パラメータによって圧縮符号化処理を同時に行ない、得られた複数個の符号化データ列から圧縮率の許容される範囲内で最も符号化歪みの小さい符号化データ列を出力とすることが最適な実現形態となる。しかし、並列化数が有限である以上、複数の符号化パラメータをもって生成された符号化データ列がいずれも圧縮率の許容範囲内からはずれてしまう場合もあり得る。
【００２９】
このような場合、新たな符号化パラメータを決定して、被符号化データの先頭から再び圧縮符号化処理をやり直す必要がある。しかし、やり直し、すなわち再符号化処理に費やされる時間はそのままシステムの性能低下に繋がる。
【００３０】
本発明は以上の問題を鑑みてなされたものであり、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることを目的とする。又、本発明は上記予め定められたサイズを適宜求めることを目的とする。
【００３１】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。
【００３２】
すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化手段により圧縮符号化された符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。
【００３３】
本発明の目的を達成するために、例えば本発明の画像符号化装置は以下の構成を備える。
【００３４】
すなわち、画像データに対して圧縮符号化を行う画像符号化装置であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化手段と、前記第２の圧縮符号化手段に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化手段により圧縮符号化された置換候補の符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、前記処理実行選択手段により前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする。
【００３５】
本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。
【００３６】
すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化工程で圧縮符号化された符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを含むことを特徴とする。
【００３７】
本発明の目的を達成するために、例えば本発明の画像符号化方法は以下の構成を備える。
【００３８】
すなわち、画像データに対して圧縮符号化を行う画像符号化方法であって、変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化工程と、前記第２の圧縮符号化工程に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化工程で圧縮符号化された置換候補の符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、前記データ量判定工程で前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、前記処理実行選択工程で前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを備えることを特徴とする。
【００３９】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００４０】
［第１の実施形態］
図１は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。図２は、図１に示した符号化部１０３の構成を示すブロック図である。各部についての説明は後述する。図３は図１に示した再符号化部１０７の構成を示すブロック図である。各部についての説明は後述する。図４は、図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。図５は、第１の原画像データを表わした図である。
【００４１】
図６は、第１の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。さらに図１０は、図１に示した制御部１０１が行う処理のフローチャートである。
【００４２】
本実施形態の画像符号化装置が図５に示した第１の原画像データに対して行う一連の圧縮符号化処理について、上記図１乃至図６、及び図１０を用いて以下、説明する。
【００４３】
まず、画像符号化装置の初期化処理を行う（ステップＳ１）。初期化処理の具体的な内容を以下に示す。
【００４４】
不図示の外部システム等によって、制御部１０１には第１の原画像データの大きさを表わす情報、より具体的には、その原画像データを構成する矩形領域の総個数が一連の圧縮符号化処理に先んじて格納されている。ここで矩形領域の大きさは、１６×１６画素であるものとするが、これに限定されるものではない。
【００４５】
また不図示の外部システム等によって、制御部１０１には最終的に画像符号化装置から出力される符号化データ列の累積加算されたデータ量の最大許容値（ビット数あるいはバイト数）が一連の圧縮符号化処理に先んじて格納されている。図４および図６に示すグラフにおいて、制御部１０１に格納された最大許容符号化データ量はグラフの上部に水平の点直線として記されている。
【００４６】
また不図示の外部システム等によって、符号化部１０３内の量子化テーブル２０５には８行×８列の直交変換係数行列を構成するそれぞれの直交変換係数に対応づけられた８×８個の量子化ステップ値行列が一連の圧縮符号化処理に先んじて格納されており、その値は量子化ステップ信号２１４を介して量子化部２０２によって参照される。
【００４７】
また不図示の外部システム等によって、符号化部１０３内の可変長符号語化テーブル２０６には被符号化データであるシンボルのそれぞれに対応づけられた可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、その値は可変長符号語信号２１５を介してエントロピー符号化部２０４によって参照される。
【００４８】
また不図示の外部システム等によって、再符号化部１０７内の復号化用可変長符号語テーブル３０４および符号化用可変長符号語テーブル３０５には符号化部１０３内の可変長符号語化テーブル２０６に格納されたものと同一の可変長符号語集が一連の圧縮符号化処理に先んじて格納されており、それらの値は復号化用可変長符号語信号３１３を介してエントロピー復号化部３０１によって、および符号化用可変長符号語信号３１４を介してエントロピー符号化部３０３によって、それぞれ参照される。
【００４９】
以上の初期化処理が終了すると、画像符号化装置は以下の画像符号化処理を行う。まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６をＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２）。
【００５０】
動作フェーズ指示信号１３５によってスイッチ１０６は、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【００５１】
次に、制御部１０１は第１の符号化データ列バッファ１０４内を空にすべく第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なうとともに、同様に第２の符号化データ列バッファ１０８内を空にすべく第２の符号化データ列バッファ１０８に対して初期化指示を第２のバッファ制御信号１３４を介して行なう（ステップＳ３）。
【００５２】
また、制御部１０１はその内部でそのデータ量を累積加算する第１の符号化データ列に対応する第１の累積値、および第２の符号化データ列に対応する第２の累積値をいずれも０にリセットする（ステップＳ４）。
【００５３】
さらに、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの初期値として値“×１”を、同様に再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を、それぞれ出力する（ステップＳ５）。
【００５４】
その後、制御部１０１は符号化部１０３に対してその符号化処理の動作開始を符号化部動作制御信号１３１を介して指示し、同時に再符号化部１０７に対してその再符号化処理の動作開始を再符号化部動作制御信号１３２を介して指示する（ステップＳ６）。
【００５５】
上記指示によって画像符号化装置は、実質的に第１の原画像データに対する１回目の符号化フェーズに移行することになる。図１３に符号化部１０３が行う一連の圧縮符号化処理のフローチャートを示す。
【００５６】
不図示の外部装置、例えば原稿読み取り部や撮像部によって原画像データ入力信号１２１を介して供給された第１の原画像データは、原画像データ入力部１０２において所定の大きさである矩形領域に等分割され、その矩形領域単位で被符号化データ入力信号１２２上に順次出力される（ステップＳ１３０１）。その際、原画像データ入力部１０２は矩形領域位置情報信号１５１上に現在被符号化データ入力信号１２２上に出力している矩形領域の原画像データにおける位置情報、より具体的には既に出力された矩形領域の個数の累計値を順次出力する（ステップＳ１３０１）。
【００５７】
原画像データ入力部１０２によって被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域単位の原画像データは、符号化部１０３内の直交変換部２０１においてさらに複数個の８行×８列サンプルのブロックに等分割された後、そのブロック単位で直交変換演算が施され、その演算結果として得られた複数個の８行×８列の直交変換係数行列が変換係数行列信号２１１上に順次出力される（ステップＳ１３０２）。
【００５８】
符号化部１０３内の量子化部２０２では、直交変換部２０１から変換係数行列信号２１１を介して供給される複数個の８行×８列の直交変換係数行列と、量子化テーブル２０５から量子化ステップ信号２１４を介して供給される８×８個の量子化ステップ値とを用いて量子化演算を行ない、その演算結果として得られた複数個の８行×８列の量子化された直交変換係数行列が量子化された変換係数行列信号２１２上に順次出力される（ステップＳ１３０３）。
【００５９】
符号化部１０３内のスケーリング部２０３では、量子化部２０２から量子化された変換係数行列信号２１２を介して供給される複数個の８行×８列の量子化された直交変換係数行列に対して、別途符号化パラメータ指示信号１３６を介して制御部１０１から指示されるスケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列のスケーリングされた直交変換係数行列が、スケーリングされた変換係数行列信号２１３上に順次出力される（ステップＳ１３０４）。
【００６０】
このスケーリング部２０３で実行されるスケーリング演算はビットシフトを基本としている。また本実施形態ではスケーリング値として“×１”、“×２”、“×４”、および“×８”の４つの値のうちのいずれかが選択可能であり、その値“×Ｎ”の意味するところは直交変換係数の交流成分に対応する量子化ステップ値をすべてＮ倍した量子化テーブルで量子化することによって得られる直交変換係数行列と同等のものであることを意味している。例えばスケーリング値が“×２”であれば入力される直交変換係数の交流成分に対して右に１ビット算術シフトした値を演算結果とし、スケーリング値が“×４”であれば右に２ビット算術シフトした値、スケーリング値が“×８”であれば右に３ビット算術シフトした値、がぞれぞれ演算結果とする。但しスケーリング値が“×１”である場合は、入力される直交変換係数のすべての成分がそのまま演算結果として出力される。またいずれのスケーリング値であっても直交変換係数の直流成分に対しては何ら演算を施さない。
【００６１】
スケーリング部２０３に対するスケーリング値の初期値としてはこの“×１”が設定されている（ステップＳ５）。
【００６２】
スケーリング部２０３で実行されるスケーリング演算における入力値（直交変換係数の交流成分）と演算結果（スケーリングされた変換係数）を表の形式でまとめたものを表１に示す。
【００６３】
【表１】
符号化部１０３内のエントロピー符号化部２０４では、スケーリング部２０３からスケーリングされた変換係数行列信号２１３を介して供給される複数個の８行×８列のスケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル２０６を参照しながらの可変長符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力される（ステップＳ１３０５）。
【００６５】
エントロピー符号化部２０４から第１の符号化データ列信号１２３上に出力された第１の符号化データ列は、符号化部１０３内の符号化データ量計数部２０７によって個々の矩形領域に対応する符号化データ列の単位でそのデータ長が計数され、結果として得られる第１の符号化データ列のデータ量が、符号化付帯情報通知信号１５２上に出力される（ステップＳ１３０６）。
【００６６】
一方、制御部１０１では、符号化部１０３から符号化付帯情報通知信号１５２を介して制御部１０１に順次供給される個々の矩形領域に対応する第１の符号化データ列のデータ量は、制御部１０１の内部で第１の累積値として逐次累積加算される（ステップＳ７）。
【００６７】
図５に示した第１の原画像データに対して、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理を仮想的に実行した場合に得られる個々の矩形領域に対応する４個の符号化ストリームのデータ量の累積値の推移が図４に示すグラフ上で原点から始まる４本の直線で表わされている。実際の累積値はこのように直線的に増えることは無いが、ここでは説明を簡単にするために敢えて直線で表わしている。
【００６８】
このグラフ上で、スケーリング値“×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は直線Ｑ１（Ａ）で表わされている。既に圧縮符号化された矩形領域の相対位置がｐ１の時点で、言いかえれば第１の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×１”を用いた圧縮符号化処理は必要とされないことになる。
【００６９】
なお、この矩形領域の第１の原画像データにおける相対位置ｐ１は、図５に描かれている第１の原画像データ上でその二次元的な位置が示されている。また分割領域Ａは第１の原画像データ上で、最初に圧縮符号化処理された矩形領域（原画像データにおいて最も左上隅に位置する矩形領域）から相対位置ｐ１に位置する矩形領域までのすべての矩形領域の集まりとして示されている。
【００７０】
圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ａの範囲にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【００７１】
従って、相対位置ｐ１以降の矩形領域に対する圧縮符号化処理は、残り３つのスケーリング値“×２”、“×４”、および“×８”に対応する３つの符号化データ列に対するもののみに対してその動作が継続される。
【００７２】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【００７３】
スケーリング値“×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまっているので、これ以降の矩形領域に対するスケーリング値“×２”を用いた圧縮符号化処理は必要とされないことになる。
【００７４】
従って、相対位置ｐ２以降の矩形領域に対する圧縮符号化処理は、残り２つのスケーリング値“×４”、および“×８”に対応する２つの符号化データ列に対するもののみに対してその動作が継続される。
【００７５】
図４に示した第１の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第１の原画像データ上の分割領域Ｃの範囲（ｐ２から１００%まで）にある期間に、残り２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００%に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬ４（Ａ＋Ｂ＋Ｃ）およびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【００７６】
このことから、図５に示した第１の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる２つの符号化データ列のデータ量の最終的な累積値は、いずれも最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。
【００７７】
結果としては、符号化歪みの観点からより圧縮率の低い符号化データ列であるスケーリング値“×４”を用いた圧縮符号化処理によって得られる符号化データ列が、この画像符号化装置の出力すべき最適な符号化データ列になる。
【００７８】
実際には、このように結果として得られるスケーリング値“×４”が最適な符号化パラメータであることは、図５に示した第１の原画像データに対する一連の圧縮符号化処理を開始する時点では未知である。
【００７９】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。図１４に再符号化部１０７が行う処理のフローチャートを示す。
【００８０】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で再符号化部１０７内のエントロピー復号化部３０１に入力される。
【００８１】
再符号化部１０７内のエントロピー復号化部３０１では、選択された符号化データ列信号１２４を介して供給される個々の矩形領域に対応する符号化データ列に対して、可変長復号語テーブル３０４を参照しながらの復号化、およびランレングス復号化、さらに所定のスキャン順序による二次元化を順に施し、結果として得られた複数個の８行×８列の復号化された直交変換係数行列が復号化された変換係数行列信号３１１上に順次出力される（ステップＳ１４０１）。
【００８２】
再符号化部１０７内のスケーリング部３０２では、エントロピー復号化部３０１から復号化された変換係数行列信号３１１を介して供給される複数個の８行×８列の復号化された直交変換係数行列に対して、別途再符号化パラメータ指示信号１３７を介して制御部１０１から指示される再スケーリング値に基づいてスケーリング演算を行ない、その演算結果として得られた複数個の８行×８列の再スケーリングされた直交変換係数行列が、再スケーリングされた変換係数行列信号３１２上に順次出力される（ステップＳ１４０２）。このスケーリング部３０２で実行されるスケーリング演算は符号化部１０３内のスケーリング部２０３で実行されるスケーリング演算と同一の演算である。スケーリング部３０２に対するスケーリング値としては特別なケースを除けば、常に固定値“×２”が設定される。
【００８３】
再符号化部１０７内のエントロピー符号化部３０３では、スケーリング部３０２から再スケーリングされた変換係数行列信号３１２を介して供給される複数個の８行×８列の再スケーリングされた直交変換係数行列に対して、所定のスキャン順序による一次元化、および値が０である無意の変換係数に対するランレングス符号化、さらに可変長符号語テーブル３０５を参照しながら可変長の符号化を順に施し、結果として得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力される（ステップＳ１４０３）。
【００８４】
エントロピー符号化部３０３から第２の符号化データ列信号１２７上に出力された置換候補となる第２の符号化データ列は、再符号化部１０７内の符号化データ量計数部３０６によって個々の矩形領域に対応する符号化データ列の単位でそのデータ量が計数され、結果として得られる第２の符号化データ列のデータ量が、再符号化付帯情報通知信号１５３上に出力される（ステップＳ１４０４）。
【００８５】
再符号化部１０７から再符号化付帯情報通知信号１５３を介して同様に制御部１０１に順次供給される個々の矩形領域に対応する置換候補となる第２の符号化データ列のデータ量は、制御部１０１の内部で第２の累積値として逐次累積加算される（ステップＳ８）。
【００８６】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、第２の符号化データ列バッファ１０８内に順次格納される。
【００８７】
１回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ａの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×１”（初期値）を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ１（Ａ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ１（Ａ）に相当するものである。
【００８８】
一方、同じ１回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×１”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ１（Ａ）→Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ａ）に相当するものである。
【００８９】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の１回目の符号化フェーズを終了すべきであると判断する（ステップＳ９）。
【００９０】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ１１）。
【００９１】
その後、画像符号化装置の動作フェーズを１回目の符号化フェーズから１回目の転送フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【００９２】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ１０６をＴ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ１２）。
【００９３】
動作フェーズ指示信号１３５によりスイッチ１０６内では、第２のバッファ読み出し信号１２８を介して供給される置換候補である第２の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【００９４】
次に、制御部１０１は１回目の符号化フェーズ期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ１３）。
【００９５】
次に、制御部１０１はこの時点での第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される１回目の転送フェーズの期間中に再符号化器１０７によって“次の”置換候補となる第２の符号化データ列を同時に生成すべきか否かを判断する（ステップＳ１４）。
【００９６】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ１５）、その後、先ほど（ステップＳ１１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ１６）。
【００９７】
“次の”置換候補となる第２の符号化データ列を生成するか否かに係わらず、制御部１０１はこの時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１７）。
【００９８】
その後、制御部１０１は先行する１回目の符号化フェーズの期間中に再符号化部１０７によって生成され、さらに第２の符号化データ列バッファ１０８に格納された、そのデータ量の累積値がＬ２（Ａ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０８に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１８）。
【００９９】
上記指示によって、画像符号化装置は実質的に１回目の転送フェーズに移行することになる。
【０１００】
第２のバッファ読み出し信号１２８を介して第２の符号化データ列バッファ１０８から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０７にも順次供給される。
【０１０１】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１０２】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する“次の”置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１０３】
この１回目の転送フェーズの期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される第２の符号化データ列は、先行する１回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、この１回目の転送フェーズの期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ａ）として、およびその最終的な累積値がＬ２（Ａ）として示される。
【０１０４】
一方、“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、同じ１回目の転送フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される“次の”置換候補となる第２の符号化データ列は、先行する１回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成された第２の符号化データ列に対して、さらに同じ再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ２（Ａ）→Ｑ４（Ａ）として、およびその最終的な累積値がＬ４（Ａ）として示される（ステップＳ１９）。
【０１０５】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０７によって生成された“次の”置換候補となる第２の符号化データ列がすべて第２の符号化データ列バッファ１０８に格納されたことが確認されたならば、実行中の１回の転送フェーズを終了して、速やかに２回目の符号化フェーズに復帰すべきであると判断する（ステップＳ２０）。
【０１０６】
このような判断がなされた場合、先行する転送フェーズの期間中に次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、制御部１０１は直ちに、再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１）。
【０１０７】
その後、画像符号化装置の動作フェーズを１回目の転送フェーズから２回目の符号化フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１０８】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６を再びＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２２）。
【０１０９】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように再び接続する。
【０１１０】
次に、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの更新値として値“×２”を出力し（ステップＳ２３）、その後、先行する１回目の転送フェーズの期間中に中断状態にあった符号化部１０３に対してその符号化処理の動作再開を符号化部動作制御信号１３１を介して指示する（ステップＳ２４）。
【０１１１】
先行する１回目の転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、今から開始される２回目の符号化フェーズの期間中にも再符号化器１０７によるその再符号化処理を継続するものと判断して（ステップＳ２５）、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ２６）、その後、先ほど（ステップＳ２１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ２７）。
【０１１２】
上記指示によって、画像符号化装置は実質的に２回目の符号化フェーズに移行することになる。
【０１１３】
原画像データ入力部１０２は先行する１回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第１の原画像データにおける相対位置がｐ１の直後の矩形領域から再開する。また、符号化部１０３による符号化処理は上記の通り、図１３に示したフローチャートに従って行われる。
【０１１４】
つまり、原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１１５】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。
【０１１６】
この際に、第１の符号化データ列バッファ１０４内では、入力される第１の符号化データ列が先行する１回目の転送フェーズの期間中に格納（転送）された第１の原画像データ上の分割領域Ａに対応するスケーリング値“×２”の符号化データ列に後続する位置から順次格納される。
【０１１７】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１１８】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１１９】
この際に、第２の符号化データ列バッファ１０８内では、第２の符号化データ列が先行する１回目の転送フェーズの期間中に格納された第１の原画像データ上の分割領域Ａに対応するスケーリング値“×４”の符号化データ列に後続する位置から順次格納される。
【０１２０】
２回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｂの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×２”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ２（Ｂ）として、およびその最終的な累積値がＬｌｉｍとして示されるが、これは図４のグラフ上で既に示された直線Ｑ２（Ｂ）に相当するものである。
【０１２１】
一方、同じ２回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×２”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ２（Ｂ）→Ｑ４（Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｂ）に相当するものである。
【０１２２】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍに達したことが確認されたならば、実行中の２回目の符号化フェーズを終了すべきであると判断する（ステップＳ９）。
【０１２３】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作中断を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示し（ステップＳ１１）。
【０１２４】
その後、画像符号化装置の動作フェーズを２回目の符号化フェーズから２回目の転送フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１２５】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが転送フェーズであることを示し、また同時に対応するスイッチ１０６をＴ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ１２）。
【０１２６】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第２のバッファ読み出し信号１２８を介して供給される置換候補である第２の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように接続する。
【０１２７】
次に、制御部１０１は１回目の転送フェーズおよび２回目の符号化フェーズの期間中に第１の符号化データ列バッファ１０４内に格納された符号化データ列を廃棄すべく、第１の符号化データ列バッファ１０４に対して初期化指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ１３）。
【０１２８】
次に、制御部１０１はこの時点での第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、今から開始される２回目の転送フェーズの期間中に再符号化部１０７によって“次の”置換候補となる第２の符号化データ列を同時に生成すべきか否かを判断する（ステップＳ１４）。
【０１２９】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ１５）、その後、先ほど（ステップＳ１１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ１６）。
【０１３０】
“次の”置換候補となる第２の符号化データ列を生成するか否かに係わらず、制御部１０１はこの時点での第２の累積値を第１の累積値として扱うべく、その内部で値の複写を行ない、第２の累積値を０にリセットする（ステップＳ１７）。
【０１３１】
その後、制御部１０１は先行する１回目の転送フェーズおよび１回目の符号化フェーズ期間中に再符号化部１０７によって生成され、さらに第２の符号化データ列バッファ１０８に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ）である置換候補となる第２の符号化データ列を第１のデータ列バッファ１０４に転送すべく、第２の符号化データ列バッファ１０８に対して読み出し指示を第２のバッファ制御信号１３４を介して行ない、また同時に第１のデータ列バッファ１０４に対して書き込み指示を第１のバッファ制御信号１３３を介してそれぞれ行なう（ステップＳ１８）。
【０１３２】
上記指示によって、画像符号化装置は実質的に２回目の転送フェーズに移行することになる。
【０１３３】
第２のバッファ読み出し信号１２８を介して第２の符号化データ列バッファ１０８から読み出された個々の矩形領域に対応する置換候補となる第２の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納（転送）されると同時に、再符号化部１０７にも順次供給される。
【０１３４】
“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、その内部で符号化フェーズの場合と同様に、エントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１３５】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する“次の”置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１３６】
この２回目の転送フェーズの期間中に、第１の符号化データ列バッファ１０４内に順次格納（転送）される第２の符号化データ列は、先行する１回目の転送フェーズおよび２回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、この２回目の転送フェーズの期間中に第１の符号化データ列バッファ１０４内に順次格納（転送）される符号化データ列の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ａ＋Ｂ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ）として示される。
【０１３７】
一方、“次の”置換候補となる第２の符号化データ列を生成することが選択された場合、同じ２回目の転送フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される“次の”置換候補となる第２の符号化データ列は、先行する２回目の符号化フェーズの期間中に再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成された第２の符号化データ列に対して、さらに同じ再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で実直線Ｑ４（Ａ＋Ｂ）→Ｑ８（Ａ＋Ｂ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ）として示される（ステップＳ１９）。
【０１３８】
置換候補となる第２の符号化データ列がすべて第１の符号化データ列バッファ１０４内に格納（転送）され、さらに、再符号化部１０７によって生成された“次の”置換候補となる第２の符号化データ列がすべて第２の符号化データ列バッファ１０８に格納されたことが確認されたならば、実行中の２回目の転送フェーズを終了して、速やかに３回目の符号化フェーズに復帰すべきであると判断する（ステップＳ２０）。
【０１３９】
このような判断がなされた場合、先行する転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、制御部１０１は直ちに、再符号化部１０７に対してその再符号化処理の動作中断を再符号化部動作制御信号１３２を介して指示する（ステップＳ２１）。
【０１４０】
その後、画像符号化装置の動作フェーズを２回目の転送フェーズから３回目の符号化フェーズに移行すべく、制御部１０１は次のような制御を実行する。
【０１４１】
まず、制御部１０１は現在の画像符号化装置の動作フェーズが符号化フェーズであることを示し、また同時に対応するスイッチ１０６を再びＥ側に設定するための動作フェーズ指示値を動作フェーズ指示信号１３５上に出力する（ステップＳ２２）。
【０１４２】
動作フェーズ指示信号１３５により、スイッチ１０６内では、第１の符号化データ列信号１２３を介して供給される第１の符号化データ列を、選択された符号化データ列信号１２４上に伝送するように再び接続する。
【０１４３】
次に、制御部１０１は符号化パラメータ指示信号１３６上にスケーリングの更新値として値“×４”を出力し（ステップＳ２３）、その後、先行する２回目の転送フェーズの期間中に中断状態にあった符号化部１０３に対してその符号化処理の動作再開を符号化部動作制御信号１３１を介して指示する（ステップＳ２４）。
【０１４４】
先行する２回目の転送フェーズの期間中に“次の”置換候補となる第２の符号化データ列を生成することが選択されていたならば、今から開始される３回目の符号化フェーズの期間中にも再符号化器１０７によるその再符号化処理を継続するものと判断して（ステップＳ２５）、制御部１０１は再符号化パラメータ指示信号１３７上に再スケーリング値として値“×２”を出力し（ステップＳ２６）、その後、先ほど（ステップＳ２１）動作中断を指示した再符号化部１０７に対してその再符号化処理の動作再開を再符号化部動作制御信号１３２を介して指示する（ステップＳ２７）。
【０１４５】
上記指示によって、画像符号化装置は実質的に３回目の符号化フェーズに移行することになる。
【０１４６】
原画像データ入力部１０２は先行する２回目の転送フェーズの期間中に中断していた矩形領域の出力動作を、第１の原画像データにおける相対位置がｐ２の直後の矩形領域から再開する。
【０１４７】
原画像データ入力部１０２によって分割および出力され、被符号化データ入力信号１２２を介して符号化部１０３に供給される矩形領域の原画像データは、先行する符号化フェーズの場合と同様に、その内部で直交変換および量子化演算によって得られた複数個の８行×８列の量子化された直交変換係数行列に対してスケーリング値“×４”のスケーリング演算が行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第１の符号化データ列信号１２３上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５２上に出力される。
【０１４８】
第１の符号化データ列信号１２３上に出力された個々の矩形領域に対応する第１の符号化データ列は、スイッチ１０６を経由して、さらに選択された符号化データ列信号１２４を介して、第１の符号化データ列バッファ１０４内に順次格納されると同時に、再符号化部１０７にも順次供給される。
【０１４９】
この際に、第１の符号化データ列バッファ１０４内では、入力される第１の符号化データ列が先行する２回目の転送フェーズの期間中に格納（転送）された第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値“×４”の符号化データ列に後続する位置から順次格納される。
【０１５０】
スイッチ１０６によって選択され、選択された符号化データ列信号１２４を介して再符号化部１０７に供給される個々の矩形領域に対応する一連の符号化データ列は、先行する転送フェーズの場合と同様に、その内部でエントロピー復号化された複数個の８行×８列の復号化された直交変換係数行列に対してスケーリング値“×２”のスケーリング演算が再度行なわれ、さらにエントロピー符号化して得られた個々の矩形領域に対応する一連の符号化データ列が第２の符号化データ列信号１２７上に出力され、同時にそのデータ量が再符号化付帯情報通知信号１５３上に出力される。
【０１５１】
第２の符号化データ列信号１２７上に出力された個々の矩形領域に対応する置換候補となる第２の符号化データ列は第２の符号化データ列バッファ１０８内に再び順次格納される。
【０１５２】
この際に、第２の符号化データ列バッファ１０８内では、入力される置換候補となる第２の符号化データ列が、先行する２回目の転送フェーズの期間中に格納された第１の原画像データ上の分割領域Ａおよび分割領域Ｂに対応するスケーリング値“×８”の符号化データ列に後続する位置から順次格納される。
【０１５３】
３回目の符号化フェーズの期間中に、言いかえれば圧縮符号化処理の対象としている矩形領域の相対位置が図５に示される第１の原画像データ上の分割領域Ｃの範囲にある期間中に、第１の符号化データ列バッファ１０４内に順次格納される第１の符号化データ列は、符号化部１０１においてスケーリング値“×４”を用いた圧縮符号化処理によって第１の原画像データから生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は、図６のグラフ上で点直線Ｑ４（Ｃ）として、およびその最終的な累積値がＬ４（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で既に示された直線Ｑ４（Ｃ）に相当するものである。
【０１５４】
一方、同じ３回目の符号化フェーズの期間中に、第２の符号化データ列バッファ１０８内に順次格納される置換候補となる第２の符号化データ列は、符号化部１０３においてスケーリング値“×４”を用いた圧縮符号化処理によって生成された第１の符号化データ列に対して、さらに再符号化部１０７においてスケーリング値“×２”を用いた再符号化処理によって生成されたものである。したがって、制御部１０１内部で累積加算されているそのデータ量の累積値の推移は図６のグラフ上で実直線Ｑ４（Ｃ）→Ｑ８（Ｃ）として、およびその最終的な累積値がＬ８（Ａ＋Ｂ＋Ｃ）として示されるが、これは図４のグラフ上で示された直線Ｑ８（Ｃ）に相当するものである。
【０１５５】
制御部１０１では、第１の符号化データ列バッファ１０４内に格納された第１の原画像データを構成するすべての矩形領域に対応する第１の符号化データ列のデータ量の累積値が、最大許容符号化データ量Ｌｌｉｍを超えないことが確認されたならば、実行中の３回目の符号化フェーズを終了すべきであると判断する（ステップＳ１０）。
【０１５６】
このような判断がなされた場合、制御部１０１は直ちに、符号化部１０３に対してその符号化処理の動作終了を符号化部動作制御信号１３１を介して指示し、また同時に再符号化部１０７に対してその再符号化処理の動作終了を再符号化部動作制御信号１３２を介して指示する（ステップＳ２８）。
【０１５７】
続いて、制御部１０１は先行する２回目の転送フェーズさらに３回目の符号化フェーズの期間中に第１の符号化データ列バッファ１０４に格納された、そのデータ量の累積値がＬ４（Ａ＋Ｂ＋Ｃ）である符号化データ列を画像符号化装置から出力すべく、第１の符号化データ列バッファ１０４に対して読み出し指示を第１のバッファ制御信号１３３を介して行なう（ステップＳ２９）。
【０１５８】
第１の符号化データ列バッファ１０４から第１のバッファ読み出し信号１２５を介して読み出された個々の矩形領域に対応する符号化データ列は、符号化データ列出力部１０５によって第１の原画像データ全体に対するひとつの符号化データ列としてまとめられ、その符号化データ列が画像符号化装置の圧縮符号化処理の結果として符号化データ列出力信号１２６上に出力される。
【０１５９】
本実施形態の画像符号化装置は、符号化データ列出力部１０５による符号化データ列の出力処理の終了をもって（ステップＳ３０）、第１の原画像データに対する一連の圧縮符号化処理を終了することになる。
【０１６０】
以上説明してきた第１の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×４”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが都合２回挿入された。
【０１６１】
さらに、２回目の転送フェーズおよびそれに続く３回目の符号化フェーズの期間中に、“次の”置換候補となるスケーリング値“×８”に相当する第２の符号化データ列が再符号化部１０７における再符号化処理によって生成された。
【０１６２】
結論から見ると、この最後の置換候補となる第２の符号化データ列は、あくまでも”候補”で終わってしまい、画像符号化装置から出力されることはなかったが、このことは、画像符号化装置の動作フェーズが２回目の転送フェーズへ移行する時点で、制御部１０１がステップＳ１４において“次の”置換候補となる符号化データ列を生成すべきという判断を下したことに起因する。
【０１６３】
以上の説明により、本実施形態の画像符号化装置及び画像符号化方法によって、画像圧縮符号化結果のデータサイズを予め定められたサイズ以下に抑えることができると共に、上述した従来の圧縮符号化処理のように冗長した処理を行うことがないので、圧縮符号化処理に要する時間を従来よりも短縮する事ができる。
【０１６４】
［第２の実施形態］
本実施形態では、第１の原画像とは異なる第２の原画像に対して図１に示した構成を備える画像符号化装置を用いて圧縮符号化する際の処理について説明する。第１の原画像が符号化フェーズが３回となるような画像であったのに対し、符号化フェーズの数が４回となるような圧縮符号化対象の画像を第２の原画像としている。
【０１６５】
図７は、図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。図８は、上記第２の原画像データを表わした図である。図９は、図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【０１６６】
本実施形態の画像符号化装置が図８に示した第２の原画像データに対して行う一連の圧縮符号化処理について、上記図１乃至図３、及び図７乃至１０を用いて以下、説明する。なお、本実施形態における圧縮符号化処理は図１０に示したフローチャートに従ったものとなる。
【０１６７】
図８に示した第２の原画像データに対して、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理を実行した場合に得られる個々の矩形領域に対応する４個の符号化ストリームのデータ量の累積値の推移が図７に示すグラフ上で原点から始まる４本の直線で表わされている。
【０１６８】
このグラフ上で、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ａの範囲にある期間に、４つのスケーリング値“×１”、“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ１（Ａ）、Ｑ２（Ａ）、Ｑ４（Ａ）、およびＱ８（Ａ）、としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ１に達した時点におけるこれら４個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ２（Ａ）、Ｌ４（Ａ）、およびＬ８（Ａ）にそれぞれ達することが示されている。
【０１６９】
スケーリング値“×１”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×１”を用いた圧縮符号化処理は必要とされないことになる。
【０１７０】
従って、相対位置ｐ１以降の矩形領域に対する圧縮符号化処理は、残り３つのスケーリング値“×２”、“×４”、および“×８”に対応する３つの符号化データ列に対するもののみに対してその動作が継続される。
【０１７１】
続いて、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｂの範囲（ｐ１からｐ２まで）にある期間に、残り３つのスケーリング値“×２”、“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ２（Ｂ）、Ｑ４（Ｂ）、およびＱ８（Ｂ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ２に達した時点におけるこれら３個の符号化データ列のデータ量の累積値はＬｌｉｍ、Ｌ４（Ａ＋Ｂ）、およびＬ８（Ａ＋Ｂ）にそれぞれ達することが示されている。
【０１７２】
スケーリング値“×２”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａおよび分割領域Ｂを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×２”を用いた圧縮符号化処理は必要とされないことになる。
【０１７３】
従って、相対位置ｐ２以降の矩形領域に対する圧縮符号化処理は、残り２つのスケーリング値“×４”、および“×８”に対応する２つの符号化データ列に対するもののみに対してその動作が継続される。
【０１７４】
図７に示した第２の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｃの範囲（ｐ２からｐ３まで）にある期間に、残り２つのスケーリング値“×４”、および“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ４（Ｃ）、およびＱ８（Ｃ）としてそれぞれ表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置がｐ３に達した時点におけるこれら２個の符号化データ列のデータ量の累積値はＬｌｉｍおよびＬ８（Ａ＋Ｂ＋Ｃ）にそれぞれ達することが示されている。
【０１７５】
スケーリング値“×４”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量は、第２の原画像データ上の分割領域Ａ、分割領域Ｂおよび分割領域Ｃを構成するすべての矩形領域の圧縮符号化処理を終えた時点で、その累積値が最大許容符号化データ量Ｌｌｉｍに達してしまうので、これ以降の矩形領域に対するスケーリング値“×４”を用いた圧縮符号化処理は必要とされないことになる。
【０１７６】
従って、相対位置ｐ３以降の矩形領域に対する圧縮符号化処理は、残りのスケーリング値“×８”に対応する符号化データ列に対するもののみに対してその動作が継続される。
【０１７７】
図７に示した第２の原画像データに対する圧縮符号化処理おいては、圧縮符号化処理の対象としている矩形領域の相対位置が第２の原画像データ上の分割領域Ｃの範囲（ｐ３から１００%まで）にある期間に、残りのスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の累積値の推移は、同グラフ上で直線Ｑ８（Ｄ）として表わされている。そして、既に圧縮符号化がなされた矩形領域の相対位置が１００%に達した時点におけるこの符号化データ列のデータ量の累積値はＬ８（Ａ＋Ｂ＋Ｃ＋Ｄ）に達することが示されている。
【０１７８】
このことから、図８に示した第２の原画像データを構成するすべての矩形領域に対する圧縮符号化処理を終えた時点で、２つのスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列のデータ量の最終的な累積値は、最大許容符号化データ量Ｌｌｉｍを超えないことがわかる。
【０１７９】
結果としては、このスケーリング値“×８”を用いた圧縮符号化処理によって得られる符号化データ列が、画像符号化装置の出力すべき最適な符号化データ列になる。
【０１８０】
この第２の原画像データに対して実際に画像符号化装置において一連の圧縮符号化処理を行なった場合、第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値の遷移は図９に示すようになる。
【０１８１】
図９を見るとわかるように、第２の原画像データに対する一連の圧縮符号化処理においては、最終的な符号化データ列をスケーリング値“×８”を用いた圧縮符号化処理によって生成するために、スケーリング値の更新とそれに伴なう置換候補となる符号化データ列の転送を行なうために転送フェーズが３回挿入される。
【０１８２】
しかし、この第２の原画像データの例では、３回目の転送フェーズおよびそれに続く４回目の符号化フェーズの期間中に、“次の”置換候補となる第２の符号化データ列を生成するための再符号化処理は再符号化部１０７によって実行されなかったことが示されている。
【０１８３】
このことは、画像符号化装置の動作フェーズが３回目の転送フェーズへ移行する時点で、制御部１０１がステップＳ１４において“次の”置換候補となる符号化データ列の生成が不要であるという判断を下したことに起因する。
【０１８４】
以上説明してきたように、第１，２の実施形態の画像符号化装置では、制御部１０１が一連の圧縮符号化処理の過程において２つの動作フェーズである符号化フェーズと転送フェーズ間の移行を制御している。
【０１８５】
そして、符号化パラメータ（スケーリング値）に対する更新の必要性に伴なう実行中の符号化フェーズの中断と転送フェーズへの移行の際に、さらなる“次の”置換候補となり得る新たな符号化データ列を再符号化処理によって生成するか否かを、制御部１０１はその内部で、第１の累積値、第２の累積値、および矩形領域位置情報信号１５１を介して得られる既に圧縮符号化された矩形領域の原画像データにおける相対位置情報等を基に、所定の判断基準によって決定する。この判断基準は、言うなれば、さらなる“次の”置換候補となり得る符号化データ列がその後に発生する転送フェーズの期間中に実際に第１の符号化データ列バッファに転送され得る確率の予測値が基になっている。
【０１８６】
例えば、その確率の予測値を算出する方法は、転送フェーズに移行した時点において圧縮符号化がなされていない残りの矩形領域が原画像データ上で占める割合いが小さいほど低くなり、またその時点において第２の符号化データ列バッファに格納されている最新の置換候補となる符号化データ列のデータ量の累積値が小さいほど低くなる、と言った統計的性質、および想定される矩形領域単位の符号化データ列の最大データ量等に代表されるような入力される原画像データそのものの統計的性質、等を用いている。
【０１８７】
［第３の実施形態］
上記第１，２の実施形態の画像符号化装置においては、転送フェーズの期間中に“次の”置換候補となる符号化データ列を生成するための実現手段として、専用に具備された再符号化部１０７における再符号化処理を採用した。そして、最初の符号化フェーズの期間中に最初の置換候補となる符号化データ列を生成するための実現手段、および先行する転送フェーズに後続する符号化フェーズの期間中にその置換候補となる符号化データ列の後続部分を生成するための実現手段、のいずれにも、符号化部１０３で生成された第１の符号化データ列（出力候補となる符号化データ列）を入力とする再符号化部１０７を採用した。
【０１８８】
この構成では、再符号化部１０７の稼動率は高まり、回路規模を低く抑える目的には有利であるが、一旦符号化データ列として生成されたものに対する再符号化処理は、その再符号化処理に係る処理サイクル数の増大に伴なって、対符号化部のデータ転送に伴なうフロー制御上でビジー状態を通知する可能性も比較的高くなり、このことが画像符号化装置全体としての一連の圧縮符号化処理の性能低下を招く要因にもなり得る。
【０１８９】
そういった観点から、符号化フェーズの期間中に、その置換候補となる符号化データ列の後続部分を生成するための実現手段として、符号化部において第１の符号化データ列と同時に置換候補となる符号化データ列を同時に生成するといった構成も考えられる。
【０１９０】
図１１は、このような構成をとる、本実施形態における画像符号化装置の構成を示すブロック図である。さらに図１２は、図１１に示した画像符号化装置における符号化部４０３の構成を表わすブロック図である。
【０１９１】
本実施形態の画像符号化装置においては、符号化フェーズの期間中に、符号化器４０３によって生成される２つの符号化データ列、すなわち出力候補となる第１の符号化データ列が第１の符号化データ列信号４２３〜第１のスイッチ４０６〜選択された符号化データ列信号４２５を介して第１の符号化データ列バッファ４０４に順次格納される。また同時に、置換候補となる第２の符号化データ列が第２の符号化データ列信号４２４〜第２のスイッチ４０８〜第２のバッファ書き込み信号４２８を介して第２の符号化データ列バッファ４０９に順次格納される。
【０１９２】
符号化部４０３には２つの符号化データ列に対してそれぞれ独立した符号化パラメータが、第１の符号化パラメータ指示信号４３６および第２の符号化パラメータ指示信号４３７を介して制御部４０１から供給される。
【０１９３】
例えば、第１の符号化パラメータ指示信号４３６上にスケーリング値”×２”が指示されているとき、第２の符号化パラメータ指示信号４３７上にはスケーリング値”×４”が指示される。これによって第２の符号化パラメータ指示信号４３７に対応する第２の符号化データ列が、第１の符号化データ列に対する置換候補となる。
【０１９４】
たとえば、再符号化処理への移行が決定された時点におけるそれぞれの符号化データ列の累積加算されたデータ量の目標符号化データ量に対する比率等から再符号化処理の対象とする符号化データ列を適応的に選択しても構わない。
【０１９５】
そしてそれ以外の処理は第１，２の実施形態と同様に行えばよい。
【０１９６】
以上の実施形態を後述の通りまとめる。すなわち、入力画像データに対する一連の圧縮符号化処理に伴なう所謂情報量制御を実施するにあたって、符号化フェーズにある画像符号化装置内の制御手段では、あらかじめ設定された最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された符号化データ列のデータ量の累積値等を基に、符号化フェーズを継続することの妥当性が随時判断されている。
【０１９７】
所定の判断基準によって、現在の符号化パラメータを用いた圧縮符号化処理を終了すべきと判断した場合、制御手段は符号化手段に対する符号化パラメータの更新指示と置換候補の符号化データ列との置換を行なうべく、”転送モード”への移行とおよびそれに伴なう各種動作制御を行なう。
【０１９８】
本発明の画像符号化装置においては、次に転送フェーズに移行した際に更新される符号化パラメータが既知であることが前提になっている。従って、原理的に、置換候補となリ得るもうひとつの符号化データ列を生成する処理を、符号化フェーズの期間中に行なわれる圧縮符号化処理と同時に実行することが可能である。
【０１９９】
この置換候補となり得る符号化データ列を生成する具体的な実現方法として、本発明ではふたつの方法を適用している。
【０２００】
そのひとつは、符号化手段による圧縮符号化処理によって生成された出力候補となり得る第１の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果として置換候補となり得る第２の符号化データ列を生成するものである。
【０２０１】
もうひとつの方法は、符号化手段において出力候補となり得る第１の符号化データ列の符号化処理と並行して、次に更新される符号化パラメータに対応する符号化データ列の符号化処理を同時行なうことによって、結果として置換候補となり得る第２の符号化データ列を作成するものである。
【０２０２】
符号化フェーズの期間中に前記いずれかの方法で生成され、さらに、置換候補として第２の符号化データ列バッファに格納される第２の符号化データ列は、画像符号化装置が転送フェーズに移行した際に、第１の符号化データ列バッファに転送され、その上でそれまで出力候補として格納されていた符号化データ列と置き換えられる。
【０２０３】
さらに転送フェーズの期間中に、先行投資的に、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理が前記２つのバッファ間の符号化データ列の転送処理と並行して同時に行なうことができる。
【０２０４】
この転送動作と同時に行なわれる“次の”置換候補となり得る符号化データ列を生成する実現方法は、転送中の符号化データ列を再符号化手段に入力データとして供給して、そこでエントロピー復号化を経て得られるシンボル情報に対して、さらにその次に更新される符号化パラメータを用いた再符号化処理を行なうことによって、結果としてさらに“次の”置換候補となり得る符号化データ列を生成するものである。
【０２０５】
前記説明した２つのバッファメモリ間での符号化データ列の転送処理とそれと並行して行われる、先行投資的な再符号化処理が終了すると、画像符号化装置としての動作フェーズは転送フェーズから再び符号化フェーズに戻る。
【０２０６】
再び符号化フェーズに復帰した画像符号化装置においては、制御手段によって符号化手段に対する符号化パラメータの更新指示がなされた後に、その符号化手段に対する符号化処理の中断状態が解除される。この動作制御によって更新された符号化パラメータを用いた圧縮符号化処理が再開される。
【０２０７】
更新された符号化パラメータを用いて再び符号化手段によって生成される符号化データ列は、先行する転送フェーズの期間中に転送および格納された（置換候補であった）符号化データ列に後続して第１の符号化データ列バッファ上に順次格納される。
【０２０８】
また符号化フェーズの期間中に、符号化手段における圧縮符号化処理に並行して、さらに“次の”置換候補となり得る符号化データ列も前記説明した方法で生成される。
【０２０９】
いずれかの方法で生成されたさらに“次の”置換候補となり得る符号化データ列は、先行する転送フェーズの期間中に生成および格納された符号化データ列に後続して第２の符号化データ列バッファ上に順次格納される。
【０２１０】
なお、転送フェーズの期間中に先行投資的に行なわれる、さらに“次の”置換候補となり得る符号化データ列を生成するための再符号化処理の必要性、言い換えれば、そうやって生成された“次の”置換候補となり得る符号化データ列が、将来発生する転送フェーズにおいて実際に出力候補の符号化データ列として第１の符号化データ列バッファに転送される可能性が、最大許容符号化データ量、現在までに既に符号化処理がなされた矩形領域の集合領域が原画像データに占める割合い、別途算出した目標符号化データ量、さらに現在までに生成された置換候補の符号化データ列のデータ量の累積値等を基に、転送フェーズに移行する時に定量的に評価される。
【０２１１】
したがって、転送フェーズへの移行時に、“次の”置換候補の符号化データを生成するための再符号化処理が不要であると判断される場合も有り、そのような場合には、本来転送フェーズで行なうべき２つの符号化データ列バッファ間の符号化データ列の転送処理のみが、そしてそれに続く符号化フェーズの期間中には出力候補の符号化データ列を生成するための圧縮符号化処理のみが画像符号化装置内で実行される。
【０２１２】
［第４の実施形態］
図１５は本実施形態における画像符号化装置の構成を示すブロック図である。各部についての説明は後述する。また、以下の実施形態の画像符号化装置の制御部では、“次の”置換候補となる符号化データ列の生成は常に行うとする。
【０２１３】
図１８は本実施形態の画像符号化装置に設定される最大許容符号化データ量５４１０と、図１５に示す目標符号化データ量算出器５１１８によって算出された目標符号化データ量５４１１と、符号化器５１０２及び再符号化器５１０３が生成する符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【０２１４】
図２１は、図１５に示したグラフ上で示される矩形領域の４箇所の相対位置０％、Ｐ１，Ｐ２、および１００％と３つの分割領域Ａ、ＢおよびＣを２次元的に原画像データ上で表わした図である。
【０２１５】
以下、図１５、図１８及び図２１を参照しながら本実施形態における画像符号化装置について説明する。
【０２１６】
画像符号化装置が符号化処理を開始する前に、外部から最大許容符号化データ量格納レジスタ５１１９に符号化データ列の累積加算されたデータ量の許容される上限値が設定される。また、制御部５１１１は、符号化・再符号化パラメータ格納レジスタ５１１２に所定の量子化スケーリング値Ｑ１、Ｑ２を設定する。なお以下、量子化スケーリング値Ｑｎ、Ｑｍ（ｍ＞ｎ）の場合、量子化スケーリング値Ｑｍを用いた方が、量子化スケーリング値Ｑｎを用いた場合よりも圧縮率が高いものとする。また、本実施形態の画像符号化装置においては、符号化・再符号化パラメータ格納レジスタ５１１２に設定されるパラメータは、量子化スケーリング値に限定されない。例えば、量子化テーブルが設定される。
【０２１７】
原画像データ５１５１が入力されると、原画像データ入力部５１０１は、原画像データ５１５１を所定の大きさのブロックに分割する。符号化器５１０２が符号化処理を開始できる状態にあれば、符号化器５１０２にブロックに分割された画像データ５１５２を送る。同時に、符号化されたブロックの原画像における相対位置５１６１を出力する。符号化器５１０２は、制御部５１１１からの制御により、符号化・再符号化パラメータ格納レジスタ５１１２に格納されている量子化スケーリング値Ｑ１を基に、ブロックに分割された画像データ５１５２を圧縮符号化し、符号化データ列５１５３と、符号化データ量５１６４を出力する。量子化スケーリング値を用いた符号化処理については公知の技術であるために、ここでの説明は省略する。
【０２１８】
符号化データ列５１５３は、符号化データ列バッファ５１０５及び選択器５１０７に入力される。選択器５１０７は、制御部５１１１からの制御により符号化データ列５１５３を選択する。再符号化器５１０３は、選択された符号化データ列５１５４に対し、符号化・再符号化パラメータ格納レジスタ５１１２から得られる量子化スケーリング値Ｑ２を基に圧縮再符号化し、再符号化データ列５１５５を符号化データ列バッファ５１０４に出力し、再符号化データ列５１５５の符号化データ量５１６８を再符号化データ量計数器５１１４に出力する。
【０２１９】
符号化データ量計数器５１１３は、符号化データ量５１６４を順次累積加算する。再符号化データ量計数器５１１４は、再符号化データ列５１５５の符号化データ量５１６８を順次累積加算する。
【０２２０】
以上の符号化及び再符号化処理により、図１８に示した量子化スケーリング値Ｑ１によって符号化された符号化データ列の累積加算された符号化データ量Ｑ１（５４２１）が符号化データ量計数器５１１３によって出力され、量子化スケーリング値Ｑ２によって符号化された符号化データ列の累積加算された符号化データ量Ｑ２（５４２２ａ）が再符号化データ量計数器５１１４から出力される。ここで、以上の処理が行なわれるフェーズを符号化フェーズ（５４０１）と呼ぶ。符号化フェーズ５４０１では、図２１に示す領域Ａのブロックの原画像が符号化されている。
【０２２１】
一方、目標符号化データ量算出器５１１８は、最大許容符号化データ量格納レジスタ５１１９から得られる最大許容符号化データ量５１７８と、原画像データ入力部５１０１から得られる符号化されたブロックの原画像における相対位置５１６１を基に、目標符号化データ量５１７３（図１８の５４１１）を算出する。なお、目標符号化データ量の具体的な算出方法としては例えば次のように求めることができる。最大許容符号化データ量をＬｍａｘ、符号化器５１０２による符号化処理を終えていないブロックの数をＮ、目標符号化データ量算出定数をCとすると、目標符号化データ量Ｌｔは次式で表現される。
【０２２２】
Ｌｔ ＝ Ｌｍａｘ − C × Ｎ
なお、目標符号化データ量算出方法はこれに限定されるものではい。符号化データ量比較器５１１７は、目標符号化データ量５１７３と、符号化データ量計数器５１１３から得られる累積加算された符号化データ量５１７５を随時比較する。
【０２２３】
ここで、図２１のブロックｐ１の符号化処理を終えた段階で、累積加算された符号化データ量５１７５が目標符号化データ量５１７３を超えたとき、制御部５１１１は、符号化器５１０２へのブロックに分割された画像データ５１５２の入力を停止させ、符号化データ列バッファ５１０５に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ５１１２に量子化スケーリング値Ｑ２及びＱ３を設定し、再符号化データ量格納レジスタ５１１５に再符号化データ列５１５５の累積加算された符号化データ量５１７６を格納し、符号化データ量計数器５１１３及び再符号化データ量計数器５１１４がカウントしていた符号化データ量をゼロにクリアした後、符号化データ列バッファ５１０４に格納されている再符号化データ列５１５６の読み出しを開始する。
【０２２４】
符号化データ列バッファ５１０４に格納されている再符号化データ列５１５８は符号化データ列バッファ５１０５にコピーされる。
【０２２５】
選択器５１０７は、再符号化データ列５１５６を選択し、再符号化器５１０３に出力する。再符号化器５１０３は、量子化スケーリング値Ｑ３を基に再符号化データ列５１５６に対して圧縮再符号化処理を行ない、さらに圧縮された再符号化データ列５１５５と、再符号化データ列５１５５の符号化データ量５１６８（図１８の５４２３ａ）を出力する。
【０２２６】
以上の処理を行なうフェーズを転送フェーズ（図１８の５４０２）と呼ぶ。転送フェーズ５４０２では、量子化スケーリング値Ｑ２を基に符号化された図２１の領域Ａのブロックの原画像が量子化スケーリング値Ｑ３を基に再符号化される。
【０２２７】
再符号化データ列５１５６に対する圧縮再符号化処理が終了（図１８の転送フェーズ５４０２が終了）した後、図２１に示す領域Ｂのブロックを符号化するフェーズに移行する。このフェーズでは、制御部５１１１は符号化器５１０２へのブロックに分割された画像データ５１５２の入力を開始し、符号化器５１０２は先程設定された量子化スケーリング値Ｑ２を用いて符号化処理を再開する（図１８の符号化フェーズ５４０３へ移行する）。そして符号化データ列５１５３は符号化データ列バッファ５１０５に入力され、先程格納した領域Ａの符号化データ列の後続のデータとして格納される。
【０２２８】
選択器５１０７は符号化データ列５１５３を選択する。符号化データ量加算器５１１６は、再符号化データ量格納レジスタ５１１５に格納されている符号化データ量５１７７と、符号化データ量計数器５１１３から得られる累積加算された符号化データ量５１７５とを加算する。符号化データ量比較器５１１７は最大許容符号化データ量５１７８と加算結果５１７４（図１８の５４２２ａと５４２２ｂの加算値）とを比較する。
【０２２９】
図２１のｐ２のブロックの原画像を符号化した時点で、符号化データ量加算器５１１６から得られる加算結果５１７４が目標符号化データ量５１７３を超えると、制御部５１１１は符号化器５１０２へのブロックに分割された画像データ５１５２の入力を停止させ、符号化データ列バッファ５１０５に格納されている符号化データ列を破棄し、符号化・再符号化パラメータ格納レジスタ５１１２に量子化スケーリング値Ｑ３及びＱ４を設定し、再符号化データ量格納レジスタ５１１５に再符号化データ列５１５５の累積加算された符号化データ量５１７６を格納し、符号化データ量計数器５１１３及び再符号化データ量計数器５１１４がカウントしていた符号化データ量をゼロにクリアする。以上の処理を行なった後、符号化データ列バッファ５１０４に格納されている再符号化データ列５１５６の読み出しを開始し、図１８の転送フェーズ５４０４へ移行する。
【０２３０】
転送フェーズ５４０４では、量子化スケーリング値Ｑ３を基に符号化されている図２１の領域Ａ及びＢのブロックの原画像が符号化データ列バッファ５１０５にコピーされると共に、再符号化器５１０３によって量子化スケーリング値Ｑ４で再符号化される。
【０２３１】
以下、同様の処理を行ない、原画像を構成する全てのブロックに対する符号化が終了した時点で、目標符号化データ量及び最大許容符号化データ量を超えない図１８の量子化スケーリング値Ｑ３で符号化された符号化データ列Ｑ３（５４２３ａ〜５４２３ｃ）が最終的な出力となる。制御部５１１１は、符号化データ列バッファ５１０４に格納されている、量子化スケーリング値Ｑ３で再符号化された図２１の領域Ａ及びＢの符号化データ列Ｑ３（５４２３ａ、５４２３ｂ）と、符号化データ列バッファ５１０５に格納されている図２１の領域Ｃの符号化データ列Ｑ３（５４２３ｃ）を、符号化データ列出力部５１０６を通して外部に出力する。
【０２３２】
以上説明したように、本実施形態の画像符号化装置は、ブロックに分割された原画像の符号化が進むにつれて、図１８のグラフに示したように符号化データ量が増加していき、同時に符号化処理が進むのに応じて原画像におけるブロックの相対位置から目標符号化データ量を算出し、目標符号化データ量と符号化処理を終えた符号化データ量の累積加算値との比較結果に応じて、適応的に量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替えながら符号化処理を行なう。
【０２３３】
ここで、目標符号化データ量算出器を備えず、最大許容符号化データ量との比較結果のみに応じて量子化スケーリング値を設定し、符号化フェーズと転送フェーズを切り替える制御を行なう画像符号化装置において、符号化データ量の増加と原画像の符号化に要する時間について述べる。
【０２３４】
図１９は、最大許容符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えた場合の、符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。図１８に示したグラフと比較すると、図１９に示したグラフでは領域Ａの転送フェーズへの移行が遅れる。このことにより、転送フェーズ５５０２で再符号化する領域Ａのブロックの原画像の量が本実施形態の画像符号化装置よりも増える。よって、領域Ａの転送フェーズに要する時間が本実施形態の画像符号化装置よりも増加する。領域Ａ及びＢの転送フェーズにおいても同様である。ゆえに、図１９に示す符号化フェーズと転送フェーズの切り替え制御を行なう画像符号化装置は、本実施形態の画像符号化装置よりも符号化処理に要する時間が長くなってしまう。
【０２３５】
以上より、本実施形態の画像符号化装置は、符号化されたブロックの原画像における相対位置情報を基に随時目標符号化データ量を算出し、符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えるため、転送フェーズへの移行を早めることができ、転送フェーズで再符号化処理を行なうデータ量を減らすことができるので、原画像全体の符号量制御を伴う符号化処理に要する時間を短縮できることは明らかであろう。
【０２３６】
［第５の実施形態］
上記第４の実施形態の画像符号化装置では、原画像の持つ特徴によっては、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず、転送フェーズに移行してしまう可能性がある。このことを説明するために図２０を用いる。図２０は符号化されたブロック数（横軸）に応じた符号化データ量（縦軸）の変化を示すグラフである。
【０２３７】
例えば図２０のグラフに示すように符号化データ量が増加していく場合、最大許容符号化データ量５６０１に累積加算された符号化データ量５６０３が達しないにも係わらず、目標符号化データ量５６０２を超えた時点５６０４で転送フェーズに移行し、再符号化処理を行なってしまう。これにより、画像の量子化歪みが増し、画質が低下する恐れがある。そこで、量子化歪みが最も小さい符号化データ列を生成するために、目標符号化データ量算出方法をより正確に行なう必要がある。
【０２３８】
この問題に対し、本実施形態の画像符号化装置は第４の実施形態とは異なる方法で目標符号化データ量を算出する手段を備え、より正確に目標符号化データ量を算出することを可能とする。
【０２３９】
図１６は本実施形態における画像符号化装置の構成を示すブロック図である。同図に示した画像符号化装置は図１５に示した画像符号化装置の構成に加えて、原画像属性格納レジスタ５２０２、符号化パラメータ変更時情報格納レジスタ５２０３、最大累積符号化データ量予測器５２０４、平均累積符号化データ量予測器５２０５、無為ブロック累積符号化データ量予測器５２０６、画像入力装置誤差格納レジスタ５２０７を備える。
【０２４０】
原画像属性格納レジスタ５２０２には、原画像が持つ属性、例えば自然画像である、文書であるなどの情報を保持する。尚、この情報は外部から設定される。文字は隣接する画素間の相関関係が低いため、符号化データ量が自然画よりも多くなる傾向にある。このような傾向を情報として予め原画像属性格納レジスタ５２０２に格納しておくことで、このことを利用して、符号化データ量の予測精度をさらに高めることができる。
【０２４１】
符号化パラメータ変更時情報格納レジスタ５２０３は、制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置５１６１と、符号化データ量計数器５１１３および符号化データ量加算器５１１６から得られる累積加算された符号化データ量を保持する。
【０２４２】
最大累積符号化データ量予測器５２０４は、符号化されたブロックの原画像における相対位置５１６１を基に、既に符号化処理を終えたブロックの原画像データの後に符号化データ量が最大になるブロックのみが存在するときの今後の符号化データ列の累積加算された符号化データ量の予測値５２５３を算出する。
【０２４３】
平均累積符号化データ量予測器５２０５は、符号化データ量計数器５１１３あるいは符号化データ量加算器５１１６から得られる累積加算された符号化データ量と、符号化されたブロックの原画像における相対位置５１６１を基に、１ブロックあたりの符号化データ列の平均符号化データ量を求め、平均符号化データ量を基に、符号化データ列の累積加算された符号化データ量の予測値５２５４を算出する。
【０２４４】
画像入力装置誤差格納レジスタ５２０７には、原画像データ入力部５１０１に入力される原画像を読みとる装置（例えばスキャナなどの光学的な画像読み取り装置）が、原画像を読み取る際の誤差が外部から設定される。この誤差とは、例えば、スキャナが原稿を読み取った時の色のブレなどである。色のブレがあった場合、たとえ真っ白な原稿であったとしても、わずかな色のブレによって隣接する画素間に変化が生じる。
【０２４５】
無為ブロック累積符号化データ量予測器５２０６は、符号化されたブロックの原画像における相対位置５１６１と、画像入力装置誤差格納レジスタ５２０７に格納されている読み取り誤差情報５２５６に応じて、既に符号化処理を終えたブロックの原画像データの後に画像入力装置による読み取り誤差以外に有意な情報が存在しない無為ブロックのみが存在するときの、今後の無為ブロックの符号化データ列の累積加算された符号化データ量の予測値５２５５を算出する。
【０２４６】
目標符号化データ量算出器５２０１は、原画像属性格納レジスタ５２０２から得られる原画像が持つ属性５２５１と、符号化パラメータ変更時情報格納レジスタ５２０３から得られる制御部が量子化スケーリング値を切り替えて符号化フェーズから転送フェーズへ制御を移行した時点での、符号化されたブロックの原画像における相対位置５１６１と、符号化データ量計数器５１１３および符号化データ量加算器５１１６から得られる累積加算された符号化データ量と、最大累積符号化データ量予測器５２０４から得られる符号化データ列の累積加算された符号化データ量の予測値５２５３と、平均累積符号化データ量予測器５２０５から得られる符号化データ列の累積加算された符号化データ量の予測値５２５４と、無為ブロック累積符号化データ量予測器５２０６から得られる無為ブロックの符号化データ列の累積加算された符号化データ量の予測値５２５５とから、符号化されたブロックの原画像における相対位置５１６１に応じた複数の目標符号化データ量を算出することができる。
【０２４７】
具体的には、符号化されたブロックの原画像における相対位置５１６１に応じた３つの予測値（５２５３乃至５２５５）、すなわち、３つの目標符号化データ量を算出することができる。
【０２４８】
なお、上記予測値からの目標符号化データ量の算出方法は規定されないが、本実施形態の画像符号化装置においては例えば以下のように算出される。
【０２４９】
最大許容符号化データ量をＬｍａｘ、原画像を構成するブロックの数をＭ、符号化器５１０２による符号化処理を終えたブロックの数をＮ、目標符号化データ量をＬｔ、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値５２５３をＬ１、平均符号化データ量を基に算出した符号化データ量の予測値５２５４をＬ２、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値５２５５をＬ３とする。
【０２５０】
Ｎ ＜ Ｍ／４ のときは、転送フェーズへの移行を前倒しすることにより転送フェーズにおいて処理されるブロックの数を削減して画像全体の符号化レート低下を防止するために、符号化データ量が最大になるブロックを基に算出した符号化データ量の予測値５２５３を用いて目標符号化データ量を次式で算出する。
【０２５１】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ１／Ｍ
Ｍ／４ ≦ Ｎ ＜ ３／４ × Ｍ のときは、平均符号化データ量を基に算出した符号化データ量の予測値５２５４を用いて目標符号化データ量を次式で算出する。
【０２５２】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ２／Ｍ
Ｎ ≧ ３／４ × Ｍ のときは、原画像の符号化データ量が最大許容符号化データ量以内に収まるにもかかわらず転送フェーズに移行してしまうことを防ぐため、無為ブロックの符号化データ量を基に算出した符号化データ量の予測値５２５５を用いて目標符号化データ量を次式で算出する。
【０２５３】
Ｌｔ ＝ Ｌｍａｘ −（ Ｍ − Ｎ ）× Ｌ３／Ｍ
ただし、目標符号化データ量算出方法はこれに限定されるものではない。このように、複数の目標符号化データ量を算出することにより、累積加算された符号化データ量を予測するためのサンプルが増えるので、累積加算された符号化データ量をより正確に予測できる。よって、本実施形態の画像符号化装置は、図２０のグラフで示すように符号化データ量が増加していく画像であっても、転送フェーズに移行することなく符号化処理を進めていくことができる。また、本実施形態の画像符号化装置は、符号化レートを落とすことなく、且つ最大許容符号化データ量の範囲内で量子化歪みが最も小さい符号化データ列を生成できる。
【０２５４】
［第６の実施形態］
再符号化処理による符号化レート低下を避ける方法として、再符号化処理の負荷に応じて、符号化データ列の累積加算された符号化データ量が目標符号化データ量に到達するよりも前に、転送フェーズに移行して符号化データ列バッファ内の符号化データ列に対する再符号化処理を開始する方法が挙げられる。ここでの再符号化とは、符号化データ列を復号化して直交変換行列に変換し、前記直交変換行列に対し再量子化を行なった後に符号化を行なう処理である。ゆえに、再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存する。
【０２５５】
図１７は本実施形態における画像符号化装置の構成を示すブロック図である。本実施形態における画像符号化装置の構成は、図１５に示した画像符号化装置の構成に加えて、再符号化シンボル数計数器５３０２、目標シンボル数算出器５３０４、シンボル数比較器５３０５を備える。
【０２５６】
再符号化シンボル数計数器５３０２は、再符号化器５１１３から得られる再符号化された符号化データ列に対応する符号語のシンボルの数５３５２を累積加算する。
【０２５７】
目標シンボル数算出器５３０４は、符号化されたブロックの原画像における相対位置５１６１を基に、目標シンボル数を算出する。目標シンボル数の算出方法は例えば次のように算出できる。再符号化処理の負荷は符号化及び復号化における符号化データ列の符号語に対応するシンボルの数に依存するため、転送フェーズに要する時間はシンボル数の累積加算値に依存する。よって、転送フェーズに要する時間を所定時間以内に抑えられるように目標シンボル数を算出する。例えば、再符号化器５１０３の再符号化処理性能が１シンボルあたり１サイクルで、転送フェーズに要する時間をｎサイクル以内に抑える場合、目標シンボル数はｎとなる。ただし、原画像を構成するブロックのうち符号化されていないブロックが残り少ない場合は、転送フェーズに要する時間を極力抑えて画像全体の符号化レート低下を回避するために、符号化されたブロックの原画像における相対位置５１６１に基づいて目標シンボル数を減らすなど、適応的に目標シンボル数を変更する。
【０２５８】
シンボル数比較器５３０５は、再符号化シンボル数計数器５３０２から得られるシンボル数の累積加算値５３５４と、目標シンボル数算出器５３０４から得られる目標シンボル数５３５６とを比較する。
【０２５９】
制御部５１１１は、符号化データ量比較器５１１７から得られる比較結果及びシンボル数比較器５３０５から得られる比較結果を基に、累積加算された符号化データ量が目標符号化データ量を超えているか、もしくは累積加算されたシンボル数が目標シンボル数を超えた場合は、第４の実施形態の画像符号化装置と同じく符号化パラメータを変更し、符号化フェーズから転送フェーズへ制御を移行する。
【０２６０】
本実施形態における画像符号化装置により、再符号化処理の負荷に応じて符号量制御を行なうため、より確実に符号化レート低下を回避できる。
【０２６１】
［第７の実施形態］
ここで、隣接する画素間の相関関係が低い画像、例えばノイズで埋め尽くされたような画像を、所定の符号化データ量以下に収める符号化処理について説明する。
【０２６２】
隣接する画素間の相関関係が低い画像は、粗く量子化しないと符号化データ量が最大許容符号化データ量以下に収まらない。このような画像を、符号化フェーズと転送フェーズを切り替えて量子化スケーリング値を変えながら再符号化する場合、図２２のグラフに示すように、何回も再符号化を繰り返すことになり、転送フェーズにおける処理時間が画像全体の符号化処理において大きなオーバーヘッドになってしまう。
【０２６３】
そこで、図２３のグラフに示すように、ブロック毎の符号化処理の比較的早い段階で、量子化スケーリング値Ｑ１で符号化された符号化データ列Ｑ１（Ａ）の累積加算された符号化データ量が目標符号化データ量を超えた場合、符号化パラメータ格納レジスタに対して通常よりも大きい量子化スケーリング値を設定することで、転送フェーズの回数を減らすことができ、符号化レート低下を防ぐことが可能となる。
【０２６４】
本実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置は、図１５に示した第４の実施形態の画像符号化装置と同じ構成から成るが、制御部５１１１における処理が第４の実施形態とは異なる。以下、図１４と図２３を用いて本実施形態の画像符号化装置について説明する。
【０２６５】
本実施形態における制御部５１１１は、現在符号化処理の対象となっているブロックの原画像データにおける相対的な位置情報５１６１に応じて、量子化スケーリング値を決定し、符号化・再符号化パラメータ格納レジスタ５１１２が保持する量子化スケーリング値を変更する。具体的には、図２３の領域Ａ転送フェーズに移行する際、量子化スケーリング値をＱ４に設定し、再符号化器５１０３は量子化スケーリング値をＱ４を基に、領域Ａ符号化フェーズにおいて量子化スケーリング値Ｑ２で符号化された符号化データ列Ｑ２（Ａ）を再符号化し、符号化データＱ４（Ａ）を生成する。尚、量子化スケーリング値Ｑ４を用いて再符号化した例について説明したが、これに限定されるものではない。
【０２６６】
以上に説明した制御を行なうことにより、転送フェーズで再符号化処理を行なう回数を減らすことができるので、何回も再符号化を行なわなければ最大許容符号化データ量以内に符号化データ量が収まらないような画像の符号化処理においても、再符号化処理に係るオーバーヘッドを最小限に抑えることができる。
【０２６７】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２６９】
【発明の効果】
以上の説明によって、本発明によれば、予め定められたサイズに画像データを圧縮符号化すると共に、圧縮符号化された符号化データ列を伸張復号化処理した場合に得られる画像の圧縮符号化歪みを抑え、高品質な再構成画像を得ることができる。又、上記予め定められたサイズを適宜求めることができる。
【図面の簡単な説明】
【図１】本発明の第１、２の実施形態における画像符号化装置の構成を示すブロック図である。
【図２】図１に示した符号化部１０３の構成を示すブロック図である。
【図３】図１に示した再符号化部１０７の構成を示すブロック図である。
【図４】図１に示した画像符号化装置に被符号化データとして入力される第１の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図５】第１の原画像を表した図である。
【図６】第１の原画像に対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４及び第２の符号化データ列バッファ１０８に夫々格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図７】図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データを同一の量子化テーブルと４種類の量子化スケーリング値“×１”、“×２”、“×４”、および“×８”を用いてそれぞれ矩形領域単位で順次圧縮符号化処理を実行した場合に得られる符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図８】第２の原画像を表した図である。
【図９】図１に示した画像符号化装置に被符号化データとして入力される第２の原画像データに対する一連の圧縮符号化処理の過程で第１の符号化データ列バッファ１０４および第２の符号化データ列バッファ１０８にそれぞれ格納される符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図１０】図１に示した制御部１０１が行う処理のフローチャートである。
【図１１】本発明の第３の実施形態における画像符号化装置の構成を示すブロック図である。
【図１２】図１１に示した画像符号化装置における符号化部４０３の構成を示すブロック図である。
【図１３】符号化部１０３が行う一連の圧縮符号化処理のフローチャートである。
【図１４】再符号化部１０７が行う処理のフローチャートである。
【図１５】本発明の第４の実施形態における画像符号化装置の構成を示すブロック図である。
【図１６】本発明の第５の実施形態における画像符号化装置の構成を示すブロック図である。
【図１７】本発明の第６の実施形態における画像符号化装置の構成を示すブロック図である。
【図１８】本実施形態の画像符号化装置に設定される最大許容符号化データ量５４１０と、図１５に示す目標符号化データ量算出器１１８によって算出された目標符号化データ量４１１と、符号化器１０２及び再符号化器１０３が生成する符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【図１９】最大許容符号化データ量との比較結果に応じて符号化フェーズと転送フェーズを切り替えた場合の、符号化データ列の累積加算された符号化データ量（縦軸）と、その時点で既に圧縮符号化処理が実行されているブロックの原画像データにおける相対位置（横軸）との関係を示したグラフである。
【図２０】本発明の第５の実施形態における画像符号化装置の効果を説明する図である。
【図２１】図１５に示したグラフ上で示される矩形領域の４カ所の相対位置０％、Ｐ１，Ｐ２、および１００％と３つの分割領域Ａ、ＢおよびＣを２次元的に原画像データ上で表わした図である。
【図２２】ノイズで埋め尽くされた画像を符号化する際に、符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
【図２３】ノイズで埋め尽くされた画像を符号化する際に、符号化データ列のデータ量の累積値（縦軸）と、その時点で既に圧縮符号化処理が実行された矩形領域の原画像データにおける相対位置（横軸）との関係を表わすグラフである。
Claims (23)
- 画像データに対して圧縮符号化を行う画像符号化装置であって、
変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、
前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化手段により圧縮符号化された符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、
前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、
前記処理実行選択手段により前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段と
を備えることを特徴とする画像符号化装置。 - 画像データに対して圧縮符号化を行う画像符号化装置であって、
変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化手段と、
前記第１の圧縮符号化手段に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化手段と、
前記第２の圧縮符号化手段に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化手段により圧縮符号化された置換候補の符号化データ列および自らにより従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化手段と、
前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存手段と、
前記データ量判定手段により前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択する処理実行選択手段と、
前記処理実行選択手段により前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化手段および前記再圧縮符号化手段に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新手段とを備えることを特徴とする画像符号化装置。 - 前記第１および第２の圧縮符号化パラメータは、量子化された変換係数に対するスケーリング値であることを特徴とする請求項１および請求項２に記載の画像符号化装置。
- 前記保存手段が保存する符号化データ列に後続する符号化データ列は、前記変更後の前記第１の圧縮符号化パラメータを用いて、前記第１の圧縮符号化手段により生成されることを特徴とする請求項１および請求項２に記載の画像符号化装置。
- 前記処理実行選択手段は更に、前記再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として前記保存手段が保存する確率の予測値を求める予測値計算手段を備え、当該予測値計算手段により求めた当該予測値に基づいて、前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項１に記載の画像符号化装置。
- 前記処理実行選択手段は更に、前記第２の圧縮符号化手段および再圧縮符号化手段により従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第１の圧縮符号化手段により圧縮符号化された符号化データ列として前記保存手段が保存する確率の予測値を求める予測値計算手段を備え、当該予測値計算手段により求めた当該予測値に基づいて、前記第２の圧縮符号化手段による圧縮符号化処理および前記再圧縮符号化手段による再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項２に記載の画像符号化装置。
- 前記データ量判定手段は、前記画像データにおける前記第１の圧縮符号化手段の処理対象となる領域に応じた目標符号化データ量を前記所定量として求め、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のデータ量が対応する目標符号化データ量以上であるか否かを判定することを特徴とする請求項１および請求項２に記載の画像符号化装置。
- 前記データ量判定手段は、前記画像データにおける前記第１の圧縮符号化手段の処理対象となる領域に応じた予測値を複数求め、当該複数の予測値を用いて、前記目標符号化データ量を求めることを特徴とする請求項７に記載の画像符号化装置。
- 前記データ量判定手段は、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数もしくは前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項１に記載の画像符号化装置。
- 前記データ量判定手段は、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数および前記第２の圧縮符号化手段および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第１の圧縮符号化手段により圧縮符号化された符号化データ列のシンボル数もしくは前記第２の圧縮符号化手段および前記再圧縮符号化手段により圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項２に記載の画像符号化装置。
- 画像データに対して圧縮符号化を行う画像符号化方法であって、
変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、
前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、前記第１の符号化工程で圧縮符号化された符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、
前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、
前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、
前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、
前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、
前記処理実行選択工程で前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを含むことを特徴とする画像符号化方法。 - 画像データに対して圧縮符号化を行う画像符号化方法であって、
変更可能な第１の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、圧縮符号化された符号化データ列を生成する第１の圧縮符号化工程と、
前記第１の圧縮符号化工程に適用した第１の圧縮符号化パラメータに応じて生成した第２の圧縮符号化パラメータを用いて、画像データに対して圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する第２の圧縮符号化工程と、
前記第２の圧縮符号化工程に適用した第２の圧縮符号化パラメータを用いて、前記第２の符号化工程で圧縮符号化された置換候補の符号化データ列および自らの工程で従前に圧縮符号化された置換候補の符号化データ列に対して再圧縮符号化を行ない、より高い圧縮率で圧縮符号化された置換候補の符号化データ列を生成する再圧縮符号化工程と、
前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量を計数すると共に、当該データ量が所定量以上であるか否かを判定するデータ量判定工程と、
前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第１の圧縮符号化パラメータを前記第２の圧縮符号化パラメータで置き換える変更工程と、
前記データ量判定工程で前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として保存し、さらに第１の圧縮符号化パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列を後続する符号化データ列として保存する保存工程と、
前記データ量判定工程で前記第１の圧縮符号化工程により圧縮符号化された符号化データ列のデータ量が所定量以上であると判定された場合、前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択する処理実行選択工程と、
前記処理実行選択工程で前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうことが選択された場合、前記第２の圧縮符号化工程および前記再圧縮符号化工程に適用する第２の圧縮符号化パラメータとして、より高い圧縮率で圧縮可能な新たな圧縮符号化パラメータに更新する更新工程とを備えることを特徴とする画像符号化方法。 - 前記第１および第２の圧縮符号化パラメータは、量子化された変換係数に対するスケーリング値であることを特徴とする請求項１１および請求項１２に記載の画像符号化方法。
- 前記保存工程で保存する符号化データ列に後続する符号化データ列は、前記変更後の前記第１の圧縮符号化パラメータを用いて、前記第１の圧縮符号化工程で生成されることを特徴とする請求項１１および請求項１２に記載の画像符号化方法。
- 前記処理実行選択工程は更に、前記再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として前記保存工程で保存する確率の予測値を求める予測値計算工程を含み、当該予測値計算工程で求めた当該予測値に基づいて、前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項１１に記載の画像符号化方法。
- 前記処理実行選択工程は更に、前記第２の圧縮符号化工程および再圧縮符号化工程で従前に圧縮符号化された置換候補の符号化データ列を、パラメータ変更後の前記第１の圧縮符号化工程で圧縮符号化された符号化データ列として前記保存工程で保存する確率の予測値を求める予測値計算工程を備え、当該予測値計算工程で求めた当該予測値に基づいて、前記第２の圧縮符号化工程での圧縮符号化処理および前記再圧縮符号化工程での再圧縮符号化処理を行なうか否かを選択することを特徴とする請求項１２に記載の画像符号化方法。
- 前記データ量判定工程では、前記画像データにおける前記第１の符号化工程での処理対象となる領域に応じた目標符号化データ量を前記所定量として求め、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のデータ量が対応する目標符号化データ量以上であるか否かを判定することを特徴とする請求項１１および請求項１２に記載の画像符号化方法。
- 前記データ量判定工程では、前記画像データにおける前記第１の圧縮符号化工程での処理対象となる領域に応じた予測値を複数求め、当該複数の予測値を用いて、前記目標符号化データ量を求めることを特徴とする請求項１７に記載の画像符号化方法。
- 前記データ量判定工程では、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数もしくは前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項１１に記載の画像符号化方法。
- 前記データ量判定工程では、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数および前記第２の圧縮符号化工程および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数を用いて、目標シンボル数を前記所定量として求め、前記第１の圧縮符号化工程で圧縮符号化された符号化データ列のシンボル数もしくは前記第２の圧縮符号化工程および前記再圧縮符号化工程で圧縮符号化された置換候補の符号化データ列のシンボル数が前記目標シンボル数以上であるか否かを判定することを特徴とする請求項１２に記載の画像符号化方法。
- コンピュータを請求項１乃至１０のいずれか１項に記載の画像符号化装置として機能させるプログラム。
- コンピュータに請求項１１乃至２０のいずれか１項に記載の画像符号化方法を実行させるためのプログラム。
- 請求項２１又は２２に記載のプログラムを格納するコンピュータ読みとり可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188356A JP3902987B2 (ja) | 2002-01-18 | 2002-06-27 | 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 |
| US10/298,657 US7106909B2 (en) | 2001-12-25 | 2002-11-19 | Method and apparatus for encoding image data in accordance with a target data size |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002010390 | 2002-01-18 | ||
| JP2002-10390 | 2002-01-18 | ||
| JP2002188356A JP3902987B2 (ja) | 2002-01-18 | 2002-06-27 | 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003283845A JP2003283845A (ja) | 2003-10-03 |
| JP3902987B2 true JP3902987B2 (ja) | 2007-04-11 |
Family
ID=29253006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002188356A Expired - Fee Related JP3902987B2 (ja) | 2001-12-25 | 2002-06-27 | 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3902987B2 (ja) |
-
2002
- 2002-06-27 JP JP2002188356A patent/JP3902987B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003283845A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7106909B2 (en) | Method and apparatus for encoding image data in accordance with a target data size | |
| JP4047183B2 (ja) | 画像圧縮符号化装置及びその制御方法 | |
| US7136531B2 (en) | Image encoder, image encoding method, image encoding computer program, and storage medium | |
| JP4142652B2 (ja) | 映像符号化装置 | |
| JP2009260977A (ja) | 不可逆圧縮及び可逆圧縮を組み合わせて用いたビデオデータ圧縮 | |
| JP2008022383A (ja) | 画像符号化装置 | |
| RU2336661C2 (ru) | Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии | |
| JP2004007555A (ja) | エントロピー符号化装置 | |
| US20120069895A1 (en) | High Quality Video Encoder | |
| JP5078852B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2008294669A (ja) | 画像符号化装置 | |
| JP3902987B2 (ja) | 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 | |
| JP3416649B2 (ja) | 可変長符号化装置 | |
| JP2008160402A (ja) | 符号化装置及び方法並びに画像符号化装置 | |
| JP3893281B2 (ja) | 画像符号化装置、画像符号化方法、プログラム、及び記憶媒体 | |
| JP2011109172A (ja) | 映像符号化装置、および、そのデータ処理方法 | |
| WO2008079330A1 (en) | Video compression with complexity throttling | |
| JPH1174799A (ja) | 可変長符号化データの処理方法及びバッファ制御装置 | |
| JPH10164597A (ja) | 符号化方法およびその方法を用いた符号化装置 | |
| JP4583514B2 (ja) | 動画像符号化装置 | |
| JP7451131B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム | |
| JP4847423B2 (ja) | 動画像符号化装置、および、コンピュータプログラム | |
| JP7431549B2 (ja) | 符号化装置、撮像装置、制御方法、及びプログラム | |
| JP2003116006A (ja) | 画像符号化方法及び装置 | |
| JP6985899B2 (ja) | 画像符号化装置及びその制御方法並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140112 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |