JP2006295852A - 画像符号化装置，画像符号化方法，撮像装置およびプログラム - Google Patents

Abstract

【課題】 目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能にする。
【解決手段】 可変ビットレート制御に基づき，画像の質に応じて無制限にビットレートを割り当てると，記憶媒体としての１枚のディスクに何時間分の動画像が記憶できるかが分からない。本発明は，その記憶容量の予測値に対して，実際の記憶容量を少なく押さえる方向に制御することによって，目標情報量を上回る符号化を回避し，ユーザは，発生情報量の上限を予測することが可能となる。
【選択図】 図９

Description

本発明は，可変ビットレート制御を行うことが可能な画像符号化装置，画像符号化方法，撮像装置およびプログラムに関する。

被写体を撮像して記憶媒体に記憶する撮像装置は，画像処理能力，例えばＣＰＵやその他のデバイスの性能向上により高度かつ用途の広い撮像を行えるようになった。

その機能の一つとして，撮像した画像信号を圧縮して記憶する技術が知られている。かかる技術は，撮像部から得られたアナログの画像信号を単純にデジタル信号に変換した場合と比べて，発生する情報量を少なくすることができ，長時間の撮像が可能となる。

上記の画像信号の符号化に関する標準化技術としてＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）がある。このＭＰＥＧは，人の目の特性（視覚特性）を勘案し，最終的な画像に対して影響の少ない信号部分を間引くことによって，発生情報量を少なくしている。

また，撮像した画像を一定の質が維持されるように表現すると，撮像したフレーム毎に情報量を増減する必要が生じる。このように画像の質に応じてビットレートを変更する可変ビットレート制御は，固定ビットレート制御と比較して，一定の画質を維持しつつ，情報量を少なくすることができる。

上記の可変ビットレート制御に基づく，例えば，２パス符号化制御では，視覚特性に拘わらず，量子化スケールを固定して画質を一定に保っていた。しかし，かかる技術では，適切なビット割り当てが行われない。そこで，画像の質，例えば画質の劣化可能性の大小に応じて量子化スケールを変更し，適切な情報量の割り当てを行う技術（例えば，特許文献１）が生み出された。

しかし，かかる技術では，画質の劣化可能性の大小に基づいて単純に量子化スケールを変更している。従って，劣化が目立ちやすい画像において量子化スケールが限りなくゼロに近くなり，過剰なビットが割り当てられ，情報量が著しく大きくなるといった問題が生じていた。

特開平９−３７２４２号公報

本発明は，従来の画像符号化方法が有する上記問題点に鑑みてなされたものであり，本発明の目的は，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能な，新規かつ改良された画像符号化装置，画像符号化方法，撮像装置およびプログラムを提供することである。

画像の質に応じて無制限にビットレートを割り当てると，記憶媒体としての１枚のディスクに何時間分の動画像が記憶できるかが分からない。本発明は，その記憶容量の予測値に対して，実際の記憶容量を少なく押さえる方向に制御することを特徴としている。従って，ディスクの記憶時間も延ばす方向に働くこととなる。

上記課題を解決するために，本発明のある観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化装置であって：目標情報量を決定する情報量決定部と；１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン（ＤＣＴ）変換を行う離散コサイン変換部と；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；上記スケール決定部で決定された量子化スケールを制限するスケール制限部と；上記離散コサイン変換された信号を，上記スケール制限部で制限された量子化スケールで量子化する量子化部と；を備えることを特徴とする，画像符号化装置が提供される。

ここで，離散コサイン（ＤＣＴ）変換は，離散フーリエ変換の一種で，例えば８×８ピクセルのデータの周波数分解を行う変換である。ここでは，人間の目の特性を勘案して，画像の高周波成分のデータを削っている。

本発明の特徴は，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を上回らないところにある。その結果，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。

上記スケール制限部における量子化スケールの制限は，所定の数値による下限であるとしても良い。

例えば，量子化スケールの範囲が０〜Ｎ，下限が０〜Ｎの間のＭの値をとるとき，０〜Ｍの量子化スケールは強制的にＭに変更され，Ｍ〜Ｎの量子化スケールはそのままの数値が維持される。

上記量子化スケールは，下限としての上記数値から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限されているとしても良い。

上述したように，本発明では，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を上回らないようにしている。量子化スケールが徐々に制限されることで，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。

上記量子化スケールは，下限としての上記数値から最大値まで，制限される値が比例するとしても良い。

例えば，量子化スケールの範囲が０〜Ｎ，下限がＭ，制限される前の量子化スケールをＬとすると，制限後の量子化スケールは，（Ｎ―Ｍ）／Ｎ×Ｌ＋Ｍで表される。量子化スケールが線形的に制限されることで，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。

上記情報量決定部は，上記動画像信号のフレーム毎に，該フレームのみに着目して目標情報量を決定するとしても良い。

従来，かかる画像の符号化においては，１フレームの発生情報量が前後のフレームや記憶可能な残りの情報量といった消費情報量の進捗に応じて決定されていた。この場合，残りの情報量に余裕があるとビットレートを高くすることができるが，余裕がないと必然的にビットレートを下げなくてはならない。このような状況下では，同じ画像を符号化してもその符号化した時間の隔たりによって発生情報量が相違する結果となる。

かかる１フレームの情報のみに着目して目標情報量を決定することで，前後の画像に影響されない安定した発生情報量を維持することができ，情報量の消費進捗による画質変動を防止できる。

上記目標情報量は上限が設けられるとしても良い。

従来，かかる画像の符号化，例えば，２パス符号化制御においては，劣化が目立ちやすい画像には高い目標情報量が割り当てられ，劣化が目立ち難い画像には低い情報量が割り当てられていた。かかる目標情報量に上限を設けることによって，劣化が目立ちやすい画像には上限以下の高い目標情報量が割り当てられ，劣化が目立ち難い画像には，さらに低い情報量が割り当てられるので，発生情報量は必然的に頭打ちになる。

こうして所望の目標情報量を上回る符号化を回避し，安定した発生情報量を維持することができる。従って，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。

また，上記画像符号化装置として機能するプログラムやそのプログラムを記憶した記憶媒体も提供される。

上記課題を解決するために，本発明の別の観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化方法であって：目標情報量を決定する情報量決定ステップと；１フレームの画像を複数のマクロブロックに分割する画像分割ステップと；該分割されたマクロブロック毎に，離散コサイン変換を行う離散コサイン変換ステップと；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定ステップと；上記スケール決定ステップで決定された量子化スケールを制限するスケール制限ステップと；上記離散コサイン変換された信号を，上記制限された量子化スケールで量子化する量子化ステップと；を含むことを特徴とする，画像符号化方法が提供される。

かかる構成により，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。

上述した画像符号化装置において従属している構成は，当該画像符号化方法においても適用することが可能である。

上記課題を解決するために，本発明の別の観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，撮像した画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する撮像装置であって：撮像によって画像を得る撮像部と；上記撮像された画像の目標情報量を決定する情報量決定部と；１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；上記スケール決定部で決定された量子化スケールを制限するスケール制限部と；上記離散コサイン変換された信号を，上記スケール制限部で制限された量子化スケールで量子化する量子化部と；上記量子化された符号化信号を記憶媒体に記憶する信号記憶部と；を備えることを特徴とする，撮像装置が提供される。

このようにして上述した画像符号化装置の構成を，被写体を撮像して記憶媒体に記憶する撮像装置に適用することができる。従って上記画像符号化装置において従属している構成は，当該画像符号化方法においても適用することが可能である。

かかる画像符号化装置や撮像装置における各構成要素は，各々独立した複数の装置で構成することも可能である。

以上説明したように本発明によれば，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を超えないようにすることができる。こうして所望の目標情報量を上回る符号化を回避し，その結果，ユーザは，発生情報量の上限を予測することが可能となる。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１の実施形態：撮像装置）
まず，本発明の画像符号化装置を適用することが可能な撮像装置について詳細に説明する。なお，以下では，本実施形態にかかる撮像装置として静止画像及び／又は動画像をカラー撮像可能なビデオカメラの例を挙げて説明するが，当該実施形態に限定されるものではない。

図１は，第１の実施形態における撮像装置１００を概略的に示したブロック図である。かかる撮像装置１００は，レンズ部１１０と，プリズム部１１２と，ＣＣＤ部１１４と，Ａ／Ｄコンバータ部１１６と，リニアマトリクス回路１１８と，イメージ強調部１２０と，加算器１２２と，ニー回路１２４と，ガンマ回路１２６と，クリップ回路１２８と，Ｙマトリクス回路１３０と，ＭＰＥＧエンコーダ１３２と，バッファメモリ１３４と，フォーマッタ１３６と，ディスク部１３８と，ＭＰＥＧデコーダ１４０と，再生表示部１４２とを含んで構成される。

上記レンズ部１１０は，被写体の光学像を撮像デバイスの感光面上に結像させる光学部品を含んで構成される。当該撮像装置１００において，被写体からの光がレンズ部１１０を通して入射され，例えば光学ローパスフィルタ（ＬＰＦ），赤外カットフィルタ及びカラーフィルタ（いずれも図示せず。）などを通じて，プリズム部１１２に出力される。また，マイクロコントローラ（図示せず）は，レンズ部１１０の絞りを制御して入射光量を調整する。

上記プリズム部１１２は，例えば三角柱のガラス等により形成され，レンズに入射された入射光を，波長毎の単色光に分解する。この単色光は他のプリズム部１１２を使ったとしても，さらに多くの光に分解することはできない。ここでは，特に，Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅといった光の３原色に分解される。かかるプリズム部１１２を通過した後，色信号毎にＤＣクランプ，ゲイン調整を行うとしても良い。

上記ＣＣＤ部１１４は，レンズ部１１０によって結像された光学像を電気信号に変換するための撮像デバイスである。かかるＣＣＤ部１１４は，タイミングジェネレータ（図示せず。）により駆動され，光電変換された電気信号である画像信号を随時読み出す。このタイミングジェネレータのシャッタースピードは，上述したマイクロコントローラによって制御される。また，本実施形態では，上記プリズム部１１２によって分光された３原色それぞれにＣＣＤ部１１４が準備され，各原色に関して光電変換が行われる。

上記レンズ部１１０，プリズム部１１２，ＣＣＤ部１１４は，本実施形態における撮像部として機能するが，撮像部はかかる構成に限られず，例えば，撮像デバイスとして補色単板ＣＣＤを用いるとしても良いし，ＣＭＯＳを利用しても良い。

上記Ａ／Ｄ（アナログ／デジタル）コンバータ１１６は，ＣＣＤ部１１４により得られたアナログ電気信号を，デジタル処理するためのデジタル信号に変換し，変換したデジタル信号を後段の回路に伝達する。

上記リニアマトリクス回路１１８は，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色に分解した後の色信号の漏れを，リニア領域におけるマトリクス演算によって補正する。

上記イメージ強調部１２０は，リニアマトリクス回路１１８の前段，即ち，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色の細かい部分を強調して各色信号に関するディテイル信号を生成する。

上記加算器１２２は，リニアマトリクス回路１１８からの色信号とイメージ強調部１２０からのディテイル信号を加算し，後段の回路に伝達する。

上記ニー回路１２４は，最終的な映像の表示における高輝度領域の再現性を高めるため，ニーカーブの特性を利用して高輝度域を圧縮する。かかるニーカーブにおいては，高輝度領域の信号レベルを制限する変換を行うことによって，映像の高輝度領域における再現性を確保している。

上記ガンマ回路１２６は，逆ガンマ特性によりブラウン管モニタ等の映像再生表示部の映像が変化するのを，ガンマ特性を利用して防止し，最終的な映像のリニアな表示を実現する。ガンマ特性を有するガンマカーブにおいては，任意領域の信号レベルを非線形に増幅する変換を行っている。

上記クリップ回路１２８は，後段の回路において，処理することができない，もしくは無視される領域の信号レベルをカットする。上記の領域は，取扱可能な信号レベルの最大値以上，もしくは最小値以下の信号であり，上記カットは，例えば，バンドパスフィルタ（ＢＰＦ）等により実現可能である。

上記Ｙマトリクス回路１３０は，クリップ回路１２８を通過した３つの色信号からＹ（輝度）信号を生成する。このとき，同時にＰｂ／Ｐｒ（色差）信号を生成するとしても良い。

上記ＭＰＥＧエンコーダ１３２は，画像を圧縮処理するエンコーダの一つであり，Ｙマトリクス回路１３０で生成されたＹ信号およびＰｂ／Ｐｒ信号を受信し，情報量を圧縮する手段としてのＭＰＥＧエンコード処理を行い，１つのＭＰＥＧストリーム信号を生成する。

上記バッファメモリ１３４は，ＳＲＡＭ，ＤＲＡＭ，ＤＰＲＡＭ，ＥＥＰＲＯＭ等のスタティックなメモリで構成され，ＭＰＥＧエンコーダ１３２によるＭＰＥＧストリーム信号を一旦保持する。

上記フォーマッタ１３６は，バッファメモリ１３４に保持されたＭＰＥＧストリーム信号を，ディスク部１３８に格納されるディスク形態の記憶媒体に記憶するためのフォーマットに変換し，変換後のＭＰＥＧストリーム信号を，ディスク部１３８のアクセスタイミングに応じてディスク部１３８に出力する。

上記ディスク部１３８は，回転により記憶位置が移動するディスク形態の記憶媒体，例えば光ディスク，磁気ディスク，ブルーレイディスクといったディスクを回転支持して，その記憶媒体にフォーマッタ１３６でフォーマットされたＭＰＥＧストリーム信号を書き込みおよび／または読み出しする。

上記ＭＰＥＧデコーダ１４０は，ディスク部１３８の記憶媒体に記憶されたＭＰＥＧストリーム信号をディスク部１３８のアクセスタイミングで読み出し，フォーマット変換を行い，その信号からＹ信号およびＰｂ／Ｐｒ信号を生成して再生表示部１４２に伝送する。

上記再生表示部１４２は，液晶等の表示装置で形成することができ，ＭＰＥＧデコーダ１４０から受信したＹ信号およびＰｂ／Ｐｒ信号によって，記憶媒体に記憶された画像を表示（再生）することができる。

上述した撮像装置により，本発明を実施するための基本的な機能が実現可能となる。かかる撮像装置において説明されたＭＰＥＧエンコーダ１３２は，本発明の画像符号化装置として適用することができる。以下に，本発明による実施形態の具体的な機能を説明する。

（第２の実施形態：画像符号化装置２００）
上述したようにＭＰＥＧエンコーダ１３２は，標準化技術としてのＭＰＥＧに基づいて，画像を圧縮処理（符号化）する。かかるＭＰＥＧは，人の目の特性（視覚特性）を利用し，例えば，画像の細かい信号部分を間引くことによって発生情報量を少なくしている。人の目には，画像の細かい部分には鈍感という特性がある。従って，ＭＰＥＧでは，目につきにくい高周波成分は粗く量子化（ビットレートを低く）し，目につきやすい低周波成分は細かく量子化（ビットレートを高く）している。

このように画像の質に応じてビットレートを変更し，撮像した画像の質を一定に維持する可変ビットレート制御を以下でも取りあげる。

２パス符号化制御では，予め符号化するフレームの解析を行い，画像の質，例えば画質の劣化可能性の大小に応じて量子化スケールを変更し，適切な情報量の割り当てを行っている。ここでは，画質の劣化可能性の大小に基づいて単純に量子化スケールを変更しているので，劣化が目立ちやすい画像においては量子化スケールが限りなくゼロに近くなり，情報量が過剰に大きくなる。

本実施形態では，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を超えないようにしている。こうして所望の目標情報量を上回る符号化を回避している。その結果，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。

図２は，第２の実施形態における画像符号化装置２００の概略的な構成を示したブロック図である。かかる画像符号化装置２００は，情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８とを含んで構成される。

上記情報量決定部２１０は，与えられたビットレート，ピクチャータイプおよび入力された１フレーム分の画像の難しさに応じて，そのフレームの発生情報量の目標値，即ち，目標情報量を決定する。ここでは，画像の質，例えば画質の劣化可能性の大小に応じて適切な目標情報量を割り当てる。かかる劣化可能性の判断は，画像の難しさを画像の難易度パラメータとして表し，直前にエンコードされた画像の難易度パラメータと比較して決定されるとしても良い。

そもそも可変ビットレート制御は，目につきにくい高周波成分は粗く量子化（ビットレートを低く）し，目につきやすい低周波成分は細かく量子化（ビットレートを高く）することを目的としている。従って，水平線上の青空といった低周波成分で構成される画像に対しては，目標情報量が大きく設定され，オフィス街での人混みといった高周波成分で構成される画像に対しては，目標情報量が小さく設定される。

また，本実施形態における情報量決定部２１０は，目標情報量に上限を設けている。

従来，かかる画像の符号化，例えば，２パス符号化制御においては，単に，劣化が目立ちやすい画像には高い目標情報量が割り当てられ，劣化が目立ち難い画像には低い情報量が割り当てられていた。本実施形態では，目標情報量に上限を設けているので，劣化が目立ちやすい画像には高い目標情報量が割り当てられるがその情報量は無制限ではなく，所定の上限によって制限される。また，劣化が目立ち難い画像には，従来通りの低い情報量が割り当てられる。

このように発生情報量を頭打ちすることにより，発生情報量を一定量以下に収めることが可能となる。従って，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。かかる実施形態では，発生情報量の予測値を下回ることは考えられるが，予測値を超すことがないので，その画像を記憶するために記憶容量に余裕を見て記憶媒体を準備する必要がなくなる。

さらに，本実施形態における情報量決定部２１０は，該フレームのみに着目して目標情報量を決定している。

従来，かかる画像の符号化においては，１フレームの発生情報量が前後のフレームや記憶可能な残情報量といった消費情報量の進捗に応じて決定されていた。このような状況下では，同画像を符号化してもその符号化した時間の隔たりによって発生情報量が相違する結果となる。例えば，動画像を符号化する場合に，初期には，記憶媒体の容量も余裕があったので発生情報量を大きくとっていたが，その後も目標情報量を大きくとる画像が連続したため記憶媒体に余裕がなくなり，終端において同一の画像を撮像したとしても目標情報量が小さくなるといった状況が起こり得る。

上記の動画像は，全体を連続して再生する場合あまり問題にならない。しかし，クリップの任意の場所，例えば初期の画像と終端の画像とを編集によってつなげた場合，その画質が変化しているのが分かってしまう。

本実施形態では，動画像信号のフレーム毎に，その１フレームの情報のみに着目して目標情報量を決定しているので，消費情報量の進捗に影響されない安定した発生情報量を維持することができる。上記の例においても，初期の画像と終端の画像の目標情報量は等しくなり，発生情報量もほぼ等しくなる。従って，その画像編集において両画像をつなげたとしても，画質の変化を確認できない。

また，こうした目標情報量は，上述した目標情報量の上限以下において設定されるため，所望の目標情報量を上回る符号化を回避し，安定した発生情報量を維持することができる。

上記離散コサイン変換部２１２は，１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う。

図３は，離散コサイン変換部２１２によるマクロブロックへの分割を説明するための説明図である。まず，離散コサイン変換部２１２は，画像２５０を複数のマクロブロック，例えば，水平方向に１６０，垂直方向に９６に分割する。その後の離散コサイン変換は，かかるマクロブロック２５２単位で，例えば，マクロブロックの１ライン目の１ブロック，２ブロック，…，２ライン目の１ブロック，…１６０ライン目の９６ブロックといった順番で行われる。

上記離散コサイン変換は，例えば，マクロブロック２５２をさらに８画素２５４×８ライン２５６の２次元マトリクスの乗算で実施され，変換の結果として，マクロブロック２５２内の画素数と同じ数（６４個）の変換係数が得られる。かかる変換係数の（０，０）成分は直流成分計数と呼ばれ，マクロブロック２５２内の画素値の平均を示し，残りは交流成分と呼ばれる。かかる離散コサイン変換は従来から知られている様々な方法を適用することができる。従って，ここでは詳細な説明を省略する。

上記スケール決定部２１４は，１フレームの発生情報量を，情報量決定部２１０で決定された目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定する。

上記量子化スケールは，後述する量子化部２１８で符号化信号を得るために利用される。上述した離散コサイン変換単独では，データの圧縮はできず，データの圧縮は，離散コサイン変換により生じた変換係数のエネルギ分布の偏りを利用して行われる。ここでは，上記変換係数を単に量子化スケールで除算することによって量子化が行われる。

人間の視覚は，ローパスフィルタの特性を有しており，高周波成分のＡＣ係数に対しては，多少粗い量子化スケールで量子化しても，主観的にあまり劣化が目立つことはない。例えば，量子化スケールを小さくすれば復号画像の品質は良くなるが，発生情報量は大きくなる。逆に，量子化スケールを大きくすると発生情報量は少なくなるが，復号画像の品質は低下する。

従って，本実施形態においては，一旦情報量決定部２１０で決定された目標情報量に発生情報量を合わせるため，目標情報量と既に量子化されている情報量との差分から，あとどのくらいの情報量を発生することが可能であるか計算し，その範囲内で許される量子化スケールを当該マクロブロックの画質に応じて決定する。

図４は，上記で挙げたマクロブロックの画質と量子化スケールとの関係を説明するための説明図である。図４には，１フレーム分の画像２７０が示され，その中の２つのマクロブロック２７２，２７４が例として挙げられている。

例えば，マクロブロック２７２は，動特性が少なく，全体的に同一の画素，即ち低周波成分で構成されるで，量子化スケールを小さくとり，その情報量を増やさなければならない。それに対して，マクロブロック２７４は，マクロブロック内で変化の大きい，即ち高周波成分で構成されるので，量子化スケールを大きくすることができ，情報量も少なくて済む。

このようにして，劣化が目立ちやすい画像には大きな情報量が割り当てられる。しかし，量子化スケールを無制限に小さくすると，かかる情報量も無制限に大きくなる。従って，目標情報量に対して発生情報量が超えてしまう問題が生じる。

図５は，目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。かかる図５の横軸３１０は，処理が完了したマクロブロックの数であり，縦軸３１２は，その処理毎の発生情報量の積算値を示している。

かかる量子化では，発生情報量を目標情報量に近づけることを目的とする。従って，マクロブロック処理の進捗に対する発生情報量の蓄積値は，波線３１４に示した軌跡を辿るのが理想であるが，実際は，そのマクロブロック毎の画質により曲線３１６のような不安定な軌跡を描く。

例えば，３８４０個目のマクロブロック３１８の量子化スケールは，目標情報量と既に量子化されている情報量Ａとの差分からあとどのくらいの情報量を発生することが可能であるか計算され，その範囲内で当該マクロブロックの画質に応じて決定される。このようにして曲線３１６を描きつつ目標情報量に近い発生情報量３２０を生成する。

しかし，図５において理解されるように，上記最終的な発生情報量３２０は目標情報量を超している。これは，ユーザの予測した総情報量を少なくとも上回る可能性があることを示し，故にユーザは，予測値より多い情報量を記憶できる記憶媒体を準備する必要が生じる。かかる問題は，以下のスケール制限部２１６により解決される。

上記スケール制限部２１６は，スケール決定部２１４で決定された量子化スケールを制限する。このように量子化スケールを制限することにより，後述の量子化において極端に大きな情報量が発生することを回避でき，最終的な発生情報量を目標情報量以下に抑えることができる。以下に，かかる制限の方法を３種類上げているが，本実施形態はこれに限られず，様々な方法で実施することができる。また，上記制限は，複数の次数を有する関数によっても制限可能である。

図６は，単純に量子化スケールに下限を設定した場合の量子化スケールを表した説明図である。かかる図６において，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。

図６においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合に，その範囲内のＭの下限が設けられる。この下限を有した曲線４２０により，スケール制限部２１６に入力された量子化スケールは，０〜Ｍの範囲で，強制的にＭに変更され，Ｍ〜Ｎの範囲で，そのままの数値が維持される。

かかる構成により，マクロブロックの画質が，劣化の目立つ低周波成分の多い画質であったとしても，量子化スケールが著しく小さくなることがないので，量子化された情報量が極端に大きくならない。

図７は，下限から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限される場合の量子化スケールを表した説明図である。かかる図７においても，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。

図７においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合にＭの下限が設けられている。図７と図６とを比較すると，その制限が下限値に向かう滑らかな曲線４５０で表されているところが相違している。この下限により，スケール制限部２１６に入力された量子化スケールは，低くなるほど制限を受ける形になる。

かかる量子化スケールが徐々に制限される構成により，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。

図８は，下限から最大値まで，制限される値が比例する場合の量子化スケールを表した説明図である。かかる図８においても，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。

図８においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合に，Ｍの下限が設けられている。かかる下限Ｍを有する直線４７０は，制限される前の量子化スケール，即ち入力量子化スケールがＬであった場合，（Ｎ―Ｍ）／Ｎ×Ｌ＋Ｍで表される。

かかる量子化スケールが線形的に制限される構成により，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。

上記のように量子化スケールに下限を設けることによって，画像１フレーム分の発生情報量を，目標情報量を超えない値に制限することができる。このような目標情報量と発生情報量との関係を以下に説明する。

図９は，本実施形態における目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。かかる図９の横軸３１０は，図５同様に処理が完了したマクロブロックの数であり，縦軸３１２は，その処理毎の発生情報量の積算値を示している。

かかる量子化でも図５同様に，発生情報量を目標情報量に近づけることを目的とする。従って，マクロブロック処理の進捗に対する発生情報量の蓄積値は，波線３１４に示した軌跡に近い曲線４８０のような不安定な軌跡を描く。

例えば，３８４０個目のマクロブロック４８２の量子化スケールは，目標情報量と既に量子化されている情報量Ｂとの差分から，残りどのくらいの情報量を発生することが可能であるか計算され，その範囲内で当該マクロブロックの画質に応じて決定される。このようにして曲線４８０を描きつつ目標情報量に近い情報量を生成する。

かかる図９は，最終的な発生情報量４８４が必ず目標情報量以下になる点で図５の場合と相違する。これは，上記スケール制限部２１６が量子化スケールを制限することで達成される。ただし，エンコードノイズが目立ちやすい部分に関しては補正を行う。これは，ユーザの予測した総情報量と等しいかもしくは下回ることを示し，故にユーザは，予測値より多い情報量を記憶できる記憶媒体を準備する必要がない。

上記量子化部２１８は，離散コサイン変換された信号を，スケール制限部２１６で制限された量子化スケールで量子化する。かかる量子化は，量子化スケールによる除算で実行可能である。

また，上記画像符号化装置として機能するプログラムおよびそのプログラムが記憶された記憶媒体も提供される。

（第３の実施形態：撮像装置５００）
画像符号化装置２００は，上述したように撮像装置にも適用し得る。

図１０は，第３の実施形態における撮像装置５００の概略的な構成を示したブロック図である。かかる撮像装置５００は，撮像部５１０と，情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８と，信号記憶部５１２と，表示部５１４とを含んで構成される。

第２の実施形態における構成要素として既に述べた情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８とは，実質的に機能が同一なので重複説明を省略し，ここでは，新たな機能を有す撮像部５１０と，信号記憶部５１２と，表示部５１４とを主に説明する。

上記撮像部５１０は，第１の実施形態で説明したレンズ部１１０，プリズム部１１２，ＣＣＤ部１１４等を含んで構成され，被写体を撮像することによって画像を得る。この撮像された画像は画素単位でシリアル転送される。また，必要に応じて，第１の実施形態で説明したＡ／Ｄコンバータ部，リニアマトリクス回路，イメージ強調部，加算器，ニー回路，ガンマ回路，クリップ回路，Ｙマトリクス回路等を含んで構成することもできる。

上記信号記憶部５１２は，上記量子化された符号化信号を，外部から挿入されたもしくは既存の記憶媒体２３０に記憶する。ここで，記憶媒体２３０は，書き込み位置もしくは読み出し位置が回転移動するディスク形態であるとしても良く，信号記憶部５１２は，削減画像を一旦保持し，記憶媒体２３０へのアクセス（書き込みもしくは読み出し）タイミングで出力するディスクバッファ（図示せず）を備えることもできる。

上記表示部５１４は，撮像部５１０による撮像中の画像確認のため，液晶ディスプレイ等の表示装置に，撮像部５１０で撮像されている画像を直接表示する。かかる表示部５１４によって被写体のピント合わせや露光調整等も行うことができる。

かかる撮像装置５００の構成により，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。

（第４の実施形態：画像符号化方法）
続いて，上述した画像符号化装置２００を利用して実現可能な画像符号化方法を説明する。

図１１は，第４の実施形態における画像符号化方法の流れを示したフローチャートである。ここでは，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成している。

先ず，画像符号化装置２００において，１フレーム分の画像を読み出し（Ｓ６００），その画像の質に応じて目標情報量を決定する（Ｓ６０２）。続いて，読み出した１フレームの画像を複数のマクロブロック，例えば，水平方向に１６０，垂直方向に９６に分割する（Ｓ６０４）。以下では，かかる分割されたマクロブロック毎に処理が行われる。

分割されたマクロブロックの１つを読み出し，さらにそのマクロブロックを，例えば８画素×８ラインに分割し，離散コサイン変換を行う（Ｓ６１０）。次に，読み出した１フレームの画像における発生情報量を，情報量決定ステップ（Ｓ６０２）で決定された目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定する（Ｓ６１２）。そして，そのスケール決定ステップ（Ｓ６１２）で決定された量子化スケールを，特に所定の数値による下限によって制限する（Ｓ６１４）。

次に，離散コサイン変換ステップ（Ｓ６１０）によって離散コサイン変換された信号を，スケール制限ステップ（Ｓ６１２）で制限された量子化スケールによって量子化する（Ｓ６１６）。ここで，エンコードノイズが目立ちやすい部分に関しては補正を行う。こうして符号化された信号は，記憶媒体２３０に記憶される（Ｓ６１８）。このとき画像分割ステップ（Ｓ６０４）で分割されたマクロブロック全てに関して処理が終わっているか確認され（Ｓ６２０），全て終わっていれば当該画像符号化方法を終了し，次のフレームを読み出す。

かかる画像符号化方法においても，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。

当該撮像方法や画像符号化方法における各ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むとしても良い。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，上記の実施形態においては，スケール制限部が固定された下限値を有しているが，かかる場合に限られず，画像の質やビットレートに応じて下限値が変動するとしても良い。このような構成により，ビットレートが高くなるときは下限を上げ，ビットレートが低いときは下限を低く，もしくは下限を設けないとする処理を行うことができ，より効率的な発生情報量を生成できる。

また，上記の実施形態においては，スケール制限部が下限を有している場合のみ説明されているが，かかる場合に限られず，例えば，ディスク等の記憶媒体に無制限に記憶することができる場合，逆に上限を設けることにより発生情報量を意図的に増やすことも可能である。

また，上記の実施形態においては，ディスク形態の記憶媒体への画像の記憶を基本に説明したが，かかる場合に限られず，ストレージやＨＤＤ等他の記憶媒体を用いることもできる。

第１の実施形態における撮像装置を概略的に示したブロック図である。 第２の実施形態における画像符号化装置の概略的な構成を示したブロック図である。 離散コサイン変換部によるマクロブロックへの分割を説明するための説明図である。 マクロブロックの画質と量子化スケールとの関係を説明するための説明図である。 目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。 単純に量子化スケールに下限を設定した場合の量子化スケールを表した説明図である。 下限から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限される場合の量子化スケールを表した説明図である。 下限から最大値まで，制限される値が比例する場合の量子化スケールを表した説明図である。 第３の施形態における目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。 第３の実施形態における撮像装置の概略的な構成を示したブロック図である。 第４の実施形態における画像符号化方法の流れを示したフローチャートである。

符号の説明

１００，５００ 撮像装置
２１０ 情報量決定部
２１２ 離散コサイン変換部
２１４ スケール決定部
２１６ スケール制限部
２１８ 量子化部
５１０ 撮像部
５１２ 信号記憶部
５１４ 表示部
Ｓ６０２ 情報量決定ステップ
Ｓ６０４ 画像分割ステップ
Ｓ６１０ 離散コサイン変換ステップ
Ｓ６１２ スケール決定ステップ
Ｓ６１４ スケール制限ステップ
Ｓ６１６ 量子化ステップ

Claims (9)

1. 画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化装置であって：
   目標情報量を決定する情報量決定部と；
   １フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
   前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
   前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
   前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
   を備えることを特徴とする，画像符号化装置。
2. 前記スケール制限部における量子化スケールの制限は，所定の数値による下限であることを特徴とする，請求項１に記載の画像符号化装置。
3. 前記量子化スケールは，下限としての前記数値から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限されていることを特徴とする，請求項２に記載の画像符号化装置。
4. 前記量子化スケールは，下限としての前記数値から最大値まで，制限される値が比例することを特徴とする，請求項２に記載の画像符号化装置。
5. 前記情報量決定部は，前記動画像信号のフレーム毎に，該フレームのみに着目して目標情報量を決定することを特徴とする，請求項１に記載の画像符号化装置。
6. 前記目標情報量は上限が設けられていることを特徴とする，請求項１に記載の画像符号化装置。
7. 画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成するプログラムであって：
   コンピュータを，
   目標情報量を決定する情報量決定部と；
   １フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
   前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
   前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
   前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
   して機能させることを特徴とする，プログラム。
8. 画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化方法であって：
   目標情報量を決定する情報量決定ステップと；
   １フレームの画像を複数のマクロブロックに分割する画像分割ステップと；
   該分割されたマクロブロック毎に，
   離散コサイン変換を行う離散コサイン変換ステップと；
   前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定ステップと；
   前記スケール決定ステップで決定された量子化スケールを制限するスケール制限ステップと；
   前記離散コサイン変換された信号を，前記制限された量子化スケールで量子化する量子化ステップと；
   を含むことを特徴とする，画像符号化方法。
9. 画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，撮像した画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する撮像装置であって：
   撮像によって画像を得る撮像部と；
   前記撮像された画像の目標情報量を決定する情報量決定部と；
   １フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
   前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
   前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
   前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
   前記量子化された符号化信号を記憶媒体に記憶する信号記憶部と；
   を備えることを特徴とする，撮像装置。
   

Images