JP6985899B2 - 画像符号化装置及びその制御方法並びにプログラム - Google Patents

Description

本発明は、画像の圧縮符号化技術に関するものである。

動画像の圧縮符号化方式として、Ｈ．２６４やＨ．２６５等が知られている。これらの圧縮符号化方式を用いた符号化装置においては、メモリに対する原画像データ、参照画像データの読み書きを行いながら符号化処理がなされる。近年では、撮像素子の高解像度化、高フレームレート化されており、必然、単位時間当たりのメモリのアクセス量は増大し、装置の高コスト化の要因となっている。そこで、原画像データを圧縮符号化しデータ量を削減してから、メモリに格納することによって、メモリのアクセス量を削減する技術がある（例えば特許文献１）。

特開２００６−３０３６８９号公報

一般的に、画像符号化部のメモリアクセス量は符号化対象のピクチャタイプによって相違する。符号化対象のピクチャがインター予測符号のＰ、Ｂピクチャの場合、参照画像データへのアクセスが頻出するので、単位時間当たりのメモリアクセス量が多い。これに比べて、符号化対象のピクチャがイントラ予測符号のＩピクチャの場合、Ｐ，Ｂピクチャと比較して、メモリアクセス量は少ない。

特許文献１に記載の帯域圧縮部における目標圧縮率は固定であり、メモリアクセス量が少ないピクチャも多いピクチャも同じ圧縮率で圧縮を行っている。この結果、メモリアクセスの少ないピクチャにおいては必要以上に圧縮を行うことになってしまい、画質劣化を招いていた。

本発明は係る点に鑑み成されたものであり、メモリへのアクセス量を制御するだけでなく、画質の劣化も抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像を符号化する画像符号化装置であって、
符号化処理にてワークメモリとして利用するメモリと、
動画像を構成するフレームを順に入力する入力手段と、
入力したフレームを、設定された圧縮率に従って符号化し、当該符号化で得た符号化データを前記メモリに格納する第１の符号化手段と、
前記第１の符号化手段に設定する前記圧縮率を決定する決定手段と、
前記メモリに格納された前記第１の符号化手段による符号化データを復号する復号手段と、
前記復号手段及び前記メモリを利用して、前記動画像の符号化データを生成する第２の符号化手段とを有し、
前記決定手段は、
前記第２の符号化手段が符号化する際の、各フレームの、当該フレームを符号化するために他のフレームを参照する回数と、他のフレームを符号化するために参照される回数に基づき、前記圧縮率を決定することを特徴とする。

本発明によれば、メモリのアクセス量をこれまでよりも削減するだけでなく、画質劣化を低減する符号化データを生成することが可能になる。

実施形態における画像符号化装置のブロック構成図。 実施形態における第１の画像符号化部のブロック構成図。 実施形態における画像復号化部のブロック構成図。 Ｈ．２６４方式における一般的なＧＯＰ構造を示す図。 第１の実施形態における第１の画像符号化部の圧縮率を示す図。 Ｈ．２６５方式における一般的なＧＯＰ構造を示す図。 第２の実施形態における第１の画像符号化部の圧縮率を示す図。 制御部１０６の処理の例を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は第１の実施形態における画像符号化装置１００のブロック構成図である。本装置１００は、第１の符号化部１０１、復号部１０２、第２の符号化部１０３、メモリインターフェース部１０４、メモリ部１０５、制御部１０６を有する。

図１において画像符号化装置１００には、外部から符号化対象となる画像データが入力端子１０７を介して入力される。実施形態では、入力端子１０７へ符号化対象の画像データを供給する供給源は撮像部とするが、符号化対象の画像データを記憶している記憶媒体、或いは、符号化対象の画像を記憶しているネットワーク上のサーバであっても良く、その種類は問わない。メモリインターフェース部１０４は、メモリ部１０５に対するアクセスの調停を行う。他の構成については以下の説明から明らかにする。

第１の符号化部１０１は、入力された画像データについて、メモリ部１０５に格納する前にそのデータ量を削減するための圧縮符号化を行う。この第１の符号化部１０１は、後述の制御部１０６から設定される圧縮率に従って入力された画像データの符号化を行う。

図２は第１の符号化部１０１のブロック構成図である。以下、同図に従って第１の符号化部１０１を説明する。実施形態における第１の符号化部１０１は、動画像における着目フレームの画像を、少量のメモリで符号化するため、他のフレームを参照せず、画素単位の予測差分符号化（ＤＰＣＭ）方式を用いるものとする。ただし、これより多少はメモリを必要とするものの、ＪＰＥＧ等の他の方式を用いてもよい。

図２に示すように第１の符号化部１０１は、減算器２０１、量子化部２０２、逆量子化部２０３、加算器２０４、予測部２０５、セレクタ２０６、可変長符号化部２０７、多重化部２０８、符号量制御部２０９より構成される。

減算器２０１は入力された画像データの画素ごとに、後述の予測部２０５で生成された予測値を減算して、予測差分値（予測誤差とも呼ばれる）を算出する。量子化部２０２は予測差分値を後述の符号量制御部２０９から指示される量子化パラメータ（以後ＱＰと呼ぶ）で量子化を行う。ＱＰが小さいほど量子化ステップが細かくなるので、画質劣化を抑制できるものの、符号化効率は低くなる。また、ＱＰが大きいほど量子化ステップを粗くなるので、高い符号化効率が望めるものの、画質劣化はその分だけ大きくなる。

逆量子化部２０３は量子化部２０２で量子化された予測差分値を量子化部２０２と同様のＱＰで逆量子化する。加算器２０４は逆量子化された予測差分値と、前記予測値とを加算し、復号値を算出する。予測部２０５は復号値を用いて予測値を生成する。予測値は符号化対象の画素値の近傍に位置する画素であって、既符号化の画素の復号値を用いて生成される。一般に、画素単位の符号化の場合、その画像はラスタースキャン順に符号化されるので、符号化しようとする着目画素の左や上に隣接する画素の値をそのまま予測値として用いたり、それらの平均値が予測値とする。なお、着目画素の左隣の画素を着目画素の予測値として用いる場合、第１の符号化部１０１は、１つ前に符号化した左隣の画素の復号値を記憶保持するメモリ（もしくはレジスタ）を有すれば実現できることになる。因に、ＪＰＥＧを採用する場合には、８×８画素にブロック単位に符号化する必要があるので、符号化しようとする画像における８ライン分のバッファメモリがあれば良い。

セレクタ２０６は、ピクチャやラインの先頭などで復号値が存在しない場合に予測値として０を選択するためのセレクタである。０が選択された場合、減算器２０１は入力した画素値をそのまま量子化部２０２に供給することを意味する。

可変長符号化部２０７は、量子化された予測差分値を所定の可変長符号化方式による符号化を行って得た１画素毎に符号データを多重部２０８に出力するとともに、その符号長を符号量制御部２０９に出力する。ここで所定の可変長符号化方式とは例えばハフマン符号である。可変長符号化部２０７は、入力値が０の場合に最も短い符号長の符号データが割り当てられ、入力値の絶対値が大きくなるほど、長い符号長の符号データが割り当てられている。一方、予測差分値は正負の値を持つデータであり、画像データの変動の小さい平坦な部分では０付近の値となり、また、変動の大きいエッジ部分などでは大きな差分値になる。一般に予測差分データは０を中心としたラプラス分布の特性を持つ。そのため、一般的な画像においては短い符号長の符号データがより多く使われるため、データ量の削減が可能となる。また、量子化部２０２において、大きいＱＰで量子化するほど、予測差分値の絶対値は小さくなり、より符号長を小さくすることができる。なお、実施形態では可変長符号化部２０７がハフマン符号化を行うものとするが、例えばゴロム符号等であっても構わない。

符号量制御部２０９は可変長符号化部２０７からの符号長を累積し、着目画像（着目ピクチャ）の先頭画素から着目画素位置までの発生符号量を算出する。着目画素が着目画像の第ｉ番目の画素とし、着目画素から得た符号の符号長をＬ（ｉ）と表したとき、符号量制御部２０９は「ΣＬ（ｉ）」を算出することになる。

また、符号量制御部２０９には、外部（制御部１０６）から指示された圧縮率に基づいて、１画像当たりの目標符号量Ｔを決定する。１画像の無圧縮のデータ量をＡとし、圧縮率をＲとしたとき、着目画像の目標符号量Ｔは、Ｔ＝Ａ×Ｒと表せる。ここで、１画像に含まれる画素数をＮとしたとき、１画素当たりの目標符号長はＴ／Ｎ＝Ａ×Ｒ／Ｎと表せる。従って、先頭（第１番目）の画素から着目（第ｉ番目）画素に至る区間での目標符号量は「ｉ×Ａ×Ｒ／Ｎ」と表現できる。

符号量制御部２０９は、所定の画素数毎（例えば１ライン分の画素毎）に、先頭画素から着目画素ｉまでの目標符号量「ｉ×Ａ×Ｒ／Ｎ」と、実際に発生した符号の符号量「ΣＬ（ｉ）」とを比較し、１画像の符号化処理の期間で最終的に目標符号量に発生符号量が収まるようにＱＰを算出する。具体的には、符号量制御部２０９は、着目画素までに発生した発生符号量が目標符号量より大きい場合（ΣＬ（ｉ）＞ｉ×Ａ×Ｒ／Ｎの場合）、それまでのＱＰに予め設定された正値ΔＱを加算し、着目画素に後続する画素での発生符号量が少なくなるように制御する。また、発生符号量が目標符号量以下の場合（ΣＬ（ｉ）≦ｉ×Ａ×Ｒ／Ｎの場合）、符号量制御部２０９は、ＱＰからΔＱを減算し、後続する画素での発生符号量が多くなることを許容する。符号量制御部２０９は算出（更新）したＱＰを、量子化部２０２、逆量子化部２０３、多重部２０８に供給する。なお、ＱＰの変動を抑制するため、予め設定された正の値εを用いて、次のようにＱＰを制御しても構わない。
ΣＬ（ｉ）−ｉ×Ｔ／Ｎ＞εの場合、ＱＰ←ＱＰ＋ΔＱ
−ε＜ΣＬ（ｉ）−ｉ×Ｔ／Ｎ≦εの場合、ＱＰを維持（非変更）
ΣＬ（ｉ）−ｉ×Ｔ／Ｎ≦−εの場合、ＱＰ←ＱＰ−ΔＱ

多重部２０８は可変長符号化部２０７からの符号データと符号量制御部２０９からのＱＰとを、所定のフォーマットで多重化し、最終的な符号化データとして出力する。符号化された符号データはメモリインターフェース部１０４を介して、メモリ部１０５の所定の領域に格納される。

復号部１０２は、第２の符号化部１０３から要求に応じて、その要求された画像の符号化データ（第１の符号化部１０１が生成、格納した符号化データ）を読み出し、復号し、第２の符号化部１０３に供給する。

図３は、復号部１０２のブロック構成図である。本実施形態では第１の画像符号化部１０１と同様に予測差分符号化（ＤＰＣＭ）方式を用いた例を説明する。第１の画像符号化部１０１がＪＰＥＧ等、他の符号化方式を用いた場合はその方式と同様の方式を用いる事とする。

図３に示すように復号部１０２は、分離部３０１、可変長復号部３０２、逆量子化部３０３、加算器３０４、予測部３０５、セレクタ３０６より構成される。

分離部３０１は入力された符号データを所定のフォーマットによって可変長符号データとＱＰとに分離する。先の第１の符号化部１０１にて説明したように、ＱＰは、所定の画素数毎に更新されるものである。可変長復号部３０２は、可変長符号化部２０７と同様の方式で、分離部３０１から供給された可変長符号データを復号し、量子化された予測差分値を得る。逆量子化部３０３は分離部３０１によって分離されたＱＰを用いて、量子化された予測差分値を逆量子化し、予測差分値を得る。加算器３０４は、逆量子化部３０３からの予測差分値と後述の予測値とを加算して、復号画像データの画素値として外部へ出力する。

予測部３０５は着目画素用の予測値を生成する。予測値は、既に復号済みの画素地を用いて生成される。例えば復号対象の画素の左側や上側に隣接する画素をそのまま用いたり、平均値を用いたりする。セレクタ３０６はピクチャやラインの先頭などで復号値が存在しない場合に予測値として０を選択するためのセレクタである。

上記のようにして、復号部１０２は、復号して得られた画像データを第２の符号化部１０３に供給する。

第２の符号化部１０３は、記録媒体に記録するための画像符号化装置１００における主たる画像符号化部として機能する。具体的には、この第２の符号化部１０３は、インター予測符号化方式を用いた画像符号部である。なお、本実施形態ではＨ．２６４方式を用いた例を説明する。

第２の符号化部１０３は入力された画像データをＨ．２６４方式に従って符号化する。Ｈ．２６４方式にはＩ、Ｐ、Ｂピクチャと呼ばれるピクチャタイプが存在する。Ｉピクチャはイントラ予測符号化によって符号化を行う。また、Ｐピクチャは時間的に前のピクチャを参照画像としてインター予測符号化を行う。また、Ｂピクチャは前後のピクチャを参照画像としてインター予測符号化を行う。第２の符号化部１０３は、各フレームの画像の符号化処理において、必要に応じて、メモリ部１０５に参照画像を書き出したり、メモリ部１０５に格納された参照画像を読み出したりする。符号化された符号データは出力端子１０８を介して外部に出力され、非図示の記録媒体に記録される。

実施形態における第２の符号化部１０３は、上記のように、Ｈ．２６４方式に従って符号化を行っていく。この符号化処理中、第２の符号化部１０３はメモリ部１０５をワークメモリとして利用して符号化処理を行う。そして、第２の符号化部１０３は、第１の符号化部１０１が格納した符号化データの画像を符号化する際には、その符号化データを復号部１０２により復号した上で、符号化することになる。

制御部１０６は、ＣＰＵと、このＣＰＵが実行するプログラムを格納したメモリで構成され、装置全体の制御を司るものであり、とりわけ第１の符号化部１０１の圧縮率を制御する。制御部１０６は、第２の符号化部１０３が符号化するフレーム（ピクチャ）の符号化特性に応じて第１の符号化部１０１の圧縮率を決定する。以下に、制御部１０６における、第１の符号化部１０１の圧縮率の決定方法について詳細に説明する。

まず、第２の符号化部１０３における、各ピクチャの符号化特性を説明するため、ピクチャの参照関係について図４を用いて説明する。図４はＨ．２６４における一般的なＧＯＰ(Group Of Pictures)構造を表示順で示している。各ピクチャ間の矢印４１１〜４２０はピクチャが参照する方向を示している（矢印の先が参照画像）。

着目ピクチャの符号化において、参照するために読み出す他のピクチャの数を「参照する回数」とする。また、他のピクチャを符号化するため、着目ピクチャが参照画像として読み出される回数を「参照される回数」とする。この場合、各ピクチャの「参照する回数」、「参照される回数」は以下のようになる。
Ｉピクチャ４０３の場合、参照する回数は０回、参照される回数は５回（矢印４１１〜４１５）である。
Ｐピクチャ４０６の場合、参照する回数は１回（矢印４１３）、参照される回数は５回（矢印４１６〜４２０）である。
Ｂピクチャ４０４の場合、参照する回数は２回（矢印４１４、４１６）であり、参照される回数は０回である。

また、各ピクチャにおいて、メモリ部１０５から参照画像を読み出す回数と、メモリ部１０５へ参照画像を書き出す回数は以下のようになる。
Ｉピクチャ４０３は読み出す回数は０回、書き出す回数は１回。
Ｐピクチャ４０６は読み出す回数は１回、書き出す回数は１回。
Ｂピクチャ４０４は読み出す回数は２回、書き出す回数は０回。

上記のように、ピクチャタイプによって「参照する回数」、「参照される回数」、「参照画像を読み出す回数」、「参照画像を書き出す回数」が異なり、メモリアクセスへの影響度が異なることがわかる。

一般に参照されるピクチャの画質は、それを参照する符号化対象のピクチャの画質に影響することが知られている。よって参照される回数が多いピクチャほど、第１の符号化部１０１での画質劣化が発生しないよう、第１の符号化部１０１の圧縮率を低くすることが望ましいと言える。

また、参照画像を読み出す回数と参照画像を書き出す回数はメモリアクセス量に影響するため、これらの回数が多いピクチャほど、第１の符号化部１０１の符号データ量をより削減するため、第１の符号化部１０１の圧縮率を高くすることが望ましいと言える。

これらのことから、制御部１０６は、第２の画像符号化部１０３における「参照される回数」、「参照画像を読み出す回数」、「参照画像を書き出す回数」を取得して、これらの値に基づいて、次式（１）のようにして、第１の画像符号化部１０１の圧縮率を決定し、第１の画像符号化部１０１に指示する。
Rate=1/((read_num * x) + (write_num * y) - (ref_num * z) + offset) …（１）
ここで、各記号の意味は以下の通りである。
ｒａｔｅ：第１の画像符号化部１０１の圧縮率
ｒｅａｄ＿ｎｕｍ：参照画像を読み出す回数
ｗｒｉｔｅ＿ｎｕｍ：参照画像を書き出す回数
ｒｅｆ＿ｎｕｍ：参照される回数
ｘ、ｙ、ｚ：所定の係数
ｏｆｆｓｅｔ：所定の定数
式（１）において、ｘ＝１、ｙ＝１、ｚ＝０．１、ｏｆｆｓｅｔ＝１．５として算出した圧縮率の一例を図５に示す。

なお、制御部１０６は、着目画像(フレーム）を符号化する度に式（１）を演算しても良いが、例えば着目画像が第２の符号化部１０３によりＩ，Ｐ，Ｂピクチャのいずれとして符号化されるのか、並びに図５に示すテーブルを参照した処理を行なっても良い。

図８は、実施形態の制御部１０６の処理の例を示すフローチャートである。以下、同図に従って実施形態における制御部１０６の処理手順を説明する。

まず、Ｓ８０１にて、制御部１０６は、第１の符号化部に供給される着目画像について、第２の符号化部１０３が符号化する際のアクセス量に基づき、圧縮率Ｒを決定する。なお、この決定処理は、１ＧＯＰを単位とした周期的なものとなるが、第１の実施形態の場合、アクセス量はＩ，Ｐ，Ｂピクチャに依存するので、ピクチャタイプで圧縮率を決定しても良い。

次に、Ｓ８０２にて、制御部１０６は、決定した圧縮率Ｒを第１の符号化部１０１に設定する。そして、Ｓ８０３にて、制御部１０６は、第１の符号化部１０１に符号化処理を行わせ、生成された符号化データをメモリ部１０５に格納させる。

なお、第２の符号化部１０３の符号化処理は、第１の符号化部１０１とは別スレッドとして動作する。これは、第２の符号化部１０３による符号化するピクチャの順番が入力順とは異なるためである。

以上、説明したように、図５に示すように各ピクチャの圧縮率はＩピクチャが１／２、Ｐピクチャが１／３、Ｂピクチャが１／３．５となる。参照される回数の多いＩピクチャは低い圧縮率であり、メモリアクセスの多いＢピクチャは高い圧縮率となっており、画質面での重要度、およびメモリアクセス量を反映した適切な圧縮率を決定することができ、メモリのアクセス量を削減するとともに、画質劣化を低減することができる。

［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態と本第２の実施形態の相違点は、第２の画像符号化部１０３の符号化方式がＨ．２６４からＨ．２６５になっている点である。以下に、第２の画像符号化部１０３の符号化方式にＨ．２６５を採用した場合の制御部１０６の動作を説明する。その他の構成、動作は第１の実施形態と同様であるため説明は省略する。

Ｈ．２６５方式の各ピクチャの符号化特性を説明するため、ピクチャの参照関係について図６を用いて説明する。図６はＨ．２６５における一般的なＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造を表示順で示している。各ピクチャ間の矢印はピクチャが参照する方向を示している（矢印の先が参照画像）。同図に示されるようにＨ．２６５においては階層符号化が採用され、参照ピクチャ間の予測構造が階層構造になっている。また、前方予測の参照フレーム数を複数指定可能なＢピクチャが使用され、Ｐピクチャが存在しない場合もある。そのため、先頭のＩピクチャ以外はＢピクチャというＧＯＰ構造となっており、それぞれのＢピクチャは異なる参照関係となっている。

制御部１０６は、第２の画像符号化部１０３における「参照される回数」、「参照画像を読み出す回数」、「参照画像を書き出す回数」を取得して、これらの値に基づいて、例えば先の式（１）のようにして、第１の画像符号化部１０１の圧縮率を決定し、第１の画像符号化部１０１に指示する。

各ピクチャにおける、参照する回数、参照される回数、参照画像を読み出す回数、参照画像を書き出す回数、並びに、先に示した式（１）において、ｘ＝０．５、ｙ＝０．５、ｚ＝０．３、ｏｆｆｓｅｔ＝１．７として算出した場合の圧縮率Ｒの一例を図７に示す。

制御部１０６は、第１の符号化部１０１に供給される画像が、図７のいずれに当たるのかに応じて、圧縮率を決定し、第１の符号化部１０１に設定して符号化を行わせる。従って、本第２の実施形態における制御部１０６による、第１の符号化部１０１に対する制御処理は図８のフローチャートと同じなる。

以上説明したように、本実施形態によれば、図７に示すように同じＢピクチャであっても、参照される回数の多いＢピクチャは低い圧縮率であり、メモリアクセスの多いＢピクチャは高い圧縮率となっており、画質面での重要度、およびメモリアクセス量を反映した適切な圧縮率を決定することができ、メモリのアクセス量を削減するとともに、画質劣化を低減することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像符号化装置、１０１…第１の符号化部、１０２…復号部、１０３…第２の符号化部、１０４…メモリインターフェース、１０５…メモリ部、１０６…制御部

Claims (6)

1. 動画像を符号化する画像符号化装置であって、
   符号化処理にてワークメモリとして利用するメモリと、
   動画像を構成するフレームを順に入力する入力手段と、
   入力したフレームを、設定された圧縮率に従って符号化し、当該符号化で得た符号化データを前記メモリに格納する第１の符号化手段と、
   前記第１の符号化手段に設定する前記圧縮率を決定する決定手段と、
   前記メモリに格納された前記第１の符号化手段による符号化データを復号する復号手段と、
   前記復号手段及び前記メモリを利用して、前記動画像の符号化データを生成する第２の符号化手段とを有し、
   前記決定手段は、
   前記第２の符号化手段が符号化する際の、各フレームの、当該フレームを符号化するために他のフレームを参照する回数と、他のフレームを符号化するために参照される回数に基づき、前記圧縮率を決定することを特徴とする画像符号化装置。
2. 前記決定手段は、前記参照される回数が多いほど前記圧縮率が低くなるように決定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記決定手段は、前記参照する回数が多いほど前記圧縮率が高くなるように決定することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記第１の符号化手段は、画素単位の予測符号化であることを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 符号化処理にてワークメモリとして利用するメモリを用いて動画像を符号化する画像符号化装置の制御方法であって、
   動画像を構成するフレームを順に入力する入力工程と、
   入力したフレームを、設定された圧縮率に従って符号化し、当該符号化で得た符号化データを前記メモリに格納する第１の符号化工程と、
   前記第１の符号化工程に設定する前記圧縮率を決定する決定工程と、
   前記メモリに格納された前記第１の符号化工程による符号化データを復号する復号工程と、
   前記復号工程を利用すると共に、前記メモリを利用して、前記動画像の符号化データを生成する第２の符号化工程とを有し、
   前記決定工程は、
   前記第２の符号化工程が符号化する際の、各フレームの、当該フレームを符号化するために他のフレームを参照する回数と、他のフレームを符号化するために参照される回数に基づき、前記圧縮率を決定する
   ことを特徴とする画像符号化装置の制御方法。
6. コンピュータが読み込み実行することで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのプログラム。

Images