JP2013126093A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数ストリームが符号化される画像符号化方式において、符号番号テーブルをより効率的に使用すること。
【解決手段】エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、前記符号番号テーブルを参照することにより第１のインデックス値に変換する第１変換部と、前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換する第２変換部と、を備える画像処理装置を提供する。
【選択図】図１３

Description

本開示は、画像処理装置及び画像処理方法に関する。

Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）の標準化が進められている。ＨＥＶＣでは、様々な要素技術についてＡＶＣ（Advanced Video Coding）からの改善が図られている。例えば、寄書ＪＣＴＶＣ−Ａ１１９において、エントロピー符号化の手法として、ＡＶＣのエントロピー符号化のＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）及びＣＡＶＬＣ（Context-based Adaptive VLC）とは異なる手法が提案されている（下記非特許文献１参照）。

ＣＡＢＡＣは、ＣＡＶＬＣと比較して、符号化効率が高い一方で算術符号化のための複雑な演算を要する。そのため、Ｈ．２６４／ＡＶＣのベースラインプロファイルでは、ＣＡＢＡＣではなくＣＡＶＬＣが使用されている。これに対し、ＪＣＴＶＣ−Ａ１１９において提案されているエントロピー符号化の手法は、ＣＡＶＬＣと同様のＶＬＣ（Variable Length Coding：可変長符号化）でありながらＣＡＢＡＣに近い性能を示し得るため、携帯電話などのモバイル機器に代表される演算能力の低い機器での利用が期待されている。

ＪＣＴＶＣ−Ａ１１９において提案されているエントロピー符号化の手法では、エンコーダ及びデコーダは、各符号語に関連付けられる符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを記憶する。そして、符号化又は復号の際、あるインデックス値が出現すると、上記符号番号テーブル内で、出現したインデックス値とそのすぐ上のインデックス値（即ち、符号番号が１つ小さいインデックス値）とがスワップされる。このようなスワップが繰り返されることにより、相対的に出現頻度の高いインデックス値が、より小さい符号番号に関連付けられるようになる。その結果、エントロピー符号化の利点である符号量の圧縮が達成される。

ところで、スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）は、将来の画像符号化方式において重要な技術の１つである。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。

スケーラブル符号化において符号化される複数のレイヤは、一般的には、共通するシーンを映している。共通するシーンについて複数のストリームが符号化される点は、スケーラブル符号化だけでなく、立体視画像のためのマルチビュー符号化、及びインターレース符号化においても同様である。

Kemal Ugur， et al., "Description of video coding technology proposal by Tandberg, Nokia, Ericsson", JCTVC-A119，2010年4月

しかしながら、スケーラブル符号化、マルチビュー符号化及びインターレース符号化のような画像符号化方式は、複数の符号化ストリームを符号化し及びそれらを復号するために、エンコーダ及びデコーダにおいて多くのリソースが消費されるという欠点を有する。例えば、スケーラブル符号化においてレイヤごとに上述した符号番号テーブルを保持しようとすると、符号番号テーブルのために多くのメモリリソースを要すると共に、プロセッサに負荷を与えるスワップ処理の回数も増加する。

従って、複数ストリームが符号化される画像符号化方式において、符号番号テーブルをより効率的に使用することのできる仕組みが提供されることが望ましい。

本開示によれば、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、前記符号番号テーブルを参照することにより第１のインデックス値に変換する第１変換部と、前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換する第２変換部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。

また、本開示によれば、共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１のインデックス値に変換することと、前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換することと、を含む画像処理方法が提供される。

また、本開示によれば、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、前記符号番号テーブルを参照することにより第１の符号番号に変換する第１変換部と、前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換する第２変換部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、本開示によれば、共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１の符号番号に変換することと、前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換することと、を含む画像処理方法が提供される。

本開示に係る技術によれば、複数ストリームが符号化される画像符号化方式において、符号番号テーブルをより効率的に使用することができる。

スケーラブル符号化について説明するための説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図２に示した第１ピクチャ符号化部及び第２ピクチャ符号化部の構成の一例を示すブロック図である。 図４に示した可逆符号化部の詳細な構成の一例を示すブロック図である。 符号番号テーブルの一例について説明するための説明図である。 ＶＬＣテーブルの一例について説明するための説明図である。 符号番号テーブルのスワップについて説明するための説明図である。 共通の符号番号テーブルが使用され得るシンタックス要素の一例について説明するための説明図である。 共通の符号番号テーブルが使用され得るシンタックス要素の他の例について説明するための説明図である。 一実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。 図３に示した第１ピクチャ復号部及び第２ピクチャ復号部の構成の一例を示すブロック図である。 図１２に示した可逆復号部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時の処理の流れの一例を示すフローチャートである。 一実施形態に係る画像符号化処理のマルチビュー符号化への適用について説明するための説明図である。 一実施形態に係る画像復号処理のマルチビュー符号化への適用について説明するための説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る符号化部の構成例
３．一実施形態に係る符号化時の処理の流れ
４．一実施形態に係る復号部の構成例
５．一実施形態に係る復号時の処理の流れ
６．様々な画像符号化方式への適用
７．応用例
８．まとめ

＜１．概要＞
本節では、スケーラブル符号化への適用を例にとって、一実施形態に係る画像符号化装置及び画像復号装置の概要を説明する。なお、本明細書で説明するこれら装置の構成は、マルチビュー符号化及びインターレース符号化にも同等に適用可能である。

スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。

図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。なお、ここでは、様々な種類のスケーラビリティのうち、空間スケーラビリティを例にとっている。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の予測単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。

このようなレイヤ構造において、あるレイヤの画像の空間的相関及び時間的相関は、通常、共通するシーンに対応する他のレイヤの画像の空間的相関及び時間的相関と類似する。例えば、レイヤＬ１においてブロックＢ１がある方向の隣接ブロックとの間の強い相関を有する場合、レイヤＬ２においてブロックＢ２が同じ方向の隣接ブロックとの間で強い相関を有し、レイヤＬ３においてブロックＢ３がやはり同じ方向の隣接ブロックとの間で強い相関を有する可能性が高い。従って、画像の空間的相関に依存するイントラ予測に関するパラメータ値及び画像の時間的相関に依存するインター予測に関するパラメータ値の出現の傾向（どのパラメータ値がより多く出現するか）は、レイヤ間である程度似通ったものとなる。そのため、これらパラメータがエントロピー符号化される場合において、レイヤ間で符号番号テーブルを共通化したとしても、出現頻度のより高いパラメータ値をより短い符号語に適切にマッピングすることができるものと予測される。このようなアイディアに基づき、以下に説明する一実施形態において、共通の符号番号テーブルを導入することにより、複数ストリームが符号化される画像符号化方式におけるリソースの効率的な使用を実現する。

なお、以下の説明において、あるレイヤのブロックに対応する他のレイヤのブロックとは、例えば、あるレイヤのブロック内の所定の位置（例えば、左上）の画素に対応する画素を有する、他のレイヤのブロックをいう。このような定義により、例えば下位レイヤの複数のブロックを統合するような上位レイヤのブロックが存在したとしても、上位レイヤのブロックに対応する下位レイヤのブロックを一意に決定することができる。

図２は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図２を参照すると、画像符号化装置１０は、第１ピクチャ符号化部１ａ、第２ピクチャ符号化部１ｂ、共通メモリ２及び多重化部３を備える。

第１ピクチャ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２ピクチャ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１ピクチャ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、第２ピクチャ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

図３は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図３を参照すると、画像復号装置６０は、逆多重化部５、第１ピクチャ復号部６ａ、第２ピクチャ復号部６ｂ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１ピクチャ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２ピクチャ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

図２に例示した画像符号化装置１０において、ベースレイヤの符号化のための第１ピクチャ符号化部１ａの構成と、エンハンスメントレイヤの符号化のための第２ピクチャ符号化部１ｂの構成とは、互いに類似する。第１ピクチャ符号化部１ａ及び第２ピクチャ符号化部１ｂは、所定の種類のパラメータを符号化するにあたり、共通メモリ２により記憶される共通の符号番号テーブルを参照する。共通の符号番号テーブルのエントリのスワップは、レイヤごとに繰り返されない。次節では、そのような第１ピクチャ符号化部１ａ及び第２ピクチャ符号化部１ｂの構成について詳細に説明する。

同様に、図３に例示した画像復号装置６０において、ベースレイヤの復号のための第１ピクチャ復号部６ａの構成と、エンハンスメントレイヤの復号のための第２ピクチャ復号部６ｂの構成とは、互いに類似する。第１ピクチャ復号部６ａ及び第２ピクチャ復号部６ｂは、所定の種類のパラメータを符号化するにあたり、共通メモリ７により記憶される共通の符号番号テーブルを参照する。共通の符号番号テーブルのエントリのスワップは、レイヤごとに繰り返されない。さらに次の節では、そのような第１ピクチャ復号部６ａ及び第２ピクチャ復号部６ｂの構成について詳細に説明する。

＜２．一実施形態に係る符号化部の構成例＞
［２−１．全体的な構成例］
図４は、図２に示した第１ピクチャ符号化部１ａ及び第２ピクチャ符号化部１ｂの構成の一例を示すブロック図である。図４を参照すると、第１ピクチャ符号化部１ａは、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６ａ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。第２ピクチャ符号化部１ｂは、可逆符号化部１６ａの代わりに、可逆符号化部１６ｂを備える。

並び替えバッファ１２は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。

減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６ａ又は１６ｂ及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、量子化データのビットレートを変化させる。

可逆符号化部１６ａは、量子化部１５から入力されるベースレイヤの量子化データについて可逆符号化処理を行うことにより、ベースレイヤの符号化ストリームを生成する。また、可逆符号化部１６ａは、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６ａは、生成した符号化ストリームを蓄積バッファ１７へ出力する。

同様に、可逆符号化部１６ｂは、量子化部１５から入力されるエンハンスメントレイヤの量子化データについて可逆符号化処理を行うことにより、エンハンスメントの符号化ストリームを生成する。また、可逆符号化部１６ｂは、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６ｂは、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６ａ又は１６ｂから入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。

デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。

セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６ａ又は１６ｂへ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６ａ又は１６ｂへ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。

動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。

イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、予測単位ごとにイントラ予測処理を行う。例えば、イントラ予測部４０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部４０は、当該最適な予測モードに従って予測画像データを生成する。そして、イントラ予測部４０は、選択した最適な予測モードを表す予測モード情報を含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

第１ピクチャ符号化部１ａは、ここで説明した一連の符号化処理を、ベースレイヤの一連の画像データについて実行する。第２ピクチャ符号化部１ｂは、ここで説明した一連の符号化処理を、エンハンスメントレイヤの一連の画像データについて実行する。ベースレイヤについての符号化処理と、エンハンスメントレイヤについての符号化処理とは、以下にさらに説明するように、予測単位ごとに同期して実行される。エンハンスメントレイヤが複数存在する場合には、ベースレイヤについての符号化処理と当該複数のエンハンスメントレイヤについての符号化処理とが予測単位ごとに同期して実行されてよい。

［２−２．可逆符号化部の構成例］
図５は、図４に示した可逆符号化部１６ａ及び１６ｂの詳細な構成の一例を示すブロック図である。図５を参照すると、可逆符号化部１６ａは、インデックス値取得部１１０ａ、変換部１１２ａ及びスワップ部１１４ａを有する。可逆符号化部１６ｂは、インデックス値取得部１１０ｂ、変換部１１２ｂ及びスワップ部１１４ｂを有する。

変換部１１２ａは、共通メモリ２により記憶される符号番号テーブル１０４及びＶＬＣ（Variable Length Code）テーブル１０６を参照する。変換部１１２ｂもまた、符号番号テーブル１０４及びＶＬＣテーブル１０６を参照する。また、変換部１１２ａは、レイヤ固有の符号番号テーブル１０４ａをも参照し得る。変換部１１２ｂは、レイヤ固有の符号番号テーブル１０４ｂをも参照し得る。

図６は、符号番号テーブルの一例について説明するための説明図である。符号番号テーブル１０４は、符号番号（CodeNum）及びシンタックス要素（SyntaxElement）という２つのデータ項目を有する。符号番号は、エントロピー符号化において使用される各符号語に関連付けられる番号である。例えば、符号番号は、ゼロから符号語の候補の数（マイナス１）までの整数であってよい。符号番号テーブル１０４のシンタックス要素の値は、各シンタックス要素のイベント内容に対応するインデックス値である。シンタックス要素のインデックス値は、テーブルインデックスとも呼ばれる。

このような符号番号テーブル１０４を参照することにより、例えば、画像の符号化の際には、シンタックス要素ごとに、出現したインデックス値に対応する符号番号が取得される。図３の例では、符号番号テーブル１０４は、符号番号とシンタックス要素のインデックス値との組として、（０，４）、（１，５）、（２，２）、（３，１）、（４，７）、…を含んでいる。従って、例えば、出現したインデックス値が“４”であれば、符号番号“０”が取得される。出現したインデックス値が“５”であれば、符号番号“１”が取得される。また、画像の復号の際には、出現した符号番号に対応するインデックス値が、シンタックス要素ごとに取得される。例えば、出現した符号番号が“０”であれば、インデックス値“４”が取得される。出現した符号番号が“１”であれば、インデックス値“５”が取得される。

典型的には、シンタックス要素の種類ごとに異なる符号番号テーブルが用意される。本実施形態において、所定の種類のシンタックス要素についての符号番号テーブルは、レイヤ間で共通化され、個々の符号番号テーブル１０４を構成する。所定の種類とは、イントラ予測のための予測モード情報、並びにインター予測のための予測モード情報及び参照画像情報を含み得る。なお、これら以外の種類のシンタックス要素について、符号番号テーブルがレイヤ間で共通化されてもよい。図５には、便宜上１つの共通の符号番号テーブル１０４のみが示されているが、実際には共通の符号番号テーブル１０４は複数存在し得る。その他の種類のシンタックス要素についての符号番号テーブルは、レイヤごとに用意され、それぞれレイヤ固有の符号番号テーブル１０４ａ及び１０４ｂを構成する。

図７は、ＶＬＣテーブルの一例について説明するための説明図である。ＶＬＣテーブル１０６は、符号番号（CodeNum）及び符号語（CodeWord）という２つのデータ項目を有する。符号語は、符号番号と関連付けて定義される可変長のビット列である。典型的には、ＶＬＣテーブル１０６において、より小さい符号番号により短いビット列が関連付けられる。このようなＶＬＣテーブル１０６を参照することにより、例えば、画像の符号化の際には、出現したインデックス値に対応する符号番号と関連付けられている符号語がＶＬＣテーブル１０６から取得され、取得された符号語が符号化ストリームの一部として出力される。また、画像の復号の際には、符号化ストリームに含まれる符号語に関連付けられている符号番号がＶＬＣテーブル１０６から取得され、取得された符号番号が符号番号テーブル１０４の参照のために使用される。

例えばＨ．２６４／ＡＶＣ及びＨＥＶＣでは、符号語のパターンの異なる複数のＶＬＣテーブルが予め用意される。そして、インデックス値の出現確率の分散に応じて、符号化／復号の際に使用すべきＶＬＣテーブルが切替えられる。しかしながら、ＶＬＣテーブル内の符号語のパターンの相違は本実施形態の特徴に関連しないため、ここではＶＬＣテーブルの切替えについての詳細な説明を省略する。

上述したようなテーブル群を用いて、可逆符号化部１６ａは、ベースレイヤの画像データ及びパラメータを、シンタックス要素ごとに符号語に変換する。

より具体的には、まず、インデックス値取得部１１０ａは、入力イベントを認識し、認識したイベントに対応するシンタックス要素ごとのインデックス値を取得する（このような処理を“enumeration”ともいう）。いくつかのシンタックス要素については、入力されるデータが既にインデックス値の形式をとっているため、“enumeration”は省略され得る。

変換部１１２ａは、取得された各インデックス値を、符号番号テーブル１０４又は１０４ａを参照することにより符号番号に変換する。シンタックス要素の種類が所定の種類に含まれる場合には、共通の符号番号テーブル１０４が参照される。一方、シンタックス要素の種類が所定の種類に含まれない場合には、レイヤ固有の符号番号テーブル１０４ａが参照される。また、変換部１１２ａは、ＶＬＣテーブル１０６を参照することにより、符号番号をさらに符号語に変換する。そして、変換部１１２ａは、取得した符号語を符号化ストリームの一部として順次出力する。

スワップ部１１４ａは、各符号番号テーブルの内容をインデックス値の発生頻度の変化に追従させるために、変換部１１２ａへの入力において出現するインデックス値に応じて、符号番号テーブル１０４及び１０４ａのエントリをスワップする。それにより、発生頻度のより高いインデックス値についてより短い符号語が適切に使用されるようになる。より具体的には、発生したインデックス値とそのすぐ上のインデックス値（即ち、符号番号が１つ小さいインデックス値）とが、符号番号テーブル内でスワップされる。

図８は、寄書ＪＣＴＶＣ−Ａ１１９に記載されている符号番号テーブルのスワップについて説明するための説明図である。図８を参照すると、スワップにより順次更新される符号番号テーブル１０４−１〜１０４−３が示されている。まず、最初に発生したインデックス値（index_1）は、“１”である。符号番号テーブル１０４−１において、このインデックス値は、符号番号“３”に対応する。従って、符号番号“３”及びその上の符号番号“２”にそれぞれ対応する、インデックス値“１”及び“２”がスワップされる。次に発生したインデックス値（index_2）もまた、“１”である。符号番号テーブル１０４−２において、このインデックス値は、符号番号“２”に対応する。従って、符号番号“２”及びその上の符号番号“１”にそれぞれ対応する、インデックス値“５”及び“１”がスワップされる。その結果、符号番号テーブル１０４−３において、インデックス値“１”は符号番号“１”、即ち以前の状態と比較してより小さい符号番号に対応している。

可逆符号化部１６ａと同様に、可逆符号化部１６ｂは、上述したようなテーブル群を用いて、エンハンスメントレイヤの画像データ及びパラメータを、シンタックス要素ごとに符号語に変換する。

より具体的には、まず、インデックス値取得部１１０ｂは、入力イベントを認識し、認識したイベントに対応するシンタックス要素ごとのインデックス値を取得する。いくつかのシンタックス要素については、入力されるデータが既にインデックス値の形式をとっているため、“enumeration”は省略され得る。

変換部１１２ｂは、取得された各インデックス値を、符号番号テーブル１０４又は１０４ｂを参照することにより符号番号に変換する。シンタックス要素の種類が所定の種類に含まれる場合には、共通の符号番号テーブル１０４が参照される。一方、シンタックス要素の種類が所定の種類に含まれない場合には、レイヤ固有の符号番号テーブル１０４ｂが参照される。また、変換部１１２ｂは、ＶＬＣテーブル１０６を参照することにより、符号番号をさらに符号語に変換する。そして、変換部１１２ｂは、取得した符号語を符号化ストリームの一部として順次出力する。

スワップ部１１４ｂは、変換部１１２ｂへの入力において出現するインデックス値に応じて、レイヤ固有の符号番号テーブル１０４ｂのエントリをスワップする。スワップ部１１４ｂは、共通の符号番号テーブル１０４のエントリをスワップしない。共通の符号番号テーブル１０４のエントリは、可逆符号化部１６ａのスワップ部１１４ａによりスワップされる。共通の符号番号テーブル１０４のエントリは、上記所定の種類のシンタックス要素の各々について、ベースレイヤのインデックス値から符号番号への変換、及びエンハンスメントレイヤのインデックス値から符号番号への変換が行われた後に、１回スワップされ得る。

図９は、共通の符号番号テーブルが使用され得るシンタックス要素の一例について説明するための説明図である。図９の左には、下位レイヤの予測単位Ｂａ、並びに予測単位Ｂａに隣接する隣接ブロックＮａ_Ｕ及びＮａ_Ｌが示されている。予測単位Ｂａは、イントラ予測ブロックの予測単位であるものとする。予測単位Ｂａには、イントラ予測のための予測モードＭａが設定されている。図９の右には、上位レイヤの予測単位Ｂｂ、並びに予測単位Ｂｂに隣接する隣接ブロックＮｂ_Ｕ及びＮｂ_Ｌが示されている。予測単位Ｂｂもまた、イントラ予測ブロックの予測単位である。予測単位Ｂｂには、イントラ予測のための予測モードＭｂが設定されている。例えば、空間スケーラビリティ、ＳＮＲスケーラビリティ及びビット深度スケーラビリティにおいては、レイヤ間で画像の空間的相関が類似する。従って、予測モードＭａ及び予測モードＭｂの予測方向は互いに等しい可能性が高い。これは、イントラ予測のための予測モード情報のインデックス値の出現の傾向がレイヤ間で似通ったものとなることを意味する。よって、イントラ予測のための予測モード情報について、図５に示したような共通の符号番号テーブル１０４を採用することが有益である。

図１０は、共通の符号番号テーブルが使用され得るシンタックス要素の他の例について説明するための説明図である。図１０の左には、下位レイヤの予測単位Ｂａ、並びに複数の参照画像の候補Ｒａ_１及びＲａ_２が示されている。予測単位Ｂａは、インター予測ブロックの予測単位であるものとする。予測単位Ｂａには、インター予測のための予測モードＭａが設定されている。参照画像のインジケータＩａは、参照画像の候補Ｒａ_２を示す。図１０の右には、上位レイヤの予測単位Ｂｂ、並びに複数の参照画像の候補Ｒｂ_１及びＲｂ_２が示されている。予測単位Ｂｂは、インター予測ブロックの予測単位である。予測単位Ｂｂには、インター予測のための予測モードＭｂが設定されている。参照画像のインジケータＩｂは、参照画像の候補Ｒｂ_２を示す。例えば、空間スケーラビリティ、ＳＮＲスケーラビリティ及びビット深度スケーラビリティにおいては、レイヤ間で画像の時間的相関が類似する。従って、予測モードＭａ及びＭｂは互いに等しく、参照画像のインジケータＩａ及びＩｂもまた互いに等しい可能性が高い。これは、インター予測のための予測モード情報及び参照画像情報のインデックス値の出現の傾向がレイヤ間で似通ったものとなることを意味する。よって、これらの種類のシンタックス要素について、図５に示したような共通の符号番号テーブル１０４を採用することが有益である。

このような共通の符号番号テーブル１０４の採用により、符号化効率を実質的に低下させることなく、テーブルの記憶に要するメモリリソースを節約することが可能となる。また、符号番号テーブルのスワップも複数のレイヤにわたって１回で済むため、プロセッサの負荷も軽減される。

＜３．一実施形態に係る符号化時の処理の流れ＞
図１１は、本実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。図１１に示した処理は、ベースレイヤ及びエンハンスメントレイヤの互いに対応する予測単位ごとに実行される。ステップＳ１００〜Ｓ１８０の処理は、各シンタックス要素について実行される。

図１１を参照すると、まず、処理対象のシンタックス要素が所定の種類のシンタックス要素であるか否かに応じて、処理が切替えられる（ステップＳ１００）。例えば、処理対象のシンタックス要素がイントラ予測のための予測モード情報、又はインター予測のための予測モード情報若しくは参照画像情報であれば、処理はステップＳ１４５へ進む。それ以外の場合には、処理はステップＳ１０５へ進む。

ステップＳ１０５〜Ｓ１４０の処理は、レイヤ固有の符号番号テーブルが参照される場合の処理である。

まず、インデックス値取得部１１０ａは、処理対象のシンタックス要素のベースレイヤのインデックス値を取得する（ステップＳ１０５）。次に、変換部１１２ａは、レイヤ固有の符号番号テーブル１０４ａを参照して、インデックス値取得部１１０ａにより取得されたインデックス値を符号番号に変換する（ステップＳ１１０）。次に、変換部１１２ａは、ＶＬＣテーブル１０６を参照して、符号番号を符号語に変換する（ステップＳ１１５）。次に、スワップ部１１４ａは、レイヤ固有の符号番号テーブル１０４ａ内の、出現したインデックス値に対応するエントリをスワップする（ステップＳ１２０）。

また、インデックス値取得部１１０ｂは、処理対象のシンタックス要素のエンハンスメントレイヤのインデックス値を取得する（ステップＳ１２５）。次に、変換部１１２ｂは、レイヤ固有の符号番号テーブル１０４ｂを参照して、インデックス値取得部１１０ｂにより取得されたインデックス値を符号番号に変換する（ステップＳ１３０）。次に、変換部１１２ｂは、ＶＬＣテーブル１０６を参照して、符号番号を符号語に変換する（ステップＳ１３５）。次に、スワップ部１１４ｂは、レイヤ固有の符号番号テーブル１０４ｂ内の、出現したインデックス値に対応するエントリをスワップする（ステップＳ１４０）。

ステップＳ１４５〜Ｓ１７５の処理は、共通の符号番号テーブルが参照される場合の処理である。

まず、インデックス値取得部１１０ａは、処理対象のシンタックス要素のベースレイヤのインデックス値を取得する（ステップＳ１４５）。次に、変換部１１２ａは、共通の符号番号テーブル１０４を参照して、インデックス値取得部１１０ａにより取得されたインデックス値を符号番号に変換する（ステップＳ１５０）。次に、変換部１１２ａは、ＶＬＣテーブル１０６を参照して、符号番号を符号語に変換する（ステップＳ１５５）。

また、インデックス値取得部１１０ｂは、処理対象のシンタックス要素のエンハンスメントレイヤのインデックス値を取得する（ステップＳ１６０）。次に、変換部１１２ｂは、共通の符号番号テーブル１０４を参照して、インデックス値取得部１１０ｂにより取得されたインデックス値を符号番号に変換する（ステップＳ１６５）。次に、変換部１１２ｂは、ＶＬＣテーブル１０６を参照して、符号番号を符号語に変換する（ステップＳ１７０）。

その後、スワップ部１１４ａは、共通の符号番号テーブル１０４内の、変換部１１２ａへの入力において出現したインデックス値に対応するエントリをスワップする（ステップＳ１７５）。

処理対象のシンタックス要素についてこれら処理が終了した後、予測単位内に未処理のシンタックス要素が残っている場合には、処理はステップＳ１００に戻る（ステップＳ１８０）。一方、未処理のシンタックス要素が残っていない場合には、さらに残りの予測単位が存在するかが判定される（ステップＳ１９０）、ここで、残りの予測単位が存在する場合には、処理はステップＳ１００に戻り、次の予測単位について上述した処理が繰り返される。残りの予測単位が存在しない場合には、図１１のフローチャートは終了する。

＜４．一実施形態に係る復号部の構成例＞
［４−１．全体的な構成例］
図１２は、図３に示した第１ピクチャ復号部６ａ及び第２ピクチャ復号部６ｂの構成の一例を示すブロック図である。図１２を参照すると、第１ピクチャ復号部６ａは、蓄積バッファ６１、可逆復号部６２ａ、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。第２ピクチャ復号部６ｂは、可逆復号部６２ａの代わりに、可逆復号部６２ｂを備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号部６２ａは、蓄積バッファ６１から入力されるベースレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２ａは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２ａにより復号される情報は、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２ａは、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２ａは、イントラ予測に関する情報をイントラ予測部９０へ出力する。

同様に、可逆復号部６２ｂは、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２ｂは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２ｂにより復号される情報は、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２ｂは、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２ｂは、イントラ予測に関する情報をイントラ予測部９０へ出力する。

逆量子化部６３は、可逆復号部６２ａ又は６２ｂによる復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。

並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号部６２ａ又は６２ｂにより取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。

セレクタ７１は、可逆復号部６２ａ又は６２ｂにより取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。

動き補償部８０は、可逆復号部６２ａ又は６２ｂから入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。

イントラ予測部９０は、可逆復号部６２ａ又は６２ｂから入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。

第１ピクチャ復号部６ａは、ここで説明した一連の復号処理を、ベースレイヤの一連の画像データについて実行する。第２ピクチャ復号部６ｂは、ここで説明した一連の復号処理を、エンハンスメントレイヤの一連の画像データについて実行する。ベースレイヤについての復号処理と、エンハンスメントレイヤについての復号処理とは、以下にさらに説明するように、予測単位ごとに同期して実行される。エンハンスメントレイヤが複数存在する場合には、ベースレイヤについての復号処理と当該複数のエンハンスメントレイヤについての復号処理とが予測単位ごとに同期して実行されてよい。

［４−２．可逆復号部の構成例］
図１３は、図１２に示した可逆復号部６２ａ及び６２ｂの詳細な構成の一例を示すブロック図である。図１３を参照すると、可逆復号部６２ａは、変換部１７０ａ、インデックス値解釈部１７２ａ及びスワップ部１７４ａを有する。可逆復号部６２ｂは、変換部１７０ｂ、インデックス値解釈部１７２ｂ及びスワップ部１７４ｂを有する。

変換部１７０ａは、共通メモリ７により記憶される符号番号テーブル１６４及び逆ＶＬＣテーブル１６６を参照する。変換部１７０ｂもまた、符号番号テーブル１６４及び逆ＶＬＣテーブル１６６を参照する。また、変換部１７０ａは、レイヤ固有の符号番号テーブル１６４ａをも参照し得る。変換部１７０ｂは、レイヤ固有の符号番号テーブル１６４ｂをも参照し得る。

上述したようなテーブル群を用いて、可逆復号部６２ａは、ベースレイヤの符号化ストリームの符号語を、シンタックス要素ごとに画像データ及びパラメータに変換する。

より具体的には、まず、変換部１７０ａは、符号化ストリームから取得される符号語を、逆ＶＬＣテーブル１６６を参照することにより、符号番号に変換する。また、変換部１７０ａは、取得された符号番号を、符号番号テーブル１６４又は１６４ａを参照することによりインデックス値に変換する。シンタックス要素の種類が所定の種類に含まれる場合には、共通の符号番号テーブル１６４が参照される。一方、シンタックス要素の種類が所定の種類に含まれない場合には、レイヤ固有の符号番号テーブル１６４ａが参照される。

インデックス値解釈部１７２ａは、変換部１７０ａから入力されるインデックス値をシンタックス要素ごとに解釈し、対応するイベントを表すデータを出力する（このような処理を“inverse enumeration”ともいう）。いくつかのシンタックス要素については、“inverse enumeration”が省略され、入力されるインデックス値がそのまま出力されてもよい。

スワップ部１７４ａは、変換部１７０ａからの出力において出現するインデックス値に応じて、符号番号テーブル１６４及び１６４ａのエントリをスワップする。

可逆復号部６２ａと同様に、可逆復号部６２ｂは、上述したようなテーブル群を用いて、エンハンスメントレイヤの符号化ストリームの符号語を、シンタックス要素ごとに画像データ及びパラメータに変換する。

より具体的には、まず、変換部１７０ｂは、符号化ストリームから取得される符号語を、逆ＶＬＣテーブル１６６を参照することにより、符号番号に変換する。また、変換部１７０ｂは、取得された符号番号を、符号番号テーブル１６４又は１６４ｂを参照することによりインデックス値に変換する。シンタックス要素の種類が所定の種類に含まれる場合には、共通の符号番号テーブル１６４が参照される。一方、シンタックス要素の種類が所定の種類に含まれない場合には、レイヤ固有の符号番号テーブル１６４ｂが参照される。

インデックス値解釈部１７２ｂは、変換部１７０ｂから入力されるインデックス値をシンタックス要素ごとに解釈し、対応するイベントを表すデータを出力する。いくつかのシンタックス要素については、“inverse enumeration”が省略され、入力されるインデックス値がそのまま出力されてもよい。

スワップ部１７４ｂは、変換部１７０ｂからの出力において出現するインデックス値に応じて、レイヤ固有の符号番号テーブル１６４ｂのエントリをスワップする。スワップ部１７４ｂは、共通の符号番号テーブル１６４のエントリをスワップしない。共通の符号番号テーブル１６４のエントリは、可逆復号部６２ａのスワップ部１７４ａによりスワップされる。共通の符号番号テーブル１６４のエントリは、上記所定の種類のシンタックス要素の各々について、ベースレイヤの符号番号からインデックス値への変換、及びエンハンスメントレイヤの符号番号からインデックス値への変換が行われた後に、１回スワップされ得る。

＜５．一実施形態に係る復号時の処理の流れ＞
図１４は、本実施形態に係る復号時の処理の流れの一例を示すフローチャートである。図１４に示した処理は、ベースレイヤ及びエンハンスメントレイヤの互いに対応する予測単位ごとに実行される。ステップＳ２００〜Ｓ２８０の処理は、各シンタックス要素について実行される。

図１４を参照すると、まず、処理対象のシンタックス要素が所定の種類のシンタックス要素であるか否かに応じて、処理が切替えられる（ステップＳ２００）。例えば、処理対象のシンタックス要素がイントラ予測のための予測モード情報、又はインター予測のための予測モード情報若しくは参照画像情報であれば、処理はステップＳ２４５へ進む。それ以外の場合には、処理はステップＳ２０５へ進む。

ステップＳ２０５〜Ｓ２４０の処理は、レイヤ固有の符号番号テーブルが参照される場合の処理である。

まず、変換部１７０ａは、ＶＬＣテーブル１６６を参照して、ベースレイヤの符号語を符号番号に変換する（ステップＳ２０５）。次に、変換部１７０ａは、レイヤ固有の符号番号テーブル１６４ａを参照して、符号番号をインデックス値に変換する（ステップＳ２１０）。次に、インデックス値解釈部１７２ａは、変換部１７０ａから入力されるインデックス値を解釈し、対応するイベントを表すデータを出力する（ステップＳ２１５）。次に、スワップ部１７４ａは、レイヤ固有の符号番号テーブル１６４ａ内の、出現したインデックス値に対応するエントリをスワップする（ステップＳ２２０）。

また、変換部１７０ｂは、ＶＬＣテーブル１６６を参照して、エンハンスメントレイヤの符号語を符号番号に変換する（ステップＳ２２５）。次に、変換部１７０ｂは、レイヤ固有の符号番号テーブル１６４ｂを参照して、符号番号をインデックス値に変換する（ステップＳ２３０）。次に、インデックス値解釈部１７２ｂは、変換部１７０ｂから入力されるインデックス値を解釈し、対応するイベントを表すデータを出力する（ステップＳ２３５）。次に、スワップ部１７４ｂは、レイヤ固有の符号番号テーブル１６４ｂ内の、出現したインデックス値に対応するエントリをスワップする（ステップＳ２４０）。

ステップＳ２４５〜Ｓ２７５の処理は、共通の符号番号テーブルが参照される場合の処理である。

まず、変換部１７０ａは、ＶＬＣテーブル１６６を参照して、ベースレイヤの符号語を符号番号に変換する（ステップＳ２４５）。次に、変換部１７０ａは、共通の符号番号テーブル１６４を参照して、符号番号をインデックス値に変換する（ステップＳ２５０）。次に、インデックス値解釈部１７２ａは、変換部１７０ａから入力されるインデックス値を解釈し、対応するイベントを表すデータを出力する（ステップＳ２５５）。

また、変換部１７０ｂは、ＶＬＣテーブル１６６を参照して、エンハンスメントレイヤの符号語を符号番号に変換する（ステップＳ２６０）。次に、変換部１７０ｂは、共通の符号番号テーブル１６４を参照して、符号番号をインデックス値に変換する（ステップＳ２６５）。次に、インデックス値解釈部１７２ｂは、変換部１７０ｂから入力されるインデックス値を解釈し、対応するイベントを表すデータを出力する（ステップＳ２７０）。

その後、スワップ部１７４ａは、共通の符号番号テーブル１６４内の、変換部１７０ａからの出力において出現したインデックス値に対応するエントリをスワップする（ステップＳ２７５）。

処理対象のシンタックス要素についてこれら処理が終了した後、予測単位内に未処理のシンタックス要素が残っている場合には、処理はステップＳ２００に戻る（ステップＳ２８０）。一方、未処理のシンタックス要素が残っていない場合には、さらに残りの予測単位が存在するかが判定される（ステップＳ２９０）、ここで、残りの予測単位が存在する場合には、処理はステップＳ２００に戻り、次の予測単位について上述した処理が繰り返される。残りの予測単位が存在しない場合には、図１４のフローチャートは終了する。

＜６．様々な画像符号化方式への適用＞
本開示に係る技術は、上述したように、スケーラブル符号化のみならず、例えばマルチビュー符号化及びインターレース符号化にも適用可能である。本節では、本開示に係る技術がマルチビュー符号化に適用される例について説明する。

マルチビュー符号化は、いわゆる立体視画像を符号化し及び復号するための画像符号化方式である。マルチビュー符号化においては、立体表示される画像の右眼ビュー及び左眼ビューにそれぞれ対応する２つの符号化ストリームが生成される。これら２つのビューのうち一方がベースビューとして選択され、他方はノンベースビューと呼ばれる。マルチビューの画像データを符号化する際、ベースビューのピクチャについての符号化パラメータに基づいてノンベースビューのピクチャを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。

図１５は、上述した画像符号化処理のマルチビュー符号化への適用について説明するための説明図である。図１５を参照すると、一例としてのマルチビュー符号化装置８１０の構成が示されている。マルチビュー符号化装置８１０は、第１ピクチャ符号化部１ａ、第２ピクチャ符号化部１ｂ、共通メモリ２及び多重化部３を備える。なお、ここでは一例として、左眼ビューがベースビューとして扱われるものとする。

第１ピクチャ符号化部１ａは、左眼ビューの画像を符号化し、ベースビューの符号化ストリームを生成する。第２ピクチャ符号化部１ｂは、右眼ビューの画像を符号化し、ノンベースビューの符号化ストリームを生成する。共通メモリ２は、ビュー間で共通的に利用される情報を記憶する。多重化部３は、第１ピクチャ符号化部１ａにより生成されるベースビューの符号化ストリームと、第２ピクチャ符号化部１ｂにより生成されるノンベースビューの符号化ストリームとを多重化し、マルチビューの多重化ストリームを生成する。

図１６は、上述した画像復号処理のマルチビュー符号化への適用について説明するための説明図である。図１６を参照すると、一例としてのマルチビュー復号装置８６０の構成が示されている。マルチビュー復号装置８６０は、逆多重化部５、第１ピクチャ復号部６ａ、第２ピクチャ復号部６ｂ及び共通メモリ７を備える。

逆多重化部５は、マルチビューの多重化ストリームをベースビューの符号化ストリーム及びノンベースビューの符号化ストリームに逆多重化する。第１ピクチャ復号部６ａは、ベースビューの符号化ストリームから左眼ビューの画像を復号する。第２ピクチャ復号部６ｂは、ノンベースビューの符号化ストリームから右眼ビューの画像を復号する。共通メモリ７は、ビュー間で共通的に利用される情報を記憶する。

本開示に係る技術がインターレース符号化に適用される場合には、第１ピクチャ符号化部１ａが１つのフレームを構成する２つのフィールドの一方を符号化して第１の符号化ストリームを生成し、第１ピクチャ復号部６ａが当該第１の符号化ストリームを復号する。また、第２ピクチャ符号化部１ｂが他方のフィールドを符号化して第２の符号化ストリームを生成し、第２ピクチャ復号部６ｂが当該第２の符号化ストリームを復号する。

＜７．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［７−１．第１の応用例］
図１７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像のスケーラブル復号に際して、符号番号テーブルをより効率的に使用することができる。

［７−２．第２の応用例］
図１８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像のスケーラブル符号化及び復号に際して、符号番号テーブルをより効率的に使用することができる。
［７−３．第３の応用例］
図１９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像のスケーラブル符号化及び復号に際して、符号番号テーブルをより効率的に使用することができる。

［７−４．第４の応用例］
図２０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像のスケーラブル符号化及び復号に際して、符号番号テーブルをより効率的に使用することができる。

＜８．まとめ＞
ここまで、図１〜図２０を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、複数ストリームが符号化される画像符号化方式において、複数の符号化ストリームを生成する際に共通的に参照される符号番号テーブルが導入される。それにより、符号番号テーブルの記憶に要するメモリリソースを節約することが可能となる。

また、本実施形態によれば、上記共通の符号番号テーブルは、各シンタックス要素について、複数の符号化ストリームにわたって１回のみスワップされる。それにより、符号番号テーブルのスワップの回数も減少することから、プロセッサの負荷も軽減される。従って、エンコーダ及びデコーダのリソースをより効率的に使用することが可能となる。

また、本実施形態によれば、複数の符号化ストリームについての上記共通の符号番号テーブルを用いた変換処理及びスワップ処理は、予測単位ごとに同期して実行される。それにより、イントラ予測又はインター予測に関するシンタックス要素について、符号化ストリームごとに符号番号テーブルのインスタンスを保持することなく、上記共通の符号番号テーブルを参照することができる。

また、本実施形態によれば、上記共通の符号番号テーブルは、イントラ予測のための予測モード情報並びにインター予測のための予測モード情報及び参照画像情報のうち少なくとも１つを含むシンタックス要素について導入される。これら種類のシンタックス要素のインデックス値の出現の傾向は、画像の空間的相関及び時間的相関がピクチャ間で類似するケースでは、ある程度似通ったものとなる。従って、この場合、共通の符号番号テーブルを導入したとしても、複数のピクチャにわたって、インデックス値と符号語との間の適切なマッピング（より出現頻度の高いインデックス値がより短い符号語にマッピングされること）を維持することができる。

なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、
共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、前記符号番号テーブルを参照することにより第１のインデックス値に変換する第１変換部と、
前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換する第２変換部と、
を備える画像処理装置。
（２）
前記画像処理装置は、出現するインデックス値に応じて、前記符号番号テーブルのエントリをスワップするスワップ部、をさらに備える、前記（１）に記載の画像処理装置。
（３）
前記第１変換部による変換処理、前記第２変換部による変換処理及び前記スワップ部によるスワップ処理は、予測単位ごとに同期して実行される、前記（２）に記載の画像処理装置。
（４）
前記スワップ部による前記スワップ処理は、前記第１変換部による前記変換処理及び前記第２変換部による前記変換処理の後に１回実行される、前記（３）に記載の画像処理装置。
（５）
前記シンタックス要素は、イントラ予測のための予測モード情報並びにインター予測のための予測モード情報及び参照画像情報、のうち少なくとも１つを含む、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、前記（６）に記載の画像処理装置。
（８）
前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（９）
前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
前記第２のピクチャは、前記画像の第２のフィールドに相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（１０）
共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１のインデックス値に変換することと、
前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換することと、
を含む画像処理方法。
（１１）
エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、
共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、前記符号番号テーブルを参照することにより第１の符号番号に変換する第１変換部と、
前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換する第２変換部と、
を備える画像処理装置。
（１２）
前記画像処理装置は、出現するインデックス値に応じて、前記符号番号テーブルのエントリをスワップするスワップ部、をさらに備える、前記（１１）に記載の画像処理装置。
（１３）
前記第１変換部による変換処理、前記第２変換部による変換処理及び前記スワップ部によるスワップ処理は、予測単位ごとに同期して実行される、前記（１２）に記載の画像処理装置。
（１４）
前記スワップ部による前記スワップ処理は、前記第１変換部による前記変換処理及び前記第２変換部による前記変換処理の後に１回実行される、前記（１３）に記載の画像処理装置。
（１５）
前記シンタックス要素は、イントラ予測のための予測モード情報並びにインター予測のための予測モード情報及び参照画像情報、のうち少なくとも１つを含む、前記（１３）又は前記（１４）に記載の画像処理装置。
（１６）
前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、前記（１６）に記載の画像処理装置。
（１８）
前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１９）
前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
前記第２のピクチャは、前記画像の第２のフィールドに相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（２０）
共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１の符号番号に変換することと、
前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換することと、
を含む画像処理方法。

１０，８１０ 画像符号化装置（画像処理装置）
１０４ 符号番号テーブル
１１２ａ 第１変換部
１１２ｂ 第２変換部
１１４ａ スワップ部
６０，８６０ 画像復号装置（画像処理装置）
１６４ 符号番号テーブル
１７０ａ 第１変換部
１７０ｂ 第２変換部
１７４ａ スワップ部

Claims (20)

1. エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、
   共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、前記符号番号テーブルを参照することにより第１のインデックス値に変換する第１変換部と、
   前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換する第２変換部と、
   を備える画像処理装置。
2. 前記画像処理装置は、出現するインデックス値に応じて、前記符号番号テーブルのエントリをスワップするスワップ部、をさらに備える、請求項１に記載の画像処理装置。
3. 前記第１変換部による変換処理、前記第２変換部による変換処理及び前記スワップ部によるスワップ処理は、予測単位ごとに同期して実行される、請求項２に記載の画像処理装置。
4. 前記スワップ部による前記スワップ処理は、前記第１変換部による前記変換処理及び前記第２変換部による前記変換処理の後に１回実行される、請求項３に記載の画像処理装置。
5. 前記シンタックス要素は、イントラ予測のための予測モード情報並びにインター予測のための予測モード情報及び参照画像情報、のうち少なくとも１つを含む、請求項３に記載の画像処理装置。
6. 前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
   前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
   請求項１に記載の画像処理装置。
7. 前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、請求項６に記載の画像処理装置。
8. 前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
   前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
   請求項１に記載の画像処理装置。
9. 前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
   前記第２のピクチャは、前記画像の第２のフィールドに相当する、
   請求項１に記載の画像処理装置。
10. 共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャの符号化ストリームに含まれる符号語に関連付けられる第１の符号番号を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１のインデックス値に変換することと、
    前記２つ以上のピクチャのうちの第２のピクチャの符号化ストリームに含まれる符号語に関連付けられる第２の符号番号を、前記符号番号テーブルを参照することにより第２のインデックス値に変換することと、
    を含む画像処理方法。
11. エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルと、
    共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、前記符号番号テーブルを参照することにより第１の符号番号に変換する第１変換部と、
    前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換する第２変換部と、
    を備える画像処理装置。
12. 前記画像処理装置は、出現するインデックス値に応じて、前記符号番号テーブルのエントリをスワップするスワップ部、をさらに備える、請求項１１に記載の画像処理装置。
13. 前記第１変換部による変換処理、前記第２変換部による変換処理及び前記スワップ部によるスワップ処理は、予測単位ごとに同期して実行される、請求項１２に記載の画像処理装置。
14. 前記スワップ部による前記スワップ処理は、前記第１変換部による前記変換処理及び前記第２変換部による前記変換処理の後に１回実行される、請求項１３に記載の画像処理装置。
15. 前記シンタックス要素は、イントラ予測のための予測モード情報並びにインター予測のための予測モード情報及び参照画像情報、のうち少なくとも１つを含む、請求項１３に記載の画像処理装置。
16. 前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
    前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
    請求項１１に記載の画像処理装置。
17. 前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、請求項１６に記載の画像処理装置。
18. 前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
    前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
    請求項１１に記載の画像処理装置。
19. 前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
    前記第２のピクチャは、前記画像の第２のフィールドに相当する、
    請求項１１に記載の画像処理装置。
20. 共通するシーンに対応する２つ以上のピクチャのうちの第１のピクチャについて符号化される第１のインデックス値を、エントロピー符号化において使用される符号番号とシンタックス要素のインデックス値との組を保持する符号番号テーブルを参照することにより第１の符号番号に変換することと、
    前記２つ以上のピクチャのうちの第２のピクチャについて符号化される第２のインデックス値を、前記符号番号テーブルを参照することにより第２の符号番号に変換することと、
    を含む画像処理方法。
    

Images