JP5039142B2 - 品質スケーラブルな符号化方法 - Google Patents

Description

本発明は、ピクチャ及び／又はビデオの符号化に関し、特に、品質スケーラブルなデータストリームを用いる品質スケーラブルな符号化に関する。

ＩＳＯ／ＩＥＣの動画専門家グループ（ＭＰＥＧ）とＩＴＵ−Ｔのビデオ符号化専門家グループ（ＶＣＥＧ）との共同ビデオチーム（ＪＶＴ）による現行プロジェクトは、Ｔ．ヴィーガント、Ｇ．Ｊ．スリーファン、Ｊ．ライヘル、Ｈ．シュヴァルツ及びＭ．ヴィーン編「スケーラブルビデオ符号化−共同草案７」共同ビデオチーム、文書ＪＶＴ−Ｔ２０１、ドイツ、クラーゲンフルト、２００６年７月、及びＪ．ライヘル、Ｈ．シュヴァルツ及びＭ．ヴィーン編「共同スケーラブルなビデオモデルＪＳＶＭ−７」共同ビデオチーム、文書ＪＶＴ−Ｔ２０２、ドイツ、クラーゲンフルト、２００６年７月、に定義されている最新のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのスケーラブルな拡張の開発であり、ビデオシーケンスの時間スケーラブル符号化、空間スケーラブル符号化及びＳＮＲスケーラブル符号化またはこれらの任意の組合せをサポートするものである。

ＩＴＵ−Ｔ勧告及びＩＳＯ／ＩＥＣ１４４９６−１０ＡＶＣに記述されているようなＨ．２６４／ＭＰＥＧ４−ＡＶＣ「オーディオビジュアルサービス全般のための高度ビデオ符号化方式」第３版、２００５年はハイブリッドなビデオコーデックの仕様を定めており、この仕様において、マクロブロックの予測信号が、時間領域においては動作補償予測により、または空間領域においてはイントラ予測により生成され、かつこれらの予測は共に残差符号化に引き継がれる。スケーラビリティ拡張のないＨ．２６４／ＭＰＥＧ４−ＡＶＣ符号化は、単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ符号化と称される。単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ符号化と同等のレート歪み性能は、同じビジュアル再生品質が典型的には１０％のビットレートで達成されることを意味する。前記を考慮して、スケーラビリティは、単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ符号化に相当する任意のサポートされる空間解像度、時間解像度又はＳＮＲ解像度でＲ−Ｄ性能を達成しながら、ビットストリームの一部を除去するための機能として考えられる。

スケーラブルビデオ符号化（ＳＶＣ）の基本設計は、層化されたビデオコーデックとして分類可能である。各層において、動作補償予測及びイントラ予測の基本概念がＨ．２６４／ＭＰＥＧ４−ＡＶＣの場合と同様に使用される。しかしながら、幾つかの空間層又はＳＮＲ層間の冗長性を活用するために、追加的な層間予測メカニズムが統合されてきている。ＳＮＲスケーラビリティは、基本的に残差量子化によって達成されるが、空間スケーラビリティの場合は、動作補償予測とオーバーサンプリングされるピラミッド分解との結合が使用される。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣの時間スケーラビリティ手法も保全される。

概して、コーダ構造は、アプリケーションにより要求されるスケーラビリティ空間に依存する。例として、図３は、２つの空間層９０２ａ，９０２ｂを有する典型的なコーダ構造９００を示している。各層において、独立した階層的動作補償予測構造９０４ａ，９０４ｂが層固有の動作パラメータ９０６ａ，９０６ｂを伴って使用される。連続する層９０２ａ，９０２ｂ間の冗長性は、動作パラメータ９０６ａ，９０６ｂ並びにテクスチャデータ９１０ａ，９１０ｂの予測メカニズムを含む層間予測概念９０８によって活用される。各層９０２ａ，９０２ｂの入力画像９１４ａ，９１４ｂのベース表現９１２ａ，９１２ｂは、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのものに類似する変換符号化９１６ａ９１６ｂによって得られ、対応するＮＡＬユニット（ＮＡＬ−ネットワーク抽象化層）は動作情報及びテクスチャデータを含み、最下層のベース表現、即ち９１２ａのＮＡＬユニットは単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣと互換性がある。ベース表現の復元品質は、所謂漸進的改善スライスの追加的符号化９１８ａ，９１８ｂによって改良可能であり、対応するＮＡＬユニットは、細粒度品質スケーラビリティ（ＦＧＳ）またはフレキシブルなビットレート適合化をサポートするために任意にトランケートされ得る。

各層９０２ａ，９０２ｂのベース層符号化９１６ａ，９１６ｂ及び漸進的ＳＮＲ改善テクスチャ符号化９１８ａ，９１８ｂにより結果的に出力されるビットストリームはそれぞれマルチプレクサ９２０により多重化され、結果的にスケーラブルビットストリーム９２２がもたらされる。このビットストリーム９２２は、時間的、空間的かつＳＮＲ品質的にスケーラブルである。

要するに、ビデオ符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣの前述のスケーラブル拡張によれば、階層的予測構造を使用することによって時間スケーラビリティがもたらされる。この階層的予測構造の場合、単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格のうちの１つは全く変更なしに使用されてもよい。空間スケーラビリティ及びＳＮＲスケーラビリティの場合は、単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣへ追加ツールが追加されなければならない。スケーラビリティの３タイプは全て、組み合わされたスケーラビリティを大きくサポートするビットストリームを生成するために組み合わせ可能である。

ＳＮＲスケーラビリティに関しては、粗粒度スケーラビリティ（ＣＧＳ）と細粒度スケーラビリティ（ＦＧＳ）とが区別される。ＣＧＳの場合は、選択されたＳＮＲスケーラビリティ層のみがサポートされ、符号化効率は粗いレート目盛り用に１つの層から次の層まで係数１．５−２として最適化される。ＦＧＳは、任意の点、かつ、最終的にはバイト単位で揃えられる点におけるＮＡＬユニットのトランケーションを可能にする。ＮＡＬユニットはビットパケットを表すが、これは、マルチプレクサ９２０により出力されるスケーラブルビットストリーム９２２を表すために順番に並べられる。

細粒度ＳＮＲスケーラビリティをサポートするために、所謂漸進的改善（ＰＲ）スライスが導入されてきている。漸進的改善スライスは、それぞれベース層ビットストリーム９１２ａ，９１２ｂから入手でき、そのスライスに利用できる復元品質を改善するための改善情報を含む。さらに厳密には、ＰＲスライスのための各ＮＡＬユニットは、量子化ステップサイズの二分に相当する改善信号を表す（ＱＰ低下は６）。これらの信号は、デコーダ側の各変換ブロックでは単一の逆変換しか実行する必要がないような方法で表される。換言すれば、ＰＲ ＮＡＬユニットにより表される改善信号は、ビデオの現行ピクチャが分離されている変換ブロックの変換係数を改善する。デコーダ側では、この改善信号は、実際のピクチャを復元するために使用される予測残差のテクスチャを動作補償による等の空間的及び／又は時間的予測の使用によって復元するために、逆変換を実行する前にベース層ビットストリーム内の変換係数を改善すべく使用されてもよい。

漸進的改善ＮＡＬユニットはあらゆる任意の点でトランケート可能であり、よって、ＳＮＲベース層の品質は、細粒式に向上され得る。故に、変換係数レベルの符号化順序は修正されている。変換係数を、（通常の）スライスで行われるようにマクロブロックごとに走査する代わりに、変換係数ブロックは別々の経路で走査され、かつ各経路では、１つの変換係数ブロックにつき数個の符号化シンボルしか符号化されない。修正される符号化順序を例外として、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに規定されているＣＡＢＡＣエントロピー符号化が再使用される。

単層Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ符号化規格は、クロマサンプリング構造として可能性のある、例えばそれぞれ４：２：０及び４：２：２等の構造の中でも固定サンプリング構造を使用するために開発されている。この規格の異なるプロファイルには、異なるクロマサンプリング能力が含まれる。この点に関して、マルペ、ヴィーガント、スリーファン共著「Ｈ．２６４／ＭＰＥＧ４高度ビデオ符号化規格とそのアプリケーション（Ｔｈｅ Ｈ．２６４／ＭＰＥＧ４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ）」ＩＥＥＥ 論文誌、１３４−１４３ページ、２００６年８月、を参照すると、例えば４：２：０では、色のグレーからの偏向程度を示しかつ２つのクロマ成分により画定されるクロマ又は彩色サンプリングコンテントは、サンプリングポイント数に関して、結局のところ、明るさを表しかつ１つのルーマ（ｌｕｍａ）成分により画定されるルーマコンテントのサンプル数の単に４分の１になる。換言すれば、水平次元及び垂直次元の双方におけるルーマ成分サンプルの数は、ルーマサンプルの数の半分である。サンプルごとに使用される符号化精度は、使用される規格のプロファイルに依存して８ビット又は１０ビットに固定される。再度、先に言及した論文を参照すると、完全を期すために、ルーマという用語は、前記規格によれば事実上、非線形又はガンマ補正ＲＧＢコントリビューションの加重和を意味することに留意すべきである。しかしながら、別の視点によれば、ルーマは、ＲＧＢコントリビューションの直線関係を指す輝度と見なされてもよい。本出願の場合、双方の視点を等しく適用する。

概して、クロマサンプリングフォーマットという用語は、対応するルーマサンプルの数及び位置に対するクロマサンプルの数及び位置を指す。ここで、サンプリングフォーマットとして可能な３例について述べる。既に述べたように、４：２：０サンプリングによれば、クロマ信号は、ルーマ信号に比べて半分の水平解像度及び半分の垂直解像度を有する。このフォーマットを図４に示す。図４における×印はルーマサンプルの位置を示し、○印はクロマサンプルの位置を表している。この場合、各クロマサンプルは、Ｃｂ及びＣｒ等の２つのクロマ成分からなってもよい。別のサンプリングフォーマットは４：２：２であり、この場合、クロマ信号はルーマ信号の半分の水平解像度及びルーマ信号と同じ垂直解像度を有する。図５はこれを示す。４：４：４クロマサンプリングフォーマットでは、クロマ信号はそれぞれルーマ信号又はルーマコンテントと同じ水平解像度及び垂直解像度を有する。図６はこれを示す。

カラービデオソース信号が、それぞれデコーダまたはプレーヤにより必要とされるものとは異なるダイナミックレンジ及び／又は異なるクロマサンプリングフォーマットを有する場合には、問題が生じる。前述の現行ＳＶＣ動作草案では、スケーラビリティツールは、ベース層及びエンハンスメント層の双方が、同じビット深さの対応するルーマサンプル及びクロマサンプルアレイを有しかつさらにはルーマサンプリングに対するクロマサンプリング、即ちクロマサンプリングフォーマットはベース層及びエンハンスメント層の双方で固定であると想定される所定のビデオソースを表す場合に関して規定されているだけである。故に、それぞれ異なるビット深さ及び異なるクロマサンプリングフォーマットを必要とする異なるデコーダ及びプレーヤについて考えると、ビット深さ及びクロマサンプリングフォーマットの要件のそれぞれに関する専用の符号化ストリームが幾つか別々に提供されなければならなくなる。しかしながら、レート／歪みの点では、これはそれぞれオーバーヘッドの増大及び効率の低減を意味する。

従って、この欠点を克服する符号化スキームを提供することが望ましいと思われる。

本発明の目的は、異なるビット深さ又は異なるビット深さと異なるクロマサンプリングフォーマット要件に適した、ピクチャ又はビデオの符号化を提供するためのより効率的な方法を可能にする符号化スキームを提供することにある。

この目的は、請求項１に記載のエンコーダと、請求項４に記載のデコーダと、請求項１３又は請求項１４に記載の方法とによって達成される。

本発明は、低いビット深さ又は低いビット深さと低いクロマ解像度表現（以下、単に低ビット深さ及び／又は低クロマ解像度表現と称する）を、この低ビット深さ及び／又は低クロマ解像度表現を表す個々のベース層データストリームを提供するために、並びに、より高いビット深さ及び／又はより高いクロマ解像度表現を得るために個々の予測残差が符号化され得るように、より高いビット深さ及び／又はより高いクロマ解像度表現を提供するために使用する際、異なるビット深さ又は異なるビット深さと異なるクロマサンプリングフォーマット要件に対処するより効率的な方法が達成され得る、という調査結果に基づく。この方策により、エンコーダは、これまでの任意のデコーダ又はビデオデコーダにより復号され得るピクチャ又はビデオシーケンスのベース品質表現を、これまでのデコーダ又はビデオデコーダでは無視される場合のあるより高いビット深さ及び／又は低減されたクロマサブサンプリングのためのエンハンスメント信号と共に格納できるようになる。例えば、ベース品質表現は８ビットバージョンのピクチャ又はビデオシーケンスを含むことも可能であるが、一方で高品質エンハンスメント信号はその１０ビットバージョンへの「改善」を含み、かつベース品質表現は４：２：０バージョンのピクチャまたはビデオシーケンスを表すことも可能であり、一方で高品質エンハンスメント信号は、その４：２：２又は４：４：４バージョンへの「改善」を含む。

本発明の一実施形態によるビデオエンコーダを示すブロック図である。 本発明の一実施形態によるビデオデコーダを示すブロック図である。 スケーラブルビデオ符号化のための従来のコーダ構造を示すブロック図である。 ４：２：０クロマサンプリングフォーマットを示す略図である。 ４：２：２クロマサンプリングフォーマットを示す略図である。 ４：４：４クロマサンプリングフォーマットを示す略図である。

以下、図面を参照して本発明の好適な実施形態について説明する。

図１は、ベース符号化手段１０２、予測手段１０４、残差符号化手段１０６及び結合手段１０８、並びに入力１１０及び出力１１２を備えるエンコーダ１００を示す。図１のエンコーダ１００は、入力１１０において高品質ビデオ信号を受信しかつ出力１１２において品質スケーラブルなビットストリームを出力するビデオエンコーダである。ベース符号化手段１０２は、入力１１０におけるデータを、このビデオ信号のコンテンツを入力１１０において低減されたピクチャサンプルビット深さで、または入力１１０における入力信号に比べてルーマ解像度は同じであるが低減されたクロマ解像度を有するクロマサンプリングフォーマットで表すベース符号化データストリームに変換する。予測手段１０４は、ベース符号化手段１０２により出力されたベース符号化データストリームに基づき、入力１１０におけるビデオ信号に関して全深又は増大されたピクチャサンプルビット深さ及び／又は最大限のあるいは増大されたクロマ解像度を有する予測信号を提供するものである。同じくエンコーダ１００により具備される減算器１１４は、入力１１０における高品質入力信号に関して手段１０４により提供される予測信号の予測残差を形成し、残差信号は残差符号化手段１０６により品質エンハンスメント層データストリームへと符号化される。結合手段１０８は、ベース符号化手段１０２からのベース符号化データストリームと、残差符号化手段１０６により出力される品質エンハンスメント層データストリームとを結合して出力１１２に品質スケーラブルなデータストリーム１１２を形成する。品質スケーラビリティとは、出力１１２におけるデータストリームが、さらなる任意の情報なしに低減されたビット深さ及び／又は低減されたクロマ解像度を有するクロマサンプリングフォーマットで、かつデータストリーム１１２の残りを無視してビデオ信号１１０の復元を可能とすることにおいて内蔵型である第１の部分と、一方では、この第１の部分との組合せで、入力１１０におけるビデオ信号の、前記第１の部分のビット深さ及び／又はクロマ解像度より高いオリジナルのビット深さ及びオリジナルのクロマサンプリングフォーマットでの復元を可能にするさらなる部分とで構成されることを意味する。

以上、エンコーダ１００の構造及び機能性をかなりおおまかに説明したが、以下、その内部構造をより詳細に説明する。具体的には、ベース符号化手段１０２は、ダウンコンバートモジュール１１６と、減算器１１８と、変換モジュール１２０と、量子化モジュール１２２とを備え、これらはこの順番で入力１１０とそれぞれ結合手段１０８及び予測手段１０４との間に直列に接続される。ダウンコンバートモジュール１１６は、入力１１０から受信されるビデオ信号のルーマ解像度を保持しながら、入力１１０におけるビデオ信号のピクチャサンプルのビット深さ及び／又はピクチャのクロマ解像度を低減するためのものである。換言すれば、ダウンコンバートモジュール１１６は、入力１１０における高品質の入力ビデオ信号をベース品質のビデオ信号へ不可逆的にダウンコンバートする。後にさらに詳しく述べるように、このダウンコンバートは、入力１１０におけるビデオ信号内の信号サンプルのビット深さ、即ちピクセル値を、サンプル値の丸め、ビデオ信号がルーマプラスクロマ成分の形式で与えられる場合のクロマ成分のサブサンプリング、ＲＧＢからＹＣｂＣｒへの変換等による入力１１０における入力信号の濾波、またはこれらの任意の組合せ等の任意のトーンマッピングスキームを使用して低減することを含んでもよい。可能な予測メカニズムのさらなる詳細については後述する。具体的には、ダウンコンバートモジュール１１６は、入力１１０において入力されるビデオ信号のピクチャごとに、またはそのピクチャシーケンスごとに異なるダウンコンバートスキームを使用することが可能であり、あるいは全てのピクチャに同じスキームを使用することも可能である。

減算器１１８、変換モジュール１２０及び量子化モジュール１２２は協働し、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣ等の非スケーラブルなビデオ符号化スキームを使用して、ダウンコンバートモジュール１１６により出力されるベース品質信号を符号化する。図１に示す例によれば、減算器１１８、変換モジュール１２０及び量子化モジュール１２２は、ベース符号化手段１０２及び予測手段１０４に共通して具備される任意の予測ループフィルター１２４、予測器モジュール１２６、逆変換モジュール１２８及び加算器１３０と協働して、ダウンコンバートモジュール１１６により出力されるベース品質のビデオ信号を動作補償ベースの予測及びこれに続く予測残差の圧縮によって符号化するハイブリッドエンコーダの非重要低減部分を形成する。具体的には、減算器１１８は、ベース品質ビデオ信号の現行ピクチャまたはマクロブロックから、ベース品質ビデオ信号の先に符号化されたピクチャから復元される予測されたピクチャまたは予測されたマクロブロック部分を、例えば動作補償を使用して減算する。変換モジュール１２０は、予測残差にＤＣＴ、ＦＦＴ又はウェーブレット変換等の変換を実行する。変換された残差信号はスペクトル表現を表してもよく、その変換係数は、量子化モジュール１２２において不可逆的に量子化される。結果的に生じる量子化された残差信号は、ベース符号化手段１０２により出力されるベース符号化データストリームの残差を表す。

任意の予測ループフィルター１２４及び予測器モジュール１２６、逆変換モジュール１２８及び加算器１３０とは別に、予測手段１０４は、符号化アーティファクトを低減するために任意に設置されるフィルター１３２と、予測モジュール１３４とを備える。逆変換モジュール１２８、加算器１３０、任意選択の予測ループフィルター１２４及び予測器モジュール１２６は協働し、ダウンコンバートモジュール１１６により定義されるような低減されたビット深さ及び／又は低減されたクロマ解像度を有するクロマサンプリングフォーマットのビデオ信号を復元する。換言すれば、これらは任意のフィルター１３２へ低ビット深さ及び／又は低クロマ解像度のビデオ信号を出力し、このビデオ信号は、デコーダ側でも復元可能である入力１１０におけるソース信号の低品質表現を表す。具体的には、逆変換モジュール１２８と加算器１３０は、量子化モジュール１２２と任意選択のフィルター１３２との間に順次接続され、一方で任意の予測ループフィルター１２４と予測モジュール１２６は、加算器１３０の出力と前記加算器１３０の別の入力との間に、この記載順に直列接続される。予測器モジュール１２６の出力は、減算器１１８の反転入力へも接続される。任意のフィルター１３２は加算器１３０の出力と予測モジュール１３４との間に接続され、次いで予測モジュール１３４は任意のフィルター１３２の出力と減算器１１４の反転入力との間に接続される。

逆変換モジュール１２８は、ベース符号化手段１０２により出力されるベース符号化残差ピクチャを逆変換して、低ビット深さ及び／又は低クロマ解像度の残差ピクチャを達成する。従って、逆変換モジュール１２８は、モジュール１２０及び１２２により実行される変換及び量子化の逆である逆変換を実行する。あるいは、逆変換モジュール１２８の入力側に逆量子化モジュールが別に設けられてもよい。加算器１３０は、復元された残差ピクチャに予測値を加算するが、この予測値は、先に復元されたビデオ信号ピクチャを基礎としている。具体的には、加算器１３０は、復元されたビデオ信号を低減されたビット深さ及び／又は低減されたクロマ解像度のクロマサンプリングフォーマットで出力する。これらの復元されたピクチャは、ループフィルター１２４によって例えばアーティファクトを低減するために濾波され、かつこの後、その時点で先に復元されたピクチャから例えば動作補償によって復元されるべきピクチャを予測するために、予測器モジュール１２６により使用される。加算器１３０の出力においてこうして得られるベース品質信号は、入力１１０における高品質入力信号の予測値を得るために、任意のフィルター１３２及び予測モジュール１３４からなる直列接続により使用される。前記予測値は、残差符号化手段１０６の出力において高品質エンハンスメント信号を形成するために使用されるべきものである。これについては、後にさらに詳しく述べる。

具体的には、加算器１３０から得られる低品質信号は、任意に設置される、符号化アーティファクトを低減するためのフィルター１３２によって任意に濾波される。この後、この低品質のビデオ信号は予測モジュール１３４によって使用され、入力１１０へ接続されている加算器１１４の非反転入力において受信される高品質ビデオ信号のための予測信号が形成される。高品質の予測値を形成するこのプロセスは、復号されたベース品質信号ピクチャサンプルを定係数で乗算すること、即ち、線形スケーリングと、ベース品質信号サンプルの個々の値を使用して、対応する高品質サンプル値を含むルックアップ表にインデックスを付けることと、補間プロセスのためのベース品質信号サンプル値を使用して、対応する高品質サンプル値を得ることと、クロマ成分をアップサンプリングすることと、例えばＹＣｂＣｒ−ＲＧＢ変換を使用してベース品質信号を濾波すること、またはこれらの任意の組合せを含んでもよい。以下、他の例について説明する。

例えば、概して予測モジュール１３４は、第１のダイナミックレンジからのベース品質ビデオ信号のサンプルを第１のダイナミックレンジより高い第２のダイナミックレンジへマッピングしてもよく、及び／又は、入力１１０におけるビデオ信号のクロマ解像度に一致させるために、特殊な補間フィルターを使用してベース品質ビデオ信号のクロマサンプルを補間し、クロマ解像度を上げてもよい。ダウンコンバートモジュール１１６に関する先の説明と同様の方法で、全てのピクチャに同じ予測プロセスを使用することに加えて、ベース品質ビデオ信号シーケンスの異なるピクチャに異なる予測プロセスを使用することが可能である。

減算器１１４は、予測モジュール１３４から受信される高品質予測値を入力１１０から受信される高品質ビデオ信号から減算し、高品質の、即ちオリジナルのビット深さ及び／又はクロマサンプリングフォーマットを有する予測残差信号を残差符号化手段１０６へ出力する。残差符号化手段１０６では、オリジナルの高品質入力信号と復号されたベース品質信号から導出される予測値との差が、例示的に、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣに規定されているような圧縮符号化スキームを使用して符号化される。この目的のために、図１の残差符号化手段１０６は、例示的に、減算器１１４の出力と結合手段１０８との間に、変換モジュール１３６と、量子化モジュール１３８及びエントロピー符号化モジュール１４０を備え、これらはこの記載順に直列に接続される。変換モジュール１３６は、それぞれ残差信号またはそのピクチャをそれぞれ変換領域または空間領域に変換し、スペクトル成分は、これらの領域で量子化モジュール１３８によって量子化され、かつ量子化された変換値はエントロピー符号化モジュール１４０によってエントロピー符号化される。エントロピー符号化の結果は、残差符号化手段１０６により出力される高品質エンハンスメント層のデータストリームを表す。モジュール１３６から１４０までが、ルーマコンテントを符号化するための４×４又は８×８サンプルサイズを用いた変換をサポートするＨ．２６４／ＭＰＥＧ４−ＡＶＣ符号化を実行していれば、変換モジュール１３６において減算器１１４からの残差信号のルーマ成分を変換するための変換サイズは、各マクロブロックごとに任意に選定されてもよく、必ずしも変換モジュール１２０においてベース品質信号を符号化するために使用されるものと同じである必要はない。クロマ成分の符号化に関して、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格の現行規定は選択肢を示していない。量子化モジュール１３８において変換係数を量子化する場合は、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣが規定するものと同じ量子化スキームが使用されてもよいが、これは、量子化器のステップサイズが、−６^＊（高品質ビデオ信号成分のビット深さは８）から５１までの値をとることができる量子化パラメータＱＰによって制御されてもよいことを意味する。量子化モジュール１２２においてベース品質表現マクロブロックを符号化するために使用されるＱＰと、量子化モジュール１３８において高品質エンハンスメントマクロブロックを符号化するために使用されるＱＰとは、同じである必要はない。

結合手段１０８は、エントロピー符号化モジュール１４２と、マルチプレクサ１４４とを備える。エントロピー符号化モジュール１４２は、量子化モジュール１２２の出力とマルチプレクサ１４４の第１の入力との間に接続され、一方でマルチプレクサ１４４の第２の入力はエントロピー符号化モジュール１４０の出力と接続される。マルチプレクサ１４４の出力は、エンコーダ１００の出力１１２を表す。

エントロピー符号化モジュール１４２は、量子化モジュール１２２により出力される量子化された変換値をエントロピー符号化して、量子化モジュール１２２により出力されるベース符号化データストリームからベース品質層データストリームを形成する。従って、先に述べたように、モジュール１１８，１２０，１２２，１２４，１２６，１２８，１３０及び１４２は、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに従って協働するように設計されてもよく、かつ共同で、エントロピーコーダ１４２が量子化された予測残差のロスレス圧縮を実行するハイブリッドコーダであってもよい。

マルチプレクサ１４４は、ベース品質層データストリーム及び高品質層データストリームの双方を受信し、これらを合わせて品質スケーラブルなデータストリームを形成する。

予測モジュール１３４が復号されたベース表現から予測信号を形成する方法、即ち予測スキームは、デコーダへ知らされてもよい。予測モジュール１３４により使用された予測を示す予測スキーム情報をサイド情報として信号伝送すること、即ち、このようなサイド情報を出力１１２におけるビットストリームに導入することも可能である。換言すれば、復号されたベース表現から予測を行なう際に異なるスキームを使用できるように、使用される予測スキームがサイド情報として、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣのピクチャパラメータセットＰＰＳの拡張部において信号伝送されてもよい。さらに、品質スケーラブルなビットストリームに明示的な予測ルールが存在しない場合の規定があってもよい。例えば、ビット深さに関するスケーラビリティの場合、予測モジュール１３４の入力におけるベース品質サンプルは、単に、線形マッピングに対応する２^M-Nで乗算される。ここで、Ｍは高品質信号のビット深さであり、Ｎはベース品質信号のビット深さである。あるいは、これは、ｍｉｎ（２^M-Nｘ，２^M−１）による、予測モジュール１３４の入力におけるベース品質サンプル値のスケーリング及びクリッピングのパフォーマンスと見なされてもよい。

あるいは、予測プロセスには、下記のマッピングメカニズムのうちの１つが使用されてもよい。例えば、任意数の補間点を指定できる場合は、区分的な線形マッピングが使用されてもよい。例えば、値ｘ及び２つの所定の補間点（ｘ_n，ｙ_n）及び（ｘ_n+1，ｙ_n+1）を有するベース品質サンプルの場合、対応する予測サンプルｙは、モジュール１３４により、次式に従って得られる。

この線形補間は、ｘ_n+1−ｘ_nが２の累乗であるように制限されていれば、除算の代わりにビットシフトのみを使用することにより、複雑な計算をほとんど行うことなく実行可能である。

さらなる可能なマッピングメカニズムはルックアップ表マッピングである。このマッピングでは、ベース品質サンプル値によって、表のルックアップが、存在し得るベース品質サンプル値ごとに対応する予想サンプル値が指定されるルックアップ表で実行される。このルックアップ表は、デコーダ側へサイド情報として提供されてもよく、またはデコーダ側へデフォルトによって知らされてもよい。

さらに、一定のオフセットによるスケーリングが使用されることもある。この代替例によれば、より高いビット深さを有する対応する高品質予測サンプルｙを達成するために、モジュール１３４はベース品質サンプルｘに定係数２^M-N-Kを乗算し、かつ後に一定のオフセット２^M-1−２^M-1-Kが、例えば下記の各式の一方に従って加算される。
ｙ＝２^M-N-Kｘ＋２^M-1−２^M-1-K または、
ｙ＝ｍｉｎ（２^M-N-Kｘ＋２^M-1−２^M-1-K，２^M−１）

この方策により、低品質ダイナミックレンジ［０；２^N−１］は、マッピングされるｘの値をＫにより決定される拡張内のｙの可能なダイナミックレンジ［０；２^M−１］に対して集中的に分布させる方法で、第２のダイナミックレンジ［０；２^M−１］へマッピングされる。Ｋの値は整数値である可能性も実数値である可能性もあり、かつ例えば、後述するように、デコーダにおいて幾つかの予測手段が予測モジュール１３４と同様に動作してもよいように、品質スケーラブルなデータストリーム内でデコーダへサイド情報として伝送されてもよい。Ｍ及びＮの定義については、先の記述を参照されたい。ｙ値は、丸め演算を使用して整数値にされてもよい。

別の可能性は、可変オフセットによるスケーリングである。即ち、ベース品質サンプルｘは定係数で乗算され、かつ後に可変オフセットが、例えば下記の式の一方に従って加算される。
ｙ＝２^M-N-Kｘ＋Ｄ または、
ｙ＝ｍｉｎ（２^M-N-Kｘ＋Ｄ，２^M−１）

この方策により、低品質ダイナミックレンジは、マッピングされるｘの値を、その拡張がＫにより決定されかつ下方境界に対するそのオフセットがＤにより決定されるｙの可能なダイナミックレンジの一部内に分布させる方法で、第２のダイナミックレンジへマッピングされる。Ｄは、整数であっても、実数であってもよい。結果としてのｙは、高いビット深さの予測信号のピクチャサンプル値を表す。Ｋ及びＤの値は、例えば品質スケーラブルなデータストリーム内でデコーダへサイド情報として伝送される可能性もある。この場合も、ｙ値は丸め演算を使用して整数値にされてもよく、これは、繰返しては明確に記載しないが、本願においてビット深さマッピングに関して記述される他の例についても同じである。

さらに別の可能性は、重畳によるスケーリングである。即ち、高いビット深さの予測サンプルｙは個々のベース品質サンプルｘから、例えば下記の式の一方に従って得られる。
ｙ＝ｆｌｏｏｒ（２^M-Nｘ＋２^M-2Nｘ） または、
ｙ＝ｍｉｎ（ｆｌｏｏｒ（２^M-Nｘ＋２^M-2Nｘ），２^M−１）
ここで、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めることである。

これまでに述べた可能性は、組み合わされてもよい。例えば、重畳及び一定のオフセットによるスケーリングが使用されてもよく、即ち、高いビット深さの予測サンプルｙは、例えば下記の式の一方に従って得られる。
ｙ＝ｆｌｏｏｒ（２^M-N-Kｘ＋２^M-2N-Kｘ＋２^M-1−２^M-1-K）
ｙ＝ｍｉｎ（ｆｌｏｏｒ（２^M-N-Kｘ＋２^M-2N-Kｘ＋２^M-1−２^M-1-K），２^M−１）
ここで、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めることである。Ｋの値は、サイド情報としてデコーダへ指定されてもよい。

同様に、重畳及び可変オフセットによるスケーリングが使用されてもよい。即ち、高いビット深さの予測サンプルｙは、下記の式に従って得られる。
ｙ＝ｆｌｏｏｒ（２^M-N-Kｘ＋２^M-2N-Kｘ＋Ｄ）
ｙ＝ｍｉｎ（ｆｌｏｏｒ（２^M-N-Kｘ＋２^M-2N-Kｘ＋Ｄ），２^M−１）
ここで、ｆｌｏｏｒ（ａ）は、ａを最も近い整数に丸めることである。Ｄ及びＫの値は、サイド情報としてデコーダへ指定されてもよい。

さらに、ベース品質信号のルーマ成分とクロマ成分に関しては、その確率密度関数等の統計が異なる場合があることを考慮して、異なるマッピングメカニズムを指定することも可能である。また、異なるピクチャ領域に異なるマッピングメカニズムを指定することも可能である。但しこの領域は、必ずしも連続したものである必要はない。さらに、先に述べたマッピングメカニズムのうちの１つを採用した後、エンコーダ及びデコーダのそれぞれにおいて予測モジュールにより実行される予測プロセス内で高いビット深さの予測信号へ擬似ランダムノイズ信号（「ディザリング信号」）が加算される、と指定することも可能である。この信号は、高いビット深さの表現を復号できるようにデコーダにおいて正確に認識されなければならないことから、擬似ランダム発生器の初期設定値、擬似ランダムプロセスの分散及び形状（例えば、正常又は一様分布）のような所定のパラメータがサイド情報として伝送されなければならない場合がある。スケーラブルビットストリームにおいてこのようなサイド情報が伝送されない場合は、例えば、選択されるマッピングメカニズムに依存してそれぞれ［０，２^M-N−１］又は［０，２^M-N-K−１］の範囲内にある一様分布の擬似ランダム値としてのデフォルト値が使用されてもよい。

予測スキームのサイド情報を使用する、または、使用しない前述の可能性は、クロマサンプリングフォーマットに関するスケーラビリティにも当てはまる。クロマサンプリングフォーマットに関するスケーラビリティの場合、アップサンプルされるクロマ信号を生成するために予測モジュール１３４により使用される補間フィルタリングのスキームは、サイド情報として、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣのＰＰＳにおいて伝送可能である。最も単純な事例では、アップサンプリング規則が指定されていなければ、デコーダは、アップサンプリングされる信号がベース品質クロマサンプルポイント間の線形補間により生成されてクロマサブサンプリングが４：２：０から４：２：２へ、及び４：２：２から４：４：４へ変換され、かつ双線形補間により生成されてクロマサブサンプリングが４：２：０から４：４：４へ変換されることを想定してもよい。直前に述べたクロマサンプリングフォーマットに関しては、図４から図６に関する先の説明を参照されたい。他に、予測モジュール１３４は、例えばＩＳＯ／ＩＥＣ １４４９６−２：２００４、「情報技術−音響映像オブジェクトの符号化−第２部：映像」においてＭＰＥＧ４アドバンストシンプルプロファイルにより指定されている８タップハーフペルの補間フィルター、またはＨ．２６４／ＭＰＥＧ４−ＡＶＣにより指定されている６タップハーフペルの補間フィルターの何れかを選択して、補間されたクロマサンプル値を生成することも可能である。しかしながら、クロマサンプリングフォーマットのスケーラビリティに関する予測スキームは、前述のフィルターに限定されるものではない。使用されるフィルタータップ又はＦＩＲフィルター係数をそれぞれ品質スケーラブルなビットストリームにおいて、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣのＰＰＳにおいてサイド情報として伝送することにより、一般的な補間フィルターを指定することも可能である。

クロマサンプリングフォーマットのスケーラビリティに関しては、図４から図６までに示されるクロマサンプリングフォーマットについて考慮する場合、エンコーダ１００は下記の変形をサポートしてもよい点を留意すべきであろう。まず、ダウンコンバートモジュール１１６は４：２：２から４：２：０へダウンサンプリングしてもよいが、この場合、予測モジュール１３４は４：２：０から４：２：２へアップサンプリングし、かつ出力１１２における品質スケーラブルなビットストリームはクロマサンプリングフォーマットの４：２：０から４：２：２へのスケーラビリティを可能にする。同様に、ダウンコンバートモジュール１１６は４：４：４から４：２：０へダウンサンプリングしてもよく、予測モジュール１３４は逆方向へのアップサンプリングを実行する。従って、ダウンコンバートモジュール１１６は４：４：４から４：２：２へダウンサンプリングしてもよく、予測モジュール１３４は、４：２：２から４：４：４へアップサンプリングしてもよい。

エントロピー符号化モジュール１４０により出力される符号化された高品質エンハンスメント信号の内部では、モジュール１３６，１３８，１４０がＨ．２６４／ＭＰＥＧ４−ＡＶＣ準拠の符号化を実行する場合、マクロブロックごとに下記の情報が伝送され得る。即ち、そのマクロブロック内の４つの８×８ルーマ変換ブロックのうちのどのブロックが、かつそのマクロブロックの関連のクロマ変換ブロックのうちのどのブロックが非ゼロ変換係数を含んでもよいかについて指示する符号化ブロックパターン（ＣＢＰ）情報が含まれていてもよい。非ゼロの変換係数が存在しなければ、その特定のマクロブロックに関してさらなる情報は伝送されない。さらなる情報は、ルーマ成分を符号化するために使用される変換サイズ、即ち、変換モジュール１３６において１６×１６のルーマサンプルからなるマクロブロックが変換される変換ブロックのサイズ、即ち４×４又は８×８の変換ブロックに関連するものであってもよい。さらに、高品質エンハンスメント層のデータストリームは、量子化モジュール１３８において量子化器のステップサイズを制御するために使用される量子化パラメータＱＰを含み得る。さらに、エントロピー符号化モジュール１４０により出力される高品質エンハンスメント層のデータストリームには、各マクロブロックに関する量子化変換係数、即ち変換係数レベルが含まれてもよい。

以上、エンコーダに関する実施形態について説明したが、次に、図２に関連して、デコーダの一実施形態について説明する。図２のデコーダは参照符号２００で示され、逆多重化手段２０２、ベース復号化手段２０４、予測手段２０６、残差復号化手段２０８及び復元手段２１０、並びに入力２１２、第１の出力２１４及び第２の出力２１６を備える。デコーダ２００は、その入力２１２において、例えば、図１のエンコーダ１００によって出力された品質スケーラブルなデータストリームを受信する。先に述べたように、品質スケーラビリティは、ビット深さ及び／又はクロマサンプリングフォーマットに関連するものであってもよい。換言すれば、入力２１２におけるデータストリームは、ビデオ信号を低減されたビット深さ及び／又は低減されたクロマ解像度及び保持されたルーマ解像度で復元するために単独で使用可能な内蔵型部分、並びに、前記第１の部分と組み合わせて、ビデオ信号をより高いビット深さ及び／又はより高いクロマ解像度で復元することを可能にする追加部分を有してもよい。出力２１６では、より低い品質の復元ビデオ信号が出力されるのに対して、出力２１４では、より高い品質の復元ビデオ信号が出力される。

逆多重化手段２０２は、入力２１２で受信する品質スケーラブルなデータストリームを、ベース符号化データストリームと高品質エンハンスメント層データストリームとに分割するが、これらはどちらも図１に関連して言及したものである。ベース復号化手段２０４は、ベース符号化データストリームをベース品質表現のビデオ信号に復号するためのものであり、このベース品質表現は、図２の例の場合のように直接、または、アーティファクト低減フィルター（不図示）を介して間接的に、出力２１６において任意に出力可能である。ベース品質表現のビデオ信号を基礎として、予測手段２０６は、増大されたピクチャサンプルビット深さ及び／又は増大されたクロマサンプリング解像度を有する予測信号を形成する。復号手段２０８はエンハンスメント層データストリームを復号し、増大されたビット深さ及び／又は増大されたクロマ解像度を有する予測残差を得る。復元手段２１０は、前記予測及び予測残差から高品質ビデオ信号を得、これを任意のアーティファクト低減フィルターを介して出力２１４において出力する。

内部的には、逆多重化手段２０２は、デマルチプレクサ２１８と、エントロピー復号化モジュール２２０とを備える。デマルチプレクサ２１８の入力は入力２１２へ接続され、デマルチプレクサ２１８の第１の出力は残差復号化手段２０８へ接続される。エントロピー復号化モジュール２２０は、デマルチプレクサ２１８のもう一方の出力とベース復号化手段２０４との間に接続される。デマルチプレクサ２１８は、先に述べたように、品質スケーラブルなデータストリームを、マルチプレクサ１４４へ別々に入力されていたベース層データストリームとエンハンスメント層データストリームとに分割する。エントロピー復号化モジュール２２０は、例えば、ハフマン復号化又は算術復号化アルゴリズムを実行して、変換係数レベル、動きベクトル、変換サイズ情報及びベース表現のビデオ信号を導出するために必要な他のシンタックス要素を得る。結果的に、エントロピー復号化モジュール２２０の出力側でベース符号化データストリームが生じる。

ベース復号化手段２０４は、逆変換モジュール２２２と、加算器２２４と、任意のループフィルター２２６と、予測器モジュール２２８とを備える。ベース復号化手段２０４のモジュール２２２から２２８は、機能性及び相互接続に関して図１の要素１２４から１３０に対応する。より正確には、逆変換モジュール２２２及び加算器２２４は、一方では逆多重化手段２０２と、他方では予測手段２０６及びベース品質出力との間に記載順に直列接続され、任意のループフィルター２２６及び予測器モジュール２２８は、加算器２２４の出力と加算器２２４の別の入力との間に記載順に直列接続される。この方策により、加算器２２４は、低減されたビット深さ及び／又は低減されたクロマ解像度を有するベース表現のビデオ信号を出力し、これは、出力２１６において外側から受信可能である。

予測手段２０６は、任意のアーティファクト低減フィルター２３０と、予測情報モジュール２３２とを備え、これらのモジュールは共に、図１の要素１３２，１３４に対して同期的に機能する。換言すれば、任意のアーティファクト低減フィルター２３０は、任意にベース品質ビデオ信号を濾波してその内部のアーティファクトを減らし、予測情報モジュール２３２は、増大されたビット深さ及び／又は増大されたクロマ解像度を有する予測ピクチャを予測モジュール１３４に関して既に述べた方法で得る。即ち、予測情報モジュール２３２は、クロマ解像度を増大させるために、品質スケーラブルなデータストリームに含まれる、または含まれないサイド情報によって、受信したピクチャサンプルをより高いダイナミックレンジへマッピングしてもよく、及び／又は、空間補間フィルターをピクチャのクロマ成分へ適用してもよい。

残差復号化手段２０８は、エントロピー復号化モジュール２３４と、逆変換モジュール２３６とを備え、これらは、デマルチプレクサ２１８と復元手段２１０との間に記載順に直列接続される。エントロピー復号化モジュール２３４及び逆変換モジュール２３６は協働し、図１のモジュール１３６，１３８，１４０によって実行された符号化を逆転する。具体的には、エントロピー復号化モジュール２３４は、例えばハフマン復号化または算術復号化アルゴリズムを実行して、とりわけ変換係数レベルを含むシンタックス要素を得る。これらのシンタックス要素は、逆変換モジュール２３６によって逆変換され、予測残差信号または残差ピクチャのシーケンスが得られる。

復元手段２１０は加算器２３８を備え、加算器２３８の入力はそれぞれ予測情報モジュール２３２の出力と逆変換モジュール２３６の出力に接続される。加算器２３８は、予測残差と予測信号とを加算して増大されたビット深さ及び／又は増大されたクロマ解像度を有する高品質ビデオ信号を得る。この高品質ビデオ信号は、任意のアーティファクト低減フィルター２４０を介して出力２１４へ供給される。

従って、図２から推論できるように、ベース品質デコーダは、入力２１２における品質スケーラブルなデータストリームからベース品質ビデオ信号を復元してもよく、そのために、要素２３０，２３２，２３８，２３４，２３６，２４０は含まなくてもよい。また他方、高品質デコーダは、出力２１６を含まなくてもよい。

換言すれば、この復号化プロセスにおいては、ベース品質表現の復号は直接的である。高品質信号を復号する場合は、まず、ベース品質信号が復号されなければならないが、これは、モジュール２１８から２２８までによって実行される。この後は、復号されたベース表現を使用して、モジュール２３２及び任意のモジュール２３０に関して先に述べた予測プロセスが採用される。高品質エンハンスメント信号の量子化された変換係数はスケーリングされ、かつ、例えばＨ．２６４／ＭＰＥＧ４−ＡＶＣの規定に従って逆変換モジュール２３６により逆変換されて残差又は差分信号サンプルが得られる。これらのサンプルは、復号されたベース表現サンプルから予測モジュール２３２により導出される予測に加算される。出力２１４において出力されるべき高品質ビデオ信号の復号化プロセスにおける最終段階として、視覚的妨害因子である符号化アーティファクトを除く、または低減するために、任意にフィルターを設置してもよい。モジュール２２６，２２８を包含する動作補償予測ループが、ベース品質表現のみを使用する完全な内蔵型であることは留意されるべきである。従って、復号化の複雑さは適度であり、かつ、予測器モジュール２２８の動作補償予測プロセスにおいて高いビット深さまたは高いクロマ解像度の画像データに作用する補間フィルターは不要である。

前述の実施形態に関連して、アーティファクト低減フィルター１３２，２３０は任意のものであり、よって除去されてもよいということにここで言及しておく。ループフィルター１２４，２２６のそれぞれ、及びフィルター２４０についても同じことが言える。さらに、本発明は、ビデオ符号化に限定されない。前述の説明は、むしろ、静止画の符号化にも適用可能である。従って、それぞれ要素１１８，１２８，１３０，１２６，１２４と要素２２４，２２８，２２６とを包含する動作補償予測ループも除去されてもよい。同様に、言及したエントロピー符号化も、必ずしも実行される必要はない。

より正確に言えば、前述の実施形態において、ベース層の符号化１１８〜１３０，１４２は、既にロス有りである符号化ピクチャの復元を基礎とする動作補償予測に基づくものであった。この場合、ベース符号化プロセスの復元は、これまでの説明において行われているような高品質予測形成プロセスの一部として見なされてもよい。しかしながら、ベース表現のロスレス符号化の場合、復元の必要はなく、ダウンコンバートされた信号は手段１３２，１３４へ直接転送され得る。ベース層のロス有り符号化において予測が動作補償を基礎としない場合、エンコーダ側においてベース品質信号を復元するための復元は、特に手段１０４における高品質予測形成専門に行われることになる。換言すれば、先に述べた要素１１６〜１３４，１４２と、手段１０２，１０４，１０８との関連性はそれぞれ、別の方法でも実行可能である。具体的には、エントロピー符号化モジュール１４２はベース符号化手段１０２の一部と見なされてもよく、予測手段は単にモジュール１３２，１３４を備え、かつ、結合手段１０８は単にマルチプレクサ１４４を備えるだけのものであってもよい。この見解は、予測手段２０６が動作補償を基礎とする予測を含まないことにおいて、図２に使用されているモジュール／手段の連関と相互に関係している。しかしながら、さらに、逆多重化手段２０２はエントロピーモジュール２２０を含まず、ベース復号化手段がエントロピー復号化モジュール２２０を含むと見なしてもよい。しかしながら、これらの見解は共に、手段１０４における予測は、低減されたビット深さ及び／又はそれぞれ品質スケーラブルなビットストリーム及びベース層データストリームにロスレス符号化されかつ前記ベース層データストリームからロスレスに導出可能な低減されたクロマ解像度を有するソース材料の表現を基礎として実行される、という同じ結果を招く。図１の根底にある見解によれば、予測１３４はベース符号化データストリームの復元を基礎とするが、別の見解の場合、復元は、中間符号化バージョン又は中途符号化バージョンのベース品質信号から始まることになり、ベース層データストリームへと完全に符号化されるためのモジュール１４２によるロスレス符号化は省略される。この点に関しては、さらに、モジュール１１６におけるダウンコンバートがエンコーダ１００によって実行される必要はないことも留意されるべきである。代わりにエンコーダ１００は、２つの入力、即ち高品質信号を受信するための１つの入力と、外部からダウンコンバートバージョンを受信するためのもう１つの入力とを有してもよい。

これまでに述べた実施形態では、品質スケーラビリティは単に、ビット深さ及び／又はクロマ解像度に関連していた。しかしながら、前述の実施形態は、時間スケーラビリティ、空間スケーラビリティ及び細粒度スケーラビリティを包含すべく容易に拡張されてもよい。例えば、エンコーダ側では、図１に示すエンコーダの幾つかに、空間的に非デシメート及び漸増的デシメートバージョンの入力信号をこれらの空間層エンコーダへ入力することが含まれてもよい。これらの層間の冗長部分は、より低い空間解像度の層の復元された表現を次に高い空間解像度の層の予測として使用することによって活用可能である。細粒度スケーラビリティは、例えばそれぞれ残差符号化手段１０６及び残差復号化手段２０８において、変換係数レベルが個々のＦＧＳ層の寄与率の合計から導出できるように、増大する量子化分解能の層内、または低減する量子化ステップサイズに対応する層内の変換係数レベルを適宜符号化することによって実行できる。

従って、前述の実施形態は、サンプルビット深さ及び／又はクロマサンプリングフォーマットに関するスケーラビリティへ向けたスケーラブルビデオ符号化の拡張を可能にし、これにより、エンコーダは、今までの任意のビデオデコーダによって復号可能なビデオシーケンスのベース品質表現を、今までのビデオデコーダでは無視されるより高いビット深さ及び／又は低減されたクロマサンプリングのためのエンハンスメント信号と共に格納できるようになる。例えば、ベース品質表現は８ビットバージョンのビデオシーケンスを含み得るが、高品質エンハンスメント信号は、同じシーケンスの１０ビットバージョンへの「改善」を含む。

従って、換言すれば、前述の実施形態は、ビデオ信号の層状表現をコード化（符号化／復号化）するためのビデオコーダ（エンコーダ／デコーダ）について記述し、前記ビデオコーダは、例えば、ベース品質層を符号化するための標準化ビデオ符号化方法と、復元されたベース品質信号を使用することにより高品質エンハンスメント層信号の予測を実行するための予測方法と、高品質エンハンスメント層信号の予測残差を符号化するための残差符号化方法とを含む。このビデオコーダでは、予測は、ベース品質層に関するダイナミックレンジから高品質エンハンスメント層に関するダイナミックレンジへのマッピング機能を使用することによって実行されてもよい。具体的には、予測は、ベース品質層のサンプル値ｘを式、ｍｉｎ（２^M-Nｘ，２^M−１）に従ってスケーリングしかつクリッピングすることによって実行されてもよい。ここで、ベース品質層のサンプル値ｘはビット深さＮで表され、高品質エンハンスメント層のサンプル値はビット深さＭ、但しＭ＞Ｎ、で表される。他の代替例については、先に示した。あるいは、予測は、サイド情報として伝送される所定数の補間点を有する区分的線形マッピングを使用することによって実行されてもよい。またあるいは、予測は、ルックアップ表にインデックスを付けるためのベース品質信号サンプルの１つの値を使用することによって実行されてもよい。この値は、対応する高品質サンプル値を含み、かつサイド情報として伝送されてもよい。残差符号化は、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに沿って実行されてもよい。ビデオ信号の色空間表現は、ベース品質層及び高品質エンハンスメント層のクロマサンプリングフォーマットがそれぞれ４：２：０及び４：２：２である１つのルーマ成分及び２つのクロマ成分の形式で与えられてもよく、高品質エンハンスメント層信号のクロマサンプル値の予測は、ベース品質層のクロマサンプル値に適用される空間補間フィルターを使用することによって実行されてもよい。同様に、ビデオ信号の色空間表現は、ベース品質層及び高品質エンハンスメント層のクロマサンプリングフォーマットがそれぞれ４：２：２及び４：４：４である１つのルーマ成分及び２つのクロマ成分の形式で与えられてもよく、高品質エンハンスメント層信号のクロマサンプル値の予測は、ベース品質層のクロマサンプル値に適用される空間補間フィルターを使用することによって実行されてもよい。従って、ビデオ信号の色空間表現は、ベース品質層及び高品質エンハンスメント層のクロマサンプリングフォーマットがそれぞれ４：２：０及び４：４：４である１つのルーマ成分及び２つのクロマ成分の形式で与えられてもよく、高品質エンハンスメント層信号のクロマサンプル値の予測は、ベース品質層のクロマサンプル値に適用される空間補間フィルターを使用することによって実行されてもよい。ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：２：２である場合、使用される空間補間フィルターは、ベース品質層のクロマサンプル値へ垂直に適用される線形補間フィルターであってもよい。同様に、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：２及び４：４：４であれば、線形補間フィルターがベース品質層のクロマサンプル値へ水平に適用されてもよく、かつ、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：４：４であれば、空間補間フィルターは、ベース品質層のクロマサンプル値へ適用される双線形補間であってもよい。さらに、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：２：２であれば、空間補間フィルターは、ベース品質層のクロマサンプル値へ垂直に適用されるＨ．２６４／ＭＰＥＧ４−ＡＶＣにより規定されるような６タップハーフペル補間フィルターであってもよい。同様に、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：２及び４：４：４であれば、空間補間フィルターは、ベース品質層のクロマサンプル値へ水平に適用されるＨ．２６４／ＭＰＥＧ４−ＡＶＣにより規定される６タップハーフペル補間フィルターであってもよい。ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：４：４であれば、空間補間フィルターは、ベース品質層のクロマサンプル値へ分離可能に適用されるＨ．２６４／ＭＰＥＧ４−ＡＶＣにより規定される６タップハーフペル補間フィルターによって実現されてもよい。同様に、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：２：２であれば、ＭＰＥＧ４−第２部映像、アドバンストシンプルプロファイルにより規定される８タップハーフペル補間フィルターが、それぞれ予測モジュール１３４及び２３２においてベース品質層のクロマサンプル値へ垂直に適用されてもよい。同様に、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：２及び４：４：４であれば、ＭＰＥＧ４、第２部映像、アドバンストシンプルプロファイルにより規定される８タップハーフペル補間フィルターがベース品質層のクロマサンプル値へ水平に適用されてもよい。ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：４：４であれば、ＭＰＥＧ４、第２部映像、アドバンストシンプルプロファイルにより規定される８タップハーフペル補間フィルターがベース品質層のクロマサンプル値へ分離可能に適用されてもよい。空間補間フィルターとしては、ＦＩＲ補間フィルターも可能である。例えば、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：２：２であれば、ＦＩＲ補間フィルターがベース品質層のクロマサンプル値へ垂直に適用されてもよく、この場合、ＦＩＲフィルターのフィルタータップはサイド情報として伝送されてもよい。同様に、ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：２及び４：４：４であれば、ＦＩＲ補間フィルターはベース品質層のクロマサンプル値へ水平に適用されてもよく、この場合、ＦＩＲフィルターのフィルタータップはサイド情報として伝送される。ベース品質層及び高品質エンハンスメント層がそれぞれ４：２：０及び４：４：４であれば、ＦＩＲ補間フィルターはベース品質層のクロマサンプル値へ分離可能に適用されてもよく、この場合、ＦＩＲフィルターのフィルタータップはサイド情報として伝送されてもよい。また、ベース品質ビデオ信号の色空間表現は、４：２：０または４：２：２のクロマサブサンプリングフォーマットを有する１つのルーマ成分と２つのクロマ成分との形式で与えられることも可能であり、この場合、高品質ビデオ信号は４：４：４のクロマサンプリングフォーマットを有するが、その色空間表現はベース品質表現のものとは異なる。この場合、モジュール１３４，２３２内部での高品質エンハンスメント層信号のクロマサンプル値の予測は、まず先に述べたように空間補間フィルターをベース品質層のクロマサンプル値へ適用し、続いて、結果的に生じるアップサンプリングされたベース品質信号を高品質エンハンスメント層の色空間へ色変換することによって実行されてもよい。

実際の実施状況に応じて、本発明による符号化スキームはハードウェアで、またはソフトウェアで実施可能である。従って本発明は、ＣＤ、ディスク又は他の任意のデータキャリア等のコンピュータ読取り可能な媒体に格納され得るコンピュータプログラムにも関する。従って本発明は、コンピュータ上で実行されると、図面を参照して説明した本発明による方法を実行するプログラムコードを有するコンピュータプログラムでもある。具体的には、図１及び２における手段及びモジュールの実施は、例えばＣＰＵ、ＡＳＩＣの回路部分などにおいて実行されるサブルーチンを含んでもよい。

Claims (15)

1. ピクチャを品質スケーラブルなデータストリームへ符号化するためのエンコーダであって、
   前記ピクチャを、第１のピクチャサンプルビット深さを有する前記ピクチャの表現を表すベース符号化データストリームへ符号化するためのベース符号化手段（１０２）と、
   前記第１のピクチャサンプルビット深さを有する前記ピクチャの表現を基礎として、前記第１のピクチャサンプルビット深さより高い第２のピクチャサンプルビット深さを有する前記ピクチャの予測を提供するための予測手段（１０４）であって、ピクチャの予測を得るために、サンプルのルーマ成分に対しては第１のマッピング方法を用い、サンプルのクロマ成分に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、及び／又はピクチャの第１の領域に対しては第１のマッピング方法を用い、ピクチャの第２の領域に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、前記第１のピクチャサンプルビット深さを有するピクチャの表現に関して、サンプルを前記第１のピクチャサンプルビット深さに対応する第１のダイナッミックレンジから前記第１のダイナミックレンジよりも大きく、前記第２のピクチャサンプルビット深さに対応する第２のダイナミックレンジへマッピングするためのマッピング手段（１３４）を含む予測手段（１０４）と、
   前記予測の予測残差をビット深さエンハンスメント層データストリームへ符号化するための残差符号化手段（１０６）と、
   前記ベース符号化データストリームと前記ビット深さエンハンスメント層データストリームと前記マッピング手段（１３４）によって使用された第１及び第２のマッピング方法を示すマッピング情報とを基礎として前記品質スケーラブルなデータストリームを形成するための結合手段（１０８）と、
   を備えたことを特徴とするエンコーダ。
2. 前記予測手段は、
   前記ベース符号化データストリームを基礎として、低いビット深さの復元ピクチャを、前記第１のピクチャサンプルビット深さを有する前記ピクチャの表現として復元するための手段（１２４，１２６，１２８，１３０，１３２）を備え、前記低いビット深さの復元ピクチャは前記第１のピクチャサンプルビット深さを有すること、
   を特徴とする請求項１に記載のエンコーダ。
3. 前記ベース符号化手段（１０２）は、
   前記第２のピクチャサンプルビット深さを有するピクチャを表すサンプルを、前記第２のダイナミックレンジから、前記第１のピクチャサンプルビット深さに対応する前記第１のダイナミックレンジへマッピングして、品質が低減されたピクチャを得るための手段（１１６）と、
   前記品質が低減されたピクチャを符号化して前記ベース符号化データストリームを得るための手段（１１８，１２０，１２２，１２４，１２６，１２８，１３０）と、
   を備えたことを特徴とする請求項１又は請求項２に記載のエンコーダ。
4. ピクチャが符号化されている品質スケーラブルなデータストリームを復号するためのデコーダであって、前記品質スケーラブルなデータストリームは、第１のピクチャサンプルビット深さを有するピクチャを表すベース層データストリームと、前記第１のピクチャサンプルビット深さより高い第２のピクチャサンプルビット深さを有する予測残差を表すビット深さエンハンスメント層データストリームと、マッピング情報とを含み、前記デコーダは、
   前記ベース層データストリームをより低いビット深さの復元ピクチャへ復号するための手段（２０４）と、
   前記ビット深さエンハンスメントデータストリームを前記予測残差へ復号するための手段（２０８）と、
   前記より低いビット深さの復元ピクチャを基礎として、前記第２のピクチャサンプルビット深さを有するピクチャの予測を提供するための手段（２０６）であって、ピクチャの予測を得るために、前記マッピング情報に応じて、サンプルのルーマ成分に対しては第１のマッピング方法を用い、サンプルのクロマ成分に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、及び／又はピクチャの第１の領域に対しては第１のマッピング方法を用い、ピクチャの第２の領域に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、前記より低いビット深さの復元ピクチャに関して、サンプルを前記第１のピクチャサンプルビット深さに対応する第１のダイナミックレンジから前記第１のダイナミックレンジよりも大きく、前記第２のピクチャサンプルビット深さに対応する第２のダイナミックレンジへマッピングするように構成されている手段（２０６）と、
   前記予測及び前記予測残差を基礎として、前記第２のピクチャサンプルビット深さを有するピクチャを復元するための手段（２１０）と、
   を備えたことを特徴とするデコーダ。
5. 前記ピクチャの予測を提供するための手段（２０６）は、第１又は第２のマッピング方法に従い、サンプルを前記第１のダイナミックレンジから前記第２のダイナミックレンジへ線形的にマッピングすること、を特徴とする請求項４に記載のデコーダ。
6. 前記ピクチャの予測を提供するための手段（２０６）は、第１又は第２のマッピング方法に従い、サンプルｘを前記第１のダイナミックレンジから前記第２のダイナミックレンジへ、２^M-N-Kｘ＋２^M-1−２^M-1-Kを計算することによってマッピングし、ここでＮは前記第１のピクチャサンプルビット深さであり、Ｍは前記第２のピクチャサンプルビット深さであり、Ｋは前記品質スケーラブルなデータストリームから得られるマッピングパラメータであること、を特徴とする請求項４又は請求項５に記載のデコーダ。
7. マッピング手段（２３２）は、第１又は第２のマッピング方法に従い、サンプルｘを前記第１のダイナミックレンジから前記第２のダイナミックレンジへ、２^M-N-Kｘ＋Ｄを計算することによってマッピングし、ここでＮは前記第１のピクチャサンプルビット深さであり、Ｍは前記第２のピクチャサンプルビット深さであり、Ｋ及びＤはマッピングパラメータであり、かつ前記マッピング手段は、前記品質スケーラブルなデータストリームから得られるマッピングパラメータＫ及びＤを転送すること、を特徴とする請求項４ないし請求項６のいずれかに記載のデコーダ。
8. 前記マッピング手段（２３２）は、第１又は第２のマッピング方法に従い、サンプルｘを前記第１のダイナミックレンジからのサンプルｘを前記第２のダイナミックレンジへ、ｆｌｏｏｒ（２^M-N-Kｘ＋２^M-2N-Kｘ＋Ｄ）を計算することによってマッピングし、ここでｆｌｏｏｒ（ａ）はａを最も近い整数に丸めることであり、Ｎは前記第１のピクチャサンプルビット深さであり、Ｍは前記第２のピクチャサンプルビット深さであり、Ｋ及びＤはマッピングパラメータであり、かつ前記マッピング手段は、前記品質スケーラブルなデータストリームから得られる前記マッピングパラメータＫ及びＤを転送すること、を特徴とする請求項４ないし請求項７のいずれかに記載のデコーダ。
9. 前記ピクチャの予測を提供するための手段（２０６）は、第１又は第２のマッピング方法に従い、サンプルを前記第１のダイナミックレンジから前記第２のダイナミックレンジへ、前記品質スケーラブルなデータストリームから得られる補間点情報を使用することによって区分的に線形マッピングすること、を特徴とする請求項４ないし請求項８のいずれかに記載のデコーダ。
10. 前記ピクチャの予測を提供するための手段（２０６）は、第１又は第２のマッピング方法に従い、前記サンプルをルックアップ表へのインデックスとして使用することにより前記マッピングを実行すること、を特徴とする請求項４ないし請求項９のいずれかに記載のデコーダ。
11. 前記ピクチャはビデオ信号の一部であることを特徴とする請求項４ないし請求項１０のいずれかに記載のデコーダ。
12. 前記ピクチャの予測を提供するための手段は、ディザリングを実行して前記ピクチャの予測を得ること、を特徴とする請求項４ないし請求項１１のいずれかに記載のデコーダ。
13. ピクチャを品質スケーラブルなデータストリームへ符号化するための方法であって、
    前記ピクチャを、第１のピクチャサンプルビット深さを有する前記ピクチャの表現を表すベース符号化データストリームへ符号化する工程と、
    前記第１のピクチャサンプルビット深さを有する前記ピクチャの表現を基礎として、前記第１のピクチャサンプルビット深さより高い第２のピクチャサンプルビット深さを有する前記ピクチャの予測を提供する工程であって、ピクチャの予測を得るために、サンプルのルーマ成分に対しては第１のマッピング方法を用い、サンプルのクロマ成分に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、及び／又はピクチャの第１の領域に対しては第１のマッピング方法を用い、ピクチャの第２の領域に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、前記第１のピクチャサンプルビット深さを有するピクチャの表現に関して、サンプルを前記第１のピクチャサンプルビット深さに対応する第１のダイナッミックレンジから前記第１のダイナミックレンジよりも大きく、前記第２のピクチャサンプルビット深さに対応する第２のダイナミックレンジへマッピングすることを含む前記ピクチャの予測を提供する工程と、
    前記予測の予測残差をビット深さエンハンスメント層データストリームへ符号化する工程と、
    前記ベース符号化データストリームと前記ビット深さエンハンスメント層データストリームと前記マッピング手段（１３４）によって使用されたマッピング方法を示すマッピング情報とを基礎として前記品質スケーラブルなデータストリームを形成する工程と、
    を含むことを特徴とする方法。
14. ピクチャが符号化されている品質スケーラブルなデータストリームを復号するための方法であって、前記品質スケーラブルなデータストリームは、第１のピクチャサンプルビット深さを有するピクチャを表すベース層データストリームと、前記第１のピクチャサンプルビット深さより高い第２のピクチャサンプルビット深さを有する予測残差を表すビット深さエンハンスメント層データストリームと、マッピング情報とを含み、前記方法は、
    前記ベース層データストリームをより低いビット深さの復元ピクチャへ復号する工程と、
    前記ビット深さエンハンスメントデータストリームを前記予測残差へ復号する工程と、
    前記より低いビット深さの復元ピクチャを基礎として、前記第２のピクチャサンプルビット深さを有する前記ピクチャの予測を提供する工程であって、ピクチャの予測を得るために、前記マッピング情報に応じて、サンプルのルーマ成分に対しては第１のマッピング方法を用い、サンプルのクロマ成分に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、及び／又はピクチャの第１の領域に対しては第１のマッピング方法を用い、ピクチャの第２の領域に対しては第１のマッピング方法とは異なる第２のマッピング方法を用いて、前記より低いビット深さの復元ピクチャに関して、サンプルを前記第１のピクチャサンプルビット深さに対応する第１のダイナミックレンジから前記第１のダイナミックレンジよりも大きく、前記第２のピクチャサンプルビット深さに対応する第２のダイナミックレンジへマッピングすることを含む前記ピクチャの予測を提供する工程と、
    前記予測及び前記予測残差を基礎として、前記第２のピクチャサンプルビット深さを有するピクチャを復元する工程と、
    を含むことを特徴とする方法。
15. コンピュータ上で起動された際、請求項１３又は請求項１４に記載された方法を実行するためのプログラムコードを有すること、を特徴とするコンピュータプログラム。

Images