JP5134001B2 - 下層のフィルタリングを備えたスケーラブルビデオ符号化 - Google Patents

Description

本発明は、ビデオデコーダに関し、特に、改良されたマルチレイヤビデオデコーダに関する。

ビデオ符号化は、一般的に、動画情報を、帯域幅の制限されたチャネルを介して伝送するために符号化することを指す。様々なビデオ符号化技術が知られている。最も一般的な技術（ＩＴＵ ＨシリーズおよびＭＰＥＧシリーズの符号化規格において規格化されている技術など）は、動き補償予測を用いて、チャネル帯域幅を低減する。動き補償されたビデオのコーダは、以前に復号化された他のフレームのビデオコンテンツを参照して、現在復号化されている新たなフレームのビデオコンテンツを予測することによって、ビデオシーケンスのフレーム間の時間冗長性を活用する。デコーダで、最初のいくつかのフレームの受信および復号化が完了すると、ビデオデコーダは、以前に復号化されたフレームの復号化されたビデオコンテンツを利用して、他のフレームのコンテンツを生成することができる。

階層化ビデオ符号化システムは、幅広い用途のためにビデオ符号化／復号化動作および符号化ビデオデータを構築する。符号化ビデオデータは、第１のセットのビデオデータ（本明細書では「ベースレイヤ」と呼ぶ）を含んでよく、そのデータからは、ソースビデオデータを第１のレベルの画質で復元することができる。符号化ビデオデータは、他のセットのビデオデータ（本明細書では「エンハンスメントレイヤ」と呼ぶ）を含んでよく、そのデータからは、ベースレイヤデータと共に復号化すると、ベースレイヤデータだけを復号化した場合よりも高レベルの画質でソースビデオデータを復元することができる。

階層化ビデオ符号化システムは、多くの符号化環境で応用される。例えば、階層符号化システムは、様々な異なるビデオデコーダのためのビデオデータを符号化する際に有利であり、それらのデコーダは、比較的少ない処理資源を有する場合もあるし、より多くの処理資源を有する場合もある。シンプルデコーダが、ベースレイヤデータだけを復号化して表示することによって、ソースビデオの基本表現を復元してよい。しかしながら、よりロバストなデコーダが、ベースレイヤデータだけでなく１または複数のエンハンスメントレイヤからのデータをも復号化することによって、よりよい画質を復元してもよい。別の用途においては、階層符号化スキームは、チャネル帯域幅を事前に決定することができない伝送環境において有利な場合がある。利用できるチャネル帯域幅が制限されている場合、符号化データのトランスミッタは、チャネルを通してベースレイヤデータのみを送信してよく、これにより、ビデオデコーダは、少なくともソースビデオの基本表現を表示することが可能になる。トランスミッタは、より大きなチャネルを通して複数レイヤの符号化データを送信してよく、それにより、より良好な画質が実現される。

本願の発明者は、本明細書に記載するように、マルチレイヤビデオ符号化システムに対するいくつかの符号化の改良を提案する。

本発明の一実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。 本発明の一実施形態に従って、エンハンスメントレイヤビデオデコーダのための動きベクトル予測方法を示す図。 本発明の別の実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。 マルチレイヤビデオデコーダのフロー図。 マルチレイヤビデオデコーダのフロー図。

エンハンスメントレイヤデータのためのビデオデータの予測に用いられる動きベクトルの予測のために、第１の改良がなされている。ベースレイヤデータおよびエンハンスメントレイヤデータの間での任意のピクセルブロックの分割が、エンハンスメントレイヤの動きベクトルの予測ソースとして用いられるベースレイヤの動きベクトルを識別する際に問題になる。発明者は、ベースレイヤのビデオ画像とエンハンスメントレイヤのビデオ画像との間のサイズ差に従ってベースレイヤピクセルブロックの分割マップをスケーリングした後に、そのスケーリングされたマップから、動きベクトル予測が行われるエンハンスメントレイヤのピクセルブロックと同位置の（co-located）スケーリングされたベースレイヤピクセルブロックを識別することにより、動きベクトルを生成することを提案する。スケーリングされた同位置のベースレイヤピクセルブロックからの動きベクトルは、スケーリングされたベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロックとの間の重複の程度に従って重み付けして平均化される。エンハンスメントレイヤデコーダに供給される前に、復元ベースレイヤ画像データに対してフィルタ処理を施す（フィルタリングする）ことで、別の改良がなされる。特定のフィルタが、ベースレイヤデコーダから利用できる予測領域の外側の画像データを必要とする場合には、予測領域データは、予測領域の境界において、エンハンスメントレイヤからの以前に復号化されたデータで補完されてよい。予測領域画像データおよび境界領域画像データのマージによって得られた合成画像に対して、フィルタリングが実行されてもよい。

動きベクトル予測
図１は、本発明の一実施形態に従って、階層化ビデオデコーダ１００を示す簡略化したブロック図である。図に示したように、ビデオデコーダ１００は、ベースレイヤデコーダ１２０およびエンハンスメントレイヤデコーダ１５０を備えてよく、各デコーダは、チャネル１８０から受信した符号化ビデオデータを受信する。チャネル１８０は、符号化ビデオデータの物理的な伝送を行うものであり、通例、チャネルは、電気的、磁気的、または、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気ケーブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ１２０による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ１５０による復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特定の実装例において、複数のエンハンスメントレイヤデコーダ（図１では、１つだけが図示されている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受信するデコーダ１００が適切なエンハンスメントレイヤデコーダにデータをルーティングすることを可能にする識別子を備える。

図１に示したように、ベースレイヤデコーダ１２０は、エントロピデコーダ１２２、逆量子化部１２４、逆変換部１２６、動き補償予測部１２８、加算部１３０、および、フレームストア１３２を備えてよい。符号化ビデオデータは、例えば、ランレングス符号化によってエントロピ符号化されたシリアルデータストリームとしてビデオ情報を表すことが多い。エントロピデコーダ１２２は、この符号化処理の逆処理を行い、ベースレイヤデコーダ１２０によるさらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部１２４は、通例、エンコーダ（図示せず）によって実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダ１２０は、チャネルデータから明示的に、または、チャネルに供給されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部１２６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換してよい。逆変換部１２６によって生成されたピクセルデータは、加算部１３０の第１の入力に出力される。

最近のビデオコーダは、しばしば、予測符号化技術を用いて、符号化された信号の帯域幅を低減している。フレームストア１３２は、ベースレイヤデコーダ１２０によって以前に復号化されたピクセルブロックのピクセルデータを格納してよい。ピクセルデータは、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、以前に復号化されたフレーム（しばしば、「参照フレーム」と呼ばれる）のピクセルブロックに属するピクセルデータが、新たに受信したピクセルブロックのビデオデータの予測に利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセルブロックの動きベクトル１３４を含んでおり、それらの動きベクトルは、新しいピクセルブロックの予測ソースとして用いられる参照フレームからのピクセルデータを識別する。与えられたピクセルブロックに対して、動きベクトル１３４は、チャネルで直接的に供給されてもよいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい。

動き補償予測部１２８は、動きベクトルデータをレビューしてよく、対応するピクセルブロックのための予測ソースとしてフレームストア１３２からデータを読み出させてよい。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接提供されることが多い（ライン１３６）。一対の参照フレームから読み出されたピクセルデータが、加算部１３０に提供される前に、処理（例えば、平均化）されてもよい。加算部１３０は、ピクセルブロック単位で復元画像データ１３８を生成してよく、そのデータは、出力データとしてベースレイヤデコーダ１２０から出力されてよい。ビデオフレームがビデオシーケンス内の参照フレームとして識別された場合、復元画像データ１３８は、その後の復号化動作に用いるためにフレームストア１３２に格納されてよい。ベースレイヤデコーダからの復元画像データ１３８は、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図１に示したように、エンハンスメントレイヤデコーダ１５０も、エントロピデコーダ１５２、逆量子化部１５４、逆変換部１５６、動き予測部１５８、加算部１６０、および、フレームストア１６２を備えてよい。エントロピデコーダ１５２は、チャネルから受信した符号化エンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を行ってよく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部１５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデータに実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じてよい。エンハンスメントレイヤデコーダ１５０は、エンハンスメントレイヤチャネルデータから明示的に、または、チャネルに提供されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部１５６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換してよい。逆変換部１５６によって生成されたピクセルデータは、加算部１６０の第１の入力に出力される。

フレームストア１６２は、エンハンスメントデコーダ１５０によって以前に復号化されたピクセルブロックのピクセルデータ１６４を格納してよい。ピクセルデータ１６４は、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エンハンスメントレイヤデコーダ１５０によって以前に復号化された参照フレームのピクセルブロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデータの予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコーダ１５０のための動きベクトルは、ベースレイヤデコーダ１２０に用いられる動きベクトルから予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上を助ける動きベクトル残差１６６（「Δｍｖ」と示されている）を受信する。

一実施形態において、動き補償予測部１５８は、ベースレイヤチャネルデータから動きベクトル１３４を、エンハンスメントレイヤチャネルデータからΔｍｖ１６６を受信する。分割マッピング部１７２は、ベースレイヤ復号化処理とエンハンスメントレイヤ復号化処理の両方のためのピクセルブロック定義を受信してよい。各復号化レイヤは、符号化ビデオに対して、異なるピクセルブロック分割が適用されたものであってよい。動き補償予測部１５８は、本明細書に記載するように、２つのピクセルブロック分割処理の導出として、エンハンスメントレイヤピクセルブロックのための動きベクトルを予測してよい。動き補償予測部１５８は、マルチプレクサ１６８および制御ライン１７０を通して、チャネル１８０に供給された復号化命令によって指示されたように、フレームストア１３２に格納されたベースレイヤ参照フレームから、および／または、フレームストア１６２に格納されたエンハンスメントレイヤ参照フレームから、ビデオデータを予測してよい。エンハンスメントレイヤデコーダからの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図１は、ビデオデコーダ１００の機能ブロック図である。実際には、コンピュータシステム上で実行されるソフトウエアプログラムとして、または、ハードウエアにおける回路システムとして、ビデオデコーダを提供することが一般的である。本発明の原理は、かかる用途のすべてに適用できる。

図２は、ビデオデータのフレームに適用された２つの代表的なピクセルブロック分割スキームを示した図である。１つの一般的な用途では、符号化ベースレイヤデータは、ある特定の表示サイズのビデオデータを表すが、符号化エンハンスメントレイヤデータは、より大きなサイズの同じビデオデータを表す。図２は、符号化ベースレイヤデータが、４×１２ピクセルのピクセルブロックを用いて１１２×９６ピクセルサイズのビデオフレームを表している一例である（図２（ａ））。この例において、符号化エンハンスメントレイヤデータは、６４×６４ピクセルのピクセルブロックを用いて４４８×３８４ピクセルサイズの同じビデオを表している（図２（ｂ））。したがって、符号化エンハンスメントレイヤが復号化されると、復元ビデオは、符号化ベースレイヤデータだけが復号化された場合に復元されたビデオの４倍のサイズを有する。

チャネル１８０からの符号化ビデオデータは、ベースレイヤとエンハンスメントレイヤの両方に対するピクセルブロックサイズを定義する管理データを含んでいてよい。かかるデータは、エンハンスメントレイヤの動き補償部１５８が利用するために、分割マッピング部１７２によって読み出されてよい（図１）。

図３は、本発明の一実施形態に従って、エンハンスメントレイヤ復号化処理で利用される動きベクトルを予測する方法３００を示す図である。方法３００は、ベースレイヤピクセルブロックおよびそれらの動きベクトルをスケーリングするステップから始まってよい（ステップ３１０）。エンハンスメントレイヤピクセルブロックの動きベクトルを予測するために、方法３００は、それぞれのエンハンスメントレイヤピクセルブロックと同位置のスケーリングされたベースレイヤピクセルブロックを識別してよい（ステップ３２０）。複数のスケーリングされたベースレイヤピクセルブロックが、この処理によって識別されてよい。かかるスケーリングされたベースレイヤピクセルブロックの各々に対して、方法３００は、エンハンスメントレイヤピクセルブロックとスケーリングされたベースレイヤピクセルブロックとの重複の程度に応じて重み付けして、スケーリングされたピクセルブロックに対応するスケーリングされた動きベクトルを平均化してよい（ステップ３３０）。一実施形態においては、スケーリングされたベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合（ステップ３４０）、隣接するベースレイヤピクセルブロックの動きベクトルから、動きベクトルが補間されてよい（ステップ３５０）。

図２（ｃ）は、図２の代表的なベースレイヤおよびエンハンスメントレイヤのピクセルブロック分割との関連で、図３の方法の動作を示す図である。上述のように、復元されたエンハンスメントレイヤビデオは、復元されたベースレイヤビデオの４倍のサイズを有する。ベースレイヤピクセルブロックは、４ピクセル×１２ピクセルであり、エンハンスメントレイヤピクセルブロックは、６４ピクセル×６４ピクセルである。ビデオサイズの差によってスケーリングされると、スケーリングされたベースレイヤピクセルブロックは、１６ピクセル×４８ピクセルである。図２（ｃ）は、３つの６４×６４のエンハンスメントレイヤピクセルブロック２１０．１―２１０．３（点線で示されている）、および、２つのレイヤの間のサイズ差（４倍）に従ってスケーリングされた１２のベースレイヤピクセルブロックＢＰＢｌｋ（０、０）−ＢＰＢｌｋ（３、３）の配列を示す図である。図に示したように、スケーリングされたベースレイヤピクセルブロックの間の境界は、エンハンスメントレイヤピクセルブロックの間の境界とそろっていない。例えば、スケーリングされたベースレイヤピクセルブロックＢＰＢｌｋ（０、０）、ＢＰＢｌｋ（０、１）、ＢＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）は、エンハンスメントレイヤピクセルブロック２１０．１内に完全に含まれているが、スケーリングされたベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、および、ＢＰＢｌｋ（１、３）の各々は、３分の１の領域だけエンハンスメントレイヤピクセルブロック２１０．１と重複している。これらのベースレイヤピクセルブロックの動きベクトルの寄与を平均化する時に、ベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、および、ＢＰＢｌｋ（１、３）からのスケーリングされた動きベクトルには、ベースレイヤピクセルブロックＢＰＢｌｋ（０、０）、ＢＰＢｌｋ（０、１）、ＢＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）のスケーリングされた動きベクトルよりも小さい重み付けが与えられてよい。

エンハンスメントレイヤ２１０．２に関しては、その領域内に完全に収まっているスケーリングされたベースレイヤピクセルブロックはない。ベースレイヤピクセルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、ＢＰＢｌｋ（１、３）、ＢＰＢｌｋ（２、０）、ＢＰＢｌｋ（２、１）、ＢＰＢｌｋ（２、２）、および、ＢＰＢｌｋ（２、３）はそれぞれ、ピクセルブロック２１０．２と３分の２重複している。各ベースレイヤピクセルブロックの動きベクトルの寄与を平均化する時に、動きベクトルは、重複の程度に対応した重み付けを割り当てられてよい。この例では、重複の程度がたまたま同じ３分の２であるという理由だけで、すべての同位置のベースレイヤピクセルブロックの重み付けが同じになる。

上述のように、本発明の実施形態は、ベースレイヤビデオデータおよびエンハンスメントレイヤビデオデータが符号化の前に任意のピクセルブロック分割を受けるマルチレイヤビデオデコーダのためのエンハンスメントレイヤ動きベクトルを予測する方法を提供する。

合成画像の生成およびフィルタリング
本発明の別の実施形態によると、復号化画像データが復号化レイヤの間で交換される時に、マルチレイヤデコーダが、合成画像の生成およびフィルタリングを提供してよい。発明者は、エンハンスメントレイヤ復号化がビデオフレームの特定の領域（本明細書では「予測領域」と呼ぶ）で実行される符号化環境への応用を想定している。レイヤ間フィルタリングは、ベースレイヤデコーダから得られる予測領域に対応する復元画像データに対して実行されてよい。マルチピクセルフィルタリング動作が、復元ベースレイヤデータに適用される場合、フィルタリング動作は、予測領域の境界において十分に効果的でない場合がある。フィルタリング動作の性能を向上させるために、予測領域データは、エンハンスメントレイヤデコーダのフレームストア内にある利用可能な以前に復号化されたフレームから得られた境界データで補完されてよい。

図４は、本発明の一実施形態に従って、階層化ビデオデコーダ４００を示す簡略化したブロック図である。図に示したように、ビデオデコーダ４００は、ベースレイヤデコーダ４２０およびエンハンスメントレイヤデコーダ４５０を備えてよく、各デコーダは、チャネル４８０から受信した符号化ビデオデータを受信する。チャネル４８０は、符号化ビデオデータの物理的な伝送を行うものであり、一般的に、チャネルは、電気的、磁気的、または、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気ケーブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ４２０による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ４５０による復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特定の実装例において、複数のエンハンスメントレイヤデコーダ（図４では、１つだけが図示されている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受信するデコーダ４００が適切なエンハンスメントレイヤデコーダにデータをルーティングすることを可能にする識別子を備える。

図４に示したように、ベースレイヤデコーダは、エントロピデコーダ４２２、逆量子化部４２４、逆変換部４２６、動き予測部４２８、加算部４３０、および、フレームストア４３２を備えてよい。符号化ビデオデータは、しばしば、例えば、ランレングス符号化などのエントロピ符号化スキームに従って圧縮されたシリアルデータストリームとしてビデオ情報を表す。エントロピデコーダ４２２は、この符号化処理の逆処理を行い、ベースレイヤデコーダ４２０によるさらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部４２４は、通例、エンコーダ（図示せず）によって実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダは、チャネルデータから明示的に、または、チャネルに提供されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部４２６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換する。逆変換部４２６によって生成されたピクセルデータは、加算部４３０の第１の入力に出力される。

フレームストア４３２は、ベースレイヤデコーダ４２０によって以前に復号化されたピクセルブロックのピクセルデータを格納してよい。ピクセルデータは、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、参照フレームのピクセルブロックに属するピクセルデータは、新たに受信したピクセルブロックのビデオデータの予測に利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセルブロックの動きベクトル４３４を含んでおり、それらの動きベクトルは、新たに受信したピクセルブロックの予測ソースとして用いられるピクセルデータを識別する。与えられたピクセルブロックに対して、動きベクトル４３４は、チャネルで直接的に供給されてもよいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい。

動き補償予測部４２８は、動きベクトルデータをレビューしてよく、対応するピクセルブロックのための予測ソースとしてフレームストア４３２からデータを読み出させてよい。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接提供されることが多い（ライン４３６）。一対の参照フレームから読み出されたピクセルデータが、加算部に提供される前に、処理（例えば、平均化）されてもよい。加算部４３０は、ピクセルブロック単位で復元画像データ４３８を生成してよく、そのデータは、出力データとしてベースレイヤデコーダから出力されてよい。ビデオフレームがビデオシーケンス内の参照フレームとして識別された場合、復元ビデオデータは、その後の復号化動作に用いるためにフレームストア４３２に格納されてよい。ベースレイヤデコーダ４２０からの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

一実施形態によると、ビデオデコーダ４００は、合成画像生成・フィルタリング（「ＣＩＧ」）部４４０とフレームストア４４２とを備えてよい。ＣＩＧ部４４０は、予測領域において復元されたベースレイヤビデオデータ４３８を受信してよい。それは、さらに、エンハンスメントレイヤデコーダ４５０から、復号化された画像データを受信してよい。ＣＩＧ部４４０は、図５および６に示すように、予測領域データと、予測領域を縁取る空間領域で生じる復元エンハンスメントレイヤデータとの間のマージによって合成画像データを生成してよい。なお、予測領域は、復元ベースレイヤデータと復元エンハンスメントレイヤデータとの間の画像サイズ決定の差を克服するために必要に応じてスケーリングされている。予測領域データと境界領域データは、ビデオシーケンス内の異なるフレームに由来する。

図４に示したように、エンハンスメントレイヤデコーダ４５０も、エントロピデコーダ４５２、逆量子化部４５４、逆変換部４５６、動き予測部４５８、加算部４６０、および、フレームストア４６２を備えてよい。エントロピデコーダ４５２は、チャネルから受信したエンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を行ってよく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子化部４５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデータに実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じてよい。エンハンスメントレイヤデコーダ４５０は、エンハンスメントレイヤチャネルデータから明示的に、または、チャネルに供給されたデータからの導出によって、量子化パラメータを受信するが、かかる処理は周知である。逆変換部４５６は、離散コサイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロック係数をピクセル値に変換する。逆変換部４５６によって生成されたピクセルデータは、加算部４６０の第１の入力に出力される。

フレームストア４６２は、ベースレイヤデコーダ４５０によって以前に復号化されたピクセルブロックのピクセルデータ４６４を格納してよい。ピクセルデータ４６４は、現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エンハンスメントレイヤデコーダ４５０によって以前に復号化された参照フレームのピクセルブロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデータの予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコーダ４５０のための動きベクトルは、ベースレイヤデコーダ４２０に用いられる動きベクトルから予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上を助ける動きベクトル残差４６６（「Δｍｖ」と示されている）を受信する。

一実施形態において、動き補償予測部４５８は、ベースレイヤチャネルデータから動きベクトル４３４を、エンハンスメントレイヤチャネルデータからΔｍｖ４６６を受信する。動き補償予測部４５８は、マルチプレクサ４６８および制御ラインを通して、チャネル４８０に供給された復号化命令によって指示されたように、フレームストア４４２内の予測データから、および／または、フレームストア４６２に格納されたエンハンスメントレイヤ参照フレームから、ビデオデータを予測してよい。随意的に、図１ないし３に示された処理に従って、動きベクトル予測が実行されてよい。エンハンスメントレイヤデコーダからの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用するために格納されてもよい。

図５は、マルチレイヤデコーダの合成画像生成・フィルタリング処理の動作を示す図である。図５（ａ）は、チャネルデータ（図示せず）から復元ベースレイヤ画像データ５２２を生成するベースレイヤデコーダ５２０の動作を示している。ベースレイヤ画像データ５２２は、図５（ｂ）に示された予測領域の範囲内に制限される。エンハンスメントレイヤデコーダ５５０は、以前に復号化されたフレームの画像データを（フレームストア５５２内に）格納しており、そのデータから境界領域データが抽出されてよい（図５（ｂ））。図５（ｂ）において、予測領域データは、境界領域と画像サイズが一致するようにスケーリングされていることが示されている。

ＣＩＧ部５３０は、予測領域データおよびエンハンスメントレイヤフレームストア５５２内の利用可能な画像データから合成画像を生成する画像マージ部５３２を備える。具体的には、どのフィルタリング動作が実行されるかを決定すると、画像マージ部５３２は、予測領域内の各ピクセル位置に対して完全にフィルタリング動作を実行するために取得される必要がある境界領域データの量を決定してよい。画像マージ部５３２は、対応する量のデータをフレームストア５３２から取り出して、予測領域画像データ５２２と統合してよい。その後、フィルタリング５３４が、従来の方法で合成画像データに適用されてよい。フィルタリングされた画像データは、その後の復号化動作でエンハンスメントレイヤデコーダ５５０が利用できるように、フレームストア５４０に格納されてよい。

レイヤ間合成画像の生成およびフィルタリング処理は、例えば、デブロックフィルタ、リンギングフィルタ、エッジ検出フィルタなどを含む、様々な周知のフィルタリング動作と共に利用されてよい。フィルタリング動作の種類は、チャネルに供給された管理信号５３６、または、その信号から導出された信号（図４にモード信号４４４として示されている）によって、合成画像生成・フィルタリング部５３０に対して指定されてよい。

一実施形態においては、マージおよびフィルタリング動作は、それぞれのデコーダ４２０、４５０によって出力された復元データよりも早い復号化段階で得られたデータに対して実行されてよい。したがって、ＣＩＧ部４４０は、ライン４３８の代わりに、逆変換部４２６、逆量子化部４２４、および、エントロピデコーダ４２２からの入力（点線）を受けることが図示されている。ＣＩＧ部４４０は、エンハンスメントレイヤデコーダから同様のデータを取得してもよい（図４には示されていない）。かかる場合には、ＣＩＧ部４４０は、それぞれのデコーダ４２０、４５０から取得される複数の種類のデータに対して複数のフィルタリング部（図５、５３０）を備えてよい。

本明細書では、本発明のいくつかの実施形態について詳細に図示および記載している。しかしながら、上述の教示により、本発明の趣旨および意図された範囲を逸脱することなく添付の特許請求の範囲内で、本発明の変形例および変更例が網羅されていることを理解されたい。

Claims (10)

1. マルチレイヤビデオ復号化処理において動きベクトルを予測する方法であって、
   ベースレイヤ復号化処理だけによって得られた復元ビデオデータとエンハンスメントレイヤ復号化処理から得られた復元ビデオデータのサイズ差を決定することと、
   前記決定されたサイズ差に従ってベースレイヤピクセルブロック分割マップをスケーリングすることと、
   前記サイズ差に従ってスケーリングされた時に、どのベースレイヤピクセルブロックが、エンハンスメントレイヤピクセルブロックと同位置にあるかを決定し、
   前記サイズ差に従って前記同位置にあるベースレイヤピクセルブロックの動きベクトルをスケーリングし、
   前記同位置にあるベースレイヤピクセルブロックの前記スケーリングされた動きベクトルを平均化すること
   に従ってエンハンスメントレイヤピクセルブロックの動きベクトルを予測することと、
   を備え、
   前記平均化することは、面積加重平均化であって、前記エンハンスメントレイヤピクセルブロックと、それぞれの前記スケーリングされたベースレイヤピクセルブロックとの重複の程度に従って、前記スケーリングされた動きベクトル各々の重み付け寄与を決定するものであり、同じスケーリングサイズを持つが前記エンハンスメントレイヤピクセルブロックとの重複の程度が異なる第１及び第２のスケーリングされたベースレイヤピクセルブロックに関して、相対的に大きな重複面積を持つ前記第１のスケーリングされたベースレイヤピクセルブロックに対応する第１のスケーリングされた動きベクトルに対しては、相対的に小さな重複面積を持つ前記第２のスケーリングされたベースレイヤピクセルブロックに対応する第２のスケーリングされた動きベクトルに対するよりも大きな重み付けが与えられるものである、方法。
2. 請求項１に記載の方法であって、さらに、同位置にあるベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合に、隣接するベースレイヤピクセルブロックの動きベクトルから、それぞれの前記同位置にあるベースレイヤピクセルブロックの動きベクトルを補間することを備える、方法。
3. 請求項１に記載の方法であって、さらに、通信チャネルから受信したエンハンスメントレイヤピクセルブロック定義およびベースレイヤピクセルブロックから分割マップを生成することを備える、方法。
4. 請求項１に記載の方法であって、さらに、前記予測された動きベクトルに従って、格納された復号化ベースレイヤ画像データから前記エンハンスメントレイヤピクセルブロックのエンハンスメントレイヤ画像データを予測することを備える、方法。
5. 請求項１に記載の方法であって、さらに、前記予測された動きベクトルに従って、格納された復号化エンハンスメントレイヤ画像データから前記エンハンスメントレイヤピクセルブロックのエンハンスメントレイヤ画像データを予測することを備える、方法。
6. マルチレイヤビデオデコーダであって、
   チャネル内に供給されたベースレイヤ符号化ビデオから復元ベースレイヤ画像データを生成するためのベースレイヤデコーダであって、前記復元ベースレイヤ画像データは時間予測技術に従って生成される、ベースレイヤデコーダと、
   チャネル内に供給されたエンハンスメントレイヤ符号化ビデオから復元エンハンスメントレイヤ画像データを生成するためのエンハンスメントレイヤデコーダであって、前記復元エンハンスメントレイヤ画像データは時間予測技術に従って生成される、エンハンスメントレイヤデコーダと、を備え、
   前記エンハンスメントレイヤデコーダは、
   ベースレイヤ画像データおよびエンハンスメントレイヤ画像データのピクセルブロック分割を表す情報を格納する分割マップと、
   動きベクトルに従って、以前に復号化された画像データから復元エンハンスメントレイヤ画像データを予測する動き補償予測部とを備え、
   少なくとも１つのエンハンスメントレイヤピクセルブロックの動きベクトルは、
   ベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロックとの間のサイズ差に従ってスケーリングされた時に、どのベースレイヤピクセルブロックが、少なくとも１つの前記エンハンスメントレイヤピクセルブロックと同位置にあるかを決定し、
   前記サイズ差に従って前記同位置にあるベースレイヤピクセルブロックの動きベクトルをスケーリングし、
   前記同位置にあるベースレイヤピクセルブロックの前記スケーリングされた動きベクトルを平均化すること、
   に従って予測され、
   前記平均化することは、面積加重平均化であって、前記少なくとも１つのエンハンスメントレイヤピクセルブロックと、それぞれの前記スケーリングされたベースレイヤピクセルブロックとの重複の程度に従って、前記スケーリングされた動きベクトル各々の重み付け寄与を決定するものであり、同じスケーリングサイズを持つが前記少なくとも１つのエンハンスメントレイヤピクセルブロックとの重複の程度が異なる第１及び第２のスケーリングされたベースレイヤピクセルブロックに関して、相対的に大きな重複面積を持つ前記第１のスケーリングされたベースレイヤピクセルブロックに対応する第１のスケーリングされた動きベクトルに対しては、相対的に小さな重複面積を持つ前記第２のスケーリングされたベースレイヤピクセルブロックに対応する第２のスケーリングされた動きベクトルに対するよりも大きな重み付けが与えられるものである、マルチレイヤビデオデコーダ。
7. 請求項６に記載のマルチレイヤビデオデコーダであって、同位置にあるベースレイヤピクセルブロックが、それに関連する動きベクトルを有していない場合に、前記動き補償予測部は、隣接するベースレイヤピクセルブロックの動きベクトルから、それぞれの前記同位置にあるベースレイヤピクセルブロックの動きベクトルを補間する、マルチレイヤビデオデコーダ。
8. 請求項６に記載のマルチレイヤビデオデコーダであって、前記分割マップは、通信チャネルから受信したエンハンスメントレイヤピクセルブロック定義およびベースレイヤピクセルブロックから分割情報を導出する、マルチレイヤビデオデコーダ。
9. 請求項６に記載のマルチレイヤビデオデコーダであって、前記以前に復号化された画像データは、格納された復号化ベースレイヤ画像データである、マルチレイヤビデオデコーダ。
10. 請求項６に記載のマルチレイヤビデオデコーダであって、前記以前に復号化された画像データは、格納された復号化エンハンスメントレイヤ画像データである、マルチレイヤビデオデコーダ。

Images