JP2005515729A - ビデオ符号化方法 - Google Patents

Abstract

本発明はビデオシーケンスに適用される符号化方法で、前記ビデオシーケンスは連続するフレームのグループ（ＧＯＦ）に分割され、さらに前記ＧＯＦは参照フレーム及び現フレームを有する連続するフレームの対（ＣＯＦ）に分割されるようなビデオシーケンスに適用される符号化方法であって、各フレームの対（ＣＯＦ）に適用する動き予測工程、分解を時空サブバンドによって定義するために各ＧＯＦに対して動きベクトル場に基づく動き補償時間的解析及び空間ウェーブレット変換を適用する動き補償３次元（３Ｄ）サブバンド動き補償分解工程、時空サブバンドを量子化し符号化するための符号化工程、及び制御工程を有する符号化方法に関する。本発明によると、処理対象となるＧＯＦにおける連続するＣＯＦに対する動き補償工程の方向は所定の方式によって決定され、好適にはこの方式は連続するＣＯＦに対して動き補償工程の方向を交互に変更する方式あるいは動き予測及び補償処理がエネルギー条件に基づいて選択される限られた数のＣＯＦに集中されるように設定される任意変更方式に相当する。

Description

本発明は一般にデータ圧縮の分野に関し、特にビデオシーケンスに適用される符号化方法で、このビデオシーケンスは連続するフレームのグループ（ＧＯＦ：Ｇｒｏｕｐｓ ｏｆ Ｆｒａｍｅｓ）に分割され、さらにこのＧＯＦは参照フレーム及び現フレームを有する連続するフレームの対（ＣＯＦ：Ｃｏｕｐｌｅ ｏｆ Ｆｒａｍｅｓ）に分割されるようなビデオシーケンスに適用される符号化方法であって、
（Ａ） 各ＧＯＦにおける各フレームの対（ＣＯＦ）の参照フレームと現フレームとの間の動きベクトル場を定義するために前記各ＣＯＦに適用する動き予測工程、
（Ｂ） 分解を時空サブバンドによって定義するために各ＧＯＦに対して前記動きベクトル場に基づく動き補償時間的解析及び空間ウェーブレット変換を適用する動き補償３次元（３Ｄ）サブバンド動き補償分解工程、
（Ｃ） 前記時空サブバンドを量子化し符号化するための符号化工程、及び
（Ｄ） 前記符号化工程の出力で観測されるバッファーステータスに基づいて前記動きベクトル場と前記時空サブバンドとの間で共用されるビットレート配分を定義するための制御工程を有する符号化方法に関する。

デジタル機器のネットワーク帯域幅及び記憶容量は著しく増加しているものの、これに優るマルチメディアコンテンツの大きさの増大によりビデオ圧縮技術は現在においても重要な役割を担う。さらに多くのアプリケーションは高い圧縮効率だけでなく高い柔軟性を必要とする。例えば異質のネットワーク間においてビデオを伝送する場合ＳＮＲ拡張性が要され、それぞれの演算能力や、表示能力、記憶容量などに応じて復号化を実行する各種デジタル端末によって復号されることが可能な圧縮ビデオビットストリームを生成するためには空間的／時間的拡張性が要される。

現在ＭＰＥＧ−４などの規格は、予測ＤＣＴベースのフレームワークにおいて高価なレイヤを付加して限られた拡張性を実現する。最近ではより効率的な対策として、静止画像の符号化技術をビデオ符号化技術に拡張して３Ｄウェーブレット分解を実行した後時空ツリーの階層符号化を実行する方法が提案されている。３Ｄ空間としてみなされるフレームのシーケンスの３Ｄ（又は２Ｄ＋ｔ）ウェーブレット分解は、自然な空間分解能及びフレーム率拡張性を提供し、階層ツリーにおいて生成された係数の深さ方向スキャニング（ウェーブレット変換により得られる係数は階層的ピラミッドを構成し、ここにおいて時空関係はこれら係数間の親子関係を示す３次元方向性ツリーによって定義される）及びプログレッシブ・ビットプレーン符号化技術によって所望の拡張性が得られる。よって符号化効率に関して比較的低いコストでより高い柔軟性が得られる。

従来技術において上記のようなアプローチを適用するいくつかの例がある。このような例では、一般的に入力ビデオシーケンスはＧＯＦ（Ｇｒｏｕｐｓ ｏｆ Ｆｒａｍｅｓ）に分割され、それぞれのＧＯＦはさらに連続するフレームの対（これはいわゆるＭＣＴＦ（Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ）モジュールのための入力の数だけある）に分割される。具体的には各ＧＯＦは図１に示されるようにまず動き補償処理（ＭＣ）され、時間フィルタリング処理（ＴＦ）される。これによって得られる第１時間分解レベルにおける低周波数（Ｌ）時間サブバンドはさらに時間フィルタリング処理（ＴＦ）され、この処理は低周波数サブバンドが２つだけになった時点で終了する（根元時間サブバンドが得られるまで）。この２つのサブバンドはそれぞれＧＯＦを半々に分けたときの第１部分及び第２部分の時間的近似値を表す。図１の例では、ＧＯＦのフレームはそれぞれＦ１〜Ｆ８とされ、点線の矢印はハイパス時間的フィルタリング処理を示し、一方で実線矢印はローパス時間的フィルタリング処理を示す。ここでは３段階の分解が示される（ＬとＨ＝第１段階、ＬＬとＬＨ＝第２段階、ＬＬＬとＬＬＨ＝第３段階）。また、この例で示される８フレームからなるＧＯＦの各時間分解レベルでは動きベクトル場が生成される（第１段階ではＭＶ４、第２段階ではＭＶ３、第３段階ではＭＶ２）。

時間分解にハールのマルチ分解能解析が適用される場合、各時間分解レベルにおいて２つのフレームごとに１つの動きベクトル場が生成されるため、生成される動きベクトル場の数は時間サブバンド内のフレームの数の半分に等しくなる。よってこの例では動きベクトル場は第１レベルでは４つ、第２レベルでは２つ、第３レベルでは１つ生成される。動き予測（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）及び動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）は入力シーケンスにおける２つのフレームごとについて実施され、時間ツリー全体についてのＭＣＴＦ処理において要されるＭＥ／ＭＣ処理の数はおおよそ予測方式におけるこの数と同様である。このような単純なフィルタを用いて低周波数の時間サブバンドは入力フレーム対の時間的平均を表し、高周波数のサブバンドはＭＣＴＦ工程後の残差を含む。

このような３Ｄビデオ符号化方法では、ＭＥ／ＭＣ処理は一般には前向き方向に行われる。すなわちフレームの対（ｉ，ｉ＋１）に動き補償を行う際、ｉはｉ＋1の動き方向に変位される。図１に示されるように、８フレームを含む入力ＧＯＦについて３つの時間フィルタ処理を連続して行った場合、時間フィルタ処理は参照フレーム及び現フレーム（例えばフレームＦ１及びＦ２）を入力として取り込み、低周波数（Ｌ）サブバンド及び高周波数（Ｈ）サブバンドを提供する。上述のようにハール・フィルタを用いることにより、低周波数のサブバンドは入力フレーム対の時間平均を含み、高周波数のサブバンドは動き補償工程から得られる残差を含む。この処理は次の２つのフレームの対についても繰り返され、このようにして各フレーム対が処理され、４つの低周波数時間サブバンドが得られる。そして次の時間レベルにおいてもこれと同様の時間的フィルタリング処理が低周波数サブバンドの対に実施される。この処理が繰り返され、最低の時間分解能レベルに達するとそれぞれＧＯＦの片半分ずつを表す２つの低周波数サブバンドが得られる。しかし実際には時間的フィルタリング処理が行われる結果得られる時間的平均は参照フレームにずれる傾向にあり、低周波数サブバンドは現フレームよりも参照フレームについての情報をより多く含む。ここではＭＥ／ＭＣ処理は前方向に行われるため、同様のずれが各時間分解レベルを影響し、これがＧＯＦの半分ずつを表す２つのフレームにも反映される。

この現象は以下の時間的フィルタリング等式（１）及び（２）によって説明されうる。等式（１）及び（２）はそれぞれ低周波数サブバンド及び高周波数サブバンドのＭＣＴＦ等式を示し、ここでは参照フレームと低周波数サブバンドとの両方から動きベクトル場が減算されている（Ａ＝参照フレーム、Ｂ＝現フレーム）

予測エラー値がゼロであると仮定すると、

が得られる。したがって低周波数のサブバンドは参照フレームに非常に似ている。よって不完全な復元の場合、これらのＭＣＴＦ等式は必ず現フレームよりも参照フレームをより忠実に復元することになる。

図２はＭＣＴＦ処理とブロックマッチングＭＥ処理を合わせて実行する場合を示す。この図においてブロック境界（ＢＢＹ）は横線によって示される。参照フレームＡにおいて一致するブロックは隣接するブロックと重複することが可能である。この場合この参照フレームＡのサブセットだけが現フレームＢのＭＣ処理において用いられる。すなわちピクセルによって１回以上フィルタリングされるものもあり、全くフィルタリングされないものもあり、このようなピクセルはそれぞれ重複接続ピクセル及び非接続ピクセルと呼ばれる。動き補償処理されたフィルタ出力だけが符号化され伝送される場合、非接続ピクセルが残される可能性があり（典型的にはピクセル全体の３〜５％）これは符号化処理全体の符号化ゲイン及び主観的ビデオ画質を大きく影響しうる。この非接続ピクセルの問題を低減するために非特許文献１においては低周波数サブバンドを参照フレームの位置に置き、高周波数のサブバンドを現フレームにおける対応位置に置く（等式（１）、（２）参照）方法が提案される。これにより高周波数サブバンドはできる限り小さなエネルギーを有し、非接続ピクセルのＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｒａｍｅ Ｄｉｆｆｅｒｅｎｃｅ）値に対応する（非接続ピクセルのＭＣＴＦに対応する等式（３）及び（４）参照）。

しかしこの処理は完全にこの非接続ピクセルの問題を解決することはできず、例えばビデオビットストリームが一部だけ復号化されている場合これらの非接続ピクセルは時空ツリーの復元において混乱を招く可能性がある。

そこである低周波数サブバンド及び高周波数サブバンドの対について、高周波数サブバンドに伝送されるウェーブレット係数がなかったと仮定すると（Ｈ＝０）、フレームＡ（参照フレーム）及びフレームＢ（現フレーム）の復元等式

は、以下のような等式によって表されることができる。

これらの等式はそれぞれ復号された高周波数サブバンドが係数を含まないような復元参照フレーム及び現フレームに対応する。そしてこれに対応する復元は以下の等式（９）及び（１０）によって表される。

ここでεは、予測エラーを表す。上記からこのエラーはフレームＡとフレームＢとの間で均等に分布されていることがわかる。

しかし非接続ピクセルについては、上記と同様の結果は得られない。すなわち以下に示される復元等式（１１）及び（１２）：

は、Ｈ＝０のとき

になり、これによって復号された高周波数サブバンドが係数を含まないような参照フレーム及び現フレームの非接続ピクセルの復元エラーは、以下の式（１５）及び（１６）によって示される。

この場合エラーはすべて現フレームに置かれる。カスケード状態の前方向ＭＥ／ＭＣ処理によりこのエラーは時間的ツリーにおいて深さ方向に増殖し、よってＧＯＦのそれぞれ半分ずつを表すサブバンドにおける画質の低下が生じ、目障りなビジュアル効果が発生しうる。

このようなずれは特に（２Ｄ＋ｔ）ビデオ符号化方式において問題となる。というのはこのような符号化方式においては均等な時間的分解がウェーブレット係数の効率的な符号化の必要条件となる（根元サブバンドの係数は最も高いレベルでのオフスプリングを有し、データ圧縮においては同じ線の係数は同様な動きを有すると仮定される）。

また、３Ｄサブバンド符号化アプローチにおいては、参照フレームと現フレームとの間の時間的距離（（参照，現）対）は時間レベルが深くなるにつれて増大する。例えばある連続する２つのフレーム間の時間的距離が１であるとすると、別の２つのフレームの間に１つのフレームを挿入しうる場合はこの２つのフレーム間の時間的距離は２である。上述のように低周波数の時間的サブバンドは入力参照フレームに非常に近似するため、低周波数の時間的サブバンドは対応する参照フレームと同一の時点に位置するとされる。よって上記の時間的距離の概念は低周波数の時間的サブバンドにも拡張される。これにより、各時間的分解能レベルでフレーム間（又はサブバンド間）の時間的距離を求めることが可能である。この動き補償処理の前方向方式が適用された場合、図３に示されるように時間レベルｎ≧１では、フレーム間の時間的距離は２^ｎに等しい。動き補償処理において画質を左右する要素は数多く存在するが、そのうちの最も重要な要素の１つがフレーム間の時間的距離である。この距離が小さい場合、この距離によって離間される２つのフレームはより似通っていると予想され、ＭＥ／ＭＣ処理はより効率的である。一方動き補償処理の対象となるフレームがその参照フレームから非常に離れている場合、残画像（高周波数サブバンド）のエラーエネルギーは高く、この残画像の係数の復号は手痛い。例えば完全な復元が得られる前にこの符号化処理が停止された場合（これはあらゆるビットレートが対象となるスケーラブル方式では頻繁に起きる）高周波数サブバンドは何らかのアーチファクトを含む可能性が高く、よって復元されるビデオは劣化する。
“Motion-compensation 3D subband coding of video”, S.J. Choi and J.W. Woods, IEEE Transactions on Image Processing, vol.8, n°2, February 1999, pp.155-167

したがって本発明は上記のようなアーチファクトの発生を招くズレが少なくとも低減されるようなビデオ符号化方法を提供することを目的とする。

上記目的を達成するために、本発明は上述のようなビデオ符号化方法において、動き補償工程の方向が、処理対象とするＧＯＦにおけるＣＯＦに応じて変更されることを特徴とする。

本発明の好ましい一実施形態として、処理対象とされるＧＯＦにおける連続する各ＣＯＦに対する動き補償工程の方向は後方向と前方向と交互に変更される。

この方法によると、深い時間的分解レベルにおいてＭＥ／ＭＣ処理の対象となる参照フレームと現フレームとの対がより接近した状態となり、また、各分解能レベルにおいてより均等でバランスの取れたＧＯＦの時間的近似値が得られる。よって時間的サブバンド間におけるビット予算のより均等な再分布が実現され、ＧＯＦ全体についてのグローバルな符号化効率が改善されうる。特に低ビットレートでは、復元されたビデオシーケンスの全体的な画質が改善される。

本発明のまた別の好適な実施形態としては、処理対象とされるＧＯＦにおける連続する各ＣＯＦに対する動き補償工程の方向は任意変更方式により決定され、動き予測及び補償処理はエネルギー条件に応じて選択される限られた数のＣＯＦに集中されることを特徴とする。

この方法では、ＧＯＦ内における一定のフレームを優先し、他のフレームを犠牲にすることにより、特に時間的領域において改善された符号化効率が得られる。

図３を参照して説明される３Ｄビデオ符号化方式においては、ＭＥ／ＭＣ処理が前方向に実行されるのに対して、本発明は動き予測処理の方向を処理対象のフレームの対（ＣＯＦ）によって変更することを提案する。例えば本発明による第１実施形態においては、図４に示すようにＧＯＦ内の連続するフレームの対（ＣＯＦ）に対する動き予測処理の方向は後方向から始まって、前方向と後方向と交互に変更されることが提案される。この方法により、さらに深い時間レベル（ｎ＞１）において処理されるフレームの対（ＣＯＦ）が相互により接近した状態となる。つまり時間レベルｎ＝１では、対をなす２つのフレーム間の時間的距離が従来では２であるのに対して１に低減される。また、時間レベルｎ＝２では、この距離が従来では４であるのに対して本実施例では３となる。このようにしてフレーム間の時間的距離が低減されうる。より一般的には、動き予測処理の方向を交互に変更させる方法は以下の式によって実現されうる。

ここでｎは時間的分解レベルを表し、ｄ_{ｉｎｔｒａ}はＧＯＦ内のフレーム間の時間的距離又は（参照、現）対の距離を表し、ｄ_{ｉｎｔｅｒ}は連続するフレーム対間の時間的距離を表す。

この方法により、最低周波数の時間的サブバンドはＧＯＦの中央側にずらされ、よりバランスの取れた時間的分解が実現される。ここでは、非接続ピクセルに起因する画質の劣化はあるものの従来例のように時間レベルの進行とともにこれが累積することはない。３Ｄサブバンドビデオ圧縮方式においてこのように改造されたＭＥ／ＭＣを適用することにより、図５に示されるように低いビットレートでは符号化効率の著しい向上が実現される。図５は本発明を適用した場合（ＰＡの場合）のＧＯＦにおけるフレームインデックスＦＩに対するＰＳＮＲ（ピーク信号／ノイズ比）の発展の典型（平均）プロフィール（周知のフォーマン・シーケンスによってテスト済み）と、前方向ＭＣのみを適用した場合（ＰＢの場合）における同様のＰＳＮＲプロフィールとを対比させて示す。本発明の場合においては、画質についての平均ゲインは１ｄＢ程度であり、ここでは前方向のＭＣのみを適用する場合に比べて画質がＧＯＦにおいてより均等に分布される。なお、最高画質のフレームは次の時間レベルで低周波数サブバンドが参照フレームとして再利用されるようなフレームである。これは復号処理がビットストリームの最後まで実行される前に停止された場合は高周波数のサブバンド／フレームに比べて参照サブバンド／フレームのほうががより正確に復元されることから驚くことではない。この改造されたＭＥ／ＭＣ方式によると、各時間レベルにおいて最も高品質の参照フレーム／サブバンドが利用されることが保障される。

しかし例えばフレーム・シーケンスの抽出において第１部分（例えば第１ＧＯＦ）が多くの動きを含むのに対して（例えばカメラ・パンニングなどから）、この抽出の第２部分（例えば第２ＧＯＦ）がほとんど動きを含まない場合、以下のような現象が見受けられる。まず、低ビットレートでは、抽出の第１部分（第１ＧＯＦ）には多くの動きが含まれることから正確に符号化されることが不可能である。すなわち視覚的には、復元されたビデオは、ブロックマッチングＭＥ及び低能なエラー符号化によって発生する目障りなブロック・アーチファクトを多く含むことになる（このようなアーチファクトは高いビットレートでのみ排除することが可能である）。そこでコンテンツの動きに応じて動き予測処理の方向を変更することが提案される。しかし、処理対象とされるシーケンスが従来の前方向ＭＥ方式あるいは上記改造されたＭＥ方式を用いて符号化された場合、第１ＧＯＦの終端（この第１ＧＯＦは多くの動きを含むが、この動きは同ＧＯＦの終端側では停止するため同終端は静止状態に近い）は、第２ＧＯＦにおける同様のフレーム（これは完全な静止画像である）に比べて低画質である。この第１ＧＯＦの終端における静止画像の問題点は、これらが多くの動きを含むその前のフレームと一緒のＧＯＦにまとめられてしまうことにある。

そこで、エネルギー条件に基づいて、ＭＥ及びＭＣ処理をこの第１ＧＯＦの終端で（静止しているため）似通っている連続フレームに集中し、真ん中のフレームは結局高画質で符号化することができないため（許容される最高ビットレートが十分でないため）、これらのフレームを犠牲にしてしまう方法が提案される。この方法の適用が図６において示される。この方法と前述の方法とを比べると（あるいは各場合における復元されたフレームの質を比較すると）この方法では実際に第１ＧＯＦにおける真ん中のフレームが犠牲にされ、第１ＧＯＦの静止フレームにおける質の向上がされる。このようなコンテンツベースのＭＥ／ＭＣ処理の方向付け方式を適用することにより符号化効率及び視覚上の観点から改善が実現される。したがって現ＧＯＦについてどのＭＥ／ＭＣ方式が適切であるかを見極めることが求められる。このような評価を行うためエネルギー基準を設定することが可能である。より具体的には例えば分解処理において得られる時間的フィルタリング処理された高周波数サブバンドに含まれるエネルギーの量に基づく判断基準などを設定することが可能である。

動き補償が適用される時間サブバンド分解を示す図である。 重複接続ピクセルと非接続ピクセルとの問題を示す図である。 ＧＯＦにおける動き補償処理の一般的な実行方法を示す図である。 本発明の一実施例による改善された動き補償の実行方法を示す図である。 図３及び図４の方法を対比する図である。 本発明の第２実施例による改善された動き補償の実行方法を示す図である。

Claims (3)

1. ビデオシーケンスに適用される符号化方法で、前記ビデオシーケンスは連続するフレームのグループ（ＧＯＦ）に分割され、さらに前記ＧＯＦは参照フレーム及び現フレームを有する連続するフレームの対（ＣＯＦ）に分割されるようなビデオシーケンスに適用される符号化方法であって、
   各ＧＯＦにおける各フレームの対（ＣＯＦ）の参照フレームと現フレームとの間の動きベクトル場を定義するために前記各ＣＯＦに適用する動き予測工程、
   分解を時空サブバンドによって定義するために各ＧＯＦに対して前記動きベクトル場に基づく動き補償時間的解析及び空間ウェーブレット変換を適用する動き補償３次元（３Ｄ）サブバンド動き補償分解工程、
   前記時空サブバンドを量子化し符号化するための符号化工程、及び
   前記符号化工程の出力で観測されるバッファーステータスに基づいて前記動きベクトル場と前記時空サブバンドとの間で共用されるビットレート配分を定義するための制御工程を有する符号化方法において、
   前記動き補償工程の方向は処理対象とされるＧＯＦにおけるＣＯＦに応じて変更されることを特徴とする符号化方法。
2. 前記動き補償工程の方向は、処理対象となるＧＯＦにおける連続する各ＣＯＦに対して後方向と前方向と交互に変更されることを特徴とする請求項１記載の符号化方法。
3. 前記処理対象となるＧＯＦにおける連続する各ＣＯＦに対する前記動き予測工程の方向は、任意変更方式によって決定され、前記動き予測及び補償処理は、エネルギー条件に基づいて選択される限られた数のＣＯＦに集中されることを特徴とする請求項１記載の符号化方法。

Images