JP2008536414A - ビデオの拡張された符号化方法及び装置 - Google Patents

Abstract

標準的なビデオ圧縮技術は、予測誤差の変換符号化と組み合わされた動き補償予測に適用される。部分画素の動きベクトル精度による予測のコンテキストにおいては、画像信号に含まれるエイリアシング成分は動き補償によって達成される予測効率を制限することが証明された。エイリアシング、量子化及び動き推定誤差、カメラノイズなどを考慮するために、予測誤差エネルギーを最小化することによりフレーム毎に独立して計算される二次元（２Ｄ）非分離補間フィルタを解析的に開発した。補間されるべきあらゆる部分画素の位置に関して、各２Ｄフィルタ係数セットを決定する。

Description

本発明は、ビデオ信号を符号化及び復号化するための方法及び対応する装置に関する。

ビデオ信号の符号化は技術上周知であり、通常、ＭＰＥＧ４又はＨ．２６４／ＡＶＣ規格に関連している。これらの２つの規格の責任委員会は、ＩＳＯ及びＩＴＵである。ビデオ信号のビットレートを小さくするために、ＩＳＯ及びＩＴＵの符号化規格は、予測誤差の変換符号化と組み合わされた動き補償予測を用いるハイブリッドなビデオ符号化を適用している。その第１のステップでは、動き補償予測が実行される。既に送信された複数の画像からの現在の画像の予測には、時間冗長性、即ち連続する画像間の相関関係が利用される。第２のステップでは、残差が変換符号化され、これにより空間冗長性が低減される。

動き補償予測を実行するために、現在の画像のシーケンスは複数のブロックに分割される。各ブロックについて、複数の参照画像のうちの１つにおける対応位置を表す変位ベクトルｄ_ｉが推定され、送信される。変位ベクトルは、部分画素の（fractional-pel）精度を有してもよい。現在の規格であるＨ．２６４／ＡＶＣは、１／４画素の（1/4-pel）変位精度を見込んでいる。部分画素の精度を有する変位ベクトルは、サンプルされた位置の間に位置づけられる、参照画像における位置を指してもよい。部分画素の（副画素の（sub-pel））変位を推定して補償するためには、参照画像は副画素位置において補間されなければならない。Ｈ．２６４／ＡＶＣは、複数の固定のフィルタ係数の６タップのウィーナ補間フィルタを用いる。Ｈ．２６４／ＡＶＣに用いられる補間プロセスは図１に示され、２つのステップに分割することができる。まず、半画素（half-pel）位置、ａａ，ｂｂ，ｃｃ，ｄｄ，ｅｅ，ｆｆ及びｇｇ，ｈｈ，ｉｉ，ｋｋ，ｌｌ，ｍｍはそれぞれ、水平又は垂直の６タップのウィーナフィルタを用いて計算される。副画素位置ａａ，ｂｂ，ｃｃ，ｄｄ，ｅｅ，ｆｆで適用されたものと同じウィーナフィルタを用いて、副画素位置ｊが計算される（もしくは、副画素位置ｊは、副画素位置、ｇｇ，ｈｈ，ｉｉ，ｋｋ，ｌｌ，ｍｍで適用された水平のフィルタセットを用いて計算されてもよい。）。第２のステップでは、既に計算された半画素位置及び既存の整数画素（full-pel：フル画素ともいう。）位置で適用される双線形（双一次）フィルタを用いて、残りの１／４画素位置が取得される。

S.Heading, "Prediction and Coding of the Filter Coefficients".

本発明の目的は、ビデオデータをより効果的に符号化及び復号化するための方法を提供することにある。

この目的は、請求項１、１３及び２１に記載されている方法によって達成される。

従って、動き補償予測を用いて動画を表すビデオ信号を符号化するための方法が提供され、当該方法は、ビデオ信号の連続する複数のフレームを受信するステップと、上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するステップと、上記参照フレームの副画素位置の値（ｐ^ＳＰ（ａ，…，ｏ））を、各二次元フィルタ係数セットを有するフィルタを用いて解析的に計算するステップとを含む。本発明のこの態様によれば、本発明は、２つの一次元フィルタに基づいて副画素位置の値を２つのステップで計算する代わりに、上記副画素位置の値を二次元フィルタ係数セットを用いて１つのステップで計算する方法を開示する。

副画素位置に対して各等式セットを求めることによって、フィルタセットを確立することができる。従って、上記計算は、副画素位置毎に独立している。

本発明の一態様によれば、上記二次元フィルタ係数が計算される現在の副画素位置に対する、対応する整数画素位置の距離が等しいという制約の下で、二次元フィルタ係数の幾つかは等しく設定される。これは、データのオーバーヘッドの減少に寄与し、全てのフィルタ係数を送信する代わりに、減少した数のフィルタ係数を送信するだけでよい。

本発明の他の態様によれば、フィルタ係数は符号化される。符号化は、第１のフィルタセットの第２のフィルタセットに対する差分が送信されなければならない時間的予測に基づくものであってもよい。また、上記予測は、ビデオ信号の統計学的特性の対称性が利用される空間的予測に基づくことも可能である。第２の副画素の二次元フィルタ係数を予測するステップは、結果が第２の副画素のために用いられるように、第１の副画素の二次元フィルタ係数のフィルタ設定のインパルス応答に対する補間ステップを用いて実行される。フィルタ係数の符号化は、符号器から復号器に送信されるデータの量をさらに減少させる。

本発明の他の態様によれば、一次元フィルタ係数を有する標準的な表現形式のフィルタは、対応する二次元形式のフィルタに置き換えられる。従って、ビデオ信号を符号化又は復号化するために提供される手段は、二次元及び一次元のフィルタセットが用いられる場合でも、二次元の表現形式の必要条件のみを満たすように構成されることが可能である。

本発明による方法は、例えば固定の係数を有するウィーナフィルタのような全種類のフィルタリングをサポートする。上記二次元フィルタは、多相フィルタであってもよい。

本発明の一態様によれば、幾つかのフィルタ係数セットが送信されるように、１つの画像の異なる領域毎に異なるフィルタが提供され、本方法は、ある所定の領域にどのフィルタセットが用いられるべきかを指示するステップを含む。従って、異なる領域で同一のフィルタ係数セットであれば、各フィルタ係数セットの全てを送信する必要はない。フィルタ係数に関連するデータを符号器から復号器に繰り返し伝達する代わりに、上記所定の領域のためのフィルタセットは、１つのフラグなどを用いて選択される。上記領域は、マクロブロック又はスライスであってもよい。特に、マクロブロックの場合、パーティションＩＤを示す信号を送信することが可能である。

本発明の他の態様によれば、動き補償予測を用いて動画を表すビデオ信号を符号化するための異なる方法が提供される。本方法は、ビデオ信号の連続する複数のフレームを受信するステップと、上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するステップと、副画素位置の値を、最適化基準の適応的な最小化により、独立して計算するステップとを含む。本発明のこの態様によれば、副画素位置の値を計算するステップは独立して実行されるだけでなく、最適化基準を適応的に最小化することによっても実行される。「適応的に」は、適応アルゴリズム又は反復法を用いることを意味する。適応解を提供することにより、符号器は所定の最適化基準に対する最適解を発見できる。最適化基準は時間的に又は副画素の異なる位置毎に変化する可能性があり、必然的に、最適解は連続的に適応される。本発明のこの態様を、フィルタ係数が適応的に計算されるように、各二次元フィルタ係数セットを有するフィルタを用いて副画素位置の値を解析的に計算するステップと組み合わせてもよい。最適化基準は、レート歪み測度又は予測誤差エネルギーに基づいてもよい。各副画素位置のフィルタ係数に対して個々に等式セットを求めることによって、計算を実行することができる。特に、予測誤差エネルギーを最適化基準とする場合、まず、最適解を求めるために予測誤差エネルギーの導関数を計算することが可能である。現在の副画素位置に対する対応する整数画素位置の距離が等しいときに、二次元フィルタ係数を等しく設定することによっても益を得ることができる。等しくするステップは、ビデオ信号の統計学的特性、静止画又は他の任意の基準に基づくものであってもよい。上記二次元フィルタ係数は、（例えば、前の画像（イメージ）又はピクチャ又はフレームに用いられる）第２のフィルタセットに対する第１のフィルタセットの差分が決定されなければならない時間的予測によって符号化されてもよい。また上記フィルタ係数は、先に述べたようにビデオ信号の統計学的特性の対称性が利用される空間的予測によって符号化されてもよい。上記二次元フィルタは、多相フィルタであってもよい。

幾つかのフィルタ係数セットを送信できるように、１つの画像の異なる領域毎に異なるフィルタが提供されてもよく、本方法は、ある所定の領域にどのフィルタセットが用いられるべきかを指示するステップを含んでもよい。これは、符号化の記号論（セマンティックス）において提供される所定のフラグによって実行されてもよい。上記領域は、マクロブロック毎にパーティションＩＤを示す信号を送信できるマクロブロック又はスライスであってもよい。

本発明の他の態様によれば、ビデオ信号を符号化しかつ復号化するための方法が提供される。本方法は、符号化方法の構文（syntax）における適応フィルタフラグを提供する。適応フィルタフラグは、所定のフィルタが用いられているかどうかを指示することに適する。適応フィルタリングのステップは全ての種類のビデオ信号にとって有益であるとは限らないので、これは特に有益である。従って、フラグ（適応フィルタフラグ）は、適応フィルタ機能をオン又はオフに切り換えるために提供される。

本発明の他の態様によれば、複数の副画素の中から、フィルタ係数を送信すべき副画素が選択される。この情報は、例えば、符号化方法又は符号化構文に含まれる。同様に、この選択された副画素のフィルタ係数セットが送信されるべきかどうかを指示することもできる。この手段は、フィルタ係数は必ずしも全ての副画素について計算されないという事実を考慮している。データのオーバーヘッドを減らすために、前のフィルタ係数セットに対する現在のフィルタ係数セットの差分のみを送信することが可能である。さらに、選択された任意の副画素について、上記差分をエントロピー符号化に従って符号化することが可能である。適応フィルタフラグは、符号化方法の画像パラメータセットのローバイトシーケンスペイロード構文に導入されてもよい。これは、符号化構文における適応フィルタフラグの位置の単なる一例である。現在のマクロブロック、画像の別の領域、又はＢ−もしくはＰ−スライスに適応フィルタが用いられているかどうかを指示するために、別のフラグが提供されてもよい。

また本発明は、動き補償予測を用いて動画を表すビデオ信号を符号化するための装置も提供する。本発明に係る装置は、ビデオ信号の連続する複数のフレームを受信するための手段と、上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するための手段と、上記参照フレームの副画素位置の値（ｐ^ＳＰ（ａ…ｏ））を、各二次元フィルタ係数セットを有するフィルタを用いて解析的に計算するための手段とを備える。

他の好適な実施形態によれば、本発明による上記装置は、ビデオ信号の連続する複数のフレームを受信するための手段と、上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するための手段と、副画素位置の値を、最適化基準の適応的な最小化により、独立して計算するための手段とを備えてもよい。

また本発明は、上述のようなビデオ信号を符号化するための方法に従って符号化されている符号化されたビデオ信号を復号するための方法、及び上記復号方法を実行するための手段を備える符号化されたビデオ信号を復号するための装置もそれぞれ提供する。

符号化及び復号化のための上記方法及び装置、及び先に説明した符号化の記号論は、スケーラブルビデオに適用可能である。スケーラブルビデオに、スケーラブルビデオ符号化の１つのレイヤ又はレイヤセットのために独立したフィルタセットが用いられる先に説明した方法及び装置を提供することは、本発明の一態様である。第２のレイヤのためのフィルタセットは、第１のレイヤのフィルタセットから予測される。これらのレイヤは、典型的には、空間的又は時間的分解によって生成される。

本発明のこれらの態様及び他の態様は、添付の図面に関連する後述の実施形態から明らかであり、かつこれらの実施形態を参照して解明されるであろう。

本発明は、画像毎に独立して推定される適応補間フィルタに関する。この手法は、予測誤差エネルギーの最小化に基づいて、特にはエイリアシングである画像信号特性の変化を考慮できるようにする。本発明の他の態様によれば、特に小さいビットレート及び小さい空間精度の映像において要求されるフィルタ係数の効率的な符号化のための手法が開示されている。以下の項目では、補間フィルタの新しい方法を開示する。本発明の別の態様によれば、一定のフィルタ係数の復号を可能にする最適化された低いオーバーヘッドの構文が開示されている。

非分離二次元ウィーナ適応補間フィルタ．
適応フィルタにより得られる利得の実用的限界を達成するために、他の種類の適応フィルタが開発されている。図２を参照して、双線形補間が全く用いられないように、副画素位置ＳＰ（ａ，…，ｏ）の各々について、各係数セットが解析的に計算される。補間されるべき副画素位置がａ，ｂ，ｃ，ｄ，ｈ，ｌに位置づけられていれば、副画素位置ａ，ｂ，ｃにはサンプルＣ１−Ｃ６を用いて一次元の６タップのフィルタが計算され、副画素位置ｄ，ｈ，ｌにはサンプルＡ３−Ｆ３を用いて一次元の６タップのフィルタが計算される。残りの副画素位置ｅ，ｆ，ｇ，ｉ，ｊ，ｋ，ｍ，ｎ及びｏの各々に関しては、二次元の６×６タップのフィルタが計算される。全ての副画素位置について、フィルタ係数は、最適化基準が最小化されるようにして計算される。最適化基準は、元の画像信号と予測画像信号との間の二乗平均差（mean squared difference）又は絶対値平均差（mean absolute difference）であってもよい。但し、本提案においては、フィルタのサイズを６×６に限定しかつ変位ベクトルの精度を１／４画素に限定しているが、６×４，４×４，４×６，６×１などのような他のフィルタのサイズ及び変位ベクトルの精度も本発明手法によって考案し得る点は留意されたい。

以下、フィルタ係数の計算をより正確に説明する。ここで、ｈ_００ ^ＳＰ，ｈ_０１ ^ＳＰ，…，ｈ_５４ ^ＳＰ，ｈ_５５ ^ＳＰは、特定の副画素位置ＳＰに用いられる６×６タップの二次元フィルタの３６個のフィルタ係数であると仮定する。補間されるべき値ｐ^ＳＰ（ａ，…，ｏ）は、下記のように畳み込み演算によって計算される。

但し、Ｐ_ｉ，ｊは整数のサンプル値（Ａ１，…，Ｆ６）である。

係数の計算及び動き補償は、次のステップで実行される。

１）符号化されるべき全ての画像について変位ベクトルｄ_ｔ＝（ｍｖｘ，ｍｖｙ）が推定される。補間を目的として、全ての参照画像に第１の補間フィルタが適用される。この第１の補間フィルタは、Ｈ．２６４／ＡＶＣ規格の場合のような固定のフィルタであっても、前の画像のフィルタであっても、他の方法により定義されるフィルタであってもよい。

２）各副画素位置ＳＰについて、二次元フィルタ係数ｈ_ｉ，ｊは、最適化基準の最小化により独立して計算される。ある好適な環境では、次のような予測誤差エネルギーを用いる。

ここで、Ｓ_ｘ，ｙは元の画像であり、Ｐ_ｘ，ｙは前に復号された画像であり、ｉ，ｊはフィルタ指数であり、ｍｖｘ，ｍｖｙは推定された変位ベクトル成分であり、ＦＯはフィルタのセンタリングに配慮するいわゆるフィルタオフセットである。さらに、演算子

は、推定された変位ベクトルｍｖをｍｖより小さい次の整数画素位置へマッピングするフロア関数である。前に復号された画像は整数画素位置における情報しか含まないので、これは必要なステップである。誤差を最小限に抑えるために、動きベクトルによって参照された副画素位置しか用いられない点に留意されたい。従って、フィルタ係数ｈ_ｉｊ ^ＳＰに対する（ｅ^ＳＰ）^２の導関数を計算することにより、副画素位置ａ，…，ｏの各々について、各等式セットが求められる。等式の数は、現在の副画素位置ＳＰに用いられるフィルタ係数の数に等しい。

６×６タップの二次元フィルタを用いる各副画素位置ｅ，ｆ，ｇ，ｉ，ｊ，ｋ，ｍ，ｎ，ｏについては、３６個の未知数を有する３６個の等式より成るシステムを解かなければならない。一次元フィルタを必要とする残りの副画素位置については、６個の等式より成るシステムを解かなければならない。その結果得られるフィルタ係数は３６０個（各々が３６個の係数を有する９個の二次元フィルタセットと、各々が６個の係数を有する６個の一次元フィルタセット）となり、これらは、システムの必要条件に依存する精度で量子化される。

３）新しい変位ベクトルが推定される。補間を目的として、ステップ２で計算された適応補間フィルタが適用される。このステップは、一方では、エイリアシング、カメラノイズなどにより発生される動き推定誤差の小さくすることを可能にし、他方では、レート歪みの意味合いにおける問題の処理を可能にする。

４）ステップ２及び３を、所定の品質改善のしきい値が達成されるまで繰り返すことができる。ステップ３の後は、変位ベクトルの幾つかが異なるので、新しい変位ベクトルに適合化された新しいフィルタ係数を推定することが考えられる。しかしながら、この場合は、結果的に、符号器がより複雑になるであろう。

フィルタ係数は、例えば、イントラ／インター予測及びエントロピー符号化（非特許文献１）を用いて量子化され、サイド情報として送信されなければならない。

対称な二次元フィルタ．
３６０個のフィルタ係数の送信は、大きな追加のビットレートをもたらす可能性があるので、小さい空間精度を有するビデオシーケンスの場合は特に、符号化利得は劇的に小さくなる可能性がある。サイド情報を小さくするために、画像信号の統計学的特性は対称であると仮定する。

従って、現在の副画素位置に対する、対応する整数画素位置の距離が等しい場合、フィルタ係数は等しいと仮定される（ｘ方向及びｙ方向の画素間の距離が等しいことも仮定され、即ち、画像信号がインタレース方式であれば、スケーリング係数が考慮されるべきであるなど）。

図２に示す整数位置Ｃ１の副画素位置ａにおける補間された画素の計算に用いられるフィルタ係数をｈ_ｃ１ ^ａで表す。残りのフィルタ係数は、同じ方法で導出される。すると、対称性が仮定されているので、異なる数の係数から成る５つの独立した一次元又は二次元フィルタセットしか必要でない。従って、副画素位置ａ，ｃ，ｄ，ｌについては、以下の式が成り立つ。

従って、６つの係数を有するフィルタが１つしか推定されない。

副画素位置ｂ及びｈに同じ仮定が適用され、これらの副画素位置に対して次のような３つの係数がもたらされる。

同様にして、副画素位置ｅ，ｇ，ｍ，ｏに対して２１個のフィルタ係数が得られ、副画素位置ｆ，ｉ，ｋ，ｎに対して１８個のフィルタ係数が得られ、副画素位置ｊに対して６個のフィルタ係数が得られる。

合計すると、画像信号の統計学的特性は対称であるという仮定を利用することにより、必要なフィルタ係数の数は３６０から５４に減る。以下の章では、フィルタ係数がどのようにして予測されかつ符号化され得るかについて説明する。場合によっては（例えば、インタレース方式のビデオ）、水平及び垂直のフィルタセットは等しいという仮定ができないことがある。その場合は、垂直及び水平の対称性は、互いに独立して仮定されなければならない。

フィルタ係数の予測と符号化．
フィルタ係数の量子化の後は、２つの予測方法の組合せを提案する。第１のタイプは時間的（インター）予測であり、よって、前の画像に用いられたフィルタセットに対する現在のフィルタセットの差分が送信されなければならない。このタイプの符号化は、副画素位置ａ及びｂにおけるフィルタ係数に適用される。第２のタイプは、空間的（イントラ）予測である。画像信号の統計学的特性の対称性を利用し、かつ双線形補間は用いられていないことが既知であれば、異なる副画素位置のための二次元フィルタの係数は、多相フィルタとも呼ばれる共通の二次元フィルタのサンプルと見なすことができる。従って、特定の位置における共通のフィルタのインパルス応答が既知であれば、他の位置におけるそのインパルス応答を補間によって予測することができる。

このプロセスを、半画素位置におけるインパルス応答からの一次元の事例で図３に示す（副画素位置はｂであり、変位ベクトルは１／２であり、相対座標は画素の倍数で与えられる）。例えばインター予測によって得られる副画素位置ｂにおけるフィルタのインパルス応答が既知であれば、位置ａにおけるフィルタのインパルス応答は補間によって予測される。

従って、エントロピー符号化された差分だけが送信されればよい。

従って、ｈ^ａ及びｈ^ｂ、及び適宜ｈ^ｃ，ｈ^ｄ，ｈ^ｈ及びｈ^ｌを用いれば、二次元フィルタ係数を下記の乗算演算により予測することができる。

又は、特定の副画素位置における多相フィルタのインパルス応答が既知であれば、スプライン又は他の補間関数を適用して、残りの副画素位置におけるインパルス応答を予測することができる。

図４は、副画素位置ｊにおける、予測されたフィルタの補間インパルス応答及び実際に計算されたフィルタ係数の一例を示す。

標準的な補間フィルタの二次元形式の表現．
２つの異なる手法、即ち標準的な分離可能フィルタ及び非分離適応二次元フィルタを実現するために必要な複雑度を緩和するために、標準的な係数を二次元形式にすることを提案する。この場合は、（変位ベクトルの精度が１／４画素に制限されていれば）補間フィルタ係数を含む１５の異なる行列が格納されなければならない。行又は列上に位置づけられる副画素位置ａ，ｂ，ｃ，ｄ，ｈ，ｌに関しては、わずか６つの係数が用いられる。

残りの副画素位置に関しては、同じ方法で導出され得る３６個までの係数を有する二次元行列が用いられなければならない。一例として、位置ｆの行列は下記のように与えられる。

副画素位置ｉ，ｎ，ｋの行列係数はそれぞれ、副画素位置ｆに用いられる行列を数学的意味で９０゜，１８０゜及び２７０゜だけ回転させることにより得られる。

副画素位置ｅ，ｇ，ｍ及びｏについても、同じことが言える。一例として、副画素位置ｅの係数行列を示す。

一次元の標準的なフィルタを対応する二次元形式に置き換えることには、次のような利点があると思われる。

１）復号器が両方の方法をサポートしなければならない場合でも、２つの補間方法、即ち一次元の標準的な方法及び二次元の適応型方法を実施する必要がない。

２）上記標準的な方法では、１／４画素位置は、既に量子化されている半画素位置を用いて計算されるので、２度の量子化が行われる。１／４画素位置が直接計算されれば、これを回避することができる。

固定の係数を有する二次元ウィーナフィルタの提案．
既に示したように、二次元フィルタセットの係数を、異なる位置でサンプリングされた共通する１つの二次元フィルタのサンプルとして見なすことができる。Ｈ．２６４において用いられるような標準的なフィルタは１／４画素位置に双線形補間を用いるので、そのインパルス及び周波数応答はウィーナフィルタのそれとは異なる。固定の係数が前提条件であれば、１／４画素位置で適用される標準的な補間フィルタは最適フィルタであるウィーナフィルタとはかなり異なることを示すために、半画素位置で適用されるウィーナフィルタ及び１／４画素位置で適用される双線形フィルタの両方の周波数応答を図５に示す。

従って、「フィルタ係数の予測と符号化」の項目で述べたような固定の係数を有する二次元ウィーナフィルタを用いることを提案する。フィルタ係数の量子化に用いられるビット数を選択することによって、最適な二次元ウィーナフィルタの所望の近似精度を達成することができる。この手法の適用は、非分離二次元フィルタセットを必要としない。従って、分離可能なフィルタも配置することができる。

複数の異なる領域の複数の異なるフィルタ．
１つの画像の複数の異なる部分は、異なるエイリアシング成分を含む可能性がある。理由の１つとしては、異なる動きをする異なるオブジェクトを画像が含むことが考えられる。他の理由として、１つの画像が複数の異なるテクスチャを含むことが考えられる。各テクスチャは、異なるエイリアシング成分を有する可能性がある。従って、異なる領域に適合化された異なるフィルタを用いれば、予測を改善することができる。この場合は、幾つかのフィルタ係数セットを送信することになる。また、その領域にどのフィルタセットが有効であるかを示す各画像のパーティションも送信する。ある好適な実施形態は、マクロブロック毎にパーティションＩＤを示す信号を送信する。又は、このパーティションは、Ｈ．２６４又はＭＰＥＧ４において用いられるようなスライスとして定義される場合もある。

他の複数の拡張．
既に述べたように、紹介した手法は、１／４画素の動き精度及び６×６タップのフィルタのサイズといった設定を記述することに限定されるものではない。フィルタは、必要条件に依存して、予測品質は向上するが計算量も増える８×８タップのフィルタに拡張されてもよく、４×４タップのフィルタに縮小されてもよい。上述の同じ技術を用いて、本手法を例えば１／８画素の動き精度まで拡張することもできる。既に示したように、余分なフィルタ係数を形成する必要はなく、代わりに、二次元フィルタの多相構造を利用して、最良のフィルタ係数を高精度で予測することができる。

また、幾つかのフィルタセットを参照フレーム毎に１つずつ用いることも考えられる。従って、「非分離二次元ウィーナ適応補間フィルタ」の項目において提案した手法は、各参照フレームに独立して適用されてもよい。但し、これにより、サイド情報は増加することになる。

他の拡張は、予め決められたｎ個のフィルタセット又は予め決められたｎ個のフィルタより成る集合を定義している。フレーム毎に、予め決められた少なくとも１つのフィルタセットの指標のみが送信される。従って、解析的に計算された最適なフィルタが、上記集合のうちの予め決められた最良のフィルタセット又はフィルタへマッピングされる。よって、予め決められたフィルタセット又はフィルタの（必要であれば、エントロピー符号化された）指標のみが送信されるだけでよい。

構文と記号論．
この項目では、本発明による方法がＨ．２６４／ＡＶＣ規格に組み込まれることを可能にする例示的な構文及び記号論について説明する。

適応補間フィルタ方法の導入により、適応フィルタ方法は、符号器によるオン又はオフ切り換えが可能である。この目的に沿って、画像パラメータセットのローバイトシーケンスペイロード（raw byte sequence payload）構文に適応フィルタフラグadaptive_filter_flagを導入する。

このコードは復号器へ、現在のシーケンスに適応補間方法が適用されている（adaptive_filter_flag=1）か否（adaptive_filter_flag=0）かを指示する。１であるadaptive_filter_flagBは、適応補間方法がＢ−スライスに用いられていることを示し、０であるadaptive_filter_flagBは、適応補間方法がＢ−スライスに用いられていないことを示す。

適応補間方法が用いられている場合、これらのスライスヘッダの全てに関して、エントロピー符号化されたフィルタ係数が符号器により送信される。

このコードは、adaptive_filter_flagが１に設定されかつ現在のスライスがＰ−スライスであればエントロピー符号化されたフィルタ係数が送信されることを、復号器に示す。まず、use_all_subpel_positionsが送信される。１であるuse_all_subpel_positionsは、独立のフィルタのサブセットが全て用いられていることを指定する。０であるuse_all_subpel_positionsは、全ての副画素位置sub_pel(a,…,o)が動き推定ツールにより用いられているわけではなく、positions_patternが送信されることを指定する。１であるpositions_pattern[sub_pel]は、FilterCoef[sub_pel][i]が使用中であることを指定し、この場合のFilterCoefは実際に送信される最適フィルタ係数を表す。

全ての副画素位置が使用中であれば、use_all_subpel_positionsを示す信号を送信するので、positions_patternが１１１１１に等しくなることはない。use_all_subpel_positionsが０であり、かつpositions_patternの最初の４つのエントリが１であれば、最後のエントリ（j_pos）は０でなければならず、よって送信されない。

次に、フィルタ係数が計算されている全ての副画素位置について、（この場合は、ＣＡＶＬＣを用いて）エントロピー符号化され量子化された差分（項目「フィルタ係数の予測と符号化」を参照。）であるDiffFilterCoefが送信される。従って、再構成されたフィルタ係数は、差分と予測されたフィルタ係数とを加算することによって得られる。

同様の方法は、スケーラブルビデオのコーダに適用されてもよく、この場合、レイヤ（又は幾つかのレイヤ）毎に独立したフィルタセット又は共通フィルタセットの何れかが用いられる。各レイヤが独立したフィルタセットを用いる場合、フィルタセットは下位のレイヤから上位のレイヤへ予測されてもよい。

ローカル適応フィルタ．
１つの適応フィルタセットを画像全体に適用することは平均された改善しかもたらさないので、これは必ずしも、あらゆるマクロブロックがより効率的に符号化されることを意味しない。あらゆるマクロブロックにとって最良の符号化効率を保証するためには、符号器において追加のステップが実行されてもよく、これにより、マクロブロック毎に２つのフィルタセット、即ち標準セットと適応セットとが比較される。適応フィルタの方が優れている（例えば、レート歪み基準に関して）マクロブロックに対しては、新しいフィルタが計算され、この新しいフィルタのみが送信される。残りのマクロブロックには、標準的な補間フィルタが適用される。現在のマクロブロックへ適応フィルタ又は標準的なフィルタが適用されていれば、信号を送信するために、各マクロブロックに関して追加のフラグが送信されなければならない。

１であるadaptive_filter_in_current_mbは、適応フィルタが現在のマクロブロックに用いられていることを指定し、０であるadaptive_filter_in_current_mbは、標準的な（固定の）フィルタが現在のマクロブロックに用いられていることを指定する。

又は、標準的な（固定の）フィルタが選択されている場合は、これらの全マクロブロックについて他の適応フィルタが計算されなければならない。このフィルタのフィルタ係数は、前の項目で説明した同じ方法で送信される。この場合、adaptive_filter_in_current_mbフラグは、２つのフィルタセット間で切り換えられる。adaptive_filter_in_current_mbフラグは、adaptive_filter_in_current_mbフラグの予測誤差のみが送信されるように、既に復号された隣接するマクロブロックから予測されてもよい。エントロピー符号化（例えば、算術符号化であるＣＡＢＡＣ）が用いられていれば、このフラグは１ビット／フラグ未満で符号化されてもよい。

場合によっては、例えば、画像が異なる複数のテクスチャから成れば、幾つかの独立フィルタを用いることが考えられる。これらは、画像とは独立して計算されるあらゆるフィルタ係数セットに対して、又は予め定義されたフィルタセットの集合から選択した１つに対して、又はこれらを組み合わせたものに対してであってもよい。この目的に沿って、マクロブロック（又は、例えば隣接するマクロブロックのセット）毎にフィルタ番号が送信されなければならない。さらに、このフィルタセットは、既に復号された隣接するマクロブロックから開始して予測されてもよい。従って、エントロピー符号化された差分（ＣＡＶＬＣ、ＣＡＢＡＣ）のみが送信されればよい。

本発明は、デジタル映画、ビデオ符号化、デジタルテレビジョン受像機、ＤＶＤ、ブルーレイ、ＨＤＴＶ、スケーラブルビデオなどの広範なアプリケーションに有益である。これらのアプリケーションは全て、本発明の１つ又は複数の態様から益を得る。本発明は、特に、専らＭＰＥＧ４パート１０のＨ．２６４／ＡＶＣ規格を改善するためのものである。これらの規格の符号化方法及び符号化構文を拡張するために、標準的な必要条件に適合する可能性のある特定の記号論を開示している。しかしながら、本発明の基本原理はこれまでに述べた特定のどの構文にも制約されるべきではなく、当業者にはより広範な意味で認識されるであろう。

画像の複数の画素及び複数の副画素を示す略図である。 画像の複数の画素及び複数の副画素を示す他の略図である。 複数の副画素位置における多相フィルタのインパルス応答の予測を示す。 副画素位置ｊにおける予測されたフィルタの補間されたインパルス応答及び計算されたフィルタ係数の一例を示す。 半画素位置に適用されたウィーナフィルタ及び１／４画素位置に適用された双線形フィルタの各周波数応答を示す。

Claims (32)

1. 動き補償予測を用いて動画を表すビデオ信号を符号化するための方法において、
   ビデオ信号の連続する複数のフレームを受信するステップと、
   上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するステップと、
   上記参照フレームの副画素位置の値（ｐ^ＳＰ（ａ，…，ｏ））を、各二次元フィルタ係数セットを有するフィルタを用いて解析的に計算するステップとを含む動画を表すビデオ信号を符号化するための方法。
2. 上記副画素位置（ａ，…，ｏ）に対して各等式セットを求めるステップをさらに含む請求項１記載の方法。
3. 現在の副画素位置に対する対応する整数画素位置の距離について、二次元フィルタ係数を等しく設定するステップを含む請求項１又は２記載の方法。
4. 上記フィルタ係数を符号化するステップを含む請求項１乃至３のうちのいずれか１つに記載の方法。
5. 上記複数のフィルタ係数を符号化するステップは時間的予測を用い、
   前の画像のために用いられた第２のフィルタ係数に対する第１のフィルタ係数の差分は送信される請求項４記載の方法。
6. フィルタ係数に適用される符号化は空間的予測であり、
   上記空間的予測は、
   上記ビデオ信号の統計学的特性の対称性を利用するステップと、
   第１の副画素のための二次元フィルタ係数のフィルタ設定のインパルス応答を補間することにより、第２の副画素の上記二次元フィルタ係数を予測するステップとを含む請求項４記載の方法。
7. 一次元フィルタ係数を有する標準的な表現形式のフィルタを、対応する二次元形式のフィルタに置き換えるステップをさらに含む請求項１乃至６のうちのいずれか１つに記載の方法。
8. 上記二次元フィルタ係数は、固定の係数を有するウィーナフィルタのためのフィルタ係数である請求項１記載の方法。
9. 上記二次元フィルタは多相フィルタである請求項１記載の方法。
10. 複数のフィルタ係数セットが１つの画像のために提供され、
    上記方法は、どのフィルタが用いられるべきかを指示するステップを含む請求項１乃至９のうちのいずれか１つに記載の方法。
11. 上記領域はマクロブロックであり、上記指示するステップは各マクロブロックについてパーティションＩＤを示す信号を送信することを含む請求項１０記載の方法。
12. 上記領域はスライスである請求項１０記載の方法。
13. 動き補償予測を用いて動画を表すビデオ信号を符号化するための方法において、
    ビデオ信号の連続する複数のフレームを受信するステップと、
    上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するステップと、
    副画素位置の値を、最適化基準の適応的な最小化により、独立して計算するステップとを含むビデオ信号を符号化するための方法。
14. 上記計算するステップは、上記参照フレームの副画素位置の値（ｐ^ＳＰ（ａ，…，ｏ））を、各二次元フィルタ係数セットを有するフィルタを用いて解析的に計算することを含む請求項１３記載の方法。
15. 上記最適化基準はレート歪み測度に基づく請求項１３又は１４記載の方法。
16. 上記最適化基準は予測誤差エネルギーに基づく請求項１３又は１４記載の方法。
17. 上記予測誤差エネルギーの導関数を計算するステップをさらに含む請求項１６記載の方法。
18. 現在の副画素位置に対する対応する整数画素位置の距離について、二次元フィルタ係数を等しく設定するステップを含む請求項１４乃至１７のうちのいずれか１つに記載の方法。
19. 上記フィルタ係数を符号化するステップと、
    時間的予測を用いるステップとを含み、上記前の画像のために用いられた第２のフィルタ係数に対する第１のフィルタ係数の差分は送信される請求項１３乃至１８のうちのいずれか１つに記載の請求項記載の方法。
20. 上記フィルタ係数を符号化するステップを含み、上記フィルタ係数の符号化は空間的予測であり、
    上記空間的予測は、
    上記ビデオ信号の統計学的特性の対称性を利用するステップと、
    第１の副画素のための二次元フィルタ係数のフィルタ設定のインパルス応答を補間することにより、第２の副画素の上記二次元フィルタ係数を予測するステップとを含む請求項１３乃至１８のうちのいずれか１つに記載の請求項記載の方法。
21. ビデオ信号を符号化しかつ復号化するための方法において、
    符号化方法の構文における適応フィルタフラグを提供するステップを含み、上記適応フィルタフラグは、所定のフィルタが用いられているかどうかを指示することに適する方法。
22. フィルタ係数又はフィルタ係数セットを送信すべき副画素を選択するステップを含む請求項２１記載の方法。
23. 上記選択された副画素について、第１のフィルタ係数セットの第２のフィルタ係数セットに対する差分を決定するステップと、
    上記差分をエントロピー符号化するステップとをさらに含む請求項２２記載の方法。
24. 上記適応フィルタフラグは、上記符号化方法の画像パラメータセットのローバイトシーケンスペイロード構文に導入される請求項２１乃至２３のうちのいずれか１つに記載の請求項記載の方法。
25. 現在のマクロブロックに適応フィルタが用いられていることを、上記符号化方法の構文におけるフラグにより指示するステップを含む請求項２１乃至２４のうちのいずれか１つに記載の請求項記載の方法。
26. 動き補償予測を用いて動画を表すビデオ信号を符号化するための装置において、
    ビデオ信号の連続する複数のフレームを受信するための手段と、
    上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するための手段と、
    上記参照フレームの副画素位置の値（ｐ^ＳＰ（ａ，…，ｏ））を、各二次元フィルタ係数セットを有するフィルタを用いて解析的に計算するための手段とを備える動画を表すビデオ信号を符号化するための装置。
27. 動き補償予測を用いて動画を表すビデオ信号を符号化するための装置であって、
    ビデオ信号の連続する複数のフレームを受信するための手段と、
    上記ビデオ信号の１つのフレームを、上記ビデオ信号の参照フレームを用いて符号化するための手段と、
    副画素位置の値を、最適化基準の適応的な最小化により、独立して計算するための手段とを備えるビデオ信号を符号化するための装置。
28. 請求項１乃至２５のうちのいずれか１つに記載の方法に従って符号化されている符号化されたビデオ信号を復号するための方法。
29. 請求項２８記載の方法を実行する手段を備えた、符号化されたビデオ信号を復号するための装置。
30. スケーラブルビデオに適用されている請求項１乃至２５のうちのいずれか１つに記載の方法。
31. １つのレイヤ又はレイヤのセットのために独立したフィルタセットが用いられ、上記レイヤは空間的及び／又は時間的分解によって決定される請求項３０記載の方法。
32. 第１のレイヤのためのフィルタセットは第２のレイヤのためのフィルタセットから予測される請求項３１記載の方法。

Images