JP2005501442A - サンプリング値を補間するための装置、画像エンコーダおよび画像デコーダ - Google Patents

Abstract

動画像シーケンスの画像を動き補償予測するためにサンプリング値を補間するため、補間フィルタリング装置（ＩＦ）が使用される。この補間フィルタリング装置（ＩＦ）の機能は、位置的および／または時間的に、変位ベクトルに所属する画像のサンプリング値の領域に対して適応的に可変に調整されるように構成されている。

Description

【技術分野】
【０００１】
本発明は、動画像シーケンスの画像を動き補償予測するためにサンプリング値を補間するための装置に関する。
【０００２】
従来の技術
デジタルビデオ信号をコーディングするための方法では、時間方向の冗長性低減のために動き補償予測が行われ、位置方向の冗長性を低減するために変換コーディングが行われる。１画素未満の振幅を有する動きを表すためには、画像信号を走査ラスタ間の位置に補間しなければならない。動画像シーケンスをコーディングするための従来の標準的な方法は、ハイブリッドコーディングの原理を基礎とする。このハイブリッドコーディングでは、第１ステップで動き補償予測（ＭＣＰ：Motion Compensated Prediction）が行われる。その際には、連続する画像の相関が使用され、その時点でコーディングすべき画像信号が、すでに伝送された先行の画像信号から予測される。残留する予測誤差信号が第２ステップで変換コーディングによって伝送され、位置方向の冗長性が低減される。
【０００３】
動き補償予測のためには、予測すべき画像がブロックに分割され、これらのブロックに対して、対応するブロックが先行の画像においてサーチされる。このブロックの位置は、２次元のいわゆる変位ベクトル（Displacement Vector）によって表される。変位ベクトルは１画素未満の振幅分解能を有するので、先行の画像において走査ラスタ間にある位置との相関付けが可能になる。走査ラスタ間の位置にある画像信号を再形成するためには、補間フィルタが使用される。
【０００４】
本発明の利点
独立請求項による方法では、画像信号特性の変化とりわけエイリアシング、および動き推定の精度の変化が考慮される。これらは、時間的および位置的に不変な補間フィルタリングによる従来の装置では考慮できなかった。
【０００５】
独立請求項以降の請求項には、有利な実施形態が記載されている。
【０００６】
記録プロセスにおいてローパスが理想的でないため、コーディングすべきデジタル画像においてエイリアシングが発生する。このエイリアシングは記録システムにおけるローパス特性に依存するので、使用される記録システムによって異なる。しかし、従来使用されたエイリアシング低減ウィーナーフィルタは、時間的および位置的に不変である。そのため、変化するエイリアシング障害が最適に補償されない。適応型の補間フィルタリングのフィルタリング機能は、位置的および／または時間的に、変位ベクトルに所属する画像のサンプリング値の領域に対して適応的に調整されるように構成されている。このような適応型の補間フィルタリングにより、前記変化を考慮して画像信号をより正確に予測することができる。
【０００７】
適応型補間フィルタリングの別の利点は、変化する変位推定誤差を考慮できることである。とりわけ変換、ベクトルの分解能およびブロックの大きさを含むシミュレーションモデルが制限されており、ベクトルに対して使用される推定方法（たとえばＲＤベース、３ステップサーチ）および各画像内容が原因で、変位ベクトルが正確でなくなってしまう。このことに起因する変位推定誤差は、シミュレーションモデル、推定方法および画像内容の各特性に依存するので、位置的および時間的に変化する。ベクトルがサブピクセル位置を表し、前記サブピクセル位置に所属する信号値が補間フィルタにより、位置的に隣接する信号値から計算される場合、適応型フィルタはベクトルの不正確さを考慮することができる。こうすることにより予測がさらに向上され、ひいてはコーディング効率が上昇する。
【０００８】
本発明によって、ハイブリッドビデオコーディング方法の動き補償予測ひいてはコーディング効率が改善される。このことは動き補償予測の際に、とりわけ適応型のＦＩＲフィルタを使用することにより実施される。この適応型フィルタによって、変化するエイリアシング障害および変化する変位推定誤差を予測時に考慮することができる。
【０００９】
図面
図面に基づいて、本発明の実施例を説明する。
【００１０】
図１ ハイブリッドコーディングの原理のブロック回路図である。
【００１１】
図２ 選択されたフィルタリング係数が伝送される、ハイブリッドビデオエンコーダ／ハイブリッドビデオデコーダのブロック回路図である。
【００１２】
図３ 選択されたフィルタリング係数が伝送されない、ハイブリッドビデオエンコーダ／ハイブリッドビデオデコーダのブロック回路図である。
【００１３】
実施例の説明
図１に示されたハイブリッドコーディングのブロック回路図は、以下の構成要素を含む。コーディングすべき入力信号ｓ（ｋ）および推定値ｓ^（ｋ）から、差形成によって予測残留誤差ｅ（ｋ）が求められる。後者は変換コーディングされ（ブロックＤＣＴ）、量子化され（Ｑ）、後続の伝送のためにチャネルコーディングされる（ＥＮＣ）。推定値ｓ^（ｋ）は、時間的に先行する画像信号ｓ'（ｋ−１）を使用して、動き推定器ＢＳおよび動き補償予測（ステップＢＫ）により得られる。そのためには、変換コーディングおよび量子化された予測残留誤差ｅ（ｋ）が、逆量子化Ｑ^−１および逆変換ＩＤＣＴによって逆変換され、画像メモリＳＰへ供給される。この画像メモリＳＰは常に、時間的に先行する画像信号ｓ'（ｋ−１）を記憶する。その時点の画像信号ｓ（ｋ）は、画像信号ｓ'（ｋ−１）とステップＢＳにおいて比較され、この比較に基づいて変位ベクトルｄ（ｋ）が形成される。この変位ベクトルｄ（ｋ）もまた、チャネルコーディングされる（ＥＮＣ'）。求められた変位ベクトルｄ（ｋ）に基づき、信号ｓ'（ｋ−１）によってステップＢＫにおいて推定信号ｓ^（ｋ）が形成される。画像情報の処理は、とりわけブロックごとに実行される。すなわち、変位ベクトルｄ（ｋ）に所属する画像のサンプリング値の領域（ブロック）に対して、所定のフィルタリング機能、ないしは複数の異なる補間フィルタのうち１つが選択される。ブロックの代わりに、サンプリング値の別の形式のグループに対して変位ベクトルを形成することもできる。前記別の形式のグループは、たとえば輪郭コーディングの際の所定の輪郭である。
【００１４】
非適応型フィルタによる動き補償予測と異なり、本発明では、フィルタリング装置のフィルタリング機能は時間および／または位置に依存する。適応型フィルタのフィルタリング係数は、時間および／または位置とともに変化する。ここでは、フィルタリング係数の有効性は可変である。フィルタリング係数の有効性は、たとえば複数の画像に対して、各画像に対して、または画像内の所定の画像領域に対してのみ有効とすることができる。
【００１５】
フィルタリング係数を検出するためには、種々の手段が存在する。以下でこれらの手段を、より詳細に説明する。デコーダが前記フィルタリング係数を使用できるようにするためにも、同様に種々の手段が存在する。これらも同様に紹介する。
【００１６】
本発明では、エンコーダにおいて補間フィルタリング装置のために最適なフィルタリング係数を見つけるために、以下の手段が実施される。
【００１７】
ａ）予測誤差の出力を最小にすることによる係数の推定。
【００１８】
推定するためのこの手段では、動き補償予測ｅ（ｋ）全体の予測誤差が、図１と比較して、最小になるように係数が推定される。このことは以下のステップで実施される。
【００１９】
１．ウィーナーフィルタによって変位ベクトルｄ（ｋ）を推定するステップ。
【００２０】
２．ステップ１で得られた変位ベクトルｄ（ｋ）を適用する際に予測誤差ｅ（ｋ）の出力を最小にするためのフィルタリング係数を推定するステップ。
【００２１】
ここでは、前記手段を反復的に適用することができる。すなわち、ステップ２で推定されたフィルタに基づいて変位ベクトルを再度推定し、この新たなベクトルによってフィルタを改善すること等の適用が可能である。
【００２２】
ｂ）制限された数の予め定められたフィルタからのフィルタの選択。
【００２３】
この手段では、フィルタの特定のセットが準備され、この制限された数のフィルタからのみ最適なフィルタが選択される。フィルタを選択するために、すでに伝送された情報のみが使用されれば、付加的な副次的情報を伝送する必要はない。というのも、デコーダは同一の情報を使用できるからである。可能な選択基準はたとえば、
・分散の分析による、すでに伝送された予測誤差信号の評価
・たとえば変換係数の周波数分析による、すでに伝送された予測誤差信号の評価
・すでに伝送された変位ベクトルｄ（ｋ）の長さの評価
・すでに伝送された変位ベクトルｄ（ｋ）に隣接する変位ベクトルの評価
等である。
【００２４】
予め定められたフィルタリング装置のセットからフィルタを選択するための別の手段は、索引の伝送である。ここでは、各フィルタに固有の索引が割り当てられ、この索引でフィルタを識別することができる。このことはたとえば、フィルタリング係数を選択するために、デコーダがアクセスできない情報を使用すると有意である。
【００２５】
動き補償予測（ＭＣＰ）が適応型フィルタによってハイブリッドビデオコーディング方式の枠内で使用される場合、デコーダのＭＣＰが、エンコーダのＭＣＰにおいて使用されるフィルタリング係数を使用できるようにしなければならない。デコーダにおいてフィルタリング係数を検出するためには、以下の手段が存在する。
【００２６】
Ａ）付加的な副次的情報を伝送することによるフィルタリング係数の検出
この方式では、基本的に２つの手段が存在する。
【００２７】
１．係数は、たとえば
ａ）ＰＣＭコーディング
ｂ）ＤＰＣＭコーディング
によってコーディングされ、伝送される。ここでは、すでに伝送された先行の係数が、コーディングすべき係数を予測するために使用される。
【００２８】
２．係数が直接伝送されるのではなく、その代わりに索引が伝送され、この索引は、異なるフィルタを有するテーブルから係数を選択する。ここでは、異なるフィルタの可能な数は、テーブル中のフィルタの数に制限される。
【００２９】
Ｂ）すでに伝送されたデータからの係数の検出。すなわち、付加的な副次的情報を伝送しない、係数の検出。
【００３０】
フィルタを選択するために、すでに伝送された情報のみが使用される場合、付加的な副次的情報を伝送する必要はない。デコーダはエンコーダと同様の方式によって、フィルタを選択する。可能な選択基準は、すでにエンコーダに関して説明したとおりである。
【００３１】
図１に示されたブロック回路図を基礎として、図２および３では、本発明を実施するために設けられた構成要素がより詳細に説明される。図２および３はそれぞれ、ビデオエンコーダおよび所属のビデオデコーダを示しており、これらによって、本発明による適応動き補償が実施される。図１に示された動き補償ステップＢＫは、基本的なユニットとして補間フィルタリング装置を有しており、この補間フィルタリング装置は、図２および３ではＩＦによって示されている。補間フィルタリング装置ＩＦに対するフィルタリング係数は、係数選択ステップＫＡを介して調整される。このステップにおいて、その時点の画像情報ｓ（ｋ）と時間的に先行する画像ｓ（ｋ−１）の相応の画像情報とを比較することにより、必要な情報、すなわち走査ラスタ間において補間すべき画像情報（サブピクセル情報）の各位置が得られる。図２に示された構成では、係数はエンコーダ側で選択され、デコーダへ他の画像情報とともに別個に（チャネルコーディングステップＥＮ１ないしはチャネルデコーディングステップＤＥ１によって）伝送される。そこで、伝送された係数選択情報（副次的情報ないしはフィルタ選択のための索引）は、受信側すなわちデコーダ側の係数選択ステップＫＡ'を制御するために使用される。図３に示された構成では、フィルタリング係数／索引は伝送されない。これらは前記のように、すでに伝送されたデータから検出される。
【図面の簡単な説明】
【００３２】
【図１】ハイブリッドコーディングの原理のブロック回路図である。
【００３３】
【図２】選択されたフィルタリング係数が伝送される、ハイブリッドビデオエンコーダ／ハイブリッドビデオデコーダのブロック回路図である。
【００３４】
【図３】選択されたフィルタリング係数が伝送されない、ハイブリッドビデオエンコーダ／ハイブリッドビデオデコーダのブロック回路図である。

Claims (9)

1. 動画像シーケンスの画像を動き補償予測するためにサンプリング値を補間するための装置において、
   補間フィルタリング部（ＩＦ）が設けられており、
   前記補間フィルタリング部（ＩＦ）のフィルタリング機能は、位置的および／または時間的に、変位ベクトルに所属する画像のサンプリング値の領域に対して適応的に可変に調整されるように構成されていることを特徴とする装置。
2. 前記フィルタリング部は、複数の個別のフィルタのセットを有し、
   変位ベクトルに所属する画像のサンプリング値の各領域に対して、補間フィルタリング（ＩＦ）のための前記複数の個別のフィルタのうち１つが選択される、請求項１記載の装置。
3. 動画像シーケンスの画像を動き補償予測するために伝送信号を送信側で調製するための画像エンコーダにおいて、
   補間フィルタリング装置（ＩＦ）が、動き補償予測のためにサンプリング値を補間するために設けられており、
   前記補間フィルタリング装置（ＩＦ）のフィルタリング機能は、位置的および／または時間的に、変位ベクトルに所属する画像のサンプリング値の領域に対して適応的に可変に調整されるように構成されており、
   前記補間フィルタリング装置を調整するためのフィルタリング係数は、推定された変位ベクトルに対する予測誤差の出力が最小になるように選択されることを特徴とする画像エンコーダ。
4. 前記補間フィルタリング装置（ＩＦ）を調整するためのフィルタリング係数は、画像エンコーダの出力部（ＥＮ１）で得られ、特に画像デコーダへ伝送される、請求項３記載の画像エンコーダ。
5. 動画像シーケンスの画像を動き補償予測するために伝送信号を受信側で調製するための画像デコーダにおいて、
   補間フィルタリング装置（ＩＦ）が、動き補償予測のためにサンプリング値を補間するために設けられており、
   前記補間フィルタリング装置（ＩＦ）のフィルタリング機能は、位置的および／または時間的に、変位ベクトルに所属する画像のサンプリング値の領域に対して適応的に可変に調整されるように構成されており、
   前記補間フィルタリング装置（ＩＦ）を調整するためのフィルタリング係数は、推定された変位ベクトルに対する予測誤差の出力が最小になるように選択されることを特徴とする画像デコーダ。
6. 前記フィルタリング係数は、動き補償予測を改善するために反復的に検出される、請求項３または４記載の画像エンコーダ、ないしは請求項５記載の画像デコーダ。
7. 補間フィルタリング装置（ＩＦ）は複数の個別のフィルタのセットを有し、
   変位ベクトルに所属する画像のサンプリング値の各領域に対して、補間フィルタリングのための前記複数の個別のフィルタのうち１つが選択される、請求項５記載の画像デコーダ。
8. 各個別のフィルタを選択するために索引が設けられており、
   前記索引は、特にエンコーダによって調製され、画像データとともに伝送される、請求項７記載の画像デコーダ。
9. 補間フィルタリング装置（ＩＦ）は、適応型ＦＩＲフィルタから成る、請求項１または２記載の装置、または請求項３から５までのいずれか１項記載の画像エンコーダ、または請求項７または８記載の画像デコーダ。

Images