JP2007515115A - 内挿される画素値の計算方法の改良 - Google Patents

Abstract

本発明は、画像圧縮システムに関し、特に、デジタル画像システムの圧縮／解凍に関する。本発明は、更に、画像ピクチャの内挿された画素位置の値を計算する方法に関する。

Description

本発明は、動画像圧縮システムに関し、特に、動画像ピクチャ内の画素・ブロックの予測符号化値を決定する際に、補間画素値を計算する方法に関する。

リアルタイムで動くピクチャの伝送は、いくつかのアプリケーションで用いられている。例えば、テレビ会議、ネット・ミーティング、テレビ放送、テレビ電話である。

しかし、動くピクチャを表示することは大量の情報を必要とする。これは、デジタル動画像が、通常８ビット（１バイト）でピクチャ内の各画素を表すことにより記述されるからである。このような圧縮前の動画像データは大量のビット容量となり、従来の通信ネットワーク／伝送ラインを介してリアルタイムで伝送することはできない。帯域が限られているからである。

かくして、リアルタイムで動画像を伝送するには、大幅なデータ圧縮が必要である。しかし、データ圧縮は、ピクチャの品質と妥協して行われる。それ故に、多大な努力が圧縮技術を開発するためになされている。これにより高品質の動画像のリアルタイムの伝送が、帯域が限られたデータ接続を介しても可能となる。

動画像圧縮システムの主要な目的は、できるだけ少ない容量で動画像情報を表すことである。容量は、ビットで定義され、定数値としてあるいはビット／時間単位として定義される。両方の場合とも目的はビット数を減らすことである。

最も一般的な動画像符号化方法は、ＭＰＥＧ＊とＨ．２６＊標準に記載されている。これらは、前に符号化し復号したピクチャからの予測に基づいたブロックを用いている。

動画像データは、伝送前に４つの主要なプロセスで処理される。すなわち、予測符号化と、変換と、量子化と、エントロピー符号化である。

予測符号化プロセスは、伝送すべき動画像シーケンス内の各ピクチャに必要とされるビット数を大幅に減らすことができる。この予測符号化方法は、シーケンスの一部と他の部分との類似性を利用している。予測符号化器部分は、符号化器と復号器の両方にとって公知であり、差分のみが伝送される。この差分は通常その表示よりも遙かに少ない容量でよい。予測符号化は、主に前に再構成されたピクチャからのピクチャ・コンテンツに基づいて行われる。このコンテンツの場所は、動きベクトルにより規定される。

通常の動画像シーケンスにおいては、現在のブロックＭのコンテンツは、前に復号したピクチャの対応するブロックに類似している。前の復号されたピクチャからの変化がない場合には、ブロックＭのコンテンツは、前に復号したピクチャの同一位置のブロックに等しい。他の場合には、ピクチャ内のオブジェクトを、ブロックＭのコンテンツが前に復号したピクチャの別の位置のブロックに等しくなるよう、移動させる。このような移動は、動きベクトル（Ｖ）で表される。例えば（３；４）の動きベクトルは、ブロックＭのコンテンツは、前に復号したピクチャから３画素分左に、４画素分上方に動かすことを意味する。

ブロックに関連する動きベクトル（motion vector）は、動きサーチ（motion search）を実行することにより決定される。この動きサーチは、ブロックのコンテンツを、異なる空間的オフセットの前のピクチャ内のブロックと逐次比較することにより行われる。現在のブロックに比較して最もマッチする比較ブロックに対する現在のブロックのオフセット（量）は、関連する動きベクトルとして、決定される。

Ｈ．２６２、Ｈ２６３、ＭＰＥＧ１、ＭＰＥＧ２においては、同一のコンセプトが拡張され、動きベクトルは１／２画素値も採ることができる。５．５のベクトル成分は、動きは画素５個分と画素６個分の中間であることを意味する。より具体的には、予測符号化値は、５画素分の動きと６画素分の動きの平均値を採ることにより得られる。これは２−タップ・フィルタと称し、間にある画素の予測符号化値を得るために、２個の画素に対し演算を実行するためそう呼ばれる。この種の動きベクトルは、分数画素解像度あるいは分数動きベクトルを有するとも称する。全てのフィルタ演算はインパルス応答により決定できる。２個の画素を平均化する演算は、（１／２、１／２）のインパルス応答で表すことができる。同様に、４個の画素に対する平均化は、（１／４、１／４、１／４、１／４）のインパルス応答を意味する。

本発明の目的は、
動画像符号化／復号化に際し、動画像ピクチャー内の整数画素位置の間にある画素位置に対する画素値を内挿する計算方法を提供することである。これにより従来技術の欠点を克服し改善することである。

本発明の更なる目的は、性能と品質を維持しながらあるいは改善しながら計算容量が少なくて済む方法を提供することである。

上記の目的を達成するために、本発明は、動画像符号化／復号化に際し、動画像ピクチャー内の整数画素位置の間にある画素位置に対する画素値を内挿する計算方法を提供うる。この方法においては、整数画素位置と水平方向又は垂直方向に一列に並んだ、内挿された画素位置の組みの画素値は、関連する水平方向又は垂直方向に一列に並んだ内挿された画素位置に対し、第１のフィルタを適応することによって計算する。整数画素位置と水平方向又は垂直方向に一列に並んでいない、内挿された第１画素位置の画素値は、第２画素位置と第３画素位置に対し、第２のフィルタを適用することによって計算する。前記第２画素位置と第３画素位置は、整数画素位置、又は前記内挿された第１画素位置と一列に並んだ内挿された画素位置である。

本発明の一実施例によれば、第２のディスクリート・フィルタは、２−ｔａｐフィルタである。

本発明の一実施例によれば、第１のディスクリート・フィルタは、対称６−ｔａｐフィルタである。

第２の２−ｔａｐフィルタは、前記第２画素位置と第３画素位置の画素値を平均化する対称２−ｔａｐフィルタである。

前記第２の画素位置と第３の画素位置は、前記第１の内挿された画素位置に対し、各側にかつそこから同一距離にある。

上記のいずれかの実施例に置いては、本発明の方法は、Ｈ．２６４／ＡＶＣの符号化標準による画素動き保証ステップで使用される。

新たな動画像圧縮標準が、ＩＴＵとＩＳＯ／ＩＥＣの間の共同作業として開発された。２つの標準化団体の共通標準の公式名称は、「ITU-T Recommendation H.264」および「ISO/IEC MPEG-4 (Part 10) Advanced Video Coding」である。以下の説明においては、この共通の標準をＨ．２６４／ＡＶＣとして参照する。

図１は、Ｈ．２６４／ＡＶＣ標準による整数画素位置と分数画素位置の例を示す。

Ｈ．２６４／ＡＶＣにおいては、符号化方法は、各補間に対する動きの解像度と画素数の両方の観点から改善されている。この方法は、最大１／４画素精度を有する動き補償予測符号化を用いる。１／８画素の精度さえも規定されているが、これは、如何なるプロファイル（圧縮符号化機能）にも含まれていない。整数画素位置と小数点以下（分数）の画素位置は、以下で表される（単純化のために、補間は、Ａ、Ｅ、Ｕ、Ｙの間でのみ示される）。

Ａ、Ｅ、Ｕ、Ｙの位置は、整数画素位置を表し、Ａ’’、Ｅ’、Ａ’、Ｅ’’の位置は、Ａ−Ｅラインの追加の整数位置を表す。

ｃ、ｋ、ｍ、ｏ、ｗの位置は、は、半分（１／２）の画素位置を表す。これらの位置の補間された値は、整数画素値に対し演算するインパルス応答（１／３２、−５／３２、２０／３２、２０／３２、−５／３２、１／３２）の６−タップ・フィルタを用いて得られる。例えば、ｃは、以下の式により計算できる。

フィルタは、適宜水平方向あるいは垂直方向に動作する。さらに、表１のｍに対する値を得るために、フィルタは、整数値に対しては作用させず、他の方向の既に補間された値に対し作用させる。上記に示した四角の中の残りの位置は、整数画素位置と近傍の１／２画素位置をそれぞれ平均化することにより（２−タップ・フィルタで）得られる。

上記したように、ｍの位置計算は、他の１／２画素位置よりもより多くの計算能力を必要とするが、その理由は計算は２方向で行わなければならないからである。上記したように、１／２画素位置の計算に対し６−タップフィルタを用いる場合には、６−タップフィルタの操作は、最初に水平方向に適用し、画素位置ｍの垂直ラインの１／２画素位置を抽出し、その後これらの位置を垂直方向で６−タップフィルタの処理を行う（その逆順もある）ことにより、画素位置ｍの値を決定する。

この二重の６−タップ操作は、２×２ブロックのｍの位置に対し独特のものである。その理由は、この操作は、いかなる整数画素位置と水平方向又は垂直方向に一列の並んでいない１／２画素位置に対してだけであるからである。この位置を計算するのに必要とされる資源は、他の１／２画素位置に対する資源よりも２倍以上を大きい。この付随する複雑さは、更にｈ，ｌ，ｎ，ｒ（これらは、従来技術では全てｍの値に依存している）の計算に対して、引き継がれる。

本発明はこの付随する複雑さを回避するものである。これは、ｍの値と１／４画素位置の少なくとも一部の位置の値を、交互に演繹（deduction）することにより行う。本発明の原理を以下の実施例で説明する。この実施例では、２×２ブロック内の整数位置と、関連する内挿された１／２画素位置とと１／４画素位置を表すのに同一の文字を使用する。

整数画素位置に水平方向又は垂直方向に一列に並んでいる１／２画素位置は、既に計算されているものとする。特にこれらの位置はｃ，ｋ，ｏ，ｗで示す。それらは、上記の６−タップフィルタ手段で計算できるが、他のフィルタあるいは他の計算方法も適用可能である。

完全なフィルタ操作を、位置ｍに水平方向又は垂直方向に一列に並んだ１／２画素位置に適用する代わりに、ｍの値を近傍の２個の整数画素位置に対し２−タップフィルタ操作を行うことにより計算する。この実施例においては、２−タップフィルタ操作は、この２個の整数画素位置の値を平均化する。即ち、２−タップフィルタは、（１／２，１／２）のインパルス応答を有する。この近傍にある２個の整数画素位置は、ｍの反対側にもそれぞれある。どの整数画素位置も、ｍに対し垂直方向又は水平方向に一列に並んでいないために、最も近い整数画素位置は、対角線方向にある。ｍに対し以下の式で表される。
ｍ＝（Ｅ＋Ｕ）／２

本発明によれば、関連する１／４画素位置、即ち従来技術のｍから得られた１／４画素位置は、それに応じた方法でも抽出される。その結果、全ての画素位置は、Ａ，Ｅ，Ｕ，Ｙ，ｃ，ｋ，ｏ、ｗから直接計算できる。かくして１／４画素位置値（特殊な場合には１／２画素位置値）を決定するために必要とされる中間計算量は少なくなる。これは計算全体の複雑さを減らすことになる。

本発明の一実施例による計算式の組みは次の通りである。

本発明は、上記した実施例で使用されたような対称２−タップフィルタの使用に限定されない。本発明の基本的な原理は、１／４画素位置の全ての値（特殊な場合には１／２画素位置の値）を計算するのに、整数画素位置と、この整数画素位置に水平方向又は垂直方向に一列に並んだ１／２画素位置に対し傾斜フィルタ操作を行うことである。これは、計算された１／２画素位置と／又は整数画素位置の最も近い位置を選択することにより、従来技術の計算と同一の精度で行うことができる。ここで、全ての画素位置は、計算すべき画素位置と同一の傾斜ライン上にある。

このラインの一例を、上記の実施例で表した一部の式に対し、図２に示す。太字は、どの画素が各ケース（ａ）−（ｅ）で計算されるかを示す。

図２は、整数画素位置と分数画素位置の一例を示し、内挿されるピクセルの値は、本発明の方法により計算される。

図２（ａ）においてｇで示された１／４画素位置の画素値は、ｇ＝（ｃ＋ｋ）／２の計算式で計算される。この斜めラインは、１／４画素位置ｃと１／４画素位置ｋと交差する（結ぶ）。

図２（ｂ）においてｉで示された１／４画素位置の画素値は、ｉ＝（ｃ＋ｏ）／２の計算式で計算される。この斜めラインは、１／４画素位置ｃと１／４画素位置ｏと交差する（結ぶ）。

図２（ｃ）においてｒで示された１／４画素位置の画素値は、ｒ＝（ｋ＋Ｙ）／２の計算式で計算される。この斜めラインは、１／４画素位置ｋと１／２画素位置Ｙと交差する（結ぶ）。

図２（ｄ）においてｓで示された１／４画素位置の画素値は、ｓ＝（ｗ＋ｏ）／２の計算式で計算される。この斜めラインは、１／４画素位置ｗと１／４画素位置ｏと交差する（結ぶ）。

図２（ｅ）においてｍで示された１／４画素位置の画素値は、ｍ＝（Ｅ＋Ｕ）／２の計算式で計算される。この斜めラインは、１／２画素位置Ｅと１／２画素位置Ｕと交差する（結ぶ）。

以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。

符号化標準Ｈ．２６４／ＡＶＣにより整数の画素位置と分数の画素位置の一例を示す図 内挿された画素の値が本発明の方法により計算された整数画素位置と分数画素位置の一例を表す図

Claims (9)

1. 動画像符号化／復号化に際し、動画像ピクチャー内の整数画素位置の間にある画素位置に対する画素値を内挿する計算方法において
   （Ａ） 整数画素位置と水平方向又は垂直方向に一列に並んだ、内挿された画素位置の組みの画素値は、関連する水平方向又は垂直方向に一列に並んだ内挿された画素位置に対し、第１のフィルタを適応することによって計算するステップと、
   （Ｂ） 整数画素位置と水平方向又は垂直方向に一列に並んでいない、内挿された第１画素位置の画素値は、第２画素位置と第３画素位置に対し、第２のフィルタを適用することによって計算するステップと、
   前記第２画素位置と第３画素位置は、整数画素位置、又は前記内挿された第１画素位置と一列に並んだ内挿された画素位置であり、
   を有する
   ことを特徴とする内挿された動画像の符号化／復号に際し、整数画素位置の間にある画素位置の画素値を計算する方法。
2. 前記第２のフィルタは、２−ｔａｐフィルタである
   ことを特徴とする請求項１記載の方法。
3. 前記第１のフィルタは、対称６−ｔａｐフィルタである
   ことを特徴とする請求項２記載の方法。
4. 前記第２の２−ｔａｐフィルタは、前記第２画素位置と第３画素位置の画素値を平均化する対称２−ｔａｐフィルタである
   ことを特徴とする請求項２又は３記載の方法。
5. 前記第２の画素位置と第３の画素位置は、前記第１の内挿された画素位置に対し、各側にかつそこから同一距離にある
   ことを特徴とする請求項４記載の方法。
6. 前記ステップは、Ｈ．２６４／ＡＶＣの符号化標準による画素動き保証ステップで使用される
   ことを特徴とする請求項２又は３記載の方法。
7. 前記ステップは、Ｈ．２６４／ＡＶＣの符号化標準による画素動き保証ステップで使用される
   ことを特徴とする請求項４記載の方法。
8. 前記ステップは、Ｈ．２６４／ＡＶＣの符号化標準による画素動き保証ステップで使用される
   ことを特徴とする請求項５記載の方法。
9. 前記ステップは、Ｈ．２６４／ＡＶＣの符号化標準による画素動き保証ステップで使用される
   ことを特徴とする請求項１−５のいずれかに記載の方法の使用。

Images