WO2004047453A1

WO2004047453A1 - 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置

Info

Publication number: WO2004047453A1
Application number: PCT/JP2003/011286
Authority: WO
Inventors: Shinya Kadono; Chong Soon Lim; Teck Wee Foo; Sheng Mei Shen
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-11-20
Filing date: 2003-09-04
Publication date: 2004-06-03
Also published as: US9451276B2; US20180234696A1; CN101304536A; CN100401781C; JP2013102518A; US8204119B2; EP1566970A4; TW201419875A; EP2309758A2; US20090110072A1; US8885713B2; TWI559741B; CA2473767C; BRPI0306987B1; JP2010148128A; US9967584B2; TWI430666B; US20120287996A1; TW201703521A; TW200708114A

Abstract

時刻Ｔ０の値Ｐ０、時刻Ｔ１の値Ｐ１から時刻Ｔの値Ｐを予測する方法であって、時刻Ｔ０、時刻Ｔ１および時刻Ｔを用いたスケーリングで所定の有効ビット数で予測値を生成することが可能か否かを判断するステップと（ステップＳ９０）、所定の有効ビット数で予測値を生成することが可能である場合は時刻Ｔ０、時刻Ｔ１および時刻Ｔを用いたスケーリングで値Ｐ０と値Ｐ１から値Ｐを予測するステップ（ステップＳ９２）と、所定の有効ビット数で予測値を生成することが不可能である場合は時刻Ｔ０、時刻Ｔ１および時刻Ｔを用いずに値Ｐ０と値Ｐ１から値Ｐを予測するステップ（ステップＳ９１）とを含む。

Description

明細書動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び

技術分野

本発明は、動画像における画素値の予測方法に関し、特に、 2つのピクチャに基づいて時間的にスケーリング処理を行う予測方法等に関する, 背景技術

動画像符号化においては、一般に、動画像が有する空間方向および時間方向の冗長性を利用して情報量の圧縮を行う。ここで、時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチヤ間予測符号化では、あるピクチャを符号化する際に、時間的に前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことにより情報量の圧縮を行う。

このような動画像符号化方式では、ピクチャ間予測符号化を行わない、すなわちピクチャ内符号化を行うピクチャを I ピクチャと呼ぶ。ここでピクチャとは、フレームおよびフィールドの両者を包含する 1 つの符号化の単位を意味する。また、既に処理済みの 1枚ピクチャを参照してピクチャ間予測符号化するピクチャを Pピクチャと呼び、既に処理済みの 2枚のピクチャを参照してピクチャ間予測符号化するピクチャを Bピクチヤと呼ぷ。

ところで、 Bピクチャは、 2つの参照ピクチャに基づいて、スケーリング処理（ピクチャの間隔に基づく比例計算）によって、画素値が予測 (「重み付け予測」とも言う。）されたり、動きベクトルが算出されたりする。なお、ピクチャの間隔としては、例えぱピクチャの有する時間情報の差、ピクチャごとに割り当てられるピクチャ番号の差、ピクチャの表示順序を示す情報の差などがある。

図 1 は、 2つの参照ピクチャに基づく重み付け予測によって、 Bピクチヤの予測画素値を算出する過程を示す従来技術の一例を示す。本図に示されるように、 Bピクチャの予測画素値 Pは、 2つの参照ピクチャブロック 1 及び 2の画素値 P 0及び P 1 を用いた重み付け加算によって決定される。式中の重み係数 a及び bは、例えば、いずれも 1 2である。図 2及び図 3は、 2つの参照ピクチャ（ブロック 1 及び 2 ) に基づいて、スケーリングを行うことによって Bピクチャ（符号化対象ブロック）の予測画素値を算出する過程を示す他の例である（例えば、 Joint Video Team (JVT) of I SO/ 1 EC MPEG and ITU-T VCEG Joint Committee Draft 2002 - 05- 10、 JVT-C167 11. 参照。）。ここで、図 2は、 Bピクチャ（符号化対象ブロック）が前方向のピクチャ（ブロック 1 ) と後方向のピクチヤ（ブロック 2 ) を参照している場合の例を示し、図 3は、 Bピクチャ（符号化対象ブロック）が 2つの前方向のピクチャ（ブロック 1 及びブロック 2 ) を参照している場合の例を示している。なお、図中の W 0 及び W 1 は、スケーリング処理（ここでは、画素値の重み付け予測）における重み係数であり、それぞれ、ブロック 1 の画素値に乗じる重み係数、ブロック 2の画素値に乗じる重み係数であり、以下の式で表される。

W 0 = ( 1 2 8 ( T 1 - T )) / ( T 1 - T 0 ) (式 1 )

W 1 = ( 1 2 8 X ( T - T 0 )) / ( T 1 - T 0 ) (式 2 ) ここで、丁、 T 0、 T 1 は、それぞれ、符号化対象ブロック、前方向の参照ブロック 1 、後方向の参照ブロックに付された時間（タイムスタンプ等）である。

このとき、対象ブロックの予測画素値 Pは、以下の式によって、算出される。

p = ( P 0 XW 0 + P 1 XW 1 + 6 4 ) » 7 (式 3 )

ここで、 Γ》 j は、右方向へのビットシフトを意味する。つまり、 Γ » 7」は、 Γ÷ ( 2の 7乗） J を意味する。なお、上記式 3は、画素値が輝度信号の値を示す場合であるが、画素値が色差を示す場合には、以下の式で表される。

P = 1 2 8 + (( P 0 - 1 2 8 ) X W 0 + ( P 1 - 1 2 8 ) x W 1 + 6 4 ) » 7 (式 4 )

図 4は、これらの式を用いた具体的な算出手順を示すフローチャートである。時刻丁、 T 1 、 T 0を取得した後に（ステップ S 4 0 1 )、時刻 T 1 と T 0が等しい、つまり、式 1 及び式 2に示された重み係数 W 0及ぴ W 1 の式における分母がゼロになるか否かを判断し（ステップ S 4 0 2 )、ゼロになる場合には（ステップ S 4 0 2で Y e s )、重み係数 W O 及び W 1 を 1 2 8とし（ステップ S 4 0 3 )、そうでない場合には（ステップ S 4 0 2で N o )、上記式 1及び式 2に従って重み係数 W0及び W 1 を算出し（ステップ S 4 0 4 )、最後に、それらの重み係数 W0及ぴ W 1 、参照ブロック 1 の画素値 P 0及び参照ブロック 2の画素値 P 1 を用いて上記式 3又は式 4に従って、符号化対象ブロックの予測画素値 Pを算出する（ステップ S 4 0 5 )。このように、 2つの参照ブロックの画素値を用いて、時間的なスケーリングを行うことで、符号化対象ブロックの予測画素値が算出される。

ところで、このような時間的なスケーリング処理においては、上記式 1 及び式 2に示されるように、重み係数の算出のために除算が必要となるが、除算は乗算に比べ、演算に必要なリソースが大きいことから、除算を行う代わりに、除数の逆数を予め計算してルックアップテーブル等に格納しておき、その逆数を用いて乗算を行うことが一般的である。なお、図 1 、図 2および図 3でブロック 1 およびブロック 2は P ピクチヤとしたが、 I ピクチャや Bピクチヤであっても良く、 Pピクチャに拘るものではない。

しかしながら、予め計算された逆数を用いる方法では、重み係数を算出する式における除数の種類が多い場合には、予め計算しておく逆数の種類も多くなる。例えば、式 1 、式 2で示した T 0および T 1 がとリ得る値がそれぞれ 3 0通りとすると、単純に計算して 9 0 0通りの除算が逆数計算のために必要となり逆数演算の演算量が非常に大きくなる。更に、逆数を格納しておくルックアップテーブル等の記憶容量が多く必要とされるという問題もある。

また、上記式 1 及び式 2における分母（重み係の除数）が小さくなると、重み係数（商）が非常に大きくなリ、例えば、予測画素値が 1 6 ビットで表現できる値を超えてしまうという問題がある。そのために、例えば、 3 2 ビットによる演算を行う必要が生じる等、演算に必要な演算精度（有効演算桁数）が増加するため、演算装置の規模が大きくなつてしまう。発明の開示

そこで、本発明は、このような状況に鑑み、時間的なスケーリング処理による動画像の予測において、そこで用いられる除数の逆数を予め計算してメモリに格納しておく場合に、そのメモリの記憶容量が小さくて済むことを可能にする動画予測方法等を提供することを目的とする。また、本発明は、時間的なスケーリング処理による動画像の予測において、演算に必要な有効演算桁数を増大させることなく、小さな規模の演算で済むことを可能にする動画像予測方法等を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像予測方法は、動画像を構成するピクチャの画素値を 2枚の参照ピクチャの画素値に基づいて予測する方法であって、予測対象ピクチャと第 1参照ピクチャとの間隔に対応する第 1 パラメータを算出する第 1パラメータ算出ステップと、前記第 1 参照ピクチャと第 2参照ピクチャとの間隔に対応する第 2パラメータを算出する第 2パラメータ算出ステップと、前記第 1パラメータおよび前記第 2パラメータに基づいて算出される第 3パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 1判断ステツプと、前記第 1 判断ステップでの判断の結果、前記第 3パラメータが前記所定範囲に含まれる場合、前記第 1 パラメータ、前記第 2パラメータ、前記第 1 参照ピクチャおよび第 2参照ピクチャの画素値に基づいてスケ —リングを行うことにより、前記予測対象ピクチャの画素値を算出する第 1 予測ステップと、前記第 1 判断ステップでの判断の結果、前記第 3 パラメータが前記所定範囲に含まれない場合、あらかじめ設定された所定値、前記第 1 参照ピクチャおよび第 2参照ピクチヤの画素値に基づいてスケーリングを行うことにより、前記予測対象ピクチャの画素値を算出する第 2予測ステップとを含むことを特徴とする。

ここで、スケーリング処理とは、 2枚の参照ピクチャの画素値から予測対象ピクチャの画素値を算出するときの各重み係数を求める処理である。

これによつて、スケーリング処理における重み係数の値の 1 つである第 3パラメータに制限を設け、重み係数が所定範囲内の場合には、その重み係数を用いたスケーリング処理を行うが、重み係数が所定範囲外である場合には、重み係数を所定値とし、その重み係数を用いたスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、常に所定の有効ビッ卜数での計算が可能になる。

また、前記動画像予測方法は、さらに、前記第 1パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 2判断ステップを含み、前記第 2判断ステップでの判断の結果、前記第 1パラメータが前記所定範囲に含まれない場合、前記第 2予測ステツプでの予測を行うことが好ましい。

これによつて、スケーリング処理における除数の値となる第 1パラメータに制限を設け、除数が所定範囲内の値である場合には、さらにその除数によって特定される重み係数が所定範囲に含まれるか否かを判断して上記のように処理を行い、一方、除数が所定範囲を超えている場合には、予め定めた値を重み係数としてスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、除数の逆数を計算する演算量や記憶するメモリ量が小さく抑えられる。

また、前記動画像予測方法は、さらに、前記第 2パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 3判断ステップを含み、前記第 3判断ステップでの判断の結果、前記第 2パラメータが前記所定範囲に含まれない場合、前記第 2予測ステツプでの予測を行つてもよい。

これによつて、スケーリング処理における乗数の値となる第 2パラメータに制限を設け、乗数が所定範囲内の値である場合には、さらにその乗数によって特定される重み係数が所定範囲に含まれるか否かを判断して上記のように処理を行い、一方、乗数が所定範囲を超えている場合には、予め定めた値を重み係数としてスケーリング処理を行うので、予測対象ピクチャの画素値を求めるときに、計算する演算量が小さく抑えられる。なお、本発明は、このような動画像予測方法として実現することができるだけでなく、このような動画像予測方法に含まれるステップを手段とする動画像予測装置として実現したリ、そのような動画像予測方法を行う動画像符号化方法 ■装置及び動画像復号化方法，装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 C D 一 R O M等の記録媒体ゃィンターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動画像予測方法によつて、 2つの参照ピクチャを用いたスケーリング処理が効率化される。これによって、スケーリング処理に伴う計算量とメモリ容量が削減される。つまり、予測画素値の生成や動きべクトルの生成において、重み係数の算出における除算を避けるために必要な逆数演算の回数と逆数を保存するルックアップテーブル等のメモリサイズが削減される。また、所定の有効ビット数（例えば、 1 6 ビット）でスケーリング処理が行われ、回路規模の肥大化が回避される。図面の簡単な説明

図 1 は、 2つの参照ピクチャに基づく重み付け予測によって、 Bピクチヤの予測画素値を算出する過程を示す従来技術の一例を示す図である図 2は、 Bピクチャ（符号化対象ブロック）が前方向のピクチャ（ブロック 1 ) と後方向のピクチャ（ブロック 2 ) を参照している場合の例を示す図である。

図 3は、 Bピクチャ（符号化対象ブロック）が 2つの前方向のピクチャ（ブロック 1 及びブロック 2 ) を参照している場合の例を示す図である。図 4は、従来の重み付け予測の手順を示すフローチヤ一トである。図 5は、本発明に係る動画像予測方法を用いた動画像符号化装置の一実施の形態の構成を示すプロック図である。

図 6は、図 5における動き補償符号化部による重み付け予測の処理手順を示すフローチャートである。

図 7は、重み係数の算出における除算を避けるために必要なルックァップテーブルのサイズ削減に有効な処理手順を示すフローチャートである。

図 8は、図 7における判断処理（ステップ S 7 0 ) の具体例を示すフローチャートである。

図 9は、所定の有効ビット数で重み付け予測を行う処理手順を示すフ口—チヤ— トである。図 1 0は、図 9における判断処理（ステップ S 9 0 ) の具体例を示すフローチヤ一トである。

図 1 1 は、本発明に係る動画像予測方法を用いた動画像復号化装置の —実施の形態の構成を示すブロック図である。

図 1 2は、実施の形態 1 の動画像符号化装置または実施の形態 2の動画像復号化装置の構成を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図 1 3は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。

図 1 4は、本発明に係る動画像予測方法、動画像符号化装置及び画像復号化装置を用いた携帯電話を示す図である。

図 1 5は、本発明に係る携帯電話の構成を示すプロック図である。図 1 6は、本発明に係るディジタル放送用システムの全体構成を示すブロック図である。発明を実施するための最良の形態

以下、本発明に係る動画像予測方法について、図面を参照しながら詳細に説明する。

(実施の形態 1 )

図 5は、本発明に係る動画像予測方法を用いた動画像符号化装置の一実施の形態の構成を示すブロック図である。

動画像符号化装置は、ピクチャメモリ 1 0 1 、予測残差符号化部 1 0 2、符号列生成部 1 0 3、予測残差復号化部 1 0 4、ピクチャメモリ 1 0 5、動きべクトル検出部 1 0 6、動き補償符号化部 1 0 7、動きべクトル記憶部 1 0 8、差分演算部 1 1 0、加算演算部 1 1 1 、およびスィツチ 1 1 2、 1 1 3を備える。

ピクチャメモリ 1 0 1 は、表示時間順にピクチャ単位で入力された動画像を格納する。動きべクトル検出部 1 0 6は、符号化済みの復号化画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルの検出を行う。

動き補償符号化部 1 0 7は、動きべクトル検出部 1 0 6で検出された動きべクトルを用いてブロックの符号化モードを決定し、この符号化モ —ドに基づいて予測画像データ（予測画素値）を生成する。例えば、 2 枚の参照ピクチャを用いたピクチャ間予測符号化モードの場合には、動き補償符号化部 1 0 7は、動きべクトル検出部 1 0 6で検出された動きベクトルを用いて 2枚の参照ピクチャから 2つの参照ブロックの画素値を求め、予測画像データを生成する。つまり、本発明に係る特徴的なスケ一リング処理によって、画素値の重み付け予測を行い、 2つの参照ブロックの画素値より処理対象ブロックの画素値を求める。また、動き補償符号化部 1 0 7は、第 1 参照ピクチャと第 2参照ピクチャとの間隔に対応する値（所定の範囲に制限した値）とその逆数とを対応付けて記憶するルックアップテーブルを有しており、このルックアップテーブルを参照してスケーリング処理を行う。

動きべクトル記憶部 1 0 8は、動きべクトル検出部 1 0 6で検出された動きベクトルを記憶する。この動きべクトル記憶部 1 0 8に記憶された動きべクトルは、例えば参照ピクチャの有する動きべクトルをスケーリング処理して処理対象プロックの動きべクトルを予測する時間的ダイレクトモ一ドの際に参照される。差分演算部 1 1 0は、ピクチャメモリ 1 0 1 よリ読み出された画像データと、動き補償符号化部 1 0 7より入力され^予測画像データとの差分を演算し、予測残差画像データを生成する。

予測残差符号化部 1 0 2は、入力された予測残差画像データに対して周波数変換や量子化等の符号化処理を行い、符号化データを生成する。符号列生成部 1 0 3は、入力された符号化データに対して可変長符号化等を行い、さらに動き補償符号化部 1 0 7から入力された動きべクトルの情報、および符号化モードの情報等を付加することにより符号列を生成する。

予測残差復号化部 1 0 4は、入力された符号化データに対して逆量子化や逆周波数変換等の復号化処理を行い、復号化差分画像データを生成する。加算演算部 1 1 1 は、予測残差復号化部 1 0 4より入力された復号化差分画像データと、動き補償符号化部 1 0 7よリ入力された予測画像データとを加算し、復号化画像データを生成する。ピクチャメモリ 1 0 5は、生成された復号化画像データを格納する。

次に、以上のように構成された動画像符号化装置の特徴的な動作について説明する。ここでは、一例として、動き補償符号化部 1 0 7による Bピクチャの予測画素値の生成、つまり、重み付け予測について、図 2 及び図 3を参照しながら説明する。

動き補償符号化部 1 0 7は、以下の式に基づいて、符号化対象ブロックの予測画素値を算出する。

P = P O + (( P 1 — P O ) X BW D) 》 LWD (式 5 ) ここで、 BW D及び LW Dは、以下の式 6〜式 9で特定される値である。

B W D 0 = (( T一 T O ) 《 7 ) / ( T 1一 T O ) (式 6 ) ここで、 Γ《 J は、左方向へのビットシフトを意味する。つまり、 Γ《 7」は、「 X ( 2の 7乗）」を意味する。

L W D 0 = C Θ i I ( I o g 2 ( 1 + ( a b s ( BW D O ) » 7 )) (式 7 )

ここで、関数 C e i I ( x ) は、 xを、 x以上で、かつ、 xに最も近い整数に丸める関数である。関数 a b _S ( x ) は、 xの絶対値を返す関数である。

BWD = BW D O》 LW D O (式 8 )

LWD = 7 — LWD O (式 9 )

なお、式 7に示されるように、 LWD Oは、 a b s ( BWD O ) » 7 の整数値のビット数をも意味する。

以上の式から分かるように、本実施の形態では、画素値が 8 ビッ卜で表現されるとすれば、上記式 6、式 7、式 8、式 9の演算は全て 1 6 ビットの演算になる。従って、上記式 5に示されるスケーリング処理は 1 6 ビッ卜の有効ビット数の範囲内で行われることが保証される。つまリ、上記式 8によって、上記式 5における乗算が 1 6 ビットの有効ビット数を超えないように、重み係数が制限されるのである。これによつて、 B ピクチャの重み付け予測は、常に 1 6 ビッ卜の有効ビット数内で実現される。なお、処理量の削減のために、 B W D及び L W Dについては、予め計算しておき、ピクチャ又はスライスの開始時点に置かれるルックァップテーブル等に格納しておいてもよい。

なお、本実施の形態では、重み係数の算出のための計算回数を削減するために、上記の制限のほかに、別の制限を適用することが可能である。それは、ブロック 1 の参照ピクチャが第 2参照リスト（ I i s t 1 ) における最初の参照ピクチャでない場合には、デフオール卜の重み係数を用いる、という制限である。ここでは、第 2参照リス卜における最初の参照ピクチャは、第 2参照リス卜におけるインデックス 0が付された参照ピクチャである。

ここで、参照リストとは、参照ピクチャを特定するための相対的な番号（インデックス）の列であり、 Bピクチャが参照する 2つのピクチャを特定するために、第 1参照リス卜と第 2参照リストとが用いられる。第 1参照リストは 1番目の動きべクトルの参照リストであり通常は前方予測に使われ、第 2参照リストは 2番目の動きベクトルの参照リストであり通常は後方予測に使われる。ィンデックスは通常は対象画像と画素相関が大きい参照ピクチャに小さい番号が割り当てられており、最も小さい番号は 0である。また、重み係数のデフオールト値は、 B W D = 1 、し W D = 1 が好ましい。ただし、 L W D 0が 7より大きい値となる場合には、異なるデフォールト値、例えば、 B W D = 1 、 L W D = 0と設定されてもよい。

図 6は、動き補償符号化部 1 0 7による重み付け予測の処理手順を示すフローチャートである。まず、 P O、 P 1 、丁、 T 0、 T 1 が取得されると（ステップ S 5 0 1 )、ブロック 2が属する参照ピクチャが第 2参照リストにおける最初の参照ピクチャ（つまり、 I ί s t 1 におけるィンデックス 0 ) であるか否かが判断される（ステップ S 5 0 2 )。その結果、ブロック 2が属する参照ピクチャが第 2参照リストにおける最初の参照ピクチャでない場合には（ステップ S 5 0 2で N o )、重み係数は第 1 のデフオールト値に設定される（ステツプ S 5 0 4 )。ここで、「重み係数が第 1 のデフォールト値に設定される」とは、 BWD = 1 、 LWD = 1 を意味する。

一方、プロック 2が属する参照ピクチャが参照リス卜における最初の参照ピクチャである場合には（ステップ S 5 0 2で Y e s )、時刻 T 1 と T 0が等しいか否かが判断される（ステップ S 5 0 3 )。その結果、 T 1 と T 0が等しい場合には（ステップ S 5 0 3で Y e s )、重み係数は第 1 のデフォールト値に設定され（ステップ S 5 0 4 )、一方、 T 1 と T Oが等しくない場合には（ステップ S 5 0 3で N o )、上記式 6及び式 7に従つて、 BWD O及び LWD Oが算出される（ステップ S 5 0 5 )。

続いて、 L W D 0が 7よりも大きいか否かが判断され（ステップ S 5 0 6 )、 7よりも大きい場合には（ステップ S 5 0 6で Y e s )、重み係数は第 2のデフォールト値に設定される（ステップ S 5 0 7 )。ここで、「重み係数が第 2のデフォールト値に設定される」とは、 BW D = 1 、 LWD = 0を意味する。一方、 LWD Oが 7以下である場合には（ステップ S 5 0 6で N o )、上記式 8及び式 9に従って、 BWD及びし WDが算出される（ステップ S 5 0 8 )。

そして、以上のようにして決定された BWD及び LW Dを用いて、上記式 5に従って、符号化対象ブロックの予測画素値 Pが算出される（ステツプ S 5 0 9 )。

このように、上記制限（ステップ S 5 0 2、 S 5 0 3、 S 5 0 4、 S 5 0 6、 S 5 0 7 )、つまり、一定条件が満たされた場合に重み係数を所定値に固定することで、計算の回数、及び、重み係数用のルックアップテーブルに必要とされる記憶サイズは、従来に比べ、極めて小さくなる。また、必要な除算の回数は、ルックアップテーブルに記憶する重み係数の個数から 1 を引いた値に等しくなる。これは、ルックアップテーブルのエントリにおける残り部分では、デフォールト値の重み係数が用いられるからである。つまり、一部の重み係数だけが計算によって算出されることになる。

なお、以上の重み付け予測は、画素値が輝度を示す場合だけでなく、色差を示す場合にも成 y立つことは言うまでもない。たとえば、 Bピクチヤにおける色差のブロックの重み係数については、色差の予測値は、上記式 5に式 3と同様の 1 2 8のオフセットを用いて算出することができる。よって、色差の画素値に対するスケーリングについても、従来に比べ、計算量が削減される。

以上のように、本実施の形態における動画像符号化装置によって、 2 つの参照プロックを用いたスケーリング処理が効率化される。そして、計算量の削減という効果は、動画像符号化装置だけでなく、動画像復号化装置についても適用できることは言うまでもない。

なお、本実施の形態では、重み係数の算出における除算を避けるために必要なルックアツプテーブルのサイズ削減と、所定の有効ビット数（例えば、 1 6 ビット）で重み付け予測を行うことの両方を同時に実現する方法が示されたが、本発明は、必ずしも、両方の効果を同時に発揮する実現方法だけに限られない。以下、ルックアップテーブルのサイズ削減と所定の有効ビット数での重み付け予測それぞれを単独に実現する方法を説明する。

また、上記においては、ビットシフトによって所定の有効ビット数で重み付け予測を行う方法を示したが、 B W D及び L W Dについては固定値を用いることが可能である。 B W D及び L W Dを固定値とすることで、重み係数が所定の有効ビット数を超える場合があるが、この場合には以下に説明するように所定の重み係数を用いる。

まず、動き補償符号化部 1 0 7は、図 2又は図 3に示された Bピクチャの重み付け予測に際して、時刻 T、 T 1 、 T Oの値に応じた予測値の生成が必要か否かを判断する（ステツプ S 7 0 )。その結果、必要と判断した場合には（ステップ S 7 0で Y Θ s )、通常通り、上記式 1 〜式 3に従って、それらの時刻 T、 T 1 、 T 0の値に応じた予測値を生成する（ステツプ S 7 2〉。一方、必要と判断しなかった場合には（ステップ S 7 0 で N o )、 2つの重み係数 W 0及ぴ W 1 それぞれを 1 ノ 2と設定し、上記式 3に従って、予測値を生成する（ステップ S 7 1 )。

図 8は、図 7における判断処理（ステップ S 7 0 ) の具体例を示すフ口一チヤ一トである。

図 8 ( a ) では、動き補償符号化部 1 0 7は、時刻 T 1 のインデックス（時刻 T 1 に対応する参照ピクチャの参照リス卜におけるィンデックス）が 0であるか否かよつて（ステップ S 8 0 )、所定の重み係数（例え【ま、 W 0 = W 1 = 1 2 ) を用いて予測値を生成するか（ステップ S 8 1 )、または、上記式 1 〜式 3に従って、時刻丁、 T 1 、 T Oを用いて予測値を生成するか（ステップ S 8 2 ) を、切り替える。これによつて、例えば、時刻 T 1 のインデックスが 0となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックアップ亍一ブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。

図 8 ( b ) では、動き補償符号化部 1 0 7は、時刻 T 1 のインデックス（時刻 T 1 に対応する参照ピクチャの参照リストにおけるィンデックス）が所定値（例えば、 2 )以下であるか否かよつて（ステップ S 8 5 )、所定の重み係数（例えば、 WO =W 1 = 1 / 2 ) を用いて予測値を生成するか（ステップ S 8 6 )、または、上記式 1 ~ 3に従って、時刻丁、 T 1 、 T 0を用いて予測値を生成するか（ステップ S 8 7 ) を、切り替える。これによつて、例えば、参照ピクチャのインデックスが所定値以下となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックァップ亍ーブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。

図 9は、所定の有効ビット数で重み付け予測を行う処理手順を示すフローチャートである。

まず、動き補償符号化部 1 0 7は、図 2又は図 3に示された Bピクチャの重み付け予測に際して、時刻 T、 T 1 、 T Oの値に応じて、所定の有効ビット数で予測値を生成することが可能か否かを判断する（ステツプ S 9 0 )。その結果、可能と判断した場合には（ステップ S 9 0で Υ _θ s )、通常通り、上記式 1 〜式 3に従って、それらの時刻丁、 T 1 、 T O の値に応じた予測値を生成する（ステップ S 9 2〉。一方、不可能と判断した場合には（ステップ S 9 0で N o )、 2つの重み係数 W O及ぴ W 1 それぞれを 1ノ 2と設定し、上記式 3に従って、予測値を生成する（ステップ S 9 1 )。

図 1 0は、図 9における判断処理（ステップ S 9 0 ) の具体例を示すフローチヤ一トである。

図 1 0 ( a ) は、画素値の重み付け予測における具体例を示す図である。ここでは、動き補償符号化部 1 0 7は、時刻 T 1 と時刻 Tとの差（ T 1一 T ) が所定範囲内（例えば、一 2 ~ 2 ) であるか否かよつて（ステップ S 1 0 0 )、所定の重み係数（例えば、 W O =W 1 = 1 2 ) を用いて予測値を生成するか（ステップ S 1 0 1 )、または、上記式 1 〜式 3に従って、時刻丁、 T 1 、 T 0を用いて予測値を生成するか（ステップ S 1 0 2 ) を、切り替える。これによつて、予測画素値の生成において、重み係数が一定値を超える場合、つまり、一定のビット数で表現できない事態が生じ得る場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

図 1 0 ( b ) は、画素値の重み付け予測における具体例を示す図である。ここでは、動き補償符号化部 1 0 7は、時刻 T 1 と時刻 T 0との差 ( T 1一 T O ) が所定範囲内（例えば、一 2〜 2 ) であるか否かよつて (ステップ S 1 0 5 )、所定の重み係数（例えば、 WO = W 1 = 1 / 2 ) を用いて予測値を生成するか（ステップ S 1 0 6 )、または、上記式 1 〜式 3に従って、時刻丁、 T 1 、 T 0を用いて予測値を生成するか（ステップ S 1 0 6 ) を、切り替える。これによつて、予測画素値の生成において、重み係数が一定値を超える場合、つまり、一定のビット数で表現できない事態が生じ得る場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

(実施の形態 2 )

次に、本発明に係る動画像予測方法を用いた動画像復号化装置について説明する。

動画像復号化装置は、符号列解析部 2 0 1 、予測残差復号化部 2 0 2、ピクチャメモリ 2 0 3、動き補償復号化部 2 0 4、動きべクトル記憶部 2 0 5、加算演算部 2 0 7、およびスィッチ 2 0 8を備える。

符号列解析部 2 0 1 は、入力された符号列よリ、符号化モードの情報、および符号化時に用いられた動きべクトルの情報等の各種データの抽出を行う。予測残差復号化部 2 0 2は、入力された予測残.差符号化データの復号化を行い、予測残差画像データを生成する。

動き補償復号化部 2 0 4は.、符号化時の符号化モードの情報、および動きべクトルの情報等に基づいて、動き補償画像データを生成する。例えば、 2枚の参照ピクチャを用いたピクチャ間予測符号化モ一ドで符号化されている場合には、動き補償復号化部 2 0 4は、符号列解析部 2 0 1 で抽出された動きべクトルを用いて 2枚の参照ピクチャから 2つの参照ブロックの画素値を求め、動き補償画像データを生成する。つまり、本発明に係る特徴的なスケーリング処理によって、画素値の重み付け予測を行い、 2つの参照ブロックの画素値より処理対象ブロックの画素値を求める。また、動き補償復号化部 2 0 4は、第 1 参照ピクチャと第 2 参照ピクチャとの間隔に対応する値とその逆数とを対応付けて記憶するルックァップテーブルを有しておリ、このルツクアツプテーブルを参照してスケ一リング処理を行う。

動きべクトル記憶部 2 0 5は、符号列解析部 2 0 1 によリ抽出された動きべクトルを記憶する。この動きべクトル記憶部 2 0 5に記憶された動きべクトルは、例えば復号化対象ブロックが時間的ダイレクトモードにより符号化されている場合に参照される。加算演算部 2 0 7は、予測残差復号化部 2 0 2より入力された予測残差符号化データと、動き補償復号化部 2 0 4よリ入力された動き補償画像データとを加算し、復号化画像データを生成する。ピクチャメモリ 2 0 3は、生成された復号化画像データを格納する。

以上のように構成された動画像復号化装置の特徴的な動作、つまり、動き補償復号化部 2 0 4による画素値の重み付け予測について説明する動き補償復号化部 2 0 4は、基本的には、動画像符号化装置が備える動き補償符号化部 1 0 7と同様の機能を有する。例えば、スケーリング処理による画素値の重み付け予測においては、図 6に示されるように、時刻 T 1 のインデックス値や時刻 T 1 と時刻 T 0との一致性に基づいて (ステップ S 5 0 1 ~ S 5 0 3 )、BWD及び LW Dにデフオールト値を設定したり（ステップ S 5 0 4、 S 5 0 7 )、上記式 6〜式 9に従って B WD及び LWDを特定し（ステップ S 5 0 8 )、特定した BWD及び LW Dを用いて、上記式 5に従って、符号化対象ブロック Pの予測画素値を算出する（ステップ S 5 0 9 )。

なお、動き補償復号化部 2 0 4は、図 7及び図 8に示されるように、重み係数の算出における除算を避けるために必要なルックアップテープルのサイズ削減に有効な処理だけを行ってもよい。つまり、動き補償復号化部 2 0 4は、図 2又は図 3に示され^: Bピクチヤの重み付け予測に際して、時刻 Τ、 Τ 1 、 Τ 0の値に応じた予測値の生成が必要か否かを判断し（ステップ S 7 0 )、その結果、必要と判断した場合には（ステツプ S 7 0で Υ Θ s )、通常通り、上記式 1 〜式 3に従って、それらの時刻丁、 T 1 、 T 0の値に応じた予測値を生成し（ステップ S 7 2 )、一方、必要と判断しなかった場合には（ステップ S 7 0で N o )、 2つの重み係数 W 0及び W 1 それぞれを 1 2と設定し、上記式 3に従って、予測値を生成する（ステップ S 7 1 )。

これによつて、時刻丁、 T 1 、 T 0に応じた予測値の生成が必要となる場合だけについて、時間関係に依存した重み係数の算出が必要となるので、そのような場合に対応する重み係数だけをルックアップテーブルに格納しておくことで、全ての場合における重み係数を格納する従来に比べ、テーブルのサイズが削減される。同様に、動き補償復号化部 2 0 4は、図 9及び図 1 0に示されるように、所定の有効ビット数で重み付け予測を行う処理を行ってもよい。つまり、動き補償復号化部 2 0 4は、図 2又は図 3に示された Bピクチャの重み付け予測に際して、時刻丁、 T 1 、 T 0の値に応じて、所定の有効ビット数で予測値を生成することが可能か否かを判断し（ステップ S 9 0 )、その結果、可能と判断した場合には（ステップ S 9 0で Y Θ s )、通常通リ、上記式 1 〜式 3に従って、それらの時刻 T、 T 1 、 T Oの値に応じた予測値を生成し（ステップ S 9 2 )、一方、不可能と判断した場合には（ステップ S 9 0で N o )、 2つの重み係数 W O及ぴ W 1 それぞれを 1 2と設定し、上記式 3に従って、予測値を生成する（ステップ S 9 1 )。

これによつて、時刻丁、 T 1 、 T 0を用いて所定の有効ビット数で予測ができない場合、つまり、重み係数が一定値を超えるために一定のビット数で予測値を表現することができない事態が生じる場合には、重み係数は所定値（一定のビット数で表現される値）に設定されるので、常に、一定の有効ビット数による重み付け予測が確保される。

(実施の形態 3 )

次に、本発明に係る動画像予測方法、動画像符号化装置及び動画像復号化装置を別の形態で実現した例について説明する。

上記各実施の形態で示した動画像符号化装置または動画像復号化装置の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図 1 2は、上記実施の形態 1 の動画像符号化装置または実施の形態 2 の動画像復号化装置の構成を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図 1 2 ( b ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図 1 2 ( a ) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスク F Dはケース F内 Iピ内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラック T rが形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。従つて、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D上に割り当てられた領域に、上記プログラムとしての動画像符号化装置が記録されている。

また、図 1 2 ( c ) は、フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルデイスク F Dに記録する場合は、コンピュータシステム C sから上記プログラムとしての動画像符号化装置または動画像復号化装置をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 R O Mカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像予測方法、動画像符号化装置、動画像復号化装置の応用例とそれを用いたシステムを説明する。図 1 3は、コンテンツ配信サービスを実現するコンテンツ供給システム ex 1 0 0の全体構成を示すプロック図である。通信サービスの提供ェリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 〜ex 1 1 0が設置されている。

このコンテンツ供給システム ex 1 0 0は、例えば、インターネット ex 1 0 1 にインターネットサービスプロバイダ ex 1 0 2および電話網 ex 1 0 4、および基地局 ex 1 0 7〜ex 1 1 0を介して、コンピュータ ex 1 1 1 、 P D A (Personal Digital Ass i stant) ex 1 1.2、カメラ ex 1 1 3、携帯電話 ex 1 1 4、カメラ付きの携帯電話 Θ x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム ex 1 0 0は図 1 3のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 ex 1 0 7〜ex 1 1 0を介さずに、各機器が電話網 ex 1 0 4に直接接続されてもよい。

カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A ( Wi deband— Code Division Multiple Access ) 方式、若しくは G S M (Global System for Mobi le Communications) 方式の携帯電話機、または P H S (Personal Handyphone System) 等であり、いずれでも構わない。

また、ストリーミングサーバ ex 1 0 3は、カメラ ex 1 1 3から基地局 e 1 0 9、電話網 ex 1 0 4を通じて接続されており、カメラ ex 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理は力メラ ex 1 1 3で行つても、データの送信処理をするサーバ等で行ってもよい。また、カメラ ex 1 1 6で撮影した動画データはコンピュータ ex 1 1 1 を介してストリ一ミングサーバ ex 1 0 3に送信されてもよい。カメラ ex 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化は力メラ ex 1 1 6で行ってもコンピュータ ex 1 1 1 で行ってもどちらでもよい。また、符号化処理はコンピュータ ex 1 1 1 やカメラ ex 1 1 6が有する L S I ex 1 1 7において処理することになる。なお、動画像符号化 '復号化用のソフトウエアをコンピュータ ex 1 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディァ（C D— R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい, このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処理されたデータである。

このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3 . カメラ ex 1 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバ ex 1 0 3に送信する一方で、ストリ一ミングサーバ ex 1 0 3は要求のあったクライアン卜に対して上記コンテンツデータをストリ一ム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ ex 1 1 1 、 P D A ex 1 1 2、カメラ ex 1 1 3、携帯電話 ex 1 1 4等がある。このようにすることでコンテンツ供給システム ex 1 0 0は、符号化されたデータをクライアン卜において受信して再生することができ、さらにクライアン卜においてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。その一例として携帯電話について説明する。

図 1 4は、上記実施の形態で説明した動画像予測方法、動画像符号化装置及び画像復号化装置を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 ex 1 1 5は、基地局 ex 1 1 0との間で電波を送受信するためのァンテナ ex 2 0 1 、 C C Dカメラ等の映像、静止画を撮ることが可能な力メラ部 ex 2 0 3、カメラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex2 0 2、操作キー e X 2 0 4群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入力部 ex 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデ一タ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするためのスロット部 ex 2 0 6を有している。記録メディア ex 2 0 7は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P R O M (Electrical ly Erasable and Programmable Read Only Memory) の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 ex 1 1 5について図 1 5を用いて説明する。携帯電話 ex 1 1 5は表示部 ex2 0 2及び操作キー Θ x 2 0 4を備えた本体部の各部を統括的に制御するようになされた主制御部 ex3 1 1 に対して、電源回路部 ex3 1 0、操作入力制御部 ex3 0 4、画像符号化部 ex 3 1 2、カメラインタ一フェース部 ex 3 0 3 、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、画像復号化部 ex 3 0 9、多重分離部 ex 3 0 8、記録再生部 ex 3 0 7、変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 ex 1 1 5を動作可能な状態に起動する。

携帯電話 ex 1 1 5は、 C P U、 R O M及ぴ R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集音した音声信号を音声処理部 ex3 0 5によってディジタル音声データに変換し、これを変復調回路部 ex3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モ一ド時にアンテナ ex2 0 1 で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部 ex3 0 6でスペクトラム逆拡散処理し、音声処理部 ex3 0 5 によってアナログ音声データに変換した後、これを音声出力部 ex 2 0 8 を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー _θ X 2 0 4の操作によって入力された電子メールのテキストデ —タは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出される。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex 3 0 6でスぺクトラ厶拡散処理し、送受信回路部 ex3 0 1 でディジタルアナ口グ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基地局 ex 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex2 0 3 で撮像された画像データをカメラインターフヱース部 ex3 0 3を介して画像符号化部 ex 3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 ex 2 0 3で撮像した画像データをカメラインタ一フエース部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 ex 3 1 2は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部 ex2 0 3から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex 3 0 8に送出する。また、このとき同時に携帯電話機 ex 1 1 5は、カメラ部 ex2 0 3で撮像中に音声入力部 ex2 0 5で集音した音声を音声処理部 ex3 0 5を介してディジタルの音声データとして多重分離部 ex 3 0 8に送出する。

多重分離部 ex3 0 8は、画像符号化部 ex3 1 2から供給された符号化画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex 1 1 0から受信した受信データを変復調回路部 ex3 0 6でスぺクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex3 0 8に送出する。

また、アンテナ ex 2 0 1 を介して受信された多重化データを復号化するには、多重分離部 ex3 0 8は、多重化デ一タを分離することにより画像データのビットストリームと音声データのビットストリ一ムとに分け同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。

次に、画像復号化部 ex 3 0 9は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5は、音声データをアナログ音声データに変換した後、これを音声出力部 ex 2 0 8に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となつておリ、図 1 6に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局 ex 4 0 9では映像情報のビットストリームが電波を介して通信または放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、テレビ（受信機） ex 4 0 1 またはセットトップボックス（ S T B ) ex 4 0 7などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体である GD や DVD 等の蓄積メディア ex 4 0 2に記録したビットス卜リームを読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。また、ケーブルテレビ用のケーブル ex 4 0 5または衛星地上波放送のアンテナ ex 4 0 6に接続されたセットトップボックス ex 4 0 7内に動画像復号化装置を実装し、これを亍レビのモニタ ex 4 0 8で再生する構成も考えられる。このときセットトップボックスではなく、亍レビ内に動画像復号化装置を組み込んでも良い。また、アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 ex 4 1 2が有する力一ナビゲ一シヨン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVD ディスク Θ X 4 2 1 に画像信号を記録する DVD レコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。更に SD力一ド Θ X 4 2 2に記録することもできる。レコーダ e X 4 2 0が上記実施の形態で示した動画像復号化装置を備えていれば、 DVD ディスク Θ X 4 2 1 や SDカード _θ X 4 2 2に記録した画像信号を再生し、モニタ _θ X 4 0 8で表示することができる。

なお、力一ナピゲ一シヨン ex 4 1 3の構成は例えば図 1 5に示す構成のうち、カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 3 0 3、画像符号化部 Θ X 3 1 2を除いた構成が考えられ、同様なことがコンビユータ ex 1 1 1 やテレビ（受信機） ex 4 0 1 等でも考えられる。

また、上記携帯電話 ex 1 1 4等の端末は、符号化器 '復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像予測方法、動画像符号化装置及び画像復号化装置を上述したいずれの機器 ' システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

以上、本発明に係る動画像予測方法、動画像符号化装置及び動圃像復号化装置について、実施の形態に基づいて説明したが、本発明はこの実施の形態に限られない。

例えば、図 7における判断（ Τ , T 1 , T 0に応じた予測値の生成が必要か否かの判断；ステップ S 7 0 )、及び、図 9における判断（ Τ , T 1 , T Oに応じて、所定の有効ビット数で予測値の生成が可能か否かの判断；ステップ S 9 0 ) は、上記式 1 及び式 2に示される重み係数 W O 及び W 1 を算出する式の除数（分母の値）の値だけに限られず、乗数（分子の値）の値や、重み係数 W 0及び W 1 の値によって判断してもよい。さらに、それら重み係数 W 0及び W 1 を乗じた値によって判断してもよい。産業上の利用の可能性

以上のように、本発明に係る動画像予測方法、動画像符号化方法およぴ動画像復号化方法は、例えば携帯電話、 D V D装置、およびパーソナルコンピュータ等で、予測画素値を生成したり、動画像を構成する各ピクチャを符号化して符号列を生成したり、生成された符号列を復号化したりするための方法等として有用である。

Claims

請求の範囲

1 . 動画像を構成するピクチャの画素値を 2枚の参照ピクチャの画素値に基づいて予測する方法であって、

予測対象ピクチャと第 1参照ピクチャとの間隔に対応する第 1パラメータを算出する第 1パラメータ算出ステップと、

前記第 1参照ピクチャと第 2参照ピクチャとの間隔に対応する第 2パラメ一タを算出する第 2パラメータ算出ステップと、

前記第 1 パラメータおよび前記第 2パラメータに基づいて算出される第 3パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 1 判断ステップと、

前記第 1 判断ステツプでの判断の結果、前記第 3パラメータが前記所定範囲に含まれる場合、前記第 1 パラメータ、前記第 2パラメータ、前記第 1参照ピクチャおよび第 2参照ピクチャの画素値に基づいてスケーリングを行うことにより、前記予測対象ピクチャの画素値を算出する第 1 予測ステップと、

前記第 1 判断ステツプでの判断の結果、前記第 3パラメータが前記所定範囲に含まれない場合、あらかじめ設定された所定値、前記第 1 参照ピクチャおよび第 2参照ピクチャの画素値に基づいてスケーリングを行うことにより、前記予測対象ピクチャの画素値を算出する第 2予測ステップと

を含むことを特徴とする動画像予測方法。

2 . 前記動画像予測方法は、さらに、前記第 1パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 2判断ステップを含み、前記第 2判断ステツプでの判断の結果、前記第 1パラメータが前記所定範囲に含まれない場合、前記第 2予測ス亍ップでの予測を行う

ことを特徴とする請求の範囲 1 記載の動画像予測方法。

3 , 前記動画像予測方法は、さらに、前記第 2パラメータがあらかじめ設定された所定範囲に含まれるか否かを判断する第 3判断ステップを含み、

前記第 3判断ステツプでの判断の結果、前記第 2パラメータが前記所定範囲に含まれない場合、前記第 2予測ステツプでの予測を行う

ことを特徴とする請求の範囲 1 記載の動画像予測方法。

4 . 前記動画像予測方法は、さらに、前記第 1参照ピクチャがあらかじめ設定された所定のピクチャであるか否かを判断する第 1 ピクチャ判断ステップを含み、

前記第 1 ピクチャ判断ス亍ップでの判断の結果、前記第 1参照ピクチャが前記所定のピクチャでない場合に、前記第 2予測ステップでの予測を行う

ことを特徴とする請求の範囲 1 記載の動画像予測方法。

5 . 前記動画像予測方法は、さらに、前記第 2参照ピクチャがあらかじめ設定された所定のピクチャであるか否かを判断する第 2 ピクチャ判断ステップを含み、

前記第 2 ピクチャ判断ス亍ップでの判断の結果、前記第 2参照ピクチャが前記所定のピクチャでない場合に、前記第 2予測ステツプでの予測を行う

ことを特徴とする請求の範囲 1 記載の動画像予測方法。

6 - 前記第 1 予測ステップでは、前記第 1パラメータと前記第 1 パラメータの逆数を対応付けるルックアップテーブルを参照して前記スケ一リングを行うことにより、前記予測対象ピクチャの画素値を算出することを特徴とする請求の範囲 1 記載の動画像予測方法。

7 . 動画像を符号化する方法であって、

請求の範囲 1 〜 6のいずれか 1 項に記載の動画像予測方法によって画素値を予測する予測ステップと、

前記予測に基づいて、動画像の画素値を符号化する符号化ステップとを含むことを特徴とする動画像符号化方法。

8 . 動画像を符号化する装置であって、

請求の範囲 1 〜 6のいずれか 1 項に記載の動画像予測方法によって画素値を予測する予測手段と、

前記予測に基づいて、動画像の画素値を符号化する符号化手段とを備えることを特徴とする動画像符号化装置。

9 . 動画像を符号化するためのプログラムであって、

前記予測に基づいて、動画像の画素値を符号化する符号化ステップとをコンピュータに実行させることを特徴とするプログラム。

1 0 . 動画像を復号化する方法であって、

請求の範囲 1 ~ 6のいずれか 1 項に記載の動画像予測方法によって画素値を予測する予測ステツプと、

前記予測に基づいて、動画像の画素値を復号化する復号化ステップとを含むことを特徴とする動画像復号化方法。

1 1 · 動画像を復号化する装置であって、

前記予測に基づいて、動画像の画素値を復号化する復号化手段とを備えることを特徴とする動画像復号化装置。

1 2 . 動画像を復号化するためのプログラムであって、

請求の範囲 1 ~ 6のいずれか 1 項に記載の動画像予測方法によって画素値を予測する予測ス亍ップと、

前記予測に基づいて、動画像の画素値を復号化する復号化ステップとをコンピュータに実行させることを特徴とする 'プログラム。