JP2000341695A - 符号化高精細度ビデオ信号から拡張デコード低減解像度ビデオ信号を得るための装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 改良型画像処理システム（２０４、２０５
Ｂ、２０５Ｅ、２０６、２０７）を提供すること。 【解決手段】 このシステムは、第１の解像度で画像を
表すピクセル値のブロックを定義する周波数ドメイン係
数を含む圧縮画像データをデコードして、周波数ドメイ
ン係数の選択されたサブセットから表示用の第２の低減
解像度で画像を提供するステップを含む。この装置は、
第１の解像度よりも低く第２の低減解像度よりも高い中
間の第３の解像度で画像を表すピクセル値のブロックで
動作する動き補償ユニット（ＭＣＵ）（２０８）を含
む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化高精細度
（ＨＤ）ビデオ信号をデコードして、たとえば、画像内
画像（ＰＩＰ）またはその他の低減解像度画面を記録ま
たは再生するのに適した拡張デコードされたビデオ信号
を得る処理に関する。

【０００２】

【従来の技術】当技術分野では、第１のテレビジョン・
チャネルから得た比較的大きい画像を表示する一方で、
第２のテレビジョン・チャネルから得た小さい画像内画
像（ＰＩＰ）を同時に表示するテレビジョン受像器が知
られている。高精細度テレビジョン（ＨＤＴＶ）受像器
の場合、受像器は、高精細度表示をするために受信した
符号化ＨＤビデオ信号をリアルタイムにデコードする、
ＭＰＥＧ ＩＳＯ１３８１８−２規格に準拠する比較的
複雑で高価な、デコーダを含まなければならない。しか
しながら、ＰＩＰ（画像内画像）は小さいので高精細度
ＰＩＰ表示を提供する必要はない。その理由は、視聴者
は高精細度ＰＩＰについてより高位の解像度を本質的に
期待することはないであろうから。それゆえ、ＰＩＰを
提供するために、低減された解像度の第２のより簡単で
より高価でないデコーダ、やはりＩＳＯ１３８１８−２
規格に準拠するデコーダを、ＨＤＴＶ受像器は備えるこ
とができる。

【０００３】高精細度表示を提供するデコーダよりも多
少簡単で高価でない低減された解像度の第２のデコーダ
を提供する当技術分野で知られている１つの手法は、そ
れぞれ１９９７年３月２５日、１９９７年３月２５日、
１９９７年６月３日にＢｏｙｃｅ他に発行された３つの
米国特許第５６１４９５２号、第５６１４９５７号およ
び第５６３５９８５号で、開示されている。

【０００４】

【発明が解決しようとする課題】１９９９年７月８日出
願の本発明と譲受人が共通の同時係属の米国特許出願第
０９／３４９８６５号の教示は、Ｂｏｙｃｅ他によって
開示された第２のデコーダよりも大幅に簡単で高価でな
いがＩＳＯ１３８１８−２規格にやはり準拠する、受信
した符号化ＨＤビデオ信号からリアルタイムにＰＩＰ表
示を得るのに適したより低減された解像度の第２のデコ
ーダ、の手法を対象としている。

【０００５】

【課題を解決するための手段】あるシステムは、第１の
解像度で画像を表すブロックのピクセル値を定義する周
波数ドメイン係数を含む圧縮画像データをデコードし
て、第２の低減された解像度で画像を提供するステップ
を含む。このシステムは第２の低減された解像度の画像
を得るために、周波数ドメイン係数の選択されたサブセ
ットに応答する動き補償ユニット（ＭＣＵ）プロセッサ
を含む。動き補償ユニット（ＭＣＵ）プロセッサは第１
の解像度よりも低く第２の低減された解像度よりも高い
中間の第３の解像度で画像データを表すピクセル値のブ
ロックを使用する。

【０００６】

【発明の実施の形態】図１を参照すると、可変長デコー
ダ（ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ ｄｅｃｏｒｄｅ
ｒ）ＶＬＤ１００、ＰＩＰ（ｐｉｃｔｕｒｅ−ｉｎ−ｐ
ｉｃｔｕｒｅ）デコード（復号化）手段１０２、および
ＨＤデコード（復号化）手段１０４が示されている。Ｍ
ＰＥＧ ＩＳＯ１３８１８−２規格の知られている教示
によれば、ＭＰＥＧ Ｉ、ＰおよびＢフレームのシーケ
ンスを含む入力符号化ＨＤ ＭＰＥＧデータに対するＶ
ＬＤ１００の応答の１つは、ＨＤデコード手段１０４へ
の入力として量子化された離散コサイン変換（ＤＣＴ）
係数の連続する８×８ブロック各々によって定義される
符号化画像情報を搬送することである。さらに、ＭＰＥ
Ｇ ＩＳＯ１３８１８−２規格の知られている教示によ
れば、ＨＤデコード手段１０４によって実行される機能
の中には、第１にＤＣＴ係数各々の連続する８×８ブロ
ックの逆量子化を実行し、次いで各々の連続する８×８
ブロックのＤＣＴ係数の逆離散コサイン変換（ＩＤＣ
Ｔ）を実行する機能がある。最後に、ＨＤデコード手段
１０４は、ＩＤＣＴがＰまたはＢフレームに対して実行
された後で、各Ｐフレームと双方向予測Ｂフレームにつ
いて動き補償を実行しなければならない。

【０００７】図２はＤＣＴ係数の８×８のブロックを示
すが、同図で（１）係数ＤＣＴ_0,0の値（８×８のブロ
ックの左上隅にある）はＤＣＴを行う前に対応する８×
８ブロックのピクセル６４個の値によって定義される画
像の平均（ＤＣ）値を表す（すなわち、水平および垂直
周波数は０である）。また、（２）係数ＤＣＴ_7,7の値
（８×８のブロックの右下隅にある）はＤＣＴを行う前
に対応する８×８ブロックのピクセル６４個の値によっ
て定義される画像の最高水平周波数および最高垂直周波
数成分を表す。ＨＤ画像の場合、図２を含むＤＣＴ_0,0
からＤＣＴ_7,7までの６４個のＤＣＴ係数のすべて、ま
たはほとんどすべてがゼロ以外の値を持つことがある。
その結果、リアルタイムでＩＤＣＴを達成するために、
比較的大量の画像処理計算を実行してことになる。さら
に、動き補償は大量のリアルタイム画像制御処理計算を
も含む。したがって、ＨＤデコード手段１０４は、ＭＰ
ＥＧデコード画像フレームを表示の前に一時的に記憶す
る約９６Ｍビットのメモリを必要とする。ＨＤデコード
手段１０４は、表示のための正確な画像を再生するため
に動き補償のこれらのフレームを必要とする。したがっ
て、ＨＤデコード手段１０４の物理的実行は、比較的高
価である。

【０００８】図１を再度参照すると、入力符号化ＨＤ
ＭＰＥＧデータに対するＶＬＤ１００の別の応答は、Ｐ
ＩＰデコード手段１０２への入力として、量子化ＤＣＴ
係数の各連続する８×８のブロックで、低周波数に限定
された比較的小さい所与の数によって限定される符号化
画像情報のみを搬送することである。ＰＩＰ処理および
ＰＩＰ画像ならびに用語ＰＩＰ自体は、本明細書では任
意の形式の低減された解像度の画像および処理を含んで
おり、テレビジョンＰＩＰ画像の生成のみを含むもので
はないことを理解されたい。前述の特許出願第０９／３
４９８６５号に記載のＰＩＰデコード手段の好ましい個
別指導の例は６つの最低周波数の量子化ＤＣＴ係数のみ
を使用していたが、以下に詳述する高品質ＰＩＰデコー
ド手段１０２は図３に示す順次走査用のＤＣＴ_0,0、Ｄ
ＣＴ_1,0、ＤＣＴ_2,0、ＤＣＴ_3,0、ＤＣＴ_0,1、ＤＣＴ
_1,0、ＤＣＴ_2,1、ＤＣＴ_0,2、ＤＣＴ_1,2、およびＤＣＴ
_0,3からなる１０個のＤＣＴ係数を使用するか、あるい
は図４に示す飛越し走査用のＤＣＴ_0,0、ＤＣＴ_1,0、Ｄ
ＣＴ_2,0、ＤＣＴ_0,1、ＤＣＴ_1,1、ＤＣＴ_0,2、ＤＣＴ_0,
3、ＤＣＴ_0,4、ＤＣＴ_0,5、およびＤＣＴ_0,6からなる１
０個のＤＣＴ係数を使用し、それによって拡張ＰＩＰ表
示用のよりよい高周波数特性を提供する。より詳細に言
えば、ＶＩＤ１００によって受信されたＰＩＰビットス
トリームはＶＬＤ−ＰＩＰパーサ（ｐａｒｓｅｒ： 構
文解析プログラム）（図１を見やすくするために図示せ
ず）によって事前解析され、ＰＩＰデコーダが必要とし
ないＤＣＴ係数をビットストリームから削除する。

【０００９】図５に示す拡張品質ＰＩＰデコード手段１
０２は、ランレングス・デコーダ（ＲＬＤ）２００、逆
量子化器（ＩＱ）２０２、ユニタリ（統一された）（ｕ
ｎｉｔａｒｙ）拡張ＩＤＣＴ、フィルタリングおよびピ
クセル・デシメーション処理手段２０４、ベース層加算
器２０５Ｂ、拡張層加算器２０５Ｅ、基本および拡張層
デシメーションピクセルメモリ２０６、拡張層符号器２
０７、拡張動き補償ユニット（ＭＣＵ）処理手段２０８
およびサンプル・レート・コンバータ２１０を含む。図
５の最も簡単な機能ブロック図は拡張品質ＰＩＰデコー
ド手段１０２のこの実施形態の動作を制御する手段を示
していないが、ＩＳＯ１３８１８−２規格の要件に合致
する適した制御手段がこの実施形態の物理的な実施態様
に含まれるということを理解されたい。

【００１０】例示目的で、要素２００、２０２、２０
４、２０５Ｂ、２０５Ｅ、２０６、２０７、２０８およ
び２１０はこれらの要素各々が上述の好ましい個別指導
的な例にしたがって動作するものとする。

【００１１】この例では、ＲＬＤ２００はＩＳＯ１３８
１８−２規格で定義される２つの走査パターンを使用し
て各８×８符号化ブロックについて１０個のＤＣＴ係数
を出力する。各８×８符号化ブロック内の１０個のＤＣ
Ｔ係数の配置が、ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｅｑｕｅ
ｎｃｅフラグの状態によって決定される順次走査につい
て図３に、飛越し走査について図４に示されている。図
３の順次走査の場合、現在の画像の画像符号化拡張機能
のａｌｔｅｒｎａｔｅ＿ｓｃａｎフラグが０であれば、
１０個のＤＣＴ係数は１次元走査順内の係数０、１、
２、３、４、５、６、７、８、９に対応するが、ａｌｔ
ｅｒｎａｔｅ＿ｓｃａｎが１であれば、注目する１０個
のＤＣＴ係数は走査順内の係数０、１、２、３、４、
５、６、７、８、２０である。図４の飛越し走査の場
合、現在の画像の画像符号化拡張機能のａｌｔｅｒａｔ
ｅ＿ｓｃａｎフラグが０であれば、１０個のＤＣＴ係数
は１次元走査順内の係数０、１、２、３、４、５、９、
１０、２０、２１に対応するが、ａｌｔｅｒａｔｅ＿ｓ
ｃａｎが１であれば、注目する１０個のＤＣＴ係数は走
査順内の係数０、１、２、３、４、５、６、１０、１
１、１２である。ＲＬＤ２００内には、ａｌｔｅｒｎａ
ｔｅ＿ｓｃａｎおよびｐｒｏｇｒｅｓｓｉｖｅ＿ｓｅｑ
ｕｅｎｃｅフラグの値に応じて、ＩＳＯ１３８１８−２
規格に記載の意味とは異なる意味を有する２つのＲＵＮ
（１次元になったＤＣＴ係数から、先行するゼロの係数
の個数を示す）の値がある。順次走査の場合、ａｌｔｅ
ｒｎａｔｅ＿ｓｃａｎが０であれば、ＲＵＮ値が１０で
あることはＰＩＰデコーダ１０２が必要とする係数はす
べて０で、後続のゼロ以外の係数はないことを示す。同
様に、ａｌｔｅｒｎａｔｅ＿ｓｃａｎが１であれば、実
行値２１はＰＩＰデコーダ１０２が必要とする係数はす
べて０で、後続のゼロ以外の係数はないことを示す。飛
越し走査の場合、ａｌｔｅｒｎａｔｅ＿ｓｃａｎが０で
あれば、実行値２２はＰＩＰデコーダ１０２が必要とす
る係数はすべて０で、後続のゼロ以外の係数はないこと
を示す。同様に、ａｌｔｅｒｎａｔｅ＿ｓｃａｎが１で
あれば、実行値１３はＰＩＰデコーダ１０２が必要とす
る係数はすべて０で、後続のゼロ以外の係数はないこと
を示す。表１は、順次シーケンスのａｌｔｅｒｎａｔｅ
＿ｓｃａｎフラグの２つの可能な値に対応するＲＵＮ値
が１０および２１の場合の意味の概要を述べ、表２は飛
越しシーケンスのａｌｔｅｒｎａｔｅ＿ｓｃａｎフラグ
の２つの可能な値に対応する実行値１３および２２の意
味の概要を述べる。ＲＬＤ２００が遭遇するその他のす
べてのａｌｔｅｒｎａｔｅ＿ｓｃａｎ／実行値の組み合
わせはＩＳＯ１３８１８−２規格に記載のように解釈さ
れる。

【００１２】

【表１】 表１−順次シーケンスの場合の実行値＝１０およびＲＵ
Ｎ値＝２１のＲＬＤ２００による解釈

【００１３】

【表２】 表２−飛越しシーケンスの場合の実行値＝１３およびＲ
ＵＮ値＝２２のＲＬＤ２００による解釈

【００１４】ＩＱ２０２は、順次走査について図３に、
また飛越し走査について図４に示すように、１０個のＤ
ＣＴ係数のＩＳＯ１３８１８−２規格に記載の逆量子化
演算および飽和を実行する。逆量子化処理の不一致制御
部分は不要である。従来、ＩＱ２０２から出力される８
×８ブロック内の符号化された周波数ドメイン情報を、
低減された解像度（以降。低減解像度と称す）ＰＩＰ表
示画像についてのデシメート（切り詰め）されたピクセ
ル（以降、デシメートピクセルを称す）の小さいブロッ
クそれぞれの値を含む空間ドメイン画像情報に変換する
には、３つの個別のステップを必要とする詳細な計算処
理が必要であった。第１のステップは、画像情報の各８
×８ブロックの６４個の（すなわち、フルピクセル密度
の）ピクセル値のそれぞれの値を、逆量子化したＤＣＴ
係数値のＩＤＣＴ関数として決定することである。その
後、低域通過フィルタリングの第２ステップと、それに
続くピクセル・デシメーションの第３ステップを各連続
する８×８のブロック内のピクセル上で実行して、デシ
メートされたピクセルの所望のより小さいブロックを提
供することができる。たとえば、順次走査の場合に水平
および垂直フィルタリングされたピクセルについての１
つ置きのデシメーションは、ピクセル密度において７５
％の減少を生じさせる。同様に、飛越し走査の場合に水
平方向に４つの連続するフィルタリングされたピクセル
から３つをデシメートすると、ピクセル密度は７５％の
減少を生じさせる。したがって、いずれの場合も、ルミ
ナンス（輝度）ピクセルとクロマ（色差）ピクセルに対
して実行されるこのようなデシメーションの結果、ピク
セル密度は共に８×８のブロックあたり６４から、８×
８のブロックあたり１６まで低減される。ただし、この
従来の３ステップの計算処理を実施するのに必要なハー
ドウエア量は、比較的多く、したがって、比較的高価で
ある。

【００１５】前述の特許出願第０９／３４９８６５号に
よれば、同出願で開示されたユニタリＩＤＣＴ、フィル
タリングおよびピクセル・デシメーション手段はＩＱ２
０２から出力される８×８のブロック内に含まれる逆量
子化されたＤＣＴ係数の符号化されたそれぞれの値を、
単一のステップの計算処理内でデシメートされたピクセ
ルについてのより小さいブロックに変換することができ
る。したがって、手段２０４によってこの単一ステップ
の計算処理を実施するのに必要なハードウエア量は比較
的少なく、したがって、前述の従来の３ステップの計算
処理と比較して、比較的安価である。

【００１６】特に、特許出願第０９／３４９８６５号に
よれば、デシメートされたピクセルメモリ（ピクセル・
デシメーションを実行したため、対応するデシメートさ
れていないピクセルメモリの容量サイズのわずか１／４
である）は、複数の個別のバッファを含む。これらのバ
ッファは各々、デシメートされた輝度およびクロマ・ピ
クセルを一時的に記憶することができる。ＩＳＯ１３８
１８−２規格に準拠するデシメートされたピクセルのメ
モリは、再構築された、イントラ（内部）符号化
（Ｉ）、予測符号化（Ｐ）、および／または双方向予測
符号化（Ｂ）フレームまたはフィールド画像、を定義す
るデシメートされたピクセルを記憶する１つまたは複数
のバッファを含む。さらに、ＭＣＵ処理手段からのピク
セル値の動き補償予測マクロブロック出力は、ユニタリ
ＩＤＣＴ、フィルタリングおよびピクセル・デシメーシ
ョン処理手段内で得られた各対応するマクロブロック出
力への加算器に加えられる。その加算器の出力の加算さ
れた合計ピクセル値は、デシメートされたピクセルメモ
リの第１のバッファ内に記憶される。この第１のバッフ
ァは、（１）第１のバッファに書き込まれる時点と
（２）第１のバッファから読み出されて、デシメートさ
れたピクセルメモリの別のバッファに書き込まれる時
点、の間に記憶済みデシメートピクセルを、並べ替える
ことができる先入れ先だし（ＦＩＦＯ）バッファとする
ことができる。現在、ＰまたはＢフレームまたはフィー
ルドの場合、デシメートされたピクセルメモリは、動き
補償を提供するためにＭＣＵ処理手段に入力されるマク
ロブロックを記憶するバッファを含んでいる。

【００１７】本発明の原理によれば、デシメーションさ
れたピクセルの２つの層が有利にはそれぞれベースおよ
び拡張層デシメートピクセル・メモリ２０６内に個別に
記憶され、高品質の動き補償を達成してＰＩＰ画像品質
を向上させている。これら２つの層の第１の層はデシメ
ーションされたピクセルのベース層であり、これらの２
つの層の第２の層は、Ｐ画像のデコード中に拡張ＭＣＵ
処理手段２０８で使用される輝度マクロブロックについ
てのデシメートピクセルのベクトル量子化された値の拡
張層である。拡張層は、ベース層のデシメートピクセル
のみを使用して得られるよりも優れた解像度の、低減さ
れた解像度画像を提供するために使用される。ベース層
とこの拡張層の両方共、以下に詳述する方法で拡張ＭＣ
Ｕ処理手段２０８によって使用される。

【００１８】本発明を実施するためのＩＤＣＴ、フィル
タリングおよびピクセル・デシメーション処理手段２０
４、拡張層符号器２０７、および拡張ＭＣＵ処理手段２
０８の好ましい実施形態について以下に詳述する。

【００１９】ユニタリ拡張ＩＤＣＴ、フィルタリングお
よびおよびピクセル・デシメーション処理手段２０４は
順次走査と飛越し走査の各々について使用される基本お
よび拡張層各々の１６個デシメートピクセル値の以下の
組を提供する（各組は１０個のＤＣＴ係数値の関数であ
る）。

【００２０】順次走査の場合のデシメートピクセル値の
ベース層の組

【数１】

【００２１】順次走査の場合デシメートピクセル値の拡
張層の組

【数２】

【００２２】飛越し走査の場合デシメートピクセル値の
ベース層の組

【数３】

【００２３】飛越し走査の場合デシメートピクセル値の
拡張層の組

【数４】

【００２４】上記の「デシメーションされたピクセル値
の順次走査の組」と上記の「デシメーションされたピク
セル値の飛越し走査の組」の各々は以下の方法で得られ
た。

【００２５】１．ＤＣＴ_{u 、 v}が水平周波数指標ｕと垂直
周波数指標ｖとを有するＤＣＴ係数を示す場合、フル解
像度で示されるブロックｆ（ｘ、ｙ）を解読するのに使
用されるＩＤＣＴ式（ここで、ｘ＝０、．．．、Ｎ−
１； ｙ＝０、．．．、Ｎ−１である）は以下の式で与
えられる。

【００２６】

【数５】

【００２７】２．図３に示す１０個のＤＣＴ係数のみを
使用して順次走査シーケンスの近似式２が与えられる。

【００２８】

【数６】

【００２９】３．図４に示す１０個のＤＣＴ係数のみを
使用して飛越し走査シーケンスの近似式３が与えられ
る。

【００３０】

【数７】

【００３１】４．各式２と３の右辺をｆ′（ｘ、ｙ）で
示す。順次走査の場合（すなわち、ｐｒｏｇｒｅｓｓｉ
ｖｅ＿ｓｅｑｕｅｎｃｅフラグが１の場合）、ベース層
の値ｇ₁′（ｘ、ｙ）は以下の式４にしたがって計算さ
れ、拡張層の値ｇ₀′（ｘ、ｙ）は以下の式５にしたが
って計算される。

【００３２】

【数８】 ここで、ｘ＝０、．．．、３； ｙ＝０、．．．、３で
ある。

【００３３】

【数９】 ここで、ｘ＝０、．．．、３； ｙ＝０、２、４、６で
ある。

【００３４】より詳細に言えば、式４のｇ₁′（ｘ、
ｙ）はフル解像度８×８ブロックの２×２ブロック部分
に配置された４つの隣接するピクセルの組の値の平均値
（または予測エラー）を定義する。式５の値ｇ₀′
（ｘ、ｙ）は、フル解像度８×８ブロックの２×２ブロ
ック部分に配置された１本の垂直ラインの２つの連続す
る水平ピクセルの最初の組の値の平均値と次の垂直ライ
ンの２つの連続する水平ピクセル（または予測エラー）
の第２の組の値の平均値との差を定義する。上記の「順
次走査の場合デシメートピクセル値のベース層の組」の
１６個の式ｇ₁（０、０）からｇ₁（３、３）は、式２を
式４に代入し、ｘおよびｙの数値をｇ₁′（ｘ、ｙ）に
代入し、Ｎ＝８を代入し、有理数の値でＤＣＴ係数の重
み付け因子を近似する、ことで得られた。上記の「順次
走査の場合デシメートピクセル値の拡張層の組」の１６
個の式ｇ₀（０、０）からｇ₀（３、６）は、式２を式５
に代入し、ｘおよびｙの数値をｇ₀′（ｘ、ｙ）に代入
し、Ｎ＝８を代入し、有理数の値でＤＣＴ係数の重み付
け因子を近似することで同様に得られた。拡張層の有効
なピクセル・デシメーションは２のみである（ベース層
の有効ピクセル・デシメーション４ではなく）が、等式
ｇ₀（ｘ、ｙ＋１）＝−ｇ₀（ｘ、ｙ）はｙ＝０、２、
４、６について成り立ち、したがって、奇数の垂直指標
を有する拡張層の値を計算する必要はない。したがっ
て、１６個の独立したｇ₀（ｘ、ｙ）拡張層の値だけが
順次走査のＩまたはＰ画像内の各８×８の輝度ブロック
について計算する必要がある。さらに、これらの１６個
のｇ₀（ｘ、ｙ）拡張層の値は残余値であるため、小さ
いダイナミックレンジを有する傾向がある。

【００３５】飛越し走査の場合（すなわち、ｐｒｏｇｒ
ｅｓｓｉｖｅ＿ｓｅｑｕｅｎｃｅフラグが０の場合）、
ベース層の値ｇ₁′（ｘ、ｙ）は以下の式６にしたがっ
て計算され、拡張層の値ｇ₀′（ｘ、ｙ）は以下の式７
にしたがって計算される。

【００３６】

【数１０】 ここで、ｘ＝０、１； ｙ＝０、．．．、７である。

【００３７】

【数１１】 ここで、ｘ＝０、２； ｙ＝０、．．．、７である。

【００３８】８×８のブロックの飛越し走査の場合、式
６のｇ₁′（ｘ、ｙ）は８×８のブロックの４×１のブ
ロック部分に配置された４つの隣接するピクセルの組の
値の平均値（または予測エラー）を定義する。式７の値
ｇ₀′（ｘ、ｙ）は、８×８ブロックの４×１のブロッ
ク部分に配置された１本の垂直ラインの２つの連続する
水平ピクセル（または予測エラー）の最初の組の値の平
均値と、同じ垂直ラインの２つの連続する水平ピクセル
（または予測エラー）の第２の組の値の平均値との差を
定義する。上記の「飛越し走査の場合デシメートピクセ
ル値のベース層の組」の１６個の式ｇ₁（０、０）から
ｇ₁（１、７）は、式３を式６に代入し、ｘおよびｙの
数値をｇ₁′（ｘ、ｙ）に代入し、Ｎ＝８を代入し、有
理数の値でＤＣＴ係数の重み付け因子を近似する、こと
で得られた。上記の「飛越し走査の場合デシメートピク
セル値の拡張層の組」の１６個の式ｇ₀（０、０）から
ｇ₀（２、７）は、式３を式７に代入し、ｘおよびｙの
数値をｇ₀′（ｘ、ｙ）に代入し、Ｎ＝８を代入し、有
理数の値でＤＣＴ係数の重み付け因子を近似することで
同様に得られた。拡張層の有効なピクセル・デシメーシ
ョンは２のみである（ベース層の有効ピクセル・デシメ
ーション４ではなく）が、等式ｇ₀（ｘ＋１、ｙ）＝−
ｇ₀（ｘ、ｙ）はｘ＝０、ｘ＝２について成り立ち、し
たがって、奇数の水平指標を有する拡張層の値を計算す
る必要はない。したがって、１６個の独立したｇ
₀（ｘ、ｙ）拡張層の値だけが飛越し走査のＩまたはＰ
画像内の各８×８の輝度ブロックについて計算する必要
がある。さらに、これらの１６個のｇ₀（ｘ、ｙ）拡張
層の値は残余値であるため、小さいダイナミックレンジ
を有する傾向がある。

【００３９】図５を再度参照すると、ユニット２０４
は、ベース層デシメートピクセル値のＩ、ＰおよびＢの
輝度およびクロマのｇ₁（ｘ、ｙ）についての連続する
８×８ブロックを含む出力を、ベース層加算器２０５Ｂ
への第１の入力として所定の順序で搬送する。（符号化
されないブロックに対して、そのようなすべての値はゼ
ロである。）この所定の順序は、８×８ピクセルの輝度
ブロックの各２×２のアレイと、拡張ＭＣＵ処理手段２
０８が使用するデシメーションされたマクロブロックを
形成する２つのクロマ・ブロックの各々のデシメートピ
クセル値を含む。さらに、ユニット２０８は、ベース層
デシメートピクセル値の対応するブロックｐ₁（ｘ、
ｙ）を、ベース層加算器２０５Ｂへの第２の入力とし
て、この同じ所定の順序で加える。（内部符号化マクロ
ブロックの場合、そのようなすべての値はゼロであ
る。）次いで、ベース層加算器２０５Ｂから合計出力と
して得られたベース層デシメートピクセル値のブロック
ｓ₁（ｘ、ｙ）はメモリ２０６に記憶される。

【００４０】ユニット２０４はＩおよびＰの輝度につい
てのｇ₀（ｘ、ｙ）の拡張層デシメートピクセル値を含
む出力を、前述したデシメーションされたピクセルのマ
クロブロックの順序で、拡張層加算器２０５Ｅへの第１
の入力として搬送する。（符号化されないブロックに対
して、そのようなすべての値はゼロである。）さらに、
Ｐ個の輝度ピクセルの場合、ユニット２０８は６４個の
ｐ₀（ｘ、ｙ）拡張層デシメートピクセル値の対応する
マクロブロックを同じ所定の順序で加算器２０５Ｅに加
える。（内部符号化マクロブロックの場合、そのような
すべての値はゼロである。）加算器２０５Ｅから合計出
力として得られた６４個のｓ₀（ｘ、ｙ）の拡張層のデ
シメートピクセル値のマクロブロックは、拡張層符号器
２０７への入力として加えられ、次いで符号器２０７か
らの符号化された出力ビットワードは、ＩおよびＰ画像
のデコード期間中にメモリ２０６に記憶される。

【００４１】拡張層のより高い解像度のマクロブロック
は通常、１２８個デシメート輝度ピクセル値を含む。た
だし、順次走査シーケンスと飛越し走査シーケンスの上
記の対称等式のために、ブロックｓ₀（ｘ、ｙ）内の独
立したデシメーションされた拡張層のピクセル値の数は
１２８から６４に低減される。したがって、所定の順序
は、拡張層デシメートピクセル値の半分だけが拡張層符
号器２０７によって考慮される必要があるということで
ある。これらの拡張層の値は簡単なベクトル量子化機構
を使用して対の形で符号化され、値の各対が８ビットの
コードワードで表される。マクロブロックには符号化す
べき６４個の拡張層値があるので、拡張層の記憶ビット
数はマクロブロックあたり３２×８＝２５６ビットであ
る。好ましい実施形態では、３２個のコードワードは符
号器２０７からの２つの１２８ビット出力ワードに組み
合わされてメモリ２０６に記憶される。

【００４２】順次シーケンスの場合、ブロックｓ
₀（ｘ、ｙ）内の水平に隣接する値の各対が２次元ベク
トルとして符号化されるが、飛越しシーケンスの場合、
ｓ₀（ｘ、ｙ）内の垂直に隣接する（同じフィールド内
の）値の各対が２次元ベクトルとして符号化される。ｖ
₀とｖ₁とを共に符号化する値の対とする。対ｖ₀、ｖ₁を
符号化するために符号器２０７によって使用される計算
手順を付録Ａに詳述する。この手順がｓ₀（ｘ、ｙ）内
の各対に関して終了すると、コードワードは２つの１２
８ビットのワードにまとめられ、それらの１２８ビット
のワードは両方共、メモリ２０６に記憶される符号器２
０７の出力を形成する。

【００４３】図５を再度参照すると、メモリ２０６は、
（１）ユニット２０８へのベース層出力ｄ₁（ｘ、ｙ）
（ｄ₁（ｘ、ｙ）はメモリ２０６に提供されるベース層
入力ｓ ₁（ｘ、ｙ）と内容が同様である）と、（２）ユ
ニット２０８への拡張層出力（メモリ２０６への拡張層
入力と内容が同様である）とを提供する。

【００４４】拡張ＭＣＵ処理手段２０８が予測ブロック
を形成するために、ブロックのピクセル値がメモリ２０
６から取り出される。記憶された基準画像から読み出さ
れたベース層のピクセル値は、ｄ₁（ｘ、ｙ）で表され
る。形成される予測ブロックがＰ画像内の輝度要素用の
場合にのみ必要な拡張層の残余値は、ｄ₀（ｘ、ｙ）で
表される。拡張層のサンプルはメモリ２０６内に符号化
形式で記憶されているので、ユニット２０８に入力され
たメモリ２０６の拡張層データ出力は拡張層デコーダ３
００（図６）によってデコードされ、ｄ₀（ｘ、ｙ）値
が得られる。ユニット２０８は、最上部と最下部のフィ
ールド予測ブロックに対応するフィールド予測演算の個
々の輝度およびクロマ出力を別々に形成する。双方向予
測マクロブロックの場合、これらの演算は順方向および
逆方向予測について別々に実行され、その結果はＩＳＯ
１３８１８−２規格に記載のように組み合わされる。以
下のユニット２０８によって実行されるコンピュータ処
理演算の詳細説明で、記号／は結果の切り捨てがマイナ
ス無限大に向かう整数の除算を表し、記号／／は結果の
切り捨てがゼロに向かう整数の除算を表し、記号％は、
ｘが負の数でＭが正の数の場合にｘ％Ｍ＝Ｍ−（（ｘ／
／Ｍ）＊Ｍ−ｘ）であるように定義されたモジュラス
（ｍｏｄｕｌｕｓ）演算子を表す。

【００４５】ブロックのサンプル値がメモリ２０６から
読み出せるようになる前に、ブロックの位置とサイズが
決定される。基準画像内のピクセルのブロックの位置は
基準画像内のブロックの先頭（すなわち、左上隅）の水
平および垂直座標によって指定される。ベース層の場
合、これらの座標は、飛越しシーケンスの場合は１／４
の水平解像度とフル垂直解像度の画像への指標であり、
順次シーケンスの場合には１／２の水平解像度と１／２
の垂直解像度の画像への指標（ｉｎｄｅｘ）である。拡
張層の場合、座標は飛越しシーケンス、順次シーケンス
共に、１／２の水平解像度とフル垂直解像度の画像への
指標である。

【００４６】基準画像内においてブロックｄ₁（ｘ、
ｙ）およびｄ₀（ｘ、ｙ）の位置を決定するには、デコ
ードされているマクロブロックの動きベクトルのデコー
ドが必要である。ビットストリーム内の動きベクトルの
デコード、動きベクトルの予測機構（ｐｒｅｄｉｃｔｏ
ｒ）の更新、および符号化された動きベクトルを含まな
い（たとえば、スキップされたマクロッブロック）非内
部符号化マクロブロック内の動きベクトルの選択は、す
べてＩＳＯ１３８１８−２規格の記載にしたがってユニ
ット２０８によって実行される。ｘ_bおよびｙ_bをデコー
ドされているマクロブロックのフル解像度の水平位置お
よび垂直位置とし、ｍｖ＝（ｄｘ、ｄｙ）をデコードさ
れた動きベクトルとして、シーケンスがフル解像度でデ
コードされたとすると、フル解像度の基準輝度画像内の
位置（ｘ_b＋（ｄｘ／２）、ｙ_b＋（ｄｙ／２））のブロ
ックのピクセル値がメモリから読み出され、輝度予測を
行うために使用される。同様に、基準クロマ画像内の位
置（ｘ_b／２＋（ｄｘ／／２）、ｙ_b／２＋（ｄｙ／／
２））のブロックのクロマ値が２つのクロマ要素各々の
予測をフル解像度モードで形成するために必要となるで
あろう。

【００４７】ユニット２０８内の動き補償に必要なブロ
ックの基準画像内の位置は、ｘ_b、ｙ_b、ｄｘ、ｄｙを使
用して決定される。表３は様々な予測モードでのブロッ
クの位置を示す。ユニット２０８内の動き補償に必要な
ブロックのサイズを表４に示す。表４のベース層エント
リはブロックｄ₁（ｘ、ｙ）のサイズを示し、表４の拡
張層エントリはブロックｄ₀（ｘ、ｙ）のサイズを示
す。

【００４８】

【表３】 表３−拡張ＭＣＵ処理手段２０８での動き補償に必要な
ブロックの位置

【００４９】

【表４】 表４−拡張ＭＣＵ処理手段２０８での動き補償に必要な
ブロックのサイズ

【００５０】図６はユニット２０８によってメモリ２０
６から読み出される輝度サンプルに対して実行される処
理を示す。図６に示すように、ユニット２０８の輝度処
理部は拡張層デコード手段３００、拡張層ピクセル再構
成手段３０２、ＤＣＴベースのアップサンプリング手段
３０４、フル解像度ブロック選択手段３０６、ＤＣＴベ
ースのダウンサンプリング手段３０８および２層出力形
成手段３１０を含む。拡張ＭＣＵ処理手段２０８のこれ
らの要素はメモリ２０６内に記憶されたＩおよびＰフレ
ームの低減解像度ブロックを使用してデコードされたマ
クロブロックの予測を形成する。

【００５１】図６の上記構造はメモリ２０６からユニッ
ト２０８に入力された輝度ピクセル値の計算処理を実行
する。この計算処理を付録ＢからＧに詳述する。ただ
し、簡潔に言えば、デコーダ３００は入力１２８ビット
ワードを１６個の構成要素の８ビットコードワードに解
凍する。デコーダ３００は、付録Ｂに記載の計算処理を
使用して、ｄ₀（ｘ、ｙ）を出力として得る。拡張層ピ
クセル再構成手段３０２は、付録Ｃに記載の計算処理を
使用して、ユニット２０８へのｄ₁（ｘ、ｙ）入力とデ
コーダ３００の出力ｄ₀（ｘ、ｙ）の両方に応答して、
ｒ₀（ｘ、ｙ）を出力として得る。ＤＣＴベースのアッ
プサンプリング手段３０４は、付録Ｄに記載の計算処理
を使用して、ｒ₀（ｘ、ｙ）を水平方向にアップサンプ
リングしてフル解像度でｒ（ｘ、ｙ）を得る。フル解像
度ブロック選択手段３０６は、付録Ｅに記載の計算処理
を使用して、ｒ（ｘ、ｙ）を用いて予測ｐ（ｘ、ｙ）の
フル解像度ブロックを出力として得る。ＤＣＴベースの
ダウンサンプリング手段３０８は、付録Ｆに記載の計算
処理を使用して、ｐ（ｘ、ｙ）入力を水平方向にダウン
サンプリングして１／２水平方向解像度でｑ（ｘ、ｙ）
を得る。ブロックｑ（ｘ、ｙ）は、２層出力形成手段３
１０への入力として加えられ、２層出力形成手段３１０
は、付録Ｇに記載の計算処理を使用して、ユニット２０
８によって図５に示す加算器２０５Ｂおよび２０５Ｅに
提供される出力ｐ₁（ｘ、ｙ）およびｐ₀（ｘ、ｙ）を得
る。クロマ予測に必要な計算処理は図６には示していな
いが、これは付録Ｈに詳述する。

【００５２】再度図５を参照すると、連続する画像フィ
ールドまたはフレームの各々を定義するベース層ピクセ
ルを含むビデオ信号がメモリ２０６から出力されて、表
示ビデオ信号出力を得るサンプル速度変換器２１０に入
力される。ユニット２１０から出力された表示ビデオ信
号はＰＩＰディスプレイ画像を表す。たとえば、ＰＩＰ
ディスプレイのサイズが全ＨＤディスプレイサイズの水
平寸法の１／３、垂直寸法の１／３を占めるものとす
る。ＨＤビットストリームの元の解像度が１９２０×１
０８０飛越し走査の場合、ＰＩＰのデコードフレーム
（水平方向のピクセル数の３／４がデシメートされてい
る）は４８０×１０８０飛越し走査である。１９２０×
１０８０飛越し走査ＨＤディスプレイの場合、表示され
たＰＩＰフレームは６４０×３６０飛越し走査になるは
ずである。したがって、この例では、メモリ内に記憶さ
れているデコードされたフレームはサンプル速度変換器
２１０によって水平方向に４／３、垂直方向に１／３の
因数でスケーリングする必要がある。

【００５３】本発明の実現された実施形態では、符号化
形式で１／２解像度の拡張層の記憶用１メモリに必要な
割り増しの容量は、１／４解像度のベース層の記憶に必
要な１７．８Ｍビットに対して１．９８Ｍビットだけを
付け加えるにすぎない。このように、符号化された１／
２解像度の拡張層を収容することは、基本および拡張層
デシメーションピクセルメモリの必要な記憶容量を、比
較的小さい量（すなわち、わずか１１％強の量）を増加
させ、１９．７８Ｍビットとする。

【００５４】付録Ａ 拡張層エンコーダ２０７ 拡張層の値ｖ₀、ｖ₁のそれぞれの対を符号化するため使
用される、以下の手順において、記号「ＤＩＶ」は結果
を最も近い整数に丸める整数の除算を表す。

【００５５】最初に、値ｖ₀およびｖ₁は範囲［−４５、
４５］にクリッピングされる。次いで８ビットのコード
ワードＣが以下の擬似コードに示すように計算される。 ｉｆ（ｖ₀＞−４ ＡＮＤ ｖ₀＜４ ＡＮＤ ｖ₁＞−４ ＡＮＤ ｖ₁＜４） Ｃ＝７^*（ｖ₁＋３）＋ｖ₀＋２１１ ｅｌｓｅ ｉｆ（ｖ₁＜ｖ₀−２５） ｖ₀＝（ｖ₀＋ｖ₁＋２５）／２ ｖ₁＝ｖ₀−２５ ｅｌｓｅ ｉｆ（ｖ₁＞ｖ₀＋２５） ｖ₀＝（ｖ₀＋ｖ₁−２５）／２ ｖ₁＝ｖ₀＋２５ ｖ₀＝５^*（ｖ₀ ＤＩＶ５） ｖ₁＝５^*（ｖ₁ ＤＩＶ５） Ｃ＝１０４−２^*ｖ₁−ｖ₀／５ コードワードＣは、対ｖ₀、ｖ₁を表す、メモリ内に記憶
された、値である。

【００５６】付録Ｂ 拡張層デコーダ３００ ベースおよび拡張層メモリ２０６から読み出された１２
８ビットの拡張層ワードが１６個の個別の８ビットコー
ドワードに解凍されると、各コードワードは以下のよう
にデコードできる。Ｃはデコードされるコードワード、
ｂ₀およびｂ₁はＣをデコードして得られべき値とする。
以下の擬似コードはｂ₀およびｂ₁の計算方法を示す。

【００５７】 ｉｆ（Ｃ＜２０４） ｂ₀＝７０−５^*（Ｃ／１１）−５^*（Ｃ％１１） ｂ₁＝４５−５^*（Ｃ／１１） ｅｌｓｅ ｂ₀＝（Ｃ−２０８）％７−３ ｂ₁＝（Ｃ−２０８）／７−３

【００５８】各デコードされたコードワードはｄ
₀（ｘ、ｙ）の部分を埋めるのに使用される。順次シー
ケンスの場合、基準画像内の奇数指標行の行ｄ₀（ｘ、
ｙ）は適当なデコードされたコードワード値を無効にす
ることで得られる。同様に、飛越しシーケンスの場合、
基準画像内の奇数指標列の列ｄ₀（ｘ、ｙ）は適当なデ
コードされたコードワード値を無効にすることで得られ
る。

【００５９】付録Ｃ 拡張層ピクセル再構成手段３０２ 拡張層デコーダ３００から出力されたブロックｄ
₀（ｘ、ｙ）と、ベースおよび拡張層メモリ２０６から
読み出されたブロックｄ₁（ｘ、ｙ）を使用して、Ｐ画
像およびＢ画像について、拡張層の解像度（すなわち、
１／２水平解像度、フル垂直解像度）のピクセル値を再
構成できる。Ｐ画像の場合、ｄ₀（ｘ、ｙ）は付録Ｂに
記載するように得られる。Ｂ画像の場合、ｄ₀（ｘ、
ｙ）はすべてのｘおよびｙで０と見なされる。

【００６０】順次シーケンスで２つの層を組み合わせる
式を以下に示す。 ｒ₀（ｘ、２ｙ）＝ｄ₁（ｘ、ｙ）＋ｄ₀（ｘ、２ｙ） ｒ₀（ｘ、２ｙ＋１）＝ｄ₁（ｘ、ｙ）＋ｄ₀（ｘ、２ｙ
＋１） ここで、ｘ＝０、．．．、１１； ｙ＝０、．．．、８
の場合である。

【００６１】飛越しシーケンスで２つの層を組み合わせ
る式を以下に示す。 ｒ₀（２ｘ、ｙ）＝ｄ₁（ｘ、ｙ）＋ｄ₀（２ｘ、ｙ） ｒ₀（２ｘ＋１、ｙ）＝ｄ₁（ｘ、ｙ）＋ｄ₀（２ｘ＋
１、ｙ） ここで、１６×８予測ではｘ＝０、．．．、５； ｙ＝
０、．．．、８の場合、１６×１６予測ではｘ＝
０、．．．、５； ｙ＝０、．．．、１６の場合であ
る。

【００６２】上記の式を使用して得られたブロックｒ₀
（ｘ、ｙ）は、１／２水平解像度の拡張層ピクセルを含
み、したがって、拡張層ピクセルはフル解像度を得るた
めには水平方向に２倍アップサンプリングする必要があ
る。

【００６３】付録Ｄ ＤＣＴベースのアップサンプリング手段３０４ ＤＣＴベースのアップサンプリング手段３０４は、ｒ₀
（ｘ、ｙ）の各行の１２個の入力ピクセル値をフル解像
度でｒ（ｘ、ｙ）の各行を表す２４個の出力ピクセル値
に直ライン変換する。図７に示すように、１行の１２個
のピクセル値が４つの値からなる３つのグループでコン
ピュータ処理される。ここで１２個の入力ピクセル値は
３つのグループＷ₁、Ｗ₂、Ｗ₃に分割される。３つのグ
ループの各々でＤＣＴは４ポイントＤＣＴで、その後そ
の４ポイントＤＣＴ出力の末尾に４つのゼロを追加する
ゼロパディングを実行して、そのゼロパディングから８
ポイント出力が得られる。３つのグループ各々のＩＤＣ
Ｔは８ポイントＩＤＣＴで、その結果、３つのグループ
Ｚ₁、Ｚ₂、Ｚ₃を含むｒ（ｘ、ｙ）の各行を表す２４個
の出力ピクセル値がフル解像度で得られるが、この場
合、３つのグループ各々の出力ピクセル値は８つのピク
セル値からなる。

【００６４】図７に示す直線変換は、ｊ＝１、２、３に
対して、式Ｚ_j＝（１／６４）ＡＷ_jで与えられる３行列
ベクトル乗算としてコンピュータで実施される。ただ
し、

【００６５】

【数１２】 である。

【００６６】ｒ₀（ｘ、ｙ）内の入力ピクセルの各行に
ついてのこの直線変換の実行結果として、フル解像度の
出力ピクセル値のブロックｒ（ｘ、ｙ）が得られる。

【００６７】付録Ｅ フル解像度ブロック選択手段３０６ ｐ（ｘ、ｙ）で表される最終の１６×１６または１６×
８の予測フル解像度ブロックは、ｒ（ｘ、ｙ）内のピク
セルのサブセットを選択するために動きベクトル（ｄ
ｘ、ｄｙ）を使用して、適宜にハーフピクセル補間をし
て、ｒ（ｘ、ｙ）から得る必要がある。より詳細に言え
ば、ｒ（ｘ、ｙ）の左上のピクセルが座標（０、０）を
有し、ｒ（ｘ、ｙ）の座標がハーフピクセル精度で指定
される場合、最終予測ブロックの左上隅は順次シーケン
スでｒ（ｄｘ％１６、ｄｙ％４）で、飛越しシーケンス
でｒ（ｄｘ％１６、ｄｙ％２）になる。ｒ（ｘ、ｙ）の
座標はハーフピクセル精度で指定されるので、ｄｘ％Ｍ
またはｄｙ％Ｍ（Ｍ＝２、４、１６）の奇数値は、ＩＳ
Ｏ１３８１８−２規格に記載のように、ハーフピクセル
補間を実行しなければならないということを意味する。

【００６８】付録Ｆ ＤＣＴベースのダウンサンプリング手段３０８ ＤＣＴベースのダウンサンプリング手段３０８はｐ
（ｘ、ｙ）の各行を１６ピクセルから８ピクセルに直線
変換する。図８に示すように、１６ピクセルの行はまず
８ピクセルからなる２つのグループＵ₁およびＵ₂に分割
される。２つのグループの各々について、ＤＣＴは８ポ
イントＤＣＴであり、その後切り捨てが実行されてＤＣ
Ｔ内の末尾の４ポイントが捨てられる。２つのグループ
各々のＩＤＣＴは４ポイントＩＤＣＴで、２つのグルー
プＶ₁およびＶ₂を含む１／２解像度のｑ（ｘ、ｙ）の各
行を表す８個の出力ピクセル値が得られる。ここで、２
つのグループ各々の出力ピクセル値は４個のピクセル値
を含む。図８に示すＤＣＴベースのダウンサンプリング
手段３０８のコンピュータ処理出力は、Ｖ₁およびＶ₂の
連結から形成される８ピクセルの組である。

【００６９】図８に示す直線変換は、ｊ＝１、２に対し
て、式Ｚ_j＝ＢＵ_jで与えられる２行列ベクトル乗算とし
てコンピュータで実施される。ただし、

【数１３】 である。

【００７０】フル解像度でｐ（ｘ、ｙ）内の入力ピクセ
ルの各行についてのこの直線変換の実行結果として、１
／２水平解像度の出力ピクセル値のブロックｑ（ｘ、
ｙ）が得られる。

【００７１】付録Ｇ ２層出力形成手段３１０ 以下の手順で、記号「ＤＩＶ」は結果を最も近い整数に
丸める整数の除算を表す。ｐ₁（ｘ、ｙ）で表されるＭ
ＣＵのベース層出力は、順次シーケンスの場合、以下の
式を使用して得られる。 ｐ₁（ｘ、ｙ）＝（ｑ（ｘ、２ｙ）＋ｑ（ｘ、２ｙ＋
１））ＤＩＶ１２８ ここで、ｘ＝０、．．．、７； ｙ＝０、．．．、７の
場合である。

【００７２】ｐ₁（ｘ、ｙ）で表されるＭＣＵのベース
層出力は、飛越しシーケンスの場合、以下の式を使用し
て得られる。 ｐ₁（ｘ、ｙ）＝（ｑ（２ｘ、ｙ）＋ｑ（２ｘ＋１、
ｙ））ＤＩＶ１２８ ここで、１６×８予測ではｘ＝０、．．．、３； ｙ＝
０、．．．、７の場合、１６×１６予測ではｘ＝
０、．．．、３； ｙ＝０、．．．、１５の場合であ
る。

【００７３】ｐ₀（ｘ、ｙ）で表され、Ｐ画像について
のみ計算されるＭＣＵの拡張層出力は、順次シーケンス
の場合、以下の式を使用して得られる。 ｐ₀（ｘ、ｙ）＝（ｑ（ｘ、ｙ）−ｑ（ｘ、ｙ＋１））
ＤＩＶ１２８ ここで、ｘ＝０、．．．、７； ｙ＝０、２、
４、．．．、１２、１４の場合である。

【００７４】ｐ₀（ｘ、ｙ）で表され、Ｐ画像について
のみ計算されるＭＣＵの拡張層出力は、飛越しシーケン
スの場合、以下の式を使用して得られる。 ｐ₀（ｘ、ｙ）＝（ｑ（ｘ、ｙ）−ｑ（ｘ＋１、ｙ））
ＤＩＶ１２８ ここで、１６×８予測ではｘ＝０、２、４、６； ｙ＝
０、．．．、７の場合、１６×１６予測ではｘ＝０、
２、４、６； ｙ＝０、．．．、１５の場合である。

【００７５】図５に示すように、ＭＣＵベース層出力ｐ
₁（ｘ、ｙ）は加算器２０５Ｂへの入力として加えら
れ、ＭＣＵ拡張層出力ｐ₀（ｘ、ｙ）は加算器２０５Ｅ
への入力として加えられる。

【００７６】付録Ｈ クロマ要素の予測ブロックの形成 以下の手順で、記号「ＤＩＶ」は結果を最も近い整数に
丸める整数の除算を表す。形成中の予測のブロックがク
ロマ要素用の場合、サンプルｄ₁（ｘ、ｙ）はピクセル
反復演算を使用してフル解像度にアップサンプリングさ
れる。次いで、適宜、動きベクトル（ｄｘ、ｄｙ）を用
いて、ハーフピクセル補間で予測の最終フル解像度８×
８または８×４ブロックが選択される。最終的に、フル
解像度の予測がダウンサンプリングされてベースおよび
拡張層メモリ２０６に記憶すべきベース層予測が提供さ
れる。

【００７７】ベース層ブロックｄ₁（ｘ、ｙ）をフル解
像度ブロックｒ（ｘ、ｙ）に変換するピクセル反復演算
は、順次シーケンスの場合、以下の式を使用して得られ
る。 ｒ（ｘ、ｙ）＝ｄ₁（ｘ／２、ｙ／２） ここで、ｘ＝０、．．．、９； ｙ＝０、．．．、９の
場合である。

【００７８】ベース層ブロックｄ₁（ｘ、ｙ）をフル解
像度ブロックｒ（ｘ、ｙ）に変換するピクセル反復演算
は、飛越しシーケンスの場合、以下の式を使用して得ら
れる。 ｒ（ｘ、ｙ）＝ｄ₁（ｘ／４、ｙ） ここで、８×４予測ではｘ＝０、．．．、１１； ｙ＝
０、．．．、４の場合、８×８予測ではｘ＝
０、．．．、１１； ｙ＝０、．．．、８の場合であ
る。

【００７９】最終８×８または８×４フル解像度ブロッ
クｐ（ｘ、ｙ）はｒ（ｘ、ｙ）から得られる。この最終
ブロックの左上隅は順次シーケンスでｒ（（ｄｘ／／
２）％４、（ｄｙ／／２）％４）、飛越しシーケンスで
ｒ（（ｄｘ／／２）％８、（ｄｙ／／２）％２）であ
る。Ｍ＝２、４、８に対して、（（ｄｘ／／２）％Ｍま
たは（（ｄｙ／／２）％Ｍの奇数値は、ハーフピクセル
補間が必要であるということを意味する。

【００８０】ベース層予測ブロックｐ₁（ｘ、ｙ）はｐ
（ｘ、ｙ）をダウンサンプリングして得られる。順次シ
ーケンスの場合、このダウンサンプリングを実行するた
めの式は以下の通りである。 ｐ₁（ｘ、ｙ）＝（ｐ（２ｘ、２ｙ）＋ｐ（２ｘ＋１、
２ｙ）＋ｐ（２ｘ、２ｙ＋１）＋ｐ（２ｘ＋１、２ｙ＋
１））ＤＩＶ４ ここで、ｘ＝０、．．．、３； ｙ＝０、．．．３の場
合である。飛越しシーケンスの場合、このダウンサンプ
リングを実行するための式は以下の通りである。 ｐ₁（ｘ、ｙ）＝（ｐ（４ｘ、ｙ）＋ｐ（４ｘ＋１、
ｙ）＋ｐ（４ｘ＋２、ｙ）＋ｐ（４ｘ＋３、ｙ））ＤＩ
Ｖ４ ここで、８×４予測ではｘ＝０、１； ｙ＝
０、．．．、３の場合、８×８予測ではｘ＝０、１；
ｙ＝０、．．．、７の場合である。

【００８１】図５に示すように、ＭＣＵベース層出力ｐ
₁（ｘ、ｙ）は加算器２０５Ｂへの入力として加えられ
る。

【図面の簡単な説明】

【図１】入力ＨＤ ＭＰＥＧデータビットストリームに
応答して、ＰＩＰデコード手段に第１の選択されたＭＰ
ＥＧデータ出力を供給し、ＨＤデコード手段に第２の選
択されたＭＰＥＧデータ出力を提供する可変長デコーダ
（ＶＬＤ）を示す機能ブロック図である。

【図２】図１のＨＤデコード手段によって使用される６
４個のＤＣＴ係数を含む８×８のブロックを示す図であ
る。

【図３】図１の順次走査シーケンス用のＰＩＰデコード
手段によって使用される図１ａに示す６４個のＤＣＴ係
数のうち特定の１０個のＤＣＴ係数を含む８×８のブロ
ックを示す図である。

【図４】図１の飛越し走査シーケンス用のＰＩＰデコー
ド手段によって使用される図１ａに示す６４個のＤＣＴ
係数のうち特定の１０個のＤＣＴ係数を含む８×８のブ
ロックを示す図である。

【図５】本発明の機能を組みこんだ図１のＰＩＰデコー
ド手段の一実施形態の簡単な機能ブロック図である。

【図６】図５の拡張ＭＣＵ処理手段の詳細を示す機能ブ
ロック図である。

【図７】図６のＤＣＴベースのアップサンプリング手段
によって実行される計算処理を示す概念図である。

【図８】図６のＤＣＴベースのダウンサンプリング手段
によって実行される計算処理を示す概念図である。

【符号の説明】

１００ 可変長復号器 １０２ ＰＩＰデコード手段 １０４ ＨＤデコード手段 ２００ ランレングス復号化 ２０２ 逆量子化 ２０４ ユニタリ（ｕｎｉｔａｒｙ）拡張ＩＤＣＴ、
フィルタリングおよびピクセル・デシメーション処理手
段 ２０５Ｂ ベース層加算器 ２０５Ｅ 拡張層加算器 ２０６ 基本および拡張層デシメーションピクセルメ
モリ ２０７ 拡張層符号器 ２０８ 拡張ＭＣＵ（動き補償）処理手段 ３００ 拡張層デコーダ ３０２ 拡張層ピクセル再構成手段 ３０４ ＤＣＴベースのアップサンプリング手段 ３０６ フル解像度ブロック選択手段 ３０８ ＤＣＴベースのダウンサンプリング手段 ３１０ ２層出力形成手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 トーマス エドワード ホーランダー アメリカ合衆国 46928 インディアナ州 フェアマウント サウス 975 ウェス ト 2571

Claims (17)

【特許請求の範囲】
1. 【請求項１】 第１の解像度で画像を表すブロックのピ
   クセル値を定義する周波数ドメイン係数を含む圧縮画像
   データをデコードし、表示用の第２の低減解像度で画像
   を提供する装置であって、 前記表示用の第２の低減解像度の前記画像を得るため
   に、前記周波数ドメイン係数の選択されたサブセットに
   応答する第１の手段（１０２）を含み、前記第１の手段
   （１０２）は、 拡張動き補償ユニット（ＭＣＵ）処理手段（２０８）
   と、 前記第１の解像度よりも低く前記第２の低減解像度より
   も高い中間の第３の解像度で前記画像を表すブロックの
   ピクセル値で前記拡張ＭＣＵ処理手段を動作させる第２
   の手段（２０４、２０５Ｂ、２０５Ｅ、２０６、２０
   ７）とを含むことを特徴とする装置。
2. 【請求項２】 前記第２の低減解像度は、前記第１の解
   像度のほぼ１／４であり、 前記第２の手段は前記第１の解像度のほぼ１／２の中間
   の第３の解像度で前記記拡張ＭＣＵ処理手段を動作させ
   ることを特徴とする請求項１に記載の装置。
3. 【請求項３】 前記表示用の第２の低減解像度の前記画
   像は、順次走査画像であることを特徴とする請求項１に
   記載の装置。
4. 【請求項４】 前記表示用の第２の低減解像度の前記画
   像は、飛越し走査画像であることを特徴とする請求項１
   に記載の装置。
5. 【請求項５】 前記拡張ＭＣＵ処理手段は、前記画像を
   前記第２の低減解像度で表すベース層ピクセル・マクロ
   ブロック入力値と、前記中間の第３の解像度で前記画像
   を表すピクセル値とに応答して、動き補償ベース層予測
   マクロブロック出力ピクセル値を第１の出力として得、
   動き補償拡張層予測マクロブロック出力ピクセル残余値
   を第２の出力として得ることを特徴とする請求項１に記
   載の装置。
6. 【請求項６】 前記第２の手段は、前記周波数ドメイン
   係数の前記選択されたサブセットと、前記動き補償ベー
   ス層マクロブロック出力ピクセル値と前記拡張層マクロ
   ブロック出力ピクセル残余値の両方とに応答して、前記
   ベース層マクロブロック入力ピクセル値と前記符号化さ
   れた拡張層マクロブロック入力ピクセル残余値の両方を
   得ることを特徴とする請求項５に記載の装置。
7. 【請求項７】 前記第２の手段が、 ベースおよび拡張層のデシメートピクセル・メモリと、 前記画像を前記第２の低減解像度で表す出力ベース層ブ
   ロックのピクセル値を第１の出力として得、前記画像を
   前記中間の第３の解像度で表す出力拡張層ブロック出力
   のピクセル残余値を第２の出力として得るために、周波
   数ドメイン係数の選択されたサブセットに応答する、ユ
   ニタリ拡張逆離散コサイン変換（ＩＤＣＴ）、フィルタ
   リングおよびピクセル・デシメーション処理手段と、 前記ベースおよび拡張層デシメートピクセル・メモリ内
   にベース層データとして記憶された値を得るために、前
   記拡張ＭＣＵ処理手段からの前記動き補償ベース層マク
   ロブロックの出力ピクセル値と、前記ユニタリＩＤＣＴ
   フィルタリングおよびピクセル・デシメーション処理手
   段からの前記ベース層ブロックの出力ピクセル値とにつ
   いて、対応するピクセル値を加算する第１の加算器を含
   む第４の手段と、 前記拡張層符号器によって符号化を行い、前記ベースお
   よび拡張層デシメートピクセル・メモリ内に符号化され
   た拡張層データとして記憶された第２の入力値を得るた
   めに、前記第２の加算器の合計出力を得るの前記拡張Ｍ
   ＣＵ処理手段からの前記動き補償された拡張層マクロブ
   ロックの出力ピクセル残余値の対応するピクセル残余値
   を、前記ユニタリＩＤＣＴフィルタリングおよびピクセ
   ル・デシメーション処理手段からの前記拡張層ブロック
   の出力ピクセル残余値に加算する、第２の加算器および
   拡張層符号器を含む第５の手段と、 前記ベースおよび拡張層デシメートピクセル・メモリか
   ら、前記ベース層ピクセル・マクロブロック入力値を前
   記拡張ＭＣＵ処理手段に供給し、前記記憶された符号化
   拡張層データから前記拡張ＭＣＵ処理手段への第２の入
   力として加えられる前記符号化拡張層ピクセル・マクロ
   ブロック入力残余値を得る、第６の手段とを含むことを
   特徴とする請求項１に記載の装置。
8. 【請求項８】 前記周波数ドメイン係数は、前記第１の
   解像度で、内部符号化（Ｉ）され、予測符号化（Ｐ）さ
   れた、順次走査画像を表すピクセル値の輝度ブロックを
   含む画像情報を定義することを特徴とする請求項１に記
   載の装置。
9. 【請求項９】 ベース層ブロックの出力ピクセル値から
   進行中の表示ビデオ信号を得るサンプル・レート変換器
   から成る第７の手段を含むことを特徴とする請求項７に
   記載の装置。
10. 【請求項１０】 前記第２の低減解像度が前記第１の解
    像度のほぼ１／４であり、 前記中間の第３の解像度が前記第１の解像度のほぼ１／
    ２であることを特徴とする請求項１に記載の装置。
11. 【請求項１１】 圧縮画像データを第１の解像度の画像
    を表すピクセルブロック形式にデコードして第２の低減
    解像度の画像を提供するシステムにおいて、 前記第１の解像度よりも低く前記第２の低減解像度より
    も高い中間の第３の解像度で画像ピクセルブロックを表
    すデータを生成するステップと、 前記中間の第３の解像度データによって補われた前記第
    ２の低減解像度のピクセルブロック・データから前記第
    ３の解像度で動き補償ピクセルブロック・データを生成
    するステップと、 前記動き補償ピクセルブロック・データから前記第３の
    解像度で前記第２の低減解像度の前記画像を表すピクセ
    ルデータを得るステップとを含むことを特徴とする方
    法。
12. 【請求項１２】 請求項１１のステップがＩおよびＢフ
    レームを除いてＰフレームに対して実行されることを特
    徴とする請求項１１に記載の方法。
13. 【請求項１３】 請求項１１のステップがＰフレーム
    と、（ａ）Ｉフレームおよび（ｂ）Ｂフレームのうちの
    １つとに対して実行されることを特徴とする請求項１１
    に記載の方法。
14. 【請求項１４】 前記第３の解像度で前記ピクセルブロ
    ック・データをアップサンプリングして前記第１の解像
    度の画像データを提供するステップを含むことを特徴と
    する請求項１１に記載の方法。
15. 【請求項１５】 前記第１の解像度の前記アップサンプ
    リングされたピクセルブロック・データをダウンサンプ
    リングして前記第２の解像度の画像データを提供するス
    テップを含むことを特徴とする請求項１４に記載の方
    法。
16. 【請求項１６】 前記第１の解像度前記アップサンプリ
    ングされたピクセルブロック・データをダウンサンプリ
    ングして前記中間の第３の解像度データを提供するステ
    ップを含むことを特徴とする請求項１４に記載の方法。
17. 【請求項１７】 前記第３の解像度の前記ピクセルデー
    タが残余データを含むことを特徴とする請求項１１に記
    載の方法。