JPH07162870A - ビデオ信号符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 ビデオ画像が種々の解像度スケールおよび画
像フォーマットで復号化されることを可能にするような
スケーラブルな方式でビデオ信号を効率的に符号化す
る。 【構成】 一方のレイヤから得られた予測が他方のレイ
ヤから得られた予測と組み合わせられ、この組み合わせ
られた予測がいずれかのレイヤを符号化するために用い
られる。ベースレイヤとエンハンスメントレイヤを用い
た本発明の実施例においては、空間的に補間されたベー
スレイヤが適切な重みの選択によってエンハンスメント
レイヤの動き補償済み時間予測と組み合わせられて、エ
ンハンスメントレイヤを符号化するために用いられる予
測が生成される。重みは、予測とリファレンスマクロブ
ロックとの間の差の絶対値の総和、あるいは差の２乗の
総和の計算に基づいて選択され、最良帯域効率を実現す
る予測が生成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオ信号の符号化およ
び復号化に関し、特にビデオ画像が種々の解像度スケー
ルおよび画像フォーマットで復号化されることを可能に
するようなスケーラブルな方式でビデオ信号を効率的に
符号化する方法に関する。

【０００２】

【従来の技術】ビデオ信号の生成、伝送および再構成の
品質を向上するために全世界的な努力が続けられてい
る。なぜなら、ビデオシステムの品質向上に関する非常
に大きな商業的重要性が予測されてきているからであ
る。これらの努力には、少なくともその一部において
は、画像が、通常ディジタルビットストリームの形態を
有する対応する電気的信号に変換される際の解像度を、
ビデオ画像を電気信号に変換する際に用いられる空間的
および時間的サンプリングレートを増大させることによ
って増大させることが含まれる。この解像度の増大は、
結果として、画像に関するより多くのデータが、与えら
れた時間間隔内に生成され、処理され、そして伝送され
なければならないことを意味している。

【０００３】テレビジョンカメラの分野における画像な
どのビデオ画像は、所定のレートで掃引され、一連の電
気信号に変換される。このそれぞれの電気信号は、一般
に画素、ペル、あるいはピクセルとして知られている、
画像の所定の領域の特性を表現する。画素は、主として
ビデオ信号処理目的で、それぞれが１６×１６の画素ア
レイよりなるマクロブロックにグルーピングされる。所
定の時刻に同時に取得された複数個のマクロブロック
は、所定の時刻における画像の性質を表現するスチル画
像（すなわちフレーム）に対応するものを構成する。こ
のようにして生成されるビデオ信号の品質を向上させる
ことは、少なくともその一部において、与えられた画像
フレームを表現するためにより多くの数のより小さなサ
イズの画素を用いること、および単位時間当たりにより
多くの数の画像フレームを生成することを含んでいる。

【０００４】それぞれのビデオ画像に対するペルの数が
増大し、画像が生成されるレートが増大するに連れ、与
えられた時間間隔内に生成され、伝送され、受信されて
処理されなければならないビデオデータの量が増大す
る。より低い品質の画像に対して用いられるものと同一
のビット数および同一のビットレートを用いてより高い
品質のビデオ画像を送信することを試みる種々のビデオ
圧縮方式が提案されてきている。動画エキスパートグル
ープフェーズＩ（ＭＰＥＧ−１）標準は、この種の方式
の１つに関する特有のシンタクスおよび復号化プロセス
を提供する。この標準は、国際標準化機構（ＩＳＯ）委
員会草案１１１７２−２である、「動画および関連する
オーディオ信号の最大１．５Ｍビット／秒までのディジ
タルストレージ媒体に対する符号化」（１９９１年１１
月）において公にされている。

【０００５】伝送された単一の高解像度ビデオ信号から
１つあるいは複数個のより低い解像度の画像が得られる
ことは望ましい。例えば、高品位テレビジョン（ＨＤＴ
Ｖ）と標準的なＮＴＳＣテレビジョン受像機に対して同
時に伝送されるビデオ信号は、ＨＤＴＶ受像機に対して
非常に高い解像度を有する画像を提供し、より低い解像
度を有する画像を標準受像機に対して提供しなければな
らない。同様に、ウインドウ環境を実現しているコンピ
ュータスクリーン上に表示されるビデオ信号から獲得さ
れることになる画像の解像度は、それが表示される特定
のウインドウの大きさとともに変化させられなければな
らない。複数の解像度が望ましい他のアプリケーション
には、それぞれのロケーションにおいて相異なったビデ
オ装置が用いられてビデオ信号が非同期転送モード（Ａ
ＴＭ）ネットワークを介して伝送されるようなビデオ会
議システムが含まれる。

【０００６】可変解像度画像が導出されうるビデオ信号
を実現する１つの既知の方法は、それぞれが相異なった
解像度で再構成されるようにスケーリングされた、独立
したビデオシーケンスレプリカの組を同時に伝送するこ
とである。この、「サイマルキャスト」として知られて
いる方式は単純ではあるが、複数個の独立したビデオ画
像の伝送を実現するためにより大きな帯域を必要とす
る。サイマルキャストに代わる、より効率的な帯域利用
を行なう方法がスケーラブルビデオである。解像度スケ
ーラブルビデオは、ビデオ信号が符号化され、その結果
得られるビットシーケンスが、受像機において用いられ
る特定の信号複合化方式に依存して、そこからある範囲
の解像度レベルが導出されうるように分割されるような
技法である。

【０００７】解像度スケーラブルビデオ符号化は、空間
ドメインあるいは周波数ドメインのいずれかにおいて実
現されうる。空間スケーラビリティにおいては、通常、
空間ドメインにおけるベースレイヤとエンハンスメント
レイヤとを有する階層符号化が用いられる。この方式に
おいては、レイヤ間のゆるい結合が存在する。すなわ
ち、それぞれのレイヤを符号化するために用いられる符
号化アルゴリズムは独立であるが、エンハンスメントレ
イヤはベースレイヤによって生成された再構成済み画像
を用いて符号化される。２つのレイヤに対して用いられ
る符号化方式は、特定のアップおよびダウンサンプリン
グ方式などのように、それぞれ独立して選択されうる。

【０００８】

【発明が解決しようとする課題】残念なことに、解像度
スケーラブルビデオの符号化は、大部分のビデオ標準の
拘束条件内では実現され得ない。ＭＰＥＧ−１符号化標
準における重要な制限事項は、それ自体が解像度スケー
ラブルビデオの符号化および復号化を容易にする準備を
欠いているということである。

【０００９】

【課題を解決するための手段】可変解像度を有するビデ
オ画像が、本発明の原理に従って、一方のレイヤから獲
得された予測が他方のレイヤから得られた予測と組み合
わせられてその組み合わせられた予測がそれら２つのレ
イヤを符号化するために用いられる、空間的スケーラビ
リティを用いた新たな２レイヤビデオ符号化技法を用い
ることによって、帯域を高効率で利用しつつ導きだされ
る。

【００１０】ベースレイヤおよびエンハンスメントレイ
ヤを用いた本発明の実施例においては、空間的に補間さ
れたベースレイヤが、適切な重みを選択することによっ
て、エンハンスメントレイヤの動き補償済み時間予測と
ともに組み合わせられてエンハンスメントレイヤを符号
化するために用いられる予測が生成される。重みは、差
の絶対値の総和、あるいは予測とリファレンスマクロブ
ロックとの間の差の２乗の総和、の計算に基づいて、最
良の帯域効率を実現する予測を生成するように選択され
る。この重み付けプロセスは、空間−時間重み付けと呼
称される。

【００１１】本発明に係る実施例の他の側面において
は、ベースレイヤとエンハンスメントレイヤとが、本発
明のある種のアプリケーションにおいて必要とされる特
定の画像フォーマットを有する場合に空間−時間重み付
けを用いる方法が含まれる。例えば、あるアプリケーシ
ョンにおいては、ベースレイヤがインターレースフォー
マットであることが要求されるが、その一方で別のプロ
グレッシブフォーマットが要求される。よって、ベース
−エンハンスメントレイヤ画像フォーマットの種々の組
み合わせによって、本発明に係る側面を利用した４つの
空間スケーラビリティフォームが存在することになる。
これらは、プログレッシブ−プログレッシブ、プログレ
ッシブ−インターレース、インターレース−プログレッ
シブ、およびインターレース−インターレースである。

【００１２】本発明は、従来技術に係る解像度スケーラ
ブルビデオ技法に関して実質的な改善を実現する。例え
ば、帯域効率が上昇する。空間スケーラビリティのそれ
ぞれの形態に対して最適化された重みの組みが選択され
うる。複数個の相異なった符号化標準間でのコンパチビ
リティを実現するようにレイヤが符号化されうる。より
堅固かつエラーに関して弾力的な伝送を実現するために
複数個のプライオリティを用いてネットワーク場での伝
送に関してそれぞれのレイヤに容易にプライオリティを
つけることができる。

【００１３】本明細書の発明の概要、図面の説明、実施
例、および添付図面は本発明のある実施例を示すもので
あって、この出願によって成立した特許によって授与さ
れる独占権の範囲に関して何らかの制限を与えるものと
みなされるべきではない。この独占権の範囲は、本明細
書における特許請求の範囲において設定される。

【００１４】

【実施例】図１は、本発明に係る２レイヤエンコーダ／
デコーダを簡潔に示したブロック図である。当該エンコ
ーダ／デコーダは、エンハンスメントレイヤエンコーダ
１１８０、ベースレイヤエンコーダ１１４０、エンハン
スメントレイヤデコーダ１３４０、ベースレイヤデコー
ダ１３００、その他の素子を有している。エンハンスメ
ントレイヤエンコーダ１１８０、ベースレイヤエンコー
ダ１１４０、エンハンスメントレイヤデコーダ１３４
０、ベースレイヤデコーダ１３００、およびそれらに含
まれる機能については、以下に詳細に記述される。高解
像度ビデオ信号ＶＩＤＩＮは入力ライン１１００を介し
て入力され、ライン１１１０によって空間デシメータ１
１２０に供給される。この際、高解像度ビデオ信号ＶＩ
ＤＩＮに対しては、空間デシメータ１１２０が画素数を
ベースレイヤ解像度と呼ばれるより低い解像度に低減す
る以前にローパスフィルタがかけられる。高解像度ビデ
オ信号ＶＩＤＩＮは、インターレースあるいはプログレ
ッシブのいずれかでフォーマットされている。当業者に
は公知ではあるが、本発明のある種の実施例において
は、モーションピクチャーエキスパートグループ（ＭＰ
ＥＧ）フェーズ２テストモデル５原案第２版、文書番号
Ｄｏｃ．ＭＰＥＧ９３／２２５（１９９３年４月）（Ｍ
ＰＥＧ−２）に従ったインターレースビデオ信号に関す
るフレーム画像符号化を用いることが望ましい。あるい
は、ＭＰＥＧ−２に従ったフィールド画像符号化を用い
ることが望ましい。画素数を低減する操作は、デシメー
ション（ＤＥＣ）と呼称される。デシメータは当業者に
は公知であるが、本発明に従う独特のデシメーション手
法は以下に詳細に記載される。デシメートされたベース
レイヤ信号はライン１１３０上に出力され、ベースレイ
ヤエンコーダ１４０に供給される。ベースレイヤエンコ
ーダ１１４０は、エンコードしたビットストリームＢＬ
をライン１１９０上に出力する。

【００１５】ベースレイヤエンコーダ１１４０は、局所
的にデコードされたベースレイヤビデオ画像を回線１１
５０によって空間インタポレータ１１６０に供給する。
空間インタポレータ１１６０は、アップサンプリングイ
ンタポレーション（ＩＮＴＰ）法を用いてフレーム当た
りのペル数を増加させる。インタポレータは当業者には
公知ではあるが、本発明に係る独特のアップサンプリン
グインタポレーション法は以下に詳細に記述される。ア
ップサンプリングされたエンハンスメントレイヤ信号
は、ライン１１７０上に出力されてエンハンスメントレ
イヤエンコーダ１１８０に供給され、エンハンスメント
レイヤエンコーダ１１８０はエンコードされたビットス
トリームＥＬをライン１２００上に出力する。エンハン
スメントレイヤエンコーダ１１８０は、入力ライン１１
００上の高解像度ビデオ信号入力を符号化する効率を向
上させる目的で、ライン１１７０上のアップサンプリン
グされた信号を予測として利用する。

【００１６】ベースレイヤエンコーダ１１４０およびエ
ンハンスメントレイヤ１１８０の出力におけるエンコー
ドされたビットストリームＢＬおよびＥＬは、チャネル
１２６０上での伝送の準備としてマルチプレクサ１２５
０において組み合わせられる。あるいは、ビットストリ
ームＢＬおよびＥＬは、２つの個別の独立したチャネル
を介して送出される。高解像度ビデオ信号ＶＩＤＩＮの
ビットストリームＢＬおよびＥＬへの符号化により、よ
り堅固かつエラーに対してより弾力的な伝送を可能にす
る複数個のプライオリティを用いることによって、ネッ
トワーク上での伝送の優先付けの利用が可能になる。

【００１７】ビットストリームＢＬおよびＥＬが多重化
される場合には、チャネル１２６０を介した伝送の後
に、デマルチプレクサ１２７０がビットストリームＢＬ
およびＥＬを分離し、ライン１２８０および１２９０上
にビットストリームＢＬおよびＥＬを出力する（チャネ
ル１２６０に関して伝送エラーが存在しない場合）。

【００１８】ビットストリームＢＬおよびＥＬは、それ
ぞれライン１２８０および１２９０によってベースレイ
ヤデコーダ１３００およびエンハンスメントレイヤデコ
ーダ１３４０に入力される。ベースレイヤデコーダ１３
００は、ライン１３１０にデコードされたベースレイヤ
ビデオ信号ＶＩＤＯＵＴ_Bを出力する。このベースレイ
ヤビデオ信号は、伝送エラーが存在しない場合には、ラ
イン１１５０上のビデオ信号がデコードされたものと正
確に同じである。

【００１９】デコードされたベースレイヤビデオ信号Ｖ
ＩＤＯＵＴ_Bは、ライン１３１５を介して空間インタポ
レータ１３２０に供給される。このインタポレータは、
インタポレータ１１６０と同一のものであり、ライン１
３３０上にアップサンプリングされた信号を生成する。
伝送エラーが存在しない場合には、ライン１３３０上お
よびライン１１７０上のアップサンプリング済みビデオ
信号は同一である。エンハンスメントレイヤデコーダ１
３４０は、ライン１３３０上のアップサンプリングされ
たビデオ信号をライン１２９０上のエンハンスメントレ
イヤビットストリームとともに利用し、出力ライン１３
５０上にデコードされたより高い解像度を有するビデオ
信号ＶＩＤＯＵＴ_Eを生成する。

【００２０】当業者には公知ではあるが、ある種のアプ
リケーションにおいては入力ライン１１００上の高解像
度ビデオ入力信号ＶＩＤＩＮがプログレッシブフォーマ
ットであることが望ましく、他のアプリケーションにお
いてはＶＩＤＩＮがインターレースフォーマットである
ことが望ましい。よって、ベースレイヤ−エンハンスメ
ントレイヤ画像フォーマットに依存する本発明の原理を
例示するために、４つのフォーマットの空間スケーラビ
リティが用いられる。それらの空間スケーラビリティの
フォームは、具体的には、プログレッシブ−プログレッ
シブ、プログレッシブ−インターレース、インターレー
ス−プログレッシブおよびインターレース−インターレ
ースと呼称される。空間スケーラビリティのフォームに
依存して、前述の空間デシメーション（ＤＥＣ）および
空間インタポレーション（ＩＮＴＰ）操作が相異なる。
空間スケーラビリティの前述のフォームのそれぞれに対
して必要とされるＤＥＣおよびＩＮＴＰ操作、およびそ
れぞれに関する潜在的なアプリケーションについては以
下に議論される。

【００２１】図２および図３は、本発明に係る空間スケ
ーラビリティのプログレッシブ−プログレッシブおよび
プログレッシブ−インターレースフォームにおいて必要
とされるＤＥＣおよびインタポレーション（ＩＮＴＰ）
操作を示す図である。図２に示されているように、ＤＥ
Ｃ操作においては、プログレッシブフォーマットの高解
像度ビデオ信号がライン２１１０によって水平／垂直デ
シメータ２１１５に入力される。この際、高解像度ビデ
オ信号ＳＩＧＩＮ_Dは、当該高解像度ビデオ信号ＳＩＧ
ＩＮ_Dがサンプリングされるレートを低減することによ
って高解像度ビデオ信号ＳＩＧＩＮ_Dに含まれる画素数
を水平および垂直の双方の方向に関して水平／垂直デシ
メータ２１１５が低減する以前に、濾波される。より低
い解像度を有するビデオ信号ＳＩＧＯＵＴ_Dはライン２
１３０上に出力される。ある種のアプリケーションにお
いては、水平方向および垂直方向とも１：１未満のサン
プリングレート低減が起こらないことが望ましい。水平
／垂直サンプラ２１１５が高解像度ビデオ信号ＳＩＧＩ
Ｎ_Dをサンプリングするレートは、２つの整数間の比、
例えば２：１、によって表現される。よって、水平方向
デシメーションは、水平方向にファクタ２分のサンプリ
ングレートの低減を必要とする。

【００２２】図３に示されているように、ＩＮＴＰ操作
においては、プログレッシブフォーマットの低解像度ビ
デオ信号ＳＩＧＩＮ_Iがライン３１５０によって、水平
／垂直デシメータ２１１５（図２）によって実行される
ものと反対の操作を行なう水平／垂直インタポレータ３
１５５に入力される。しかしながら、水平／垂直デシメ
ータ２１１５において空間解像度の損失が生ずるため、
水平／垂直インタポレータ３１５５は、デシメータ２１
１５（図２）への入力２１１０における信号の近似信号
をライン３１７０上のＳＩＧＯＵＴ_Iとして出力できる
のみである。

【００２３】空間スケーラビリティのプログレッシブ−
プログレッシブフォームの一例は、コモンインターミー
ディエイトフォーマット（ＣＩＦ）タイプの信号がプロ
グレッシブフレーム当たり水平３５２×垂直２８８画素
の解像度でベースレイヤエンコーダ１１４０（図１）に
入力され、スーパーコモンインターミーディエイトフォ
ーマット（ＳＣＩＦ）タイプの信号がプログレッシブフ
レーム当たり水平７０４×垂直５７６画素の解像度でエ
ンハンスメントレイヤエンコーダ１１８０（図１）に入
力され、この際、双方の入力信号が毎秒３０フレームと
いうフレームレートを有するような符号化方法である。
ＣＩＦおよびＳＣＩＦフォーマットを有する信号は、当
業者には公知である。ベースレイヤエンコーダ１１４０
（図１）に入力されるＣＩＦ信号は、水平および垂直の
双方の方向に関してファクタ２の空間デシメーションを
行なうことにより、ＳＣＩＦ入力信号から導出される。
ローカルに復号化されたベースレイヤフレームは、水平
および垂直の双方の方向に関してファクタ２だけ補間さ
れ、エンハンスメントレイヤにおける信号を符号化する
際に用いられる予測において利用される。この例におい
ては水平および垂直方向のファクタ２のデシメーション
およびインタポレーションが必要とされているが、当業
者には明らかなように、他の整数比も用いられうる。こ
の例においては、モーションピクチャーズエキスパート
グループフェーズ１（ＭＰＥＧ−１）あるいはＣＣＩＴ
Ｔ勧告Ｈ．２６１のｐｘ６４Ｋｎｉｔ／ｓにおけるオー
ディオビジュアルサービス用ビデオコーデック（ジュネ
ーブ、１９９０年８月）（Ｈ．２６１）という符号化方
法が、本発明の一側面に従う空間スケーラビリティがＭ
ＰＥＧ−１、あるいはＨ．２６１、とＭＰＥＧ−２標準
との間のコンパチビリティをどのようにして可能にする
かを例示する目的で、ベースレイヤを符号化するために
用いられる。さらに、あるアプリケーションにおいて
は、双方のレイヤにおいてＭＰＥＧ−２符号化を用いる
ことが望ましく、また可能である。例えば、ベースレイ
ヤに対してＭＰＥＧ−２メインプロファイル符号化が用
いられ、エンハンスメントレイヤに対してＭＰＥＧ−２
ネクストプロファイル空間スケーラブル符号化が用いら
れる。メインプロファイルおよびネクストプロファイル
符号化方法は、当業者には公知である。

【００２４】プログレッシブ−インターレーススケーラ
ビリティの一例は、ノンインターレースフレーム当たり
水平３５２×垂直２４０画素の解像度のソースインプッ
トフォーマット（ＳＩＦ）タイプの信号がベースレイヤ
エンコーダ１１４０（図１）に入力され、インターレー
スフレーム当たり水平７０４×垂直４８０画素の解像度
を有する国際無線通信諮問委員会勧告６０１、標準４：
２：０（ＣＣＩＲ−６０１ ４：２：０）タイプの信号
がエンハンスメントレイヤエンコーダ１１８０（図１）
に入力されるような符号化方法である。ベースレイヤエ
ンコーダ１１４０（図１）に入力されるＳＩＦ信号は、
ＣＣＩＲ−６０１ ４：２：０信号から、偶数フィール
ドを削除した後、水平方向にファクタ２のデシメーショ
ンを行なうことによって導出される。ローカルに復号化
されたベースレイヤフレームに対しては、水平および垂
直方向にファクタ２のアップサンプリング行われてエン
ハンスメントレイヤの符号化のために用いられる予測に
関して利用される。この例においては、本発明の一側面
に従う空間スケーラビリティがＭＰＥＧ−１とＭＰＥＧ
−２標準との間のコンパチビリティをどのようにして可
能にするかを例示する目的で、ＭＰＥＧ−１符号化方法
が前述の例の場合と同様にベースレイヤを符号化するた
めに用いられる。あるアプリケーションにおいては、双
方のレイヤにおいてＭＰＥＧ−２符号化を用いることが
望ましく、また可能である。例えば、ベースレイヤに対
してＭＰＥＧ−２メインプロファイル符号化が用いら
れ、エンハンスメントレイヤに対してＭＰＥＧ−２ネク
ストプロファイル空間スケーラブル符号化が用いられ
る。

【００２５】図４および図５は、空間スケーラビリティ
のインターレース−プログレッシブフォームに対して必
要とされるＤＥＣおよびＩＮＴＰ操作を示している。図
４に示されているように、ＤＥＣ操作においては、高解
像度ビデオ信号ＳＩＧＩＮ_D2がライン４１１０によって
水平／垂直デシメータ４１１５に入力され、高解像度ビ
デオ信号がサンプリングされるレートを低減することに
より、水平および垂直方向の画素数が低減される。より
低い空間解像度を有するプログレッシブビデオ信号がラ
イン４１０５に出力される。あるアプリケーションにお
いては、水平方向および垂直方向ともサンプリングレー
トが１：１未満に低減されないことが望ましい。水平／
垂直デシメータ４１１５によって用いられるサンプリン
グレートは、例えば２：１のように、２つの整数間の比
によって表現される。水平方向デシメーションは、水平
方向のサンプリングレートをファクタ２だけ低減するこ
とを必要とする。次いで、ライン４１０５上のプログレ
ッシブフレームが、当業者には公知のプログレッシブ−
インターレースデシメーション操作を受ける。その後、
より低い空間解像度のインターレースフレームがＳＩＧ
ＯＵＴ_D2としてライン４１３０上に出力される。

【００２６】図５に示されているように、ＩＮＴＰ操作
においては、低解像度インターレースビデオ信号ＳＩＧ
ＩＮ_I2がライン５１５０によってインターレース−プロ
グレッシブインタポレータ５１６５に入力される。プロ
グレッシブ低解像度フレームがライン５１４５によって
インターレース−プログレッシブインタポレータ５１６
５から出力され、水平／垂直デシメータ４１１５（図
４）によって実行されるものの逆の操作を実行する水平
／垂直インタポレータ５１５５に対する入力として供給
される。しかしながら、水平／垂直デシメータ４１１５
において空間解像度の損失が生ずるため、水平／垂直イ
ンタポレータ５１５５は、水平／垂直デシメータ４１１
５（図４）への入力４１１０における信号の近似信号を
ライン５１７０上のＳＩＧＯＵＴ_I2として出力できるの
みである。

【００２７】インターレース−プログレッシブスケーラ
ビリティの一例は、ベースレイヤがＣＣＩＲ−６０１
４：２：０解像度のインターレースフレームのメインプ
ロファイル符号化を用い、エンハンスメントレイヤが６
０フレーム／秒のプログレッシブ高品位テレビジョン
（ＨＤＴＶ）解像度フレームを用いるようなスケーラブ
ル符号化である。ＣＣＩＲ−６０１ ４：２：０メイン
プロファイルおよびＨＤＴＶフォーマット信号は当業者
には公知である。このようなインターレース−プログレ
ッシブ空間スケーラビリティは、標準のディジタルＴＶ
とディジタルプログレッシブＨＤＴＶとのコンパチビリ
ティを実現するために有利に用いられる。この例におい
ては、ＭＰＥＧ−２メインプロファイル符号化がベース
レイヤに対して用いられ、ＭＰＥＧ−２ネクストプロフ
ァイル空間スケーラブル符号化がエンハンスメントレイ
ヤに対して用いられる。

【００２８】図６および図７は、空間スケーラビリティ
のインターレース−インターレースフォームに対して必
要とされるデシメーションのＤＥＣおよびＩＮＴＰ操作
を示している。図６に示されているように、より低い空
間解像度を有するインターレース信号を生成するための
インターレース信号のデシメーションに関しては、その
第１段階はインターレース−プログレッシブインタポレ
ーション操作を含んでいる。この例に関して入力信号Ｓ
ＩＧＩＮ_D3が３０フレーム／秒のインターレース信号で
あることを仮定すると、これはそれぞれのフィールドが
１フレームの半分のラインを有する６０フィールド／秒
のインターレースビデオとみなすことができる。インタ
ーレース−プログレッシブインタポレータ６１６５は、
ライン６１１０上の６０フィールド／秒インターレース
ビデオ信号入力から、ライン６１０５上に同数のライン
を有するインターレースフレームが６０フレーム／秒で
出力されるように、プログレッシブフレームを生成す
る。インターレース−プログレッシブインタポレーショ
ンに引き続いて、信号は水平／垂直デシメータ６１１５
においてデシメートされ、デシメートされた信号がＳＩ
ＧＯＵＴ_D3としてライン６１３０上に出力される。元の
入力信号の半分の水平および垂直解像度を有する低解像
度インターレース信号が希望される場合には、水平方向
に関して２：１のデシメーションファクタ、垂直方向に
関して４：１のデシメーションファクタがそれぞれ用い
られる。

【００２９】図７は、本発明に係る空間スケーラビリテ
ィのインターレース−インターレースフォームにおいて
用いられるＩＮＴＰ操作を示している。この例において
も、３０フレーム／秒の低解像度インターレース信号Ｓ
ＩＧＩＮ_I3は６０フィールド／秒信号とみなされる。第
１段階は、それがライン７１５０上の入力信号ＳＩＧＩ
Ｎ_I3に関するインターレース−プログレッシブインタポ
レーション操作を含むという観点で図６を参照して記述
されたデシメーション操作と同一であり、ライン７１７
５上に６０フレーム／秒のプログレッシブビデオ出力を
生成する。次の段階においては、偶数フィールドによっ
て生成されたプログレッシブフレームがスイッチ７１８
５を通過した後にライン７１９５上で利用可能になり、
垂直インタポレータ／ラインセレクタ７２３５によって
垂直方向に１：２で補間されて再度サンプリングされ
る。奇数フィールドによって生成されたプログレッシブ
フレームはスイッチ７１８５を追加した後にライン７２
０５上で利用可能になり、この段階では再サンプリング
されない。次いで、スイッチ７２５５がライン７２０５
および７２４５上の信号を交互に選択する。最終段階に
おいては、スイッチ７２５５の出力がライン７１４５に
よって１：２水平インタポレータ７１５５に供給され
る。

【００３０】ここで、より説明を理解しやすくするため
に、ＤＥＣおよびＩＮＴＰ操作において用いられるイン
ターレース−プログレッシブインタポレーション操作に
ついてより詳細に記述する。ＤＥＣおよびＩＮＴＰにお
いて用いられるインターレース−プログレッシブインタ
ポレーション操作は、インターレース−インターレース
フォームに関するものと明らかに異なっている。なぜな
ら、ＩＮＴＰ操作はＭＰＥＧ−２標準によって規定され
ているが、ＤＥＣ操作は標準外であり、より複雑である
からである。

【００３１】図８は、空間スケーラビリティのインター
レース−インターレースフォームにおいて用いられるイ
ンターレース−プログレッシブインタポレーション操作
の詳細を示した図である。図８においては、ラインＡ、
Ｃ、Ｅ、Ｇ．．．は奇数フィールドに属しており、ライ
ンＢ’、Ｄ’、Ｆ’、Ｈ’．．．はフィルタを適用する
ことによって生成されたものである。

【００３２】図９は、本発明の一側面に従う空間スケー
ラビリティのプログレッシブ−プログレッシブおよびイ
ンターレース−プログレッシブフォームに関する重み付
け空間−時間予測の背後に存在する原理を示している。
図９においては、ラインＢ、Ｄ、Ｆ、Ｈ．．．は偶数フ
ィールドに属しており、ラインＡ’、Ｃ’、Ｅ’、
Ｈ’．．．はインターレース−プログレッシブインタポ
レーションフィルタを適用することによって生成された
ものである。インターレース−プログレッシブインタポ
レーションフィルタの出力は、デインターレースされつ
つあるフィールドからの寄与と同一フレーム内の相異な
った偶奇を有するフィールドからの寄与の２つの寄与か
らなる。双方の寄与は、図８および図９の矢印によって
示されているように、生成されるべきデインターレース
されるラインを中心として隣接しているラインサンプル
に重み付けファクタを適用することによって生成され
る。よってこのフィルタ操作は、垂直方向および時間軸
方向の解像度を保持するという妥協を維持する。

【００３３】インターレース−インターレーススケーラ
ビリティの一例は、ベースレイヤエンコーダ１１４０
（図１）がＣＣＩＲ−６０１ ４：２：０解像度インタ
ーレースフレームを符号化し、エンハンスメントレイヤ
エンコーダ１１８０（図１）がＨＤＴＶ解像度インター
レースフレームを符号化するスケーラブル符号化法であ
る。このようなインターレース−インターレース空間ス
ケーラビリティは、標準ディジタルＴＶとコンパチブル
なディジタルインターレースＨＤＴＶを実現するために
有効に用いられうる。

【００３４】図１０は、本発明の一側面に従う空間スケ
ーラビリティのプログレッシブ−インターレースおよび
インターレース−インターレースフォームに関する重み
付け空間−時間予測の背後に存在する原理を示してい
る。プログレッシブフォーマットビデオ信号に関して、
図１０は、空間予測に対して適用される重み付け空間−
時間予測操作が、ベースレイヤからローカルに復号化さ
れた画像をアップサンプリングしてエンハンスメントレ
イヤにおける動き補償時間予測と組み合わせることによ
って得られることを示している。重みコードＷは、それ
ぞれのブロックの全てのラインに対して適用される空間
重みであるｗを単に表現している。重み付け空間−時間
予測は、空間予測ブロックにｗという重み付けを行なっ
てそれらを１−ｗというファクタによって重み付けを行
なった時間予測ブロックに加算することによって得られ
る。

【００３５】以下に示される表１および表２は、プログ
レッシブ−プログレッシブおよびインターレース−プロ
グレッシブスケーラビリティに関する空間重みファクタ
を示しているが、これらは例示目的であって本発明を制
限するものではない。例示されている重みファクタ以外
にも、純粋に時間的な予測（すなわち、空間重みファク
タが０）もそれぞれの場合において用いられうる。

【００３６】以下の表１は、プログレッシブ−プログレ
ッシブおよびインターレース−プログレッシブスケーラ
ビリティに関する２重みコードの組の例である。

【表１】

【００３７】以下の表２は、プログレッシブ−プログレ
ッシブおよびインターレース−プログレッシブスケーラ
ビリティに関する４重みコードの組の例である。

【表２】

【００３８】表３および表４は、ベースレイヤが奇数お
よび偶数フィールドをそれぞれ符号化するプログレッシ
ブ−インターレーススケーラビリティに係る空間重みを
示しているが、それらは例示目的であって本発明を制限
するものではない。例示された重み以外にも、純粋に時
間的な予測（すなわち、空間重みファクタが（０、
０））も用いられうる。

【００３９】以下の表３は、ベースレイヤが奇数フィー
ルドを符号化するプログレッシブ−インターレーススケ
ーラビリティに対する４重みコードの組の例を示してい
る。

【表３】

【００４０】以下の表４は、ベースレイヤが偶数フィー
ルドを符号化するプログレッシブ−インターレーススケ
ーラビリティに対する４重みコードの組の例を示してい
る。

【表４】

【００４１】表５および表６は、ベースレイヤが奇数お
よび偶数フィールドをそれぞれ符号化するプログレッシ
ブ−インターレーススケーラビリティに係る空間重みを
示しているが、それらは例示目的であって本発明を制限
するものではない。例示された重み以外にも、純粋に時
間的な予測（すなわち、空間重みファクタが（０、
０））も用いられうる。

【００４２】以下の表５は、ベースレイヤが奇数フィー
ルドを符号化するプログレッシブ−インターレーススケ
ーラビリティに対する４重みコードの組の例を示してい
る。

【表５】

【００４３】以下の表６は、ベースレイヤが偶数フィー
ルドを符号化するプログレッシブ−インターレーススケ
ーラビリティに対する４重みコードの組の例を示してい
るが、例示目的のみであって本発明を制限するものでは
ない。

【表６】

【００４４】表７および表８は、ベースレイヤが奇数お
よび偶数フィールドをそれぞれ符号化するインターレー
ス−インターレーススケーラビリティに係る空間重みを
示しているが、それらは例示目的であって本発明を制限
するものではない。例示された重み以外にも、純粋に時
間的な予測（すなわち、空間重みファクタが（０、
０））も用いられうる。

【００４５】以下の表７は、インターレース−インター
レーススケーラビリティに対する２重みコードの組の例
を示している。

【表７】

【００４６】以下の表８は、インターレース−インター
レーススケーラビリティに対する４重みコードの組の例
を示している。

【表８】

【００４７】図１２は、図１に示された実施例において
用いられているベースレイヤエンコーダおよびエンハン
スメントレイヤエンコーダのブロック図である。高解像
度ビデオ信号は入力ライン１２１００で入力される。空
間デシメータ１２１１０は、図１に関して既に記述され
ているようにフレーム当たりのペル数を低減し、ライン
１２１２０上にベースエンコーダ１２２０１へのベース
レイヤ信号を出力する。ベースレイヤエンコーダ１２２
０１は、一般にＩ、Ｂ、およびＰ画像を符号化する公知
のＭＰＥＧ−１画像装置を利用する。フレームリオーガ
ナイザ１２１３０は、符号化の準備のために当業者には
公知の方法で入力フレームの再配置を行ない、その結果
をライン１２１４０および１２１５０上に出力する。

【００４８】動き推定器１２１７０は、ライン１２１５
０上の入力フレームを調べてそれを直前の１つあるいは
２つの符号化済みフレームと比較する。入力フレームが
タイプＩあるいはＰである場合には、直前の１つのフレ
ームが用いられる。タイプＢである場合には、直前の２
つの符号化済みフレームが用いられる。動き推定器１２
１７０は、動きベクトルを、動き補償器１２１８０によ
って用いられるようにライン１２１７５上に、可変／固
定長エンコーダ１２３１０によって用いられるようにラ
イン１２１８５上に、それぞれ出力する。動き補償器１
２１８０は、動きベクトルｍｖと直前に符号化されたフ
レーム内のペルとを用いて（ＰおよびＢタイプフレーム
に関して）動き補償済み予測をライン１２２３０上に出
力し、それはさらにライン１２２４０および１２２５０
に伝達される。Ｉタイプフレームに関しては、動き補償
器１２１８０はゼロペル値を出力する。

【００４９】加算器１２１６０は、ライン１２１４０上
の入力フレームと（ＰおよびＢタイプに関する）ライン
１２２５０上の予測フレームとの間の再を計算する。そ
の結果はライン１２２１５上に現れ、変換器１２２７０
によって変換され、量子化器１２２９０によって通常は
整数値に量子化される。量子化された変換係数は、ライ
ン１２３００上に出力されて可変／固定長エンコーダ１
２３１０へ、およびライン１２３０５によって逆量子化
器１２３８０へ、それぞれ伝達される。

【００５０】逆量子化器１２３８０は、量子化された変
換係数を元のフルレンジに変換し、その結果をライン１
２３９０を介して逆離散コサイン変換器１２４００に伝
達する。逆離散コサイン変換器１２４００は、ペル予測
誤差値をライン１２４１０上に出力する。加算器１２４
２０は、ライン１２４１０上の予測誤差値をライン１２
２４０上の予測値に加算してライン１２４３０および１
２４４０上に符号化されたベースレイヤペルを出力す
る。

【００５１】ＩおよびＰタイプフレームに関しては、ス
イッチ１２２２５はライン１２４３０からの符号化され
たペルをライン１２２０５を介して直後画像ストア１２
２０６に伝達する。同時に、直後画像ストア１２２０６
内のフレームがライン１２１９５を介して直前画像スト
ア１２１９０に伝達される。Ｂタイプフレームに関して
は、スイッチ１２２２５は何ら動作をなさず、画像スト
ア１２１９０および１２２０６の内容は不変のまま保た
れる。画像ストア１２１９０および１２２０６の内容
は、ライン１２２１０および１２２２０を介してそれぞ
れ動き推定器１２１７０および動き補償器１２１８０に
要求に応じて伝達される。

【００５２】量子化器１２２９０および逆量子化器１２
３８０によって用いられる量子化器ステップサイズＱＳ
は、ライン１２３５０上のバッファフル表示に依存して
量子化アダプタ１２３６０によって適応計算される。量
子化器ステップサイズＱＳは、ライン１２３７０によっ
て量子化器１２２９０へ、ライン１２３７５によって逆
量子化器１２３８０へ、それぞれ伝達される。量子化器
ステップサイズＱＳは、さらにライン１２３６５を介し
て可変／固定長エンコーダ１２３１０へ伝達される。可
変／固定長エンコーダ１２３１０は、ライン１２３００
上の量子化された変換係数入力、ライン１２１８５上の
動きベクトルｍｖ入力、およびライン１２３６５上の量
子化器ステップサイズＱＳを、ライン１２３２０上に出
力されてライン１２３４０によってシステムマルチプレ
クサ１２３４５に対して伝達されるまでの間のテンポラ
リストレージとしてのバッファ１２３３０へ供給される
ビットストリームに符号化する。符号化されたベースレ
イヤフレームは、前述されているようにライン１２４４
０を介してインタポレータ１２４５０に伝達され、そこ
でアップサンプリングされてライン１２４６０を介して
エンハンスメントレイヤエンコーダ１２２０１に伝達さ
れる。

【００５３】エンハンスメントレイヤエンコーダ１２２
０２においては、フレームオーガナイザ１２４７０が高
解像度ビデオフレームをベースレイヤのオーダーに一致
するように再配置し、再配置されたフレームをライン１
２４８０に出力する。加算器１２４９０は、ライン１２
４８０上の符号化されることになる入力画像とライン１
２４６０上の空間−時間予測画像との間の差異を計算す
る。予測誤差はライン１２５００上に出力され、変換器
１２５１０によって変換され、量子化器１２５３０によ
って量子化されてライン１２５４０を介して可変／固定
長エンコーダ１２５５０に伝達される。エンハンスメン
トレイヤエンコーダ１２２０１によって用いられる量子
化器ステップサイズＱＳ_Eは、ライン１２５９０上で受
信されたバッファ１２５７０のバッファフル表示に依存
して量子化アダプタ１２６００によって計算される。量
子化器ステップサイズＱＳ_Eは、ライン１２６０５を介
して量子化器１２５３０に、ライン１２６１０を介して
逆量子化器１２７４０に、そしてライン１２６１５を介
して可変／固定長エンコーダ１２５５０に、それぞれ伝
達される。動き推定器１２６４０はライン１２４８５上
のエンハンスメントレイヤ入力フレームを調べ、符号化
される画像タイプに依存してそれをライン１２６３０上
の直前の１つの復号化されたエンハンスメントレイヤフ
レームかライン１２６３０および１２６８０上の２つの
直前の復号化されたエンハンスメントレイヤフレームと
比較する。動き推定器１２６４０は動きベクトルｍｖ_E
を、動き補償器１２６５５によって用いられるようにラ
イン１２６５０上に、可変／固定長エンコーダ１２５５
０によって用いられるようにライン１２６４５上に、そ
れぞれ出力する。動き補償器１２６５５は、動きベクト
ルｍｖ_Eを、ライン１２７００上に出力されて重み付け
器１２７１０に伝達される動き補償済み時間予測を計算
するために用いる。

【００５４】空間的に補間された対応するベースレイヤ
復号化済みフレームがライン１２４６０上で利用可能で
あり、ライン１２６９０によって重み付け器１２７１０
に入力される。ベースレイヤインタポレータ１２４５０
の出力における空間予測フレームは、空間−時間重みア
ナライザ１２６８５の入力ライン１２６６５に対しても
供給される。動き補償器１２６５５の出力における時間
予測フレームは、時間−空間重みアナライザ１２６８５
のもう一方の入力ライン１２６７５に対しても供給され
る。フレームオーガナイザ１２４７０からの入力フレー
ムは、空間−時間重みアナライザ１２６８５の第３の入
力ライン１２７０５に供給される。空間−時間重みアナ
ライザ１２６８５は、空間スケーラビリティのタイプに
依存して重みテーブルをまず選択し、次いで用いられる
べき最良の重みあるいは重みの組を示すあらかじめスト
アされたテーブルに対する指数を計算する。この操作
は、画像当たり一回あるいはそれ以上実行されうる。通
常、ＭＰＥＧ様の符号化環境が用いられる場合には、空
間−時間重みは、マクロブロック対マクロブロックとい
う関係に基づいて適用される。マクロブロックに関する
選択された重みに対する指数はライン１２７２５上に現
れ、可変／固定長エンコーダ１２５５０においてビット
ストリームの一部として符号化される。重み付け器１２
７１０は、ライン１２６９０および１２７００上の２つ
の予測入力の重み付け平均を計算し、その結果をライン
１２７２０および１２７３０を介してそれぞれ加算器１
２４９０および加算器１２７８０に供給する。

【００５５】次のエンハンスメントレイヤフレームの動
き補償に関して必要とされるローカルに復号化されたエ
ンハンスメントレイヤビデオは、いくつかの相違点を除
いてベースレイヤにおけるものと同様に計算される。詳
細に述べれば、量子化された変換係数が、逆量子化器１
２７４０によってフルレンジに変換され、逆変換器１２
７６０によって予測誤差ペル値に変換され、加算器１２
７８０によって動き補償済み予測に加算され、次フレー
ムストア１２６２０に伝達される。次フレームストア１
２６２０の内容は、同時に直前フレームストア１２６６
０に対してもコピーされうる。次フレームがＰ画像であ
る場合には直前フレームストアの内容が必要とされ、Ｂ
画像である場合には双方のフレームストアの内容が動き
補償に関して必要とされる。可変エンコーダ１２５５０
は、ライン１２５４０上の量子化された変換係数入力、
ライン１２６１５上の量子化器ステップサイズＱＳ_E、
ライン１２６４５上の動きベクトルｍｖ_E、およびライ
ン１２７２５上の重み指数を、ライン１２５６０上に出
力されるビットストリームに符号化する。ライン１２５
６０上のビットストリームは、それがライン１２５８０
を介してシステムマルチプレクサ１２３４５に伝達され
るまでのテンポラリストレージとして機能するバッファ
１２５７０に伝達される。

【００５６】本発明に係るこの実施例においては、上述
されているベースおよびエンハンスメントレイヤエンコ
ーダを例示する目的で単純なエンコーダが用いられてい
る。しかしながら、ベースレイヤエンコーダはＭＰＥＧ
−１すなわちＨ．２６１エンコーダもしくはＭＰＥＧ−
２メインプロファイルエンコーダであることが望まし
い。エンハンスメントレイヤエンコーダは、以下に詳細
に議論される重み付け器１２７１０および空間−時間ア
ナライザ１２６８５を除いてＭＰＥＧ−２メインプロフ
ァイルエンコーダと同様のＭＰＥＧ−２ネクストプロフ
ァイル空間スケーラビリティエンコーダであることが仮
定されている。

【００５７】図１３は、図１の符号化システムに対応す
る、ベースレイヤデコーダ１３００１およびエンハンス
メントレイヤデコーダ１３００２からなる２レイヤデコ
ーダを示している。ベースレイヤデコーダ１３００１
は、一般にＩ、Ｂ、およびＰ画像よりなる公知のＭＰＥ
Ｇ−１画像符号化装置を用いている。受信されたビット
ストリームは、システムデマルチプレクサから、ライン
１３３４０を介して、それがライン１３３２０を介して
可変／固定長デコーダ１３３１０へ伝達されるまでのテ
ンポラリストレージとして機能するバッファ１３３３０
へ伝達される。可変／固定長デコーダ１３３１０は量子
化された変換係数を復号化し、それらをライン１３３０
０上へ出力する。量子化器ステップサイズＱＳ_Dはライ
ン１３３７０上へ出力される。動きベクトルｍｖ_Dはラ
イン１３３６０および１３１７５上に出力される。動き
補償器１３１８０は、ライン１３１７５上の動きベクト
ルｍｖ_Dと、Ｐ画像に関してはライン１３２１０上の直
前に復号化されたフレームからのペルとを、Ｂ画像に関
してはライン１３２１０および１３２２０上の直前に復
号化されたフレームからのペルとを、ライン１３２４０
上に出力される動き補償済み予測を計算するために利用
する。Ｉタイプフレームに関しては、動き補償器１３１
８０はゼロペル値を出力する。

【００５８】量子化器ステップサイズＱＳ_Dは、可変／
固定長デコーダ１３３１０からライン１３３７０を介し
て逆量子化器１３３８０に伝達される。量子化された変
換係数は、ライン１３３００を介して逆量子化器１３３
８０に伝達される。逆量子化器１３３８０は、量子化さ
れた変換係数をフルレンジに変換し、その結果をライン
１３３９０を介して、ライン１３４１０上にペル予測誤
差値を出力する逆変換器に伝達する。加算器１３４２０
は、ライン１３４１０上の予測誤差値とライン１３２４
０上の予測値とを加算して、ライン１３４３０、１３１
４０および１３４４０上に復号化されたベースレイヤペ
ルを形成する。ＩおよびＰタイプ画像に関しては、スイ
ッチ１３４３５はライン１３４３０上の復号化されたペ
ル入力をライン１３２０５を介して直後画像ストア１３
２００に伝達する。同時に、直後画像ストア１３２００
内のフレームは、ライン１３１９５を介して直前画像ス
トア１３１９０に伝達される。Ｂタイプフレームに関し
ては、スイッチ１３４３５は何も動作をなさず、画像ス
トア１３９０および１３２００の内容は不変のままであ
る。画像ストア１３１９０および１３２００の内容は、
本明細書に記載されているように必要に応じて利用され
るように、それぞれライン１３２１０および１３２２０
を介して動き推定器１３１７０および動き補償器１３１
８０に伝達される。フレームオーガナイザ１３１３０
は、当業者には公知の方法によってライン１３１２５上
に表示する準備としてライン１３１４０上の復号化され
たベースレイヤ出力フレームを再び順序付けする。復号
化されたベースレイヤフレームは、既に記述されている
ように、ライン１３４４０を介してインタポレータ１３
４５０に伝達され、アップサンプリングされてライン１
３４６０を介してエンハンスメントレイヤデコーダ１３
００２に伝達される。

【００５９】エンハンスメントレイヤビットストリーム
は、システムデマルチプレクサ１３００５からライン１
３５８０を介して、ライン１３５６０を介して可変／固
定長デコーダ１３５５０へ伝達されるまでのテンポラリ
ストレージとしてのバッファ１３５７０に伝達される。
可変／固定長デコーダ１３５５０は、量子化された変換
係数を復号化してライン１３５４０へ、量子化器ステッ
プサイズＱＳ_DEをライン１３６１０へ、動きベクトルｍ
ｖ_DEをライン１３６４５および１３６５０へ、および重
み指数をライン１３７２５および１３６９５へ、それぞ
れ出力する。量子化器ステップサイズＱＳ_DEはライン１
３６１０から逆量子化器１３７４０へ伝達される。逆量
子化器１３７４０は、ライン１３５４０上の量子化され
た変換係数をフルレンジに変換し、その結果を逆変換器
１３７６０へライン１３７５０を介して伝達する。逆変
換器１３７６０は、ペル予測誤差値を欄１３７７０へ出
力する。

【００６０】動き補償器１３６５５は、ライン１３６５
０上のエンハンスメントレイヤ動きベクトルｍｖ_DEおよ
びライン１３６３０および１３６８０上の直前に復号化
されたエンハンスメントレイヤフレームからのペルを用
いて、ライン１３７００上に出力されて重み付け器１３
７１０に伝達される、動き補償済み予測を計算する。復
号化されたベースレイヤフレームはインタポレータ１３
４５０内でアップサンプリングされてライン１３４６０
を介して重み付け器１３７１０の他の入力に供給され
る。重み付け器１３７１０は、ライン１３４６０および
１３７００上の２つの予測の重み付け平均を計算し、そ
の結果をライン１３７２０を介して加算器１３７８０に
供給する。予測の計算に用いられる重み付けは、符号化
プロセスにおいて用いられたものと同一である。重み
は、ライン１３６９５から供給される、表から値を探す
ためも重み指数を用いて重み付け器１３７１０において
獲得される。加算器１３７８０の出力は、ライン１３４
８０および１３７９０に伝達される。復号化されたフレ
ームはライン１３７９０上に出力される。Ｂ画像ではな
い場合には、出力はスイッチ１３８１０を介してライン
１３８１５に伝達され、直後画像ストア１３６２０にス
トアされ、同時にその内容は直前画像ストア１３６６０
にもストアされる。画像ストア１３６６０および１３６
２０の内容は、以降のフレームの動き補償済み予測に関
して用いられる。フレームリオーガナイザ１３４７０は
ライン１３４８０上の高解像度ビデオフレームをベース
レイヤの順序に一致するように再構成し、その出力は表
示されるためにライン１３１３５上に現れる。

【００６１】本発明に係るこの実施例においては、上述
されているベースおよびエンハンスメントレイヤエンコ
ーダを例示する目的で単純なエンコーダが用いられてい
る。しかしながら、ベースレイヤエンコーダはＭＰＥＧ
−１すなわちＨ．２６１エンコーダもしくはＭＰＥＧ−
２メインプロファイルエンコーダであることが望まし
い。エンハンスメントレイヤエンコーダは、以下に詳細
に議論される重み付け器１３７１０を除いてＭＰＥＧ−
２メインプロファイルエンコーダと同様のＭＰＥＧ−２
ネクストプロファイル空間スケーラビリティエンコーダ
であることが仮定されている。

【００６２】図１４は、図１２において用いられている
空間−時間アナライザの詳細を示した図である。空間−
時間アナライザ１４０００は、ライン１４６９０上のベ
ースレイヤ信号とライン１４７００上のエンハンスメン
トレイヤ時間予測信号の補間によって得られた空間予測
信号を受け取る。ライン１４６９０上の信号はライン１
４８８０上にも現れ、ライン１４７００上の信号はライ
ン１４８９０上にも現れて、空間−時間重み付け器１４
９２０への２つの入力を構成する。第３の入力は、ライ
ン１４９１０上の重みＷ０である。重みルックアップテ
ーブル１４８７０の第１のエントリは、その内容がライ
ン１４９０５上で利用可能となる。このプロセスは、そ
れぞれ入力ライン１４８８１および１４８９１において
ライン１４６９０および１４７００上の信号を受信する
空間−時間重み付け器１４９２１に関して反復される。
この際、その内容がライン１４９０５上で利用可能な重
みルックアップテーブル１４８７０内の次のエントリで
ある重みＷ１が、ライン１４９１１によって供給され
る。このプロセスは、全ての空間−時間重み付け器に関
して反復される。重み付け器の個数は、重みテーブルか
ら選択する際に利用可能なエントリの個数に依存する。
空間−時間重み付け済み予測画像ブロックはライン１４
９３０、１４９３１、．．．、１４９３４において利用
可能となり、加算器１４９５０、１４９５１、．．．、
１４９５４においてライン１４９４０、１４９４
１、．．．、１４９４４から得られる元の画像ブロック
から減算され、その結果得られる予測誤差ブロックがラ
イン１４９６０、１４９６１、．．．、１４９６４上で
利用可能となって、空間−時間予測当たり画像ブロック
あたりの単一歪度を計算するための入力を構成する。１
４９７０、１４９７１、．．．、１４９７４において計
算されたそれぞれの歪度は２乗和あるいは絶対値の総和
であって、ライン１４９８０、１４９８１、．．．、１
４９８４へ出力されてコンパレータ１４９９０への入力
を構成する。コンパレータ１４９９０は全ての値を比較
して画像ブロック当たりの最小値に対応する指数をライ
ン１４６９５上へ出力する。ＭＰＥＧ−１タイプの符号
化が用いられる場合には、画像ブロックはマクロブロッ
クと等価である。相異なった状況においては、画像ブロ
ックはフレームあるいはフィールド全体と同じ大きさを
有しうる。

【００６３】重みルックアップテーブル１４８７０は、
種々の空間スケーラビリティの具体的なフォーム（すな
わち、プログレッシブ−プログレッシブ、インターレー
ス−インターレース、インターレース−プログレッシブ
およびプログレッシブ−インターレース）に対する個別
の重みテーブルを有しており、選択された空間スケーラ
ビリティのフォームに依存して対応する重みテーブルが
選択される。

【００６４】図１５は、図１２、図１３および図１４に
おいて用いられている空間−時間重み付け器の詳細を示
した図である。空間−時間重み付け器１５０００は、ラ
イン１５６９０上のベースレイヤ信号とライン１５７０
０上のエンハンスメントレイヤ時間予測信号との補間に
よって得られた空間予測信号を受け取る。ライン１５６
９５上の指数入力が供給されて重みテーブル１５８７０
へのアドレスが生成され、その結果得られた重みがライ
ン１５８２５によって、その他方の入力としてライン１
５６９０上の空間予測信号を受け取る乗算器１５８２０
に供給される。さらに、重みはライン１５８４５によっ
て加算器１５８６５へ供給される。加算器１５８６５の
他方の入力は「１」に固定されており、その結果得られ
る重み補信号はライン１５８３５によって乗算器１５８
３０へ供給される。ライン１５７００上の時間予測信号
が乗算器１５８３０のもう一方の入力を構成している。
乗算器１５８２０および１５８３０の出力は、それぞれ
ライン１５８４０および１５８５０上に現れ、加算器１
５８６０への入力を構成している。加算器１５８６０の
出力は空間−時間重み付け済み予測信号であり、ライン
１５８７５上に現れる。

【００６５】以上に説明されているように、本発明は、
単一のビデオソースから種々の解像度を有するビデオ画
像を導出する技法およびその装置を提供する。以上の説
明は、本発明の一実施例に関するもので，この技術分野
の当業者であれば、本発明の種々の変形例が考え得る
が、それらはいずれも本発明の技術的範囲に包含され
る。

【００６６】

【発明の効果】以上述べたごとく、本発明によれば、単
一のビデオソースから種々の解像度を有するビデオ画像
を導出する技法およびその装置が提供される。

【００６７】

【略号の説明】

ＢＦ−バッファ ＣＯＭＰ−コンパレータ ＤＥＣ−デシメーション ＩＮＴＰ−インタポレーション ＭＣ−動き補償器 ＭＥ−動き推定器 ｍｖ−動きベクトル ＯＲＧ−オーガナイザ Ｑ−量子化器 ＩＱ−逆量子化器 ＱＡ−量子化器アダプタ Ｔ−変換（例えば離散コサイン変換［ＤＣＴ］） ＩＴ−逆変換 ＶＦＥ−可変／固定長エンコーダ ＶＦＤ−可変／固定長デコーダ ＳＴＡ−空間−時間アナライザ ＰＳ−直前画像ストア ＮＳ−直後画像ストア ＳＷ−スイッチ ＷＴ−重み付け器

【図面の簡単な説明】

【図１】本発明を利用した２レイヤエンコーダ／デコー
ダの実施例を簡潔に示すブロック図である。

【図２】空間スケーラビリティのプログレッシブ−プロ
グレッシブおよびプログレッシブ−インターレースフォ
ームにおいて用いられるデシメーション操作（ＤＥＣ）
を示すブロック図である。

【図３】空間スケーラビリティのプログレッシブ−プロ
グレッシブおよびプログレッシブ−インターレースフォ
ームにおいて用いられるインタポレーション（補間）操
作（ＩＮＴＰ）を示すブロック図である。

【図４】空間スケーラビリティのインターレース−プロ
グレッシブフォームにおいて用いられるデシメーション
操作（ＤＥＣ）を示すブロック図である。

【図５】空間スケーラビリティのインターレース−プロ
グレッシブフォームにおいて用いられるインタポレーシ
ョン操作（ＩＮＴＰ）を示すブロック図である。

【図６】空間スケーラビリティのインターレース−イン
ターレースフォームにおいて用いられるデシメーション
操作（ＤＥＣ）を示すブロック図である。

【図７】空間スケーラビリティのインターレース−イン
ターレースフォームにおいて用いられるインタポレーシ
ョン操作（ＩＮＴＰ）を示すブロック図である。

【図８】空間スケーラビリティのインターレース−イン
ターレースフォームにおいて用いられるインターレース
−プログレッシブインタポレーションの詳細を示す図で
ある。

【図９】空間スケーラビリティのインターレース−プロ
グレッシブフォームにおいて用いられるインターレース
−プログレッシブインタポレーションの詳細を示す図で
ある。

【図１０】本発明の一側面に従う空間スケーラビリティ
のプログレッシブ−プログレッシブおよびインターレー
ス−プログレッシブフォームに対する重み付け空間−時
間予測の背後に存在する原理を示す図である。

【図１１】本発明の一側面に従う空間スケーラビリティ
のプログレッシブ−インターレースおよびインターレー
ス−インターレースフォームに対する重み付け空間−時
間予測の背後に存在する原理を示す図である。

【図１２】図１に示された本発明の実施例において用い
られるベースレイヤエンコーダおよびエンハンスメント
レイヤエンコーダのブロック図である。

【図１３】図１に示された実施例に対応する２レイヤデ
コーダを示す図である。

【図１４】本発明に従う空間−時間重み付け器を簡潔に
示すブロック図である。

【図１５】本発明に従う空間−時間アナライザを簡潔に
示すブロック図である。

【符号の説明】

１１２０ 空間デシメータ １１４０ ベースレイヤエンコーダ １１６０ 空間インタポレータ １１８０ エンハンスメントレイヤエンコーダ １２５０ システムマルチプレクサ １２７０ システムデマルチプレクサ １３００ ベースレイヤデコーダ １３２０ 空間インタポレータ １３４０ エンハンスメントレイヤデコーダ ２１１５ 水平／垂直デシメータ ３１１５ 水平／垂直インタポレータ ４１１５ 水平／垂直デシメータ ４１２５ プログレッシブ−インターレースデシメータ ５１５５ 水平／垂直インタポレータ ５１６５ インターレース−プログレッシブインタポレ
ータ ６１１５ 水平／垂直デシメータ ６１６５ インターレース−プログレッシブインタポレ
ータ ７１５５ 水平インタポレータ ７１６５ インターレース−プログレッシブインタポレ
ータ ７１８５ スイッチ ７２３５ 垂直インタポレータ／ラインセレクタ ７２５５ スイッチ １２１１０ デシメータ １２１３０ オーガナイザ １２１６０ 加算器 １２１７０ 動き推定器 １２１８０ 動き補償器 １２１９０ 直前画像ストア １２２００ 直後画像ストア １２２０１ ベースレイヤエンコーダ １２２０２ エンハンスメントレイヤエンコーダ １２２２５ スイッチ １２２７０ 変換器 １２２９０ 量子化器 １２３１０ 可変／固定長エンコーダ １２３３０ バッファ １２３６０ 量子化アダプタ １２３８０ 逆量子化器 １２４００ 逆変換器 １２４２０ 加算器 １２４５０ インタポレータ １２４７０ オーガナイザ １２４９０ 加算器 １２５１０ 変換器 １２５３０ 量子化器 １２５５０ 可変／固定長エンコーダ １２５７０ バッファ １２６００ 量子化アダプタ １２６２０ 直後画像ストア １２６４０ 動き推定器 １２６５５ 動き補償器 １２６６０ 直前画像ストア １２６８５ 空間−時間アナライザ １２７１０ 重み付け器 １２７４０ 逆量子化器 １２７６０ 逆変換器 １２７８０ 加算器 １２８００ スイッチ １３００１ ベースレイヤデコーダ １３００２ エンハンスメントレイヤデコーダ １３００５ システムデマルチプレクサ １３１３０ オーガナイザ １３１８０ 動き補償器 １３１９０ 直前画像ストア １３２００ 直後画像ストア １３３１０ 可変／固定長デコーダ １３３３０ バッファ １３３８０ 逆量子化器 １２４００ 逆変換器 １３４２０ 加算器 １３４３５ スイッチ １３４５０ インタポレータ １３４７０ オーガナイザ １３５５０ 可変／固定長デコーダ １３５７０ バッファ １３６２０ 直後画像ストア １３６５５ 動き補償器 １３６６０ 直前画像ストア １３７１０ 重み付け器 １３７４０ 逆量子化器 １３７６０ 逆変換器 １３７８０ 加算器 １３８１０ スイッチ １４８７０ 重みルックアップテーブル １４９２０、１４９２１、１４９２４ 重み付け器 １４９５０、１４９５１、１４９５４ 加算器 １４９７０、１４９７１、１４９７４ ２乗和あるいは
絶対値総和計算器 １４９９０ コンパレータ １５８２０、１５８３０ 乗算器 １５８６０、１５８６５ 加算器 １５８７０ 重みルックアップテーブル

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 7734−5Ｃ Ｈ０４Ｎ 5/92 Ｈ (71)出願人 593194708 ベル コミュニケイションズ リサーチ, インコーポレイテッド Ｂｅｌｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ， Ｉｎｃ. アメリカ合衆国，ニュージャージー 07039，リヴィングストン，ウエスト マ ウント プレザント アヴェニュー 290 (72)発明者 アツル プリ アメリカ合衆国、10463 ニューヨーク、 ブロンクス カウンティ、リバーデイル、 ＃１エー、ワルド アベニュー 3660 (72)発明者 アンドリア ハホング ウォング アメリカ合衆国、07724 ニュージャージ ー、モンマウス カウンティ、イートンタ ウン、イートン クレスト ドライブ ５ ビー

Claims (15)

【特許請求の範囲】
1. 【請求項１】 ビデオ信号が特性解像度を有する状況で
   ビデオ画像の画素に関連する連続ディジタル表現を含む
   ディジタルビデオ信号を受信する手段と、 前記受信されたディジタルビデオ信号に関する前記特性
   解像度以下の解像度を有する第１の符号化済みバージョ
   ンを生成する第１符号化手段と、 前記受信されたディジタルビデオ信号に関する前記特性
   解像度と等しい解像度を有する第２の符号化済みバージ
   ョンを生成する第２符号化手段と、 前記受信されたディジタルビデオ信号の前記第１の符号
   化済みバージョンから前記ビデオ画像の第１の予測を生
   成する第１予測生成手段と、 前記受信されたディジタルビデオ信号の前記第２の符号
   化済みバージョンから前記ビデオ画像の第２の予測を生
   成する第２予測生成手段と、 前記第１および第２予測を組み合わせて組合せ予測を生
   成する組合せ手段と、 前記組合せ予測を利用して前記受信されたディジタルビ
   デオ信号の前記第２の符号化済みバージョンを符号化す
   る手段とからなることを特徴とするビデオ信号符号化装
   置。
2. 【請求項２】 前記第１予測生成手段が、空間予測生成
   手段を有することを特徴とする請求項１の装置。
3. 【請求項３】 前記第２予測生成手段が、時間予測生成
   手段を有することを特徴とする請求項２の装置。
4. 【請求項４】 前記組合せ手段が、前記組合せ予測を生
   成する目的で前記空間予測を重み付けし前記時間予測を
   重み付けする手段を有することを特徴とする請求項３の
   装置。
5. 【請求項５】 前記第１符号化手段が、前記受信された
   ディジタルビデオ信号のインターレースバージョンを符
   号化する手段を有することを特徴とする請求項１の装
   置。
6. 【請求項６】 前記第１符号化手段が、前記受信された
   ディジタルビデオ信号のプログレッシブバージョンを符
   号化する手段を有することを特徴とする請求項１の装
   置。
7. 【請求項７】 前記第２符号化手段が、前記受信された
   ディジタル信号のインターレースバージョンを符号化す
   る手段を有することを特徴とする請求項５または６の装
   置。
8. 【請求項８】 前記第２符号化手段が、前記受信された
   ディジタル信号のプログレッシブバージョンを符号化す
   る手段を有することを特徴とする請求項５または６の装
   置。
9. 【請求項９】 前記第１符号化手段が、ＭＰＥＧ−１符
   号化標準を用いた符号化手段を有することを特徴とする
   請求項１の装置。
10. 【請求項１０】 前記第１符号化手段が、Ｈ．２６１符
    号化標準を用いた符号化手段を有することを特徴とする
    請求項１の装置。
11. 【請求項１１】 前記第１符号化手段が、ＭＰＥＧ−２
    符号化標準を用いた符号化手段を有することを特徴とす
    る請求項１の装置。
12. 【請求項１２】 前記第２符号化手段が、ＭＰＥＧ−２
    符号化標準を用いた符号化手段を有することを特徴とす
    る請求項９、１０または１１の装置。
13. 【請求項１３】 複数個の所定の特性のうちの少なくと
    も１つを有する符号化されていないビデオ信号を生成す
    る手段を有することを特徴とする、請求項１の前記第１
    および第２の符号化済みバージョンを復号化する装置。
14. 【請求項１４】 前記複数個の所定の特性のうちの少な
    くとも１つが、解像度スケールであることを特徴とする
    請求項１の装置。
15. 【請求項１５】 前記複数個の所定の特性のうちの少な
    くとも１つが、画像フォーマットであることを特徴とす
    る請求項１の装置。