JP2000244923A - 異機種間通信ネットワーク上でデジタル圧縮されたビジュアルデータを制御し互換性のある配信をする方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】圧縮ビデオビットストリームが、異機種間ネッ
トワークの受信ポイントでの帯域幅とエラー弾性に関す
る異なった要件と互換性を持つようにする。 【解決手段】ヘッダ情報が解析され、コーディングシン
タックスパラメータが判定され、受信ポイントからのフ
ィードバックを用いて、中間ビットストリームのエラー
ロバストネス要件を識別する。次に、エラーロバストネ
ス調整器で操作され、エラー保護を達成する。ネットワ
ークのビットレート要件によって、ビットストリームか
らの関連ビットと無関連ビットとが選択される。無関連
ビデオビットと低優先順位ビデオビットの識別と、ビッ
トレートを減少させるパケット損失の意図的導入と、互
換性のあるビットストリームの無関連成分と低優先順位
成分とに対する交換タグの使用と、再同期化タグの挿入
及び予測的ビデオパケットビットの変換を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル圧縮され
たビジュアルデータの配信(delivery)を自動的に管理す
ることに関し、より詳しくは、異機種間通信ネットワー
ク(heterogeneouscommunication network)上でデジタル
圧縮されたビデオビットストリームのビットレートとエ
ラーロバストネス(error robustness)を制御する装置及
び方法に関する。

【０００２】

【従来の技術】新しい通信システムの出現によって、単
なる音声サービスに加えてデジタルビジュアル情報及び
データを効率的に通信することが可能となった。このよ
うな新しい通信システムには、有線ネットワークと無線
ネットワークの両方がある。有線ネットワークの分野で
は、広域及びローカルな領域をカバーするために、パケ
ット・回線交換通信システム(packet and circuit swit
ched communication systems)が私的分野と公的分野の
双方で開発された。パケット通信の一部として、大容量
のデータが、企業のインフラストラクチャの一部をなす
ネットワークのようなローカルエリアネットワーク（Ｌ
ＡＮ）と、インターネットなどの広域エリアネットワー
クとの間で交換されている。この分野では、ビジュアル
なマルチメディア通信をサポートするために、サービス
の品質／Quality of Service（ＱｏＳ）を保証するサー
ビスが出現している。

【０００３】また、以前可能であったビットレートより
高いビットレートでの情報の送信をサポートするため
に、新しい無線システムも開発された。これらの無線シ
ステムは、国際的なセルラー通信規格に適合しており、
また時分割多重アクセス方式（ＴＤＭＡ）と符号分割多
重アクセス方式（ＣＤＭＡ）を用いるデジタル通信エア
インタフェース規格(digital communication air-inter
face standard)から成っている。広範囲にわたって展開
されているＴＤＭＡ通信の１例として、ＧＳＭ方式(Glo
bal System for Mobile Communication)がある。ＣＤＭ
Ａは、第３世代のセルラー通信規格ＩＭＴ−２０００の
ベースとなっている。

【０００４】これらの通信システム（有線であれ無線で
あれ）のほとんどは、各システムのインフラストラクチ
ャ内で接続されたユーザとこのインフラストラクチャの
外部でデバイスを使用しているユーザとの間で最大量の
情報が交換されることを可能にするように設計されてい
る。例えば、ＩＭＴ−２０００プロトコルは、無線端末
からパケット交換有線システムに常駐する端末へのデー
タ通信をサポートすることができる。そのうえ、これら
の通信システム内では、端末すなわちクライアントは、
サーバーとして働く他の端末に、各システムにおけるそ
れらのクライアントのロケーションに応じた異なる種々
のビットレートで接続することもできる。これが異機種
間通信ネットワーク(heterogeneous communication net
work)という考えに至る。この異機種間通信ネットワー
クは、高い頻度で類似の情報を通信する多様なすなわち
非類似の接続から成るネットワークである。

【０００５】この異機種間ネットワーク上でビジュアル
情報を通信することを考えると、色々な問題がある。第
１の問題点は、ビジュアル情報と特にデジタル圧縮ビデ
オ信号は、同じような時間間隔で圧縮された同等の音声
信号より実質的に広い帯域幅を必要とするということで
ある。異なる公称送信ビットレートを持つように設計さ
れたシステム間でのビジュアル情報の送信は、これらの
互換性のないビットレートに起因する遅延のために、様
々な困難を有する。加えて、異機種間ネットワーク上で
の様々な通信システムのエラー特性の変更は、ビジュア
ルスペース中でエラーをマスクすることが非常に困難で
あることから、ビジュアル情報の送信の点で問題を有す
る。

【０００６】これらの問題は、それ単独では、多様なシ
ステム上でのビジュアル情報の通信を困難とするような
ものではない。異機種間ネットワーク上でのビジュアル
情報の通信を利用するように設計されたサービスは、必
然的に、デジタル圧縮ビデオの存在に依存しなければな
らない。従って、新しいコンテンツを作成するだけでな
く、既存のコンテンツを利用することも、これらのサー
ビスのさらなる開発と成功にとっての主要な焦点であ
る。一方通行のビジュアルアプリケーションとしては、
無線ネットワーク上のモバイル加入者や有線ネットワー
ク上で異なるビットレートで接続されているクライアン
トに配信可能なトレーニングと娯楽用のデジタルコード
化されたコンテンツが既に相当な量存在する。既存の、
すなわち業務系(legacy)のビデオ材料は、当初は、ＩＳ
Ｏ ＭＰＥＧ−１規格とＭＰＥＧ−２規格を用いてコー
ド化（符号化）されていた（業務系コンテンツは、ＩＴ
Ｕ−Ｔ Ｈ．２６１やＨ．２６３規格という形式でも存
在していた）。このビデオ材料は、新しいマルチメディ
アサービスに対する高い価値を持つ一方、同時に、ＩＳ
Ｏ ＭＰＥＧ−４などの新しいビジュアルデータのコー
ド化規格を受け入れ、それを使用するようになる。

【０００７】低帯域幅の有線ネットワークと無線ネット
ワーク上での業務系データ(レガシー・データ／legacy
data)の配信に関係する１つの問題は、そのデータの配
信に対して最大の遅延規制が存在すると仮定すると、オ
リジナルのコード化された帯域幅が一般的にネットワー
クの能力を超えるということである。例えば、１部の無
線モバイルシステムは、ＭＰＥＧ−１デコーディング
（復号）をサポートするマルチメディア端末を有するこ
とがあるが、マルチメディア可能なモバイル端末に対す
るチャネルレートは６４Ｋｂｐｓと低くなることがあ
る。この場合、１．５Ｍｂｐｓでコード化されたＭＰＥ
Ｇ−１材料は、再生が可能となる前にかなりのバッファ
遅延時間を必要とする。このシーケンスのほとんどを最
初にダウンロードしない限り、デコーダのバッファは一
杯になるより遙かに早く空になるので、機能停止状態が
生じる。また、モバイル端末が長いシーケンスをバッフ
ァするに十分な記憶容量を備えることができるようには
ならないであろう。従って、このタイプの高ビットレー
トデータを、当該データがネットワーク上の低帯域幅接
続部と互換性を持つように、より低いレートに上手く操
作することが必要とされる。

【０００８】ビジュアル情報を送信したり交換したりす
る能力を持った新しい有線・無線通信システムが出現し
た結果、このようなネットワーク上で配信されているビ
ジュアルコンテンツを管理するように設計された方法と
装置が必要とされる。特に、以前から存在するデジタル
ビデオビットストリームのビットレートとエラーロバス
トネス(error robustness)とを、このビットストリーム
が異機種間ネットワーク上の任意のノードでユーザに対
して互換性のある形態で配信され得るように自動的に管
理する技術が必要である。

【０００９】

【発明が解決しようとする課題】従って、簡潔にいえ
ば、本発明は、デジタル圧縮されたビデオビットストリ
ームをネットワーク上のソースポイントで、結果として
得られるビットストリームが異機種間通信ネットワーク
上の受信ポイントで異なった帯域幅とエラー弾性（耐
性）要件(error resilience requirements)と互換性が
あるように、自動的に変更する方法と装置を提供するこ
とにある。

【００１０】

【課題を解決するための手段】この新規な方法は、オリ
ジナルのビットストリームのヘッダ情報を分析してその
コーディングパラメータを決定するステップを含む。次
に、ネットワーク上の受信ポイントからのフィードバッ
クを用いて、ネットワークのエラー特性を決定する。帯
域幅とエラー弾性要件によって、オリジナルのビットス
トリームから関連ビットと無関連ビットの優先順位付け
と選択が設定される。この両ビットの内の関連ビット
は、ネットワーク上でのエラー保護を達成するようにロ
バストネスレギュレータによって操作される。この方法
の主たる発明性のある要素は、無関連で低優先順位のビ
デオビットの識別と、ビットレートを減少させるための
パケット損失の意図的な導入と、ビットストリームの無
関連で低優先順位成分に対する交換タグの使用と、エラ
ー弾性を向上するための再同期化タグの挿入とを含む。

【００１１】

【実施形態】本発明を、図１〜５を参照してより詳細に
説明する。図１は、本件明細書に記載されているような
方法で動作する制御システムを規定するビジュアルビッ
トストリーム調整方法のブロック図１００を示してい
る。入力ビットストリーム１０１は、ビットストリーム
を作成するために使用された規格のタイプに関する情報
を抽出するヘッダ解析ステージ１０３中を通過する。こ
の情報は、規格タイプ識別ステージ１０５を通過する。
その結果、受信端末機能１０９を表す入力パラメータを
受け入れるために接続されている主ビットストリーム制
御装置１０７に制御パラメータが割り当てられる。これ
らのステップは、送信側から受信端末に対するビットス
トリームの適切な調整と互換性のある配信のためのシス
テムをセットアップするように設計されている。特に、
受信端末の性能に関する情報と関係するビットストリー
ムをエンコード（コード化／符号化）するために用いら
れたオリジナルのビジュアルコーディング規格を識別す
ることによって、互換性のある通信が可能となる前に、
ビットストリームをどの程度操作しなければならないか
が判定される。

【００１２】主ビットストリーム制御ステップの出力
は、ロバストネス調整ステージ１１１に接続されてい
る。このステージでは、ビットレートを調整されたビッ
トストリームを修正して、ソースと受信端末とを接続し
ているチャネルのエラー特性と互換性のあるビットスト
リームとする。このロバストネス調整は、ステージ１０
５で識別されたオリジナルのビットストリームの規格の
タイプに依拠している。この調整は、ロバストデコーダ
によってエラーが検出され、局所化され、隠蔽されるよ
うに、ビジュアル情報のコード化されたフレームにおけ
るビットのパケット化を介して行われる。再同期化タグ
１１３は、サブフレームの再同期をサポートする規格に
適合したビジュアルビットストリームとするために用い
られる。ロバストネス調整ステップでは、挿入された再
同期化タグによって区切られたビットの各セグメントが
独立にデコードされるようにビットストリームを操作す
る。予測的にコード化された情報の場合、この情報は、
同じセグメント内のプレディクタ(predictors)だけを利
用して均等な情報と置き換えられる。このステージは、
ビデオパケット変換(video packet translation)１１５
と称される。例えば、これは、同じセグメント中の情報
から計算された動きベクトル差(motion vector differe
nces)を持つ再同期化セグメントとアクロスして計算さ
れた動きベクトル差に対するコードワードの置き換え(r
eplacement of codewords)に適応される。

【００１３】ビデオパケット変換ステップ１１１の出力
は、ビットレート調整ステージ１１９に向けられる。こ
のビットレート調整ステージ１１９は、意図的パケット
損失(intentional packet losses)情報１１７を受信す
るとともに、ビットストリームのビットレートを減少さ
せるために無関係のビット１２１を破棄する。このビッ
トレート調整ステージ１１９の目的は、配信されたスト
リームが受信端末とその配信チャネルの性能と互換性を
持つように入力ビットストリームのビットレートを調整
することである。これは、入力ビットストリーム中のビ
ットを操作しかつ除去することによって行われる。この
方法は、トランスコーディング(transcoding)としても
知られているビットストリームの明示的なデコーディン
グと再エンコーディングのためのメカニズムを提供する
ものではなく、むしろビットストリームの圧縮ドメイン
中のコードワードの変換(translation)をサポートする
ものである。ビットレート調整器は、出力ビットストリ
ームが互換性のある配信ビットレートに適合するよう
に、入力ビットストリームから情報を選択的に除去す
る。意図的パケット損失１１７は、オリジナルの入力ビ
ットストリームの最低ベース層ビットレート(lowest ba
se layer bitrate)以下にビットレートを減少させるメ
カニズムを提供する。このベース層という用語は、スケ
ーラブルなビットストリームの最低の優先順位を持ち独
立してデコーディングが可能な層を表すために用いられ
ている。選択されたビットパケットがドロップされて
も、一部が切り捨てられたビットストリーム(truncated
bitstream)は、受信端末におけるロバストデコーダに
よって、実質的に品質が劣化することなく、効果的にデ
コーディングすることができる。

【００１４】ビットストリーム中に挿入された置き換え
タグ１２３を用いることによって、デコーダーは、公称
の関連する標準デコーダの性能を上回る追加の性能を持
たなくても、ビットレート調整されたビットストリーム
を継ぎ目無しにデコーディングすることができる。この
例として、ＭＰＥＧ−２などの規格が毎秒３０フレーム
といった所定のコード化されたフレームレートを要求す
る場合であって、フレームがビットレート調整器から落
とされるような場合が挙げられる。この場合、置き換え
タグは、空のフレームを表すとともに、ビットストリー
ム中のコード化されたフレームの時間関係を保持する所
定のバイナリコードワードである。

【００１５】最後に、このように操作された入ってくる
ビットストリームは、異機種間ネットワークに配信さ
れ、その後で受信端末に配信される。上述した本発明に
よる方法１００は、規格化されたデジタル圧縮されたビ
ジュアル情報を様々なソースから異なる帯域幅とエラー
ロバストネス機能を持つ受信端末に配信する場合の問題
に対する解決策となる。この方法全体は、各規格の特定
のシンタックス要素(syntax element)に適応させるとと
もに、この方法の各ステージを当該規格に合うビットス
トリームを依然として生成する程度で当該ステージの目
的のためだけに利用することによって、既存の複数のビ
ジュアルコーディング規格（標準）のすべてをサポート
する。

【００１６】図２は、ＩＮＴＲＡ（Ｉ）フレーム、ＰＲ
ＥＤＩＣＴＥＤ（Ｐ）フレーム及びＢＩ ＤＩＲＥＣＴ
ＩＯＮＡＬＬＹ ＰＲＥＤＩＣＴＥＤ（Ｂ）、及び／又
は一時スケーラビリティフレーム、空間スケーラビリテ
ィフレーム及びＳＮＲスケーラビリティフレームなどの
スケーラブルフレームのような優先順位付けされたフレ
ームタイプでエンコード化されたビットストリームを調
整する方法の好適実施形態の概略を示すフローチャート
である。Ｉフレーム、Ｐフレーム及びＢフレームを有す
るビットストリームに対する自主的な国際規格（標準）
としては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４
及びＨ．２６３v2が挙げられる。スケーラビリティフレ
ームを有するビットストリームに対する規格としては、
ＭＰＥＧ−２、Ｈ．２６３v2及びＭＰＥＧ−４が挙げら
れる。いずれの場合でも、好適実施形態２００は、異機
種間ネットワークに配信される前にビットストリームの
ビットレートとエラーロバストネスを調整するために、
複数のフレームタイプを持つ規格に適合するビットスト
リームを操作する方法を規定する。

【００１７】図２のフローチャート２００では、本発明
に係る好適実施形態が、ベース層２０９と一時的スケー
ラビリティ強化層(temporal scalability enhancement
layer)２１１との２つの層を持つ入力ＭＰＥＧ−４ビッ
トストリーム２０１に関して説明されている。この一時
的スケーラビリティ強化層は、ＭＰＥＧ−４規格によっ
てサポートされるシンタックス要素であり、ベース層の
ビデオフレームを一時的にインタリーブした複数のビデ
オフレームから成っている。デコーダは、デコードされ
たベース層の公称品質に影響を与えることなく、一時的
スケーラビリティ層のすべて又は１部をデコーディング
することができ、またデーコーディングしなくてもよ
い。これは、スケーラビリティ層が、ＭＰＥＧ−４のシ
ンタックス中のスケーラビリティが等しい又は低い層の
情報を予測する目的では用いられないためである。

【００１８】入力ビットストリーム２０１は、規格ヘッ
ダコード２０４の所定のリストの入力を用いて、２０３
に示すように解析される。この解析は、規格ヘッダコー
ドのリストを入力ビットストリーム中の関連する先行ビ
ットと完全に比較し、ビットストリームを圧縮するため
に用いられた規格とシンタックスを判定する。次に、こ
のビットストリームは、２０７においてデマルチプレク
スされ、独立した２つのビットストリームであるベース
層２０９及び一時的スケーラビリティ層２１１を提供す
る。入力ビットストリーム２０５からベース層と強化層
の関係及びタイプを規定するパラメータが抽出されて、
本好適実施形態の主ビットストリーム制御ステージ２１
３に送られる。これらの独立したビットストリーム２０
９と２１１は、主ビットストリーム制御ステージで合わ
せて処理される。この主ビットストリーム制御ステージ
は、２１５で示された個所で「受信端末の性能／Recv.
Caps」として特定されている受信端末の性能を表すネッ
トワーク２１５からの制御信号を受信するように接続さ
れている。特に、これらの制御信号は、ネットワーク上
で送信される所望の帯域幅と受信端末のネットワーク上
でのロケーションとを示している。このロケーションの
情報が受信端末のチャネル状態を表すとともに、当該受
信端末がネットワークの有線分岐と無線分岐のどちらを
介して接続されているかを示している。

【００１９】主ビットストリーム制御装置２１３は、こ
のビットストリームをロバストネス調整ステージ２１７
に送る。入力データのエラー弾性(error resilience)
は、エラーの影響が受信端末のデコーダで軽減されるよ
うに調整される。図２のフローチャート２００に記載さ
れた好適実施形態では、この調整は、ベース層ビットス
トリーム２０９中に再同期化マーカー(resync maker)２
１９を挿入することによって行われる。この再同期化マ
ーカーは、ロバストデコーダにおいてエラーを局所化す
ることを可能とするＭＰＥＧ−４のシンタックス要素で
ある。これらのマーカーの挿入によって、予測的にコー
ド化された情報が独立したビデオパケットからの値を要
求しないようにビットストリーム中のコードワードを調
整することを必要とすることが可能となる。これらの値
は、再同期化マーカーの異なるセットによって区切られ
たセグメント中に含まれるビットによって表される空間
領域である。これは、以下において詳述する別々にエン
コード化されたコード２２１の変換によって調整され
る。

【００２０】図３Ａ、３Ｂ及び３Ｃは、ビットストリー
ム中に再同期化タグを挿入する例と、ロバストデーコー
ディングをサポートするためにビデオパケット内で様々
にエンコード化された成分を変換する例を図示してい
る。図３Ａにおいて、符号３０１は、サブフレーム再同
期化を有しないビデオフレームのシンタックス要素の最
高位レベルのオリジナルビデオフレームビットストリー
ムを示している。このようなビットストリームは、情報
のすべてがビットストリームのコード化（符号化）され
たマクロブックデータ部分で予測的に符号化されている
ので、チャネルエラーが存在する状態ではエラー弾性
（耐性）が低下する。エラーが生じると、次の固有のビ
デオフレームヘッダに遭遇するまでは、デコーディング
を継続することが不可能となる。このエラーのよくない
局所化は、図３Ｂにおいて符号３０３で示す本発明の方
法によって修復される。この符号３０３で図示されてい
る部分では、ビデオパケット再同期化を持つビットスト
リームが示されている。このビットストリーム中では、
挿入された再同期化タグは、デコーダがエラーをビット
ストリーム内の小さい部分に局所化させることを可能に
し、その結果、エラーが起こりやすい異機種間通信ネッ
トワーク上の受信端末でより高いレベルの品質を生ぜし
める。図３Ｃには、新たに形成されたビデオパケット内
で予測的にコード化されたコードワードを変換する方法
が、最も共通的な予測的にコード化（符号化）されたシ
ンタックス要素である動きベクトルとの関係で説明され
ている。図３Ｃの拡大詳細図に示すように、マクロブッ
クＸでの動きベクトルコードワードは、Ｘでの動きベク
トルと隣接するマクロブック位置Ａ、Ｂ及びＣでのベク
トルの関数との差分として計算される。再同期化タグを
図３Ｂで説明したようにして挿入すると、予測的なコー
ドに対する新しいビデオパケット境界が発生する。この
境界は、隣接するいずれかのビデオパケットがエラーの
ために劣化(corrupted)した場合に、現行のビデオパケ
ットの劣化を防止する。従って、動きベクトル差（ＭＶ
Ｄ）として称される動きベクトルコードワードは、同じ
ビデオパケット内に常駐する最も隣接したマクロブック
に関してしか計算されない。これは、図３Ｃにおいて、
ＭＶＸ−ｆ（ＭＶＡ、ＭＶＢ、ＭＶＣ）の代わりに、Ｍ
ＶＸ−ｆ（ＭＶＣ）として示されている。この式で、ｆ
（ａ）は、関連するビデオ規格のシンタックスによって
定義される関数であり、通常は中間オペレータ(median
operator)として定義される。予測的コードを局所化す
るこの方法は、関連する規格における予測的コーディン
グを用いる現行のコードワードだけを解析しかつ識別す
るステップと、これらを局所化された予測的コードワー
ドに対する適切な記号に変換するステップと、を含んで
いる。ＭＰＥＧ−４のコンテキスト(context)では、こ
の方法が、図３Ｃの３０５に図示するように、動きベク
トル差分のコードワードの単純な変換に適用され、同じ
ように、量子化パラメータとＤＣＴ係数の値を含む予測
的にコード化されたあらゆるテクスチャデータに適用さ
れる。

【００２１】ロバストネス調整ステージ２１７の後、修
正されたビットストリームデータとビットストリームの
内でステップ２１９と２２１で修正されなかった成分
は、ビットレート調整ステージ２２３に送出される。入
力されるビットストリームのビットレートより低い所望
のビットレートを達成するために、２つのテクニックが
用いられる。ビットレートを減少させる第１の方式は、
ビットストリーム中の低優先順位のフレームと関連する
ビットを破棄する方式である。一時的スケーラビリティ
フレームと関連するビットは最低優先順位ビットを表し
ており、符号２２７で示すように最初に入力ビットスト
リームから破棄される。ベース層ビットストリームは、
一般的なデコーダの性能に直接的影響を及ぼすことなく
達成可能な最低ビットレートのビットストリームを表し
ている。次に、意図的パケット損失がビットレート調整
ステージ２２３に接続されているパケット損失インディ
ケータフラグ(packet loss indicator flags)２２５を
介して導入される。これらのパケット損失インディケー
タフラグ２２５は、ベース層ビットストリームからビッ
ト２２９を破棄するために用いられ、その結果、ビット
レートが減少した出力ビットストリームとなる。

【００２２】意図的パケット損失の導入は、本好適実施
形態においての重要な新規な要素をなすものである。意
図的にパケット損失をベース層ビットストリームに導入
する特別な手段は、所定のドロッピングスキーム(prede
termined dropping scheme)を用いる。意図的にパケッ
トをドロップさせる所定のスキームとは、ＭＰＥＧ−４
ではビデオパケットとして知られているビデオフレーム
の各々のフレームの非連続性の論理的再同期化セグメン
トと関連するビットを、所望のビットレート減少が達成
されるまで一様な間隔で除去することである。パケット
がフレームからドロップされると、次のフレーム中の同
じ空間領域と重ならないパケットがドロップされる。こ
れによって、このシーンのいずれかの単一領域がひどく
劣化することを防止する。これは、ドロップされた各パ
ケット中のマクロブック番号に関する履歴情報を保持す
ることによって達成される。最後にドロップされたパケ
ットのマクロブック範囲と重なるマクロブック番号で始
まるパケットは、ドロップされない。本発明の方法でド
ロップされる最初の候補は、次のフレームにおける最初
の連続的な重なっていないパケットである。パケット損
失の導入に際してこの統計的な情報を用いることは、ビ
デオの品質を実質的に劣化させることなくビットレート
を減少させるのに必須なことである。

【００２３】「データの区分化(data partitioning)」
が入力ビットストリームのビデオパケット内で用いられ
ていると、本好適実施形態では、このビデオパケットの
テクスチャコーディング成分だけがドロップされる。デ
ータ区分化が入力ビットストリームのビデオパケット内
で用いられなかった場合、本好適実施形態では、このビ
デオパケットの運きとテクスチャとが合成された成分が
ドロップされる。サブフレーム再同期化マーカーがオリ
ジナルのビットストリーム中で使用されなかった場合あ
るいはロバストネス調整ステージで挿入されなかった場
合、ビデの全フレームがこの方法ではドロップされる。
フレーム全体をドロップする場合、Ｂフレームが最低優
先順位であり、そのため最初にドロップされ、次に、Ｐ
フレームとＩフレームがこの順に続く。直前のＩフレー
ムから時間的に最も隔たっているＰフレームは、他のＰ
フレームに先だってドロップされる。この理由は、シー
ンの再同期化のために新しいＩフレームがビットストリ
ーム中に出現する可能性は、最後にコード化されたＩフ
レームから時間が経過するに連れて増加するからであ
る。本方法におけるこのステージの使用は、受信端末２
３９にロバストデコーダが存在することによって強化さ
れる。本発明を成功裏に実施するためには必要ではない
が、このような端末はビデオパケットからビットをドロ
ップすることによって導入されるエラーを隠蔽する。

【００２４】受信端末の性能が、ビデオデコーダがロバ
ストデコーダでないことを示す場合、受信端末でデコー
ディングが正しく実行されることを保証するために、置
き換え情報をそのビットストリームに挿入する必要があ
る。置き換えコードワードビット(replacement codewor
d bits)２３１を導入することによって、本方法の次の
ステップでこのタスクを達成することができる。フロー
チャート２００に示すような好適実施形態では、再同期
化パケットはステップ２２３でドロップされる。図４Ａ
と４Ｂは、この好適実施形態によるＭＰＥＧ−４Ｂのド
ロップされたビデオパケット情報の２つのシナリオに対
する置き換え情報の挿入について説明している。図４Ａ
に示す第１の例４０１においては、ビデオパケットのテ
クスチャコーディング部分と関連するビットが図２のビ
ットレート調整器２１７によってドロップされる。第１
の例の部分４０１ａがオリジナルデータの区分化された
ビデオパケットビットストリームを識別し、部分４０１
ｂは置き換えタグを有するビデオパケットビットストリ
ームを表している。固有の運きマーカーによって区切ら
れるドロップされたビットは、空間予測エラーコードワ
ード（ＣＢＰＹ、ＤＱ、ＤＣＴ）と関連しており、これ
らは、動き補償が適用された後、ビデオフレームの空間
部分に適用された値にデコードされる。この情報は、Ｍ
ＰＥＧ−４のビデオパケットの最低優先順位成分であ
る。この例は、ＭＰＥＧ−４のシンタックスの詳細を図
示しているが、同じ概念がＭＰＥＧ−２規格のビデオシ
ンタックスにも適応される。符号４０１で示す例では、
置き換えビットは、ゼロ値の予測エラー係数（ＣＢ
Ｙ‘、ＤＱ’、ＤＣＴ‘）に対するコードワードという
形態でビットストリーム中に挿入される。これらのコー
ドワードは、ドロップされたビットによって消費された
ビットレートとの関係では、無視可能な程度のビットレ
ートを必要とするにすぎない。同じ概念のより極端な場
合を図４Ｂにおいて符号４０３で示す例に基づいて説明
する。この場合は、データの区分化は入力ビットストリ
ーム中には存在しない。図４Ｂの符号４０３ａで示す部
分は、オリジナルの合成された動きテクスチャビデオパ
ケットビットストリームを表しており、符号４０３ｂで
示す部分は、置き換えタグ付きのビデオパケットビット
ストリームを表している。この場合、ビデオパケットの
ペイロード(payload)に関連するすべてのビットが落と
される。ビデオパケットヘッダは残こり、ビデオパケッ
トの境界決め用マクロブロック情報を示すために用いら
れる。ここで用いられる置き換えビットは、動き情報も
予測エラー情報（ＣＢＰ’）も含まないブロックに対す
る動きとテクスチャの合成された情報のコードワードで
ある。これは、符号４０３で示す例では、「コーディン
グされていない／"NOT CODED"」コードワードと呼ばれ
る。また、符号４０１で示す例の場合のように、置き換
えビットによって消費されたビットレートは、ここで検
討されているオリジナルのビデオパケットによって消費
されたビットレートと比較すると、無視可能なものであ
る。

【００２５】図２の本発明の好適実施形態の説明に続く
が、ビットレートが調整されたビットストリームは、符
号２３３の段階でビットレート調整ステージから出力さ
れる。出力されたビットストリームは、異機種間ネット
ワーク２３７に配信され、その後受信端末２３９でデコ
ーディングされる。

【００２６】図５に、デジタル圧縮されたビデオビット
ストリームを操作して、異機種間通信ネットワークの帯
域幅とエラー弾性（耐性）の要件と互換性のある出力ビ
ットストリームを生成する装置（デバイス）５００の概
略図を示す。この装置５００は、規格のタイプと、主ビ
ットストリームコントローラ５０５に接続された入力ビ
ットストリーム５０１を圧縮するために用いられたシン
タックスとを判定するヘッダ分析ユニットを備えてい
る。ヘッダ解析ユニット５０３は、所定の規格のヘッダ
コード５０４のリストを保持しているメモリモジュール
からの入力を受けるように接続されており、ヘッダビッ
トを完全に(exhaustive)に整合させることによって解析
ユニットが現在の規格のタイプとシンタックスとを計算
することを可能とする。主ビットストリームコントロー
ラ５０５は、ユニット５０３で判定されたシンタックス
に基づいて、入力ビットストリームから選択されたビッ
トを破棄する手段である。この主ビットストリームコン
トローラ５０５は、ロバストネス調整モジュール５０９
と、ビットレート調整モジュール５１１と、置き換えタ
グ発生器５１５と、を備えている。

【００２７】ロバストネス調整モジュール５０９は、所
定のビットをビットストリーム中に挿入して、ユニット
５０３で判定された規格のタイプとシンタックスに従っ
て、ビットストリームに対するエラーのロバストの局所
化とデコーディングの性能を向上させる手段である。ロ
バストネス調整モジュール５０９は、予測的にコード化
されたあらゆる情報を、挿入された再同期化マーカーに
従って、現在のビデオパケット内でビットだけに依存し
てコードワードに変換する。ロバストネス調整モジュー
ル５０９の動作は、ヘッダ解析ユニット５０３からの信
号と受信端末５０７からのフィードバックとに依存して
おり、これらは双方ともこれらのモジュールを包含して
いる主ビットストリームコントローラ５０５への入力に
接続されている。

【００２８】ロバストネス調整モジュール５０９の出力
は、ビットレート調整モジュール５１１への入力に接続
されている。このビットレート調整モジュール５１１
は、ユニット５０３で判定された規格のタイプとシンタ
ックスに基づいて、ビットストリームから選択済みビッ
トを破棄する手段である。ビットレート調整モジュール
５１１は、スケーラブルなビットストリームの強化層中
のフレームと関連する低優先順位ビットをドロップする
ための手段であり、また、再同期化マーカー又は画像ヘ
ッダによって区切られるビデオビットのパケット中のセ
グメントと関連する低優先順位ビットのパケットを破棄
する手段である。また、ビットレート調整モジュール５
１１は、次にドロップすべきパケットを計算するために
用いられる以前のフレームでドロップされたパケットの
履歴情報を記録するためのメモリを含んでいる。これに
よって、あるシーンの同じ空間領域が繰り返して除去さ
れることを避けることができる。

【００２９】ビットレート調整モジュール５１１は、主
ビットストリームコントローラ５０５への入力に接続さ
れているフィードバック信号５０７によって示される受
信端末の性能と互換性のある出力を生ぜしめる。ビット
レート調整モジュール５１１の出力は、置き換えタグ発
生器５１５の入力に接続されている。この置き換えタグ
発生器５１５は、ユニット５０３で判定された規格のタ
イプとシンタックスに従ってビットストリームのデコー
ディングを向上させるために所定のビットを挿入する手
段である。特に、この置き換えタグ発生器５１５は、ビ
ットレート調整モジュール５１１によってドロップされ
たビットを短いコードワードと置き換える。この短いコ
ードワードは、どのデコーダにおいても修復不可能なエ
ラーが起こらないように、タイミングと空間に関する情
報を保持するように設計されている。

【００３０】主ビットストリームコントローラ５０５の
出力は、異機種間ネットワーク５１９に接続され、その
後でこのネットワークは、結果として得られるビットス
トリーム５１７を受信端末５２１のロバストデコーダに
配信する。装置５００は、どのビデオコーディング規格
によって発生されたビットストリームでも操作すること
ができる。特定の規格のフレキシビリティの程度によっ
て、ビットレート調整とエラーロバストネスに関する機
能の程度の変化が達成される。一般に、最新の規格であ
るＨ．２６３とＭＰＥＧ−４は、装置５００によるこれ
らビットストリーム属性の最も微細な制御を提供するこ
とができる。

【００３１】一例としての実施形態を上述したが、ビッ
トストリームの制御と配信のための本方法と装置につい
て、多くの修正や変更が本発明から逸脱することなく可
能であることは当業者に明らかであろう。従って、この
ような修正と変更のすべてが請求の範囲に記載される本
発明の精神と範囲内に含まれることを意図するものであ
る。

【図面の簡単な説明】

【図１】入力ビットストリームを操作して受信端末と互
換性のあるビットストリームを出力するように動作する
本発明の実施態様に係るビットストリーム調整システム
のブロック図である。

【図２】スケーラブルな情報でコード化されたビットス
トリームを調整して受信端末と互換性のあるビットスト
リームを発生する本発明の方法の好適実施形態の一般的
なフローチャートである。

【図３】図３Ａ，３Ｂ及び３Ｃは、ビットストリーム中
への再同期タグの挿入と、ロバストデコーディングをサ
ポートするためにビデオパケット内で様々にエンコード
された成分の変換の例を示している。

【図４】図４Ａ及び４Ｂは、互換性のある受信端末にお
いてデコードされた品質を保つためにビットレートの調
整後にビットストリーム中に置き換えタグを挿入する例
を示している。

【図５】図５は、本発明に従って受信端末と互換性のあ
るビットストリームを生成するために、コード化された
ビデオデータのビットストリーム中のビットを操作する
ための装置の好適実施例のブロック図である。

【符号の説明】 １０１ 入力ビットストリーム １０３ ヘッダ解析 １０５ 規格のタイプの識別 １０７ 主ビットストリームの制御 １０９ 受信端末の性能 １１１ ロバストネスの調整 １１３ 再同期化タグ １１５ ビデオパケットの置き換え １１７ 意図的パケット損失 １１９ ビットレートの調整 １２１ 破棄された無関係ビット １２３ 交換タグ １２５ 異機種間ネットワーク １２７ 受信端末 ２０１ ＭＰＥＧ−４ビットストリームを入
力する ２０３ ビットストリームの解析 ２０４ 所定の規格のヘッダコード ２０５ 抽出されたＭＰＥＧ−４パラメータ ２０７ スケーラビリティデマルチプレクサ ２１３ 主ビットストリーム制御装置 ２１５ ネットワーク制御信号（受信端末の
性能） ２１７ ロバストネス調整 ２１９ 再同期化マーカーの挿入 ２２１ エンコーディングされたコードを別
々に変換 ２２３ ビットレート調整 ２２５ パケット損失インジケータフラグ ２２７ スケーラビリティフラグの破棄され
たビット ２２９ ドロップされたビデオパケットから
の破棄されたビット ２３１ 置き換えコードワードビット ２３５ 異機種間ネットワーク ２３９ 受信端末 ５０３ ヘッダ解析ユニット ５０４ 所定の規格のヘッダコードを保持す
るメモリモジュール ５０９ ロバストネス調整モジュール ５１１ ビットレート調整モジュール ５１５ 置き換えタグ発生器 ５１９ 異機種間ネットワーク ５２１ 受信端末でのロバストデコーダ

───────────────────────────────────────────────────── フロントページの続き (71)出願人 500061051 10350 Ｓｃｉｅｎｃｅ Ｃｅｎｔｅｒ Ｄｒｉｖｅ， Ｓｕｉｔｅ 140， Ｓａ ｎ Ｄｉｅｇｏ， Ｃａｌｉｆｏｒｎｉａ 92121 Ｕ．Ｓ．Ａ. (72)発明者 マーク アール．バンハム アメリカ合衆国 92109 カリフォルニア 州、サンディエゴ、チャルスドニー スト リート 1760 (72)発明者 シューク エル．チャン アメリカ合衆国 92037 カリフォルニア 州、ラヨーラ、ヴィアアリカンテ 3288 (72)発明者 オサマ アル−シャイク アメリカ合衆国 92122 カリフォルニア 州、サンディエゴ フィオーレ テラス 5225 (72)発明者 ジンタオ ウェン アメリカ合衆国 92037 ラヨーラ、トー リー パインズ ロード 2500 ＃404

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ビットストリームを圧縮するために用い
   られた規格のタイプとシンタックスとを判定するステッ
   プと；前記ビットストリームに所定のビットを挿入する
   とともに、予測的にコード化された情報を変換し、それ
   により前記規格のタイプと前記シンタックスとに従って
   前記ビットストリームのエラーロバストの局所化とデコ
   ーディングとが向上した中間ビットストリームとするス
   テップと；前記ビットストリームを圧縮するために用い
   られた前記規格のタイプと前記シンタックスとに基づい
   て、前記中間ビットストリームから選択されたビットを
   破棄し、それによりロバスト受信端末のビットレートと
   互換性のあるビットレートを有する出力ビットストリー
   ムとするステップと；を含むことを特徴とするエンコー
   ディングされたビデオデータのビットストリーム中のビ
   ットを操作する方法。
2. 【請求項２】 前記ビットストリームを圧縮するために
   用いられた規格のタイプとシンタックスとを判定するス
   テップが、さらに、 ヘッダビットを読み取るステップと；前記ヘッダビット
   を規格のヘッダの所定のリストと比較して、前記ビット
   ストリームを圧縮するために用いられた現在の規格のタ
   イプとシンタックスとを識別するステップと；を含むこ
   とを特徴とする請求項1に記載の方法。
3. 【請求項３】 前記所定のビットを挿入して予測的にコ
   ーディングされた情報を変換するステップが、さらに、 再同期化マーカーを挿入するステップと；区別できるよ
   うにエンコーディングされた動きベクトルと関連するテ
   クスチャデータのパラメータを変換して、ビデオパケッ
   ト内で予測的コード化を制限するステップと；を含むこ
   とを特徴とする請求項1に記載の方法。
4. 【請求項４】 前記選択されたビットを破棄するステッ
   プが、さらに、スケーラブルなビットストリームの強化
   層中のフレームと関連する低優先順位ビットを破棄する
   ステップを含むことを特徴とする請求項1に記載の方
   法。
5. 【請求項５】 前記選択されたビットを破棄するステッ
   プが、さらに、再同期化マーカー又は画像ヘッダによっ
   て区切られたビデオビットのパケット中のセグメントと
   関連する低優先順位ビットのパケットを破棄するステッ
   プを含むことを特徴とする請求項1に記載の方法。
6. 【請求項６】 前記低優先順位ビットのパケットを破棄
   するステップが、さらに、以前のフレーム中でドロップ
   されたパケットの履歴情報に基づいて、破棄すべきパケ
   ットを選択して、あるシーンの同じ空間的領域を繰り返
   して除去することを避けるステップを含むことを特徴と
   する請求項5に記載の方法。
7. 【請求項７】 ビットストリームを圧縮するために用い
   られた規格のタイプとシンタックスとを判定する手段
   と；所定のビットを前記ビットストリームに挿入すると
   ともに予測的にコーディングされた情報を変換し、それ
   によって前記規格のタイプと前記シンタックスとに従っ
   て、前記ビットストリームのエラーロバストの局所化と
   デコーディングとを強化させた中間ビットストリームと
   する手段と；前記ビットストリームを圧縮するために用
   いられた前記規格のタイプと前記シンタックスとに基づ
   いて、前記中間ビットストリームから選択されたビット
   を破棄し、それによりロバスト受信端末のビットレート
   と互換性のあるビットレートを有する出力ビットストリ
   ームとする手段と；を備えることを特徴とするエンコー
   ディングされたビデオデータのビットストリーム中のビ
   ットを操作する装置。
8. 【請求項８】 前記ビットストリームを圧縮するために
   用いられた規格のタイプとシンタックスを決定する手段
   が、さらに、ヘッダビットを読み取るとともに前記ヘッ
   ダビットを規格のヘッダの所定のリストと比較して前記
   ビットストリームを圧縮するために用いられた現在の規
   格タイプとシンタックスとを識別する手段を備えること
   を特徴とする請求項7に記載の装置。
9. 【請求項９】 前記所定のビットを挿入して予測的にコ
   ーディングされた情報を変換する手段が、さらに、再同
   期化マーカーを挿入して、エンコーディングされた動き
   ベクトルと関連するテクスチャデータのパラメータとを
   区別できるように変換して、ビデオパケット内で予測的
   コード化を制限する手段を備えることを特徴とする請求
   項7に記載の装置。
10. 【請求項１０】 前記選択されたビットを破棄する手段
    が、さらに、スケーラブルなビットストリームの強化層
    中のフレームと関連する低優先順位ビットを破棄する手
    段を備えることを特徴とする請求項7に記載の装置。
11. 【請求項１１】 前記選択されたビットを破棄する手段
    が、さらに、再同期化マーカー又は画像ヘッダによって
    区切られたビデオビットのパケット中のセグメントと関
    連する低優先順位ビットのパケットを破棄する手段を備
    えることを特徴とする請求項7に記載の装置。
12. 【請求項１２】 前記低優先順位ビットのパケットを破
    棄する手段が、さらに、以前のフレームでドロップされ
    たパケットの履歴情報に基づいて破棄すべきパケットを
    選択し、あるシーンの同じ空間領域が繰り返して除去さ
    れることを避ける手段を備えることを特徴とする請求項
    １１に記載の装置。