JP2010519789A

JP2010519789A - 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ

Info

Publication number: JP2010519789A
Application number: JP2009547385A
Authority: JP
Inventors: リー、イエン−チ; ルン、ニコライ・コンラッド・ネポムセノ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2007-01-22
Filing date: 2008-01-22
Publication date: 2010-06-03
Anticipated expiration: 2028-01-22
Also published as: KR20090089901A; KR101055998B1; US20080176517A1; CA2674641C; TWI364988B; EP2127375B1; EP2127375A2; CN101589616B; JP5021765B2; CN101589616A; WO2008091903A2; RU2409007C1; CA2674641A1; US8767839B2; WO2008091903A3; BRPI0806823A2; TW200845753A

Abstract

ビデオデータエラーに応答してエラー制御を実装するための1つの技術は、ビデオ復号器からビデオデータエラーの表示を受け取ること、前記ビデオデータエラーはビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンクにおいて生じたものであるかどうかを決定すること、および、前記ビデオデータエラーが前記逆方向リンクにおいて生じたものではない場合、前記ビデオデータエラーに応答してエラー制御を適用することを含んでいる。例えば、ビデオデータエラーの表示は、遺失データを含むパケットの第1のシーケンス番号（SN）を含んでもよく、またビデオデータエラーが逆方向リンクに生じたものであるかどうかを決定することは、第1のSNを最も最近のRLエラーに関連するパケットの第2のSNと比較することを含んでもよい。
【選択図】図4

Description

本件開示は、ビデオ符号化に関係し、より詳細には、ビデオデータエラーの効率的制御のための技術に関係する。

ビデオ電話通信（VT）は、オーディオデータおよびビデオデータを搬送するパケットのリアルタイム通信を含んでいる。各VTデバイスは、ビデオカメラやビデオアーカイブのようなビデオ獲得デバイスからビデオを得て、ビデオデータのパケット（ビデオパケット）を生成するビデオ符号化器を含んでいる。同じように、各VTデバイス中のオーディオ符号化器は、マイクロフォンや音声合成器のようなオーディオ獲得デバイスからオーディオを得て、オーディオデータのパケット（オーディオパケット）を生成する。ビデオパケットおよびオーディオパケットは、無線リンクプロトコル（RLP）のキューに置かれる。メディアアクセス制御（MAC）層のモジュールは、RLPキューの内容からメディアアクセス制御（MAC）層のパケットを生成する。MAC層のパケットは、通信チャネルを通って他のVTデバイスへ伝送されるために、物理（PHY）層のパケットに変換される。

モバイルVTアプリケーションにおいて、VTデバイスは、基地局からVTデバイスへのワイヤレスの順方向リンク（FL）（下りリンク）によって物理層（PHY層）のパケットを受信する。このVTデバイスは、セルラ方式の無線電話のようなモバイルワイヤレス端末であってもよい。VTデバイスは、VTデバイスから基地局へのワイヤレスの逆方向リンク（RL）（上りリンク）によってPHY層のパケットを送信する。各VTデバイスは、PHY層およびMAC層を含んでおり、受信したPHY層およびMAC層のパケットを変換して、パケットペイロードをオーディオパケットおよびビデオパケットにリアセンブルすることができる。VTデバイス内のビデオ復号器は、表示装置によるユーザへの提示のために、ビデオデータを復号する。VTデバイス内のオーディオ復号器は、オーディオ・スピーカによる提示のために、オーディオデータを復号する。同様にして、VTデバイスは、他のVTデバイスへの送信のために、ビデオおよびオーディオをそれぞれ符号化するビデオ符号化器およびオーディオ符号化器を含んでもよい。

ビデオ符号化器からビデオ復号器へビデオパケットを送信する際に、ビデオデータエラーが起こり得る。例えば、RL上の送信（ビデオ符号化器から基地局への送信）の際に、基地局において、またはFL上の送信（基地局からビデオ復号器への送信）の際に、エラーが生じ得る。エラーは、ユーザに提示されるビデオの視覚的品質を損なう可能性がある。しかしながら、エラーが検知された場合、エラーを訂正しまたは隠すために、様々な技術を適用することができる。

一般に、本件開示は、ビデオ符号化器の効率を向上することができるビデオデータエラーの制御に関する技術に向けられている。ビデオ符号化器は、端末間（E2E）のエラーフィードバックによる受信デバイスからのエラー報告を受信する前に、RLエラーにエラー制御を適用するように構成されている。E2Eエラーフィードバックの中で報告されるエラーは、逆方向リンク（RL）エラー、または順方向リンク（FL）エラーであるかもしれない。FLエラーは、アクセスネットワークに起因するエラーを含んでいる。本件明細書において開示される技術にしたがって、エラーフィルタは、E2Eエラーフィードバックによって示されるRLエラーをFLエラーまたはアクセスネットワークエラーから区別する。このようにして、本件開示技術は、ビデオ符号化器がすでに対処したRLエラーに再びビデオ符号化器がエラー制御を適用するという重複を防止することができる。

同じRLエラーにエラー制御を2度適用することは、ビデオ符号化器の符号化効率を悪くする可能性があり、またエラー制御技術の中には追加のバンド幅を要するものもあるので、送信チャネルバンド幅の非能率的な使用になる可能性もある。エラーフィルタは、E2Eエラーフィードバックの中で報告されているエラーがRLエラーであるかどうかを決定する。その決定によって、符号化システムは、E2Eエラーフィードバックの中で報告されているエラーにすでにエラー制御が適用されてしまっているのか、それともビデオ符号化器が当該エラーにエラー制御を適用するべきかを決定することができる。このようにして、本件開示技術は、冗長なエラー訂正およびこれに関連する非能率性を低減または除去する。

いくつかの態様において、符号化器システムは、ビデオ符号化器によって適用されるエラー制御をチャネルバンド幅の状態に適応させるモジュールをも具備する。パケット交換ネットワークにおけるアプリケーションのような、いくつかのアプリケーションにおいては、例えば、位置、環境またはチャネルトラヒック負荷により、ワイヤレスチャネルのバンド幅が変化することがある。したがって、ワイヤレスチャネルを圧迫しないようにすることを助けるために、符号化器システムは、チャネルバンド幅状態を監視し、そのチャネルバンド幅状態に基づいてエラー制御技術を選択するモジュールを組込んでもよい。一例として、チャネルバンド幅がより高域である場合、イントラフレーム・リフレッシュ操作を適用し、反対にチャネルバンド幅がより低域である場合、ランダム・イントラ・マクロブロック（MB）・リフレッシュ（RIR）操作を適用することができる。

1つの態様において、本件開示は、ビデオ復号器によってビデオデータエラーが検知されたことを示す表示を受信すること、前記ビデオデータエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたものであるかどうかを決定すること、および前記ビデオデータエラーが逆方向リンク上で生じたものでなければ、前記ビデオデータエラーの表示に応答してエラー制御を適用し、反対に前記ビデオデータエラーが逆方向リンクの上で生じたものであれば、前記ビデオデータエラーに応答してエラー制御を適用しないことを具備する方法に向けられる。

他の態様において、本件開示は、ビデオ復号器によってビデオデータエラーが検知されたことを示す表示を受信する送受信機と、ビデオ符号化器と、およびビデオデータエラーが前記ビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンクの上で生じたものであるかどうかを決定するエラーフィルタとを具備するシステムであって、前記ビデオ符号化器は、前記ビデオデータエラーが前記逆方向リンクの上で生じたものでなければ、前記ビデオデータエラーの前記表示に応答してエラー制御を適用する、ように構成されていることを特徴とするシステムに向けられる。

さらなる他の態様において、本件開示は、命令を含むコンピュータ可読媒体を具備するコンピュータプログラム製品に向けられる。本件命令は、コンピュータに次のことを行なわせる。すなわち、ビデオ復号器によってビデオデータエラーが検知されたことを示す表示を受け取ること、前記ビデオデータエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたものであるかどうかを決定すること、および前記ビデオデータエラーが逆方向リンク上で生じたものでなければ、前記ビデオデータエラーに応答してエラー制御を適用し、反対に前記ビデオデータが逆方向リンクの上で生じたものであれば、前記ビデオデータエラーに応答してエラー制御を適用しないようにすることを行わせる。

他の態様において、本件開示は、ビデオ復号器によってビデオデータエラーが検知されたことを示す表示を受信する手段と、前記ビデオデータエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたものであるかどうかを決定する手段と、および前記ビデオデータエラーが逆方向リンク上で生じたものでなければ、前記ビデオデータエラーに応答してエラー制御を適用し、反対に前記ビデオデータが逆方向リンクの上で生じたものであれば、前記ビデオデータエラーに応答してエラー制御を適用しないようにする手段とを具備するシステムに向けられる。

本件開示の1つまたは複数の事例が添付の図面および以下の説明において詳しく述べられる。

図1は、ビデオ電話通信へのアプリケーションのためのビデオ/オーディオ符号化および復号システムを例示するブロック図である。図2は、エラーフィルタ技術を実装するビデオ/オーディオ符号化および復号システムを例示するブロック図である。図3は、端末間エラーフィードバックに基づいて逆方向リンクエラーをフィルタリングする技術を例示する流れ図である。図4は、端末間エラーフィードバックに基づいて逆方向リンクエラーをフィルタリングする他の技術を例示する流れ図である。

発明の詳細な説明

図1は、ビデオ符号化および復号システム10を例示するブロック図である。図1に示されるように、システム10は、送信チャネル16によって互いに連結される符号化器システム12および復号器システム14を含み、送信チャネル16は、1つまたは複数のアクセスネットワーク（AN）コンポーネント15を含んでいる。符号化器システム12および復号器システム14は、様々なタイプのデバイスを代表することができる。例えば、ワイヤレス電話、セルラ電話、ラップトップ・コンピュータ、ワイヤレスマルチメディアデバイス、ビデオゲームデバイス、デジタル音楽プレーヤ、デジタルビデオプレーヤ、デジタルブロードキャストサーバ、ワイヤレス通信パソコンカード、携帯情報端末（ＰＤＡ）、外付けまたは内蔵のモデム、またはワイヤレスチャネルを通って通信するあらゆるデバイスである。

ANコンポーネント15は、通信システムのネットワーク部分を指すものであってもよく、また基地局（BS）、基地局送受信機システム（BTS）、アクセス・ポイント（AP）、モデム・プール送受信機（MPT）、ノードＢ（例えばWCDMAタイプのシステムの中のもの）を含む、またはこれらの機能を実装するものであってもよい。符号化器システム12および復号器システム14は、各々、順方向リンク（FL）および/または逆方向リンク（RL）の上でANコンポーネント15と通信をする。FLは、「ダウンリンク」とも呼ばれるが、これは、ANコンポーネント15からシステム12または14への送信をいう。逆方向リンクは、「アップリンク」とも呼ばれるが、これは、システム12または14からANコンポーネント15への送信をいう。

システム10は、例えば、送信チャネル16によるビデオ電話通信（VT）のために、ビデオおよびオーディオの双方向送信を提供することができる。VTは、システム12および14のような、少なくとも2つのデバイスの間のオーディオおよびビデオのパケットのリアルタイム通信をいう。したがって、一般に、チャネル16の反対側の末端にあるシステム12および14には、相互的な符号化、復号および変換モジュールが提供されることができる。もしくは、システム12および14のうちの1つまたは両方が、オーディオおよびビデオの符号化および送信のための専用とされてよく、またはオーディオおよびビデオの受信および復号のための専用とされてもよい。いくつかの例において、符号化器システム12および復号器システム14は、ビデオストリーミング、ビデオ電話通信、またはその両方のために装備されたワイヤレスモバイル端末のような、ビデオ通信デバイスの中で具体化されてもよい。モバイル端末は、リアルタイム・トランスポート・プロトコル（RTP）、ユーザ・データグラム・プロトコル（UDP）、インターネット・プロトコル（IP）またはポイント・ツー・ポイント・プロトコル（PPP）のような、パケット交換規格に準拠してVTをサポートすることもできる。

システム10は、符号分割多元接続（CDMA）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）または直交周波数分割多重（OFDM）、または他の適当なワイヤレス技術のような、1つまたは複数のワイヤレス通信技術をサポートするようにデザインすることも可能である。上記のワイヤレス通信技術は、様々な無線アクセス技術のうちのいずれかに準拠して実施することができる。例えば、符号分割多元接続は、ｃｄｍａ2000または広帯域符号分割多元接続（WCDMA）規格に準拠して実施することができる。TDMAは、GSM（Global System for Mobile）通信規格に準拠して実施することができる。UMTS（Universal Mobile Telecommunication System）規格は、GSMまたはWCDMAオペレーションを可能にする。典型的には、VTアプリケーションの場合、システム10は、cdma2000 1x EV-DOリリース0およびレビジョンＡのような、ハイ・データレート（HDR）技術をサポートするようにデザインされるであろう。

符号化器システム12は、第1のビデオ通信デバイスに関連しており、オーディオ源17、ビデオ源18、ビデオ符号化器20、オーディオ符号化器22、リアルタイム・トランスポート・プロトコル（RTP）/ユーザ・データグラム・プロトコル（UDP）/インターネット・プロトコル（IP）/ポイント・ツー・ポイント・プロトコル（PPP）変換モジュール26、無線リンクプロトコル（RLP）キュー28、MAC層モジュール30およびPHY層モジュール32を含んでいる。後で説明されるように、符号化器システム12は、エラー制御をチャネル16の利用可能なバンド幅に適合させるモジュールはもちろんのこと、異なる出所に起因するエラーを区別するエラーフィルタをも含んでもよい。復号器システム14は、他のビデオ通信デバイスに関連しており、PHY層モジュール34、MAC層モジュール36、RLPキュー38、RTP/UDP/IP/PPP変換モジュール40、ビデオ復号器42およびオーディオ復号器44を含んでいる。

ビデオ源18は、ビデオ捕獲デバイスであってよく、これは、例えば、ビデオカメラ、1つまたは複数のビデオアーカイブまたはビデオカメラとビデオアーカイブの結合、またはコンテンツプロバイダから来る生放送源であってもよい。システム10は、SIP（Session Initiated Protocol）、ITU-T H.323規格、ITU-T H.324規格またはその他の規格に準拠してビデオ電話通信またはビデオストリーミングをサポートしてもよい。ビデオ符号化器20は、MPEG-2、MPEG-4、ITU-T H.263、またはITU-T H.264 およびそのカウンターパートであるISO/IEC MPEG-4パート10、すなわちAVC(アドバンス・ビデオ・コーディング)のような、ビデオ圧縮規格に準拠して符号化されたビデオデータを生成する。システム10はまた、FLO（Forward Link Only）エア・インターフェース仕様である「テレストリアル・モバイル・マルチメディア・マルチキャスト（TM3）のためのFLO」(この仕様は、技術規格TIA-1099(FLO仕様)として公表される予定である)を使用するTM3システムにおいて、リアルタイム・ビデオ・サービスを配信するための強化H.264ビデオ符号化をサポートするように構成されてもよい。

ビデオ符号化器20およびビデオ復号器42は、各々、1つまたは複数のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、ディスクリート論理素子、ソフトウェア、ハードウェア、ファームウェアまたはこれらの任意の組み合わせとして実装されてもよい。ビデオ符号化器20およびビデオ復号器42の各々は、1つまたは複数の符号化器または復号器の中に含まれてもよく、そのどちらかは、それぞれの加入者装置、放送装置、サーバまたは同様のものの中の符号化/復号器（CODEC）の一部として統合されてもよい。さらに、システム12およびシステム14は各々、適用可能な場合は、無線周波数（RF）ワイヤレスコンポーネントおよびアンテナを含め、符号化ビデオの送信および受信のための、適当な変調、復調、周波数変換、フィルタリング、および増幅のためのコンポーネントを含んでもよい。しかし、図示を簡単にするために、そのようなコンポーネントは図1には示されていない。

オーディオ源17は、マイクロフォンまたは音声合成装置のような、オーディオ捕獲デバイスであってよく、それは、ビデオ源18からのビデオデータといっしょになるためのオーディオデータを捕らえるものである。それに代わって、オーディオ源17は、コンテンツプロバイダからのオーディオ・アーカイブまたは生のオーディオ放送源を含んでもよい。オーディオ符号化器22は、アダプティブ・マルチレート・ナローバンド（AMR-NB）のような、オーディオ圧縮方法または他の技術に準拠してオーディオデータを符号化してもよい。VTアプリケーションの場合、VT会議の参加者が見ることをビデオが可能にし、また参加者の話し声が聞かれることをオーディオが可能にする。マルチメディア・ストリーミングまたは放送のようなその他のアプリケーションの場合、オーディオおよびビデオが、プレゼンテーション、ショーまたは映画のような、マルチメディア・コンテンツを形成する。

オペレーションにおいて、RTP/UDP/IP/PPP変換モジュール26は、ビデオ符号化器20およびオーディオ符号化器22から、ビデオデータの符号化されたフレームおよび符号化されたオーディオデータを得て、ビデオパケットおよびオーディオパケットに適切なヘッダ情報（例えばルート情報およびシーケンス情報）を加え、RLPキュー28内に結果のデータを挿入する。典型的には、UDPがIPの上で動作し、IPがPPPの上で動作する一方、RTPはUDPの上で動作する。RTPは、マルチメディアデータのようなリアルタイムデータを送信するために開発されたプロトコルである。RTPでは、オーディオ符号化器22のみならず、ビデオ符号化器20の出力も、データパケットへグループ化される。このようにして、ビデオデータの1つのフレームが、復号器システム14へのチャネル16上のフレーム送信のために、1つまたは複数のデータパケットに分けられる。また、マルチプルのフレームは、典型的にマルチプルのデータパケットとして送信される。各パケットは、識別およびシーケンス化の目的のために、シーケンス番号（SN）を含んでいる。SNは、例えば、RTP/UDP/ IP/PPPヘッダ情報の中に含まれてもよい。

MAC層モジュール30は、RLPキュー28からデータを検索し、RLPキュー28のコンテンツからMAC層パケットを生成する。各MAC層パケットは、RTP/UDP/IP/PPPヘッダ情報および、RLPキュー28内に含まれているオーディオまたはビデオパケットデータを搬送する。オーディオパケットは、ビデオパケットとは独立のRLPキュー28の中に挿入されてもよい。ある場合には、RLPキュー28のコンテンツから生成されたMAC層パケットは、ヘッダ情報およびビデオパケットデータを搬送するだけである。他の場合では、MAC層パケットは、RLPキュー28のコンテンツに依存して、ヘッダ情報、オーディオパケットデータおよびビデオパケットデータを搬送する。MAC層パケットは、RLPに準拠して構成されることができる。MAC層パケットはまた、MAC RLPパケットと呼ばれてもよい。

PHY層モジュール32は、チャネル16上の送信のために、MAC RLPパケットをPHY層パケットに変換する。特に、符号化器システム12内の送受信機は、チャネル16を通ってPHY層パケットをANコンポーネント15に送信する。チャネル16は、PHY層パケットを復号器システム14に搬送する。チャネル16は、符号化器システム12と復号器システム14との間の任意の物理接続でよい。例えば、チャネル16は、ローカルまたはワイドエリアの有線ネットワークのような、有線接続であってもよい。もしくは、本件明細書において説明されるように、チャネル16は、セルラ、衛星または光学による接続のような、ワイヤレス接続であってもよい。より一般的には、チャネル16は、有線媒体およびワイヤレス媒体の結合であってもよい。

復号システム14のPHY層モジュール34およびMAC層モジュール36は、相互的な方法で作動する。PHY層モジュール34は、チャネル16から受信されたPHY層パケットをMAC層のRLPパケットに変換する/リアセンブルする。MAC層モジュール36は、MAC RLPパケットのコンテンツをリアセンブルしてビデオパケットおよびオーディオパケットを供給し、これによってMAC RLPパケットをRLPキュー38に挿入する。RTP/UDP/IP/PPP変換モジュール40は、RLPキュー38中のデータからヘッダ情報をストリップし、ビデオデータおよびオーディオデータをリアセンブルして、ビデオ復号器42およびオーディオ復号器44へそれぞれ配送する。

ビデオ復号器42は、ビデオデータのフレームを復号し、ビデオデータのストリームを生成し、表示装置（ビデオ出力）48をドライブする際に使用する。各パケットに関連するSNは、ビデオ復号器42がビデオデータパケットを並び替えてリアセンブルするのを助けることができる。例えば、パケットは、時間的にバラバラのシーケンスで受信されてもよい。ただし、あとで適切な時間的シーケンスに並び替えることを必要とする。オーディオ復号器44は、オーディオデータを復号し、オーディオ情報を生成し、例えば、オーディオ・スピーカ（音声出力）46を通じてユーザに提示する。

ビデオデータのフレームを符号化器システム12から復号器システム14へ送信する間に、エラーが生じる可能性がある。エラーは、遺失パケット、または遺失データを含むパケット、を含んでもよい。以下において、「遺失パケット」とは、パケット全体の遺失、およびパケット内のデータの遺失の双方を指すものとする。ビデオデータエラーは、RL（例えば、符号化器システム12からANコンポーネント15へのリンク）の上、FL（例えば、ANコンポーネント15から復号器システム14へのリンク）の上、またはANコンポーネント15内で生じる可能性がある。したがって、エラーは、RLエラーまたはFLエラーと考えられることができる。一般に、ANコンポーネント15内に生じるエラーもFLエラーと呼ばれる。ANコンポーネント15内では多くの理由からエラーが生じる可能性がある。例えば、ANコンポーネント15が2つ以上のコアネットワークから構成される場合、ビデオデータがコアネットワークとコアネットワークの間で送信される際、1つまたは複数のビデオパケットまたはパケット内のデータの遺失が生じる可能性がある。

符号化器システム12は、1つまたは複数の技術によって、RLエラーを識別することができる。あるエラー識別技術において、ビデオ符号化器20は、最も最近（most recently）符号化したビデオフレームの送信の間にエラーが生じたかどうかを決定するために符号化器システム12の1つまたは複数の低位層に質問し、その後、ビデオ符号化器20が新しいビデオフレームを符号化する。新しいビデオフレームを符号化する前にエラーを検知することによって、ビデオ符号化器20（または符号化器システム12内のエラー制御モジュール）は、現在の、最も最近符号化したフレームを相対的に速く、復号器システム14からのフィードバックを待つことなく、エラー制御を実行することができる。

図2は、エラーフィルタ技術を実装する符号化器装置12を例示するブロック図である。図2に示される例において、符号化器装置12は、UDP/IP/PPP層26Ｂ、MAC層30、エラーフィルタ・モジュール50、無線リンクプロトコル（RLP）モジュール55、パケット統合プロトコル（PCP）モジュール56、RLレート適応モジュール58およびチャネルバンド幅適応型エラー制御モジュール60を含んでいる。オーディオ符号化器22およびPHY層32のような、図1に示される符号化器システム12のいくつかのコンポーネントは、例示の明瞭さのために、図2のブロック図からは取り除かれている。

以下においてさらに詳細に説明するように、エラーフィルタ・モジュール50は、復号器システム14からのE2Eエラーフィードバックの中で報告されているエラーがすでに訂正されたエラーであるかどうかを決定する。すなわち、エラーフィルタ50は、E2Eエラーフィードバックの中で報告される諸エラーから、RLエラーを取り除く。そのことによって、ビデオ符号化器20は、E2Eフィードバックの中で報告されたRLエラーに不必要なエラー制御を適用することを避けることができる。図2に示される符号化器システム12の例において、エラーフィルタ50は、RTP26Ａと同じ層にある。エラーフィルタ50は、RLエラーSN抽出モジュール52および送信（TX）エラー決定モジュール54を含んでいる。

ある例において、符号化器システム12の低位層は、バイナリ・ビット・フィールドのようなフラグによって、ビデオフレームの送信ステータスを追跡する。例えば、エラーが符号化システム12とANコンポーネント15との間で生じる場合、ANコンポーネント15は、MAC層30に否定応答（NAK）を送ってもよい。MAC層30は、NAKに関連するMACパケットをPCPモジュール56に通知してもよい。PCPモジュール56は、遺失MACパケットがビデオフロー・データを含むかどうかを決定する。たとえEV-DOレビジョンＡの逆方向リンクにおいて通信サービスの品質（QoS）がサポートされているとしても、オーディオおよびビデオデータは、同じMACパケットに置かれることができる。もし遺失MACパケットの中にビデオデータがあれば、PCPモジュール56は、遺失データのことをRLPモジュール55（図2に示されている）に通知し、送信エラーを経験しRLPパケットNAKを有するパケットを含む特定のRLPキュー（複数のRLPキューがあってよい）を識別する。

RLPモジュール55は、どのパケットが遺失データを含むかを決定する。それから、RLPモジュール55は、どのパケットが遺失データを含むかを、アプリケーション層内のRTP層26Ａに、ビデオフロー・パケットNAKで通知する。RTP層26Ａは、遺失パケットをフレーム内の遺失MB（マイクロブロック）に変換するマップまたはテーブルを維持してもよい。遺失MBを識別する情報は、さらなるエラー制御のために、ビデオ符号化器20（またはエラー制御モジュール）に渡される。例えば、ビデオ符号化器20は、エラーを隠すために、イントラフレーム・リフレッシュまたはランダム・イントラMB・リフレッシュを適用してもよい。

符号化器システム12の低位層がビデオフレームの送信ステータスを追跡するRLエラーをフラグによって識別するための他のアプローチにおいて、ビデオ符号化器20は、ビデオデータの新しいフレームの各々を符号化する前に、RLPモジュール55に質問してもよく、またエラー情報は、エラー制御のために、ビデオ符号化器20に直接渡されてもよい。もしRLエラーが生じれば、MAC層30は、PCPモジュール56に自動的にNAKを送ってもよい。またPCPモジュールは、RLPモジュール55にNAKを送ってもよく、それがフラグをセットする。

上で議論されたいずれかのアプローチにおいて、ビデオフレームのパケットが失われたら、符号化器システム12の低位層内のフラグがセットされる。ビデオ符号化器20がフラグのチェックのためにRLPモジュール55にいったん質問すると、フラグは、次の符号化されたビデオフレームのためにリセットされる。フラグがセットされると、ビデオ符号化器20は、ビデオデータの次の符号化されたフレームにエラー制御を適用する。フラグは、失われた特定のパケットを示すというよりは、最も最近符号化したビデオフレームの送信の際にRLエラーがあったかどうかを示すのみである。

このようにして、ビデオ符号化器20は、フレームのどの部分が失われてるかを知らない可能性があって、フレームのどこかでエラーが起きたということを仮定して、エラー制御を適用するのである。エラー制御はフレーム全体に適用されるから、エラーがあるかどうか知ることは、ビデオデータのどのパケットが失われたか知るのとちょうど同じくらい有用である。

上で説明された低位層支援型ビデオエラー制御技術は、RL上の送信の間にビデオデータに生じるエラー（すなわちRLエラー）に対処する。本件制御技術を使用することによって、ビデオ符号化器20は、MAC層30からのエラー情報を使用し、復号器システム14（受信装置）からのフィードバックを待たないで、直接にエラー制御を適用することができる。

別の技術は、RLとFLの両方のエラー（後者はANコンポーネント15内に生じるエラーを含む）を識別する。例えば、復号器システム14は、エラーが生じたことを示す符号化器システム12のビデオ符号化器20にフィードバックを供給してもよい。符号化器システム12の送受信機（図示されていない）は、復号器システム14からフィードバックを受け取ってもよい。ビデオ符号化器20は、それから、エラーの伝播を防ぐために、次の符号化されたフレームにエラー制御を適用してもよい。復号器システム14から符号化器システム12へのエラー報告は、「端末間（E2E）フィードバック」と呼ばれてもよい。

E2Eフィードバックの使用は、オーディオ・ビデオ・プロファイル・フィードバック（AVPF）RFC 4585に基づいてもよい。これは、ビデオデータ受信装置（つまり復号器システム14）が、符号化器システム12に直接的フィードバックを供給することを可能にするリアルタイム制御プロトコル（RTCP)）ベースのフィードバック・メカニズムを提供する。E2Eフィードバックは、典型的には、遺失RTPパケット、または遺失データを含むRTPパケットを含んでいる。例えば、シーケンス番号（SN）100を備えたRTPパケットが失われると、復号器システム14は、当該遺失を検知し、SN100を備えたRTCPフィードバックをAVPFペイロードといっしょに符号化器システム12に送る。

ビデオの符号化器20がいったんエラーを検知したら、ビデオ符号化器20は、何らかの適切な技術に準拠するエラー制御を適用してもよい。適切なエラー制御技術の例は、符号化される次のビデオフレームのために異なる基準フレームを使用すること、マクロブロック・イントラ・リフレッシュ・レートを上げること（すなわち、イントラ・マクロブロック・リフレッシュ操作）、または復号器装置14におけるエラー伝播を止めるためにイントラフレーム（Ｉフレーム）を挿入すること（すなわち、イントラフレーム挿入）を含んでいる。Ｉフレームにおいて、あらゆるMBは、イントラ符号化される。すなわち、各MBは、前のフレームの影響を受けず、そのことによってエラー伝播を止めることができる。MBイントラ・リフレッシュの場合、いくつかのMBがイントラ符号化されるだけである。イントラフレーム挿入は、エラーが生じるとき、より良いビデオ品質を提供することができるものの、フレームの一部のみを形成するMBではなく、Ｉフレーム全体が送信されるがゆえに、より多くのバンド幅を消費する。後続のフレームを符号化するために基準フレームを使用するあるタイプのエラー制御技術において、ビデオデータのフレームのMBは、動きベースの符号化法によって符号化されてもよい。動きベースの符号化法は、類似している前のフレームのMB（予測MB）を識別すること、および前のフレーム（または双方向符号化における後続フレーム）における予測MBを識別する動きベクトルを送ること、および現在のMBと予測MBとの差を表す差ブロックを送ることを含んでいる。動きベクトルは、前に、符号化したフレームの中のベストマッチのMBと任意のMBとの距離を一般に特徴づける。ビデオ符号化器20がエラーを検知するとき、ビデオ符号化器20は、符号化される次のビデオフレームのための基準座標システムとして、エラーを含むフレームの前に符号化したフレームを使用してもよい。

ビデオ符号化器20は、2つの情報源に基づいてエラー制御を適用するように構成される：1つは、RLエラーフィードバックであり、他の1つはE2Eエラーフィードバックである。上で議論されたように、ワイヤレスビデオ通信において、E2Eエラーフィードバックの中で報告されるエラーは、RLまたはFLにおいて生じるエラーに起因している可能性がある。E2Eフィードバックは、エラーがどこで生じたかについての表示は含んでおらず、したがって、ビデオ符号化器20は、典型的には、遺失パケットの出所を決定することができない。

ある場合において、E2Eエラーフィードバックは、ビデオ符号化器20が符号化器システム12の中のRLPモジュール55のような1つまたは複数の低位層に質問することによってビデオ符号化器20がすでに識別しているRLエラーを報告してもよい。ビデオ符号化器20は、RLエラーを識別すると同時にRLエラーにエラー制御を適用するので、典型的には、ビデオ符号化器20は、RLエラーがE2Eエラーフィードバックによって報告される時までには、RLエラーに対処し終わっている。しかしながら、ビデオ符号化器20は、E2Eエラーフィードバック中で報告されているエラーの出所を決定してRLエラーとFLエラーを区別することはできないので、ビデオ符号化器20は、同じRLエラーに二度以上エラー制御を適用する可能性がある。このことは、通信資源およびバンド幅の非能率的に使用する可能性がある。例えば、同じエラーにエラー制御を適用することは、ビデオ符号化器20の符号化効率を低減させ、ビデオ出力48の品質に低下をもたらす可能性がある。

ビデオ符号化器20は、復号器システム14から（E2Eエラーフィードバックによって）RLエラーの報告書を受け取る前に、RLエラーを訂正する。RLエラーを検知したのち比較的すみやかにRLエラーを訂正することは、遺失パケットまたは遺失データを含んでいるパケットによって引き起こされる障害を小さくすることを支援する。図2に示される例において、ビデオ復号器42は、E2Eエラーフィードバックを提供する。しかし、他の例において、復号器システム14の他のコンポーネントが、符号化器システム12にE2Eエラーフィードバックを供給することもできる。上で議論されたように、ビデオ符号化器20は、RLエラーを識別するために、任意の適切な技術を使用することができる。図2に示される例において、ビデオ符号化器20は、最近符号化したビデオフレームのANコンポーネント15への送信の間に（すなわちRL送信の間に）RLエラーが生じたかどうかを識別するために、RLPモジュール55に質問し、RLPモジュール55内のセットされたフラグを読み取る。

エラーフィルタ50は、ビデオ復号器42からE2Eエラーフィードバックを受け取ってエラーの出所を決定するように構成される。報告されたE2EエラーがRLで生じたエラーであるとエラーフィルタ50が決定する場合、ビデオ符号化器20がRLエラーを2回訂正することは、不必要なことであるかもしれない。しかしながら、E2Eエラーフィードバックの中で報告されているエラーはFLで生じたものであるとエラーフィルタ50が決定した場合、ビデオ符号化器20は、エラーの伝播を防ぐために、FLエラーを訂正してもよい。言いかえれば、エラーフィルタ50は、報告されたE2EエラーがRLエラーの一部としてすでに訂正されたか、それともビデオ符号化器20が当該エラーを訂正するべきであるかどうかを決定する。

エラーフィルタ50は、少なくとも2つの技術を用いて、ビデオ符号化器20によって訂正されるRLエラーを追跡することができる。第1の技術において、エラーフィルタ50は、RL上で失われたビデオフレームのビデオパケットのシーケンス番号（SN）を受け取る。第2の技術においては、エラーフィルタ50は、最近符号化したビデオフレームにRLエラーが生じたかどうかを示す情報を受信する。図2には第2の技術に準拠するエラーフィルタ50が示されている。RLエラーを識別する前記第2の技術の1つの例において、RTP層26Ａは、最近符号化したビデオフレームの最後のパケットにSNを割り当て、このSNをエラーフィルタ50のRLエラーSN抽出モジュールに供給する。RLエラーSN抽出モジュール52は、符号化器システム12の低位層においてセットされているフラグ（例えばバイナリ・ビット・フィールド）を読み取ることによって、SNに関連する符号化されたフレームがANコンポーネント15に送信されたときRLエラーが生じたかどうかを決定する。RLエラーSN抽出モジュール52によって読み取られたフラグは、RLエラーを識別するためにビデオ符号化器20によって読み取られたフラグと同じである。このフラグは、低位層が最も最近質問されたとき以来、ビデオフロー上で何らかのデータがずっと失われたままであることを示す。SNに関連するフレームにエラーが生じたら、RLエラーSN抽出モジュール52は、そのSNを格納する。SNに関連するフレームにエラーが生じなかったら、RLエラーSN抽出モジュール52は、送信エラーがあった最も最近のフレームのSNの格納を継続する。RLエラーSN抽出モジュール52内に格納されているSNは、SN₁と呼ばれる。

本件発明のいくつかの態様において、もし符号化されたフレームのためにデータを搬送するパケットのうちのどれかが失われたら、ビデオ符号化器20は、ビデオフレーム全体にエラー訂正を適用する。したがって、RLエラーSN抽出モジュール52は、1つまたは複数のRLエラーを含んでいる最も最近符号化したビデオフレームの最後のパケットのSN₁を追跡することによって、ビデオ符号化器20が訂正したRLエラーを追跡することができる。例えば、ある符号化されたフレームが101乃至115のSNを備えた複数のパケットに分離され、そしてSN105によって識別されるパケットがRL上で失われているとすると、ビデオ符号化器20は、その符号化されたフレームに対してエラー制御を適用する。このようにして、SN 115によって識別されるパケットの送信がRLエラーに帰着しなかったとしても、またSNは一般的にシーケンシャルであるがゆえに、エラー制御は、SN 115によって識別されるパケットにも適用されたのである。このようにして、エラーフィルタ50は、どのパケットがRLにおいて失われたかを正確に追跡するのではなく、訂正されたRLエラーを追跡する。エラーフィルタ50は、失われたまたはエラーを含む正確なパケットのSNを追跡することによって、訂正されたRLエラーを追跡することもできる。

他の態様において、ビデオ符号化器20は、ビデオフレーム全体にエラー訂正を適用するのではなく、エラーが生じたビデオデータのフレームの部分にエラー訂正を適用する。例えば、ビデオ符号化器20は、フレーム中の1つのマクロブロックに、または複数のマクロブロックを搬送する1つのパケットに、エラー訂正を適用してもよい。したがって、訂正されたパケットの、または実際に訂正されたマクロブロックを含んでいるパケットの、シーケンス番号SN₁を追跡することによって、RLエラーSN抽出モジュール52は、ビデオ符号化器20が訂正したRLエラーを追跡することができる。

ビデオ復号器42は、遺失RTPパケットのシーケンス番号SN₂の形式で、エラーフィルタ50のTXエラー決定モジュール54へE2Eエラーフィードバックを報告する。ビデオ復号器42は、エラーがあるとき、単にE2Eエラーフィードバックを送信し、正確な遺失パケットを識別する。E2Eエラーフィードバックは、2以上のパケットが失われている場合、2以上のSNを含んでもよい。ある例において、ビデオ符号化器20がフレーム全体に対してエラー制御を適用するので、TXエラー決定モジュール54は、SN₂としてビデオ復号器42によって報告された最も高いSNを追跡する。その最も高いSNは、ビデオフレームを代表する。言いかえれば、ビデオフレームを符号化するために使用される最後のパケットの最も高いSNだけがフレームを一義的に識別するのに必要である。

TXエラー決定モジュール54は、E2Eエラーフィードバックの中で報告されているエラーがすでに訂正されてしまったRLエラーであるのかまたはFLエラーであるのかを決定するために、E2Eエラーフィードバックの中で受信されたSN₂を、エラーが生じた最も最近符号化したビデオフレームの最後のパケットのSN₁と比較する。SN₂がSN₁より大きい場合、より高いSN₂は、SN₂によって識別されるパケットがSN₁によって識別されるパケットより後に送信されたことを示すので、E2Eエラーフィードバックの中で報告されたエラーは、FLエラーである。もしSN₂によって識別されるパケットの送信の間にRL上のエラーが生じたとしたら、RLエラーSN抽出モジュール52は、SN₂を、またはSN₂によって識別されるパケットが一部分であるフレームの最後のパケットのSNを、ビデオ符号化器12が訂正した最も最近のRLエラーの最も高いSNとして、記録していたであろう。しかしながら、RLエラーSN抽出モジュール52は、最も最近のRLエラーを識別するものとしてSN₁を格納しているので、SN₂によって識別されるパケットの中のエラーはRL送信の後に生じた可能性が高い。したがって、SN₂がSN₁より大きい場合、TXエラー決定モジュール54は、SN₂に関連するエラーは、前に訂正されていないということをビデオ符号化器20に通知する。この場合、ビデオ符号化器20は、次の符号化されたフレームにエラー制御を適用する。

反対に、SN₂がSN₁より小さい場合、SN₂によって識別されるパケットは、SN₁によって識別されるパケットより前に送信されかつすでに訂正されていたので、E2Eエラーフィードバックの中で報告されたエラーは、すでに訂正されたRLエラーであったということになる。SN₂がSN₁より小さい場合、ビデオ符号化器20は、次の符号化されたフレームにエラー制御を適用しない。SN₂がSN₁と等しい場合、E2Eエラーフィードバックの中で報告されたエラーは、すでに訂正された最も最近のRLエラーと同じであって、ビデオ符号化器20は、次の符号化されたフレームにいかなるエラー制御も適用しない。

エラーフィルタ50は、符号化器システム12が、RLビデオデータ送信エラーとFLビデオデータ送信エラーとを効率的に区別することを可能にする。後者のエラーは、ANコンポーネント15内に生じるエラーを含んでいる。異なるタイプのエラーを区別することによって、重複したエラーメッセージは、E2Eエラーフィードバックからフィルトアウトされ、もってビデオ符号化器20が同じエラーを2度訂正することを防止する。このようにして、ビデオ符号化器20は、ビデオ符号化器20がE2Eエラーフィードバックの中で報告されたすべてのエラーをすべて訂正するシステムと比較して、より効率的に作動することができる。

システム10は、RLレート適応モジュール58およびチャネルバンド幅適応型エラー制御モジュールをオプション的に含んでおり、そのことによって、システム10は、ビデオ符号化器20によって実装されるエラー制御を、チャネル16の利用可能なバンド幅に適合させることができる。図2に示される符号化器システム12の例において、TXエラー決定モジュール54は、チャネルバンド幅適応型エラー制御モジュールを通じてビデオ符号化器20にフィードバックを供給する。ビデオ復号器42からのE2Eフィードックの中で報告されたエラーに対してエラー制御を適用するべきかどうかをエラーフィルタ50が決定した後、チャネルバンド幅適応型エラー制御モジュール60は、特定の技法にしたがってエラー制御を適用するようにビデオ符号化器20に命令することができる。ここで、本技法は、チャネル16の利用可能なバンド幅に適合させられる。

チャネル状態は、有線チャネルおよびワイヤレスチャネルにとって関心事であるかもしれないが、とりわけ、ワイヤレスチャネル16上で実行されるモバイルVTアプリケーションにとっては問題である。そういうアプリケーションにおいては、チャネル状態は、フェージングまたはコンジェスションにより悪い影響を受ける可能性がある。例えば、チャネル16は、チャネル状態によって変化するスループットを有する逆方向リンク（RL）によって特徴づけられてもよい。スループットは、現在のワイヤレスチャネル送信レート、ワイヤレス基地局活動、および送信電力リミットのうちの1つまたは複数によって表わされるものとして、チャネル状態に基づいて推定されることができる。例えば、チャネル状態は、現在のMAC層データレート、逆方向リンク活動ビット（RAB)および電力ンプ（PA）限界に基づいて決定されてもよい。

変化するチャネル状態の結果として、ビデオ符号化器20は、圧迫的なチャネル16を回避するために、その符号化レートを調節してもよい。エラー制御は、典型的には、追加のバンド幅を占有するか、またはそうでなければ、符号化効率を低減する。そしてそれゆえに、チャネル16のバンド幅が変わると、チャネルバンド幅適応型エラー制御モジュール60は、ビデオ符号化器20によって適用されるエラー制御のタイプを制限するかもしれない。RLレート適応モジュール58は、RL状態を監視する。チャネルバンド幅適応型エラー制御モジュール60は、RL状態にしたがって、ビデオ符号化器20の符号化レートおよびビデオ符号化器20によって適用されるエラー制御のタイプを調節する。例えば、チャネルバンド幅に限りがあるとき、チャネルバンド幅適応型エラー制御モジュール60は、イントラフレーム挿入ではなく、イントラMBリフレッシュによってエラー制御を適用するようにビデオ符号化器20を指令する。イントラフレーム挿入は、一般にイントラMBリフレッシュより高域のバンド幅を必要とする。このようにして、チャネルバンド幅適応型エラー制御モジュール60は、ビデオ符号化器20によって適用されるエラー制御が、チャネルバンド幅に対して適応的であることを可能にする。

使用されることができるレート適応技術の例は、2006年5月31日付けで出願された「VIDEO RATE ADAPTATION TO REVERSE LINK CONDITIONS」という名称の米国特許出願番号11/445，099号(代理人文書番号060767)に説明されている。上に参照された特許出願の中で説明されているように、RLチャネル状態に合致するようにビデオ符号化器20によって実装された、ビデオデータ符号化レートを適応させる技術の一例において、ビデオのスループットは、ビデオフローRLPキュー28（図1）のトータルサイズに基づいて評価される。この場合、キューの充満は、RLチャネル状態の1つの表示として使用される。キュー充満は、パケットがRLPキュー28からプルされるレートを低減するチャネル状態を下げることによって（少なくともそのことを原因の一部として）生じる可能性がある。

他の例示的技術において、ビデオ符号化器20は、RLチャネル状態を監視し、そのチャネル状態にしたがってその符号化レートを調節するために、MAC層30およびRLP層26からの情報を使用することもできる。例えば、チャネル状態は、現在のMAC層データレート、逆方向リンク活動ビット（RAB）および電力アンプ（PA）限界に基づいて決定されてもよい。電力アンプ限界は、MAC層30内のPAビットによって示される。PA限界は、送信電力ヘッドルーム（headroom）を表わし、チャネル状態がいつ低下したかを表示する。電力ヘッドルーム限界は、デシベル（dB）で測られ、MAC層パケットの可能なペイロードサイズの最大値の限界を設定する。電力ヘッドルーム限界の値が低ければ低いほど、可能なペイロードサイズの最大値は小さく、したがって、スループットはそれだけ小さい。ヘッドルーム限界は、現在の送信電力に基づいて、送信の中で使用されることが許される最大レートを示してもよい。

図3は、E2EエラーフィードバックからのRLエラーをフィルタリングする技術を採用している符号化器装置12の作動例を例示する流れ図である。ビデオ源18から受け取られたビデオデータの符号化されたフレームを用いて1つまたは複数のパケットを生成する際（61）、RTP層26Ａは、最近符号化したビデオフレームの最後のパケットにシーケンス番号SN_ＥＦを割り当て(62)、RLエラーSN抽出モジュール52にSN_ＥＦを供給する。符号化されたビデオフレームがPHY層パケットに変換された後、符号化器システム12は、ANコンポーネント15およびチャネル16を介して、ビデオフレームを復号器システム14に送信する（64）。

ビデオ符号化器20は、最近符号化したフレームのパケットを復号器システム14に送信している間にRL送信エラーが生じたかを決定することができる(66)。上で説明されたように、ビデオ符号化器20は、エラーが生じたかどうかを示すフラグをチェックするために、RLPモジュール55のような符号化器システム12の低位層に質問することなど、RLエラーを識別するための任意の適切な技術を使用することができる。もしあるエラーが生じたら（例えば、低位層内のフラグがセットされたら）、ビデオ符号化器20は、例えば、符号化される次のビデオフレームのために異なる基準フレームを使用すること、イントラMBリフレッシュを使用すること、またはエラー伝播を防止するためにIフレームを挿入することによって、RL送信エラーにエラー訂正を適用してもよい（68）。

RLエラーSN抽出モジュール52は、最近符号化したビデオフレームが復号器システム14に送信されたとき送信エラーが生じたかを決定することもできる。再び、RLエラーSN抽出モジュール52は、送信エラーが生じたかを決定するために、符号化器システム12の低位層に質問してもよい。もし送信エラーが生じたら、RLエラーSN抽出モジュール52は、SN₁としてSN_ＥＦを記録する。もし最も最近符号化したフレームが復号器システム14に送信されるとき送信エラーが生じなかったとしたら、RLエラーSN抽出モジュール52は、前に記録されているSN₁を維持する。ここで、SN₁は、RL送信エラーが生じた最も最近のフレームに関連するシーケンス番号である（70）。

エラーフィルタ50のTXエラー決定モジュール54は、復号器システム14からE2Eエラーフィードバックを受け取ることもできる。ここでは、E2Eエラーフィードバックは、遺失パケットの、または遺失データを含んでいるパケットの、シーケンス番号SN₂を含んでいる。エラーフィルタ50、および特にTXエラー決定モジュール54は、E2Eエラーフィードバックの中で報告されているエラーが、ビデオ符号化器20によってすでに訂正されたRLエラーであるかどうかを決定するために、SN₁をSN₂と比較する(72)。もしSN₁がSN₂より小さければ（74）、E2Eエラーフィードバックの中で報告されているエラーは、まだ訂正されていないFLエラーである。TXエラー決定モジュール54は、E2Eエラーフィードバックの中で報告されているエラーがFLリンクエラーであることをビデオ符号化器20に知らせ、そしてビデオ符号化器は、それから、エラー伝播の停止のために、続けて符号化されるフレームにエラー制御を適用することができる（76）。すなわち、もしSN₁がSN₂より大きいまたはSN₂と等しければ、ビデオ符号化器20は、（ａ）新しいフレームのために異なる基準フレームを使用する、（ｂ）マクロブロック（MB）イントラ・リフレッシュ・レートを上げる、または（ｃ）復号器システム14におけるエラー伝播を止めるためにイントラフレーム（Ｉフレーム）を挿入することができる。

もしSN₂がSN₁より大きいまたはSN₁と等しければ、E2Eエラーフィードバックの中で報告されているエラーはすでに訂正されているRLエラーであって、ビデオ符号化器20は、エラーを訂正するためのアクションは何もとらない。もしSN₂がSN₁と等しければ、E2Eエラーフィードバックの中で報告されているパケットを含むフレームは、RLエラーが生じた最も最近のフレームであり、SN₂に関連するビデオパケットを訂正するために何かさらなるアクションをとることはない。

図3の流れ図の中で示されるプロセスは、任意の適切なタイムスパンの中で生じてもよい。ある例において、E2Eエラーフィードバックの中で報告されているエラーは、必要があれば、ビデオ符号化器20がビデオフレームを生成した時から約660ミリ秒以内に訂正される（61）。660ミリ秒のタイムスパンの後、ビデオデータの別のフレームについて、本プロセスが繰り返されることができる。RLエラーSN抽出モジュール52内のSNバッファは、最も最近のRLエラーのSNによってSN₁が上書きされるまで、前に記録されたSN₁を保持する。

図4は、E2EエラーフィードバックからのRLエラーをフィルタリングするための別の技術を使用している符号化器システム12の他の作動例を例示する流れ図である。図4に示されるプロセスは、図3に示されるプロセスと実質的に一致するが、エラーフィルタ50が、エラーを含むビデオデータの最も最近のフレームの最後のパケットではなく、エラーを含むパケットのシーケンス番号SN₃によって、ビデオ符号化器20により訂正された最も最近のRLエラーを識別する点において相違する。ビデオ符号化器20がビデオ源18から受信したデータからビデオフレームを生成した後（61）、符号化器システム12は、ANコンポーネント15およびチャネル16を通じて、復号器システム14にビデオフレームを送信する（64）。

図3に示される例示的な流れ図とは対照的に、図4の流れ図の中で示される作動例においては、ビデオ符号化器20は、エラーを含む最も最近符号化したフレームの最後のパケットのSN₁ではなく、遺失データを含む正確なパケットのシーケンス番号SN₃によって、RLエラーを識別する（80）。図4に示される符号化器システム12の作動例において、ビデオ符号化器20は、ビデオフレーム全体（これは、図3に示される例のように、複数のパケットにまたがっている）にエラー訂正を適用するのではなく、シーケンス番号SN₃によって識別されるパケットにエラー訂正を適用するように構成されてもよい。しかしながら、代案として、ビデオ符号化器20は、たとえ、遺失データを含んでいる正確なパケットのシーケンス番号SN₃がRLエラーSN抽出モジュール52によって識別され追跡されるとしても、ビデオフレーム全体にエラー訂正を適用することもできる。

ある例において、ANコンポーネント15は、送信エラーが生じると、MAC層30にNAKを送信し、NAKに関連するMACパケットをPCPモジュール56に通知する。MACパケットがビデオデータを含んでいるとPCPモジュール56が決定した後、PCPモジュール56は、どのRLPキューが送信エラーを経験したパケットを含むかをRLPパケットNAKでRLPモジュール55に通知する。RLPモジュール55は、どのパケットが遺失データを含むか、またはどのパケットが失われたかを決定する。その決定は、RLPモジュール55がパケットのシーケンス番号SN₃を決定することを可能にする。遺失パケットまたはエラーを含んでいるパケットのSN₃を識別する技術の実装は、エラーを含んでいたビデオフレームの最後のパケットのSN₁を識別する技術の実装よりずっと複雑である。それは、前者の技術のほうがRLP層26AおよびRLPモジュール55の修正を必要とするからである。

RLエラーSN抽出モジュール52は、遺失データを含む正確なパケットのSN₃を記録する（82）。図4に示される流れ図の他の部分は、図3に示されるものと同様である。特に、ビデオ符号化器20は、任意の適切な技術を使用してRLエラーを訂正し（68）、エラーフィルタ50は、遺失ビデオデータを含んでいるパケットのSN₂を示すビデオ復号器42からのE2Eエラーフィードバックを受信し（図3の72）、およびE2Eエラーフィードバックの中で報告されているエラーがビデオ符号化器20によって訂正されたRLエラーであるかどうかを決定するためにSN₃をSN₂と比較する(図3の74)。もしSN₃がSN₂より大きいまたはSN₂と等しければ、SN₂によって識別されるエラーを含んでいるパケットは、RLエラーであって、ビデオ符号化器20は、訂正アクションをとらない。

もしSN₃がSN₂より小さければ、遺失データを含みかつSN₂を有するパケットは、FLエラーの結果であって、そのエラーは、ビデオ符号化器20によってまだ訂正されていないエラーである。エラーフィルタ50は、それから、エラーのさらなる伝播を防ぐために、E2Eエラーフィードバックの中で報告されているエラーにエラー訂正を適用するようにビデオ符号化器20に促してもよい（76）。特に、エラーフィルタ50は、チャネルバンド幅適応型エラー制御モジュール60を促してもよく、これにより、さらにビデオ符号化器を促すことになる。上で論じたように、RLレート適応モジュール58は、RL状態を監視し、およびチャネルバンド幅適応型エラー制御モジュール60は、RL状態にしたがって、ビデオ符号化器20の符号化レートを調節する。したがって、チャネルバンド幅適応型エラー制御モジュール60は、ビデオ符号化器20にエラー制御を適用するように促す前に、RLレート適応モジュール58からのフィードバックに基づいてRL上のチャネル16の利用可能なバンド幅を決定してもよい（73）。図3には示されていないが、そこに示されたプロセスは、ビデオ符号化器20にエラー制御を適用するように促す前に、RL上のチャネル16の利用可能なバンド幅を決定することをも含んでよい。

本件開示において説明された技術は、汎用目的マイクロプロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）または他の等価な論理装置の中で実装されてもよい。例えば、ビデオ符号化器装置12、ビデオ復号器装置14、および関連するコンポーネントおよびモジュールは、符号化プロセス、または符号化/復号（CODEC）プロセスの部分として実装され、DSPまたはその他の処理装置の上で動作するものであってもよい。したがって、モジュールとして説明されたコンポーネントは、プロセスまたは別々のプロセスのようなプログラム可能な特徴を形成してもよい。

1つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェアまたはこれらのものの任意の組み合わせにおいて実装されることができる。ソフトウェアにおいて実装される場合、当該機能は、1つまたは複数の命令として、コンピュータ可読媒体上に記憶または伝送されることができる。コンピュータ可読媒体は、コンピュータ記憶媒体のみならず、コンピュータプログラムをある場所から他の場所へ転送することを支援する任意の媒体を含む通信媒体も含む。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってよい。実例として、かつ非制限的列挙として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶デバイス、もしくは任意の他の媒体であって、命令またはデータ構造の形式において所望のプログラムコード手段を伝達または記憶するために使用可能で、かつ汎用目的コンピュータまたは特殊目的コンピュータもしくは汎用目的プロセッサまたは特殊目的プロセッサによってアクセス可能な媒体を含むことができる。また、どのような接続もコンピュータ可読媒体と適切に呼ばれる。例えば、もしソフトウェアがウェブサイト、サーバ、または他の離れた情報源から、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、デジタル加入者線(DSL)またはワイヤレス技術（例えば、赤外線、無線およびマイクロ波など）を使用して送信されるのであれば、そうした同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、DSLまたはワイヤレス技術（例えば、赤外線、無線およびマイクロ波など)もまた、媒体の定義に含まれる。本明細書において使用されているように、ディスク（disk and disc）は、コンパクトディスク（CD）、ディジタルバーサタイルディスク(DVD)、フレキシブルディスクおよびブルーレイディスクを含む。ここで、diskは、通常、データを磁気的に再生するものをいい、discは、レーザを用いてデータを光学的に再生するものをいう。上記のものの組み合わせもまた、コンピュータ可読媒体の範疇に含まれるべきである。本明細書において使用されているように、媒体は、コンピュータプログラムをある場所から他の場所に転送することを容易にする任意の媒体を含んでいる。

本件開示の発明の様々な事例が以上において説明された。これらの事例およびその他の例は、以下の特許請求の範囲の内である。

Claims

ビデオ復号器によって検知されたビデオデータエラーの表示を受け取ること、
前記ビデオデータエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたエラーであるかどうかを決定すること、および
前記ビデオデータエラーが前記逆方向リンク上で生じたエラーでなければ、前記ビデオデータエラーの表示に応答してエラー制御を適用し、および前記ビデオデータエラーが前記逆方向リンク上で生じたエラーであれば、前記ビデオデータエラーに応答してエラー制御を適用しないこと
を具備する方法。
請求項1に記載の方法において、前記ビデオデータエラーが前記ワイヤレスネットワークの前記逆方向リンク上で生じたエラーであれば、前記方法は、前記ビデオ復号器から前記ビデオデータエラーの前記表示を受け取る前に、前記ビデオデータエラーに関係する情報を格納することをさらに具備し、および前記ビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定することは、前記格納された情報に基づく方法。
前記ビデオ復号器から前記ビデオデータエラーの前記表示を受け取る前に、前記ビデオデータエラーに応答してエラー制御を適用することをさらに具備する、請求項2に記載の方法
請求項1に記載の方法において、前記ビデオデータエラーは、第1のビデオデータエラーであって、前記方法は、前記ビデオ復号器から前記ビデオデータエラーの前記表示を受け取る前に、前記ワイヤレスネットワークの前記逆方向リンク上で生じた第2のビデオデータエラーに関係する情報を格納することをさらに具備し、および前記第1のビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定することは、前記格納された情報に基づく方法。
前記第2のビデオデータエラーに応答してエラー制御を適用することをさらに具備する、請求項4の方法。
請求項4に記載の方法において、前記第1のビデオデータエラーの前記表示は、前記第1のビデオデータエラーに関連する第1のパケットの第1のシーケンス番号を含み、および前記情報は、前記第2のビデオデータエラーに関連する第2のパケットの第2のシーケンス番号を具備し、および前記第1のビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定することは、前記第1および第2のシーケンス番号を比較することを具備する方法。
前記第1のパケットは、前記第1のビデオデータエラーを具備する、請求項6に記載の方法。
前記第2のパケットは、ビデオデータの符号化されたフレームの最後のパケットであり、前記第2のビデオデータエラーは、前記符号化されたフレームの中で生じたエラーである、請求項6に記載の方法。
前記第2のパケットは、前記第2のビデオデータエラーを具備する、請求項6に記載の方法。
請求項4に記載の方法において、前記第2のビデオデータエラーに関係する前記情報を格納することは、
ビデオデータの符号化されたフレームの最後のパケットにシーケンス番号を割り当てること、
前記符号化されたフレームを前記ワイヤレスネットワーク上で送信すること、
前記ワイヤレスネットワークの前記逆方向リンク上での前記符号化されたフレームの送信が前記第2のビデオデータエラーに帰着したかどうかを決定すること、および
前記ワイヤレスネットワークの前記逆方向リンク上での前記符号化されたフレームの送信が前記第2のビデオデータエラーに帰着した場合、前記シーケンス番号を格納すること
を具備する方法。
前記符号化されたフレームの送信が前記第2のビデオデータエラーに帰着したかどうかを決定することは、無線リンクプロトコルモジュールの中にフラグがセットされるかどうかをチェックすることを具備する、請求項10に記載の方法。
前記ビデオデータエラーが前記逆方向リンク上で生じたエラーでなければ前記ビデオデータエラーに応答してエラー制御を適用することは、前記ワイヤレスネットワークの利用可能なバンド幅に基づいてエラー制御技術を選択することを具備する、請求項1に記載の方法。
符号化されたフレームを生成するためにビデオデータのフレームを符号化すること、
前記符号化されたフレームの少なくとも一部分を用いてパケットを生成すること、および
前記パケットを前記ワイヤレスネットワーク上で前記ビデオ復号器に送信すること、ここにおいて、前記ビデオデータエラーは、前記符号化されたフレームの中で生じたエラーである、
をさらに具備する、請求項1に記載の方法。
請求項13に記載の方法において、ビデオデータの後続フレームを符号化する前に、前記方法は、前記ワイヤレスネットワークの前記逆方向リンク上で前記パケットを送信することが前記第2のビデオデータエラーに帰着したかどうかを決定することを具備する方法。
請求項14に記載の方法において、前記パケットを前記ワイヤレスネットワークの前記逆方向リンク上で送信することが前記ビデオデータエラーに帰着したかどうかを決定することは、
メディアアクセス制御（MAC）層が前記ワイヤレスネットワークから否定応答（NAK）を受け取ったかどうかを決定すること、および
前記受け取られたNAKが前記パケットに関連するかどうかを決定すること
を具備する方法。
前記MAC層が前記ワイヤレスネットワークからNAKを受け取ったかどうかを決定することは、無線リンクプロトコル（RLP）モジュールの中にフラグがセットされるかどうかをチェックすることを具備する、請求項15に記載の方法。
前記エラー制御は、ビデオデータのフレームをイントラフレームとして符号化すること、イントラ符号化されたマクロブロックの割合を上げること、または動き予測のための基準として前記ビデオデータエラーを具備するビデオデータの第2のフレームの前に、符号化されたビデオデータの第1の符号化されたフレームを使用すること、のうちの少なくとも1つを具備する、請求項1に記載の方法。
ビデオ復号器によって検知されたビデオデータエラーの表示を受け取る送受信機と、
ビデオ符号化器と、
前記ビデオデータエラーが前記ビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたエラーであるかどうかを決定するエラーフィルタであって、前記ビデオ符号化器は、前記ビデオデータが前記逆方向リンク上で生じたエラーでなければ、前記ビデオデータエラーの前記表示に応答してエラー制御を適用するように構成されているエラーフィルタと、
を具備するシステム。
前記ビデオデータエラーが前記ワイヤレスネットワークの前記逆方向リンク上で生じたエラーであれば、前記エラーフィルタは、前記ビデオ復号器から前記ビデオデータエラーの前記表示を受け取る前に、前記ビデオデータエラーに関係する情報を格納する、請求項18に記載のシステム。
請求項19に記載のシステムにおいて、前記ビデオ符号化器は、ビデオデータのフレームを符号化するように構成されており、および前記システムは、前記符号化されたフレームの少なくとも一部分を用いてパケットを生成するモジュールをさらに具備し、前記送受信機は、前記パケットをワイヤレスネットワーク上で前記ビデオ復号器に送信するように構成されており、および前記情報は、前記符号化されたフレームの最後のパケットのシーケンス番号を具備するシステム。
請求項18に記載のシステムにおいて、前記ビデオデータエラーは、第1のビデオデータエラーであり、および前記エラーフィルタは、前記ワイヤレスネットワークの前記逆方向リンク上で生じた第2のビデオデータエラーに関係する情報を格納し、および前記格納された情報に基づいて前記第1のビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定するように構成されているシステム。
請求項18に記載のシステムにおいて、前記ビデオ符号化器は、ビデオデータのフレームを符号化するように構成されており、および前記システムは、前記符号化されたフレームの少なくとも一部分を用いてパケットを生成するモジュールをさらに具備し、前記送受信機は、前記パケットを前記ワイヤレスネットワーク上で前記ビデオ復号器に送信するように構成されており、および前記情報は、前記符号化されたフレームを前記ワイヤレスネットワーク上で前記送信することが前記第2のビデオデータエラーに帰着した場合、前記符号化されたフレームの最後のパケットのシーケンス番号を具備するシステム。
請求項22に記載のシステムにおいて、前記システムは、無線リンクプロトコル（RLP）モジュールおよびメディアアクセス制御（MAC）層をさらに具備し、前記RLPモジュールは、前記MAC層が前記ネットワークデバイスから否定応答（NAK）を受け取ったかどうかを決定し、および前記パケットが前記ワイヤレスネットワーク上で送信されたとき前記第2のビデオデータエラーが生じたかどうかを決定するために前記NAKが前記パケットに関連するかどうかを決定するように構成されているシステム。
前記パケットは、第1のパケットであり、および前記ビデオデータエラーの前記表示は、遺失データを含んでいる第2のパケットのシーケンス番号を具備する、請求項18に記載のシステム。
前記ビデオデータエラーは、第1のビデオデータエラーであり、および前記シーケンス番号は、第1のシーケンス番号である、請求項24に記載のシステムにおいて、
前記エラーフィルタは、
前記送受信機から前記第1のシーケンス番号を受け取る第1のモジュールと、
前記逆方向リンク上で生じた第2のビデオデータエラーを含んでいるビデオデータの最も最近符号化したフレームの最後のパケットを識別する第2のシーケンス番号を受け取る第2のモジュールであって、前記エラーフィルタは、前記第1のビデオデータエラーが前記逆方向リンクの上で生じたエラーであるかどうかを決定するために前記第1および第2のシーケンス番号を比較するように構成されているモジュールと
を具備するシステム。
請求項25に記載のシステムにおいて、前記システムは、前記最後のパケットに前記第2のシーケンス番号を割り当てて前記第2のモジュールに前記第2のシーケンス番号を供給するためのリアルタイムトランスポートプロトコル（RTP）層をさらに具備し、前記第2のモジュールは、無線リンクプロトコルモジュールの中でフラグがセットされるかどうかをチェックすることによって、前記第2のビデオデータエラーが生じたかどうかを決定するシステム。
請求項24に記載のシステムにおいて、前記ビデオ符号化器は、ビデオデータのフレームを符号化するように構成されており、および前記システムは、前記符号化されたフレームの少なくとも一部分を用いてパケットを生成するモジュールをさらに具備し、前記送受信機は、前記パケットを前記ワイヤレスネットワーク上で前記ビデオ復号器に送信するように構成されており、前記ビデオデータエラーは、第1のビデオデータエラーであり、および前記シーケンス番号は、第1のシーケンス番号であり、および前記エラーフィルタは、下記を具備するシステム：
前記送受信機から前記第1のシーケンス番号を受け取る第1のモジュール、および
前記パケットを前記ワイヤレスネットワークの前記逆方向リンク上で送信することが第2のビデオデータエラーに帰着した場合、ビデオデータの前記フレームの前記パケットを識別する第2のシーケンス番号を受け取る第2のモジュールであって、前記エラーフィルタは、前記第1のビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定するために、前記第1および第2のシーケンス番号を比較するように構成されているモジュール。
前記ビデオデータエラーは、第1のビデオデータエラーであり、前記パケットは、第1のパケットであり、および前記シーケンス番号は、第1のシーケンス番号である、請求項24に記載のシステムにおいて、前記エラーフィルタは、下記を具備するシステム：
前記送受信機から第1のシーケンス番号を受け取る第1のモジュール、および
前記逆方向リンク上で生じた第2のビデオデータエラーを含んでいるビデオデータの第2のパケットを識別する第2のシーケンス番号を受け取る第2のモジュールであって、前記エラーフィルタは、前記第1のビデオデータエラーが前記逆方向リンク上で生じたエラーであるかどうかを決定するために、前記第1および第2のシーケンス番号を比較するように構成されているモジュール。
前記ワイヤレスネットワークの状態を監視する第1のモジュール、および
前記ワイヤレスネットワークの前記状態に基づいて、前記ビデオ符号化器によって適用されるエラー制御技術を選択する第2のモジュール
をさらに具備する請求項18に記載のシステム。
前記エラー制御は、ビデオデータのフレームをイントラフレームとして符号化すること、イントラ符号化されたマクロブロックの割合を上げること、または動き予測のための基準として前記ビデオデータエラーを具備するビデオデータの第2のフレームの前に、符号化されたビデオデータの第1の符号化されたフレームを使用すること、のうちの少なくとも1つを具備する、請求項18に記載の方法。
ビデオ復号器によって検知されたビデオデータエラーの表示を受け取ることをコンピュータにさせる命令、
前記ビデオデータエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたエラーであるかどうかを決定することをコンピュータにさせる命令、および
前記ビデオデータエラーが前記逆方向リンク上で生じたエラーでなければ、前記ビデオデータエラーの表示に応答してエラー制御を適用し、および前記ビデオデータエラーが前記逆方向リンク上で生じたエラーであれば、前記ビデオデータエラーに応答してエラー制御を適用しないことをコンピュータにさせる命令
を具備するコンピュータ可読媒体
を具備するコンピュータプログラムプロダクト。
前記コンピュータ可読媒体は、前記ワイヤレスネットワークの状態を監視すること、および前記ワイヤレスネットワークの前記状態に基づいて前記エラー制御を選択することをコンピュータにさせる命令をさらに具備する、請求項31に記載のコンピュータプログラムプロダクト。
ビデオ復号器によって検知されたビデオデータエラーの表示を受け取る手段、
前記ビデオエラーがビデオ符号化器とネットワークデバイスとの間のワイヤレスネットワークの逆方向リンク上で生じたものであるかどうかを決定する手段、および
前記ビデオデータエラーが前記逆方向リンク上で生じたエラーでなければ、前記ビデオデータエラーの表示に応答してエラー制御を適用し、および前記ビデオデータエラーが前記逆方向リンク上で生じたエラーであれば、前記ビデオデータエラーに応答してエラー制御を適用しない手段
を具備するシステム。