JP5351040B2 - 映像符号化規格に対応した映像レート制御の改善 - Google Patents

Description

本発明は、一般的に、映像符号化に関する。特に、本発明は、例えば、他の規格への対応も排除しないが、Ｈ．２６３及びＭＰＥＧ−４（動画像符号化専門家会合−４）規格等の映像符号化規格に対応した映像符号化の際の映像レート制御に関する。

ここ数年、デジタル及びオンライン映像並びにそれらのアプリケーションが多大な人気を博している。高速通信技術及びマルチメディア・アプリケーションの出現に伴って、デジタル映像コーデックが、ＭＰＥＧ−２（動画像符号化専門家会合−２）フォーマットを用いるＤＶＤ（デジタル映像ディスク）、ＭＰＥＧ−１（動画像符号化専門家会合−１）フォーマットを用いるＶＣＤ２（映像コンパクトディスク）、台頭しつつある衛星及び地上波放送システム並びにインターネット等、多くの領域及びシステムで用いられる。

更に具体的には、映像アプリケーションのこの人気によって、映像データを圧縮及び展開する映像コーデックの興味深い発展が可能になった。映像データ圧縮では、映像品質と、圧縮率即ち必要な送信データ量、言い換えると、映像を表現するのに必要なビットレートとの間の均衡が保たれる。

更に、例えば、符号化及び復号化アルゴリズムの複雑さ、データ欠落及びエラーに対する堅牢さ、最先端技術の圧縮アルゴリズム設計並びにテレビ会議アプリケーションのエンド・ツー・エンド遅延等も考慮される。

複数の映像符号化規格が存在し、それらは、各々、特定の種類のアプリケーションのために特別に設計されている。例えば、ＩＴＵ（国際電気通信連合）発行のＨ．２６３規格は、４０乃至１２８ｋｂｐｓ（キロビット／秒）範囲等の低ビットレート用の映像符号化及び圧縮規格である。更に具体的には、この規格は、テレビ会議及びテレビ電話アプリケーションの映像符号化をサポートする。

Ｈ．２６３規格は、符号化されたデータストリームのフォーマット及びコンテンツを規定し、従って、エンコーダ及びデコーダ自体の設計又は構造を具体的に提供することなく、エンコーダ及びデコーダが満たすべき要件を設定している。同様の原則は、ＭＰＥＧ−４等の他の映像規格にも当てはまる。

映像圧縮において、各画面は、通常、一般的にフレームと称される２種類の画面、即ち、イントラフレーム及びインターフレームによって表される。更に、インターフレームは、２つの範疇、即ち、Ｐフレーム（前方向予測フレーム）及びＢフレーム（双方向予測又は双方向フレーム）に分けられる。イントラフレームは、画面全体を表し、従って、画面全体のコンテンツを符号化しなければならないことから、帯域幅を消費する。圧縮して、それにより帯域幅を節約するために、画面全体（即ち、イントラフレーム）間の差異だけを符号化して送信する。それらの差異は、Ｐフレーム及びＢフレームによって表される。例えば、２つの連続した画面間の背景は、通常、変化せず、従って、その背景は、再度符号化する必要はない。Ｂフレームは、双方向であり、従って、双方向の予測、即ち、先行及び後続画面による予測を実施する。

更に、映像を圧縮する際、画面は、マクロブロックに分割され処理される。実際には、処理は、マクロブロック毎に適用される。各マクロブロックは、一般的に、１６×１６画素のブロックを表す。

映像エンコーダには、一般的に、動き推定モジュール、動き補償モジュール、ＤＣＴ（離散コサイン変換）モジュール、及び量子化モジュールが含まれる。

動き推定モジュールによって、先行フレームのどの領域が、現フレームに移行していて再符号化する必要のない領域か予測し得る。

動き補償モジュールによって、先行フレームから現フレームへの領域の動きを補償し得る。

ＤＣＴは、一般的に、画素のブロックを「空間周波数係数」に変換するために用いられる。ＤＣＴは、マクロブロック等の二次元ブロックの画素に作用する。ＤＣＴは、画面のエネルギ（又は、情報）を効率的に圧縮することから、一般的に、ＤＣＴ係数が少なくても、充分に元の画面を再現できる。

更に、量子化モジュールは、ＤＣＴ係数を量子化するために設けられる。例えば、量子化モジュールは、ほぼゼロであるＤＣＴ係数をゼロに設定し、また、残りのゼロ以外のＤＣＴ係数を量子化する。

映像符号化における制限の１つは、チャネルの容量に由来する。実際、通信チャネルは、１秒間に送信できるビットの数によって制限される。多くのチャネルでは、例えば、ＩＳＤＮ（総合サービスデジタル網）、ＰＯＴＳ（基本電話サービス）、無線チャネル等では、ビットレートは一定である。

しかしながら、映像を圧縮するために用いるアルゴリズムの効率及びそれら映像の動きの複雑さに依存して、映像を符号化するために、また、符号化された映像を送信するために必要なビット予算及びビットレートは、変動又は増加することがある。従って、レート制御を用いて、様々な複雑さの映像を符号化するのに必要なビットレートを、それらの符号化された映像の送信に用いるチャネルのビットレートに調整する。

Ｈ．２６３規格に用いる現在のレート制御アルゴリズムは、ＴＭＮ８（テストモデル短期バージョン８）と呼ばれる。一般的に言えば、このレート制御アルゴリズムは、平均ビットレートだけを確実に満たす。

ジョルディ・リバス・コーベラ（Ｊｏｒｄｉ＿Ｒｉｂａｓ−Ｃｏｒｂｅｒａ）による１９９９年の論文、表題「低遅延通信のためのＤＣＴ映像符号化におけるレート制御」（以降、参考文献１と称する）には、目標フレームサイズに関連する目標平均ビットレートをフレーム毎に確実に満たすためにレート制御ＴＭＮ８によって用いるアルゴリズムが、開示されている。更に具体的には、ＴＭＮ８レート制御アルゴリズムは、幾つかの画像統計値を演算して、各マクロブロック用の幾つかの固有のＱＰ（量子化パラメータ）値を求めて、目標フレームサイズを満たすように、各インターフレーム内のＱＰ値を更新する。残念なことに、この制御は、あくまでも概算であり、そして、結果的に生じるフレームサイズは、目標フレームサイズを大幅に上回ったり下回ったりすることが多い。イントラフレームの場合、映像シーケンスの特性にかかわらず、固定されたＱＰが、映像シーケンス全体に用いられる。イントラフレームのサイズを制御できないと、一般的に、所望のビットレートを超過する要因になる。

更に、レート制御ＴＭＮ８は、平均目標ビットレートと最大ビットレートとの双方を制御することができない。実際、Ｈ．２６３映像符号化規格に用いるＴＭＮ８レート制御アルゴリズムは、平均ビットレートパラメータだけを用いる。しかしながら、多くの映像アプリケーションでは、平均ビットレートに加え、最大ビットレートも考慮すべきである。

ＴＭＮ８は、所定の目標ビットレートを超過しないと保証できないが、この理由は、エンコーダが、イントラフレームサイズを制御できず、また、インターフレームサイズも充分に制御できないためである。所定の目標ビットレートを超過した場合、エンコーダは、オーバーフローを補償するように、幾つかの数のフレームをスキップする。しかしながら、そうすることによって通信及び映像の品質が変わる。

従って、Ｈ．２６３規格等の映像符号化規格における現在のレート制御の制限に関連して、上述した問題の克服に対するニーズがある。従って、映像符号化規格におけるレート制御を改善するための方法及びシステムを求める。

本発明の目的は、従って、平均ビットレート及び最大ビットレート双方を確実に考慮することによって、映像の品質を強化するように、映像符号化における、例えば、Ｈ．２６３及びＭＰＥＧ−４規格等の映像符号化規格におけるレート制御を提供することである。

更に具体的には、本発明に基づき、映像符号化におけるレート制御のための方法を提供する。本方法には、最大ビットレート及び平均ビットレートを指定する段階と、指定された最大ビットレートを満たすためのインターフレームサイズを計算する段階であって、このインターフレームサイズが、イントラフレームの位置を基準としたインターフレームの位置に関連する前記段階と、指定された最大ビットレート及び平均ビットレート双方を満たすための計算されたインターフレームサイズを調整する段階と、が含まれる。

更に、本発明は、復号遅延を考慮する場合、イントラフレームで分離された一連のインターフレームを含むシーケンスの映像符号化におけるレート制御を改善するための方法に関する。本方法には、一連の各インターフレームについて、目標フレームサイズを演算する段階と、先行イントラフレーム及び後続イントラフレームを基準とした各インターフレームの位置に関係する最大バッファレベルを演算する段階と、演算された目標フレームサイズ及び演算された最大バッファレベルに応じて、送信バッファレベルを最適化する段階と、が含まれる。

本発明は、更に、映像符号化におけるレート制御のための装置に関連する。本装置には、指定された最大ビットレートを満たすためのインターフレームサイズの第１計算器であって、このインターフレームサイズが、イントラフレームの位置を基準としたインターフレームの位置に関係する前記第１計算器と、指定された最大ビットレートに加えて、指定された平均ビットレートを満たすために、第１計算器によって計算されたインターフレームサイズの第２計算器と、が含まれる。

本発明は、更に、復号遅延を許容する場合、イントラフレームによって分離された一連のインターフレームを含むシーケンスの映像符号化におけるレート制御を改善するための装置に関する。本装置には、各インターフレームについて、目標フレームサイズの計算器と、先行イントラフレーム及び後続イントラフレームを基準とした各インターフレームの位置に関係する最大バッファレベルの計算器と、演算された目標フレームサイズ及び演算された最大バッファレベルに応じた送信バッファレベルの最適化器と、が含まれる。

本発明の上記及び他の目的、利点、並びに特徴は、添付図面を参照して、あくまで一例として与えられた例示の実施形態の以下の非限定的説明を解釈すると、更に明らかになる。

映像通信システムの概略図である。 図１の通信システムにおける映像符号化のためのエンコーダの概略ブロック図である。 本発明の非限定的な例示の実施形態に基づく、映像符号化におけるレート制御のための装置の概略ブロック図である。 Ｈ．２６３映像符号化規格におけるレート制御のための本発明の非限定的な例示の実施形態による方法を示すフローチャートである。 インターフレーム目標サイズを計算するための方法の例を示すフローチャートである。 インターフレーム目標サイズを計算するための方法の他の例を示すフローチャートである。 計算されたインターフレーム目標サイズを更新するための方法の例を示すフローチャートである。 計算されたインターフレーム目標サイズを更新するための方法の他の例を示すフローチャートである。 Ｈ．２６３映像符号化規格におけるレート制御のための本発明の他の非限定的な例示の実施形態による方法を示すフローチャートである。

一般的に言えば、本発明の非限定的な例示の実施形態によるレート制御を改善するための装置によって、ＴＭＮ８レート制御では満たせない以下の要件に対応し得る。
１．イントラフレーム用の目標フレームサイズを指定し、また、満足することが可能であること。
‐そうすることにより、イントラフレームの品質及びイントラフレームの存在に起因するビットレートの変動を制御し得る。また、
‐ＱＰ（量子化パラメータ）は、固定されず、イントラフレーム特性に基づき演算され、また、指定されたイントラフレーム目標サイズを満足するために、イントラフレームの各ブロックの画素に対して、変えることができる。
２．平均ビットレートに加えて、最大ビットレートを指定して、満たすことが可能であること。
‐更に、フレームを符号化した後、符号化されたフレームサイズの検証を実施し、最大ビットレートと比較して、符号化されたフレームサイズが、大き過ぎて許容できない場合、フレームは、より小さい目標サイズで再符号化するか又は削除する必要がある。
‐対照的に、ＴＭＮ８レート制御は、例えば、フレームを削除することによって、平均ビットレートだけを満たそうとするが、それは、最大ビットレートを満たせない。
３．最大ビットレートを管理する円形バッファ及び平均ビットレート用の他のバッファを有すること。
‐対照的に、ＴＭＮ８は、１つの送信バッファだけを用いる。
４．イントラフレームのタイミング及び符号化に依存するインターフレーム目標サイズを推定し計算すること。イントラフレームが、つい最近符号化された場合又はイントラフレームが、まもなく符号化される場合、
‐更に、インターフレーム目標サイズの推定には、イントラフレームのサイズ、２つのイントラフレーム間の期間、平均ビットレートを下回る又は上回るビット数等、様々なパラメータを考慮する。
‐対照的に、ＴＭＮ８は、送信バッファ占有期間及び割合だけに基づく目標サイズを用いる。それは、後続イントラフレームを予測せず、また通常、イントラフレームの符号化後、多くのフレームをスキップし、このため映像品質の劣化を招く。
５．フレームを事前に且つ予防的に削除すること。
‐本発明の１つの非限定的な例示の実施形態による装置は、最大ビットレートを超過しないことを保証し、また、必要に応じて、送信する前にフレームを削除する。フレーム削除の判断は、推定されたものと実現されたもの、即ち、実際に符号化されたものとの間の差異に基づく。
‐対照的に、ＴＭＮ８は、大き過ぎて目標サイズを超過することになるフレームを生成して送信した後、フレームを省く。そのようにしても、映像の品質には、既に害が及んでしまっている。更に、フレーム削除の判断は、送信バッファの埋まり具合に基づく。

Ｉ．システム
まず、映像通信システムについて、そこで映像符号化が行われる通信システムを定義するように述べる。しかしながら、この通信システムは、本発明の一部ではない。

図１において、通信システム１０について述べる。

通信システム１０には、映像カメラ又はウェブカメラ等、映像を取り込むための映像ソース１２が含まれる。そして、それらの映像は、映像エンコーダ１４に供給される。映像エンコーダ１４は、ネットワーク１６に接続されている。ネットワーク１６には、更に、符号化された映像をデコーダ１８に送信するための通信リンクを含み得る。最後に、デコーダ１８は、映像プレーヤ２０に接続されている。映像プレーヤ２０は、コンピュータ、テレビ受像機又は映像を表示し得る任意の装置であってよい。

例えば、第一者と第二者との間の通信セッション中、第一者の映像ソース１２によって取り込まれた映像は、エンコーダ１４によって受信され、次に、エンコーダ１４は、映像の圧縮及び符号化を実施し得る。一旦、エンコーダ１４が映像データの符号化を終えると、符号化された映像は、ネットワーク１６又は単に通信リンクを介して、第二者に送信される。第二者側では、デコーダ１８は、符号化された映像を受信し、そして、その復号を開始する。一旦、符号化された映像が復号されると、デコーダ１８は、復号された映像データを映像プレーヤ２０に送り、映像プレーヤ２０は、次に、第一者から受信した映像の再生を開始し得る。

エンコーダ１４について、図２で詳述する。エンコーダ１４には、１つ又は複数のプロセス３０_１乃至３０_Ｎが含まれ、これによって、後述するように、映像符号化の際、異なる動作を実施し得る。エンコーダ１４には、更に、動き推定モジュール３２、動き補償モジュール３４、ＤＣＴモジュール３６、量子化モジュール３８及びバッファ４０を含む。

尚、このエンコーダ１４は、異なるプラットホームで、例えば、バントリックス（Ｖａｎｔｒｉｘ）社のｓｐｏｔ＿ｘｄｅ（登録商標）等で実現し得る。映像ソースは、映像ファイル又は映像カメラであってよい。

上述したように、動き推定モジュール３２によって、現フレームに移動したであろう先行フレームの範囲を予測し得る。

そして、動き補償モジュール３４は、動き推定モジュール３２によって検出された動きの補償を目的とする。

ＤＣＴモジュール３６は、画素のブロックに対して、空間周波数係数へのＤＣＴ変換を実施する。

それらの空間周波数係数は、次に、それらを量子化するための量子化モジュール３８に供給される。

符号化されたフレームは、エンコーダ１４のバッファ４０に格納し得る。従って、バッファ４０によって、符号化されたフレームの受信が可能になり、そして、符号化されたフレームは、通信リンク（ネットワーク１６）を介して送信される。

最後に、エンコーダ１４には、更に、映像符号化の際、ビットレートを制御するための本出願によるレート制御装置４２を含む。このレート制御装置では、通信リンクの最大容量を超過しないことが保証され、また、特に、遠隔監視アプリケーション及び連続映像シーケンスを提示する他のアプリケーションの映像品質を強化する。

ＩＩ．装置
レート制御装置４２は、エンコーダ１４においてレート制御の改善を実現する。更に具体的には、装置４２は、平均及び最大ビットレート制約条件を満たすように、Ｈ．２６３及びＭＰＥＧ４映像符号化規格におけるビットレート制御のための方法１００を実装している。方法１００については、後述する。

装置４２には、図３に示すように、イントラフレーム用の目標サイズを指定するための予測器５０であって、更に、指定されたイントラフレーム目標サイズを満たすために、量子化モジュール３８で用いられる必要なＱＰを予測するための予測器５０が含まれる。イントラフレームのサイズは、ビットレートの品質及びバーストの双方に影響を及ぼし得ることから、ビットレートを制御する場合、イントラフレームを符号化するためのビット予算を適切に設定するために、目標サイズを求める。

装置４２には、更に、インターフレームサイズの第１計算器５２を含む。第１計算器５２により、後述するように、最大ビットレート制約条件を満たすために、様々な状況において、インターフレームの目標サイズを演算することが可能になる。

更に、装置４２には、最大ビットレート及び平均ビットレート制約条件双方を満たすように、第１計算器５２によって提供されたインターフレーム目標サイズを再計算するための第２計算器５４が含まれる。

更に、装置４２には、符号化されたフレームのサイズが、計算されたインターフレーム目標サイズと最大ビットレートによって許容された最大サイズとを超過しないことを保証するための検証器５６が含まれる。

最後に、最大及び平均ビットレートの制約条件を満たすために、図２のプロセス３０２は、直近の１秒間内に送信されたフレームのサイズを含むための円形バッファ（図示せず）を有する。例えば、毎秒１０フレームでは、そのようなバッファは、符号化された最新の１０フレームのサイズを保持する。

一般的に言えば、最大及び平均ビットレート制約条件を満たすための、本発明の非限定的な例示の実施形態による方法１００は、３０_２及び３０_３等の２つの制御プロセスを用いる。例えば、プロセス３０_２は、第１及び第２計算器５２及び５４と共に、最大ビットレートの超過を回避するのに必要な目標フレームサイズを演算するために用い得る。そして、プロセス３０_３は、検証器５６と共に、フレームを符号化した後、符号化されたフレームを送信できるか、即ち、最大ビットレートに達していないかどうかチェックするために用いる。最大ビットレートを超過した場合、符号化されたフレームは、削除するか、又はエンコーダ１４が、同じフレームを異なる符号化パラメータで再度符号化しようとする。

ＩＩＩ．方法
以下、Ｈ．２６３規格等の映像符号化規格におけるビットレート制御のための、本発明の非限定的な例示の実施形態による方法１００について、図４と共に述べる。

しかしながら、このレート制御は、Ｈ．２６１、ＭＰＥＧ−４、Ｈ．２６４等、他の映像符号化規格においても用い得ることに留意されたい。

上述したように、イントラフレームのサイズは、ビットレートの品質及びバースト双方に影響を及ぼし得ることから、ビットレートを制御する場合、イントラフレームを符号化するための第１ビット予算を設定することが、重要である。

動作１０１において、最大ビットレートＲ_ＭＡＸ及び平均ビットレートＲ_ａｖｇを指定する。

そして、動作１０２において、イントラフレームの目標サイズＢｉ（ビット）を指定する。

方法１００の動作１０３において、ＱＰの予測を実施し、これにより、イントラフレームを符号化する際、動作１０２で指定したイントラフレーム目標サイズをもっと良く満たし得る。動作１０２及び１０３は、例えば、図３の予測器５０において実施し得る。

そして、動作１０４において、動作１０２で指定されたイントラフレームの目標サイズに基づき、指定された最大ビットレートＲＭＡＸを満たすために、インターフレームの目標サイズを計算する。この動作１０４は、例えば、図３の第１計算器５２によって実施し得る。

動作１０６において、計算されたインターフレーム目標サイズは、指定された最大ビットレート及び平均ビットレート双方を満たすように、再演算する。この動作は、例えば、図３の第２計算器５４によって実施し得る。

最後に、動作１０８において、符号化されたフレームサイズが、最大及び平均ビットレートによって許容される演算済みフレームサイズに対して検証される。

次に、更に具体的に、図４の方法１００の各動作について、更に詳細に述べる。

動作１０１：最大ビットレート及び平均ビットレートの仕様
映像符号化における映像品質を改善するために、超過してはならないＲ_ＭＡＸで表す最大ビットレートを設定する。最大ビットレートは、任意の１秒間内にチャネルを介して送信し得るビットの最大数として定義する。この定義の場合、最大サイズは、最大ビットレートと等価である。最大ビットレートの他の定義にも該当し得ることに留意されたい。各用途に応じて最大ビットレートを指定及び定義することは、当業者の範囲及び知識内である。更に、ある期間のフレームに渡って、平均ビットレートをどのように指定するかは、当分野で公知である。

動作１０２：イントラフレーム目標サイズの仕様
映像符号化の特定用途並びに指定された最大及び平均ビットレートに基づき、イントラフレーム目標サイズをどのように指定するかを知ることは、当業者の知識及び理解の範囲内である。例えば、イントラフレーム目標サイズは、最大ビットレートＲ_ＭＡＸ又は平均ビットレートＲ_ａｖｇの百分率として設定し得る。

動作１０３：指定イントラフレーム目標サイズを満足するためのＱＰの予測
このために、以降、参考文献２と称する、２００４年、パン（Ｐａｎ）らによる「超低ビットレート映像符号化のための適応イントラフレーム量子化」に開示された推定アルゴリズムに基づき、量子化モジュール３８に用いるＱＰ（量子化パラメータ）を予測するための推定アルゴリズムが、開発されている。

このアルゴリズムは、所定のイントラフレーム目標サイズを満たすために、イントラフレームの統計値に基づき、量子化モジュール３８において必要なＱＰを推定するための図３の予測器５０によって用いられる。しかしながら、イントラフレームの全存続時間の間、一定のＱＰを考慮する参考文献２の教示内容とは異なり、開発された本推定アルゴリズムでは、ＱＰ値は、指定された目標フレームサイズを更に正確に満たすように、イントラフレームのＧＯＢ（ブロックのグループ）毎に更新し得る。更に、参考文献２は、中間調画像を考慮するが、開発した本推定アルゴリズムは、カラー画像をサポートする。

参考文献２によれば、ＱＰと他のフレーム統計値との間の関係は、下式で記述し得る。

上式において、

であり、Ｆ（ｕ、ｖ）は、Ｎ×Ｍサイズの画面における全画素ブロックの８×８ＤＣＴ係数を含み、Ｂ_Ｉは、指定されたイントラフレーム目標サイズ（単位＝ビット）である。

項ＭＡＶ_ＤＣＴは、ＤＣＴ係数の平均絶対値を表し、また、画面の複雑さの目安を示す。項ＡＢＳ（）は、絶対値関数である。

式（１）は、画面の輝度の統計値だけを考慮し、クロミナンスを無視していることに留意されたい。従って、クロミナンスも考慮するためには、新しい式が必要であり、これは、輝度と比較して、一般的に、４倍二次抽出され、下式で与えられる。

上式において、Ｆ_Ｌ（ｕ、ｖ）は、輝度用ブロックの８×８ＤＣＴ係数を含み、Ｆ_ｃ１（ｕ、ｖ）及びＦ_ｃ２（ｕ、ｖ）は、クロミナンス用ブロックの８×８ＤＣＴ係数を含む。

上述したように、指定されたイントラフレーム目標サイズＢ_Ｉを更に正確に満たすために、ＱＰは、イントラフレームの各ＧＯＢについて調整される。更に、式（２）は、イントラフレームの残りのブロックを符号化するために必要なビットを考慮するように、修正される。従って、ＱＰを予測するための修正式は、次のようになる。

ここで、

であり、上式において、Ｂ_{ｒｅｍａｉｎ}は、フレームを符号化するための指定されたイントラフレーム目標サイズから残されているビットの数であり、Ｎ_{ｔｏｔａｌ}は、フレームのマクロブロックの総数であり、Ｎ_{ｒｅｍａｉｎ}は、そのフレームで符号化する残りのマクロブロックの数であり、Ｎ_ｂｉａｓは、符号化するフレームの端が近づくにつれて、ＱＰ推定を更に控えめにするための偏りであり、通常、Ｎ_ｂｉａｓ＝４である。

指定されたイントラフレーム目標サイズＢ_Ｉを満たすように、ＱＰが演算された後、方法１００は、動作１０４に移行する。

動作１０４：最大ビットレート制約条件を満たすためのインターフレームサイズの計算
非限定的な例として、動作１０１において指定されたイントラフレーム目標サイズは、一定と見なされる。しかしながら、インターフレーム目標サイズは、状況に依存する。２つのケースを考慮する必要がある。即ち、
ｉ）ケース１：イントラフレームが、直近の１秒間に符号化された又は後続の１秒間に符号化される場合と、
ｉｉ）ケース２：インターフレームだけが、直近の１秒間に符号化された又は後続の１秒間に符号化され、イントラフレームからは何ら影響を受けない場合。

従って、動作１０４は、インターフレーム目標サイズを演算するために、上述した２つのケース即ちケース１及びケース２を考慮する必要がある。動作１０４によって、方法２００は、ケース１に用いられ、方法２５０は、ケース２に用いられる。

イントラフレームが直近の１秒間内に符号化されたか又は後続の１秒間に符号化されようとしている場合、インターフレーム目標サイズを計算するための方法２００（ケース１）
図５では、ケース１においてインターフレーム目標サイズを計算するための方法２００について述べる。

まず、動作２０２において、理想的なインターフレーム目標サイズＢ_２が、Ｒ_ＭＡＸに基づき演算される。そのために、非限定的な例として、全てのインターフレームが、同じサイズであるとすると、最大ビットレートは、次のように与えられる。

ここで、Ｂ_Ｉは、イントラフレーム目標サイズであり、Ｂ_２は、ケース１における、即ち、イントラフレームが直近の１秒間に符号化される又は後続の１秒間に符号化される場合の理想的なインターフレーム目標サイズであり、Ｆは、１秒あたりに符号化するフレームの数、即ち、フレームレートである。

次に、式（４）から、理想的なインターフレーム目標サイズＢ_２は、次のように与えられる。

定義により、式（５）に示すように、Ｆは、１フレーム／秒より大きい。

はじめに、ケース１のインターフレーム目標サイズは、Ｂ_ＰＩと表記され、動作２０２において計算された理想的なインターフレーム目標サイズＢ_２によって与えられる。即ち、
Ｂ_ＰＩ＝Ｂ_２

しかしながら、上記インターフレーム目標サイズＢ_ＰＩは、過去に符号化されたフレーム、特に、イントラフレームの影響を考慮するために、調整される。実際には、一般的に、符号化されたフレームは、目標サイズと厳密に等しいサイズを有さない。従って、最大ビットレートＲ_ＭＡＸを超過せずに、将来のイントラフレームの符号化において、充分なビットを確実に配分するために、符号化されたフレームの実際のサイズと目標サイズとの間の差異を負うように、将来のインターフレームサイズを調整する。

従って、動作２０４において、過去に符号化されたフレームに基づく調整済みインターフレーム目標サイズが、例えば、図３の第１計算器５２により演算される。このために、２つのケースを考慮する。

ｉ）イントラフレームが、直近の１秒間に符号化されている場合、次のインターフレームのサイズＢ_ＰＩは、下式、

を用いて、調整され、また、限定される。上式において、ＳｉｚｅＨｉｓｔｏｒｙ［ｋ］は、符号化されたフレームｋのサイズであり、ｔは、符号化する現フレームのインデックスであり、Ｔは、２つのイントラフレーム間の期間（フレーム数で表す）であり、Ｎは、次のイントラフレームの前に残っているフレーム数である。ｔｍｐ（ｔ）は、フレームｔにおけるビット予算バッファを表す。更に、式（６）において、最大値関数内のゼロ（０）によって、バッファのアンダーフローを回避し得る。

式（６）及び（７）によって、イントラフレーム後の１秒間内に符号化される残りのインターフレーム間のフレームを符号化するためのビット予算から、ほぼ均等に、任意の追加ビットを分配し得ることに留意されたい。更に、時間ｔ−（Ｔ−Ｎ）におけるフレームは、イントラ符号化されたものであることに留意されたい。

ｉｉ）イントラフレームが、後続の１秒で符号化されようとする場合、次のインターフレームの目標サイズは、以下のように限定される。

上式において、ＳｉｚｅＨｉｓｔｏｒｙ［ｋ］は、符号化されたフレームｋのサイズであり、ｔは、符号化される現フレームのインデックスであり、Ｎは、次のイントラフレーム前に残っているフレームの数である。

式（９）において、Ｆ−（Ｎ−１）の項が、追加されていることに留意されたい。従って、（Ｎ−１）個の残りのフレームのサイズは、１つのフレームがイントラフレームである期間において計算される。従って、ビット予算バッファｔｍｐ（ｔ）を表す式は、Ｎによる除算を含む。

最後に、動作２０６において、調整されたインターフレーム目標サイズは、誤差のマージンを小さく維持し、また、過去のフレームの符号化に用いられたビットを考慮しつつ、最大ビットレートＲ_ＭＡＸによって許容された最大サイズを確実に超過しないように再計算される。

従って、インターフレーム目標サイズは、下式、

を用いることによって限定される。上式において、Ｒ_{ｍａｒｇｉｎ}は、インターフレーム目標サイズが、最大ビットレートＲ_ＭＡＸによって許容された最大サイズを超過しないことを保証するための誤差マージンである。

直近の１秒間内に符号化された又は後続の１秒間に符号化されるイントラフレームがない場合、これはケース２に対応するが、動作１０４は、インターフレーム目標サイズを計算するための方法２５０を用いる。

直近の１秒間内に符号化された又は後続の１秒間に符号化されるイントラフレームがない場合にインターフレーム目標サイズを計算するための方法２５０（ケース２）
次に、図６では、ケース２において、インターフレーム目標サイズを計算するための方法２５０について述べる。

まず、動作２５２において、インターフレームの理想的な目標サイズＢ_３を最大ビットレートに基づき計算する。この場合、イントラフレームが存在しないと仮定されることから、任意の１秒間の最大ビットレートＲ_ＭＡＸは、下式によって与えられる。

上式において、Ｂ_３は、直近の１秒間内に符号化された又は後続の１秒間に符号化されるイントラフレームがない理想的なインターフレーム目標サイズである。

従って、理想的なインターフレーム目標サイズＳ_３は、下式によって与えられる。

最初、ケース２において、インターフレーム目標サイズは、Ｂ_Ｐと表記されるが、これは、計算された理想的なインターフレームサイズＢ_３の値をとる、即ち、Ｂ_Ｐ＝Ｂ_３である。

この場合、インターフレームは、イントラフレームによって影響されないと仮定されることから、過去に符号化されたイントラフレームに基づき目標サイズＢ_Ｐを調整する必要はない。

次に、動作２５４において、インターフレーム目標サイズＢ_ｐは、誤差のマージンを小さく維持し、また、過去のフレームの符号化に用いられたビットを考慮しつつ、最大ビットレートＲ_ＭＡＸによって許容された最大サイズを確実に超過しないように、再計算する。

このために、以下の式を用いる。

ここで、

であり、上式において、Ｒ_{ｍａｒｇｉｎ}は、目標サイズと、最大ビットレートによって許容された最大サイズとの間の誤差のマージンであり、例えば、Ｒ_{ｍａｒｇｉｎ}＝１０００ビットである。

ケース１又はケース２のいずれにおいても、一旦、最大ビットレート制約条件を満たすために、インターフレーム目標サイズが計算されると、図４の方法１００は、動作１０１で指定された最大ビットレート及び平均ビットレートを双方共に満たすように、計算されたインターフレームサイズを更新及び調整するために、動作１０６に進む。この動作１０６は、例えば、図３の第２計算器５４において実施し得る。

動作１０６：平均及び最大ビットレート制約条件を双方共に満たすための計算されたインターフレームサイズの再計算
動作１０６は、平均及び最大ビットレート制約条件を双方共に満たし得る方法を用いる。これらの方法には、２つの要素がある。ｉ）平均及び最大ビットレート制約条件を満たすためのインターフレーム目標サイズの演算、並びに、ｉｉ）過去のフレームの符号化に用いられず、将来のフレームの符号化に用い得る追加ビットの管理。

再度、２つの場合、即ち、動作１０４において述べたケース１及びケース２を考慮する。従って、動作１０６は、ケース１において方法３００を用い、ケース２において方法３５０を用いる。

イントラフレームが直近の１秒間内に符号化される又は後続の１秒間に符号化されようとしている場合にインターフレームサイズを再計算するための方法３００（ケース１）
次に、図７では、ケース１において、動作１０４で計算されたインターフレーム目標サイズを再計算するための方法３００について述べる。

まず、動作３０２において、指定された平均ビットレート基づき、理想的なインターフレーム目標サイズＢを計算する。

理想的には、インターフレームは、同じサイズを有し、そのため、２つのイントラフレーム間の期間Ｔにおいて、平均ビットレートＲ_ａｖｇは、下式によって与えられる。

従って、理想的なインターフレーム目標サイズＢは、次のように表し得る。

インターフレームサイズが、平均ビットレートＲ_ａｖｇ及び最大ビットレートＲ_ＭＡＸを超過しないことを保証するために、インターフレーム目標サイズＢ_ＰＩは、次のように再計算される。

動作３０２は、エンコーダ１４が最初に初期化された時、又は例えば、指定された最大ビットレートが含まれるビットレートパラメータが変わる度に、一度だけ演算してよい。

そして、動作３０４において、計算された目標フレームサイズＢ_ＰＩは、過去に符号化されたフレーム、特に、イントラフレームを考慮するように調整される。そうするために、式（６）又は（８）と同様な式が、更新されたインターフレーム目標サイズＢ_ＰＩを得るために、過去に符号化されたフレームに基づき、計算される。

ここで、式（７）又は（９）で定義されたｔｍｐは、次のケースに依存する。即ち、ｉ）イントラフレームが、直近の１秒間内に符号化されている場合、式（７）が用いられ、また、ｉｉ）イントラフレームが、後続の１秒間に符号化される場合、式（９）が用いられる。

次に、動作３０６において、上述したように、符号化されたフレームは、一般的に、目標サイズと厳密に同じサイズは有さないことから、調整された目標フレームサイズと、実際のフレームサイズとの間の差異を計算する。

そのために、例えば、図２のプロセス３０１を利用して、変数Ｂ_{ｅｘｔｒａ}を用いて、これらの差異を監視する。この変数は、通信セッションの開始時、ゼロに初期化される。変数Ｂ_{ｅｘｔｒａ}は、フレーム毎に、目標サイズを上回る又は下回るビットの数を積算する。Ｂ_{ｅｘｔｒａ}がゼロより大きい場合、実際のビットレートは、指定された平均ビットレート未満である。Ｂ_{ｅｘｔｒａ}が負の場合、実際のビットレートは、指定された平均ビットレートを上回る。Ｂ_{ｅｘｔｒａ}の更新は、符号化された各フレームに対して、次のように実施される。

上式において、Ｂ_{ｔａｒｇｅｔ}は、目標サイズであり、インターフレームの場合、Ｂ_ＰＩに、また、イントラフレームの場合、Ｂ_ｉに相当し、Ｂ_{ｅｎｃｏｄｅｄ}は、符号化されたフレームのサイズである。

Ｂ_{ｅｘｔｒａ}が正であり、実際のビットレートが、指定された平均ビットレート未満であることを意味する場合、未使用ビットは、それらの符号化に用いられる次のフレームに分配され、従って、次のフレームの目標サイズは、大きくなる。Ｂ_{ｅｘｔｒａ}が負の場合、次のフレームの目標サイズは、減少する。用いられるアルゴリズムは、以下の通りである。
Ｂ_{ｅｘｔｒａ}＞０の場合（これは、実際のビットレートが平均ビットレート未満であるケースに対応する）、

それ以外の場合、

ここで、αは、現フレームに用いられる追加ビットの割合を表し、βは、追加し得る目標サイズの最も大きな割合を表す。例えば、シミュレーションにおいて、α＝０．６及びβ＝０．１５を用いる。しかしながら、これらの値は、エンコーダ１４の性能を更に改善するために、修正し得る。様々な性能を得るために、α及びβの値を調整することは、当業者の範囲内及び知識内である。更に、目標サイズＢ_{ｔａｒｇｅｔ}を更新するための上記方法もまた、このレート制御方法の主な概念から逸脱することなく、修正又は変更し得る。

実施の観点から、Ｂ_{ｅｘｔｒａ}を負にする符号化されたフレームは、削除することが可能であることに留意されたい。そのような場合、符号化されたフレームの実際の平均ビットレートは、指定された平均ビットレートを上回ることがある。更に、或るしきい値未満である符号化済みフレームの削除を決めることが可能である。例えば、或る実施例では、−５００ビットのしきい値を用い得る。

最後に、動作３０８は、符号化される現フレームの調整済みインターフレーム目標サイズが、最大ビットレートＲ_ＭＡＸによって許容された最大サイズを超過しないように確かめる。そのために、式（１０）と同様な式を用いて、有効なインターフレーム目標サイズを得る。

ここで、ｔｍｐ２は、式（１１）で定義される。

更に、動作３０６の前に必ずＢ_{ｅｘｔｒａ}を明らかにするように、方法３００を修正することが可能である。これは、実施上の選択であり、このレート制御方法の主な考え方から逸脱することなく、振舞い及び性能における他のいずれかの妥協につながる。

直近の１秒間内に符号化された又は後続の１秒間に符号化されるイントラフレームがない場合、動作１０６は、平均及び最大ビットレートを双方共に満たすために、計算されたインターフレーム目標サイズを更新するための方法３５０を用いる。

直近の１秒間内に符号化される又は後続の１秒間に符号化されようとしているイントラフレームがない場合にインターフレームサイズを再計算するための方法３５０（ケース２）
上述したように、理想的な場合にのみ、インターフレームは、同じサイズになる。現実には、最大ビットレート制約条件により、イントラフレームに近接して配置されたインターフレームの目標サイズは、大幅に低減されたはずである。サイズ上のこれらの差異を補償するために、イントラフレームによって影響されないインターフレームのサイズを再評価する。

次に、図８では、ケース２において、インターフレーム目標サイズを再計算するための方法３５０について述べる。

まず、動作３５２において、平均ビットレートに基づき、理想的なインターフレーム目標サイズＢ_ａを計算する。

理想的な状況では、インターフレームのサイズは、同じ長さであると仮定する。従って、その場合、２つのイントラフレーム間の期間Ｔ全体において、平均ビットレートＲ_ａｖｇは、下式によって与えられる。

式（１９）から、インターフレームの理想的なサイズＢ_ａは、下式によって与えられることが推定できる。

動作３５２は、エンコーダ１４が初期化される時、又はビットレートパラメータが変わる度に、一度だけ処理してよい。

平均ビットレートと、最大ビットレートを超過しないために方法２５０の動作２５２で計算されたインターフレームサイズとに基づき、インターフレーム目標サイズＢ_ｐが、理想的なインターフレーム目標サイズを超過しないことを保証するために、インターフレームの目標サイズＢ_ｐは、次のように限定する。

次に、動作３５４では、動作３５２で演算されたインターフレームサイズＢ_ｐと、実際に符号化されたフレームサイズとの間の差異を計算する。この動作は、各フレームについて実施する。

動作３５４において演算された差異に起因するビットの数が、追跡され、また、変数Ｂ_{ｅｘｔｒａ}に記憶される。この変数によって、実際に符号化されたフレームが、指定された平均ビットレートを上回っているか又は下回っているかどうか判断でき、また、その状況に基づいて、その差異を補正し得る。これは、図７の方法３００の動作３０６で述べたように行われ、目標サイズは、式（２１）によって計算する。

最後に、動作３５６では、誤差のマージンを維持し、また、過去のフレームの符号化に用いられたビットを考慮しつつ、最大ビットレートを超過しないように、Ｂ_Ｐを制限する。Ｂ_Ｐは、下式によって与えられる。

ここで、

であり、また、Ｒ_{ｍａｒｇｉｎ}は、ビットレート用の誤差のマージンである。例えば、Ｒ_{ｍａｒｇｉｎ}＝１０００ビットである。

一旦、インターフレーム目標サイズが計算されると、図４の動作１０８において、検証動作が、例えば、図３の検証器５６によって実施される。実際には、符号化されたフレームは、通常、計算されたインターフレームと同じサイズを有さない。従って、符号化されたフレームサイズが、計算された目標サイズ及び最大ビットレートと比較して、大き過ぎる場合、再符号化又は削除メカニズムを起動する。それらのメカニズムは、当分野で公知であり、従って、本明細書ではこれ以上述べない。

ＩＶ．数値例
この節では、映像符号化におけるレート制御のための方法１００に従って、幾つかの数値例について述べる。

例えば、方法２００及び方法２５０に基づき、最大ビットレートが、Ｒ_ＭＡＸ＝４８０００ｂｐｓ（ビット／秒）、イントラフレーム目標サイズが、Ｂ_Ｉ＝４００００ビット、フレームレートが、Ｆ＝１０ｆｐｓ（フレーム／秒）である場合、動作２０２の式（５）及び動作２５２の式（１２）をそれぞれ用いることによって、以下のことが分かる。

また、動作２０２及び２５２は、エンコーダ１４が初期化される時又はビットレートパラメータが変わる度のいずれかに一度だけ処理し得る。しかしながら、動作２０４、２０６、及び２５４は、その都度、即ち、フレーム毎に、実際の符号化されたフレームサイズに基づいて処理する。

他の例は、方法３００及び方法３５０に関する。この場合、最大ビットレートが、Ｒ_ＭＡＸ＝４８０００ｂｐｓ、平均ビットレートが、Ｒ_ａｖｇ＝３２０００ｂｐｓ、イントラフレーム目標サイズが、Ｂ_Ｉ＝４００００ビット、イントラフレームの期間が、Ｔ＝４ｓ、即ち、各々４０フレーム、及びフレームレートが、Ｆ＝１０ｆｐｓである場合、動作３０２の式（１７）及び動作３５４の式（２０）を用いることによって、以下のことが分かる。

また、動作３０２及び３５２は、エンコーダ１４が初期化される時又はビットレートパラメータが変わる度のいずれかにおいて、一度だけ処理し得る。しかしながら、動作３０４、３０６、３５４、及び３５６は、フレーム毎に、実際に符号化されたフレームサイズに基づいて演算する。

次に、Ｂ_Ｐ＝３４２９ビットとして、式（１９）を用いて、平均ビットレートを演算するが、これは、計算された目標サイズを用いることによって、計画した通りに全てのフレームを符号化すると得ることができる。

従って、所望の理想的な結果が得られる。或る場合、特に、最大ビットレートが、平均ビットレートに近く、また、目標イントラフレームサイズが大きい場合、最大ビットレート及びイントラフレーム目標サイズは、平均ビットレートを制限し得る。例えば、前の例では、平均ビットレートが、４８０００ｂｐｓである場合、以下のようになる。

平均ビットレートは、全てのフレームが計画通りに符号化されると得られるが、Ｂ_ｐ＝４８００ビットとして、次のように演算される。

しかし、現実には、符号化されたフレームサイズは、目標サイズを中心にして変動することから、より小さい平均ビットレートが守られる。従って、式（１９）によって与えられる結果は、理論的最大値に対応する。

方法１００におけるインターフレーム目標サイズの計算は、イントラフレームを基準としたインターフレームの位置に依存することに留意されたい。

Ｖ．計算された目標サイズの超過に至る符号化されたフレームの管理
ＴＭＮ８レート制御において、全ての符号化されたフレームは、それらを送信すると、指定された平均ビットレートを超過する状況になる場合であっても、送信される。フレームの送信後、指定された平均ビットレートを超過した場合、エンコーダは、指定された平均ビットレートを再び守れるようになるまで、必要に応じて、１つ又は複数のフレームをスキップする。従って、この制御は、事前対処的ではなく、事後対処的である。

上記の方式は、平均ビットレートを満たすためには、受入可能であり得る。しかしながら、実際の伝送チャネルを用いる多くの現実の用途の場合そうであるように、最大ビットレートを決して超過してはならない場合、受入可能ではない。

実際には、どのフレームのサイズも、目標サイズを潜在的に超過し得ることから、最大ビットレートの超過に至る符号化されたフレームが送信前に削除されるメカニズムが、実装されるべきである。この取り組み方法の問題は、映像符号化が、フレーム毎の予測（時間的予測符号化）を用いることである。従って、フレームが削除された場合、エンコーダの状態は、削除されたフレームの再符号化に先立って、復元される必要があり、そうでない場合、エンコーダ及びデコーダの同期がとれなくなる。

従って、本発明の非限定的な実施形態による装置４２は、フレームを符号化する前に、エンコーダ状態変数を記憶する。符号化されたフレームサイズは、最大ビットレートを超過することになる場合、削除され、状態変数が、次のフレームを符号化するために復元される。そうでない場合、符号化されたフレームが送信され、エンコーダ１４は、新しい状態変数で先に進む。

この特徴は、多重パス符号化等、他の用途にも用いることができ、この場合、サイズ及び／又は品質の目標が達成されるまで、１つのフレームに対して多数の符号化の繰り返しを行うことができる。

エンコーダ１４は、２つの条件下で、フレームを削除又はスキップし得る。第１に、符号化されたフレームは、最大ビットレートを超過すると、自動的に削除される。第２に、送信されたビットの数が、指定された平均ビットレートを超過すると、将来のフレームは、スキップし得るが、符号化されたばかりのフレームではなく、それに続くフレームが、平均ビットレートを再び守れるようになるまで、スキップされる。更に具体的には、指定された平均ビットレートが、或るしきい値によって超過されると、将来のフレームは、スキップでき、また、現フレームは、それを維持すると最大ビットレートの超過に至る場合にのみ削除される。

更に、エンコーダ１４によって、イントラフレームをいつでも要求することができ、これが、「要求に応じたイントラフレーム」の特徴を実現することになる。明らかに、そのような場合、最大ビットレートを超過せずに、イントラフレーム目標サイズを守れないことがある。これが起こった場合、エンコーダ１４は、最大ビットレートを超過せずに最大イントラフレーム目標サイズを演算して用いる。符号化されたイントラフレームサイズは、最大ビットレートを超過すると、削除され、エンコーダ１４は、そのイントラフレームの再符号化を試みる前に、或る時間期間待つ。エンコーダ１４は、継続して待ち、そして、符号化されたイントラフレームサイズが最大ビットレートを守るまで、そのイントラフレームの符号化を試みる。試行が失敗する度に、イントラフレーム目標サイズは、無限ループを回避するように低減されるが、この場合、符号化されたフレームサイズは、常に最大ビットレートを超える。

一般的に、エンコーダ１４は、映像データ及びフレームを符号化する時、以下のパラメータを要求する。
●方法１００の動作１０２で指定されたイントラフレーム目標サイズ
●方法１００の動作１０１で指定された平均ビットレート
●方法１００の動作１０１で指定された最大ビットレート

エンコーダ１４は、上記所定のパラメータについて幾つかの検証を実施し、それらの使用が可能でない場合、パラメータ値を変え得ることに留意されたい。例えば、所定のイントラフレーム目標サイズ及び最大ビットレートでは、平均ビットレートは、達成できない。従って、パラメータは、変えられ、また、平均レートが、再計算される。

Ｖｌ．バッファに基づく、Ｈ．２６３用レート制御の第２の非限定的実施形態
上記実施形態において、最大ビットレートＲＭＡＸは、１秒間に送信し得るビットの最大数として定義した。

しかしながら、映像ストリーミング等のアプリケーションでは、最大ビットレートの異なる定義が検討され、これは、それらのアプリケーションに存在する実際の制限を考慮する。

映像ストリーミングにおいて、映像パケットは、容量限定チャネルを介して送られ、従って、ビットレートが、制限される。図１のプレーヤ２０が、受信した最初のイントラフレームの再生を開始する前に、１秒の遅延が許容可能と見なされる場合、本明細書において後述するように、イントラフレーム目標サイズは、Ｒ_ＭＡＸより小さくすべきである。

デコーダ１８は、プレーヤ２０が、最初に受信したフレームの再生を開始する前に、１秒間待たなければならない。しかしながら、それは、この１秒の遅延の間に、追加のフレームを送信できないという意味ではない。ここで、Ｂ_Ｉ＝Ｒ_ＭＡＸであり、また、最大ビットレートＲ_ＭＡＸを超過しないことは、送信バッファ４０が、Ｒ_ＭＡＸを超過しない状況と等価であるとする。すると、時間ｔ＝０において、サイズＲ_ＭＡＸのフレームが、ちょうど挿入されることから、図２のバッファ４０は、満杯である。Ｆ＝１０ｆｐｓ及びＲ_ＭＡＸ＝４８０００ｂｐｓの場合、ｔ＝０．１秒において、それらがチャネルを介して送信されたことから、バッファ４０は、Ｒ_ＭＡＸ／Ｆ＝４８００ビットだけ空にする。従って、所定の時間ｔ＝０．１秒において、また、送信バッファ４０がオーバーフローすることなく、４８００ビットが、フレームを符号化するために利用可能となる。同じ方法が、後続のフレームにも適用される。従って、イントラフレームに続く各フレームの場合、４８００ビットの追加量を送信し得る。従って、この方法により、本明細書においてこれまでに例示した４８０００ビットの代わりに、合計４８０００＋（１０−１）（４８００）＝９１２００ビットを送信することが可能である。

それらの追加利用可能なビットは、イントラフレームに続くインターフレームを符号化するためのビットの数を増やすために用いられることから、イントラフレームに続くフレームの品質を改善し得る。

しかしながら、前に計算した９１２００ビットは、１秒間で送られるのではなく、送信されたイントラフレームを受信するためにアプリケーションによって生じた遅延のために、それらのビットを網羅する時間は、１．９秒であり、即ち、遅延の１秒及び時間１．１ｓから１．９ｓまでの９フレームであるが、これは、（９１２００ビット／１．９ｓ）＝４８０００ビット／秒のビットレートを与え、最大ビットレートＲ_ＭＡＸに対応することに留意されたい。

説明のために、最大バッファサイズは、最大ビットレートＲ_ＭＡＸに対応すると見なす。しかしながら、最大バッファサイズは、異なる値で設定し得る。当業者は、それに伴って式をどのように修正すべきか分かっている。

ここで、次のイントラフレームが来る場合を考える。次のイントラフレームが来ることから、バッファ４０は、やって来るイントラフレーム用のスペースが、その予定された時間に充分にあるように、徐々に空にしなければならない。

イントラフレームの目標サイズは、Ｂ_Ｉであるが、実用上は、より多くの利用可能なビットを、イントラフレームに続くフレームに配分し、その品質を改善するように、バッファ４０を空にすることが望ましい。

そのため、実際の用途では、Ｂ_Ｉ＜Ｒ_ＭＡＸである。従って、イントラフレームに続くフレームに配分されるビットの数は、バッファ４０を空にし始める前に、それらのフレームの品質を改善するように増大する。

イントラフレームの到着時間をゼロとする。そして、Ｎは、イントラフレームの符号化からの未使用ビットが分配されるイントラフレームの後のフレームの数として定義される。Ｌは、バッファレベルが最適化されたインターフレームの数として定義される。ｔ＝Ｌにおいて、バッファ４０は満杯であり、また、０≦Ｎ≦Ｌであることに留意されたい。

一般的に言えば、採用し得る可能な戦略は、以下の通りである。

常に、バッファレベルは、Ｒ_ＭＡＸを超過せず、これは、オーバーフローを発生する符号化されたフレームが削除されることを意味する。通常、映像の品質は、イントラフレームの後に最も悪くなることから、バッファレベルを最大にし、また、映像の全体的な品質を上げるために、イントラフレームの符号化において未使用のビットは、後続のインターフレームの符号化に用いる。フレーム番号Ｌまで、バッファ４０は、Ｒ_ＭＡＸ／Ｆを目標サイズでフレームを符号化することによって、満杯のままに維持される。更に、演算されたが先行フレームに未使用のビットは、後続のフレームに再配分されるが、しかしながら、目標サイズは、或る値を超過してはならず、この値は、対象バッファレベルに依存し、バッファレベル自体は、時間のフレームインデックスに依存する。対象バッファレベルは、イントラフレームの後の第１フレームの場合、Ｒ_ＭＡＸであり、次のイントラフレームが来るまで、徐々にゼロ（０）に減少することに留意されたい。

次に、図９では、映像符号化における改善されたレート制御のための方法４００について述べる。

動作４０２では、時間ｔ＝０において、イントラフレームが、送信バッファ４０によって受信される。従って、時間ｔ＝０において、目標フレームサイズは、Ｂ_ｐ（ｔ）＝Ｂ_Ｉである。

動作４０４において、新しいバッファレベル（これは、以前のバッファレベルと実際に符号化されたイントラフレームのサイズとの和である）と、最大バッファサイズＲ_ＭＡＸとの間の比較を行う。

動作４０６において試験した際、新しいバッファレベルが、最大バッファサイズＲ_ＭＡＸより大きい場合、動作４０８において、実際に符号化されたフレームは、削除される。更に、そのフレームの符号化に先立つエンコーダ状態変数を復元する（バッファレベルを含むが、これは、符号化に先立って、バッファレベル値に復元される）。

新しいバッファレベルが、最大バッファサイズＲ_ＭＡＸより小さい場合、動作４１０において、インターフレーム目標サイズＢ_ｐ（ｔ）は、下式、

を用いることによって、２つのイントラフレーム間の期間Ｔ内の時間ｔにおける各フレームについて計算される。上式において、

は、任意であるが、条件としては、バッファ４０がオーバーフローしてはならない、即ち、バッファレベル≦Ｒ_ＭＡＸであり、また、ｔ＝Ｌにおいてほぼ満杯でなければならない。

そして、動作４１２において、超過できない最大バッファレベルが、計算される。実際には、バッファ４０に次のイントラフレームを挿入するための充分なスペースが確実にあるように、最大バッファレベルは、フレーム毎に演算すべきである。イントラフレームのサイズは、Ｒ_ＭＡＸを超過できない。従って、Ｔ−１におけるフレームでは、次のイントラフレームの始まりにおいて、バッファレベルが、Ｒ_ＭＡＸ−Ｂ_Ｉを超過しないように、バッファレベルは、Ｒ_ＭＡＸ−Ｂ_Ｉ＋Ｒ_ＭＡＸ／Ｆを超過できない。

しかしながら、実用上の理由により、バッファ４０のサイズは、上述したように、Ｒ_ＭＡＸ−Ｂ_Ｉ＋Ｒ_ＭＡＸ／Ｆの代わりに、Ｒ_ＭＡＸ／Ｆにすべきである。これは、現実的には、符号化されたイントラフレームの実際のサイズを正確に予測することは、困難であることによる。今日存在するアルゴリズムは、充分に堅牢ではない。従って、より多くのビットをイントラフレームに続くフレームに用い得るように、フレームＴ−１において、バッファ４０を空にする方が、より安全である。

従って、最大バッファレベルは、次のように計算される。

そして、動作４１４において、動作４１０で計算されたインターフレーム目標サイズは、イントラフレームの符号化から未使用ビットを取り込むように、更新される。

イントラフレームに続くインターフレームに未使用ビットを分配するやり方は、数多くある。イントラフレームに続く映像の品質を最適化するために、フレームＬの後、バッファ４０は、満杯であるべきことに留意されたい。

例えば、後続のＮ個のフレームに未使用ビットを均等に分配するために、時間ｔにおける目標フレームサイズは、下式によって与えられる。

Ｌ＝Ｎの場合、Ｒ_ＭＡＸ／Ｆの目標フレームサイズは、存在しないことに留意されたい。更に、バッファ４０が、２つのイントラフレーム間において、それ自体を空にするための充分な時間を有するように、Ｔ＞Ｆ＋Ｌである。

動作４１６において、更新されたインターフレーム目標サイズを考慮するように、将来のフレーム各々に割り当てられたバッファレベルを計算する。

従って、バッファレベルは、下式によって与えられる。

初めに、送信バッファ４０は、空であり、そして、サイズＢ_Ｉ及びＢ_Ｐ（ｔ）のフレームが、それらの演算に従って連続的に挿入されることに留意されたい。

そして、動作４１８において、フレームを符号化するためのマージンΔ（ｔ）を計算する。

一般的に、エンコーダ１４が、フレームを符号化する場合、符号化されたフレームサイズは、目標サイズと若干異なる。目標サイズが、符号化されたフレームより大きい場合、未使用ビットは、最大バッファレベルが超過されない限り、次フレームに再配分される。従って、フレームの符号化後、追加可能なビットの数を示すＥ（ｔ）が、動作４２０において演算される。フレームの符号化から生じるそれらの未使用ビットは、次のフレームの符号化に用い得る。Ｅ（ｔ）は、次のように定義される。

上式において、ＢｕｆｆｅｒＬｅｖｅｌ_{ａｃｔｕａｌ}（ｔ）は、フレームの実際の符号化後のバッファレベルである。

一般的に、追加ビットの割合は、最大バッファレベルが超過されないことを保証するために用いられることに留意されたい。当業者は、最大バッファレベルが超過されないことを保証するために、追加ビットの割合をどのように指定するか分かっている。

しかしながら、符号化されたフレームが、目標フレームサイズより大きいことが起こり得る。この場合、Ｅ（ｔ）は、負になるか又は或る所定のしきい値より小さくなる。従って、動作４２２において、符号化されたフレームについて、検証プロセスが実施される。符号化されたフレームが、目標フレームサイズを超過した場合、この符号化されたフレームは、削除される。更に、この場合、エンコーダ状態変数は、フレームの符号化に先立って、それらの値に復元される。

例えば、方法４００の動作４１０は、図３の第１計算器５２を介して実施でき、また、方法４００の動作４１２は、図３の第２計算器５４を介して実施し得ることは、注目に値する。更に、図２のプロセス３０１によって提供された最適化器（図示せず）によって、例えば、送信バッファ４０をＬフレームに渡って最適化し得る。

ＶＩＩ．数値例
例えば、以前の数値例で与えたられたものと同じ値を用いることができる。即ち、Ｒ_ＭＡＸ＝４８０００ビット、Ｂ_Ｉ＝４００００ビット、Ｆ＝１０ｆｐｓ、Ｔ＝４０、即ち、４ｓである。更に、Ｎ＝３及びＬ＝Ｆ−１＝９と仮定すると、

上記計算値を用いて、最大ビットレートは、次のように計算し得る。

この結果は、方法１００によって与えられる３９．２ｋｂｐｓより更に興味深い。更に、イントラフレームに続くインターフレームに、追加ビットが分配されることから、フレームの視認品質が、改善される。

上記明細書において、非限定的な例示の実施形態によって、本発明について説明したが、これらの例示の実施形態は、添付された請求項の範囲内において、本発明の精神及び本質から逸脱することなく、意のままに修正し得る。

１０ 通信システム
１２ 映像ソース
１４ 映像エンコーダ
１６ ネットワーク
１８ デコーダ
２０ 映像プレーヤ
３０_１−３０_Ｎ プロセス
３２ 動き推定モジュール
３４ 動き補償モジュール
３６ ＤＣＴモジュール
３８ 量子化モジュール
４０ バッファ
４２ レート制御装置
５０ 予測器
５２ 第１計算器
５４ 第２計算器
５６ 検証器

Claims (20)

1. イントラフレームで分離された一連のインターフレームを含む画面のシーケンスの映像符号化におけるレート制御のための方法であって、
   （ａ）一連のインターフレームについて、画面の前記シーケンスにおいて、先行イントラフレーム及び後続イントラフレームを基準とした前記インターフレームの位置の関数として送信バッファの最大バッファレベルを求める段階と、
   （ｂ）最大バッファレベルを超過しない送信バッファレベルとなる前記インターフレームのためのビットで計算された目標フレームサイズを求める段階と、
   （ｃ）前記目標フレームサイズに従って符号化されたフレームへインターフレームを符号化する段階であって、前記符号化されたフレームは符号化されたフレームのサイズを有する段階と、
   （ｄ）前記符号化されたフレームに応じて前記送信バッファレベルを求める段階と、
   （ｅ）送信バッファレベルが最大バッファレベルを超過する場合、前記符号化されたフレームを削減する段階と、
   が含まれる方法。
2. 請求項１に記載の方法であって、前記段階（ｅ）には更に、前記符号化されたフレームが削減された場合、送信バッファレベルを先行の値に復元する段階が含まれる方法。
3. 請求項１又は２に記載の方法であって、前記段階（ｂ）には、送信バッファが前記後続イントラフレームを収容できることを保証する、前記最大バッファレベルを求める段階が含まれる方法。
4. 請求項１乃至３のいずれか１項に記載の方法であって、前記段階（ｂ）には、符号化されるインターフレームが前記先行イントラフレームに近い場合、最大バッファサイズに近い前記最大バッファレベルを求め、かつ、前記インターフレームが前記後続イントラフレームに近い場合、ゼロに近い前記最大バッファレベルを求める段階が含まれる方法。
5. 請求項１乃至４のいずれか１項に記載の方法であって、前記段階（ｃ）には、
   前記最大バッファレベルと前記送信バッファレベルとの間の差異を求める段階と、
   前記差異に基づいてインターフレームとイントラフレームを符号化するための前記目標フレームサイズと最大バッファサイズとの間の誤差のマージンを求めるとともに、前記誤差のマージンを維持する段階と
   が含まれる方法。
6. 請求項１乃至５のいずれか１項に記載の方法であって、前記段階（ｂ）には、
   以下のように前記最大バッファレベルを求める段階であって、
   ｔ＝０、１、・・・、Ｌの場合、
   

   

   ｔ＝Ｌ＋１・・・、Ｔ−１の場合、
   

   

   ここで、ＢｕｆｆｅｒＬｅｖｅｌ_ＭＡＸ（ｔ）は、最大バッファレベルであり、Ｔは、２つのイントラフレーム間の期間であり、Ｆは、フレームレートであり、Ｒ _ＭＡＸ は、最大ビットレートであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｂ_Ｉは、イントラフレームサイズであり、Ｎは、未使用ビットの数が分配されるインターフレームの数であり、ｔは、時間である前記段階が含まれる方法。
7. 請求項１乃至６のいずれか１項に記載の方法であって、前記目標のフレームサイズを求める段階には、
   （ａ１）イントラフレームの符号化において用いられないビットの数を求める段階と、
   （ａ２）前記イントラフレームに続くＮ個のインターフレームについて、前記目標フレームサイズに渡って前記未使用ビットの数を分配する段階と
   が含まれる方法。
8. 請求項７に記載の方法であって、
   前記段階（ａ１）には、前記符号化されたイントラフレームサイズと、対応するイントラフレームの目標サイズとの間の差異を求める段階が含まれ、又は、
   前記段階（ａ２）には、
   

   

   とすると、数Ｌのインターフレームに渡って前記送信バッファレベルを最適化する段 階が含まれ、又は、
   前記段階（ａ２）には、前記未使用ビットの数をほぼ均等に分配する段階が含まれる方法。
9. 請求項１乃至８のいずれか１項に記載の方法であって、前記段階（ａ）には、
   以下のように前記目標フレームサイズを求める段階であって、
   ｔ＝１、２、３、・・・、Ｌの場合、
   

   

   ｔ＝Ｌ、Ｌ＋１、・・・、Ｔ−１の場合、
   

   

   ここで、Ｂ_ｐ（ｔ）は、時間ｔにおけるインターフレームの前記目標フレームサイズであり、Ｔは、２つのイントラフレーム間の期間であり、
   

   

   は、時間ｔにおけるインターフレームの目標サイズであって、送信バッファをオーバーフローすることを引き起こさないように選択され、Ｂ_Ｉは、イントラフレームサイズであり、Ｆは、フレームレートであり、ｋは、加算機能のインデックスであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｒ_ＭＡＸは最大ビットレートである前記段階
   が含まれる方法。
10. 請求項１乃至８のいずれか１項に記載の方法であって、前記段階（ａ）には、
    以下のように前記目標フレームサイズを求める段階であって、
    

    

    

    

    ここで、Ｂ_ｐ（ｔ）は、時間ｔにおけるインターフレームの前記目標フレームサイズであり、Ｂ_Ｉは、イントラフレームサイズであり、Ｔは、２つのイントラフレーム間の期間であり、
    

    

    は、Ｒ_ＭＡＸ／Ｆに等しいインターフレームの目標サイズであり、Ｆは、フレームレートであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｒ_ＭＡＸは最大ビットレートである前記段階
    が含まれる方法。
11. 請求項１乃至１０のいずれか１項に記載の方法であって、更に、
    （ｉ）符号化された後の前記インターフレームのサイズが、前記最大バッファレベルを超過する場合、前記インターフレームを削減する段階、又は、
    （ｉｉ）前記インターフレーム又は前記イントラフレームを符号化する前に、各エンコーダ状態変数を記憶する段階、又は、
    （ｉｉｉ）次のインターフレーム又は次のイントラフレームの符号化に先立って、符号化されたインターフレーム又は符号化されたイントラフレームを削除した後、前記各エンコーダ状態変数を復元する段階、又は、
    （ｉｖ）符号化の後の前記インターフレームのサイズ又は前記イントラフレームのサイズは、所定の最大限度より小さいことを保証する段階であって、前記最大限度は最大ビットレートである前記段階
    が含まれる方法。
12. イントラフレームで分離された一連のインターフレームを含む画面のシーケンスの映像符号化におけるレート制御のための装置であって、
    （ａ）一連のインターフレームについて、画面の前記シーケンスにおいて、先行イントラフレーム及び後続イントラフレームを基準とした前記インターフレームの位置の関数として送信バッファの最大バッファレベルを求める手段と、
    （ｂ）最大バッファレベルを超過しない送信バッファレベルとなるインターフレームのためのビットで計算された目標フレームサイズを求める手段と、
    （ｃ）前記目標フレームサイズに従って符号化されたフレームへインターフレームを符号化する手段であって、前記符号化されたフレームは符号化されたフレームのサイズを有する手段と、
    （ｄ）前記符号化されたフレームに応じて前記送信バッファレベルを求める手段と、
    （ｅ）送信バッファレベルが最大バッファレベルを超過する場合、前記符号化されたフレームを削減する手段と、
    が含まれる装置。
13. 請求項１２に記載の装置であって、前記手段（ｅ）には更に、前記符号化されたフレームが削減された場合、送信バッファレベルを先行の値に復元する手段が含まれる装置。
14. 請求項１２又は１３に記載の装置であって、前記手段（ｂ）は、
    前記送信バッファが前記後続イントラフレームを収容できることを保証する、前記最大バッファレベルを求めるように構成される、又は、
    符号化されるインターフレームが前記先行イントラフレームに近い場合、最大バッファサイズに近い前記最大バッファレベルを求め、かつ、前記インターフレームが前記後続イントラフレームに近い場合、ゼロに近い前記最大バッファレベルを求めるように構成される、又は、
    以下のように前記最大バッファレベルを求めるように構成され、
    ｔ＝０、１、・・・、Ｌの場合、
    

    

    ｔ＝Ｌ＋１、・・・、Ｔ−１の場合、
    

    

    ここで、ＢｕｆｆｅｒＬｅｖｅｌ_ＭＡＸ（ｔ）は、最大バッファレベルであり、Ｔは、２つのイントラフレーム間の期間であり、Ｆは、フレームレートであり、Ｒ _ＭＡＸ は、最大ビットレートであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｂ_Ｉは、イントラフレームサイズであり、Ｎは、未使用ビットの数が分配されるインターフレームの数であり、ｔは、時間である装置。
15. 請求項１２乃至１４のいずれか１項に記載の装置であって、前記手段（ｃ）は、
    前記最大バッファレベルと前記送信バッファレベルとの間の差異を求めるとともに
    前記差異に基づいてインターフレームとイントラフレームを符号化するための前記目標フレームサイズと最大バッファサイズとの間の誤差のマージンを求めるとともに、前記誤差のマージンを維持するように構成される装置。
16. 請求項１２乃至１５のいずれか１項に記載の装置であって、前記手段（ａ）は、
    （ａ１）イントラフレームの符号化において用いられないビットの数を求める手段と、
    （ａ２）前記イントラフレームに続くＮ個のインターフレームについて、前記目標フレームサイズに渡って前記未使用ビットの数を分配する手段と
    が含まれる装置。
17. 請求項１６に記載の装置であって、
    前記手段（ａ１）は、前記符号化されたイントラフレームサイズと、対応するイントラフレームの目標サイズとの間の差異を求めるように構成される、又は、
    前記手段（ａ２）は、
    

    

    
    とすると、数Ｌのインターフレームに渡って前記送信バッファレベルを最適化するように構成される、又は、
    前記手段（ａ２）は、前記未使用ビットの数をほぼ均等に分配するように構成される装置_。
18. 請求項１２乃至１５のいずれか１項に記載の装置であって、前記手段（ａ）は、
    以下のように前記目標フレームサイズを求めるように構成され、
    ｔ＝１、２、３、・・・、Ｌの場合、
    

    

    ｔ＝Ｌ、Ｌ＋１、・・・、Ｔ−１の場合、
    

    

    ここで、Ｂ_ｐ（ｔ）は、時間ｔにおけるインターフレームの前記目標フレームサイズであり、Ｔは、２つのイントラフレーム間の期間であり、
    

    

    は、時間ｔにおけるインターフレームの目標サイズであって、送信バッファをオーバーフローすることを引き起こさないように選択され、Ｂ_Ｉは、イントラフレームサイズであり、Ｆは、フレームレートであり、ｋは、加算機能のインデックスであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｒ_ＭＡＸは最大ビットレートである、又は
    前記手段（ａ）は、以下のように前記目標フレームサイズを求めるように構成され、
    

    

    

    

    ここで、Ｂ_ｐ（ｔ）は、時間ｔにおけるインターフレームの前記目標フレームサイズであり、Ｂ_Ｉは、イントラフレームサイズであり、Ｔは、２つのイントラフレーム間の期間であり、
    

    

    は、Ｒ_ＭＡＸ／Ｆに等しいインターフレームの目標サイズであり、Ｆは、フレームレートであり、Ｌは、前記送信バッファレベルが最適化されるフレームの数であり、Ｒ_ＭＡＸは最大ビットレートである装置。
19. 請求項１２乃至１８のいずれか１項に記載の装置であって、前記装置は更に、
    （ｉ）符号化された後の前記インターフレームのサイズが、前記最大バッファレベルを超過する場合、前記インターフレームを削減するように構成される、又は、
    （ｉｉ）前記インターフレーム又は前記イントラフレームを符号化する前に、各エンコーダ状態変数を記憶するように構成される、又は、
    （ｉｉｉ）次のインターフレーム又は次のイントラフレームの符号化に先立って、符号化されたインターフレーム又は符号化されたイントラフレームを削除した後、前記各エンコーダ状態変数を復元するように構成される、又は、
    （ｉｖ）符号化の後に前記インターフレームのサイズ又は前記イントラフレームのサイズは、所定の最大限度より小さいことを保証し、前記最大限度は最大ビットレートであるように構成される装置。
20. イントラフレームで分離された一連のインターフレームを含む画面のシーケンスの映像符号化のためのエンコーダであって、
    プロセッサと、
    請求項１２乃至１９のいずれか１項に記載の、前記映像符号化におけるレート制御のための装置と
    が含まれるエンコーダ。
    

Images