JPH11262003A - 一定ビット・レ―トまたは可変ビット・レ―トのためのディジタル・モ―ション・ビデオ・シ―ケンスの２パス符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 ピクチャなどのディジタル情報の単位を符号
化するためのシステムおよび方法を提供すること。 【解決手段】 すべてのデータが、まず、エンコーダに
組み込まれたレート制御機構を使用して、全データに対
する圧縮パスを実行することによって分析される。量子
化スケール設定や作成されるビットなどのピクチャ属性
を、結果のビットストリームから抽出し、これを分析
し、個々の単位（ピクチャ）量子化スケールおよびビッ
ト割振り設定を、一定ビット・レートまたは可変ビット
・レートのいずれかについて次のパスのために用意し、
これによってバッファ境界を順守する。同一データに対
する第２圧縮パスでは、一定ビット・レートまたは可変
ビット・レートの圧縮ビットストリームが作られるが、
このパスでは、組み込みレート制御機構を使用せず、そ
の代わりに、用意されたピクチャ・ビット割振りおよび
量子化スケールの設定を使用する。さらに、総合的なビ
ット作成精度を監視する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ圧縮の分野
に関し、具体的には、ディジタル・モーション・ビデオ
信号を圧縮するためのシステムおよび方法に関する。

【０００２】

【従来の技術】ディジタル伝送ネットワーク、ディジタ
ル記憶媒体、超大規模集積デバイス、ならびにビデオ信
号およびオーディオ信号のディジタル処理の技術的進歩
が合流しつつあるため、多数の応用分野でディジタル・
ビデオの伝送と記憶が経済的になりつつある。ディジタ
ル・ビデオ信号の記憶と伝送は、多くの応用分野にとっ
て主要なものであり、ビデオ信号の非圧縮表現は、通常
は大量の記憶域を必要とするので、ディジタル・ビデオ
圧縮技法の使用が、この進歩しつつある技術分野にとっ
て重要である。

【０００３】ディジタル・ビデオ信号の圧縮に関する複
数の国際規格が、この１０年間に登場し、さらに多数の
規格が現在開発されつつある。これらの標準規格は、さ
まざまな応用分野での圧縮ディジタル・ビデオの伝送と
記憶のためのアルゴリズムに適用される。この応用分野
には、ビデオ電話およびビデオ会議、同軸ケーブル、光
ファイバ・ネットワーク、地上波放送または直接衛星放
送を介する高品位ディジタル・テレビジョン送信、ＣＤ
−ＲＯＭ、ディジタル・テープ、ディジタル・ビデオ・
ディスクおよびディスク・ドライブに格納された対話型
マルチメディア製品が含まれる。

【０００４】圧縮標準規格のうちのいくつかでは、圧縮
技法の共通のコア、たとえばＣＣＩＴＴ（国際電信電話
諮問委員会）勧告Ｈ．１２０、ＣＣＩＴＴ勧告Ｈ．２６
１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１規格およびＩＳＯ／
ＩＥＣ ＭＰＥＧ−２規格に基づくアルゴリズムが使用
される。ＭＰＥＧアルゴリズムは、国際標準化機構（Ｉ
ＳＯ）と国際電気標準会議（ＩＥＣ）の合同技術委員会
の一部であるMoving Picture Experts Group（ＭＰＥ
Ｇ）によって開発された。ＭＰＥＧ委員会は、ビデオ信
号とそれに関連するオーディオ信号の多重化圧縮表現の
ための標準規格を開発してきた。これらの標準規格で
は、圧縮ビット・ストリームの構文と復号の方法が指定
されているが、エンコーダに使用されるアルゴリズムの
新規性と多様性については、かなりの許容範囲が残され
ている。

【０００５】ＭＰＥＧ−１標準規格は、プログレッシブ
・ビデオの圧縮に使用するために開発された。プログレ
ッシブ・ビデオ・シーケンスとは、各フレームが離散的
な時刻に見られるシーンを表すシーケンスである。対照
的に、インターレース式ビデオの場合、フィールド（画
面上の１つおきの走査線）が周期的に取り込まれる。イ
ンターレース式ビデオの場合、交番する時刻に画面上の
トップ・フィールドとボトム・フィールドが更新され
る。どの時点でも、２つのフィールドからのデータ（１
フレーム）を見ることができる。

【０００６】ＭＰＥＧ−２標準規格は、インターレース
式ビデオ、プログレッシブ・ビデオ、またはプログレッ
シブとインターレースを混合したビデオのいずれの圧縮
にも使用できる。各フレームがプログレッシブであるか
インターレースであるかは、エンコーダが指定する。

【０００７】ＭＰＥＧ標準規格では、各ピクチャの圧縮
表現のビット数が可変であるビット・ストリームが指定
されている。この変動は、異なる種類のピクチャ処理な
らびに符号化されるシーンの空間的時間的複雑さの時間
に伴う固有の変動に起因する。このため、ビット・レー
トの変動を一様にするためにバッファを使用することに
なる。たとえば、一定ビット・レートの記憶媒体または
伝送チャネルの場合、バッファリングを用いると、圧縮
画像のビット・レートが、バッファのサイズに依存する
限界内で変動しても、記憶装置または伝送チャネルに一
定ビット・レートを出力できるようになる。

【０００８】バッファリングの重要性を考慮して、ＭＰ
ＥＧ標準規格では、図１に示された、仮想バッファ検証
器（ＶＢＶ）と称する仮定のデコーダが定義されてい
る。このＶＢＶは、符号化されたビット・ストリーム
が、デコーダ・バッファ・サイズと入力ビット・レート
に対して指定された制限を用いて復号可能であるかどう
かを検証する。ＶＢＶは、一定ビット・レート（ＣＢ
Ｒ）および可変ビット・レート（ＶＢＲ）という２つの
動作モードを有する。この２つのモードを、下で説明す
る。

【０００９】一定ビット・レート動作の場合、デコーダ
・バッファ１０１には、記憶装置または伝送媒体からの
圧縮データ１００が一定のビット・レートで満たされ
る。バッファ・サイズとビット・レートの両方が、圧縮
ビット・ストリームで伝送されるパラメータである。や
はりビット・ストリーム内の情報から導出される初期遅
延の後に、仮定デコーダ１０３は、第１のピクチャに関
連するデータのすべてを瞬間的にバッファから除去す
る。その後、シーケンスのピクチャ・レートに等しい間
隔で、デコーダが、バッファ内の以前のピクチャに関連
するすべてのデータを除去する。

【００１０】可変ビット・レート動作は、前記に似てい
るが、バッファが満杯になるまでは圧縮ビット・ストリ
ームが指定された最大ビット・レートでバッファに入
り、バッファが満杯になった時点で、バッファの少なく
とも一部が空になるまではビットが入力されなくなる点
が異なる。これは、バッファに入るビット・レートが効
果的に可変であることを意味する。

【００１１】ビット・ストリームがＭＰＥＧレート制御
要件を満足するためには、各ピクチャのすべてのデータ
が、デコーダがそれを必要とする時点でバッファ内で使
用可能になっていることが必要である。この要件は、各
ピクチャに許容されるビット数の上限（ＵＶＢＶ）およ
び下限（ＬＶＢＶ）に変換される。所与のピクチャの上
限と下限は、その前のすべてのピクチャで使用されたビ
ット数に依存する。ＶＢＶ要件を満たすビット・ストリ
ームを作成するのは、エンコーダの機能である。実際の
デコーダは、必ずしも上で述べた形で構成されるか動作
することを期待されてはいない。仮定デコーダとそれに
関連するバッファは、圧縮されたピクチャのサイズに対
して計算可能な限界を設けるための手段にすぎない。

【００１２】レート制御方式は、米国特許第５２３１４
８４号明細書にみられ、同明細書には、ＭＰＥＧに使用
可能なレート制御機構が記載されている。このタイプの
方式のブロック図を、図２に示す。この方式では、入力
ビデオ信号Ｆｋ２００が、複雑さ推定機構２０１とピク
チャ・コーダ２０５に送られる。複雑さ推定機構は、複
雑さ推定値Ｃｋ（信号２０２）をピクチャ・ビット割振
り機構２０３に送る。ピクチャ・ビット割振り機構は、
量子化スケールＱｋ（信号２０４）をピクチャ・コーダ
２０５に送る。量子化スケールは、エンコーダから圧縮
ビデオ信号を受け取る仮定デコーダ・バッファの瞬間的
バッファ・フルネス（instantaneous buffer fullnes
s）と、前に符号化されたピクチャとに応じて設定され
る。ピクチャ・コーダは、量子化スケールを使用して、
Ｆｋを符号化し、出力ビット・ストリームＣＤｋ（信号
２０６）を作る。

【００１３】

【発明が解決しようとする課題】前記に関して、本発明
の目的は、ピクチャなどのディジタル情報の単位を符号
化するためのシステムおよび技法を提供することであ
る。

【００１４】

【課題を解決するための手段】すべてのデータが、ま
ず、エンコーダに組み込まれたレート制御機構を使用し
て、全データに対して圧縮パスを実行することによって
分析される。その後、その分析結果を使用して、個々の
単位（ピクチャ）量子化スケールとビット割振り設定
を、一定ビット・レートまたは可変ビット・レートのい
ずれかについて次のパスのために用意する。最後に、同
一のデータに対する第２の圧縮パスで、一定ビット・レ
ートまたは可変ビット・レートの圧縮ビット・ストリー
ムを作るが、このパスでは、組み込みレート制御機構を
使用せず、用意されたピクチャ・ビット割振り設定およ
び量子化スケール設定を、ビット作成精度を監視するた
めの方法と組み合わせて使用する。

【００１５】さまざまな実施例では、初期圧縮パス・デ
ータを分析し、その結果を使用して、一定ビット・レー
トまたは可変ビット・レートのいずれかの第２圧縮パス
のためのビット作成目標および量子化スケール目標を用
意し、ピクチャ単位で実際の第２圧縮パス処理を制御す
るための方法が提供される。

【００１６】

【発明の実施の形態】ａ．ＭＰＥＧ−２環境 本発明は、ＭＰＥＧ−２エンコーダに関連して適用でき
るので、本発明を理解しやすくするために、ＭＰＥＧ−
２ビデオ圧縮標準規格の関連する態様のいくつかを再検
討する。しかし、本発明は、ＭＰＥＧ−２標準規格の特
徴のいくつかを共用する他のビデオ符号化アルゴリズム
にも適用可能であることに留意されたい。

【００１７】まず、１ページのテキスト、画像、音声の
セグメント、ビデオ・シーケンスなどのデータ・オブジ
ェクトの圧縮は、１）そのオブジェクトをトークンの集
合に分解するステップと、２）ある意味で最小の長さを
有する２進ストリングによってこれらのトークンを表現
するステップと、３）明瞭に定義された順序でストリン
グを連結するステップとを含む、一連のステップとみな
せることを理解されたい。ステップ２およびステップ３
は無損失である、すなわち、逆の手順で原データを忠実
に復元できる。ステップ２を、エントロピ符号化と称す
る。

【００１８】ステップ１は、損失があってもなくてもよ
い。ほとんどのビデオ圧縮アルゴリズムは、ビット・レ
ート要件が厳格なので有損失すなわち非可逆である。好
結果の非可逆圧縮アルゴリズムでは、冗長で不適切な情
報が除去され、視覚的に重要でない可能性が高い部分で
は比較的大きい誤差が許容され、人間の観察者が非常に
敏感であるシーケンスの諸態様が注意深く表現される。
ステップ１のためにＭＰＥＧ−２標準規格で使用される
技法は、予測／補間動き補償ハイブリッドＤＣＴ／ＤＰ
ＣＭ符号化と説明することができる。可変長符号化とし
ても既知のハフマン符号化が、ステップ２で使用され
る。前に述べたように、ＭＰＥＧ−２標準規格は、実際
にはデコーダと圧縮ビット・ストリーム構文の仕様であ
るが、以下のＭＰＥＧ−２仕様の説明は、説明を簡単に
するために、主にエンコーダの観点から行う。

【００１９】ＭＰＥＧビデオ標準規格では、伝送用のビ
デオの符号化表現が指定されている。この標準規格は、
インターレース式またはノンインターレース式のコンポ
ーネント・ビデオに対して動作するように設計されてい
る。各ピクチャは、輝度（Ｙ）、赤の色差（ＣＲ）およ
び青の色差（ＣＢ）という３つの成分を有する。４：
２：０データの場合、ＣＲ成分とＣＢ成分は、垂直と水
平の両方の方向で、Ｙ成分の半分のサンプル数を有す
る。４：２：２データの場合、ＣＲ成分とＣＢ成分は、
水平方向ではＹ成分の半分、垂直方向ではＹ成分と同一
のサンプル数を有する。４：４：４データの場合、ＣＲ
成分とＣＢ成分は、水平と垂直の両方の方向で、Ｙ成分
と同一のサンプル数を有する。

【００２０】ＭＰＥＧデータ・ストリームは、ビデオ・
ストリームおよびオーディオ・ストリームからなる。こ
れらのストリームは、システム情報およびおそらくは他
のビット・ストリームと共にパックされて、層構造のシ
ステム・データ・ストリームを構成する。ＭＰＥＧデー
タ・ストリームのビデオ層内では、圧縮データがさらに
多層化されている。層の編成を説明すれば、本発明の理
解を助けることになるであろう。

【００２１】層は、圧縮方式の動作ならびに圧縮ビット
・ストリームの合成に関係する。最上位の層は、ビデオ
・シーケンス層であり、これには、シーケンス全体の制
御情報とパラメータが含まれる。次の層では、シーケン
スが連続するピクチャの組に分割されるが、この組のそ
れぞれをグループ・オブ・ピクチャ（ＧＯＰ）と称す
る。この層の全般的な絵を図３に示す。復号は、任意の
ＧＯＰの先頭から、基本的に前のＧＯＰと独立に開始す
ることができる。ＧＯＰに含めることのできるピクチャ
数には制限がなく、すべてのＧＯＰに同数のピクチャを
含める必要もない。

【００２２】第３層である「ピクチャ」層は、単一のピ
クチャである。この層の全般的な絵を図４に示す。各ピ
クチャの輝度成分は、１６×１６領域に分割され、色差
成分は、この輝度の１６×１６領域と同一の空間的位置
にある適当なサイズのブロックに分割される。すなわ
ち、色差成分は、４：４：４ビデオでは１６×１６、
４：２：２ビデオでは８×１６、４：２：０ビデオでは
８×８に分割される。この同一位置の輝度領域と色差領
域を合わせて、「マクロブロック」（ＭＢ）と称する第
５層が構成される。ピクチャ内のマクロブロックには、
ラスタ走査の順で連続した番号が与えられる。

【００２３】ピクチャ層とＭＢ層の間に、第４層の「ス
ライス」層がある。各スライスは、いくつかの連続する
ＭＢからなる。スライスは、同一ピクチャ内でもピクチ
ャ間でも同一のサイズである必要はない。

【００２４】最後に、図５に示されているように、各Ｍ
Ｂは、４つの８×８輝度ブロックと、８個、４個または
２個（それぞれ４：４：４、４：２：２、４：２：０ビ
デオの場合）の色差ブロックからなる。各ピクチャの画
素（ピクセル）の輝度成分の幅をＣと表し、高さをＲと
表す（Ｃは列（column）、Ｒは行（row）の略）なら
ば、１つのピクチャは、Ｃ／１６ＭＢの幅、Ｒ／１６Ｍ
Ｂの高さである。

【００２５】シーケンス層、ＧＯＰ層、ピクチャ層およ
びスライス層のすべてが、ヘッダを関連付けられてい
る。このヘッダは、バイト整合された「開始コード」か
ら始まり、対応する層に含まれるデータに関係する情報
が格納される。

【００２６】ピクチャは、フィールド構造またはフレー
ム構造のいずれかとすることができる。フレーム構造の
ピクチャには、フレーム全体すなわち２フィールドのデ
ータを再構成するための情報が含まれる。フィールド構
造のピクチャには、１フィールドを再構成するための情
報が含まれる。各輝度フレームの幅（画素単位）をＣと
表し、高さをＲと表す（Ｃは列（column）、Ｒは行（ro
w）の略）ならば、フレーム構造のピクチャにはＣ×Ｒ
画素の情報が含まれ、フィールド構造のピクチャにはＣ
×Ｒ／２画素の情報が含まれる。

【００２７】フィールド構造のピクチャのマクロブロッ
クには、単一のフィールドからの１６×１６画素セグメ
ントが含まれる。フレーム構造のピクチャのマクロブロ
ックには、２つのフィールドから合成されるフレームか
らの１６×１６画素セグメントが含まれるので、各マク
ロブロックには、２つのフィードのそれぞれからの１６
×８個の領域が含まれる。

【００２８】ＭＰＥＧ−２シーケンス内の各フレーム
は、２つの符号化されたフィールド・ピクチャまたは１
つの符号化されたフレーム・ピクチャから構成されなけ
ればならない。たとえば、２つのフレームを、１つのフ
ィールド構造のピクチャと、それに続く１つのフレーム
構造のピクチャと、それに続く１つのフィールド構造の
ピクチャとして符号化することは不正である。正しい組
み合わせは、２つのフレーム構造のピクチャ、４つのフ
ィールド構造のピクチャ、２つのフィールド構造のピク
チャとそれに続く１つのフレーム構造のピクチャ、また
は、１つのフレーム構造のピクチャとそれに続く２つの
フィールド構造のピクチャである。したがって、ＭＰＥ
Ｇ−２の構文にはフレーム・ヘッダがないが、概念上、
ＭＰＥＧ−２のフレーム層を想定することができる。

【００２９】ＧＯＰ内には、３タイプのピクチャが現れ
る可能性がある。ＧＯＰ内のピクチャの３タイプの例
を、図６に示す。ピクチャのタイプを区別する特徴は、
使用される圧縮方法である。第１のタイプであるイント
ラモード・ピクチャまたはＩピクチャは、他のピクチャ
から独立に圧縮される。Ｉピクチャ間の距離に対する固
定された上限は存在しないが、Ｉピクチャは、ランダム
・アクセスおよび他の特殊なモードの動作を容易にする
ために、シーケンス全体を通じて頻繁に存在することが
期待される。予測動き補償ピクチャ（Ｐピクチャ）は、
そのピクチャ内の圧縮データと、前に表示されたＩピク
チャまたはＰピクチャからの最も最近に再構成された２
つのフィールドから再構成される。両方向動き補償ピク
チャ（Ｂピクチャ）は、そのピクチャ内の圧縮データ
と、前に表示されたＩピクチャまたはＰピクチャから再
構成された２フィールドと、将来に表示されるＩピクチ
ャまたはＰピクチャから再構成された２フィールドから
再構成される。再構成されたＩピクチャまたはＰピクチ
ャは、他のピクチャの再構成に使用される可能性がある
ので、アンカ・ピクチャと呼ばれる。本明細書の目的の
ために、次のアンカ・ピクチャがＩピクチャである場合
のアンカ・ピクチャを、ターミナル・ピクチャと呼称す
る。

【００３０】非常に有用な画像圧縮技法の１つが、変換
符号化である。ＭＰＥＧおよび複数の他の圧縮標準規格
では、離散コサイン変換（ＤＣＴ）が選択されている。
Ｉピクチャの圧縮は、１）画素のブロックのＤＣＴを得
るステップと、２）ＤＣＴ係数を量子化するステップ
と、３）結果をハフマン符号化するステップによって達
成される。ＭＰＥＧでは、ＤＣＴ演算によって、８×８
画素のブロックを８×８組の変換係数に変換する。ＤＣ
Ｔ変換自体は、無損失演算であり、それを実行する計算
装置やアルゴリズムの精度の範囲内で逆変換可能であ
る。

【００３１】第２ステップであるＤＣＴ係数の量子化
は、ＭＰＥＧ標準規格での損失の主な原因である。ＤＣ
Ｔ係数の２次元配列の要素をｃｍｎと表し、ｍとｎが０
から７までの範囲であるとすると、切捨や丸めの訂正と
は別に、量子化は、各ＤＣＴ係数ｃｍｎをｗｍｎ×ＱＰ
で割ることによって達成される。ここで、ｗｍｎは重み
付け係数、ＱＰはマクロブロック量子化因子である。Ｑ
Ｐが各ＤＣＴ係数に適用されることに留意されたい。重
み付け係数ｗｍｎを用いると、視覚的に重要でない係数
に粗い量子化を適用できるようになる。

【００３２】これらの重みの組を複数用意することがで
きる。たとえば、Ｉピクチャ用の重み付け係数と、Ｐピ
クチャおよびＢピクチャ用のもう１つの重み付け係数が
あってもよい。カスタム重みは、ビデオ・シーケンス層
で伝送することができ、また、省略時値を使用すること
もできる。マクロブロック量子化因子パラメータは、Ｍ
ＰＥＧ−２での画質とビット・レートのトレード・オフ
を行うための主な手段である。ＱＰは、１ピクチャ内で
ＭＢごとに異なってもよいことに留意されたい。この特
徴を適応量子化（ＡＱ）と称するが、これによって、各
ピクチャの異なる領域を異なるステップ・サイズで量子
化でき、各ピクチャ内およびピクチャ間での画質の等化
（および最適化）にＡＱを使用することができる。通
常、たとえばＭＰＥＧテスト・モデルの例では、マクロ
ブロック量子化因子は、マクロブロック・マスキング係
数とピクチャ公称量子化因子の積として計算される。

【００３３】量子化の後に、各ＭＢのＤＣＴ係数情報
を、一組のハフマン符号を使用して編成し、符号化す
る。このステップの詳細は、本発明の理解にとって重要
ではなく、当技術分野で全般的に理解されているので、
これ以上の説明は行わない。

【００３４】ほとんどのビデオ・シーケンスでは、連続
するピクチャの間に高い度合の相関が示される。ピクチ
ャの符号化の前にこの冗長性を除去するのに有用な方法
が、動き補償である。ＭＰＥＧ−２では、動き補償のた
めのツールが複数提供される（下で説明する）。

【００３５】動き補償の方法のすべてに、以下の点が共
通している。マクロブロックごとに、１つまたは複数の
動きベクトルが、ビット・ストリーム内で符号化され
る。これらの動きベクトルを用いると、デコーダが、予
測マクロブロックと呼ばれるマクロブロックを再構成で
きるようになる。エンコーダは、符号化されるマクロブ
ロックから予測マクロブロックを減算して、差分マクロ
ブロックを形成する。エンコーダは、イントラ・マクロ
ブロックの圧縮に使用されるツールに基本的に類似した
ツールを使用して、差分マクロブロックを圧縮する。

【００３６】ピクチャのタイプによって、使用できる動
き補償の方法が決定される。エンコーダは、ピクチャ内
のマクロブロックごとに、これらの方法の中から選択す
る。動き補償の方法を、使用されるマクロブロック・モ
ードおよび動き補償モードによって説明する。マクロブ
ロック・モードには、イントラ（Ｉ）モード、順方向
（Ｆ）モード、逆方向（Ｂ）モードおよび双方向補間
（ＦＢ）モードの４つがある。Ｉモードの場合、動き補
償は使用されない。それ以外のマクロブロック・モード
では、１６×１６（Ｓ）または１６×８（Ｅ）の動き補
償モードを使用できる。Ｆマクロブロック・モードの場
合、デュアル・プライム（Ｄ）動き補償モードも使用可
能である。

【００３７】ＭＰＥＧ標準規格は、一定ビット・レート
および可変ビット・レートの両方の伝送媒体および記憶
媒体と共に使用することができる。各ピクチャのビット
数は可変であるが、これは、ピクチャ処理の異なるタイ
プならびに、符号化されるシーンの空間的時間的複雑さ
の時間に伴う固有の変動に起因する。ＭＰＥＧ標準規格
では、仮想バッファ検証器（ＶＢＶ）の形でのバッファ
に基づくレート制御戦略を使用して、ビット・レートに
許容される変動に対する意味のある限界を設定してい
る。図１からわかるように、ＶＢＶは、デコーダ・バッ
ファ１０１とそれに続く仮定デコーダ１０３として考案
され、その唯一の作業は、各ピクチャの符号化に使用さ
れるビット数に限界を設け、その結果、総合的なビット
・レートが、目標の割振りと等しくなり、目標からの短
期的な偏差に限界が設けられるようにすることである。
ＶＢＶは、一定ビット・レート・モードまたは可変ビッ
ト・レート・モードのいずれかで動作することができ
る。

【００３８】一定ビット・レート・モードでは、バッフ
ァは、記憶媒体または伝送媒体からのビット・ストリー
ムの圧縮データによって一定のビット・レートで満たさ
れる。バッファ・サイズとビット・レートの両方が、圧
縮ビット・ストリームで伝送されるパラメータである。
やはりビット・ストリーム内の情報から導出される初期
遅延の後に、仮定デコーダが、第１のピクチャに関連す
るデータのすべてをバッファから瞬間的に除去する。そ
の後、シーケンスのピクチャ・レートに等しい間隔で、
デコーダが、バッファ内の最も古いピクチャに関連する
全データを除去する。

【００３９】ＶＢＶの動作を、図７の例によって示す。
この図には、デコーダ・バッファのフルネスの経時的変
化が示されている。バッファは、初期遅延の時刻Ｔ０の
後に、初期バッファ・フルネスＢｉから開始される。傾
斜した線分は、圧縮データが一定ビット・レートでバッ
ファに入ることを示す。垂直の線分は、バッファ内の最
も古いピクチャに関連するデータのバッファからの瞬間
的な除去を示す。この例では、ピクチャは、時間Ｔの一
定間隔で除去されている。一般に、ピクチャ表示間隔す
なわち連続するピクチャの除去の間の時間間隔は、変動
する可能性がある。

【００４０】ビット・ストリームがＭＰＥＧレート制御
要件を満足するためには、各ピクチャの全データが、デ
コーダがそれを必要とする瞬間にバッファ内で使用可能
であり、デコーダ・バッファがあふれないことが必要で
ある。これらの要件は、各ピクチャで許容されるビット
数の上限と下限に変換される。所与のピクチャの上限と
下限は、その前のすべてのピクチャで使用されたビット
数に依存する。たとえば、第２のピクチャには、第２ピ
クチャが除去される時にバッファ内で使用可能なビット
数であるＵ２ビットを越えるビットを含めることはでき
ず、Ｌ２ビット未満のビットを除去すると、バッファが
入力ビットでオーバーフローすることになるので、Ｌ２
ビット未満のビットを含めることもできない。エラーな
しでＶＢＶによって復号できるビット・ストリームを作
るのは、エンコーダの機能である。

【００４１】一定ビット・レート動作の場合、バッファ
からピクチャが除去される直前のバッファ・フルネス
は、前のピクチャを除去する前のバッファ・フルネスか
ら前のピクチャのビット数を減じ、ピクチャ除去と前の
ピクチャの除去の間の時間とビット・レートの積を加え
た値に等しい。すなわち、 ピクチャ除去前のバッファ・フルネス＝最後のピクチャ
の除去の前のバッファ・フルネス−最後のピクチャのビ
ット数＋ピクチャと最後のピクチャの間の時間×ビット
・レート ピクチャのビット数の上限は、バッファからそのピクチ
ャを除去する直前のバッファ・フルネスに等しい。下限
は、０ビットと、バッファ・サイズからそのピクチャを
バッファから除去する直前のバッファ・フルネスを減
じ、次のピクチャが除去される前にバッファに入るビッ
ト数を加えた値のうちの大きい方になる。所与のピクチ
ャを除去する前のバッファ・フルネスは、初期バッファ
・フルネスと、前のピクチャのすべてのビット数とに依
存し、上の規則を使用して計算できる。

【００４２】可変ビット・レート動作は、前記に似てい
るが、バッファが満杯になるまでは圧縮ビット・ストリ
ームが指定された最大ビット・レートでバッファに入
り、バッファが満杯になった時にはビットが入力されな
くなる点が異なる。これは、バッファに入るビット・レ
ートが、指定された最大レートまで効果的に可変となり
得ることを意味する。可変ビット・レート動作の下での
バッファ・フルネスのプロットの例を、図８に示す。バ
ッファは、バッファ・フルネスがその定義によってバッ
ファ・サイズＢｍａｘを超えられないことを除いて、一
定ビット・レートの場合と同様に動作する。これは、ピ
クチャごとに作られるビット数の上限につながるが、下
限は存在しない。

【００４３】可変ビット・レート動作の場合、バッファ
からピクチャが除去される直前のバッファ・フルネス
は、バッファのサイズか、前のピクチャを除去する直前
のバッファ・フルネスから前のピクチャのビット数を減
じ、現ピクチャの除去と前のピクチャの除去の間の時間
に最大ビット・レートを乗じた値を加えた値のうちの小
さいほうに等しい。すなわち、 ピクチャ除去前のバッファ・フルネス＝ｍｉｎ（バッフ
ァ・サイズ、最後のピクチャ除去前のバッファ・フルネ
ス−最後のピクチャのビット数＋現ピクチャと最後のピ
クチャの間の時間×ビット・レート） ピクチャ内のビット数の上限は、やはりバッファからピ
クチャを除去する直前のバッファ・フルネスに等しい。
前に述べたように、下限は存在しない。所与のピクチャ
を除去する前のバッファ・フルネスは、やはり初期バッ
ファ・フルネスと前のピクチャのすべてのビット数に依
存し、上の規則を使用して計算できる。

【００４４】ｂ．エンコーダの好ましい実施例 図９に、本発明の実施例の構成要素とその相互接続を示
す。ピクチャ・コーダ９０１は、図２のピクチャ・コー
ダ２０５などの通常のタイプのピクチャ・コーダであ
る。ピクチャ符号化特性９０４は、ビットストリームに
挿入され、プリプロセッサ９０２で抽出され、フィルタ
リングされ、分析され、さらに処理される。ピクチャ・
コーダ９０３は、組み込みレート制御機構を使用せず、
ピクチャ単位でプリプロセッサ９０２の出力９０５によ
って制御されることを除いて、ピクチャ・コーダ９０１
と同一である。

【００４５】図９では、ディジタル・モーション・ビデ
オ・シーケンスは、まずピクチャ・コーダ９０１によっ
て全体を圧縮される。このピクチャ・コーダに組み込ま
れたレート制御アルゴリズムは、一定ビット・レート
（ＣＢＲ）出力を作るように構成される。このようなレ
ート制御アルゴリズムの例は、ＭＰＥＧに使用できるレ
ート制御機構を記載した米国特許第５２３１４８４号明
細書に見られる。

【００４６】レート制御機構が操作できる実際のビット
・レート（ビット／秒）の例として、１実施例では、ビ
デオのために使用可能な全ビット数をその持続時間
（秒）で割った値を使用する。全ビット数は、エンコー
ダ・システムが使用される応用例から与えられ、たとえ
ば、ディジタル記憶装置に関して許容可能なファイル・
サイズや、ディジタル・ビデオ・ディスク（ＤＶＤ）の
容量のうちでビデオに割り当てられた部分とすることが
できる。

【００４７】通常、ＭＰＥＧ符号化では、ピクチャは、
ピクチャ全体の量子化スケールを設定することによって
符号化され、このピクチャのためのある数のビットが作
られる。１実施例では、この２つのピクチャ属性すなわ
ち量子化スケールと作られるビット数によって、ビット
作成モデルを決定する。そのようなビット作成モデルの
例が次式である。 作成されるビット×量子化スケール＝定数 ここで、定数は、ピクチャごとに異なり、実際に作られ
たビット数に、ピクチャ・コーダ９０１の動作中に設定
された特定の量子化スケールの値を乗ずることによって
測定できる。

【００４８】量子化スケールとピクチャごとに作られる
ビット数のほかに、ピクチャごとに使用可能な他のデー
タ項目を、ピクチャ・コーダ９０１の動作中に集めるこ
とができる。このデータ項目の例が、ピクチャ・タイ
プ、イントラ符号化マクロ・ブロックの数、空間活動度
である。これらおよび他の通常のピクチャ符号化特性を
集めて、圧縮特性分析に使用できることを理解された
い。

【００４９】１実施例では、ピクチャの空間活動度が、
マクロブロックの空間活動度の平均値になる。マクロブ
ロックごとに、まず平均画素輝度値を計算する。次に、
各画素値とこの平均の間の絶対差を累算し、平均を求め
る。これによって、各マクロブロックの絶対ノルム分散
尺度がもたらされる。その後、ピクチャ内の全マクロ・
ブロックに対する平均を、ピクチャの空間活動度として
使用する。

【００５０】ＭＰＥＧ−２のピクチャは、表示順序と異
なる順序で符号化される可能性があるので、処理のため
に、まず、ピクチャ・データをピクチャ表示時間シーケ
ンスの順序で並べかえる場合があることを理解された
い。

【００５１】シーンの変化は、集められたピクチャ符号
化特性を表示時間シーケンスの順で使用して検出され
る。好ましい実施例では、連続するピクチャの空間活動
度の間の絶対差の単純な閾値を用いることができる。当
業者は、おそらくはピクチャおよびシーケンスの他の測
定された特性に基づく、シーン変化検出のための同様の
方法を考案できるであろう。

【００５２】通常のシーンから完全に空白のシーンへの
フェード（「フェード・アウト」）と、おそらくは異な
るシーンへのフェード（「フェード・イン」）も検出さ
れる。他の好ましい実施例では、まず、非常に低いか０
のピクチャ空間活動度を探索することによって、空白の
ピクチャが検出される。その時点から外すなわち、時間
的に前後のピクチャは、空間活動度が増加せず、かなり
一定の安定したレベルに落ち着く時には、もはやフェー
ドの一部ではないとみなされる。フェードは、２つのシ
ーンの間の遷移なので、シーン変化は、フェード・アウ
トとフェード・インの間で検出された空白のピクチャ領
域に挿入される。空白領域の前にフェード・アウトだけ
があり、後にフェード・インが続かない状況と、空白領
域の前にフェード・アウトがなく、後にフェード・イン
が続く状況が発生する可能性があることを理解された
い。これらの状況でも、シーン変化は空白領域に挿入さ
れる。

【００５３】次に、検出されたシーン変化と、フェード
に挿入されたシーン変化を、ＧＯＰ開始位置と組み合わ
せて、ビデオ・シーケンスを多数の非常に短いシーケン
ス（たとえば１５ピクチャの長さ）に分割する。ＧＯＰ
の概念を明示的に有しない圧縮方法の場合には、シーケ
ンスをピクチャの多数の短いセグメントに分割する目的
だけのためにＧＯＰの概念を導入できることを理解され
たい。好ましい実施例の分割の方法は、必ずシーン変化
位置を分割境界として使用し、ある最少サイズ（たとえ
ば１５ピクチャ）より短いセグメントが作成されない時
に限って、分割境界としてＧＯＰ開始位置を使用するこ
とである。２つのシーン変化（検出されたものかフェー
ドに挿入されたもののいずれか）が互いに非常に近く、
最小値より短いセグメントが作成される場合には、その
シーン変化境界が使用され、最少ピクチャ数より短いセ
グメントが作成される。

【００５４】次に、集められたピクチャ圧縮特性を、分
割されたシーケンスに基づいてフィルタリングする。具
体的に言うと、量子化スケールがそのセグメントのすべ
てのピクチャで同一になるように、セグメント全体でそ
のセグメントについて使用可能なビット数を分配する量
子化スケールを計算する。通常、あるセグメントに使用
可能なビットの総数は、セグメント内のピクチャ数Ｎ
に、１つのピクチャで使用可能なビット数の平均Ｂａを
乗じた値である。後者は、ビデオ・シーケンス全体に使
用可能なビットの総数とそのシーケンスのピクチャ数の
比によって計算される。量子化スケールをセグメントで
使用可能なビット数と相関させるために、上で述べたビ
ット作成モデルが使用されることを理解されたい。

【００５５】この時点で、ピクチャ・コーダ９０１は、
ビデオ・シーケンス全体に対して動作し終えており、複
数のピクチャ符号化特性が集められている。さらに、集
められたピクチャ単位の量子化スケールは、シーン変化
位置に適当に位置合せされた多数の短いセグメントへの
シーケンスの分割を使用してフィルタリングされてい
る。

【００５６】本発明の次の目的は、ビデオ・シーケンス
全体をもう一度符号化することであるが、今回はピクチ
ャ・コーダ９０３を介して符号化する。このピクチャ・
コーダ９０３は、組み込みレート制御機構を使用しない
点を除いて、ピクチャ・コーダ９０１と同一である。し
たがって、ビデオ・データのこの第２パスでは、量子化
スケールが、組み込みレート制御機構によって設定され
るのではなく、ピクチャごとの事前に計算された量子化
スケール値という外部制御の下にある。これらの事前設
定ピクチャ量子化スケール値を計算して、２つの非常に
異なるタイプのビットストリームを作ることができる。
２つのタイプの一方は、一定ビット・レートのビットス
トリームであり、他方は、ある最大ビット・レートだけ
を有する可変ビット・レートのビットストリームであ
る。一定ビット・レートでは、ＶＢＶバッファの下限と
上限の両方を順守しなければならないが、可変ビット・
レートでは、ＶＢＶバッファの下限だけを順守すればよ
い。

【００５７】ピクチャ・コーダ９０３を介してビデオ・
シーケンス全体を走らせる時に量子化スケールを計算し
て一定ビット・レートのビットストリームを作るため
に、この問題を、制約付き二次計画法問題として定式化
する。制約は、超えてはならないバッファ境界であり、
最小化判断基準は、２つの隣接するピクチャの逆量子化
スケールの間の差の合計である。（逆）量子化は隣接し
ているが、バッファ境界制約の順守は符号化順序によっ
て行われることを考慮に入れる必要がある。したがっ
て、この問題を「制約付き最小二乗」問題として定式化
する時には、なんらかの並べ換えブックキーピングを順
守しなければならない。この種の問題を解くための数学
的な方法は周知である。１実施例では、上で述べたよう
にピクチャのより短いセグメントのそれぞれに最適化方
法を適用できるが、もう１つの好ましい実施例では、ビ
デオ・シーケンス全体のより短いセグメントへの分割に
シーン変化位置だけを使用する。当業者は、シーケンス
をより短時間のセグメントに分割する他の方法を見出せ
ることを理解されたい。このように定式化された最適化
問題の解は、シーケンス全体の各ピクチャの量子化スケ
ールをもたらすが、これらの量子化スケールを使用する
ことによってバッファの上限または下限を超えることは
ない。

【００５８】ピクチャ・コーダ９０３を介してビデオ・
シーケンス全体を走らせる時に可変ビット・レート・ビ
ットストリームを作るための量子化スケールを計算する
ためには、各ピクチャの量子化スケールを、上で述べた
ようにピクチャのより短時間のセグメントのそれぞれの
一定量子化スケールの設定に基づくものとする。好まし
い実施例では、目標の量子化スケール設定Ｑｔが、上で
述べたように測定され、フィルタリングされた量子化設
定Ｑｆに基づいて、次式から与えられる。 Ｑｔ＝（Ｑｆ＾０．６） ここで、「＾」は累乗を表す。すなわち、ＱｔはＱｆの
０．６乗に等しい。次に、各ピクチャの対応する目標ビ
ット数を、測定されたビット作成モデルにより計算す
る。これらの目標ビット作成の合計は、一般にシーケン
ス全体で使用可能なビットの総数にはならないので、各
ピクチャ量子化スケールＱｔに、すべてのピクチャで同
一の係数を乗じ、目標ビット作成に対応するＱｔの乗算
後の値の合計が、シーケンス全体で使用可能なビット総
数に正確に一致するようにする。もう１つの実施例で
は、量子化スケール値Ｑｔを、次式によって求めること
ができる。 Ｑｔ＝（ｃ１＋ｃ２×Ｑｆ） ここで、ｃ１とｃ２は、たとえば、可変ビット・レート
符号化で特定のビデオ画質の分布を得るために経験によ
って決定することができる定数である。これらの定数の
値の例が、ｃ１＝１．２とｃ２＝０．２である。当業者
であれば量子化スケールを設定するための他の式を定義
することができ、したがって、これらの実施例は、可変
ビット・レート・ビットストリームを達成する量子化ス
ケールをピクチャごとに設定する方法の例にすぎないこ
とを理解されたい。

【００５９】可変ビット・レートのバッファ下限を、ピ
クチャのより短時間のセグメントについて順守するよう
にする。まず、目標量子化スケールＱｔを、ピクチャご
とに求める。次に、各セグメントについて、バッファが
ちょうどアンダーフローしなくなる、セグメント全体に
またがる最小の一定量子化スケールを計算する。次に、
短いアルゴリズムによって、セグメントごとにこの２つ
の値を比較し、特定のセグメントについてバッファ・ア
ンダーフローが検出される場合には、計算値Ｑｔの代わ
りに最小値を使用する。その場合、それらのセグメント
ではこれによって多少のビットが解放され、他のすべて
のセグメントに分配される。この処理は、すべてのセグ
メントがバッファ下限を順守することが保証され、解放
されたビットのすべてが再分配されるまで繰り返され
る。１セグメント内のすべてのピクチャに、セグメント
全体に割り当てられ得たものと同一の（一定）量子化ス
ケールが割り当てられる。

【００６０】可変ビット・レート動作のバッファ・アン
ダーフローを防止する手順の詳細な説明を、図１０に示
す。初期設定ステップ１００１が、次のようにこの手順
の変数をセットアップし、準備する。 ・再分配するビットの合計を０にする（Sred＝０） ・より多くのビットを受け取る資格を有するすべてのセ
グメントの目標ビットの合計を０にする（Selig＝０） 最初のセグメント・ループ１００２では、以下を実行す
る。 ・ｆｋ＜１のすべてのセグメントｋに対して、対応する
目標にｆｋを乗ずることによってその目標を減らす。 ・使用可能になったビット数を、再分配するビットの合
計Sredに加算する。 ・このセグメントの乗算係数を、正確に１に調節する。
これによって、このセグメントが処理され、追加ビット
を受け取れないことも示される。 ・ｆｋ＞１のセグメントに対して、目標ビットの合計Se
ligにピクチャ目標を加算する。 ・ｆｋ＝１のセグメントはスキップする。停止判断ステ
ップ１００３では、以下を実行する。 ・Sredが０に等しい場合、ｆｋ＜１のセグメントがなく
なったので停止する。再分配乗算係数計算ステップ１０
０４では、以下を実行する。 ・fred＝１＋（Sred／Selig） 第２のセグメント・ループ１００５では、以下を実行す
る。 ・ｆｋ＞１のセグメントに対して、目標にfredを乗ず
る。 ・セグメント乗算係数ｆｋを、fredで割ることによって
調節する。 ・ｆｋ＝１のセグメントはスキップする（最初のセグメ
ント・ループ１００２の後には、ｆｋ＜１のセグメント
は残っていない）。 fred＞１であるから、ｆｋ＞１の場合の第２のセグメン
ト・ループ１００５では、いくつかのセグメントがｆｋ
＜１になり、したがって、反復アルゴリズムは最初のセ
グメント・ループ１００２に戻る。

【００６１】最後に、総ビット作成がシーケンス全体で
使用可能なビット総数に非常に近いことを保証するため
に、コントローラが、実際のピクチャあたりのビット作
成を監視し、これを目標のピクチャ・ビット作成と比較
する。この２つの量の間の差の形で示される不一致は、
累算され、将来の量子化スケール設定の調節に使用され
る。

【００６２】たとえば、好ましい実施例では、調節され
る量子化スケールＱａは、目標量子化スケールＱｔを、
１から定数ｃと累算されたビット作成不一致（差Δ）の
積を引いた値で除算することによって計算される。 Ｑａ＝Ｑｔ／（１−ｃ×Δ） 定数ｃは小さい数であり、１実施例では、ＶＢＶバッフ
ァ・サイズの２倍の逆数である。当業者であれば、ビッ
ト作成不一致制御のための類似の方法を考案でき、ｃの
異なる値、おそらくは非定数の値を使用できるであろ
う。したがって、この好ましい実施例は、例として示さ
れたものであり、制限として示されたものではないこと
を理解されたい。

【００６３】ＭＰＥＧ符号化に関して本発明を説明して
きたが、本発明は、他のビデオ符号化技法と共に使用す
ることができ、ビデオ以外のデータと共に使用すること
もできる。実際、どのようなディジタル情報であって
も、符号化単位にセグメント化し、その符号化単位にビ
ットを割り振る（固定レートまたは可変レートの符号化
のために）ことができる。その後、符号化単位を、割振
りに基づいて符号化することができる。ビット割振りに
ついて説明した技法は、データがビデオであってもなく
ても機能する。たとえば、ディジタル化された音声を、
１ミリ秒フレームにセグメント化し（このオーディオ・
フレームは、ビデオ・ピクチャと同一の役割を演じ
る）、その各フレーム（符号化単位）にビットを割り振
ることができる。

【００６４】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００６５】（１）データ全体に対して圧縮パスを実行
するステップと、符号化単位の特性をビットストリーム
に挿入するステップと、次の処理のために前記符号化単
位の特性を抽出するステップとを含む、順序付き符号化
単位の圧縮特性を分析するための方法。 （２）順序付き符号化単位の初期分割のそれぞれがＧＯ
Ｐになるように設定するステップと、シーン変化を検出
するステップと、空白ピクチャへのまたは空白ピクチャ
からのフェードを検出するステップと、フェードの空白
領域にシーン変化を挿入するステップと、前記シーン変
化の検出および前記フェードの検出の結果を前記初期分
割と組み合わせて最終分割にするステップとを含む、順
序付き符号化単位のシーケンスを短いセグメントに分割
するための方法。 （３）順序付き符号化単位の各セグメントに所与のビッ
ト数を割り振ることによって、一定ビット・レートの第
２パスのためのビット割振りおよび量子化スケールの目
標を設定する方法。 （４）バッファ境界を制約とし、時間順次逆量子化スケ
ール間の差の合計を最小化判断基準とする制約付き最小
二乗問題を定式化することによって、上下のバッファ境
界が順守される、上記（３）に記載の方法。 （５）順序付き符号化単位の各短セグメントに所与のビ
ット数を割り振ることによって、可変ビット・レートの
第２パスのためのビット割振りおよび量子化スケールの
目標を設定する方法。 （６）バッファの下限が順守され、初期値を初期設定す
るステップと、前記バッファの下限のアンダーフローが
存在するかどうかを判定し、前記バッファの下限がアン
ダーフローしている場合に、前記バッファの下限がアン
ダーフローしなくなるように前記セグメント内の各符号
化単位の目標ビット数を減らすため、全セグメントをル
ープするステップと、減らされたビット数を累算するス
テップと、累算量が０の場合に、前記ビット割振りを完
了するステップと、前記累算量が０でない場合に、累算
されたビットを、前記バッファの下限のアンダーフロー
がなかったセグメントに再分配するステップと、前記累
算量が０になるまで全セグメントを再ループするステッ
プとを含む、上記（５）に記載の方法。 （７）符号化単位ごとに、目標ビット作成および関連量
子化スケールを設定するステップと、累算されたビット
作成不一致を使用することによって、前記量子化スケー
ルの設定を実際の値に調節するステップと、調節された
量子化スケール設定を用いて符号化単位を符号化するス
テップと、前記目標ビット作成と実際に作成されたビッ
ト数との間の差を用いて累算ビット作成不一致を更新す
るステップとを含む、順序付き符号化単位の圧縮のビッ
ト作成を制御する方法。

【図面の簡単な説明】

【図１】ＶＢＶのブロック図である。

【図２】従来のビデオ圧縮システムの概要を示す図であ
る。

【図３】ＭＰＥＧデータ・ストリームのビデオ圧縮層内
の圧縮データのグループ・オブ・ピクチャ（ＧＯＰ）の
組の例を示す図である。

【図４】ＭＰＥＧデータ・ストリームのビデオ圧縮層内
の圧縮データのマクロブロック（ＭＢ）層内のピクチャ
のＭＢ再分割の例を示す図である。

【図５】マクロブロックのブロック再分割を示す図であ
る。

【図６】通常のグループ・オブ・ピクチャ内のピクチャ
のタイプを示す図である。

【図７】一定ビット・レート・モードでの動作の、仮想
デコーダ・バッファの経時的変化の例を示す図である。

【図８】可変ビット・レート・モードでの動作の、仮想
デコーダ・バッファの経時的変化の例を示す図である。

【図９】複数パス符号化システムの概要を示す図であ
る。

【図１０】第２パス可変ビット・レート動作のために量
子化スケールを用意するための、バッファ・アンダーフ
ロー防止方法の流れ図である。

【符号の説明】

１００ 圧縮データ １０１ デコーダ・バッファ １０３ 仮定デコーダ ２００ 入力ビデオ信号Ｆｋ ９０１ ピクチャ・コーダ ９０２ プリプロセッサ ９０３ ピクチャ・コーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ピーター・ウェスターリンク アメリカ合衆国10562 ニューヨーク州オ シニング ウォールデン・ロード 38 １ ／２ アパートメント シー１−３

Claims (7)

【特許請求の範囲】
1. 【請求項１】データ全体に対して圧縮パスを実行するス
   テップと、 符号化単位の特性をビットストリームに挿入するステッ
   プと、 次の処理のために前記符号化単位の特性を抽出するステ
   ップとを含む、順序付き符号化単位の圧縮特性を分析す
   るための方法。
2. 【請求項２】順序付き符号化単位の初期分割のそれぞれ
   がＧＯＰになるように設定するステップと、 シーン変化を検出するステップと、 空白ピクチャへのまたは空白ピクチャからのフェードを
   検出するステップと、 フェードの空白領域にシーン変化を挿入するステップ
   と、 前記シーン変化の検出および前記フェードの検出の結果
   を前記初期分割と組み合わせて最終分割にするステップ
   とを含む、順序付き符号化単位のシーケンスを短いセグ
   メントに分割するための方法。
3. 【請求項３】順序付き符号化単位の各セグメントに所与
   のビット数を割り振ることによって、一定ビット・レー
   トの第２パスのためのビット割振りおよび量子化スケー
   ルの目標を設定する方法。
4. 【請求項４】バッファ境界を制約とし、時間順次逆量子
   化スケール間の差の合計を最小化判断基準とする制約付
   き最小二乗問題を定式化することによって、上下のバッ
   ファ境界が順守される、請求項３に記載の方法。
5. 【請求項５】順序付き符号化単位の各短セグメントに所
   与のビット数を割り振ることによって、可変ビット・レ
   ートの第２パスのためのビット割振りおよび量子化スケ
   ールの目標を設定する方法。
6. 【請求項６】バッファの下限が順守され、 初期値を初期設定するステップと、 前記バッファの下限のアンダーフローが存在するかどう
   かを判定し、前記バッファの下限がアンダーフローして
   いる場合に、前記バッファの下限がアンダーフローしな
   くなるように前記セグメント内の各符号化単位の目標ビ
   ット数を減らすため、全セグメントをループするステッ
   プと、 減らされたビット数を累算するステップと、 累算量が０の場合に、前記ビット割振りを完了するステ
   ップと、 前記累算量が０でない場合に、累算されたビットを、前
   記バッファの下限のアンダーフローがなかったセグメン
   トに再分配するステップと、 前記累算量が０になるまで全セグメントを再ループする
   ステップとを含む、請求項５に記載の方法。
7. 【請求項７】符号化単位ごとに、目標ビット作成および
   関連量子化スケールを設定するステップと、 累算されたビット作成不一致を使用することによって、
   前記量子化スケールの設定を実際の値に調節するステッ
   プと、 調節された量子化スケール設定を用いて符号化単位を符
   号化するステップと、 前記目標ビット作成と実際に作成されたビット数との間
   の差を用いて累算ビット作成不一致を更新するステップ
   とを含む、順序付き符号化単位の圧縮のビット作成を制
   御する方法。