JP2008509617A - ビデオシーケンスのフレームを形成する方法 - Google Patents

Abstract

少なくとも以下の、
− 最も重要なフレームを規則正しく配置し、一方でそれらの間に間隔を置くステップと、
− 該間隔をより低い重要度のフレームで充たすステップと、
− こうして得られた新たなシーケンスをコード化するステップと
に適合したミキシングテーブルを利用するステップを含む、ビデオシーケンスのフレーム又はピクチャ・グループＧＯＰを形成する手順及び装置。

Description

本発明は（「スケーリビティー」（ｓｃａｌｉｂｉｔｙ）として知られる）時間的な細分性を得るための、ビデオシーケンスのフレームを形成する方法に関する。

後に続く説明において、「細分性」（「ｇｒａｎｕｌａｒｉｔｙ／ｇｒａｎｕｌａｒｉｔｅ」）と言う用語はより大きい、又はより小さい粒子サイズを伴う選択によって解読されるビデオストリームの容量を示すであろう。単語の「フレーム」（「ｆｒａｍｅ／ｔｒａｍｅ」）又は「画像」（「ｉｍａｇｅ」）は、一つの同じオブジェクトを示すために同様に用いられるであろう。

本発明は例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の背景において適用される。

ビデオ規格における細分性
「スケーラブル圧縮ビットストリーム」（「ａ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｅｄ ｂｉｔ−ｓｔｒｅａｍ」）と呼ばれる細分性を確実にする手順により圧縮されたデータストリームは、幾つかの密接に絡み合った部分集合を含む。これらの各部分集合は（画像サイズに変化をもたらす）特定の空間分解能のための初期のビデオ・コンテンツ、（ビデオフレーム・ビットレートの変化をもたらす）時間分解能、又は（量子化パラメータの変化をもたらす）表示品位に関する解像度を表わす。これらの各部分集合は、それが含む情報の効果的な圧縮に対応すると想定される。図１は時間的細分性の一例を図式的に示す。

細分性の利点は多種多様である。細分性により各瞬間における伝送条件の再評価を必要とせずに、様々な要件又は容量を満足させることが可能である。特にエンコーダの視点から、利点は後で様々なビットレートで使用されるように一度圧縮できることであり、サービスの提供者の視点から、利点はリンクの帯域幅の容量に従って様々なビットレートに切り替え得る可能性にあり、そしてユーザーの視点から、利点はユーザーが現在の要件に適応させるために彼の要件と要求をリアルタイムで容易に変更できるという事実にある。現状の伝送ネットワークの、そして有り得る他のユーザー及び干渉の存在におけるチャンネル伝送条件のために、帯域幅及び利用できる有用なビットレートが急速に変化し得る無線通信の状況において、「細分性を提供する能力」は現在重要な特性になりつつある。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ
ＩＴＵ−Ｔのビデオコード化の専門家グループ（ＶＣＥＧ）のレベルでの研究は、特定の無線ネットワークとインターネットにおいて、その実施のために妥当な複雑さのレベルを提示し、そして究極的にネットワーク適用のために容易に使用できる一方で現存の解決法と比較してより効果的な圧縮を提供する能力がある、新たなビデオ規格を確立するために１９９９年に始められた。ＭＰＥＧコンソーシアムはＶＣＥＧの専門家グループに、Ｈ．２６４又はＭＰＥＧ−４ ＡＶＣ（高度なビデオコード化）の名のもとに指定された共通の規格確立のためにパートナーシップの創設を提案した。ＩＴＵ ＪＶＴ−Ｇ０５０の文書の最終版はビデオコード化の局面のみを規定する。

現時点で、Ｈ．２６４規格の主な適用は以下の通りである。
・１Ｍｂ／ｓ未満のビットレート及び少しの時間遅れを伴う（ＵＭＴＳユニバーサル移動体通信システムのような）、例えば有線又は無線ネットワーク上のテレビ会議のようなリアルタイムの二重の音声サービスと、
・ビットレートが１〜８Ｍｂ／ｓの間にあり、時間遅れが大幅になることがある、衛星、ｘＤＬＳ、又はＤＶＤ放送の伝送（「ストリーミング」（「ｓｔｒｅａｍｉｎｇ」））用の良質及び高品質のビデオサービスと、
・（ビットレートが２Ｍｂ／ｓ未満で、時間遅れが大幅になることがある）インターネット・アプリケーションのような低いビットレートを有するビデオサービス用の、低品質のストリーム。

図２はＨ．２６４規格により定義される三つのプロファイル及び、各プロファイル用に設定された主要なツールを表わす。：
・特にテレビ会議、ＩＰ上のビデオ、及び可動性の用途に適する基本プロファイル又はベースライン（Ｂａｓｅｌｉｎｅ）。それは単にＩ（イントラ）及びＰ（予測）フレーム又はセグメントと、少しのエラー保護ツールによるコード化を統合するだけである。
・テレビ放送とビデオ放送、及び大幅な時間遅れを伴う用途に適する「主要な」（「ｐｒｉｎｃｉｐａｌ」）又はメインのプロファイル。それは特に（テレビ用途の）インターレースモード、Ｂフレーム、算術エントロピー・コード化を統合する。
・様々なチャンネル、特に無線チャンネル上の「ストリーミング」に合った「拡張」プロファイル又は「Ｘ」プロファイル。それは特にビットレートの適応解とエラー保護ツールを統合する。

Ｈ．２６４規格は有益で、他の良く知られた規格に置き換わることが出来るように見えるが、それは可変チャンネルの用途に使用されるとき、若干の主要な欠点を示す。それは時間的な細分性のためのメインプロファイル又は拡張プロファイルにおけるＢフレームの可能な使用は別として、実際何ら「細分性」の能力を備えていない。

フレームのナンバリング及び復号化の順序
現在、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格におけるビデオフレームをナンバリングするために二つの解決法が存在する。

「フレームナンバー」（「ｆｒａｍｅ ｎｕｍｂｅｒ」／「ｎｕｍｅｒｏ ｄｅ ｆｒａｍｅ」）又は「ｆｒａｍｅ＿ｎｕｍ」に依存する第一の解決法は、ストリームにおけるアクセスユニットの復号化の順序に対応する。このパラメータは画像セグメントの各ヘッダに基づき復号化され、該アクセスユニットの復号化の順に増加する。それは必ずしもデコーダが用いるであろう表示の最終順序を示さない。

第二の解決法は、デコーダにより使用されるであろう復号化されたフレーム（又はフィールド）の表示順序に対応する、画像出現番号又は「ピクチャ・オーダー・カウント」（「Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ」）に対する用語「ＰＯＣ」で慣習的に呼ばれている。それは次のようにして得られる。
− 各々のコード化されたフレームは、それぞれ「トップフィールド・オーダーカウント」（「ｔｏｐｆｉｅｌｄｏｒｄｅｒｃｎｔ」）及び「ボトムフィールド・オーダーカウント」（「ｂｏｔｔｏｍｆｉｅｌｄｏｒｄｅｒｃｎｔ」）と呼ばれる、トップフィールドの出現番号及びボトムフィールドの出現番号に相当する二つのＰＯＣパラメータと関連付けられる。
− 各々のコード化されたフィールドは、トップフィールドに関して「ｔｏｐｆｉｅｌｄｏｒｄｅｒｃｎｔ」、及びボトムフィールドに関して「ｂｏｔｔｏｍｆｉｅｌｄｏｒｄｅｒｃｎｔ」と称される「ＰＯＣ」パラメータと関連付けられる。

二つのパラメータであるトップの出現番号「トップオーダーカウント」（「ｔｏｐ ｏｒｄｅｒ ｃｏｕｎｔ」）と、ボトムの出現番号「ボトムオーダーカウント」（「ｂｏｔｔｏｍ ｏｒｄｅｒ ｃｏｕｎｔ」）との間の差は、デフォルトではゼロに等しいパラメータ「ｄｅｌｔａ＿ＰＯＣ ｂｏｔｔｏｍ」により与えられる。実際上、ノンインターレースモードによって、差のＤｅｌｔａ＿Ｐｏｃ＿ｂｏｔｔｏｍはゼロに等しい。

現在のＨ．２６４規格は三つのタイプに関してＰＯＣの値を得ることを可能にする。
− タイプ０：ＰＯＣパラメータは各ヘッダ部へ明確に送られる。
− タイプ１：ＰＯＣパラメータは復号化（ｆｒａｍｅ＿ｎｕｍ）の順序及び、調整パラメータのシーケンスに表示された増分に依存し、差異は順序において予期された変化がない場合にのみ送られる。
− タイプ２：表示順序は復号化の順序と同じである。

本発明による方法は特にＰＯＣパラメータの値を修正し、従ってタイプ０を用いる。

その他の二つのタイプ（１及び２）に関して、表示順序はフレーム番号又は「ｆｒａｍｅ＿ｎｕｍ」によって直接的又は間接的に得られる。

標準の場合、タイプ０のパラメータＴｏｐＦｉｅｌｄＯｒｄｅｒＣｎｔ（ＴｏｐＦＯＣ）は次のように得られる。
ＴｏｐＦｉｅｌｄＯｒｄｅｒＣｏｕｎｔ＝ＰＯＣＭｓｂ＋ＰＯＣＬｓｂ
ここで、文字Ｍｓｂは最上位のビットに、文字Ｌｓｂは最下位のビットに相当し、ＰＯＣＬｓｂは画像のサブ部分又はセグメントの各ヘッダに送られ、そしてパラメータＰＯＣＭｓｂはＰＯＣＬｓｂがその最大値に達した時に増やされる。

ＰＯＣの再配置により得られる表示順序の例示的配置結果は表１にて与えられる。

複数参照及び離れた参照
単純な参照モードで使用された、すなわち出現の予測が与えられた前の画像を用いてのみ実施される、これ迄のビデオコード化規格と対照的に、Ｈ．２６４規格は各Ｐセグメント（又はＰスライス）に対して最大３２までの異なるフレームを参照として使用すること、及び各Ｂセグメント（又はＢスライス）に対して最大６４までの異なるフレームを使用することを可能にする。コード化及び復号化され、参照として利用できる画像は、復号化された画像（復号化されたピクチャ・バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）の略であるＤＰＢ）を含むメモリ内に格納される。それらはＰｉｃＯｒｄｅｒＣｏｕｎｔの関数として指標付けされた「短期画像参照」の表現としてより良く知られる、近い参照を有する画像として参照されるか、又は離れた参照画像カウンターであるＬｏｎｇＴｅｒｍＰｉｃＮｕｍの関数として指標付けされた「長期画像参照」としてより良く知られる、離れた参照を有する画像として参照される。ＤＰＢメモリが一杯のとき、近い参照を有する最も古い期間のみがメモリから除去される。「長期」参照はビットストリームにおける明確なコマンドは別として、除去されない。

本発明は少なくとも、
− 最も重要なフレームを規則正しく配置し、一方でそれらの間に間隔を置くステップと、
− 該間隔をより低い重要度のフレームで充たすステップと、
− こうして得られた新たなシーケンスをコード化するステップと
に適合したミキシングテーブルを利用するステップを含むことを特徴とする、ビデオシーケンスのフレーム又はピクチャ・グループＧＯＰを形作る手順に関する。

本発明はとりわけＨ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に完全に適合しているという利点を与える。Ｈ．２６４規格は現在標準化されている機能性を適応させる必要なしに、提案された時間的細分性モードを用いることができ、定義された全てのプロファイル、特に基本プロファイルのためにそうすることができる。本発明を用いることにより、Ｈ．２６４エンコーダは「拡張性のないコードストリーム」（「ｎｏｎ−ｓｃａｌａｂｌｅ ｃｏｄｅｓｔｒｅａｍ」）の表現でより良く知られている、細分性を提供出来ないデータストリームと比較して、時間的細分性の性能を冗長性に関して低コスト又はコストなしで提供するであろう。

本発明の他の特徴及び利点は、図面と共に全く制限されない例証のために与えられた例に従う説明を読むことにより、より明らかになるであろう。

本発明はとりわけＨ．２６４規格により提案されているフレームのナンバリングにおいて、第一にデータを効率的にコード化し、第二にビデオシーケンスの洗練レベルに従ってデータを伝送する、二つのシステムの使用に依存する。本原理は特に、最も重要なフレーム（最も低いビットレートに関して復号化されるであろうフレーム）を規則正しい方法で再配置することによりフレームをミックスし、該最重要フレーム間の間隔をより低い重要度のフレーム（最も高いビットレートでのみ復号化されるであろうフレーム）で充たし、そしてこの新たなシーケンスをあたかもそれが従来のシーケンスであるかのようにコード化することから成る。このミックスモードは第一に時間的細分性及び、Ｂフレームを用いる必要なしに再帰的な予測を得ること、そして第二にシーケンスにおいて規則正しい方法で（最初のイントラフレームを含む）参照フレームを位置付けることを可能にする。フレーム同士はそれらの参照よりもシステム的に近いため、これは圧縮におけるゲイン及び、マスキング（又は「隠すこと」（「ｃｏｎｃｅａｌｍｅｎｔ」））の場合の視覚的復元（又は「レンダリング」（「ｒｅｎｄｅｒｉｎｇ」））におけるゲインをもたらすことが可能である。

フレームの再配置を通じた時間的細分性
上述のように、時間的細分性を有するビデオコード化・アルゴリズムは、初期のバイナリストリームに基づく様々な時間分解能を有するシーケンスのビデオデコーダによる抽出を可能にする。そのような「細分性」を可能にするため、図１でピクチャ・グループ又はＧＯＰに例示されるように、各々がビデオシーケンスの残りと無関係なグループとして復号化されることのできる、連続的なフレームの番号に対応する幾つかの重要度レベルが定義される。

図１において、低いビットレートのデータストリームを有する基本レベル、三つの中間的ビットレートのフレーム又は画像を有する第一の洗練レベル、及び高いビットレートのフレームに対する第二の洗練レベルの三段階の重要度レベルが表わされている。

時間的細分性は、このようにＧＯＰの部分集合のより大きいか又はより小さい番号を復号化することにより得られる。実際に、可変の重要度レベルが時間にわたって等しいか又は実質的に等しい方法で分布している場合、自然な時間的細分性は画像のビットレートが、復号化された部分集合の数と関連付けられることをもたらす。

本発明による方法は、特に出来る限り規則正しく分布するような方法でピクチャ・グループＧＯＰ内のフレームを再配置することにより、先験的に細分性を得ることが出来ない手順に従ってコード化されたデータストリーム（「先験的ノンスケーラブル・コードストリーム」（「ａ ｐｒｉｏｒｉ ｎｏｎｓｃａｌａｂｌｅ ｃｏｄｅｓｔｒｅａｍ」））のために時間的細分性の特性を導入することにある。（最も低いビットレートの復号化されたフレームに相当するであろう）最も重要なフレームは、（時間的な意味で）規則正しくフレーム内に分配される。従ってこれらのフレームの間に形成されるスペースはより低い重要度のフレームを受ける。より低い重要度と呼ばれるフレームは様々な洗練レベルにあるフレームに対応する。「重要度レベル」（「ｉｍｐｏｒｔａｎｃｅ ｌｅｖｅｌ」）の表現は、ここで例えば（特により高い量子化パラメータに相当する）、より低いレベルの精度でコード化されることができるフレームを意味するために指定される。

このように再編成されたシーケンスは後で、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣタイプのエンコーダにより従来の方法でコード化され、その後同じ規格のデコーダにより復号化されることが可能である。

可能な規則正しい分布は、ピクチャ・グループの中央でのイントラフレーム又はＩフレームの位置決め、及びその他の予測されるフレーム又はＰフレームの規則正しい分布に相当し得る。

全体的又は準全体的な互換性は、エンコーダが復号化の初期オーダーをＰＯＣ値として用いるように強制することによりデコーダ側で得られる。

本発明による手順の様々な実施用変形の実行が可能であり、その中の三つが全く無制限の例示によって与えられている。それらは図式的に図３、４及び５において示される。

図３はフレームを再配置する操作が、Ｈ．２６４エンコーダ２の前にあるインターレース手段Π又は１の助けにより、直接ビデオシーケンスに適用される変形を示す。例えば、この図においてグループは１、２、３、４、５、６、及び７（シーケンスＳ１）と番号を付けられた７つの画像を含み、それらはインターレースの第一ステップの後で、図中の再ナンバリングＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇに対応する、シーケンスＳ２＝４、２、６、１、３、５、及び７へと再編成されている。Ｈ．２６４エンコーダはこのシーケンスＳ２を例えばイントラフレームＡとして捉え、そしてその他の六つをＢ、．．．、Ｇに対応するＰフレームを用いて予測することによりコード化する。該エンコーダはまたＰＯＣフィールド内への正しい復号化順序の挿入を可能にするため、該再配置又は使用されるインターレース・テーブルから情報を受け取る。伝送チャンネル４を経由して伝送されるＨ．２６４コードストリームは規格に完全に適合し、Ｈ．２６４／ＭＰＥＧ−４−ＡＶＣ規格に適合したあらゆるデコーダ３により直接復号化される。このバージョンはエンコーダの軽微な変更により、Ｈ．２６４デコーダを用いて直接実施される利点を有する。

図４はフレームを再配置する操作が、シーケンスＳ２＝４、２、６、１、３、５、及び７を生じさせるために、インターレース手段５を用いてビデオシーケンスＳ１＝１、２、３、４、５、６、及び７に直接適用される、別の変形の実施形態を表わす。該シーケンスＳ２は通常の動作中には変更されない、例えばＨ．２６４タイプのビデオエンコーダ６によりコード化される。コード化されたストリームＳ’２はその後にチャンネル４により伝送され、標準のあらゆるビデオデコーダ７によって復号化される。復号化の後、該シーケンスは初期シーケンスＳ１を検索するためにインターレース解除手段８を通過する。この実施用の変形は如何なるビデオエンコーダにも適用できる利点を有するが、しかしインターレース装置及びインターレース解除装置の挿入による送信者側及び受信者側の変更を必要とする欠点を有する。

図５はフレームを再配置する操作が、インターレース作業を実施するために適応し、そして利用されるミキシングテーブルを知っている、変更されたエンコーダ９の中でコード化されるビデオシーケンスに対して行なわれる、別の変形の実施形態を図式的に表わす。このように変更されたＨ．２６４エンコーダは、ビデオシーケンスＳ１のコード化を行なう。コード化作業の間、ミキシングテーブルにより定められた順序に従って、復号化の初期順序がＰＯＣフィールド内へと挿入される。コード化されたシーケンスは、データを初期の順序に戻すために伝送されたビデオシーケンスのＰＯＣフィールド内に含まれる情報を使用するであろう、Ｈ．２６４／ＭＰＥＧ−４−ＡＶＣ規格に適合したあらゆるデコーダ１０により復号化される前に、伝送チャンネルによる伝送の後で受信される。この変形はビデオソース及びビデオデコーダに関して透過性が高く、ピクチャ・グループのレベルにおいてインターレース作業を行なうために適応可能な、あらゆるＨ．２６４タイプのエンコーダに適用可能であるという利点を提供する。

図６は初期の時間的参照｛１、２、３、４、５、６、７｝により指定された七つのフレームを含むピクチャ・グループ又はＧＯＰに関する例示的実施を表わす。ミキシング操作の原理は採用されたコード化方法が有効であるように、適切な方法で該フレームを分布させることである。実際的に、与えられたフレームＴｄに先行する全てのフレームＴｉが、この考慮されたフレームのための参照として使用できると考えることにより、例えばＧＯＰの中央で（イントラ・コード化される必要がある）最初の参照画像を用いて、規則正しい方法でフレームを再配置するためのチャートを作ることは利点である。第二の参照レベルはその後に、イントラフレームのいずれかの側で二つのサブフレームの中央に置かれ、以下同様である。

このように、最初にコード化されたフレームは必然的にＩ又はイントラフレームに対応するが、ピクチャ・グループの最初のフレームは必ずしもそうではない。

最も重要なフレーム（第一重要度レベル）について、ＧＯＰの初期順序における予測フレームと参照フレームの間の分離は、より大きいことがあるため、コード化の有効性は最適ではない。これは最も遅れたフレーム同士はイントラフレームにより近いため（参照フレームと予測されたフレームを隔てている距離の減少）、それらはより良い圧縮のレベルを提供すべきであるという事実によって補償されることが可能である。イントラフレームを最初の復号化された画像として絶対的に使用したい場合、図７によるフレームの再配置は容易に採用されることができる。

図８は七つのフレーム・グループに対して、従来技術による方法（点線のカーブ）、及び本発明による方法の実施（実線のカーブ）により得られた全体の視覚効率に関する性能の例を表わす。これらの結果は七つのフレームのピクチャ・グループに関する、視覚効率又はＰＳＮＲ（ピーク信号対雑音比）の客観的な測定結果の変遷についての検討に相当する。考慮された画像は、６４ｋｂｉｔｓ／ｓの目標総合ビットレートを有する１５フレーム／ｓのリフレッシュ速度を伴う、ＩＴＵ−Ｔにより提供された「フォアマン」（‘Ｆｏｒｅｍａｎ’）参照シーケンスである。第一の場合に（点線のカーブ）我々は七つのフレームに対し、イントラフレームに関して３１に等しく、予測されたフレームに関して３４に等しく、それによって６３．９８ｋｂｉｔｓ／ｓの最終ビットレートを与える、量子化パラメータＱＰを有するＩＰＰＰＰＰＰの順序に相当する、従来のＨ．２６４コード化／復号化により得られたＰＳＮＲの発展を見出した。第二の曲線（実線）は七つのフレームに対し、図６に与えられるミキシングテーブルに従って本発明の適用により得られたＰＳＮＲの発展を示す。三つのレベルがそれぞれ次の量子化パラメータ：第一レベル（Ｉフレーム）に対するＱＰ＝３１、洗練レベル１（Ｐフレーム）に対するＱＰ＝３３、及び６３．０３ｋｂｉｔｓ／ｓの最終ビットレートを得ることを可能にした洗練レベル２に対するＱＰ＝３８を用いてコード化されている。想定されるように、この第二の曲線に対して、三つの最も重要なフレームが（第二洗練レベルに相当する）その他四つのフレームよりも良好なＰＳＮＲの値を有し、しかしまた、一方で僅かにより大きなビットレートを有する、従来シーケンスのＰＳＮＲ３３．４２ｄＢに対して、この第二のシーケンスは３３．５４ｄＢの平均ＰＳＮＲを与えるため、これはシーケンスの平均ＰＳＮＲの低均化なしに得られるということが観察される。本発明に説明されているこの方法は、従ってビットレートに関しても、あるいは表示品位の低下に関しても、費用なしに（又はそのうえ利益を伴って）時間的な細分性を提供する。

図９は様々なサイズのピクチャ・グループ又はＧＯＰのための手順の一般化を表わす。実際には、該手順を以下の方法で実施することが可能である。
− 第一の参照イントラフレームをピクチャ・グループ又はＧＯＰの中央として選び、そして幾つかのフレームを含む残り部分をサブのピクチャ・グループ又はサブＧＯＰとして選ぶ方法と、
− 各サブＧＯＰに関して、次のステップを繰り返す方法：
サブのピクチャ・グループＧＯＰの中央を参照フレームとして取り、そして残った二つのサブピクチャ・グループを残り部分として定義する。ピクチャ・グループの中央は、例えば（ＧＯＰのサイズ＋１）／２の値の整数部分に基づいて定義され、すなわち（ＧＯＰのサイズ＋１）／２に等しいか、又は最も近いそれ未満の整数として定義される。

図９は１５フレームのピクチャ・グループに対する例を与え、図１０は１２フレームのピクチャ・グループに対する例を与える。

本発明の範囲から逸脱することなく、このアプローチを一般化させ、そして２とは異なるｎの値によって、各洗練レベルの間の効率の分割に対応するミキシングチャートを定義することができる。これは第一のイントラフレームをピクチャ・グループの中央以外の位置に置くことをもたらす。この場合、我々はこれらｎ−１の画像の一つのＩフレーム（例えば第一）、及び予測された画像に相当する残りを持つ、規則正しく分配されたｎ−１の画像を伴うであろう第一レベルを有する。第一の拡張性レベルにおいて現れるこれらｎ−２の予測された画像は、Ｉフレームと同じ重要度レベルを有する（それらは「最も重要なフレーム」（「ｆｒａｍｅｓ ｏｆ ｔｈｅ ｈｉｇｈｅｓｔ ｉｍｐｏｒｔａｎｃｅ」／「ｔｒａｍｅｓ ｄ’ｉｍｐｏｒｔａｎｃｅ ｌａ ｐｌｕｓ ｅｌｅｖｅｅ」）の部分を形成する）。我々はこのように各レベルにおけるフレームの参照フレーム数がｎ−１に等しく選ばれ、平均値ｍｉ＝Ｅ〔ｉ（ＧＯＰのサイズ＋１）／ｎ〕（ここでｉ＝１、．．．、ｎ−１）の整数部分に導くレベルのために進める。

図１０は各レベル間の目標効率の分割ｎ＝３のための例を表わす。

例において、第一のフレーム（７−Ａ）はイントラフレームであり、その他の１９フレームはＰ型の予測されたフレームである。

本発明による手順は、例えば次の用途において使用できる。
− ビデオデコーダが、それが受け取り、より低いビットレートを伴う低下したバージョンのみを与えるように選択する、コードストリームを十分なビットレートで復号化することが出来ない場合。
− エンコーダが、初期に利用できるその帯域幅が減少し、本発明による構造のおかげで最も重要度が低いことが判明した最後の画像の幾つかを犠牲にするか、又はこれらの最後の画像の表示品位を低くすることによって、それが相応に作用しなければならないという情報を与えられる場合。

時間的な細分性の例証である。 Ｈ．２６４規格の現行の構成である。 本方法の実施における変形である。 本方法の実施における変形である。 本方法の実施における変形である。 七つのフレームを含むピクチャ・グループの場合の例である。 七つのフレームを含むピクチャ・グループの場合の例である。 従来技術又は本発明による方法で得られる視覚効率の比較である。 異なるサイズのピクチャ・グループに対する手順の適用例である。 異なるサイズのピクチャ・グループに対する手順の適用例である。 異なるサイズのピクチャ・グループに対する手順の適用例である。

Claims (12)

1. 少なくとも以下の、
   − 最も重要なフレームを規則正しく配置し、一方でそれらの間に間隔を置くステップと、
   − 該間隔をより低い重要度のフレームで充たすステップと、
   − こうして得られた新たなシーケンスをコード化するステップと
   に適合したミキシングテーブルを利用するステップを含むことを特徴とする、ビデオシーケンスのフレーム又はピクチャ・グループＧＯＰを形成する手順。
2. フレームをミックスするステップがコード化ステップの前に行なわれ、該ミキシングテーブルがフレーム内に復号化の順序を挿入するために、エンコーダに伝送されることを特徴とする請求項１に記載の手順。
3. フレームをミックスするステップがコード化ステップの前に行なわれ、コード化されたデータストリームがビデオデコーダに伝送され、次に初期のピクチャ・グループを得るためにインターレース解除装置に伝送されることを特徴とする請求項１に記載の手順。
4. フレームのミキシング・ステップと、コード化ステップが同時に行なわれることを特徴とする請求項１に記載の手順。
5. ミキシング・ステップが少なくとも以下のステップ、
   − 第一のイントラフレームをピクチャ・グループの中央として選択し、そして残りの部分をピクチャのサブグループとして選択するステップと、
   − サブのピクチャ・グループそれぞれに関して、
   サブのピクチャ・グループＧＯＰの中央を参照フレームとして取り、そして残った二つのサブピクチャ・グループを定義し、ピクチャ・グループの中央が（ＧＯＰのサイズ＋１）／２の整数部分に等しいか、又は最も近いそれ未満の整数として、（ＧＯＰのサイズ＋１）／２の値の整数部分に基づいて定義されることを繰り返すステップと
   を含むことを特徴とする請求項１に記載の手順。
6. Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣコード化における、請求項１〜５のいずれか一項に記載の手順の利用。
7. 少なくとも以下の要素、
   − 最も高い重要度のフレームを規則正しく配置する一方でそれらの間に間隔を置いて、それらの間隔をより低い重要度のフレームで充たすように適合されたインターレーサ（１）と、
   − 利用されるミキシングテーブルを備え、フレーム内に復号化の順序を挿入するために適したエンコーダ（２）と
   を含むことを特徴とする、ビデオシーケンス又はピクチャ・グループのフレームを形成する装置。
8. 請求項７に記載された装置及びビデオデコーダ（３）を備えることを特徴とするコード化／復号化装置。
9. 少なくとも以下の要素、
   − 最も高い重要度のフレームを規則正しく配置する一方でそれらの間に間隔を置いて、それらの間隔をより低い重要度のフレームで充たすように適合されたインターレーサ（５）と、
   − 前のステップにより得られるシーケンスをコード化するために適したビデオエンコーダ（６）と
   を備えたビデオシーケンスのフレームを形成する装置。
10. 請求項８に記載の形成装置と、チャンネルによる伝送後にシーケンスを復号化するためのビデオデコーダ（７）と、そして初期シーケンスを検索するために適したインターレース解除装置（８）とを備えることを特徴とするコード化／復号化装置。
11. 最も高い重要度のフレームを規則正しく配置する一方で間隔を置くように適合された少なくとも一つのエンコーダ（９）を備え、それらの間隔をより低い重要度のフレームで充たし、そしてフレーム内に復号化の順序を挿入することを特徴とする、ビデオフレーム又はピクチャ・グループを形成する装置。
12. エンコーダ又はデコーダがＨ．２６４／ＭＰＥＧ−４ ＡＶＣタイプであることを特徴とする、請求項７〜１１のいずれか一項に記載の装置。

Images