JP2024501329A - クロスランダムアクセスポイントのサンプルグループ - Google Patents

Abstract

映像データを処理するためのメカニズムが開示される。ＣＲＲ（Ｃｒｏｓｓ Ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ）サンプルは信号通知される。指示は、復号順においてＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャに続き、かつ、出力順において前記ＤＲＡＰピクチャの前にあるピクチャが、復号順において前記ＤＲＡＰピクチャの前に位置する参照ピクチャをインター予測のために参照することを許可されるか否かを示す。変換は、前記ＣＲＲサンプルグループに基づいて、ビジュアルメディアデータとビジュアルメディアファイルとの間で実行される。
【選択図】図６

Description

関連出願の相互参照
本願は、参照によりここに援用される、Ｙｅ－Ｋｕｉ Ｗａｎｇらによって２０２０年１２月２８日に出願され、タイトルが「Ｓｉｇｎａｌｌｉｎｇ Ｏｆ Ｃｒｏｓｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ Ｉｎ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ Ａｎｄ Ｍｅｄｉａ Ｆｉｌｅｓ」である、国際出願第ＰＣＴ／ＣＮ２０２０／１３９８９３号の利益を主張する。

この特許文献は、ファイル形式のデジタルオーディオ映像メディア情報の生成、記憶、および消費に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されるユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けるであろう。

第１の態様は、ＩＳＯＢＭＦＦ（ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ） Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）のビジュアルメディアデータにおけるＣＲＲ（Ｃｒｏｓｓ Ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ）サンプルの記述を判定することと、ＣＲＲサンプルのグループに基づいて、ビジュアルメディアデータとビジュアルメディアデータファイルとの間の変換を実行することと、を含む映像データの処理方法に関する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、ＣＲＲサンプルのグループに含まれることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルのグループに含まれることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、タイプ２のＤＲＡＰサンプルのグループに含まれることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、ＥＤＲＡＰ（Ｅｎｈａｎｃｅｄ Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルのグループに含まれることを提供する。

必要に応じて、上記態様のいずれかにおいて、本態様の別の実装形態は、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャの前に位置する参照ピクチャをインター予測のために参照することが許可される場合、指示を第１の値に設定することを提供する。

必要に応じて、上記態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、グループボックスへのコンパクトサンプル（ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）に含まれることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、グループタイプパラメータ（ｇｒｏｕｐ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ）フィールドに含まれることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルは、タイプ２のＤＲＡＰサンプルとして示されることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルは、ＥＤＲＡＰ（Ｅｎｈａｎｃｅｄ Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルとして示されることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、各サンプルは、ピクチャを含むことを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、サンプルグループに属するサンプルを識別するための１または複数の識別子を含むことを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、ＣＲＲサンプルに対する参照ピクチャの識別子を含むことを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、現在のサンプルを復号するために参照が必要なサンプル数を含むことを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、ＣＲＲサンプルの記述は、サンプルグループのサンプルエントリに含まれることを提供する。

必要に応じて、上記態様のいずれかにおいて、本態様の別の実装形態は、現在のサンプルが、最も近い先行する初期サンプル、復号順において現在のサンプルよりも前にある１または複数のＣＲＲサンプル、またはそれらの組み合わせのみを参照する場合、現在のサンプルは、ＣＲＲサンプルのうちの１つであることを提供する。

必要に応じて、上記態様のいずれかにおいて、本態様の別の実装形態は、現在のサンプル、および、復号順および出力順において現在のサンプルに続くすべてのサンプルが、復号が現在のサンプルにおいて開始される際に、正しく復号されることができる場合、現在のサンプルは、ＣＲＲサンプルのうちの１つであることを提供する。

必要に応じて、上記態様のいずれかにおいて、本態様の別の実装形態は、現在のサンプル、および、現在のサンプルに続くすべてのサンプルは、最も近い先行する初期サンプル、復号順において現在のサンプルよりも前にある１または複数のサンプル、またはそれらの組み合わせが復号された後、正しく復号されることを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、変換が、ビジュアルメディアデータに従ってビジュアルメディアデータファイルを生成することを含むことを提供する。

必要に応じて、前述の態様のいずれかにおいて、本態様の別の実装形態は、変換が、ビジュアルメディアデータファイルを構文解析してビジュアルメディアデータを取得することを含むことを提供する。

第２の態様は、プロセッサと、命令が記憶された非一時的メモリとを備える、映像データを処理するための装置であって、命令は、プロセッサによって実行された際に、プロセッサに前述の態様のうちのいずれかの方法を実行させる。

第３の態様は、映像コーディングデバイスで使用するためのコンピュータプログラム製品を備える非一時的なコンピュータ可読媒体であって、コンピュータプログラム製品は、非一時的なコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を備え、プロセッサによって実行された場合、映像コーディングデバイスに前述の態様のうちのいずれかの方法を実行させるようにする。

明瞭にするために、前述の実施例のうちのいずれか１つを前述の他の実施例のうちのいずれか１つと組み合わせ、本開示の範囲内にある新しい実施例を生成してもよい。

これらおよび他の特徴は、添付の図面および特許請求の範囲と関連付けられた以下の詳細な説明から、より明瞭に理解されるであろう。

本開示をより完全に理解するために、以下の簡単な説明を添付の図面および詳細な説明と併せて参照する。ここで、同様の参照番号は同様の部分を表す。

ＩＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＤＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＣＲＲピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＣＲＲベースのランダムアクセスを支援するように、外部ビットストリームに信号通知するための例示的なメカニズムの模式図である。 ピクチャが復号順でＤＲＡＰおよび／またはＣＲＲピクチャに続き、かつ、出力順でＤＲＡＰおよび／またはＣＲＲピクチャに先行する場合の潜在的な復号の誤りを示す模式図である。 ＩＳＯＢＭＦＦ（ＩＳＯ（Ｉｎｔｅｒｎａａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ） Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に記憶されるメディアファイルの模式図である。 符号化されたビジュアルメディアデータを含むビットストリームのブロック図である。 映像処理システムの一例を示すブロック図である。 映像処理装置の例を示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像コーディングシステムの例を示すブロック図である。 エンコーダの例を示すブロック図である。 デコーダの例を示すブロック図である。 エンコーダの例の回路図である。

以下、１つ以上の実施例について例示的な実装を提供するが、開示されるシステムおよび／または方法は、現在知られているかまたはまだ開発されていないかにかかわらず、任意の数の技術を用いて実装されてもよいことを初めに理解されたい。本開示は、本明細書に例示され説明された例示的な設計および実装を含む、以下に例示される例示的な実装、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内において、それらの等価物の全範囲ととも、修正されてもよい。

Ｈ．２６６としても知られるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本書では、ＶＶＣ仕様またはＩＳＯＢＭＦＦ（ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ） Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）のファイルフォーマット仕様に関して、編集の変更は、テキストの取り消しを示す太字斜体、追加を示す下線で示している。

この特許文献は、映像コーディング、映像ファイルフォーマット、映像シグナリング、および映像アプリケーションに関する。具体的には、本文書は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージに基づく映像コーディングにおけるクロスＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）参照の拡張シグナリング、およびメディアファイルにおけるＣＲＲ（Ｃｒｏｓｓ ＲＡＰ Ｒｅｆｅｒｅｎｃｉｎｇ）のシグナリングに関するものである。開示された例は、個々にまたは様々な組み合わせで、任意の映像コーディング規格または非標準映像コーデック、例えばＶＶＣ、および任意のメディアファイルフォーマット、例えばＩＳＯＢＭＦＦに適用されてもよい。

本開示は、以下の略語を含む。ＡＣＴ（Ａｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ）、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）、ＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）、ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）、ＡＵＤ（Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６－１０））、Ｂ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔｓ）、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ＢＰ（Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）、ＣＢ（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）、ＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）、ＣＣＡＬＦ（Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）、ＣＬＶＳＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ Ｓｔａｒｔ）、ＣＰＢ（Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）、ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）、ＣＲＲ（Ｃｒｏｓｓ ＲＡＰ Ｒｅｆｅｒｅｎｃｉｎｇ）、ＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、ＣＶＳ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）、ＣＶＳＳ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ Ｓｔａｒｔ）、ＤＣＩ（Ｄｅｃｏｄｉｎｇ Ｃａｐａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）、ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）、ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）、ＤＵ（Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ）、ＤＵＩ（Ｄｅｃｏｄｉｎｇ Ｕｎｉｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＥＧ（Ｅｘｐｏｎｅｎｔｉａｌ－Ｇｏｌｏｍｂ）、ＥＧｋ（ｋ－ｔｈ ｏｒｄｅｒ Ｅｘｐｏｎｅｎｔｉａｌ－Ｇｏｌｏｍｂ）、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｉｔｓｔｒｅａｍ）、ＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ）、ＦＤ（Ｆｉｌｌｅｒ Ｄａｔａ）、ＦＩＦＯ（Ｆｉｒｓｔ－Ｉｎ，Ｆｉｒｓｔ－Ｏｕｔ）、ＦＬ（Ｆｉｘｅｄ－Ｌｅｎｇｔｈ）、ＧＢＲ（Ｇｒｅｅｎ，Ｂｌｕｅ，Ｒｅｄ）、ＧＣＩ（Ｇｅｎｅｒａｌ Ｃｏｎｓｔｒａｉｎｔｓ Ｉｎｆｏｒｍａｔｉｏｎ）、ＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）、ＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；別名Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８－２）、ＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）、ＨＳＳ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｓｔｒｅａｍ Ｓｃｈｅｄｕｌｅｒ）、Ｉ（Ｉｎｔｒａ）、ＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）、ＩＬＲＰ（Ｉｎｔｅｒ Ｌａｙｅｒ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）、ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）、ＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）、ＬＰＳ（Ｌｅａｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）、ＬＴＲＰ（Ｌｏｎｇ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）、ＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）、ＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）、ＭＰＳ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｓｙｍｂｏｌ）、ＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）、ＭＴＳ（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）、ＯＬＳ（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ）、ＯＰ（Ｏｐｅｒａｔｉｏｎ Ｐｏｉｎｔ）、ＯＰＩ（Ｏｐｅｒａｔｉｎｇ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）、ＰＴ（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ）、ＰＵ（Ｐｉｃｔｕｒｅ Ｕｎｉｔ）、ＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）、ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ）、ＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）、ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ）、ＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）、ＲＰＬ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ）、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、ＳＡＲ（Ｓａｍｐｌｅ Ａｓｐｅｃｔ Ｒａｔｉｏ）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＨ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）、ＳＬＩ（Ｓｕｂｐｉｃｔｕｒｅ Ｌｅｖｅｌ Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＯＤＢ（Ｓｔｒｉｎｇ Ｏｆ Ｄａｔａ Ｂｉｔｓ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＴＲＰ（Ｓｈｏｒｔ－Ｔｅｒｍ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）、ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ）、ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ）、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＶＳＥＩ（Ｖｅｒｓａｔｉｌｅ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ，Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７としても知られている）、ＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）、および、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３としても知られている）。

映像コーディング規格は、主にＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測に加えて変換コーディングも利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えたさらなる映像コーディング技術を探索するため、ＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。多くの方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは、後にＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）プロジェクトが正式に始まった際に、ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）に改称された。ＶＶＣは、ＨＥＶＣに比べて５０％のビットレート低減を目標とするコーディング規格である。ＶＶＣはＪＶＥＴにより最終的なものとされた。

ＶＶＣおよびＶＳＥＩ規格は、テレビ放送、ビデオ会議、記憶媒体からの再生、適応ビットレートストリーミング、映像領域抽出、複数のコーディングされた映像ビットストリームからのコンテンツの合成およびマージ、マルチビュー映像、スケーラブルレイヤ化コーディング、およびビューポート適応型３６０°没入型媒体等の用途を含む、最大限に幅広い応用分野における使用のために設計されている。

ＥＶＣ（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格（ＩＳＯ／ＩＥＣ ２３０９４－１）は、ＭＰＥＧが開発した別の映像コーディング規格である。

ファイルフォーマット規格については後述する。メディアストリーミングアプリケーションは、一般的に、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）トランスポート方式に基づいており、一般的にＩＳＯＢＭＦＦのようなファイルフォーマットに依存する。このようなストリーミングシステムの１つは、ＨＴＴＰ（ＤＡＳＨ）による動的適応ストリーミングである。映像は、ＡＶＣおよび／またはＨＥＶＣ等の映像フォーマットで符号化されることができる。符号化された映像は、ＩＳＯＢＭＦＦトラックにカプセル化され、ＤＡＳＨ表現およびセグメントに含まれ得る。プロファイル、階層、レベル等の映像ビットストリームに関する重要な情報は、ファイルフォーマットレベルのメタデータとして、および／またはコンテンツ選択のためにＤＡＳＨ ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）として公開されてもよい。例えば、このような情報は、ストリーミングセッションの開始時の初期化およびストリーミングセッション中のストリーム適応の両方のために、適切なメディアセグメントを選択するために使用され得る。

同様に、ＩＳＯＢＭＦＦを有する画像フォーマットを使用する場合、ＡＶＣ画像ファイルフォーマットおよびＨＥＶＣ画像ファイルフォーマット等の、画像フォーマットに特有のファイルフォーマット仕様を採用してもよい。ＩＳＯＢＭＦＦに基づくＶＶＣ映像コンテンツの記憶のためのファイルフォーマットであるＶＶＣ映像ファイルフォーマットは、ＭＰＥＧにより開発が行なわれている。また、ＩＳＯＢＭＦＦに基づく、ＶＶＣを用いてコーディングされた画像コンテンツの記憶のためのファイルフォーマットであるＶＶＣ画像ファイルフォーマットも、ＭＰＥＧにより開発が行われている。

ＨＥＶＣおよびＶＶＣにおけるランダムアクセスのサポートについて以下に説明する。ランダムアクセスとは、復号順でビットストリームの第１のピクチャでないピクチャからのビットストリームのアクセスと復号を開始することを指す。ブロードキャスト／マルチキャストおよびマルチパーティビデオ会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むべきである。このようなランダムアクセスポイントは、通常、イントラコーディングされたピクチャであるが、インターコーディングされたピクチャであってもよい（例えば、漸次的復号リフレッシュの場合）。イントラコーディングされたピクチャは、ピクチャ内のブロックを参照してコーディングされるピクチャであり、インターコーディングされたピクチャは、他のピクチャのブロックを参照してコーディングされるピクチャである。

ＨＥＶＣは、ＮＡＬユニットタイプによって、ＮＡＬユニットヘッダ内のＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｅｓｓ Ｐｏｉｎｔｓ）ピクチャを信号通知することを含む。ＨＥＶＣは、３つのタイプのＩＲＡＰピクチャ、即ち、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）、ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）、およびＢＬＡ（Ｂｒｏｋｅｎ Ｌｉｎｋ Ａｃｃｅｓｓ）ピクチャをサポートする。ＩＤＲピクチャは、インターピクチャ予測構造が現在のＧＯＰ（Ｇｒｏｕｐ－Ｏｆ－Ｐｉｃｔｕｒｅｓ）の前のいずれのピクチャも参照しないように制約しており、従来、クローズドＧＯＰランダムアクセスポイントと呼ばれる。ＣＲＡピクチャは、あるピクチャが現在のＧＯＰの前のピクチャを参照することを許可することによって制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。ＣＲＡピクチャは、オープンＧＯＰランダムアクセスポイントと呼ばれる。ＢＬＡピクチャは、通常、例えばストリーム切り替え時に、ＣＲＡピクチャにおいて２つのビットストリームまたはその一部をスプライシングすることで生成される。ＩＲＡＰピクチャのより優れたシステム使用を可能にするために、ＩＲＡＰピクチャのプロパティを信号通知する６つの異なるＮＡＬユニットが定義されており、これらがＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）により定義されるストリームアクセスポイントタイプに合わせて使用されることができる。そのようなストリームアクセスポイントタイプは、ＨＴＴＰ（ＤＡＳＨ）を介する動的適応ストリーミングにおけるランダムアクセスサポートにも利用される。

ＶＶＣは、３つのタイプのＩＲＡＰピクチャ、２つのタイプのＩＤＲピクチャ（関連付けられたＲＡＤＬピクチャを有する１つのタイプおよび関連付けられたＲＡＤＬピクチャを有しない他のタイプ）および１つのタイプのＣＲＡピクチャをサポートする。これらは、ＨＥＶＣと同様に使用される。ＨＥＶＣにおけるＢＬＡピクチャタイプは、ＶＶＣに含まれない。これは、ＢＬＡピクチャの基本機能がＣＲＡピクチャにシーケンスの終了のＮＡＬユニットを加えたものによって実現することができ、このシーケンスの終了のＮＡＬユニットが存在することは、後続のピクチャがシングルレイヤビットストリームにおいて新しいＣＶＳを開始することを示すためである。さらに、ＮＡＬユニットヘッダのＮＡＬユニットタイプフィールドに６ビットの代わりに５ビットを用いることによって示されるように、ＶＶＣの開発の間にＨＥＶＣよりも少ないＮＡＬユニットタイプを規定する点で要求があった。

ＶＶＣとＨＥＶＣとの間のランダムアクセスサポートにおける別の相違は、ＶＶＣではより規範的な方法でＧＤＲをサポートすることである。ＧＤＲにおいて、ビットストリームの復号は、インターコーディングされたピクチャから開始することができる。ランダムアクセスポイントにおける第１のピクチャでは、正確に復号できるのはピクチャの一部だけである。しかしながら、複数のピクチャの後、ピクチャ領域全体を正確に復号して表示することができる。ＡＶＣおよびＨＥＶＣはまた、ＧＤＲランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントＳＥＩメッセージを使用して、ＧＤＲをサポートする。ＶＶＣにおいて、ＧＤＲピクチャを示すためにＮＡＬユニットタイプが規定され、ピクチャヘッダ構文構造においてリカバリポイントが信号通知される。ＣＶＳおよびビットストリームは、ＧＤＲピクチャで開始することを許可する。したがって、ビットストリーム全体は、イントラコーディングされたピクチャを一つも含まず、インターコーディングされたピクチャのみを含むことができる。ＧＤＲサポートをこのように規定する主な利点は、ＧＤＲに適合した動作を提供することである。ＧＤＲは、エンコーダが、ピクチャ全体をイントラコーディングする代わりに、複数のピクチャにわたってイントラコーディングされたスライスまたはブロック（これらは、インターコーディングされたスライス／ブロックよりも圧縮されていない）を分布させることによって、ビットストリームのビットレートを平滑化することを可能にする。これは、著しいエンドツーエンドの遅延の低減を可能にし、これは、無線ディスプレイ、オンラインゲーム、ドローンベースのアプリケーション等のような超低遅延アプリケーションの使用が増加していることに起因して、より重要であると考えられる。

ＶＶＣにおける別のＧＤＲに関連する特徴は、仮想境界シグナリングである。ＧＤＲピクチャとリカバリポイントとの間のピクチャにおける、リフレッシュされた領域（ＧＤＲにおける正しく復号された領域）とリフレッシュされていない領域との境界を、仮想境界として通知することができる。信号通知される場合、境界をまたぐインループフィルタリングは適用されない。これにより、境界またはその付近でのいくつかのサンプルの復号の不整合を回避することができる。これは、アプリケーションがＧＤＲプロセス中に正しく復号される領域を表示することを決定した場合に有用となりうる。ＩＲＡＰピクチャおよびＧＤＲピクチャを集合的に、ＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャと呼ぶことができる。

ＶＵＩおよびＳＥＩメッセージについては後述する。ＶＵＩは、ＳＰＳの一部として（および、場合によってはＨＥＶＣのＶＰＳにおいても）送信される構文構造である。ＶＵＩは、標準の復号処理に影響を及ぼさないが、コーディングされる映像の適切なレンダリングに使用可能な情報を搬送する。ＳＥＩは、復号、表示、または他の目的に関連する処理を支援する。ＶＵＩと同様に、ＳＥＩは標準の復号処理に影響を与えない。ＳＥＩはＳＥＩメッセージで搬送される。ＳＥＩメッセージのデコーダのサポートは任意である。しかし、ＳＥＩメッセージはビットストリーム適合性に影響を及ぼす。例えば、ビットストリームにおけるＳＥＩメッセージの構文がこの仕様に従わない場合、そのビットストリームは適合していない。いくつかのＳＥＩメッセージは、ＨＲＤ仕様において使用される。

ＶＵＩ構文構造およびＶＶＣで使用されるほとんどのＳＥＩメッセージは、ＶＶＣ仕様では規定されておらず、ＶＳＥＩ仕様で規定されている。ＨＲＤ適合性試験に使用されるＳＥＩメッセージは、ＶＶＣ仕様で規定されている。ＶＶＣは、ＨＲＤ適合性試験に関連する５つのＳＥＩメッセージを定義し、ＶＳＥＩは、２０個の追加のＳＥＩメッセージを指定する。ＶＳＥＩ仕様で搬送されるＳＥＩメッセージは、適合するデコーダの動作に直接影響を及ぼすものではなく、コーディングフォーマットに依存しない方式で使用できるように定義されており、ＶＶＣに加え、他の映像コーディング規格とともにＶＳＥＩを使用することができる。ＶＶＣ構文要素名を具体的に参照するのではなく、ＶＳＥＩ仕様は、ＶＶＣ仕様内で値が設定される変数を参照する。

ＨＥＶＣと比較して、ＶＶＣのＶＵＩ構文構造は、ピクチャの適切なレンダリングに関連する情報のみに焦点を当てており、タイミング情報またはビットストリーム制限指示を含んでいない。ＶＶＣにおいて、ＶＵＩはＳＰＳ内で信号通知され、ＳＰＳはＶＵＩ構文構造の前に長さフィールドを含み、ＶＵＩペイロードの長さをバイトで信号通知する。これにより、デコーダは情報を簡単にジャンプすることができ、ＳＥＩメッセージの構文拡張と同様に、ＶＵＩ構文構造の終端に新しい構文要素を直接追加することで、ＶＵＩ構文拡張を可能にする。

ＶＵＩ構文構造は、次の情報を含む。コンテンツがインターレースされているまたはプログレッシブであることの指示、コンテンツがフレームパックされる立体映像または投影される全方位映像を含むかどうかの指示、サンプルアスペクト比、コンテンツがオーバースキャン表示に適切であるかどうかの指示、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）対ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の色空間、およびＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍ Ｒａｎｇｅ）の信号通知をサポートする、カラープライマリー、マトリックス、および転送特性を含む色記述、および、輝度と比較した彩度位置の指示（ＨＥＶＣと比較して、プログレッシブコンテンツの信号通知が明確化されている）。

ＳＰＳにＶＵＩが含まれない場合、その情報は未規定と見なされ、ビットストリームのコンテンツをディスプレイ上でレンダリングすることを意図している場合、外部手段を介して伝達されるか、アプリケーションによって規定される。

表１は、ＶＶＣに規定されたＳＥＩメッセージ、それらの構文および意味論を含む仕様を列挙する。ＶＳＥＩ仕様で規定されている２０個のＳＥＩメッセージのうち、多くはＨＥＶＣから継承されている（例えば、フィラーペイロードと両ユーザーデータＳＥＩメッセージ）。いくつかのＳＥＩメッセージは、コーディングされた映像コンテンツを正しく処理したりレンダリングしたりするために利用される。これは、マスタリング表示色量、コンテンツ光レベル情報、および／または代替転送特性ＳＥＩメッセージの場合に当てはまり、これらはＨＤＲコンテンツに特に関係がある。他の例としては、３６０°の映像コンテンツの信号通知および処理に関連する、等方形投影、球面回転、領域単位のパッキング、および／または全方向性ビューポートＳＥＩメッセージを含む。

表１：ＶＶＣ ｖ１におけるＳＥＩメッセージの一覧

ＶＶＣ ｖ１に規定されるＳＥＩメッセージは、フレームフィールド情報ＳＥＩメッセージ、サンプルアスペクト比情報ＳＥＩメッセージ、および、サブピクチャレベル情報ＳＥＩメッセージを含む。フレームフィールド情報ＳＥＩメッセージは、関連するピクチャをどのように表示すべきか（例えば、フィールドパリティまたはフレームの繰り返し周期）、関連するピクチャのソーススキャンタイプ、および関連するピクチャが前のピクチャの複製であるかどうかを示すための情報を含む。この情報は、ある映像コーディング規格におけるピクチャタイミングＳＥＩメッセージにおいて、関連するピクチャのタイミング情報とともに信号通知されてもよい。しかしながら、フレームフィールド情報およびタイミング情報は、必ずしも一緒に信号通知される必要がない２つの異なる種類の情報である。典型的な例において、タイミング情報はシステムレベルで信号通知されるが、フレームフィールド情報はビットストリーム内で信号通知される。そのため、フレームフィールド情報はピクチャタイミングＳＥＩメッセージから取り除かれ、代わりに専用のＳＥＩメッセージ内で信号通知される。この変更は、フレームの繰り返しのためにフィールドを一緒にする、または、より多くの値をペアリングするような、追加の、かつ、より明瞭な命令をディスプレイに伝達するためのフレームフィールド情報の構文を変更することもサポートする。

サンプル－アスペクト比ＳＥＩメッセージは、同じシーケンス内の異なるピクチャに対して異なるサンプルアスペクト比を信号通知することを可能にするが、ＶＵＩに含まれる対応する情報は、シーケンス全体に適用される。これは、同じシーケンスの異なるピクチャが異なるサンプルアスペクト比を持つようにするスケーリング係数を有する参照ピクチャ再サンプリング機能を使用する場合に関連してよい。

サブピクチャレベル情報ＳＥＩメッセージは、サブピクチャシーケンスのレベル情報を規定する。

ＤＲＡＰ指示ＳＥＩメッセージについては後述する。ＶＳＥＩ仕様は、ＤＲＡＰ指示ＳＥＩメッセージを含み、このメッセージは、以下のように規定される。

ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）指示ＳＥＩメッセージに関連するピクチャをＤＲＡＰピクチャと呼ぶ。ＤＲＡＰ指示ＳＥＩメッセージの存在は、この節で規定されたピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約は、デコーダに、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャ以外の他のピクチャを復号する必要なく、ＤＲＡＰピクチャ、および復号順および出力順の両方でＤＲＡＰピクチャに続くピクチャを、適切に復号することを可能にすることができる。

すべて適用されるべきである、ＤＲＡＰ指示ＳＥＩメッセージの存在によって示される制約は、以下のとおりである。ＤＲＡＰピクチャはトレーリングピクチャである。ＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。ＤＲＡＰピクチャは、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャを除き、ＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおけるピクチャを含まない。復号順および出力順の両方でＤＲＡＰピクチャに続く任意のピクチャは、そのピクチャの参照ピクチャリストのアクティブエントリにおいて、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャを除き、復号順または出力順でＤＲＡＰピクチャに先行する任意のピクチャを含まない。

メディアファイルにおけるＤＲＡＰ信号通知については後述する。ＩＳＯＢＭＦＦには、以下のように、サンプルグループに基づいてＤＲＡＰのシグナリング構造が含まれる。ＤＲＡＰサンプルグループは、以下のように定義される。ＤＲＡＰサンプルは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照可能な場合に、復号順におけるすべてのサンプルが正しく復号できるようになるサンプルである。初期サンプルは、ＳＡＰタイプ１、２、または３のＳＡＰ（Ｓｔｒｅａｍ Ａｃｃｓｓ Ｐｏｉｎｔ）サンプルであり、Ｓｙｎｃサンプルであるか、ＳＡＰサンプルグループによってそのようにマークされる。例えば、ファイル中の３２番目のサンプルがＩピクチャを含む初期サンプルである場合、４８番目のサンプルはＰピクチャを含んでよく、従属ランダムアクセスポイントサンプルグループのメンバーとしてマークされてよい。これは、最初に３２番目のサンプルを復号し（サンプル３３～４７を無視する）、次に４８番目のサンプルからの復号を続けることによって、４８番目のサンプルにおいてランダムアクセスを実行することができることを示す。

サンプルは、以下の条件が満たされる場合にのみ、従属ランダムアクセスポイントサンプルグループのメンバーとなり得る（したがって、ＤＲＡＰサンプルと呼ばれる）。ＤＲＡＰサンプルは、最も近い先行する初期サンプルのみを参照する。ＤＲＡＰサンプルにおいて復号を開始する場合、ＤＲＡＰサンプル、および出力順でＤＲＡＰサンプルに続くすべてのサンプルを正しく復号することができる。これは、例えばｓｙｎｃサンプルであるかまたはＳＡＰサンプルグループによってマークされることができるタイプ１、２、または３の最も近い先行するＳＡＰサンプルを復号した後に発生することができる。ＤＲＡＰサンプルは、タイプ１、２および３のＳＡＰサンプルとの併用のみ可能である。これは、先行するＳＡＰサンプルと、ＤＲＡＰサンプルおよび出力順でＤＲＡＰサンプルに続くサンプルを連結することによって、復号可能なサンプルのシーケンスを生成する機能を可能にするためである。ＤＲＡＰサンプルグループの例示的な構文は、以下の通りである。
ｃｌａｓｓ ＶｉｓｕａｌＤＲＡＰＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（‘ｄｒａｐ’）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３） ＤＲＡＰ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（２９） ｒｅｓｅｒｖｅｄ＝０；
｝

ＤＲＡＰサンプルグループのための例示的な意味論は、以下の通りである。ＤＲＡＰ＿ｔｙｐｅは非負の整数である。ＤＲＡＰ＿ｔｙｐｅが１～３の範囲内にある場合、ＤＲＡＰ＿ｔｙｐｅは、ＤＲＡＰサンプルが対応していたであろうＳＡＰ＿ｔｙｐｅ（附属書Ｉに規定）を示し、ＤＲＡＰサンプルが最も近い前のＳＡＰに依存していなかったとする。他のタイプ値は予約されている。予約済みは、０に等しいものとする。この従属節の意味論は、０に等しく予約されたサンプルグループ記述エントリにのみ適用される。構文解析ツールは、このサンプルグループを構文解析する際に、０より大きく予約されたサンプルグループ記述エントリを許可し、かつ無視する。

以下では、ＥＤＲ（Ｅｘｔｅｒｎａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）および／またはタイプ２のＤＲＡＰとも呼ばれる、ＣＲＲ（Ｃｒｏｓｓ ＲＡＰ Ｒｅｆｅｒｅｎｃｅ）に基づく映像コーディングアプローチを説明する。この映像コーディングアプローチの基本的な考えは、次の通りである。イントラコーディングされたＩＲＡＰピクチャとしてランダムアクセスポイントをコーディングする代わりに（但し、ビットストリーム中の一番最初のピクチャを除く）、ランダムアクセスポイントは、ＩＲＡＰピクチャとしてコーディングされた場合に前のピクチャが使用できないことを回避するため、インター予測を用いてコーディングされる。このメカニズムは、外部ストリームおよび／または外部手段と呼ばれてもよい別個の映像ビットストリームを介して、限られた数の前のピクチャ、通常、映像コンテンツの異なるシーンを表すピクチャを規定する。このような前のピクチャを外部ピクチャと呼ぶ。その結果、各外部ピクチャは、ランダムアクセスポイントをまたぐピクチャによるインター予測の参照に使用することができる。コーディング効率の向上は、ランダムアクセスポイントをインター予測されるピクチャとしてコーディングし、復号順でＥＤＲピクチャに続くピクチャに対してより多くの参照ピクチャを利用可能とすることから得られる。このような映像コーディングアプローチでコーディングされるビットストリームは、以下に説明するように、ＩＳＯＢＭＦＦおよびＤＡＳＨに基づくアプリケーションに用いることができる。

ＤＡＳＨコンテンツ作成動作については後述する。映像コンテンツは、１つ以上の表現にコーディングされ、各表現は、特定の空間分解能、時間分解能、および品質を含む。映像コンテンツの各表現は、メインストリームによって表され、場合によっては外部ストリームによっても表される。メインストリームは、ＥＤＲピクチャを含んでもよいし、含まなくてもよいコーディングされるピクチャを含む。少なくとも１つのＥＤＲピクチャがメインストリームに含まれている場合、外部ストリームも存在し、この外部ストリームは外部ピクチャを含む。ＥＤＲピクチャがメインストリームに含まれていない場合、外部ストリームは存在しない。各メインストリームは、ＭＳＲ（Ｍａｉｎ Ｓｔｒｅａｍ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）で搬送される。ＭＳＲにおける各ＥＤＲピクチャは、セグメントの第１のピクチャである。

各外部ストリームは、存在する場合、ＥＳＲ（Ｅｘｔｅｒｎａｌ Ｓｔｒｅａｍ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）で搬送される。ＥＤＲピクチャで始まるＭＳＲの各セグメントに対して、ＭＰＤから導出された同じセグメント開始時間を有する、対応するＥＳＲにおいて、セグメントが存在し、セグメントは、ＭＳＲにて搬送されるビットストリームにおいて、そのＥＤＲピクチャと、復号順において後続のピクチャとを復号するために要求される外部ピクチャを搬送する。同じ映像コンテンツのＭＳＲは、１つのＡＳ（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）に含まれる。同じ映像コンテンツのＥＳＲが、１つのＡＳに含まれる。

ＤＡＳＨストリーミング動作を以下に説明する。クライアントは、ＤＡＳＨ Ｍｅｄｉａ ＰｒｅｓｅｎｔａｔｉｏｎのＭＰＤを取得し、ＭＰＤを構文解析し、ＭＳＲを選択し、コンテンツを消費する開始プレゼンテーション時間を決定する。クライアントは、開始プレゼンテーション時間に等しい（または十分に近い）プレゼンテーション時間を有するピクチャを含むセグメントから始めて、ＭＳＲのセグメントを要求する。開始セグメントの第１のピクチャがＥＤＲピクチャである場合、好ましくはＭＳＲセグメントを要求する前に、関連するＥＳＲにおける対応するセグメント（ＭＰＤから導出された同じセグメント開始時間を有する）も要求する。そうでない場合、関連するＥＳＲのセグメントは要求されない。

異なるＭＳＲに切り替える場合、クライアントは、ＭＳＲからの切り替えの最後に要求されたセグメントのセグメント開始時間よりも長いセグメント開始時間を有する第１のセグメントから始めて、ＭＳＲへの切り替えのセグメントを要求する。切り替え先のＭＳＲにおける開始セグメントの第１のピクチャがＥＤＲピクチャである場合、好ましくはＭＳＲセグメントを要求する前に、関連するＥＳＲにおける対応するセグメントも要求される。そうでない場合、関連するＥＳＲのセグメントは要求されない。

同じＭＳＲで連続的に動作していると場合（探索またはストリーム切り替え動作の後、開始セグメントを復号した後）、ＥＤＲピクチャで開始する任意のセグメントを要求する場合を含め、関連するＥＳＲのセグメントを要求しない。

以下、映像におけるクロスＲＡＰ参照の信号通知について説明する。ＣＲＲは、以下のように、タイプ２のＤＲＡＰ指示ＳＥＩメッセージと呼ばれるＳＥＩメッセージで信号通知することができる。タイプ２のＤＲＡＰ指示ＳＥＩメッセージ構文は、以下の通りである。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージの意味論は、次の通りである。タイプ２のＤＲＡＰ指示ＳＥＩメッセージに関連するピクチャは、タイプ２のＤＲＡＰピクチャと呼ばれる。タイプ１のＤＲＡＰピクチャ（ＤＲＡＰ指示ＳＥＩメッセージに関連する）およびタイプ２のＤＲＡＰピクチャをまとめてＤＲＡＰピクチャと呼ぶ。タイプ２のＤＲＡＰ指示ＳＥＩメッセージの存在は、この従属節に規定されるピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約により、デコーダは、タイプ２のＤＲＡＰピクチャと、同じレイヤで、かつ復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに続くピクチャとを、適切に復号することができる。これは、同じＣＬＶＳ内にあり、ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］の構文要素で識別される、復号順のＩＲＡＰまたはＤＲＡＰピクチャのリストを含むピクチャリストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤ内の他のピクチャを復号する必要なしに達成されることができる。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージが存在することによって示される制約は、すべて適用されるべきであり、以下のとおりである。タイプ２のＤＲＡＰピクチャはトレーリングピクチャである。タイプ２のＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。タイプ２のＤＲＡＰピクチャは、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおける同じレイヤの任意のピクチャを含まない。同じレイヤで、かつ、復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに続く任意のピクチャは、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおいて、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤで、かつ、復号順または出力順でタイプ２のＤＲＡＰピクチャに先行する任意のピクチャを含まない。リストｒｅｆｅｒｅｎａｂｌｅＰｉｃｔｕｒｅｓにおける任意のピクチャは、ピクチャの参照ピクチャリストのアクティブエントリにおいて、同じレイヤで、かつ、リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおけるより前の位置のピクチャではない任意のピクチャを含まない。その結果、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける第１のピクチャには、このピクチャがＩＲＡＰピクチャではなくＤＲＡＰピクチャである場合であっても、このピクチャの参照ピクチャリストのアクティブエントリに同じレイヤのピクチャが含まれない。

ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓは、ＲａｐＰｉｃＩｄと表記される、タイプ２のＤＲＡＰピクチャのＲＡＰピクチャ識別子を規定する。各ＩＲＡＰまたはＤＲＡＰピクチャは、ＲａｐＰｉｃＩｄに関連付けられる。ＩＲＡＰピクチャのためのＲａｐＰｉｃＩｄの値は０に等しいと推測される。ＲａｐＰｉｃＩｄの値は、ＣＬＶＳ内の任意の２つのＩＲＡＰまたはＤＲＡＰピクチャについて異なるものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓは、本明細書のこのバージョンに準拠するビットストリームにおいて０に等しいものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの他の値は予約されている。デコーダは、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの値を無視する。ｔ２ｄｒａｐ＿ｎｕｍ＿ｒｅｆ＿ｒａｐ＿ｐｉｃｓ＿ｍｉｎｕｓ１＋１は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれてもよいＩＲＡＰまたはＤＲＡＰピクチャの数を示す。ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれてもよい、ｉ番目のＩＲＡＰまたはＤＲＡＰピクチャのＲａｐＰｉｃＩｄを示す。

開示される技術案が解決しようとする技術課題の例を以下に示す。例えば、映像ビットストリームおよびメディアファイルにおけるＣＲＲおよび／またはＤＲＡＰの信号通知には、以下のような問題が存在する。ＤＲＡＰ指示ＳＥＩメッセージは、ＤＲＡＰピクチャからランダムアクセスする際に、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャを正しく復号することができるかどうかを示す信号通知を欠く。このようなピクチャは、復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照するため、この場合、誤って復号される可能性がある。

図５に、復号順で関連付けられたＤＲＡＰピクチャの後に続き、かつ、出力順で関連付けられたＤＲＡＰピクチャの前にあるピクチャの例を示す。各ボックスは、左から右への復号順に示されるピクチャである。ボックス内の数字は出力順であり、これはピクチャのピクチャオーダカウントとしても知られている。矢印は、左側（矢印の原点）のピクチャを参照ピクチャとして用いる、右側（矢印の頭部）のピクチャを有する２つのピクチャの間のインター予測の関係を示す。

図５に示される例において、ピクチャ６からピクチャ８へのインター予測は、オフにされてもよい（２つのピクチャを結び付ける矢印が削除される）。この場合、ＤＲＡＰピクチャ（ピクチャ１０）からランダムアクセスを行うと、ピクチャ８を正しく復号することができる。しかしながら、ピクチャ６からピクチャ８へのインター予測を用いる場合、ＤＲＡＰピクチャ（ピクチャ１０）をランダムアクセスポイントとして用いたとき、ピクチャ８を正しく復号することができない。このようなインター予測がオフにされるかどうかの指示は、ＤＲＡＰピクチャからランダムアクセスするときに映像の提示をいつ開始するかをシステムが知るために有用である。例えば、このような指示があれば、ＤＲＡＰピクチャ（ピクチャ１０）からランダムにアクセスする場合、アプリケーションシステムは、プレゼンテーションをピクチャ８から始めることができるか、またはピクチャ１０から始めることができるかを知ることができる。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージは、復号順でタイプ２のＤＲＡＰピクチャに続き、かつ、出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャが、タイプ２のＤＲＡＰピクチャからランダムアクセスするときに正しく復号され得るかどうかを示すための信号通知メカニズムも備えていない。このようなピクチャは、復号順でタイプ２のＤＲＡＰピクチャよりも前に位置するピクチャをインター予測のために参照する場合に、誤って復号される可能性がある。このような指示は、タイプ２のＤＲＡＰピクチャからランダムアクセスするときに、いつ映像の提示を開始するかを決定するシステムに有用である。メディアファイルにおけるＣＲＲを信号通知するメカニズムも欠けている。

さらに、ＩＳＯＢＭＦＦのＤＲＡＰサンプルグループの意味論は誤りである。ＩＳＯＢＭＦＦでは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照可能な場合に、ＤＲＡＰサンプルが、復号順におけるすべてのサンプルが正しく復号できるようになるサンプルであることとしている。しかし、ＤＲＡＰサンプルの前の最も近い初期サンプルが参照可能であっても、復号順でＤＲＡＰサンプルの後であって、かつ、出力順でＤＲＡＰサンプルの前のサンプルは、参照において、最も近い初期サンプルのピクチャよりも前にあるピクチャを参照する場合がある。このような場合、このようなサンプル（ピクチャ）を正しく復号することができない。

本明細書では、上述した問題の１つまたは複数に対処するメカニズムを開示する。例えば、ＤＲＡＰピクチャは、ＩＲＡＰピクチャを参照してインター予測によりコーディングされるランダムアクセスポイントピクチャである。さらに、ＣＲＲピクチャは、タイプ２のＤＲＡＰおよび／またはＥＤＲＡＰ（Ｅｎｈａｎｃｅｄ Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャとしても知られており、ＩＲＡＰピクチャを参照することでインター予測を介してコーディングされ、１つ以上の他の従属ランダムアクセスポイントピクチャを参照することが許可されるランダムアクセスポイントピクチャである。したがって、ＣＲＲ／ＤＲＡＰ／タイプ２のＤＲＡＰはＤＲＡＰの一種と見なされる。ＤＲＡＰおよびＣＲＲは、映像ピクチャが特定の順序で管理されることを前提として設計されている。しかしながら、エンコーダは、コーディング効率を向上させるためにピクチャの並び替えを許可される。したがって、映像ピクチャは、出力順および復号順を有することができる。出力順は、ピクチャを提示／表示する順であり、復号順は、ピクチャをビットストリームにコーディングする順である。ＤＲＡＰおよびＣＲＲの設計によっては、このような区別が考慮されていないため、ＤＲＡＰおよび／またはＣＲＲを用いて映像がコーディングされ、エンコーダがピクチャの並び替えを決定したときに、エラーが発生する場合がある。具体的には、インター予測されるピクチャが復号順でＤＲＡＰ／ＣＲＲピクチャに続き、かつ、出力順でＤＲＡＰ／ＣＲＲピクチャに先行する場合、エラーが発生し得る。そのようなピクチャは、復号順でＤＲＡＰ／ＣＲＲピクチャに先行するさらなるピクチャを参照してコーディングすることを許容される場合があるため、エラーが発生する場合がある。ＤＲＡＰ／ＣＲＲピクチャがランダムアクセスポイントとしてデコーダによって使用される場合、さらなるピクチャを参照することによってインター予測が使用されるかどうかに依存して、ピクチャは完全に復号可能であってもなくてもよい。さらに、様々な信号通知メカニズムは、ＤＲＡＰおよび／またはＣＲＲを完全にはサポートしない場合がある。

したがって、本開示は、復号順でＤＲＡＰ／ＣＲＲピクチャに続き、かつ、出力順でＲＡＰ／ＣＲＲピクチャに先行するインター予測されるピクチャが、ＤＲＡＰ／ＣＲＲピクチャに先行する他のピクチャを参照することを許可されるかどうかを示すための信号通知機構を含む。一例において、この信号通知メカニズムは、符号化されるビットストリームにおけるＳＥＩメッセージである。このようなインター予測の参照が許可される場合、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用するとき、インター予測されるピクチャは表示されない。このようなインター予測の参照が妨げられる場合、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用するとき、インター予測されるピクチャを表示することができる。さらに、本開示は、ＤＲＡＰおよび／またはＣＲＲピクチャを説明するためにＩＳＯＢＭＦＦメディアファイルに含まれ得るサンプルグループおよび／またはサンプルエントリを説明する。これにより、デコーダは、ファイルフォーマットレベルでＤＲＡＰおよび／またはＣＲＲピクチャの存在および位置を決定することができる。

上述した課題等を解決するために、以下に要約される方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。

例１

一例において、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行する、ＤＲＡＰピクチャと同じレイヤにあるピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されるかどうかを示す指示が、ＤＲＡＰ指示ＳＥＩメッセージ構文に追加される。このような参照が妨げられる場合、デコーダは、ＤＲＡＰがランダムアクセスポイントとして使用される際に、このようなピクチャを正確に復号し、表示することができる。参照が許可される場合、復号ができない可能性があり、ＤＲＡＰをランダムアクセスとして使用する際に、そのようなピクチャをデコーダで表示するべきではない。一例において、この指示は１ビットのフラグである。一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、フラグが１－Ｘに等しく設定されてよく（Ｘは１または０）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、指示は、マルチビットインジケータである。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続くピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前のピクチャに、出力順で続くことを要求する。

例２

一例において、追加のＳＥＩメッセージが規定され、このＳＥＩメッセージの存在は、同じレイヤにおいて復号順でビットストリームのＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、このＳＥＩメッセージの存在は、同じレイヤにおいて復号順でビットストリームのＤＲＡＰピクチャに続き、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例３

一例において、追加のＳＥＩメッセージが規定される。この追加のＳＥＩメッセージの存在は、同じレイヤにおいて復号順でＳＥＩメッセージおよびＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けられたＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、この追加のＳＥＩメッセージが存在しないことは、同じレイヤにおいて復号順で追加のＳＥＩメッセージおよびＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けられたＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、復号順でＤＲＡＰピクチャに先行するピクチャに、出力順で続くことを保証する。

例４

一例において、追加のＳＥＩメッセージが規定され、同じレイヤにおいて復号順で追加のＳＥＩメッセージとＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けされたＤＲＡＰピクチャに続き、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャを、インター予測のために参照することを許可されるかどうかを示す指示を、追加のＳＥＩメッセージ構文に追加する。一例において、この指示は１ビットのフラグである。一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、さらに、フラグが１－Ｘに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行するピクチャを、予測のためにインター参照しないことを示す。一例において、この指示は、マルチビットインジケータである。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続くピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例５

一例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ構文に指示が追加される。この指示は、同じレイヤにおいて復号順でタイプ２のＤＲＡＰピクチャに続き、出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でタイプ２のＤＲＡＰピクチャよりも前にあるピクチャを、インター予測のために参照することを許可されるかどうかを示す。一例において、この指示は１ビットのフラグである。一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャを、インター予測のために参照することを許可されることを示す。一例において、さらに、フラッグは１－Ｘ（Ｘは１または０）に設定され、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャを参照しないことを指示する。一例において、このフラグは、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ構文におけるｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールドからの１つのビットを再使用することによって追加される。一例において、この指示は、マルチビットインジケータである。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続くピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例６

別の例において、指示がＤＲＡＰまたはタイプ２のＤＲＡＰピクチャに関連付けられる。一例において、この指示は、各ＤＲＡＰまたはタイプ２のＤＲＡＰに対して信号通知されてもよい。

例７

一例において、追加のサンプルグループは、ＩＳＯＢＭＦＦファイルにおけるＣＲＲ（例えば、タイプ２のＤＲＡＰピクチャを含むサンプル）に信号通知するように規定される。

例８

一例において、ＤＲＡＰサンプルグループは、ＩＳＯＢＭＦＦファイルにおいてＣＲＲ（例えば、タイプ２のＤＲＡＰピクチャを含むサンプル）を、例えば、グループボックス（例えば、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘまたはＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）に対するサンプルのバージョンフィールドを使用するか、またはグループボックスに対するサンプルのｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒフィールド（またはその一部）を使用することによって、信号通知するように拡張される。

例９

一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに必要とされる必須ＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルの数を示すフィールドを含む。必須ＲＡＰサンプルは、初期サンプルまたはＤＲＡＰサンプルのいずれかである。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドをさらに含む。一例において、ＲＡＰ識別子を示すフィールドは、１６ビットを用いてコーディングされる。一例において、ＲＡＰ識別子を示すフィールドは、３２ビットを用いてコーディングされる。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドを含まない。ＲＡＰ識別子は、サブサンプル情報ボックス、サンプル補助情報サイズボックス、および／または別のボックスに信号通知されてもよい。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドを含まない。一例において、ＲＡＰ識別子は、サンプル番号である。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに求められる、必須ＲＡＰサンプルのＲＡＰ識別子を示すいくつかのフィールドをさらに含む。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、１６ビットを用いてコーディングされる。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、３２ビットを用いてコーディングされる。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、必須ＲＡＰサンプルのＲＡＰ識別子を直接表す。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示すフィールドは、それぞれ、２つのＲＡＰサンプルのＲＡＰ識別子の差を表す。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉは０に等しい）は、現在のサンプル（例えば、現在のＤＲＡＰサンプルグループのサンプル）のＲＡＰ識別子と第１の必須ＲＡＰサンプルのｉ番目のＲＡＰ識別子との間の差を表す。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉが０より大きい）は、（ｉ－１）番目の必須ＲＡＰサンプルのＲＡＰ識別子とｉ番目の必要とされるＲＡＰサンプルのＲＡＰ識別子との差を表す。一例において、必須ＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉが０より大きい）は、ｉ番目の必須ＲＡＰサンプルのＲＡＰ識別子と、（ｉ－１）番目の必須ＲＡＰサンプルのＲＡＰ識別子との差を表す。

例１０

一例において、ＤＲＡＰ（Ｄｅｒｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルとは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照である場合に、復号化および出力順の両方におけるすべてのサンプルを正しく復号できるようになるサンプルである。

上述した態様の一部の例示的な実施例を以下に示す。既に追加または修正された関連部分には下線の太字で表し、削除された部分には太字のイタリック体で表す。

実装例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージのための構文は、以下のように修正される。

さらに、タイプ２のＤＲＡＰ指示ＳＥＩメッセージの意味論は、次のように修正される。タイプ２のＤＲＡＰ指示ＳＥＩメッセージに関連するピクチャは、タイプ２のＤＲＡＰピクチャと呼ばれる。タイプ１のＤＲＡＰピクチャ（ＤＲＡＰ指示ＳＥＩメッセージに関連する）およびタイプ２のＤＲＡＰピクチャをまとめてＤＲＡＰピクチャと呼ぶ。タイプ２のＤＲＡＰ指示ＳＥＩメッセージの存在は、この従属節に規定されるピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約により、デコーダは、ピクチャのリストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤにある他のピクチャを復号する必要はなく、タイプ２のＤＲＡＰピクチャ、および同じレイヤにあり、かつ復号順および出力順の両方でそれに続くピクチャを適切に復号することができ、リストは、同じＣＬＶＳ内にあり、かつ、ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］構文要素によって識別される、復号順にてＩＲＡＰまたはＤＲＡＰピクチャのリストからなる。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージが存在することによって示される制約は、すべて適用されるべきであり、以下のとおりである。タイプ２のＤＲＡＰピクチャはトレーリングピクチャである。タイプ２のＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。タイプ２のＤＲＡＰピクチャは、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、その参照ピクチャリストのアクティブエントリにおける同じレイヤのピクチャを含まない。同じレイヤにあり、かつ、復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに続く任意のピクチャは、その参照ピクチャリストのアクティブエントリにおいて、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤにあり、かつ、復号順または出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャを含まない。

リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける任意のピクチャは、その参照ピクチャリストのアクティブエントリにおいて、同じレイヤにあり、かつ、リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおいてより前の位置にあるピクチャでないピクチャを含まない。注－その結果、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける第１のピクチャは、ＩＲＡＰピクチャではなくＤＲＡＰピクチャである場合でも、その参照ピクチャリストのアクティブエントリ中の同じレイヤからのピクチャを含まない。

ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓは、ＲａｐＰｉｃＩｄと表記される、タイプ２のＤＲＡＰピクチャのＲＡＰピクチャ識別子を規定する。各ＩＲＡＰまたはＤＲＡＰピクチャは、ＲａｐＰｉｃＩｄに関連付けられる。ＩＲＡＰピクチャに対するＲａｐＰｉｃＩｄの値は０に等しいと推測される。ＲａｐＰｉｃＩｄの値は、ＣＬＶＳ内の任意の２つのＩＲＡＰまたはＤＲＡＰピクチャに対して異なるものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓは、本規格のこのバージョンに準拠するビットストリームにおいて０に等しいものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓに対する他の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣが将来使用するために予約されている。デコーダは、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの値を無視するものとする。ｔ２ｄｒａｐ＿ｎｕｍ＿ｒｅｆ＿ｒａｐ＿ｐｉｃｓ＿ｍｉｎｕｓ１＋１は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得るＩＲＡＰまたはＤＲＡＰピクチャの数を示す。ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得る、ｉ番目のＩＲＡＰまたはＤＲＡＰピクチャのＲａｐＰｉｃＩｄを示す。

さらに、各ＤＲＡＰサンプルのためのＲＡＰ＿ｉｄフィールドは、サブサンプル情報ボックス、サンプル補助情報サイズボックス、または追加ボックスに信号通知される。

別の実装例において、ＲＡＰサンプルのＲＡＰサンプル識別子は、ＲＡＰサンプルのサンプル数と等しくなるように規定され、現在のサンプルのＲＡＰ＿Ｉｄは、現在のサンプルのサンプル数であり、変数ＲｅｆＲａｐＩｄ［ｉ］は、ｉ番目のＲＡＰサンプルのサンプル数を表す。

別の実装例において、サンプルグループの記述に存在する場合のＲＡＰ＿ｉｄフィールド、およびｒｅｆ＿ＲＡＰ＿ｉｄ［ｉ］フィールドは、３２ビットを用いてコーディングされる。

図１は、ＩＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。具体的には、図１は、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３を含むビットストリーム１００を示す。ＩＲＡＰピクチャ１０１は、イントラ予測に従ってコーディングされ、かつ、ビットストリーム１００へのアクセスポイントとして使用可能なピクチャである。イントラ予測は、同じピクチャ内の他のブロックを参照することにより、ピクチャのブロックをコーディングする処理である。イントラ予測に従ってコーディングされたピクチャは、他のピクチャを参照することなく復号することができる。一方、非ＩＲＡＰピクチャ１０３は、アクセスポイントとして使用することができず、関連付けられたＩＲＡＰピクチャ１０１を復号した後に復号することができるピクチャである。例えば、非ＩＲＡＰピクチャ１０３は、通常、インター予測に従ってコーディングされる。インター予測は、参照ピクチャとして指定される他のピクチャのブロックを参照することにより、ピクチャのブロックをコーディングする処理である。インター予測に基づいてコーディングされたピクチャは、そのピクチャのすべての参照ピクチャも復号されている場合にのみ、正しく復号することができる。ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３の両方は、他の非ＩＲＡＰピクチャ１０３の参照ピクチャとして指定されてもよい。

コーディング技術に依存して、様々なタイプのＩＲＡＰピクチャ１０１を使用することができる。本例において、ＩＲＡＰピクチャ１０１は、ＩＤＲピクチャおよびＣＲＡピクチャを含む。ＩＤＲピクチャは、コーディングされる映像シーケンスの第１のピクチャとして使用可能なイントラコーディングされるピクチャである。ＣＲＡピクチャは、関連付けられた先頭ピクチャを使用できるようにするイントラコーディングされるピクチャである。先頭ピクチャは、出力順で関連するＩＲＡＰピクチャ１０１の出力順に先行し、復号順でＩＲＡＰピクチャ１０１に続くピクチャである。デコーダは、ビットストリーム１００の開始時に復号を開始することができる。しかしながら、ユーザは、しばしば、ビットストリームにおける特定の点にジャンプし、選択された点から見始めることを望む。ユーザが復号の開始点として選択することができる任意の点は、ランダムアクセスポイントと呼ばれる。

一般的に、任意のＩＲＡＰピクチャ１０１をランダムアクセスポイントとして使用することができる。ＩＲＡＰピクチャ１０１がランダムアクセスポイントとして選択された後、関連するすべての非ＩＲＡＰピクチャ１０３（例えば、選択されたＩＲＡＰピクチャ１０１に続く）を復号することもできる。この例においては、ユーザは、ランダムアクセスのためにＣＲＡ４を選択した。デコーダは、ＣＲＡ４の前にピクチャを復号することなく、ＣＲＡ４において復号を開始することができる。これは、ＩＲＡＰピクチャに続くピクチャは、一般的に、ＩＲＡＰピクチャよりも前を参照することを妨げられるためである。したがって、ＣＲＡ４がランダムアクセスポイントとして選択されると、デコーダは、表示のためにＣＲＡ４を復号し、その後、ＣＲＡ４に基づいてＣＲＡ４に続く非ＩＲＡＰピクチャ１０３を復号することができる。これにより、デコーダは、ランダムアクセスポイントより前のピクチャを復号することなく、ランダムアクセスポイント（例えば、ＣＲＡ４）からのビットストリームの提示を開始することができる。

図２は、ＤＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。具体的には、図２は、ＩＲＡＰピクチャ２０１、非ＩＲＡＰピクチャ２０３、およびＤＲＡＰピクチャ２０５を含むビットストリーム２００を示す。ＩＲＡＰピクチャ２０１および非ＩＲＡＰピクチャ２０３は、それぞれ、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３に実質的に類似してもよい。本例において、ＩＲＡＰピクチャ２０１として、ＩＤＲピクチャが用いられる。

ＤＲＡＰピクチャ２０５も含まれる。ＤＲＡＰピクチャ２０５は、インター予測に従ってコーディングされ、かつ、ビットストリーム２００へのアクセスポイントとして使用可能なピクチャである。例えば、各ＤＲＡＰピクチャ２０５は、ＩＲＡＰピクチャ２０１を参照することでコーディングされることができる。図２は、関連する参照ピクチャからの、インター予測に従ってコーディングされるピクチャを示す矢印を含む。図に示すように、各ＤＲＡＰピクチャ２０５は、ＩＤＲ０を参照してコーディングされる。このように、任意のＤＲＡＰピクチャ２０５は、デコーダが関連するＩＲＡＰピクチャ２０１を復号することができる限り、ランダムアクセスポイントとして使用することができる。図示の例では、ランダムアクセスポイントとしてＤＲＡＰ４が選択されている。デコーダは、ビットストリーム２００においてＤＲＡＰピクチャ２０５が使用されていることを認識し、かつ、例えば信号通知によって、ＤＲＡＰピクチャ２０５の参照ピクチャとして使用されるＩＲＡＰピクチャ２０１を認識するようにするべきである。デコーダは、次に、ランダムアクセスにおいて使用するためにＩＤＲ０を復号し、ＩＤＲ０に基づいてＤＲＡＰ４を復号することができる。デコーダは、次に、ＤＲＡＰ４に基づいて、ＤＲＡＰ４に続く非ＩＲＡＰピクチャ２０３を復号することができる。デコーダは、ＤＲＡＰ４において、復号された映像の提示を開始することができる。

インター予測に従ってコーディングされたピクチャは、イントラ予測に従ってコーディングされたピクチャよりも圧縮されている。したがって、ＤＲＡＰピクチャ２０５は、ビットストリーム１００におけるＩＲＡＰピクチャ１０１よりも圧縮されている。したがって、ＤＲＡＰピクチャ２０５を使用することにより、より複雑な信号通知メカニズムおよび復号処理のコストにおいて、ビットストリーム１００に対してビットストリーム２００に信号通知されるデータの数を時間とともに減らす（例えば、ビットレート）。

図３は、ＣＲＲピクチャを用いてビットストリームを復号する場合のランダムアクセスの例示的なメカニズムの模式図である。具体的には、図３は、ＩＲＡＰピクチャ３０１、非ＩＲＡＰピクチャ３０３、およびＣＲＲピクチャ３０５を含むビットストリーム３００を示す。ＩＲＡＰピクチャ３０１および非ＩＲＡＰピクチャ３０３は、それぞれ、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３に実質的に類似してもよい。ＣＲＲピクチャ３０５は、インター予測に従ってコーディングされ、かつ、ビットストリーム３００へのアクセスポイントとして使用可能なピクチャである。ＣＲＲピクチャ３０５は、ＤＲＡＰピクチャの一種と見なされてもよい。ＤＲＡＰピクチャがＩＲＡＰピクチャを参照してコーディングされる間、ＣＲＲピクチャ３０５は、ＩＲＡＰピクチャ３０１および他の任意のＣＲＲピクチャ３０５の両方を参照してコーディングすることができる。ＣＲＲピクチャ３０５はＤＲＡＰピクチャの一種であるため、ＣＲＲピクチャ３０５は、ＥＤＲＡＰピクチャおよび／またはタイプ２のＤＲＡＰピクチャとしても知られており、これらの用語は互換的に使用することができる。図３は、関連する参照ピクチャからの、インター予測に従ってコーディングされるピクチャを示す矢印を含む。

図示されている例において、すべてのＣＲＲピクチャ３０５は、ＩＤＲ０として示されているＩＲＡＰピクチャ３０１を参照することによってコーディングされる。また、ＣＲＲ３、ＣＲＲ４、ＣＲＲ５もＣＲＲ２を参照してコーディングされる。従って、デコーダは、関連付けられたＩＲＡＰピクチャ３０１および参照ピクチャとして使用される関連付けられたＣＲＲピクチャ３０５を復号することができる限り、任意のＣＲＲピクチャ３０５をランダムアクセスポイントとして使用することができる。図示の例では、ランダムアクセスポイントとしてＣＲＲ４が選択されている。デコーダは、ビットストリーム３００においてＣＲＲピクチャ３０５が使用されていることを認識し、かつ、例えば、信号通知によって、他のＣＲＲピクチャ３０５の参照ピクチャとして使用されるＩＲＡＰピクチャ３０１およびＣＲＲピクチャ３０５を認識できる必要がある。デコーダは、次に、ランダムアクセスにおいて使用するためにＩＤＲ０およびＣＲＲ２を復号し、ＩＤＲ０およびＣＲＲ２に基づいてＣＲＲ４を復号することができる。そして、デコーダは、ＣＲＲ４に基づいて、ＣＲＲ４に続く非ＩＲＡＰピクチャ３０３を復号することができる。デコーダは、ＣＲＲ４において復号された映像の提示を開始することができる。

インター予測は、ピクチャ内のブロックと参照ピクチャ内の類似した参照ブロックとをマッチングすることによって動作する。そして、エンコーダは、現在のブロックを符号化する代わりに、参照ブロックを指す動きベクトルを符号化してもよい。現在のブロックと参照ブロックとの間のいかなる差も、残差として符号化される。現在のブロックと参照ブロックが密接に合致するほど、符号化される残差は少なくなる。このように、現在のブロックと参照ブロックとをよりよくマッチングすることにより、コーディングされるデータが少なくなり、圧縮がより優れたものとなる。ＤＲＡＰに対するＣＲＲの利点は、より多くのピクチャを使用することができ、その結果、より良好なマッチングおよびより良好な圧縮が得られることである。ＤＲＡＰに対してＣＲＲは、信号通知および復号のコストが高くなる。

図４は、ＣＲＲに基づくランダムアクセスをサポートするために、外部ビットストリーム４０１に信号通知する例示的なメカニズムを示す模式図である。上述したように、ＣＲＲのための参照ピクチャの管理は、ＤＲＡＰのための参照ピクチャの管理よりも複雑である。図４は、デコーダによって復号される符号化された映像を含む主ビットストリーム４００を示す。メインビットストリーム４００は、ビットストリーム３００と実質的に同様であるが、説明を簡単にするために符号を省略する。外部ビットストリーム４０１は、ランダムアクセスをサポートするために用いられる。具体的には、外部ビットストリーム４０１は、各ＣＲＲピクチャに対応する参照ピクチャのセットを含む。ランダムアクセスが発生した場合、エンコーダおよび／または映像サーバは、アクセスポイントおよび外部ビットストリーム４０１のうちアクセスポイントに対応する部分から始まるメインビットストリーム４００を送信することができる。例えば、ユーザは、ランダムアクセスのためにＣＲＲ３を選択することができる。デコーダは、次に、ＣＲＲ３で始まるメインビットストリーム４００を要求することができる。エンコーダ／映像サーバは、次に、ＣＲＲ３において、メインビットストリーム４００の送信を開始することができる。エンコーダ／映像サーバは、外部ビットストリーム４０１のうちランダムアクセスポイントに対応する部分を送信することもできる。この例において、エンコーダ／映像サーバは、ＩＤＲ０およびＣＲＲ２を送信する。このようにして、デコーダは、ランダムアクセスポイントにおけるＣＲＲピクチャと、そのＣＲＲピクチャを復号するのに必要なすべての参照ピクチャとを受信する。そして、デコーダは、ＣＲＲ３をデコーダし、その時点から映像の表示を開始することができる。データ伝送を低減するために、エンコーダ／映像サーバは、ランダムアクセスポイントの復号に必要な外部ビットストリーム４０１の部分のみを送信し、再びランダムアクセスが発生しない限り、および／または後続のＣＲＲピクチャが現在のランダムアクセスポイントに提供されていない参照ピクチャを使用しない限り、更なるデータを送信しないようにしてもよい。

図５は、ピクチャが復号順でＤＲＡＰおよび／またはＣＲＲピクチャに続き、かつ、出力順でＤＲＡＰおよび／またはＣＲＲピクチャに先行する場合の潜在的な復号の誤りを示すダイヤグラム５００である。前の図と同様に、矢印は、インター予測されるピクチャへ向かう矢印と関連の参照ピクチャから離れる矢印によって、インター予測を表している。

エンコーダは、ピクチャを再順序付けして圧縮を向上させることができる。このように、ユーザにピクチャを提示するべき順番は、出力順として知られている。ピクチャをビットストリームにコーディングする順序は、復号順として知られている。ピクチャは、ピクチャオーダカウントによって識別されることができる。ピクチャオーダカウントは、ピクチャを一意に識別する昇順の任意の値であってもよい。ダイヤグラム５００において、ピクチャは、復号順に示される。一方、ピクチャは、ピクチャオーダカウントに基づいて番号付けされ、出力順にて増加する。ピクチャオーダカウントから分かるように、ピクチャ８は出力順から外れ、ランダムアクセスポイントであるピクチャ１０に続いている。よって、ピクチャ８は、出力順でランダムアクセスポイントに先行し、かつ、復号順でランダムアクセスポイントに続く、インター予測されるピクチャ５０３である。本例において、ピクチャ１０は、ＤＲＡＰ／ＣＲＲピクチャ５０５であり、このピクチャは、例によっては、ＤＲＡＰピクチャまたはＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャのいずれかであり得る。本例において、インター予測されるピクチャ５０３は、参照５０７によりピクチャ６にインター予測を介してコーディングされる。したがって、ピクチャ６は、インター予測されるピクチャ５０３の参照ピクチャ５０２となる。

ダイヤグラム５００は、インター予測されるピクチャ５０３がインター予測を介して参照ピクチャ５０７を参照するため、潜在的なコーディングエラーを示す。具体的には、インター予測されるピクチャ５０３は、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続き、出力順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行し、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行する位置にある参照ピクチャ５０２を参照する（５０７）。タイプＩＤＲのＩＲＡＰピクチャであるピクチャ４からビットストリームを復号する場合、参照ピクチャ５０２は、復号され、参照ピクチャバッファに保存され、それにより、インター予測されるピクチャ５０３は正しく復号することができる。しかしながら、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスのために使用される場合、参照ピクチャ５０２はスキップされ、復号されない。従って、インター予測ピクチャ５０３が参照ピクチャ５０２を参照している場合、インター予測ピクチャ５０３を正しく復号することができない。エンコーダは、参照５０７を許可しない選択肢を有する。例えば、エンコーダは、すべてのインター予測されるピクチャ５０３に対して、関連するランダムアクセスポイントのピクチャおよび関連するアクセスポイントに続くピクチャのみを復号順に参照するように制限してよい。参照５０７が許可されない場合、インター予測されるピクチャ５０３はＤＲＡＰ／ＣＲＲピクチャ５０５の前の任意のピクチャも参照することが許可されていないため、インター予測されるピクチャ５０３を常に復号することができる。しかし、参照５０７が許可されている場合、エンコーダが参照５０７によって参照ピクチャ５０２にインター予測されるピクチャ５０３を符号化することを決定した場合、インター予測されるピクチャ５０３を直接復号することはできない。なお、参照５０７を使用することをエンコーダは要求されていないため、参照５０７を許可することは、必ずしもエラーを引き起こさない。しかし、参照５０７が許可されている場合、参照５０７が選択され、その後、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用されるときに、エラーが発生する。これは、ユーザの観点から見ると、一見したところランダムな誤差をもたらし、ユーザの体験を低下させる可能性がある。

本開示は、この問題に対処するためのいくつかのメカニズムを含む。例えば、エンコーダは、参照５０７が許可されているかどうかをデコーダに信号で伝えることができる。参照５０７が許可されている場合、（エンコーダが参照５０７を使用することを選択するかどうかに依存して）インター予測されるピクチャ５０３は復号される場合もあればそうでない場合もあるため、デコーダは、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用された際に、出力順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行し、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続くインター予測されるピクチャ５０３を表示すべきではない。参照５０７が許可されない場合、デコーダは、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用される際に、ＤＲＡＰ／ＣＲＲピクチャ５０５に関連するインター予測されるピクチャ５０３を表示するべきである。さらに、ＤＲＡＰおよびＣＲＲ信号通知メカニズムは、完全には規定されていない。したがって、本開示は、デコーダによるランダムアクセスの後、ＤＲＡＰ／ＣＲＲピクチャ５０５および／または関連するピクチャをより効率的に復号するために、メディアファイルにおけるＤＲＡＰおよびＣＲＲの使用の説明を信号通知するメカニズムを含む。

別の例において、コーディングプロセスは、参照５０７が発生しないように制約され得る。例えば、ピクチャをレイヤに分けてよく、各レイヤは異なるフレームレートに関連付けられてよい。これにより、デコーダは、デコーダがサポートできるフレームレートを有するレイヤを選択することができる。デコーダは、次に、選択されたレイヤのすべてのピクチャおよび選択されたレイヤの下のレイヤのすべてのピクチャを表示し、所望のフレームレートを達成する。ダイヤグラム５００に示すエラーは、エンコーダがＤＲＡＰ／ＣＲＲピクチャ５０５と同じレイヤにあるピクチャ（例えば、インター予測されるピクチャ５０３）で、かつ、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続くピクチャが、同じレイヤにあり、かつ復号順でＤＲＡＰ／ＣＲＲピクチャに先行するピクチャに出力順で後続することを求める場合に、妨げることができる。

図６は、ＩＳＯＢＭＦＦに記憶されたメディアファイル６００を示す模式図である。例えば、メディアファイル６００は、ＩＳＯＢＭＦＦに記憶され、ＤＡＳＨ表現として使用されてもよい。ＩＳＯＢＭＦＦメディアファイル６００は、メディアコンテンツまたはメディアプレゼンテーションに関連付けられたオブジェクトおよび／またはデータを搬送する複数のボックスに記憶される。例えば、メディアファイル６００は、ファイルタイプボックス（例えば、ｆｔｙｐ）６３０、ムービーボックス（例えば、ｍｏｏｖ）６１０、およびメディアデータボックス（例えば、ｍｄａｔ）６２０、を備えてもよい。

ファイルタイプボックス６３０は、ファイル全体を記述するデータを搬送してよく、したがって、ファイルレベルのデータを搬送してよい。したがって、ファイルレベルボックスは、メディアファイル６００全体に関連するデータを含む任意のボックスである。例えば、ファイルタイプボックス６３０は、メディアファイル６００のＩＳＯ規格および／または互換性情報のバージョン番号を示すファイルタイプを含んでよい。ムービーボックス６１０は、メディアファイルに含まれる映画を記述するデータを搬送してよく、したがって、映画レベルのデータを搬送してよい。動きレベルボックスは、メディアファイル６００に含まれる映画全体を記述するデータを含む任意のボックスである。ムービーボックス６１０は、様々な用途のためのデータを含むように使用される幅広いサブボックスを含むことができる。例えば、ムービーボックス６１０は、メディアプレゼンテーションのトラックを記述するメタデータを搬送するトラックボックス（ｔｒａｋ）を含む。なお、トラックを、関連するサンプルの時限シーケンスと呼ぶことができる。例えば、メディアトラックは、一連のピクチャまたはサンプリングされたオーディオを含んでよく、メタデータトラックは、これらのピクチャおよび／またはオーディオに対応する一連のメタデータを含んでよい。トラックを記述するデータはトラックレベルのデータであり、したがって、トラックを記述する任意のボックスはトラックレベルのボックスである。

メディアデータボックス６２０は、メディアプレゼンテーションの、インターリーブされ、かつ、時間順のメディアデータ（例えば、コーディングされる映像ピクチャおよび／またはオーディオ）を有する。例えば、メディアデータボックス６２０は、ＶＶＣ、ＡＶＣ、ＨＥＶＣ等に基づいてコーディングされた映像データのビットストリームを含んでもよい。メディアデータボックス６２０は、ユーザに表示するための映像、オーディオ、テキストまたは他のメディアデータを含んでもよい。ＩＳＯＢＭＦＦでは、ピクチャ、オーディオ、テキストは集合的にサンプルと呼ばれる。これは、符号化／復号される画素をサンプルとする映像コーディング規格で使用される用語とは対照的である。このように、用語サンプルは、コンテキストに依存して、ピクチャ全体（ファイルフォーマットレベル）またはピクセルのグループ（ビットストリームレベル）を指すことができる。

上述したように、本開示は、ファイルフォーマットレベルでＤＲＡＰおよび／またはＣＲＲの使用を通知するための追加のメカニズムを提供する。これにより、デコーダは、ｍｄａｔボックス６２０に含まれるサンプルのビットストリームを実際に復号する前に、ｍｏｏｖボックス６１０にパラメータをロードすることで、ＤＲＡＰおよび／またはＣＲＲの使用を認識することができる。例えば、ｍｏｏｖボックス６１０は、ＤＲＡＰサンプルグループボックス６２５および／またはＥＤＲＡＰサンプルグループボックス６２１を含むことができる。サンプルグループボックスは、どのサンプルがサンプルグループボックスに対応するタイプであるかを記述することができる。一例において、ＤＲＡＰとＣＲＲは両方ともに、例えば、ＣＲＲをＤＲＡＰのサブタイプとして取り扱うことによって、ＤＲＡＰサンプルグループボックス６２５に記載される。別の例において、ＣＲＲサンプルは、ＥＤＲＡＰサンプルグループボックス６２１によって記述され、ＤＲＡＰサンプルは、ＤＲＡＰサンプルグループボックス６２５によってそれぞれ記述される。一例において、ＤＲＡＰサンプルグループ６２５は、ＤＲＡＰサンプルエントリ６２７を含むことができる。各ＤＲＡＰサンプルエントリ６２７は、次に、ＤＲＡＰに従ってコーディングされた関連するサンプルを記述することができる。一例において、ＥＤＲＡＰサンプルグループ６２１は、ＥＤＲＡＰサンプルエントリ６２３を含むことができる。各ＥＤＲＡＰサンプルエントリ６２３は、次に、ＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰに基づいてコーディングされた関連するサンプルを記述することができる。各ＤＲＡＰ／ＣＲＲサンプルの記述は、ピクチャのサンプル識別子、関連する参照ピクチャを含むサンプルの識別子、ピクチャからのランダムアクセスを実行するのに必要なサンプル数および／またはＲＡＰサンプル数の指示、および／またはＤＲＡＰ／ＣＲＲピクチャにおいてランダムアクセスを選択し実行するときにデコーダに役立つ追加情報を含むことができる。

ｍｏｏｖボックス６１０はまた、幅広い範囲の他のボックス６２９を含んでもよい。いくつかの例において、ＤＲＡＰ／ＣＲＲサンプルの記述は、他のボックス６２９のうちの１つ以上に含まれてもよい。例えば、他のボックス６２９は、グループボックスのサンプル（ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）を含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘに記載されてもよい。別の例において、他のボックス６２９は、グループボックスのコンパクトなサンプル（ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）を含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘに記載されてもよい。具体的な例として、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘおよび／またはＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘにおけるグループタイプパラメータ（ｇｒｏｕｐ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ）フィールドに記述されことができる。別の例において、他のボックス６２９は、サブサンプル情報ボックスを含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、サブサンプル情報ボックスに記載されることができる。別の例において、他のボックス６２９は、サンプル補助情報サイズボックスを含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、サンプル補助情報サイズボックスに記載されることができる。さらに、ここで記述される任意の他のボックスは、他のボックス６２９に含まれてもよく、ＤＲＡＰおよび／またはＣＲＲサンプルの説明を含んでもよい。

図７は、符号化されたビジュアルメディアデータを含むビットストリーム７００の模式図である。ビットストリーム７００は、デコーダで復号／展開するために、エンコーダでコーディングされた／圧縮されたメディアデータを含む。例えば、ビットストリーム７００は、ＩＳＯＢＭＦＦメディアファイル６００のメディアデータボックス６２０に含まれてもよい。さらに、ビットストリーム７００は、ＤＡＳＨにおける表現に含まれてよい。ビットストリーム７００は、ＶＶＣ、ＡＶＣ、ＥＶＣ、ＨＥＶＣ等の様々なコーディングフォーマットに基づいてコーディングされることができる。いくつかのコーディングフォーマットにおいて、ビットストリーム７００は、一連のＮＡＬユニットとして表現される。ＮＡＬユニットは、データパケット内に位置するようにサイズ設定されたデータユニットである。例えば、ＶＶＣは、多数のタイプのＮＡＬユニットを含む。ビットストリーム７００は、映像データを含むＶＣＬ（Ｖｅｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ） ＮＡＬユニットと、ＶＣＬ ＮＡＬユニットを記述し、使用されるコーディングツールを記述し、コーディング制約を記述するデータを含む非ＶＣＬ ＮＡＬユニットとを含むことができる。一例において、ビットストリーム７００は、ＶＣＬ ＮＡＬユニットにおいてコーディングされるピクチャ７１０を含むことができる。ピクチャ７１０は、ＩＲＡＰピクチャ、インター予測されるピクチャ、ＤＲＡＰピクチャ、ＣＲＲピクチャ等であることができる。非ＶＣＬ ＮＡＬユニットは、ピクチャ７１０をコーディングするために使用されるメカニズムを記述する様々なメッセージおよびパラメータセットを含んでよい。多くのＶＣＬ ＮＡＬユニットがＶＶＣに含まれているが、本開示は、ＳＥＩ ＮＡＬユニットに焦点を当てている。例えば、ＳＥＩ ＮＡＬユニットは、ＳＥＩメッセージを含むことができる。ＳＥＩ ＮＡＬメッセージは、復号、表示、または他の目的に関連する処理を支援するデータを含むが、復号処理において復号されるピクチャのサンプル値を決定するために必要とされない。一例において、ＳＥＩメッセージは、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７を含むことができる。ＤＲＡＰ指示ＳＥＩメッセージ７１６は、ＤＲＡＰピクチャの使用を記述するデータを含むＳＥＩメッセージである。タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、ＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの使用を記述するデータを含むＳＥＩメッセージである。ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、ＤＲＡＰおよび／またはＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャに関連付けられることができ、復号中にこのようなピクチャをどのように扱うべきかを示すことができる。

一例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６は、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかについての指示を含むことができる。一例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６は、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの後に続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかについての指示を含むことができる。一例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの後に続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかの指示を含むことができる。したがって、デコーダは、本例に基づいて、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７を読み取り、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用する場合、復号順でＤＲＡＰ／ＣＲＲピクチャに続き、出力順でＤＲＡＰ／ＣＲＲピクチャに先行するピクチャを提示すべきかを決定することができる。

具体的な例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６はＤＲＡＰピクチャに関連付けられ、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７はＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャに関連付けられることができる。さらなる例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、Ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールド７０１を含むことができ、Ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールド７０１からのビットは、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２ＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することが許可されているのかを示すために使用することができる。別の例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６におけるフィールドは、ＤＲＡＰピクチャのための類似した指示を含むことができる。他の例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７におけるマルチビットインジケータが、この目的のために使用されることができる。

図８は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム８００を示すブロック図である。様々な実装形態は、システム８００のコンポーネントの一部または全部を含んでもよい。システム８００は、映像コンテンツを受信するための入力８０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力８０２は、ネットワークインタフェース、周辺バスインタフェース、または記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット（登録商標）、ＰＯＮ（Ｐａｓｓｉｖｅ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ）等の有線インタフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインタフェース等の無線インタフェースを含む。

システム８００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント８０４を含んでもよい。コーディングコンポーネント８０４は、入力８０２からの映像の平均ビットレートをコーディングコンポーネント８０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント８０４の出力は、コンポーネント８０６によって表されるように、記憶されてもよいし、接続された通信を経由して送信されてもよい。入力部８０２において受信される映像の記憶または通信されたビットストリーム（またはコーディングされた）表現は、コンポーネント８０８によって使用されて、表示インタフェース部８１０に送信される画素値、または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、コーディングの結果を逆にする対応する復号ツールまたは動作は、デコーダによって行われることが理解されよう。

周辺バスインタフェースまたは表示インタフェースの例は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：登録商標）またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、ＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を行うことができる他のデバイス等の様々な電子デバイスにおいて実施されてもよい。

図９は、映像処理装置９００の例を示すブロック図である。装置９００は、本明細書に記載の１または複数の方法を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）受信機等により実施されてもよい。装置９００は、１または複数のプロセッサ９０２と、１または複数のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。１つまたは複数のプロセッサ９０２は、本明細書に記載される１または複数の方法を実装するように構成されてもよい。１または複数のメモリ９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、映像処理ハードウェア９０６は、プロセッサ９０２、例えばグラフィックコプロセッサに少なくとも部分的に含まれてもよい。

図１０は、映像処理の例示的な方法１０００のフローチャートである。方法１０００は、ステップ１００２において、ＩＳＯＢＭＦＦのビジュアルメディアデータファイル内のＣＲＲサンプルの記述を判定する（例えば、信号通知する）ことを含む。ステップ１００４において、ＣＲＲサンプルグループに基づいて、ビジュアルメディアデータと、ビジュアルメディアデータファイルとの間で変換が実行される。ＣＲＲサンプルの記述は、ＩＳＯＢＭＦＦメディアファイルの様々な場所に含まれることができる。例えば、ＣＲＲサンプルの記述は、ＣＲＲサンプルグループ、タイプ２のＤＲＡＰサンプルグループ、ＥＤＲＡＰサンプルグループ、および／または、ＤＲＡＰサンプルグループに含めることができる。いくつかの例では、ＣＲＲサンプルの記述は、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ、および／または、ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ、例えば、ｇｒｏｕｐ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒフィールドに含めることができる。いくつかの例では、ＣＲＲサンプルは、タイプ２のＤＲＡＰサンプル、および／または、ＥＤＲＡＰサンプルとして示されてよい。さらに、この文脈では、各サンプルは、符号化されたピクチャが含まれる。

ＣＲＲサンプルの記述は、サンプルグループに属する（例えば、サンプルグループに含まれる）サンプルを識別するための１または複数のサンプル識別子を含むことができる。別の例では、ＣＲＲサンプルの記述は、ＣＲＲサンプルに対する参照ピクチャの識別子を含むことができる。別の例では、ＣＲＲサンプルの記述は、現在のサンプルを復号するための参照に必要なサンプル数を含むことができる。一例では、ＣＲＲサンプルの記述は、サンプルグループ内のサンプルエントリに含めることができる。いくつかの例では、ビジュアルメディアデータファイルは、適切な復号をサポートするように制約され得る。例えば、現在のサンプルが、最も近い前の初期サンプル、復号順において現在のサンプルより前の1または複数のCRRサンプル、またはそれらの組み合わせのみを参照する場合にのみ、現在のサンプルがCRRサンプルのうちの1つであるように、ビジュアルメディアデータファイルを制約できる。別の例では、復号が現在のサンプルにて開始された際に、現在のサンプル、および、復号順および出力順において現在のサンプルに続くすべてのサンプルが、正しく復号できる場合にのみ、現在のサンプルがCRRサンプルのうちの1つであるように、ビジュアルメディアデータファイルを制約できる。別の例では、ビジュアルメディアデータファイルは、最も近い前の初期サンプル、復号順において前記現在のサンプルよりも前の１または複数のＣＲＲサンプル、およびそれらの組み合わせを復号した後に、現在のサンプルおよび現在のサンプルに続くすべてのサンプルが正しく復号できる場合にのみ、現在のサンプルがＣＲＲサンプルの１つであるように、制約することができる。

図１１は、本開示の技法を利用し得る例示的な映像コーディングシステム１１００を示すブロック図である。図１１に示すように、映像コーディングシステム１１００は、送信元デバイス１１１０と、送信先デバイス１１２０と、を備えてもよい。送信元デバイス１１１０は、映像符号化デバイスとも称され得る符号化された映像データを生成する。送信先デバイス１１２０は、送信元装置１１１０によって生成される符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。

送信元デバイス１１１０は、映像ソース１１１２、映像エンコーダ１１１４、および入出力（Ｉ／Ｏ）インタフェース１１１６、を含んでよい。映像ソース１１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１１４は、映像ソース１１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインタフェース１１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１１３０を介して、Ｉ／Ｏインタフェース１１１６を経由して送信先デバイス１１２０に直接送信されてよい。符号化された映像データはまた、送信先デバイス１１２０がアクセスするために、記憶媒体／サーバ１１４０に記憶してもよい。

送信先デバイス１１２０は、Ｉ／Ｏインタフェース１１２６、映像デコーダ１１２４、および表示デバイス１１２２を含んでもよい。Ｉ／Ｏインタフェース１１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインタフェース１１２６は、送信元デバイス１１０または記憶媒体／サーバ１１４０から符号化された映像データを取得してもよい。映像デコーダ１１２４は、符号化された映像データを復号してもよい。表示装置１１２２は、復号された映像データをユーザに表示してもよい。表示装置１１２２は、送信先デバイス１１２０と一体化されてもよく、または外部表示デバイスとインタフェースで接続するように構成することができる送信先デバイス１１２０の外部にあってもよい。

映像エンコーダ１１１４および映像デコーダ１１２４は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、および他の現在のおよび／または更なる規格等の映像圧縮規格に従って動作してもよい。

図１２は、映像エンコーダ２００の一例を示すブロック図であり、映像エンコーダ２００は、図１１に示されるシステム１００における映像エンコーダ１１４であってもよい。映像エンコーダ１２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図１２の例において、映像エンコーダ２００は、複数の機能コンポーネントを含む。本開示で説明される技術は、映像エンコーダ１２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ１２００の機能性コンポーネントは、分割部１２０１、予測部１２０２、残差生成部１２０７、変換処理部１２０８、量子化部１２０９、逆量子化部１２１０、逆変換部１２１１、再構成部１２１２、バッファ１２１３、およびエントロピー符号化部１２１４を含んでよく、を含んでもよく、予測部１２０２は、モード選択部１２０３、動き推定部１２０４、動き補償部１２０５、イントラ予測部１２０６を含んでよく、予測部１２０２は、モード選択部１２０３、動き推定部１２０４、動き補償部１２０５、イントラ予測部１２０６を含んでよい。

他の例において、映像エンコーダ１２００は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測部１２０２は、ＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）ユニットを含んでもよい。ＩＢＣ部は、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行ってよい。

さらに、動き推定部１２０４および動き補償部１２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図１２の例においては別々に表されている。

分割部１２０１は、ピクチャを１つ以上の映像ブロックに分割してもよい。映像エンコーダ１２００および映像デコーダ１３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択部１２０３は、例えば、誤り結果に基づいて、イントラまたはインターコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成部１２０７に供給し、残差ブロックデータを生成して再構成部１２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択部１２０３は、予測がインター予測信号およびイントラ予測信号に基づくＣＩＩＰ（Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｉｎｔｒａ ａｎｄ Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）モードの組み合わせを選択してもよい。モード選択部１２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を実行するために、動き推定部１２０４は、バッファ１２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償部１２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ１２１３からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックに対する予測される映像ブロックを判定してもよい。

動き推定部１２０４および動き補償部１２０５は、例えば、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかによって、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定部１２０４は、現在の映像ブロックに対して単方向予測を行い、動き推定部１２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。動き推定部１２０４は、参照映像ブロックを含むリスト０またはリスト１の参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部１２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部１２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測された映像ブロックを生成してもよい。

他の例において、動き推定部１２０４は、現在の映像ブロックのために双方向予測を行ってもよく、動き推定部１２０４は、現在の映像ブロックのための参照映像ブロックに対してリスト０の参照ピクチャを検索してもよく、また、現在の映像ブロックのための別の参照映像ブロックに対してリスト１の参照ピクチャを検索してもよい。動き推定部１２０４は、参照映像ブロックを含むリスト０およびリスト１の参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部１２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部１２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測された映像ブロックを生成してもよい。

いくつかの例において、動き推定部１２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。いくつかの例では、動き推定部１２０４は、現在の映像に対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定部１２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定部１２０４は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定部１２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを図１３の映像デコーダ１３００に示す値を示してもよい。

他の例において、動き推定部１２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、指示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ１３００は、指示された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ１２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ１２００によって実装され得る予測信号通知技法の２つの例は、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）およびマージモード信号通知を含む。

イントラ予測部１２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測部１２０６が現在の映像ブロックにおけるイントラ予測を行う場合、イントラ予測部１２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックに対する予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成部１２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための現在の映像ブロックに対する残差データはなくてもよく、残差生成部１２０７は、減算動作を行わなくてもよい。

変換処理部１２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックに対する１つ以上の変換係数映像ブロックを生成してもよい。

変換処理部１２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化部１２０９は、現在の映像ブロックに関連付けられた１つ以上のＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化部１２１０および逆変換部１２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成部１２１２は、予測部１２０２によって生成された１つ以上の予測された映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ１２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成部１２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化部１２１４は、映像エンコーダ１２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化部１２１４がデータを受信すると、エントロピー符号化部１２１４は、１つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図１３は、映像デコーダ１３００の一例を示すブロック図であり、映像デコーダ１３００は、図１１に示されるシステム１１００における映像デコーダ１１２４であってもよい。

映像デコーダ１３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図１３の例において、映像デコーダ１３００は、複数の機能性コンポーネントを含む。本開示で説明される技法は、映像デコーダ１３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図１３の例において、映像デコーダ１３００は、エントロピー復号部１３０１、動き補正部１３０２、イントラ予測部１３０３、逆量子化部１３０４、逆変換部１３０５、再構成部１３０６、およびバッファ１３０７を備える。映像デコーダ１３００は、いくつかの例では、映像エンコーダ１２００（図１２）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号部１３０１は、符号化されたビットストリームを取り出してよい。符号化されたビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号部１３０１は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償部１３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償部１３０２は、例えば、ＡＭＶＰおよびマージモードを行うことにより、このような情報を決定してもよい。

動き補償部１３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。

動き補償部１３０２は、映像ブロックの符号化中に映像エンコーダ１２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償部１３０２は、受信した構文情報に従って映像エンコーダ１２００が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。

動き補償部１３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インターコーディングされたブロックごとの１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号するための他の情報のうちのいくつかを使用してもよい。

イントラ予測部１３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化部１３０４は、ビットストリームに提供され、エントロピー復号部１３０１によって復号された量子化された映像ブロック係数を逆量子化（すなわち、逆量子化（ｄｅ－ｑｕａｎｔｉｚｅ））する。逆変換部１３０５は、逆変換を適用する。

再構成部１３０６は、残差ブロックと、動き補償部１３０２またはイントラ予測部１３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ１３０７に記憶され、バッファ１３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示デバイスに表示するために復号された映像を生成する。

図１４は、例示的なエンコーダ１４００の回路図である。エンコーダ１４００は、ＶＶＣの技法を実施するのに適している。エンコーダ１４００は、３つのインループフィルタ、すなわち、ＤＦ（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）１４０２、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｒ）１４０４、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）１４０６を含む。予め定義されたフィルタを使用するＤＦ１４０２とは異なり、ＳＡＯ１４０４およびＡＫＦ１４０６は、現在のピクチャの元のサンプルを利用して、オフセットおよびフィルタ係数を信号通知するコーディングされたサイド情報とともに、オフセットを追加し、また、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを適用することで、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ＡＬＦ１４０６は、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。

エンコーダ１４００は、入力映像を受信するように構成されたイントラ予測コンポーネント１４０８、および、ＭＥ／ＭＣ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ／Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）コンポーネント１４１０をさらに含む。イントラ予測コンポーネント１４０８は、イントラ予測を実行するように構成され、ＭＥ／ＭＣコンポーネント１４１０は、参照ピクチャバッファ１４１２から取得した参照ピクチャを利用してインター予測を実行するように構成される。インター予測またはイントラ予測からの残差ブロックは、Ｔ（Ｔｒａｎｓｆｏｒｍ）コンポーネント１４１４およびＱ（Ｑｕａｎｔｉｚａｔｉｏｎ）コンポーネント１４１６に供給され、量子化された残差変換係数を生成し、これらの残差ブロックは、エントロピーコーディングコンポーネント１４１８に供給される。エントロピーコーディングコンポーネント１４１８は、予測結果および量子化変換係数をエントロピーコーディングし、映像デコーダ（図示せず）に向けて送信する。量子化コンポーネント１４１６から出力された量子化成分は、ＩＱ（Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ）コンポーネント１４２０、逆変換コンポーネント１４２２、およびＲＥＣ（Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）コンポーネント１４２４に供給されてもよい。ＲＥＣモジュール１４２４は、ＤＦ１４０２、ＳＡＯ１４０４、およびＡＬＦ１４０６にピクチャを出力することができ、参照ピクチャバッファ１４１２に記憶される前に、これらのピクチャをフィルタリングすることができる。

次に、いくつかの例により好適な解決策を列挙する。

以下の解決策は、本明細書で検討される技術の例を示す。

１．ビジュアルメディア処理方法（例えば、図１０に示す方法１０００）は、ピクチャを含む映像と、映像のビットストリームとの間で変換を実行すること（１００４）を含み、ピクチャがＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャとしてビットストリームでコーディングされ、ビットストリームは、フォーマット規則に準拠し、フォーマット規則は、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャが、インター予測のために同じレイヤのピクチャを参照するか否かを示す構文要素がＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージに含まれるか否かを規定し、ピクチャは、復号順でＤＲＡＰより前にある。

２．ＳＥＩメッセージは、ＤＲＡＰ指示ＳＥＩメッセージである、解決策１に記載の方法。

３．ＳＥＩメッセージは、ビットストリームに含まれるＤＲＡＰ指示ＳＥＩメッセージとは異なる、解決策１に記載の方法。

４．フォーマット規則は、ＳＥＩメッセージの存在が、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャがインター予測のために同じレイヤのピクチャを参照することを許可することを示すことを規定し、ピクチャは、復号順でＤＲＡＰピクチャよりも前にある、解決策２から３のいずれかに記載の方法。

５．フォーマット規則は、ＳＥＩメッセージの存在が、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャがインター予測のために同じレイヤのピクチャを参照することを許可されないことを示すことを規定し、ピクチャは、復号順でＤＲＡＰピクチャよりも前にある、解決策２から３のいずれかに記載の方法。

６．構文要素は、１ビットのフラグを含む、解決策１から５のいずれか１つに記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

７．映像処理の方法は、１以上のピクチャを含む映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、タイプ２のＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャを含み、ビットストリームはフォーマット規則に準拠し、フォーマット規則は、ビットストリームに、復号順でタイプ２のＤＲＡＰピクチャに続き、出力順でタイプ２のＤＲＡＰピクチャに先行する、レイヤにおけるピクチャが、復号順でタイプ２のＤＲＡＰピクチャよりも前にある、レイヤにおけるピクチャをインター予測のために参照することが許可されるかを指示するための特定のタイプのＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）指示構文メッセージを含むことを規定する。

８．ＤＲＡＰ指示構文メッセージの特定のタイプは、タイプ２のＤＲＡＰ指示構文メッセージに対応する、解決策７に記載の方法。

９．ＤＲＡＰ指示構文メッセージの特定のタイプは、ＤＲＡＰ指示構文メッセージに対応する、解決策７に記載の方法。

１０．構文要素は、１ビットのフラグを含む、解決策７から９のいずれか１つに記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１１．映像処理の方法は、映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、ビットストリームを記憶するファイルフォーマットでＣＲＲ（Ｃｒｏｓｓ－Ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｅ）を信号通知するかどうか、およびどのように信号通知するかを規定するフォーマット規則に準拠する。

１２．フォーマット規則は、ＣＲＲを示すサンプルグループを定義する、解決策１１に記載の方法。

１３．フォーマット規則は、ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルグループがＣＲＲを含むことを定義する、解決策１１に記載の方法。

１４．ＣＲＲを信号通知するＤＲＡＰサンプルグループは、ＣＲＲを信号通知するためのバージョンフィールドまたはｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒフィールドを含む、解決策１３に記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１５．映像処理の方法は、映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、ビットストリームがＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャを含む場合、フィールドが、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに要求されるＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルの数を示すＤＲＡＰサンプルエントリフィールドに含められることを規定するフォーマット規則に準拠する。

１６．フォーマット規則は、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示す別のフィールドを含むようにさらに規定する、解決策１５に記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１７．ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルは、ＤＲＡＰサンプルに先行する最も近い初期サンプルを参照に使用することができる場合に、復号順と出力順の両方ですべてのサンプルが正しく復号できるようになるサンプルである、解決策１から１６のいずれか１つに記載の方法。

１８．ビットストリームをファイルフォーマットに準拠したファイルに記憶することをさらに含む、解決策１から１７のいずれか１つに記載の方法。

１９．ビットストリームは、ファイルフォーマットに準拠したファイルから読み出される、解決策１から１７のいずれか１つに記載の方法。

２０．ファイルフォーマットは、ＩＳＯＢＭＦＦ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）である、解決策１８から１９のいずれか１つに記載の方法。

２１．解決策１から２０の１つまたは複数に記載の方法を実装するように構成されたプロセッサを備える、映像復号装置。

２２．解決策１から２０の１つまたは複数に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。

２３．コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、プロセッサにより実行された際に、プロセッサに、解決策１から２０のいずれかに記載の方法を実装させるコンピュータプログラム製品。

２４．解決策１から２０のいずれかに従って生成されたビットストリームフォーマットに準拠したビットストリームを実行するコンピュータ可読媒体。

２５．解決策１から２０のいずれか１つに記載の方法に従ってビットストリームを生成し、ビットストリームをコンピュータ可読媒体に書き込むことを含む方法。

２６．本明細書に記載の方法、装置またはシステム。

本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディングされた表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則を使用して、フォーマット規則に従って、構文要素の有無の知識でコーディングされた表現内の構文要素を解析し、デコードされた映像を生成してよい。

本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から符号化され、ビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディングされた表現に含めるか、またはコーディングされた表現から除外することによって、それに応じてコーディングされた表現を生成してもよい。

本明細書に開示された、およびその他の解決策、例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的均等物を含めて、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施してもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのコンピュータで実行するように展開することができ、あるいは、１つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって行うことができる。プロセスおよびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用目的マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許明細書に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除き、介在するコンポーネントがない場合、第２のコンポーネントに直接結合される。第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または他の媒体以外の介在コンポーネントがある場合、第２のコンポーネントに間接的に結合される。「結合された（ｃｏｕｐｌｅｄ）」という用語およびその変形は、直接結合および間接結合の両方を含む。「略（ａｂｏｕｔ）」という用語の使用は、特に断りのない限り、後続の数字の±１０％を含む範囲を意味論する。

本開示においていくつかの実施例が提供されたが、開示されたシステムおよび方法は、本開示の思想または範囲から逸脱することなく、他の多くの特定の形式で実施されてもよいと理解されるべきである。本実施例は、例示と見なされるべきであり、制限と見なされるべきではなく、本発明は、本明細書に示される詳細に限定されるべきではない。例えば、様々な要素またはコンポーネントは、別のシステムにおいて組み合わせまたは統合されてもよく、または特定の特徴が省略されてもよく、または実施されなくてもよい。

加えて、本開示の範囲から逸脱することなく、様々な実施例で個別または別個に説明および図示された技法、システム、サブシステム、および方法を、他のシステム、モジュール、技法、または方法と組み合わせまたは統合してもよい。結合されたものとして図示または説明された他のアイテムは、直接接続されても、間接的に結合されてもよく、または何らかのインタフェース、デバイス、若しくは中間コンポーネントを介して、電気的、機械的若しくはその他の方法で通信してもよい。変更、置き換え、および変更の他の例は、当業者によって確定され得、本明細書に開示される思想および範囲から逸脱することなくなされ得る。

関連出願の相互参照
本願は、２０２０年１２月２８日に出願された国際出願第ＰＣＴ／ＣＮ２０２０／１３９８９３号の優先権および利益を主張する、２０２１年１２月２８日に出願された国際出願第ＰＣＴ／ＣＮ２０２１／１４１９３９号に基づく。上記の特許出願のすべては、参照により、それらの全体がここに援用される。

Claims (22)

1. 映像データを処理するための方法であって、
   ＩＳＯＢＭＦＦ（ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ） Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）のビジュアルメディアデータにおけるＣＲＲ（Ｃｒｏｓｓ Ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ）サンプルの記述を判定することと、
   前記ＣＲＲサンプルのグループに基づいて、ビジュアルメディアデータと前記ビジュアルメディアデータファイルとの間の変換を実行することと、
   を有する方法。
2. 前記ＣＲＲサンプルの記述は、ＣＲＲサンプルのグループに含まれる、請求項１に記載の方法。
3. 前記ＣＲＲサンプルの記述は、ＤＲＡＰ（Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルのグループに含まれる、請求項１に記載の方法。
4. 前記ＣＲＲサンプルの記述は、タイプ２のＤＲＡＰサンプルのグループに含まれる、請求項１に記載の方法。
5. 前記ＣＲＲサンプルの記述は、ＥＤＲＡＰ（Ｅｎｈａｎｃｅｄ Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルのグループに含まれる、請求項１に記載の方法。
6. 前記ＣＲＲサンプルの記述は、グループボックスへのサンプル（ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）に含まれる、請求項１から５のいずれか一項に記載の方法。
7. 前記ＣＲＲサンプルの記述は、グループボックスへのコンパクトサンプル（ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）に含まれる、請求項１から６のいずれか一項に記載の方法。
8. 前記ＣＲＲサンプルの記述は、グループタイプパラメータ（ｇｒｏｕｐ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ）フィールドに含まれる、請求項１から７のいずれか一項に記載の方法。
9. 前記ＣＲＲサンプルは、タイプ２のＤＲＡＰサンプルとして示される、請求項１から８のいずれか一項に記載の方法。
10. 前記ＣＲＲサンプルは、ＥＤＲＡＰ（Ｅｎｈａｎｃｅｄ Ｄｅｐｅｎｄｅｎｔ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）サンプルとして示される、請求項１から８のいずれか一項に記載の方法。
11. 各サンプルは、ピクチャを含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記ＣＲＲサンプルの記述は、サンプルグループに属するサンプルを識別するための１または複数の識別子を含む、請求項１から１１のいずれか一項に記載の方法。
13. 前記ＣＲＲサンプルの記述は、前記ＣＲＲサンプルに対する参照ピクチャの識別子を含む、請求項１から１２のいずれか一項に記載の方法。
14. 前記ＣＲＲサンプルの記述は、現在のサンプルを復号するために参照が必要なサンプル数を含む、請求項１から１３のいずれか一項に記載の方法。
15. 前記ＣＲＲサンプルの記述は、サンプルグループのサンプルエントリに含まれる、請求項１から１４のいずれか一項に記載の方法。
16. 現在のサンプルが、最も近い先行する初期サンプル、復号順において前記現在のサンプルよりも前にある１または複数のＣＲＲサンプル、またはそれらの組み合わせのみを参照する場合、前記現在のサンプルは、前記ＣＲＲサンプルのうちの１つである、請求項１から１５のいずれか一項に記載の方法。
17. 現在のサンプル、および、復号順および出力順において前記現在のサンプルに続くすべてのサンプルが、復号が前記現在のサンプルにおいて開始される際に、正しく復号されることができる場合、前記現在のサンプルは、前記ＣＲＲサンプルのうちの１つである、請求項１から１６のいずれか一項に記載の方法。
18. 前記現在のサンプル、および、前記現在のサンプルに続くすべてのサンプルは、最も近い先行する初期サンプル、復号順において前記現在のサンプルよりも前にある１または複数のサンプル、またはそれらの組み合わせが復号された後、正しく復号される、請求項１から１７のいずれか一項に記載の方法。
19. 前記変換は、前記ビジュアルメディアデータに従って前記ビジュアルメディアデータファイルを生成することを含む、請求項１から１８のいずれか一項に記載の方法。
20. 前記変換は、前記ビジュアルメディアデータを取得するために前記ビジュアルメディアファイルを構文解析することを含む、請求項１から１８のいずれか一項に記載の方法。
21. プロセッサと、命令を有する非一時的メモリを有する、映像データを処理するための装置であって、
    前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、請求項１から２０のいずれか一項の方法を実行させる、装置。
22. 前記映像コーディング装置によって用いられるコンピュータプログラムプロダクトを有する非一時的コンピュータ可読媒体であって、
    前記コンピュータプログラムプロダクトは、前記プロセッサによって実行された際に、前記映像コーディング装置に、請求項１から２０のいずれか一項の方法を実行させる、前記非一時的コンピュータ可読媒体に格納されたコンピュータ実行可能な命令を有する、非一時的コンピュータ可読媒体。

Images