JP5563638B2

JP5563638B2 - 映像符号化器と映像復号器との状態整合性を検証する方法

Info

Publication number: JP5563638B2
Application number: JP2012219179A
Authority: JP
Inventors: ウェンゲル，ステファン; ハンヌクセラ，ミスカ; ワン，イエ−クイ
Original assignee: コアワイアレスライセンシングエスアーアールエル
Priority date: 2006-01-04
Filing date: 2012-10-01
Publication date: 2014-07-30
Anticipated expiration: 2026-11-02
Also published as: US7827467B2; KR20080079669A; WO2007077480A1; BRPI0621302A2; JP2009522900A; EP1969855A1; CN101356829B; RU2008126698A; JP5243268B2; ZA200805782B; CN101356829A; JP2013038812A; AU2006334077B2; MY151850A; AU2006334077A1; US20070157070A1; RU2432704C2; EP1969855A4

Description

本発明は，予測映像符号化の分野に関し，特に符号化器の状態と復号器の状態とが適切に一致することを確かめることに関する。

現行のほとんどの映像圧縮アルゴリズムは，ピクチャの復号中に状態情報を保持する必要がある。ピクチャ間予測に用いる参照ピクチャが，明確な例の１つである。符号化器から復号器へビットストリームを送信する際にエラーが生じたとき，この復号器の状態は通常破損する。しかし二三の場合に限っては，復号器はビットストリーム自体から破損があることを判定できる。別の場合には，外部手段（例えば送信パケットのシーケンス番号）を用いて破損がある可能性を判定することもできる。

復号器状態の破損は，ビットストリーム送信におけるエラーによって生じることがある。復号器においては，ほとんどの転送スタックがビットストリームに破損がある可能性を示す標示を含むが，（破損を受けたことを判定することが可能なときでも）どのデータ構造において破損が起きたかは不明確である。例えば，スライスデータが損害を受けると，将来の予測に用いる参照ピクチャが破損することになる。そして帯域内（ｉｎ−ｂａｎｄ）パラメータ集合送信が損害を受け又は損失すると，後で参照される可能性のあるパラメータ集合が損失し又は損害を受けることになる。

本発明以前には，符号化器がその内部状態について，簡便な方法で復号器に通知できるようにする機構は知られていない。また，復号器がその内部状態について，破損（又は非破損）を暗示することなく符号化器に通知できるようにする機構も以前には知られていない。換言すれば，エラー検出を実行して破損について肯定的又は否定的に符号化器に通知する情報を明示的に送信することなく，復号器が（例えば周期的に）その状態について符号化器に通知できる手段は存在しない。

先行技術によって，次に示す復号器から符号化器へのフィードバックメッセージが知られている。これらはすべて暗黙に破損又は非破損を暗示する。これらの先行技術メッセージを発生させるために，メッセージ送信器（復号器）はエラー検出を実行しなければならない。

ＮＥＷＰＲＥＤ参照ピクチャフィードバックメッセージ
（例えば，米国特許６，６２１，８６８号，Kimata, H., et al，"Study on Adaptive Reference Picture Selection Coding Scheme for the NEWPRED Receiver-Oriented Mobile Visual Communication"，IEEE Global Telecommunications Conference，１９９８年１１月８日〜１２日，（８ページ），及びITU-T Rec. H.263 Annex Nを参照されたい）
復号器は，あるＩＤを有する参照ピクチャの既知の破損又は既知の非破損について符号化器に通知することができる。符号化器はこの情報を用いてピクチャ間予測に（復号器において）非破損であることが既知の古い参照ピクチャを用いる。しかし復号器はその内部状態について簡単に情報を送信することはできず，符号化器に破損又は非破損があったかどうかを決めさせる。換言すれば，エラー検出の責任は復号器にあり，符号化器にはない。

パケット損失戻りチャネル通知（例えばＡＲＱ）
これらの技法は，再送信を起動するためにパケットが到着しなかったことを逆に通知する。これは，受信器の状態（「パケットｘ，ｙ，ｚが損失している」）を搬送する情報である。しかしこれは，パケット以外のデータエンティティに属する映像復号器状態の意味での「状態」ではない。

フルイントラ要求，ピクチャ損失標示，スライス損失標示，及び破損を標示する類似の映像関連機構
これらは，"Extended RTP Profile for RTCP-based Feedback (RTP/AVPF)"，Internet Draft （http://www.ietf.org/internet-drafts/draft-ietf-avt-rtcp-feedback-11.txtを参照されたい），又はＩＴＵ−ＴＲｅｃ．Ｈ．２４５など多くの別個の標準に記載されている。これらはすべて，復号器においてエラー検出を実行する必要がある。

米国特許６，６２１，８６８号

Kimata, H., et al，"Study on Adaptive Reference Picture Selection Coding Scheme for the NEWPRED Receiver-Oriented Mobile Visual Communication"，IEEE Global Telecommunications Conference，１９９８年１１月８日〜１２日，（８ページ） ITU-T Rec. H.263 Annex N "Extended RTP Profile for RTCP-based Feedback (RTP/AVPF)"，Internet Draft （http://www.ietf.org/internet-drafts/draft-ietf-avt-rtcp-feedback-11.txt）ＩＴＵ−ＴＲｅｃ．Ｈ．２４５ＭＤ５，ＩＥＴＦＲＦＣ１３２１ＩＥＴＦＲＦＣ３５４８ＡＳＮ．１，ＩＴＵ−ＴＲｅｃ．Ｘ．６８０ＭＰＥＧ−４Ｐａｒｔ２（ＩＳＯ／ＩＥＣ１４４９６−２)

本発明は，符号化器状態と復号器状態とが適切に一致することを検証する手段を提供することを目的とする。エラー検出をメッセージ送信器において実行しなければならない上記先行技術と異なり，本発明によってエラー検出をメッセージ受信器が処理できるようになる。更に最新技術によるフィードバックメッセージは破損又は非破損を暗示するが，本発明によるメッセージは「中立」である。

本発明は，映像符号化器においてチェックサム情報を計算する手段と，上記映像符号化器から上記映像復号器へ上記チェックサム情報を搬送する信号と，上記映像復号器において状態情報の整合性を検査する手段と，上記映像復号器の上記状態情報を上記映像符号化器に通知する手段と，を提供する。

本発明の一態様によれば，第１映像処理装置の状態と第２映像処理装置の状態との一致を検証する方法が提供される。上記第１映像処理装置及び上記第２映像処理装置のうち１つは予測映像符号化を用いる映像符号化器であり，上記第１映像処理装置及び上記第２映像処理装置のうち残りの１つは，上記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である。この方法は，
上記第１映像処理装置において，上記第１映像処理装置の第１状態の１又は複数の特性の第１標示を発生する発生ステップと，
上記標示を有するメッセージを上記第２映像処理装置に送信するステップと，
を有する。

このメッセージは，上記標示がどの特性に対して発生されたかを上記第２映像処理装置が識別できるようにする追加情報も有する。本発明によるこの方法は，伝送に関係して，又はほかの理由によって符号化ビットストリームが破損したとき，適切なエラー処理手続を実行するために，映像符号化器の状態と映像復号器の状態とを一致させることができる。

例示実施例によれば，本方法は，
上記第２映像処理装置において，上記第２映像処理装置の第２状態の第２標示を発生する発生ステップと，
上記第１映像処理装置の上記第１状態と，上記第２映像処理装置の上記第２状態と，が一致するかどうかを，上記第１標示と上記第２標示とを比較して検証するステップと，
を更に有する。

例示実施例によれば，本方法は，
上記各状態が一致しなかったとき，エラー処理手続を実行するステップ
を更に有する。

例示実施例によれば，上記標示はチェックサムを有し，上記発生ステップは，
上記チェックサムを計算するステップ
を有する。

別個のベンダの符号化器及び復号器が相互運用可能であることを確実にするために，この計算方法をともかく標準化する必要があろう。

例示実施例によれば，上記チェックサムは，バイナリコピー，排他的ＯＲ（ＸＯＲ），巡回冗長検査（ＣＲＣ），セキュアハッシュアルゴリズム（ＳＨＡ１，米国国家標準技術研究所（ＮＩＳＴ），ＦＩＰＳ公表１８０，"Secure Hash Standard (SHS)"，１９９３年５月に規定されている），又はメッセージダイジェスト５（ＭＤ５，ＩＥＴＦＲＦＣ１３２１に規定されている），からなるグループのうち少なくとも１つのアルゴリズムによって計算される。

例示実施例によれば，上記標示は，バイナリと，Ｂａｓｅ１６と，Ｂａｓｅ６４（ＩＥＴＦＲＦＣ３５４８参照）と，抽象構文記法１（ＡＳＮ．１，ＩＴＵ−ＴＲｅｃ．Ｘ．６８０参照）と，からなるグループのうち少なくとも１つの符号化方法によって，上記第１状態の上記特性を符号化したコピーを有する。

例示実施例によれば，上記第１状態の上記特性は，
活性ピクチャパラメータ集合（ＰＰＳ）と，
活性シーケンスパラメータ集合（ＳＰＳ）と，
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）と，
インデクスｘを有するシーケンスパラメータ集合（ＳＰＳ）と，
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）及び参照シーケンスパラメータ集合（ＳＰＳ）と，
全ピクチャパラメータ集合（ＰＰＳ）と，
全シーケンスパラメータ集合（ＳＰＳ）と，
復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと，
予測に用いた復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと，
復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと，
からなるグループのうち少なくとも１つを有する。

例示実施例によれば，上記第１映像処理装置は上記映像符号化器であり，上記第２映像処理装置は上記映像復号器である。

例示実施例によれば，上記メッセージは上記ビットストリーム内で送信され，補強情報（ＳＥＩ）メッセージであってもよい。

例示実施例によれば，上記メッセージは上記ビットストリームとは別に送信され，上記メッセージはまた，例えばチェックサムである上記標示と該標示の発生時点とを関係付ける同期情報も有する。すなわち，帯域外で送信されるこのようなメッセージは，何らかの方法で上記ビットストリームと同期させる必要がある。

例示実施例によれば，上記第１映像処理装置は上記映像復号器であり，上記第２映像処理装置は上記映像符号化器である。

例示実施例によれば，上記メッセージは，ＲＴＰ制御プロトコル（ＲＴＣＰ，ＩＥＴＦＲＦＣ３５５０参照）と，ＩＴＵ−ＴＲｅｃ．Ｈ．２２５と，ＩＴＵ−ＴＲｅｃ．Ｈ．２４５と，からなるグループのうち少なくとも１つを用いて送信される。

例示実施例によれば，上記メッセージは，例えばチェックサムである上記標示と該標示の発生時点とを関係付ける同期情報も有する。

本発明の別の態様によれば，プロセッサに，
第１映像処理装置において上記第１映像処理装置の第１状態の１又は複数の特性の第１標示を発生させるステップと，
上記標示を有するメッセージを第２映像処理装置に送信するステップと，
を実行するように指示するコードセクションを記憶させた計算機可読媒体が提供される。

例示実施例においては，上記計算機可読媒体は，プロセッサに更に，
第２映像処理装置において上記第２映像処理装置の第２状態の上記特性の第２標示を発生させるステップと，
上記第１映像処理装置の上記第１状態と，上記第２映像処理装置の上記第２状態と，が一致するかどうかを，上記第１標示と上記第２標示とを比較して検証するステップと，
を実行するように指示するコードセクションを更に記憶している。

本発明のまた別の態様によれば，第１映像処理装置の状態と第２映像処理装置の状態との一致を検証するシステムが提供され，上記第１映像処理装置及び上記第２映像処理装置のうち１つは予測映像符号化を用いる映像符号化器であり，上記第１映像処理装置及び上記第２映像処理装置のうち残りの１つは，上記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である。このシステムにおいて，上記第１映像処理装置は
上記第１映像処理装置の第１状態の１又は複数の特性の第１標示を発生するコンポーネントと，
上記標示を有するメッセージを上記第２映像処理装置に送信するコンポーネントと，
を備え，
上記第２映像処理装置は
上記第２映像処理装置の第２状態の第２標示を発生するコンポーネントと，
上記第１映像処理装置の上記第１状態と，上記第２映像処理装置の上記第２状態と，が一致するかどうかを，上記第１標示と上記第２標示とを比較して検証するコンポーネントと，
を備える。

例示実施例において，上記第２映像処理装置は，
上記各状態が一致しなかったときエラー処理手続を実行するコンポーネント
を更に備える。

本願に添付の図面は，本発明の原理を示すための例示として提供するものに過ぎない。

本発明の方法の実施例のステップのフロー図である。本発明のシステムの実施例を示す図である。

本発明によるメッセージと先行技術のフィードバックメッセージとの主な差異は，次に掲げる２つの面にある。
ａ）従来のフィードバックメッセージは破損又は非破損を暗示するが，本発明によるメッセージは「中立」であり，
ｂ）先行技術のメッセージを発生させるために，メッセージ送信器は常にエラー検出を実行しなければならないが，本発明においてはメッセージ受信器がエラー検出を処理する。

以降の詳細な説明においては，ＩＴＵ−ＴＲｅｃ．Ｈ．２６４映像符号化標準に関して用いられる用語を用いる。しかし，予測符号化の形態を用いるほかの標準及び非標準の映像圧縮アルゴリズムを用いても本発明が均等に動作することは，当技術の当業者には明白であろう。したがって本発明は，Ｈ．２６４の利用に限定されない。

図１に例示実施例のフロー図を示す。開始後ステップ１０２において，後で言及する種々のアルゴリズムの１つによって，第１映像処理装置は第１映像処理装置の状態のチェックサムを計算する。この場合に有用ないくつかの特性があり得るが，これについても後で言及する。

ステップ１０４において，第１映像処理装置は計算したチェックサムを有するメッセージを第２映像処理装置へ送信する。そこでステップ１０６において第２映像処理装置は，このメッセージを無視する，すなわちエラー検査を行わないことを望むかどうかを決定することができる。そうであるときは，処理を再度始めから開始する。

上記メッセージをエラー検査に用いることを決定したときは，第２映像処理装置は，第１映像処理装置と同一の特性についてチェックサムを計算する（ステップ１０８）。双方の映像処理装置が確実に同一の標準又はアルゴリズムを用いてこのチェックサムを計算する必要がある。

ステップ１１０において２つのチェックサムが一致するかどうかを判定する。一致する場合は更なる動作は必要なく（ステップ１１２），処理を再度始めから開始する。

しかしチェックサムが一致しないときは，ステップ１１４で適切なエラー処理手続を実行することができる。第１映像処理装置が映像符号化器であるとき（チェックサム情報の順方向送信），例えば先行技術のフードバックメッセージは，参照ピクチャ再送信要求又はその類似物を送信できる。第１映像処理装置が映像復号器であるとき（チェックサム情報の逆方向送信），チェックサムの受信器としての映像符号化器は，例えばある破損していることが既知の参照ピクチャを用いないことによって，上記復号器内で破損していることが既知の状態情報を用いないようにすることができる。

ここで本発明を利用する２つの例示使用例を提示する。

使用例１：映像送信器は，映像受信器におけるエラー検出を可能にしたい。映像送信器はその状態情報のチェックサムを特定の時刻に生成し，その状態情報をＨ．２６４ＳＥＩメッセージとして受信器に送信する。受信器はこのメッセージに反応してその状態の同一のチェックサムを計算し，この２つのチェックサムが一致しないときは適切な手続を実行する（これは例えば，参照ピクチャ選択要求，フルイントラ要求，又はその類似物のような先行技術フィードバックメッセージを送信することを意味する。先行技術フィードバックメッセージについては，例えばＩＴＵ−ＴＲｅｃ．Ｈ．２４５を参照されたい）。

利用例２：映像復号器は，自己先導でその状態整合性を検査したい（例えば，破損が生じた可能性があると考えるが確かな知識がないため）。映像復号器は検査したいその状態の一部のチェックサムを発生して，このチェックサムをタイミング情報と共に映像符号化器に送信する。映像符号化器は復号器の状態が正確かどうかを検査する。正確であるときは何の動作も必要ない。正確でないときは，映像符号化器はどのデータ構造に問題が存在するかを知り，それによって反応することができる。

可能な反応は次のとおりである。
・将来のピクチャを符号化処理する際に，（チェックサムの受信後）復号器において破損していることが既知の参照ピクチャを参照しない。
・破損していることが既知のパラメータ集合を送信，及び／又は将来のピクチャの符号化処理において，破損していることが既知のパラメータ集合を参照しない。
・状態の大部分が破損しているとき（最悪の場合），全パラメータ集合及び即時復号器リフレッシュ（ＩＤＲ）ピクチャを送信して，復号器における完全な状態情報を再設定する。

始めに，符号化器から復号器へのメッセージがどのように復号器内のエラー処理を可能にするかを説明する（「利用例１」）。

本明細書のこの部分では，単純にするために，固定パラメータ集合及び１つだけの参照ピクチャを想定する。この場合，ビットストリームのエラーによって破損したかも知れないＨ．２６４復号器の状態のほとんどは，参照ピクチャにある。

１つの参照ピクチャに関係しないコーデック状態の部分は，後で説明する。

本発明のこの態様によれば，符号化器は最初に参照ピクチャのＹＵＶ（色空間）データのチェックサムを計算する。同一の結果に帰着するように符号化器及び復号器双方が均等な演算を実装する必要があるので，この計算の正確なアルゴリズムを標準化する必要がある。チェックサムを実装する簡単な方法は，１６ビットＣＲＣを用い，このＣＲＣをＹＵＶ色平面各サンプルの操作順の８個の最小有効ビットについて，それぞれ計算することを必須とすることである。

しかし，多くのほかの計算形態もまた可能である。ＳＨＡ１，ＭＤ５，又はほかのよく用いられる整合性検査法のようなより高度なチェックサムを用いてもよい。またサンプル順を修正することもできる。上述のとおり，肝心なことは符号化器及び復号器双方が，共通の理解を有し，チェックサム計算を均等に実装することである。

チェックサムが計算されると，（例えばバイナリ，Ｂａｓｅ１６，Ｂａｓｅ６４，などの）適切な表現に変換されて，例えばＳＥＩメッセージの形態でビットストリームに置かれる。あるいは適切なプロトコルを用いてメッセージを帯域外，すなわちビットストリーム外，で送信することもできる。適切なプロトコルの一例は，ＲＴＣＰ送信器報告（ＩＥＴＦ３５５０参照）である。この場合，メッセージと映像ビットストリームを同期させる手段が必要である。ＳＥＩメッセージを用いるときは，同期は暗黙に行われる。

その後符号化器はピクチャを符号化して送信する。（ＳＥＩメッセージ又は帯域外手段によって）復号器がチェックサム及び符号化ピクチャを受信すると，例えば能力不足（cycle-starving）であるとき，チェックサムを無視することを選択できる。しかし自己の参照ピクチャバッファから計算したチェックサムに対して受信したチェックサムを検査することもできる。２つのチェックサムが一致するとき復号器は，参照ピクチャの復号開始時点で当該ピクチャが破損していないことを確実に知る。

しかしチェックサム検査が失敗したときは，それに反応して参照ピクチャ破損を標示する先行技術フィードバックメッセージ（例えばフルイントラ要求メッセージ）を符号化器に送信し，ビットストリームを全く復号しなくてもよい。この機構には多くの利点がある。すなわち，新規ピクチャのビットストリームをまだ受信中のときに整合性検査を行うこともでき，先行技術フィードバックメッセージを早期に送信することになる。上述のとおりいくつかの環境においては，ビットストリーム及び／又は転送環境からは破損が全く検出されず，これは本発明についても起こり得る。

帯域内ＳＥＩメッセージ（又は均等な帯域外メッセージ）は，符号化器が望むだけ頻繁に送信してもよく，それによってエラー検出能力と帯域幅オーバヘッドとのトレードオフを調整することができる。

次に符号化器から復号器へのメッセージがどのように復号器の状態に反応して符号化器の適切な反応を可能にするかを説明する（「利用例２」）。

ここでも単純にするため，パラメータ集合が固定され，１つだけの参照ピクチャが用いられる。

本発明のこの態様によれば，復号器は上述のとおり参照ピクチャのデータのチェックサムを計算する。この計算をどれだけ頻繁に実行するかは復号器にまかされ，例えばピクチャ復号の都度，固定間隔，外部プロトコルの要求によって決定される可変間隔（例えばＲＴＣＰ受信器報告間隔，ＩＥＴＦＲＦＣ３５５０の説明を参照），などである。チェックサムが計算されると，復号器は適切なプロトコルを用いてそれを符号化器へ送信する。このようなプロトコルの一例は，ＲＴＣＰ受信器報告である（ＩＥＴＦＲＦＣ３５５０参照）。これらプロトコルのいくつかは，本質的に映像送信器との同期を支援することができる（例えば，タイムスタンプ形態のＲＴＣＰ）。ほかの環境においては，メッセージはチェックサムが発生されたピクチャの発生時点の識別情報を含む必要がある。

符号化器はこのメッセージを受信したとき，それを無視することを選択してもよい。しかし，受信したチェックサムを用いて，自己の局所参照ピクチャの整合性を検査するようにしてもよい。この処理は，ピクチャ（及び戻りチャネル）の送信における往復遅延時間中に送信した全ピクチャのチェックサムを符号化器が計算する必要がある。

復号器において参照ピクチャが破損していないことを符号化器が識別したときは，符号化器は通常の動作を続けることができ，その動作は通常，符号化及び予測符号化したピクチャだけを送信することからなる。復号器の参照ピクチャが破損していることを符号化器が識別したときは，これによって反応，すなわちイントラ符号化ピクチャを送信することもできる。

ほかの状態の特性は，使用するコーデック技術に大いに依存する。ここでもＨ．２６４を例として用いると，少なくとも次の状態情報カテゴリが特定される。
パラメータ集合，及び
（複数の）参照ピクチャサンプル値

これらすべてを簡単に説明する。

Ｈ．２６４はそのパラメータ集合思想によって，１を超えるスライスに属するデータを，スライス，マクロブロック又はブロックのデータと分離することを導入している。Ｈ．２６４では，スライス復号を開始するとき「活性」シーケンス及びピクチャパラメータが利用可能であることが必要であるが，パラメータ集合の整合性検査を行う機構は含まない。したがって，エラーの多い条件下では，整合性検査を支援する追加機構が有用である。

２種類のパラメータ集合が存在する。すなわち，ピクチャパラメータ集合（ＰＰＳ）及びシーケンスパラメータ集合（ＳＰＳ）である。双方とも番号付き位置に記憶される。各スライスのスライスヘッダは活性ＰＰＳを参照するインデクス情報を含み，各ＰＰＳは関連するＳＰＳについてのインデクス情報を含む。ＰＰＳは，ある条件下で数ＫＢまで大きくなることがある。本発明によれば，複雑度スケーラビリティを考慮するため，次に掲げる項目についてチェックサムを発生させることができる。
・活性ＰＰＳ（Ｈ．２６４（２００５年版）は１つの活性ＰＰＳだけを許可するが，Ｈ．２６４の将来拡張版では１を超えて許可される）
・活性ＳＰＳ（Ｈ．２６４（２００５年版）は１つの活性ＳＰＳだけを許可するが，Ｈ．２６４の将来拡張版では１を超えて許可される）
・活性ＰＰＳ及び活性ＳＰＳ（これによって現在のピクチャの復号に関する全パラメータ集合が含まれる。恐らく最も普通の利用例である。）
・インデクスｘを有するＰＰＳ
・インデクスｘを有するＳＰＳ
・インデクスｘを有するＰＰＳ及びインデクスｘを有するＰＰＳにおいて参照されるＳＰＳ
・全ＰＰＳ
・全ＳＰＳ
・全ＰＰＳ及び全ＳＰＳ

２００５年版Ｈ．２６４は，パラメータ集合の初期化情報を含まない。換言すれば，パラメータ集合内の個々のパラメータ値は，最初に送信されるまで未定である。パラメータ集合用のチェックサム計算アルゴリズムは，この特性を考慮に入れて設計する必要がある。１つの可能な解決策は，初期化されていないパラメータ集合内の全パラメータを値０と暗示することである。ほかの解決策も可能であり当技術の当業者には明白である。この暗示の詳細な設計は，符号化器及び復号器が同一の設計を用いる限り本発明とは無関係である。

Ｈ．２６４だけでなく，附属書Ｎ又はＵを適用したＨ．２６３のようないくつかの古い映像符号化標準又はＭＰＥＧ−４Ｐａｒｔ２（ＩＳＯ／ＩＥＣ１４４９６−２参照）において"Advanced Real-Time Simple Profile"（ＡＲＴＳプロファイル）が適用されたときは，１を超える参照ピクチャを用いてもよい。現用の参照ピクチャは，３次元動きベクトルの「時間」成分と呼ぶことができるものによって標示される。標準によれば，このベクトル成分はピクチャ，スライス又はマクロブロックの構文層の一部であってよい。Ｈ．２６４は，２つの参照ピクチャからの双方向予測も許可している。

複数の参照ピクチャが許可されたとき，これらの参照ピクチャの全部又は副集合の整合性検査が有用であることは明白である。最も普通の場合についてここで明示的に言及するが，当業者であればほかの場合もあるアプリケーションには均等に有効であることに気付くであろう。

本発明によれば，次の場合が主に有用であると考えられる。
・復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャ。（Ｈ．２６４のメモリ管理制御操作（ＭＭＣＯ）コマンドによって移動されていない限り）これはほとんどの場合，破損が最も起きやすい復号されたピクチャである。
・予測に用いたＤＰＢ内の全参照ピクチャ。本発明の方法の符号化器から復号器方向について主に有用である。チェックサムは，符号化されるピクチャの予測に用いた全参照ピクチャについて計算される。
・ＤＰＢ内の全参照ピクチャ。

２００５年版Ｈ．２６４は，ＹＵＶ４：２：０以外の色空間にも対応する。ＹＵＶ４：２：０色空間用のチェックサムを発生させる１つの可能な機構は，既に上記で紹介した。当業者であれば，ほかの色空間用のチェックサムアルゴリズムも同様に設計できる。これらチェックサムアルゴリズムの設計は，符号化器及び復号器が同一の設計を用いる限り，原理的には本発明と無関係である。

図２は，本発明のシステムの実施例を示す図である。第１映像処理装置２は，該第１映像処理装置の第１状態の１又は複数の特性の第１表示を発生させるコンポーネント４と，上記標示を有するメッセージ１４を第２映像処理装置１２へ送信するコンポーネント６と，を備える。第２映像処理装置１２は，該第２映像処理装置の第２状態の上記特性の第２標示を発生させるコンポーネント８と，上記第１映像処理装置の上記第１状態と，上記第２映像処理装置の上記第２状態と，が一致するかどうかを上記第１標示と上記第２標示とを比較して検証するコンポーネント１０と，を備える。

更なる実施例においては，各状態が一致しないときにエラー処理手続を実行する追加コンポーネントが提供される。

Claims

第１映像処理装置の状態と第２映像処理装置の状態との一致を検証する方法であって、前記第１映像処理装置において、前記第２映像処理装置の第１状態の１又は複数の特性の第１標示を含むメッセージを受信するステップと、
前記第１映像処理装置において、前記第２映像処理装置の第２状態の１又は複数の特性の第２標示を発生するステップであって、前記第２映像処理装置の前記第２状態の前記特性は、前記第１映像処理装置の前記第１状態の前記特性に対応するものである、ステップと、
前記第１映像処理装置において、前記第１状態と前記第２状態とが一致するかどうかを、前記第１標示と前記第２標示とを比較して検証するステップと、を含む方法であり、
前記第１映像処理装置は映像符号化器であり、
前記第２映像処理装置は、前記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である、方法。
前記第１状態と前記第２状態とが一致しなかったとき、エラー処理手続を実行するステップを更に含む請求項１に記載の方法。
各標示はチェックサムを有し、
前記第２標示を生成するステップは、前記チェックサムを計算するステップを含む、請求項１に記載の方法。
前記チェックサムは、バイナリコピーと、排他的ＯＲ（ＸＯＲ）と、巡回冗長検査（ＣＲＣ）と、セキュアハッシュアルゴリズム（ＳＨＡ１）と、メッセージダイジェスト５（ＭＤ５）と、からなるグループのうち少なくとも１つを用いて計算される、請求項３に記載の方法。
前記第１標示は、バイナリと、Ｂａｓｅ１６と、Ｂａｓｅ６４と、抽象構文記法１（ＡＳＮ．１）と、からなるグループのうち少なくとも１つの符号化方法によって、前記第１状態の前記特性を符号化したコピーを有する、請求項１に記載の方法。
前記第１状態の前記特性は、活性ピクチャパラメータ集合（ＰＰＳ）と、
活性シーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）と、
インデクスｘを有するシーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）及び参照シーケンスパラメータ集合（ＳＰＳ）と、
全ピクチャパラメータ集合（ＰＰＳ）と、
全シーケンスパラメータ集合（ＳＰＳ）と、
復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと、
予測に用いた復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、からなるグループのうち少なくとも１つを含む、請求項１に記載の方法。
前記メッセージは、前記符号化ビットストリーム内で受信される、請求項１に記載の方法。
前記メッセージは補強情報（ＳＥＩ）メッセージである、請求項７に記載の方法。
前記メッセージは、前記符号化ビットストリームとは別に受信される、請求項１に記載の方法。
前記メッセージは、更に、前記第１標示と該第１標示の発生時点とを関係付ける同期情報を含む、請求項９に記載の方法。
前記第２映像処理装置は予測映像符号化を用いる映像符号化器である、請求項１に記載の方法。
前記メッセージは、ＲＴＰ制御プロトコル（ＲＴＣＰ）と、Ｈ．２２５と、Ｈ．２４５と、からなるグループのうち少なくとも１つを用いて受信される、請求項１１に記載の方法。
第１映像処理装置の状態と第２映像処理装置の状態との一致を検証するコードセクションを含んでいるコンピュータ読取可能媒体であって、
該コードセクションは、実行されるとき、
第１映像処理装置に、前記第２映像処理装置の第１状態の１又は複数の特性の第１標示を含むメッセージを受けるステップと、
前記第２映像処理装置の第２状態の１又は複数の特性の第２標示を生成するステップであって、前記第２映像処理装置の前記第２状態の前記特性は、前記第１映像処理装置の前記第１状態の前記特性に対応するものである、ステップと、
前記第１状態と前記第２状態とが一致するかどうかを、前記第１標示と前記第２標示とを比較して検証するステップであって、前記第１映像処理装置は映像符号化器であり、前記第２映像処理装置は、前記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である、ステップと、を実行させる、コンピュータ読取可能媒体。
前記コードセクションは、更に、第１映像処理装置に、前記第１状態と前記第２状態とが一致しなかったとき、エラー処理手続を実行させる、請求項１３に記載のコンピュータ読取可能媒体。
各標示はチェックサムを有し、
前記第２標示を生成するステップは、前記チェックサムを計算するステップを含む、請求項１３に記載のコンピュータ読取可能媒体。
前記チェックサムは、バイナリコピーと、排他的ＯＲ（ＸＯＲ）と、巡回冗長検査（ＣＲＣ）と、セキュアハッシュアルゴリズム（ＳＨＡ１）と、メッセージダイジェスト５（ＭＤ５）と、からなるグループのうち少なくとも１つを用いて計算される、請求項１５に記載のコンピュータ読取可能媒体。
前記第１標示は、バイナリと、Ｂａｓｅ１６と、Ｂａｓｅ６４と、抽象構文記法１（ＡＳＮ．１）と、からなるグループのうち少なくとも１つの符号化方法によって、前記第１状態の前記特性を符号化したコピーを有する、請求項１３に記載のコンピュータ読取可能媒体。
前記第１状態の前記特性は、活性ピクチャパラメータ集合（ＰＰＳ）と、
活性シーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）と、
インデクスｘを有するシーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）及び参照シーケンスパラメータ集合（ＳＰＳ）と、
全ピクチャパラメータ集合（ＰＰＳ）と、
全シーケンスパラメータ集合（ＳＰＳ）と、
復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと、
予測に用いた復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、からなるグループのうち少なくとも１つを含む、請求項１３に記載のコンピュータ読取可能媒体。
前記コードセクションは、更に、第１映像処理装置に、前記符号化ビットストリーム内で、前記メッセージを受信させる、請求項１３に記載のコンピュータ読取可能媒体。
前記メッセージは補強情報（ＳＥＩ）メッセージとする請求項１９に記載のコンピュータ読取可能媒体。
前記コードセクションは、更に、第１映像処理装置に、前記符号化ビットストリームとは別に、前記メッセージを受信させる、請求項１３に記載のコンピュータ読取可能媒体。
前記メッセージは、更に、前記第１標示と該第１標示の発生時点とを関係付ける同期情報を含む、請求項２１に記載のコンピュータ読取可能媒体。
第１映像処理装置の状態と第２映像処理装置の状態との一致を検証するシステムであって、
前記第１映像処理装置は予測映像符号化を用いる映像符号化器であり、
前記第２映像処理装置は、前記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器であり、
前記第１映像処理装置は、
前記第２映像処理装置の第２状態の１又は複数の特性の第２標示を発生するコンポーネントと、
前記第２標示を、前記第２映像処理装置の第１状態の１又は複数の特性の第１標示と、比較するコンポーネントであって、前記第１状態と前記第２状態とが一致するかどうかを検証するために比較するものであり、前記第２映像処理装置の前記第２状態の前記特性は、前記第１映像処理装置の前記第１状態の前記特性に対応するものである、コンポーネントと、を備える、システム。
前記第１映像処理装置は、更に、前記第１状態と前記第２状態とが一致しなかったとき、エラー処理手続を実行するコンポーネントを備える、請求項２３に記載のシステム。
第１映像処理装置の状態と第２映像処理装置の状態との一致を検証する方法であって、前記第２映像処理装置において、前記第１映像処理装置の第１状態の１又は複数の特性の第１標示と、前記第１標示が生成される画像の発生時点を同定する情報とを含むメッセージを受信するステップと、
前記第１映像処理装置において、前記第２映像処理装置の第２状態の１又は複数の特性の第２標示を発生するステップであって、前記第２映像処理装置の前記第２状態の前記特性は、前記第１映像処理装置の前記第１状態の前記特性に対応するものである、ステップと、
前記第１映像処理装置において、前記第１状態と前記第２状態とが一致するかどうかを、前記第１標示と前記第２標示とを比較して検証するステップと、を含む方法であり、
前記第２映像処理装置は映像符号化器であり、
前記第１映像処理装置は、前記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である、方法。
前記第１状態と前記第２状態とが一致しなかったとき、エラー処理手続を実行するステップ、を更に含む請求項２５に記載の方法。
各標示はチェックサムを有し、
前記第２標示を生成するステップは、少なくとも1つの基準フレームに基づいて前記チェックサムを計算するステップを含む、請求項２５に記載の方法。
バイナリコピーと、排他的ＯＲ（ＸＯＲ）と、巡回冗長検査（ＣＲＣ）と、セキュアハッシュアルゴリズム（ＳＨＡ１）と、メッセージダイジェスト５（ＭＤ５）と、からなるグループのうち少なくとも１つを用いて計算される、請求項２７に記載の方法。
前記第１標示は、バイナリと、Ｂａｓｅ１６と、Ｂａｓｅ６４と、抽象構文記法１（ＡＳＮ．１）と、からなるグループのうち少なくとも１つの符号化方法によって、前記第１状態の前記特性を符号化したコピーを有する、請求項２５に記載の方法。
前記第１状態の前記特性は、活性ピクチャパラメータ集合（ＰＰＳ）と、
活性シーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）と、
インデクスｘを有するシーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）及び参照シーケンスパラメータ集合（ＳＰＳ）と、
全ピクチャパラメータ集合（ＰＰＳ）と、
全シーケンスパラメータ集合（ＳＰＳ）と、
復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと、
予測に用いた復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、からなるグループのうち少なくとも１つを含む、請求項２５に記載の方法。
複数の基準フレームが許容されるとき、
前記チェックサムは、復号ピクチャバッファ（ＤＰＢ）内の最近の参照ピクチャと、
予測に用いた前記復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
前記復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、の内の１つを用いて計算される、請求項２７に記載の方法。
前記メッセージは、ＲＴＰ制御プロトコル（ＲＴＣＰ）と、Ｈ．２２５と、Ｈ．２４５と、からなるグループのうち少なくとも１つを用いて受信される、請求項２５に記載の方法。
エラー処理手続を実行するステップが、将来の画像の符号化プロセスの間に、前記映像復号器において、破損していることが知られている参照ピクチャを参照するのを控えることを含む、請求項２６に記載の方法。
エラー処理手続を実行するステップが、破損していることが知られているパラメータ・セットを送信することと、
将来の画像の符号化プロセスにおいて、破損が既知のパラメータ・セットを参照するのを控えることと、の少なくとも１つを含む、請求項２６に記載の方法。
エラー処理手続を実行するステップが、前記第２状態の大部分が破損しているとき、
すべてのパラメータ・セットと独立復号器リフレッシュ・ポイント（ＩＤＲ）画像を送信することにより、完全な状態情報を再構築することを含む、請求項２６に記載の方法。
前記第２映像処理装置は予測映像符号化を用いる映像符号化器である、請求項２５に記載の方法。
第１映像処理装置の状態と第２映像処理装置の状態との一致を検証するコードセクションを含んでいるコンピュータ読取可能媒体であって、該コードセクションは、実行されるとき、前記第２映像処理装置に、
前記第１映像処理装置において、前記第１映像処理装置の第１状態の１又は複数の特性の第１標示と、前記第１標示が生成される画像の発生時点を同定する情報とを含むメッセージを受信するステップと、
前記第２映像処理装置において、前記第２映像処理装置の第２状態の１又は複数の特性の第２標示を発生するステップであって、前記第２映像処理装置の前記第２状態の前記特性は、前記第１映像処理装置の前記第１状態の前記特性に対応するものである、ステップと、
前記第１映像処理装置において、前記第１状態と前記第２状態とが一致するかどうかを、前記第１標示と前記第２標示とを比較して検証するステップと、を実行させ、
前記第２映像処理装置は映像符号化器であり、
前記第１映像処理装置は、前記映像符号化器が発生した符号化ビットストリームから復号映像シーケンスを再生することができる映像復号器である、コンピュータ読取可能媒体。
前記コードセクションは、更に、前記第２映像処理装置に、前記第１状態と前記第２状態とが一致しなかったとき、エラー処理手続を実行させる、請求項３７に記載のコンピュータ読取可能媒体。
各標示はチェックサムを有し、
前記コードセクションは、更に、前記第２映像処理装置に、少なくとも1つの基準フレームに基づいて前記チェックサムを計算することによって、前記第２標示を生成させる、請求項３７に記載のコンピュータ読取可能媒体。
前記コードセクションは、更に、前記第２映像処理装置に、バイナリコピーと、排他的ＯＲ（ＸＯＲ）と、巡回冗長検査（ＣＲＣ）と、セキュアハッシュアルゴリズム（ＳＨＡ１）と、メッセージダイジェスト５（ＭＤ５）と、からなるグループのうち少なくとも１つを用いて、前記チェックサムを計算させる、請求項３９に記載のコンピュータ読取可能媒体。
前記第１標示は、バイナリと、Ｂａｓｅ１６と、Ｂａｓｅ６４と、抽象構文記法１（ＡＳＮ．１）と、からなるグループのうち少なくとも１つの符号化方法によって、前記第１状態の前記特性を符号化したコピーを有する、請求項３７に記載のコンピュータ読取可能媒体。
前記第１状態の前記特性は、活性ピクチャパラメータ集合（ＰＰＳ）と、
活性シーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）と、
インデクスｘを有するシーケンスパラメータ集合（ＳＰＳ）と、
インデクスｘを有するピクチャパラメータ集合（ＰＰＳ）及び参照シーケンスパラメータ集合（ＳＰＳ）と、
全ピクチャパラメータ集合（ＰＰＳ）と、
全シーケンスパラメータ集合（ＳＰＳ）と、
復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと、
予測に用いた復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、からなるグループのうち少なくとも１つを含む、請求項３７に記載のコンピュータ読取可能媒体。
複数の基準フレームが許容されるとき、
前記チェックサムは、復号ピクチャバッファ（ＤＰＢ）内の直近の参照ピクチャと、
予測に用いた前記復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、
前記復号ピクチャバッファ（ＤＰＢ）内の全参照ピクチャと、の内の１つを用いて計算される、請求項３９に記載のコンピュータ読取可能媒体。
前記コードセクションは、更に、前記第２映像処理装置に、ＲＴＰ制御プロトコル（ＲＴＣＰ）と、Ｈ．２２５と、Ｈ．２４５と、からなるグループのうち少なくとも１つを用いて、前記メッセージを受信させる、請求項３７に記載のコンピュータ読取可能媒体。
エラー処理手続を実行するステップが、将来の画像の符号化プロセスの間に、前記映像復号器において、破損していることが知られている参照ピクチャを参照するのを控えることを含む、請求項３８に記載のコンピュータ読取可能媒体。
エラー処理手続を実行するステップが、破損していることが知られているパラメータ・セットを送信することと、将来の画像の符号化プロセスにおいて、破損が既知のパラメータ・セットを参照するのを控えることと、の少なくとも１つを含む、請求項３８に記載のコンピュータ読取可能媒体。
エラー処理手続を実行するステップが、前記第２状態の大部分が破損しているとき、すべてのパラメータ・セットと独立復号器リフレッシュ・ポイント（ＩＤＲ）画像を送信することにより、完全な状態情報を再構築することを含む、請求項３８に記載のコンピュータ読取可能媒体。