JP2004519973A - ビデオ中の歪を決定する方法及びビデオ中の歪を決定するシステム - Google Patents

Abstract

【解決手段】方法は、符号化フレーム中の空間的歪を測定することによって、また、未符号化フレーム中の時間的歪および空間的歪を測定することによってビデオ中の歪を決定する。
【効果】符号化フレームの空間的歪を未符号化フレームの時間的歪および空間的歪と組み合わせて、ビデオ中の全平均歪を決定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、ビデオ符号化に関し、より詳細には、ビデオの歪特性の決定することに関するものである。
【０００２】
【従来の技術】
多数のビデオ符号化規格、たとえばＨ．２６３やＭＰＥＧ−４が、可変フレームスキップ（ｖａｒｉａｂｌｅ ｆｒａｍｅｓｋｉｐ）をサポートする。可変フレームスキップを用いることにより、符号化中に入力ビデオの任意数のフレームをスキップすることができる。すなわち、当該フレームは未符号化のままとなる。これらのビデオ符号化規格では、エンコーダは、バッファ制約を満たすように、あるいはビデオ符号化プロセスを最適化するように、ビデオのフレームをスキップすることを選択することができる。しかしながら、ほとんどのエンコーダは、バッファ制約を満たすためにフレームをスキップするだけである。この場合、帯域幅の制限によりバッファがいっぱいになると、コーダはフレームをスキップせざるを得ない。結果的に、追加フレームをバッファに追加することは不可能となり、バッファが空にされる（ｄｒａｉｎｅｄ）まで当該フレームは未符号化のままとなる。このタイプのフレームスキップは、ビデオの内容を考慮しないため、ビデオの品質を低下させる。
【０００３】
【発明が解決しようとする課題】
ビデオの最適な符号化方法を提供することが課題である。具体的には、特定のビデオは、より多くのフレームがより低い空間的品質を有する、すなわち、ほんのわずかのフレームがより高い空間的品質を有する状態で符号化され得る。この空間的品質と時間的品質との間のトレードオフは、単純な二分決定ではなく、有限組の符号化パラメータの決定である。明らかに、最良組の符号化パラメータは、最適なレート・歪（Ｒ−Ｄ）曲線を生じることになる。関係する２つのパラメータは、１秒あたりのフレーム数（ｆｐｓ）および量子化パラメータ（ＱＰ）である。既知の従来技術では、全歪は、符号化フレームについてのみ測定され、オリジナルビデオおよび圧縮ビデオの画素間の平均２乗誤差（ＭＳＥ）として表される。
【０００４】
従来技術の最適化された符号化方法は、レート・歪の時間的側面を考慮しない（Ｈ． Ｓｕｎ， Ｗ． Ｋｗｏｋ， Ｍ． Ｃｈｉｅｎ， ａｎｄ Ｃ．Ｈ． Ｊｏｈｎ Ｊｕ「ＭＰＥＧ ｃｏｄｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ｉｍｐｒｏｖｅｍｅｎｔ ｂｙ ｊｏｉｎｔｌｙ ｏｐｔｉｍｉｚｉｎｇ ｃｏｄｉｎｇ ｍｏｄｅ ｄｅｃｉｓｉｏｎ ａｎｄ ｒａｔｅ ｃｏｎｔｒｏｌ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ｊｕｎｅ １９９７）、Ｔ． Ｗｅｉｇａｎｄ， Ｍ． Ｌｉｇｈｔｓｔｏｎｅ， Ｄ． Ｍｕｋｈｅｒｊｅｅ， Ｔ．Ｇ． Ｃａｍｐｂｅｌｌ， Ｓ．Ｋ． Ｍｉｔｒａ「Ｒ−Ｄ ｏｐｔｉｍｉｚｅｄ ｍｏｄｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ−ｔｈｉｓ ｒａｔｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ａｎｄ ｔｈｅ ｅｍｅｒｇｉｎｇ Ｈ．２６３ ｓｔａｎｄａｒｄ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ａｐｒ． １９９６）、およびＪ． Ｌｅｅ ａｎｄ Ｂ．Ｗ． Ｄｉｃｋｅｎｓｏｎ「Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ ｆｒａｍｅ ｔｙｐｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＭＰＥＧ ｅｎｃｏｄｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ｊｕｎｅ １９９７）を参照）。一般に、フレームレートは固定であると考えられる。
【０００５】
上記方法は、量子化パラメータの最適化（Ｈ． Ｓｕｎ， Ｗ． Ｋｗｏｋ， Ｍ． Ｃｈｉｅｎ， ａｎｄ Ｃ．Ｈ． Ｊｏｈｎ Ｊｕ「ＭＰＥＧ ｃｏｄｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ｉｍｐｒｏｖｅｍｅｎｔ ｂｙ ｊｏｉｎｔｌｙ ｏｐｔｉｍｉｚｉｎｇ ｃｏｄｉｎｇ ｍｏｄｅ ｄｅｃｉｓｉｏｎ ａｎｄ ｒａｔｅ ｃｏｎｔｒｏｌ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ｊｕｎｅ １９９７））、動きおよびブロック符号化のモード決定（Ｔ． Ｗｅｉｇａｎｄ， Ｍ． Ｌｉｇｈｔｓｔｏｎｅ， Ｄ． Ｍｕｋｈｅｒｊｅｅ， Ｔ．Ｇ． Ｃａｍｐｂｅｌｌ， Ｓ．Ｋ． Ｍｉｔｒａ「Ｒ−Ｄ ｏｐｔｉｍｉｚｅｄ ｍｏｄｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ−ｔｈｉｓ ｒａｔｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ａｎｄ ｔｈｅ ｅｍｅｒｇｉｎｇ Ｈ．２６３ ｓｔａｎｄａｒｄ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ａｐｒ． １９９６））、およびフレームタイプ選択（Ｊ． Ｌｅｅ ａｎｄ Ｂ．Ｗ． Ｄｉｃｋｅｎｓｏｎ「Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚｅｄ ｆｒａｍｅ ｔｙｐｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＭＰＥＧ ｅｎｃｏｄｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓ． Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ． Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．， Ｊｕｎｅ １９９７））を考慮する。このような方法は、フレームレートが固定である場合に最適な符号化を達成することができ、ビットレートはその所与のフレームレートのものであり得る。しかしながら、これらの方法は、変動フレームレートには最適でない。
【０００６】
符号化中の空間的品質と時間的品質との間のトレードオフは、Ｆ．Ｃ． Ｍａｒｔｉｎｓ， Ｗ． Ｄｉｎｇ， ａｎｄ Ｅ． Ｆｅｉｇによって「Ｊｏｉｎｔ ｃｏｎｔｒｏｌ ｏｆ ｓｐａｔｉａｌ ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ ｔｅｍｐｏｒａｌ ｓａｍｐｌｉｎｇ ｆｏｒ ｖｅｒｙ ｌｏｗ ｂｉｔ ｒａｔｅ ｖｉｄｅｏ」（Ｐｒｏｃ． ＩＣＡＳＳＰ， Ｍａｙ １９９６）に記載されていることに留意されたい。しかしながら同著者の方法において、トレードオフは、ユーザが選択可能なパラメータを用いて達成された。
【０００７】
したがって、ビデオ中の歪を決定する、より優れた方法を提供することが望ましい。
【０００８】
【課題を解決するための手段】
本発明は、可変フレームスキップ処理を施したビデオ中の歪を決定する方法を提供する。入力ビデオが未圧縮で符号化される場合、歪は出力圧縮ビデオ中の歪の推定値である。一方で、入力ビデオが圧縮されている場合、歪は圧縮ビデオ中の歪の実測値である。
【０００９】
符号化フレーム（候補または実際）の歪はレート・歪モデルによって与えられ、未符号化フレーム（候補または実際）の歪はビデオ中のオプティカルフローに基づき得る。本発明による方法は、シーンの複雑度が様々である様々なビデオについて正確な歪値を生成する。入力ビデオが符号化されていない場合、本方法は、ビデオコーダにおける空間的品質と時間的品質との間のトレードオフを最適化するために用いられ得る。圧縮ビデオについては、本発明は、オリジナルビデオにアクセスすることなく相対的品質を比較するためにも用いられ得る。
【００１０】
より具体的には、本発明は、符号化フレーム中の空間的歪を測定することによって、また、未符号化フレーム中の時間的歪および空間的歪を測定することによってビデオ中の歪を決定する方法を提供する。符号化フレームの空間的歪を未符号化フレームの時間的歪および空間的歪と組み合わせて、ビデオ中の全平均歪を決定する。
【００１１】
【発明の実施の形態】
序文
【００１２】
全平均歪（ｔｏｔａｌ ａｖｅｒａｇｅ ｄｉｓｔｏｒｔｉｏｎ）の決定
【００１３】
図１に示すように、本発明は、可変フレームスキップ処理を施したビデオ１０１中の全平均歪１０９を決定する方法１００を提供する。入力ビデオ１０１が未圧縮で符号化される場合、フレームは候補の符号化フレーム１１２または未符号化フレーム１２２であり、全歪１０９は出力圧縮ビデオ中の歪の推定値である。一方で、入力ビデオ１０１が圧縮されている場合、フレームは実際の符号化フレーム１１２または未符号化フレーム１２２であり、全歪１０９は圧縮ビデオ中の歪の実測値である。
【００１４】
ビデオが未圧縮である一実施形態では、どのフレームが符号化されて（１１２）、どのフレームがスキップされる（１２２）のかをスプリッタ１０５が決定する。この決定は、測定した平均全歪１０９に基づく。
【００１５】
符号化フレーム１１２の空間的歪を（−）Ｄ_ｃ（Ｑ）１１１で、未符号化フレーム１２２の時間的および空間的歪を（−）Ｄ_ｓ（Ｑ，ｆ_ｓ）１２１で示す（ここで、Ｑは符号化に用いる量子化パラメータ（ＱＰ）を、ｆ_ｓは未符号化フレーム数に関連するフレームスキップ係数（ｆｒａｍｅｓｋｉｐ ｆａｃｔｏｒ）を表す）。なお、（−）Ｄの（−）は、Ｄにオーバーラインが付いていることを表す。
【００１６】
空間的歪１１１は量子化器、すなわち空間的測定器に依存し、一方で時間的歪１２１は量子化器および未符号化フレーム数の両方に依存する。
【００１７】
未符号化フレームの歪は符号化フレームの歪に直接は影響しないが、２つの点で間接的に影響する。第１に、未符号化フレーム数は残留統計成分（ｒｅｓｉｄｕａｌ ｓｔａｔｉｓｔｉｃａｌ ｃｏｍｐｏｎｅｎｔ）に影響し、第２に、選択される量子化器に影響する。
【００１８】
未符号化フレーム１２２の歪１１１は、符号化フレーム１１２における量子化ステップ幅に直接依存することに留意することが重要である。この理由は、未符号化フレーム１２２が、符号化フレーム１１２から補間されることから、時間的歪に加えて同一の空間的品質を持つためである。
【００１９】
上記を仮定すると、特定の時間間隔（ｔ_ｉ，ｔ_ｉ＋ｆｓ）の平均歪は次式により決定される。
【００２０】
【数３】

【００２１】
式１において、特定の時間間隔の歪は、ｔ＝ｔ_ｉ＋ｆｓにおける１個の符号化フレームの空間的歪と、ｆ_ｓ−１個の未符号化フレームの時間的歪とによるものである。時間的歪は、前に符号化されたｔ＝ｔ_ｉにおけるフレームの量子化器に依存する。
【００２２】
空間的歪
【００２３】
量子化誤差の分散は次式で与えられることが周知である。
【００２４】
【数４】

【００２５】
ここで、σ^２ _ｚは入力信号の分散であり、Ｒは１サンプルあたりの平均レートであり、ａは入力信号特性および量子化器特性の確率分布関数（ＰＤＦ）に依存する定数である（Ｊａｙａｎｔ ｅｔ ａｌ．「Ｄｉｇｉｔａｌ Ｃｏｄｉｎｇ ｏｆ Ｗａｖｅｆｏｒｍｓ」（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９８４）を参照）。エントロピー符号化がない場合、ａの値は典型的に１．０から１０までの間で変わる。エントロピー符号化を用いた場合、ａの値は１．０未満であり得る。式２を用いて、空間的歪１１１を次式のように決定する（１１０）。
【００２６】
【数５】

【００２７】
式３は多様な量子化器および信号特性について有効である。このような側面は、ａの値で説明される。しかしながら上述のように、未符号化フレーム数は、残留統計成分の統計量に影響を与え得る。一般に、１フレームあたりの平均ビット数はｆ_ｓの値が大きくなるほど増加すると断定されてきた。しかしながら、分散は略同一のままである。これは、レートと歪との間の実際の関係に影響を与える残留統計成分における小さな差を分散が反映できないことを示す。これは、高周波係数の存在によって生じる。実のところ、この原因は、高周波係数の存在だけでなく、その位置でもある。可変長符号化テーブル（たとえばハフマン符号化）に一定のランレングスが存在しない場合、それほど効率的でないエスケープ符号化（ｅｓｃａｐｅ ｃｏｄｉｎｇ）技術を用いねばならない。これはおそらく、ｆ_ｓが、σ^２ _ｚｉをほぼ固定したままで、残留統計成分のＰＤＦ（すなわちａの値）に影響することを意味する。
【００２８】
未符号化フレームによる残留統計成分におけるあらゆる変動を無視し、式３によって与えられるモデルを用いて空間的歪１１１を決定する。最後に符号化されたフレームから決定された固定のａおよびσ^２ _ｚｉを用いる。
【００２９】
時間的歪
【００３０】
未符号化フレーム１２２の時間的歪１２１を決定する（１２０）ために、一般性を失うことなく、符号の時間的補間器（ｔｅｍｐｏｒａｌ ｉｎｔｅｒｐｏｌａｔｏｒ）は、最後に符号化されたフレームを単に繰り返すものとする。過去および未来の符号化フレームを平均する、または動きに基づき予測を行う他の補間器を考慮することもできる。
【００３１】
上述のように、未符号化フレームによる歪には２つの要素がある。１つは基準フレーム（最後に符号化されたフレーム）の符号化によるもの、もう１つは補間誤差によるものである。ｔ_ｋにおける歪を次式で表す。
【００３２】
【数６】

【００３３】
ここで、（＾）Ψ_ｋはｔ＝ｔ_ｋにおける推定フレームを示し、（〜）Ψ_ｉは最後に符号化されたｔ_ｉ＜ｔ_ｋにおけるフレームを示し、（＾）Ψ_ｋ＝（〜）Ψ_ｉであり、Δｚ_ｉ，ｋおよびΔｃ_ｉは、フレーム補間誤差および符号化誤差をそれぞれ表す。なお、（＾）Ψ_ｋの（＾）は、Ψ_ｋの上に＾が付いていることを表す。また、（〜）Ψ_ｉも同様である。これらの量が独立である場合、平均２乗誤差（ＭＳＥ）は、
【００３４】
【数７】

【００３５】
であり、これは次式、
【００３６】
【数８】

【００３７】
すなわち、空間的歪および時間的歪の組み合わせ１３０で等価的に表すことができる。式６は、時間的歪１２１に寄与する成分は加法的（ａｄｄｉｔｉｖｅ）であることを示す。しかしながら、他の組み合わせも同様に考慮することができる。
【００３８】
フレーム補間による期待ＭＳＥを求めるために、まず、時間ｔ_ｋにおけるフレームは、動きベクトル（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を有する、時間ｔ_ｉにおけるフレームに関連するものとする。
【００３９】
【数９】

【００４０】
式７において、すべての画素（ｘ，ｙ）は、関連する動きベクトルを有するものとする。実際には、すべての画素における動きを、１マクロブロックにつき１個の動きベクトルを用いることによって近似する。すると、
【００４１】
【数１０】

【００４２】
となり、ここで、（δΨ_ｉ／δｘ，δΨ_ｉ／δｙ）は、ｘ方向およびｙ方向における空間勾配を表す。この式は、一次のテーラー展開を用いることによって展開され、小さい（Δｘ，Δｙ）について有効であることに留意されたい。これは、動きに対する同一の条件が同様に当てはまるオプティカルフロー方程式と等価である。
【００４３】
式８は、フレームのシーケンスにおける動き量が大きい場合に正確さに劣ることに留意されたい。しかしながら、より多くの未符号化フレームを用いてより低いＭＳＥが達成できるかどうかを判断するために歪を推測する符号化の応用では、動き推定の精度はあまり重要でない。これは、最適化されたエンコーダはどのみち、かかるシーケンスのフレームをスキップしないためである。大きな動きのあるシーケンス中のフレームをスキップすることによって生じるＭＳＥは、非常に大きいものとなる。
【００４４】
空間勾配および動きベクトルを確率変数として扱い、動きベクトルおよび空間勾配は独立かつゼロ平均であるとすると、次式が得られる。
【００４５】
【数１１】

【００４６】
ここで、（σ^２ _ｘｉ，σ^２ _ｙｉ）はフレームｉにおけるｘ空間勾配およびｙ空間勾配の分散を表し、（σ^２ _{Δｘｉ，ｋ}，σ^２ _{Δｙｉ，ｋ}）はｘ方向およびｙ方向における動きベクトルの分散を表す。式９は、動きおよび空間勾配の二次統計から時間的歪を決定すれば十分であることを示す。
【００４７】
実際的考察
【００４８】
エンコーダが全歪を推定する実際的な符号化の応用において、主な問題は、過去および現在のデータに基づいて時間的歪１２１を決定する（１２０）ことである。たとえば、式９は、現在のフレームｉと未来のフレームｋとの間の動きが既知であることを仮定する。しかしながらこれは、符号化されるかどうかにかかわらず、時間インデックスｋを有する各候補フレームについて動き推定が行われることを意味するだろう。これは実際的でない。したがって、フレーム間の動きは直線的であると仮定し、動きベクトルの分散を次式により近似する。
【００４９】
【数１２】

【００５０】
ここで、ｆ_ｌは、最後に符号化されたフレームとその基準フレームと間の未符号化フレーム数を示す。
【００５１】
同様に、符号化する次の候補フレームの歪の推定、すなわち式３によって特定される測定には、ｆ_ｓに依存するａおよびσ^２ _ｚｉを知っていなければならない。上記のように、すべての候補フレームについて動き推定を行うわけではないため、実際の残留統計成分も利用可能ではない。この実際的な困難を克服するために、未来のフレームの残留統計成分を、現在の、すなわちｔ＝ｔ_ｉにおけるフレームの残留統計成分から予測することができる。
【００５２】
しかしながら、上述のように、ａ、σ^２ _ｚｉおよび未符号化フレームの間の関係は、動きおよび未符号化フレームの間の関係ほど明白でない。また、異なる数の未符号化フレームの分散における変化は非常に小さいものであることもわかった。したがって、ｔ＝ｔ_ｉにおける現在のフレームの残留統計成分の分散を候補フレームにも用いる。このように、Ｄ_ｃにおける変動は、候補フレームスキップ係数の「ビットバジェット（ｂｉｔ ｂｕｄｇｅｔ）」にしか影響されない。
【００５３】
入力ビデオ１０１が圧縮形式である場合、データは既知であり、推定値は全平均歪の実測値となる。この場合、上記の考察は当てはまらない。
【００５４】
結果
【００５５】
本発明の方法の精度を確認するために、２組の実験を行う。第１の実験は符号化フレームの推定の歪の精度を試験し、第２の実験は未符号化フレームの推定の歪の精度を試験する。
【００５６】
第１の実験の試験条件は以下のとおりである。図２において、２つの周知の試験シーケンス、すなわちＡｋｉｙｏ（左）およびＦｏｒｅｍａｎ（右）を考察する。各シーケンスは、３０ｆｐｓのフルフレームレートで符号化する。３つの固定量子化器、すなわち最初の１００フレームはＱ＝２、次の１００フレームはＱ＝１５、最後の１００フレームはＱ＝３０を用いて各シーケンスを符号化する。図２は、式３に従って、ａ＝１として推定の歪を決定したＡｋｉｙｏおよびＦｏｒｅｍａｎのプロットを示す。
【００５７】
これらのプロットから、第１に、推定の歪が大部分において実際の歪に追随することが認められる。第２に、両方のシーケンスにおいて、細かい量子化値で符号化された歪の推定値は高く見積もられる傾向がある。この理由は明らかではないが、この推定誤差は、ａの校正値を用いて、または、量子化器が非常に細かい場合には単純に固定ＭＳＥを用いて修正することが可能であることが認められる。
【００５８】
第２の実験では、１０ｆｐｓの固定フレームレートで符号化したＡｋｉｙｏシーケンスと、１５ｆｐｓの固定レートで符号化したＦｏｒｅｍａｎシーケンスとを考察する。Ａｋｉｙｏにおける未符号化フレームの実際および推定の歪の比較を図３に示す。左のグラフは第１の未符号化フレームを示し、一方、右のプロットは第２の未符号化フレームを示す。グラフは、Ａｋｉｙｏに関して未符号化フレームにおける推定の歪はかなり正確であることを示す。
【００５９】
図４は、Ｆｏｒｅｍａｎシーケンスにおける未符号化フレームの実際および推定の歪を比較する。推定の歪はＡｋｉｙｏほど正確ではないが、実際の歪における変化にかなり良好に追随できることがわかる。
【００６０】
しかしながら、シーケンス中の動きが大きいため、フレームスキップによる歪は、歪全体における重大な要因である。最適化したコーダは、このようなシーケンスのフレームを決してスキップしないといって間違いない。むしろ、最適化したコーダは、バッファ制約が符号化シーケンスに低フレームレートを強いるまで量子化器の使用に頼ることになる。結果として、未符号化フレームの歪に対する精度は、低から中程度の動きのあるシーケンスに関してはるかに重要となる。
【００６１】
本発明は、特定の用語および例を用いて記載される。本発明の精神および範囲内において様々な他の適用および変更がなされ得ることが理解される。したがって、併記の特許請求の範囲の目的は、本発明の真の精神および範囲に入るかかる変形および変更をすべて網羅することである。
【図面の簡単な説明】
【図１】本発明に係るビデオ中の歪を決定する方法のフローチャートである。
【図２】符号化フレームの実際および推定の歪を比較するプロットである。
【図３】１０ｆｐｓの固定フレームレートで符号化したＡｋｉｙｏシーケンスの未符号化フレームの実際および推定の歪を比較するプロットである。
【図４】１５ｆｐｓの固定フレームレートで符号化したＦｏｒｅｍａｎシーケンスの未符号化フレームの実際および推定の歪を比較するプロットである。

Claims (10)

1. ビデオ中の歪を決定する方法であって、
   符号化フレーム中の空間的歪を測定するステップと、
   未符号化フレーム中の時間的歪及び空間的歪を測定するステップと、
   前記符号化フレームの空間的歪を前記未符号化フレームの時間的歪及び空間的歪と組み合わせて、前記ビデオ中の全平均歪を決定するステップと
   を含むビデオ中の歪を決定する方法。
2. 前記ビデオは未圧縮であり、前記符号化及び未符号化フレームは符号化する候補フレームであり、前記全平均歪は推定値である
   請求項１記載のビデオ中の歪を決定する方法。
3. 前記ビデオは圧縮されており、前記符号化及び未符号化フレームは実際のフレームであり、前記全平均歪は全歪の測定値である
   請求項１記載のビデオ中の歪を決定する方法。
4. 前記時間的歪は、前記未符号化フレーム中のオプティカルフローから決定される
   請求項１記載のビデオ中の歪を決定する方法。
5. 前記候補フレームは、前記全平均歪を最小化するように符号化される
   請求項２記載のビデオ中の歪を決定する方法。
6. 前記全平均歪をスプリッタにおいて受け取って、どの候補フレームが符号化され、どの候補フレームがスキップされるのかを決定するステップ
   をさらに含む請求項５記載のビデオ中の歪を決定する方法。
7. 前記時間的歪は、補間誤差と量子化誤差との和である
   請求項１記載のビデオ中の歪を決定する方法。
8. 前記補間歪は、
   

   

   であり、ここで、（σ^２ _ｘｉ，σ^２ _ｙｉ）は特定のフレームｉにおけるｘ空間勾配およびｙ空間勾配の分散を表し、（σ^２ _{Δｘｉ，ｋ}，σ^２ _{Δｙｉ，ｋ}）はｘ方向およびｙ方向における動きベクトルの分散を表す
   請求項１記載のビデオ中の歪を決定する方法。
9. 前記動きベクトルの分散の近似値は、
   

   

   であり、ここで、ｆ_ｌは、最後に符号化されたフレームｉと関連基準フレームとの間の未符号化フレーム数を示し、ｋは、ｋ＞ｉであるような候補フレームである
   請求項８記載のビデオ中の歪を決定する方法。
10. ビデオ中の歪を決定するシステムであって、
    符号化フレーム中の空間的歪を測定する手段と、
    未符号化フレーム中の時間的歪及び空間的歪を測定する手段と、
    前記符号化フレームの空間的歪を前記未符号化フレームの時間的歪及び空間的歪と組み合わせて、前記ビデオ中の全平均歪を決定する手段と
    を備えたビデオ中の歪を決定するシステム。

Images