JP2010509842A - インループのアーチファクト除去フィルタリングのための方法および装置 - Google Patents

Abstract

【解決手段】
インループのアーチファクト・フィルタリングのための方法および装置が、開示されている。本発明の装置は、イメージ領域をエンコードするためのエンコーダ（３００）を含む。エンコーダ（３００）は、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタ（３６５、３４４）を有する。

Description

本発明の原理は、一般にビデオ・エンコーディングおよびデコーディングに関する。より詳細には、インループのアーチファクト除去・フィルタリングのための方法と装置に関する。

この出願は２００６年１１月８日に出願された米国の仮出願番号第６０／８６４９１７号の利益を享受する。これは完全に本願明細書において引用したものとする。

すべてのビデオ圧縮アーチファクトは、量子化の結果として生じる。これはハイブリッド映像符号化フレームワークにおいて、ロッシー（損失）符号化の部分に生じる。なお、これらのアーチファクトは、ブロック状のアーチファクト、リンギングアーチファクト、エッジ歪みおよび／またはテクスチャの潰れなど様々な形で発生する。一般に、デコードのシーケンスには、全ての種類の視覚的なアーチファクトが形成され得る。異なるタイプの視覚的なアーチファクトの中で、ブロック状のアーチファクトは、ブロック・ベースの映像符号化において共通に発生する。これらのアーチファクトは、ブロック・ベースの変換ステージの残差の符号化、および、動き補償ステージの両方から生じ得る。適応型デブロッキングフィルタは従来から研究されてきた。そして、幾つかの周知のデブロッキングフィルタ手法が、さまざまな標準に採用されている。（例えば、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ（以下「ＭＰＥＧ−４ＡＶＣ標準」という））。適切に設計されたデブロッキングフィルタは客観的、かつ主観的なビデオ品質を改善することができる。従来のビデオエンコーダおよび／または例えばＭＰＥＧ−４ＡＶＣ標準に対応するものは、ブロック状のアーチファクトを減少させるために、適応型インループデブロッキングフィルタが設計されている。これは、規則要素の値によってフィルタリングの強さが制御される。基本的な考え方としては、ブロックエッジの近くのサンプルの間において比較的多数の絶対な差が検出された場合、その差はおそらくブロッキング・アーチファクトであり、これを減少することが必要となる。なお、その差の大きさがエンコーディングにおいて使用する量子化の粗さによるものであると説明できないほど大きい場合には、そのエッジは、実際のソースの画像によるものと判断されるため、なめらかにするべきではない。このようにして、コンテンツのブロック状の形態（ｂｌｏｃｋｙｎｅｓｓ）は減少する。なお、コンテンツの鮮明度は基本的に不変である。デブロッキングフィルタは、幾つかのレベルにおいて適応可能である。スライスレベルにおいて、ビデオ・シーケンスの個々の特性に対して、グローバルなフィルタリング強さが調整される。ブロックエッジレベルにおいては、イントラ／インター予測決定、動きの相違、および２つの隣接したブロックのデコードされた残差の存在によって、フィルタリングの強さは異なる。マクロブロック境界においては、「タイリング（タイル状の）アーチファクト」を取り除くために特別な強いフィルタリングが適用される。サンプルレベルにおいては、サンプル値および量子化器に依存する閾値によって、個々のサンプルのフィルタリングをオフにできる。

ＭＰＥＧ−４ＡＶＣ標準に従ったデブロッキングフィルタリングはブロック状のアーチファクトを減少させるために適切に設計されている。しかしながら、これは量子化ノイズによって生じる他のアーチファクトを修正することはない。例えば、ＭＰＥＧ−４ＡＶＣ標準に従ったデブロッキングフィルタリングは、エッジおよびテクスチャについては作用しない。したがって、これは、変形したエッジやテクスチャを補正することができない。このように能力が欠如している理由の１つは、ＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタが滑らかな画像モデルを採用しているためである。したがって、設計されたフィルタは通常はローパスフィルタのバンクを含んでいる。しかしながら、イメージは多くの特異性（テクスチャ等）を含むため、ＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタによっては正しく処理されないことになる。

このようなＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタの制約を解決するために、ノイズ除去タイプ非線形インループフィルタによるアプローチが最近提案された。この提案されたアプローチにおける非線形ノイズ除去フィルタは、散在的な（ｓｐａｒｓｅ）非静的画像統計（ｎｏｎ−ｓｔａｔｉｏｎａｒｙ ｉｍａｇｅ ｓｔａｔｉｓｔｉｃｓ）に適合しており、散在的な画像モデルを利用しており、線形変換とハード閾値処理の組み合わせの過剰な処理を採用している。非線形ノイズ除去フィルタは、フィルタ処理の領域に応じて、自動的にハイパスまたはローパス、または、バンドパスとなる。非線形ノイズ除去フィルタは、全ての種類の量子化ノイズに対応できる。この特定のイズ除去アプローチは、主に以下の３つのステップを含む。すなわち、変換、係数閾値の変換、および逆変換である。そして、幾つかの過剰な組み合わせの変換のイズ除去により得られた（典型的には、シフトされた変換のバージョンによるノイズ除去を適用することによって得られた）ノイズ除去された複数の予測値は、各々の画素において重み付け平均され結合される。

散在的な対象をベースとしたノイズ除去ツールは、単一な性質毎に区分けされた局所的に均一な領域（例えば、スムーズなもの、高周波数のもの、テクスチャ等）を含むビデオフレームの量子化ノイズを減らすことが可能である。しかしながら、ノイズ除去ツールは、加法的な独立同分布（ｉ．ｉ．ｄ．：Ｉｎｄｅｐｅｎｄｅｎｔ Ｉｄｅｎｔｉｃａｌｌｙ Ｄｉｓｔｒｉｂｕｔｅｄ）のイズの除去のために設計されている。これに対して、量子化ノイズは、異なる特質を持ち、適切な歪みの低減と適切な画像のアーチファクトの除去という課題に直面している。この技術は、本当のエッジや間違ったブロック状のエッジにより混乱を起こす結果を招くことがある。これに対する可能な解決策としては、空間周波数的（ｓｐａｔｉｏ ｆｒｅｑｕｅｎｔｉａｌ）な閾値適合が挙げられる。これによって、決定を修正することができ、これを実装することは容易ではない。不適切な閾値選択の結果としては、散在的ノイズ除去により、過度に滑らかな再生画像やブロック状のアーチファクトが、フィルタリング処理後においても残る可能性がある。特に、滑らかなピクチャ領域に対して、信号および信号に付加されたブロック状のアーチファクトは、仮に圧縮とノイズ除去に同じ変換が用いられた場合には、フィルタリング段階でも、散在的な表示（ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）が残るであろう。このため、閾値処理後もアーチファクトが依然として残るであろう。現在、散在的な対象をベースとしたノイズ除去技術は、他の技術よりも、強力に歪みを低減させることが客観的な計測（最小二乗誤差（ＭＳＥ））でわかっているが、依然として重要な視覚的なアーチファクトに対する課題を有している。

符号化アーチファクトを取り除くことについては、単一のイズ除去フィルタの使用はあまり効率的でなく、また効果的でないことが知られている。この理由は、汎用のイズ除去フィルタが通常、歪み（ｄｉｓｔｏｒｔｉｏｎ）モデルに基づいているということである。これは、必ずしも適用される実際のシナリオとは一致していないのである。このモデルは、ブロック状のアーチファクトの局所的な構造を考慮していない。一方、特別の目的のためのアーチファクト除去フィルタは、特定のタイプのアーチファクトを軽減するように設計されている。したがって、特別の目的のノイズ除去フィルタは、量子化ノイズの他の部分を修正するのに十分ではない。例えば、ＭＰＥＧ−４ＡＶＣ標準において使用されるインループのデブロッキングフィルタは、特別の目的のフィルタであり、境界やテクスチャ内の画素におけるノイズ／アーチファクトを除去するためには設計されておらず、また歪んだエッジを修正するようにも設計されていない。

図１において、ＭＰＥＧ−４ＡＶＣ標準に準拠したビデオ・エンコーディングを実行することができるビデオ符号器が参照符号１００によって示されている。

ビデオエンコーダ１００は、フレーム順序バッファ１１０を有する。フレーム順序バッファ１１０の出力は結合器１８５の非反転入力に信号が伝達される形で接続（以下「信号伝達接続」という）されている。結合器１８５の出力は、変換器および量子化器１２５の第１の入力に信号伝達接続されている。変換器および量子化器１２５の出力は、エントロピー符号器１４５の第１の入力および逆変換器および逆量子化器１５０の第１の入力に信号伝達接続されている。エントロピー符号器１４５の出力は、結合器１９０の第１の非反転入力に信号伝達接続されている。結合器１９０の出力は、出力バッファ１３５の第１の入力に信号伝達接続されている。

エンコーダ・コントローラ１０５の第１の出力は、フレーム順序バッファ１１０の第２の入力、逆変換器および逆量子化器１５０の第２の入力、ピクチャータイプ決定モジュール１１５の入力、マクロブロック−タイプ（ＭＢ−タイプ）決定モジュール１２０の入力、イントラ予測モジュール１６０の第２の入力、デブロッキングフィルタ１６５の第２の入力、動き補償器１７０の第１の入力、動き予測器１７５の第１の入力、および参照ピクチャ・バッファ１８０の第２の入力に信号伝達接続されている。

エンコーダ・コントローラ１０５の第２の出力は、補助強化情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）インサータ１３０の第１の入力、変換器および量子化器１２５の第２の入力、エントロピー符号器１４５の第２の入力、出力バッファ１３５の第２の入力、およびシーケンスパラメータ設定（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）およびピクチャパラメータ設定（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）インサータ１４０の入力に信号伝達接続されている。

ピクチャータイプ決定モジュール１１５の第１の出力は、フレーム順序バッファ１１０の第３の入力に信号伝達接続されている。ピクチャータイプ決定モジュール１１５の第２の出力は、マクロブロックタイプ決定モジュール１２０の第２の入力に信号伝達接続されている。シーケンスパラメータ設定（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）およびピクチャパラメータ設定（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）インサータ１４０の出力は、結合器１９０の第３の非反転入力に信号伝達接続されている。

逆量子化器および逆変換器１５０の出力は、結合器１１９の第１の非反転入力に信号伝達接続されている。結合器１１９の出力は、イントラ予測モジュール１６０の第１の入力およびデブロッキングフィルタ１６５の第１の入力に信号伝達接続されている。デブロッキングフィルタ１６５の出力は、参照ピクチャ・バッファ１８０の第１の入力に信号伝達接続されている。参照ピクチャ・バッファ１８０の出力は、動き予測器１７５の第２の入力に信号伝達接続されている。動き予測器１７５の第１の出力は、動き補償器１７０の第２の入力に信号伝達接続されている。動き予測器１７５の第２の出力は、エントロピー符号器１４５の第３の入力に信号伝達接続されている。

動き補償器１７０の出力は、スイッチ１９７の第１の入力に信号伝達接続されている。イントラ予測モジュール１６０の出力は、スイッチ１９７の第２の入力に信号伝達接続されている。マクロブロックタイプ決定モジュール１２０の出力は、スイッチ１９７の第３の入力に信号伝達接続されている。スイッチ１９７の第３の入力（制御入力（すなわち、第３の入力））は、スイッチの「データ」入力が、動き補償器１７０またはイントラ予測モジュール１６０のいずれによって提供されるかを決定する。スイッチ１９７の出力は、結合器１１９の第２の非反転入力、および、結合器１８５の反転入力に信号伝達接続されている。

入力ピクチャ１０１を受け取るために、フレーム順序バッファ１１０およびエンコーダ・コントローラ１０５の入力は、エンコーダ１００の入力として使われる。さらに、メタデータを受け取るために、補助強化情報（ＳＥＩ）インサータ１３０の入力は、エンコーダ１００の入力として使われる。ビット列を出力するために、出力バッファ１３５の出力は、エンコーダ１００の出力として使われる。

図２において、ＭＰＥＧ−４ＡＶＣ標準に従うビデオ・デコーディングを実行することができるビデオデコーダが、参照符号２００によって示されている。ビデオデコーダ２００は、入力バッファ２１０を有する。入力バッファ２１０の出力は、エントロピデコーダ２４５の第１の入力に信号伝達接続されている。エントロピデコーダ２４５の第１の出力は、逆変換器および逆量子化器２５０の第１の入力に信号伝達接続されている。逆変換器および逆量子化器２５０の出力は、結合器２２５の第２の非反転入力に信号伝達接続されている。結合器２２５の出力は、デブロッキングフィルタ２６５の第２の入力およびイントラ予測モジュール２６０の第１の入力に信号伝達接続されている。デブロッキングフィルタ２６５の第２の出力は、参照ピクチャ・バッファ２８０の第１の入力に信号伝達接続されている。参照ピクチャ・バッファ２８０の出力は、動き補償器２７０の第２の入力に信号伝達接続されている。エントロピデコーダ２４５の第２の出力は、動き補償器２７０の第３の入力およびデブロッキングフィルタ２６５の第１の入力に信号伝達接続されている。エントロピデコーダ２４５の第３の出力は、デコーダ・コントローラ２０５の入力に信号伝達接続されている。デコーダ・コントローラ２０５の第１の出力は、エントロピデコーダ２４５の第２の入力に信号伝達接続されている。デコーダ・コントローラ２０５の第２の出力は、逆変換器および逆量子化器２５０の第２の入力に信号伝達接続されている。デコーダ・コントローラ２０５の第３の出力は、デブロッキングフィルタ２６５の第３の入力に信号伝達接続されている。デコーダ・コントローラ２０５の第４の出力は、イントラ予測モジュール２６０の第２の入力、動き補償器２７０の第１の入力、および参照ピクチャ・バッファ２８０の第２の入力に信号伝達接続されている。

動き補償器２７０の出力は、スイッチ２９７の第１の入力に信号伝達接続されている。イントラ予測モジュール２６０の出力は、スイッチ２９７の第２の入力に信号伝達接続されている。スイッチ２９７の出力は、結合器２２５の第１の非反転入力に信号伝達接続されている。

入力ビット列を受け取るために、入力バッファ２１０の入力は、デコーダ２００の入力として使われる。出力ピクチャを出力するために、デブロッキングフィルタ２６５の第１の出力は、デコーダ２００の出力として使われる。

本願発明の原理の一態様として、装置が開示されている。この装置は、イメージ領域をエンコードするためのエンコーダを含む。エンコーダは、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを低減させるためにインループフィルタリングを連鎖（ｓｕｃｃｅｓｓｉｏｎ）して実行するための少なくとも２つのフィルタを有する。

本発明の原理の別の態様として、方法が開示されている。この方法は、イメージ領域をエンコードすることを含む。エンコーディング・ステップは、連鎖してそれぞれ少なくとも２つのフィルタを使用して、少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを実行することを含む。

本発明の原理のさらにもう１つの態様による装置が開示されている。装置は、イメージ領域をデコードするためのデコーダを含む。デコーダは、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタを備えている。

本発明の原理のさらに別の態様としての方法が開示されている。この方法は、イメージ領域をデコードすることを含む。デコーディング・ステップは、連鎖してそれぞれ少なくとも２つのフィルタを使用して、少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを実行することを含む。

これらの、そしてまた他の、態様、特長および本発明の原理の効果は、例示的な実施形態を記載した詳細な説明から明らかになる。以下、添付の図面を参照しながら説明する。本発明の原理は、以下の典型的な図によって、よりよく理解される。

本願発明は、これらのそして他の先行技術の欠点および不利な点の解決を目的とする。この目的は、インループのアーチファクト除去・フィルタリングのための方法および装置によって達成される。

ＭＰＥＧ−４ＡＶＣ標準に従うビデオ・エンコーディングを実行するビデオ符号器のブロック図である。 ＭＰＥＧ−４ＡＶＣ標準に従うビデオ・デコーディングを実行するビデオデコーダのブロック図である。 本発明の原理に基づく一実施例にしたがって、本発明に利用するために変更および／または拡張されたＭＰＥＧ−４ＡＶＣ標準に従うビデオ・エンコーディングを実行するビデオ符号器のブロック図である。 本発明の原理に基づく一実施例にしたがって、本発明に利用するために変更および／または拡張されたＭＰＥＧ−４ＡＶＣ標準に従うビデオ・デコーディングを実行するビデオデコーダのブロック図である。 本発明の原理に基づく一実施例にしたがったアーチファクト除去フィルタの典型的な連鎖を示すブロック図である。 本発明の原理に基づく一実施例にしたがって、インループのアーチファクト除去フィルタリングを使用して画像データをエンコーディングする典型的な方法のフローチャートである。 本発明の原理に基づく一実施例にしたがって、インループのアーチファクト除去フィルタリングを用いて画像情報をデコードする典型的な方法のフローチャートである。 本発明の原理に基づく一実施例にしたがって、アーチファクト除去／低減の後の量子化制約集合（ＱＣＳ：ｑｕａｎｔｉｚａｔｉｏｎ ｃｏｎｓｔｒａｉｎｔ ｓｅｔ）係数の修正を実行する典型的な装置を示す図である。 過度にフィルタリングした場合の問題の典型的な量子化ビンおよびビデオ・エンコーディング／デコーディングのＱＣＳを用いた修正方法を示す図である。

本発明は、インループのアーチファクト除去フィルタリングのための方法と装置を実現することを目的とする。

本明細書は、本発明の原理を例示する。本願明細書において明示的に記載されておらずまたは示されないものであっても、当業者は、本発明の趣旨および範囲の中で含まれるさまざまな変形例を創作することが可能であると理解すべきである。また、それらは本発明の範囲に属するものである。

本願明細書において詳述されるすべての実施例および条件を付した部分は説明することを目的としており、また読者が本発明の原理および発明者のコンセプトを理解するのを助けることを目的とする。加えて、これらは、実施例および条件を限定するものと解してはならない。

さらに、本発明の原理、態様、実施例および特定の具体例について本願明細書において詳述しているすべての文章は、その構造および機能の均等物を含むことを意図している。加えて、その均等物は、現在の均等物および将来開発された均等物をも含むことを意図している。すなわち、構造の如何に関わらず、同一の機能を持つ均等物を含む。

したがって、例えば、本願明細書において示されたブロック図は、本発明の原理を実施した回路の概念を図示したしたものであることは、当業者に明らかである。同様に、すべてのフローチャート、フロー図、状態遷移図、例示的コードなどは基本的にコンピュータで読み取れる媒体において提示することができる。これらは、コンピュータあるいはプロセッサが明示されている否かに関わらず、コンピュータ又はプロセッサによって実行できる種々のプロセスを示している。

図に示されるさまざまな要素の機能は、適切なソフトウェアを実行することができるハードウェアおよび専用ハードウェアを用いることにより提供されてもよい。プロセッサによって提供される場合には、機能は単一の専用プロセッサによって、単一の共用プロセッサによって、または、複数の個々のプロセッサによって提供されてもよい。そして、その幾つかは共有されてもよい。さらに、“プロセッサ”あるいは“コントローラ”という語を明示的に使用することは、ソフトウェアを実行することが可能なハードウェアのみを示すことを意図するものではない。そして、暗黙的に、デジタルシグナインループロセッサハードウエア、ソフトウェアを格納したリードオンリメモリ、ランダムアクセスメモリ、および不揮発性記憶媒体を含むが、それらに制限されるものではない。

また、汎用のものであれカスタム化されたものであれ、他のハードウェアも含まれる。同様に、図に示されるいかなるスイッチも、概念的なものである。それらの機能はプログラム制御および専用のロジック、対話処理を通じたプログラム制御および専用ロジック、また手動も含む。そして、特定の技術が、場合に応じて、作成者によって選ばれる。

請求項において、特定された機能を実行するための手段として表されるいかなる要素も、その機能を実行するいかなるものも含み得る、例えば、ａ）機能を実行する回路素子の組合せ、ｂ）ソフトウェアのいかなる形式、ファームウェア、マイクロコード等、その機能を達成するソフトウェアを実行する適切な回路の組み合わせ、である。かかる請求項に記載の本発明の原理は、請求項の定義によってさまざまに記述された手段により提供される機能によって結合されかつまとめられる。これらの機能を提供するいかなる手段も本願明細書において示される機能と均等である。

明細書における本願発明の「実施例」の参照は、実施例の具体的な特徴や特質等が本願発明の少なくとも１つの実施例に含まれることを意味する。したがって、明細書中の様々な場所における「実施例において」という記載は、必ずしも同じ実施例を指しているものではない。

本願明細書で使用しているように、「ハイレベル規則（high level syntax）」および「ハイレベル規則要素」は、いずれもマクロブロックレイヤより上の階層のビット列における規則を指す。例えば、本明細書で用いられるハイレベル規則は、これに限定されるものではないが、スライス・ヘッダ・レベル、補助強化情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セットレベル、シーケンス・パラメータ・セットレベル、ネットワーク・アブストラクション・レイヤ(ＮＡＬ：network
abstraction layer)ユニット・ヘッダレベルのそれぞれの規則を指す。

本願明細書で使用しているように、「ブロックレベルの規則」および「ブロックレベルの規則要素」は、同義であって、映像符号化方式の１ブロックのまたは１ブロック部分として構築される可能なエンコードユニットのいずれかで階層的に存在するビット列に対する規則を指す。例えば、本明細書で用いられるブロックレベルの規則は、これに限定されるものではないが、マクロブロックレベル、１６×８パーティションレベル、８×１６パーティションレベル、８×８サブブロック・レベルおよびこれらのいずれかの一般のパーティションの規則を指す。さらに、本明細書で用いられるブロックレベルの規則は、より小さいブロックの結合（例えば、マクロブロックの結合）から出されるブロックを指してもよい。

「画像データ」という用語は、静止画像および動画（すなわち、動きを含む一連のイメージ）のいずれかに対応するデータを指す。

「および／または」という用語、例えば、「Ａおよび／またはＢ」は、第１のリストのオプション（Ａ）、第２のリストのオプション（Ｂ）、または両方のオプション（ＡおよびＢ）を意味する。さらなる例として、「Ａ、Ｂおよび／またはＣ」は、第１のリストのオプション（Ａ）の選択、第２のリストのオプション（Ｂ）の選択、第３のリストのオプション（Ｃ）の選択、第１および第２のリストのオプション（ＡおよびＢ）の選択、第１および第３のリストのオプション（ＡおよびＣ）の選択、第２および第３リストのオプション（ＢおよびＣ）の選択、または全ての３つのオプション（ＡおよびＢおよびＣ）の選択を含むことを意味する。当業者であれば、この拡張が行えることが理解でき、いくらでも項目を並べることができる。

さらに、本願明細書において、本発明の原理の１つ以上の実施例がＭＰＥＧ−４ＡＶＣ標準に関して記載されているが、本発明の原理は単にこの標準だけに限られるわけではない。したがって、他のビデオ符号化規格、勧告およびその拡張において利用され得る。この拡張としては、例えば、本発明の精神を維持した形でのＭＰＥＧ−４ＡＶＣ標準のスケーラブル（およびノンスケーラブル）拡張および／またはマルチビュー（およびノンマルチビュー）拡張が挙げられる。

図３において、本発明の原理に用いるために修正および／または拡張されたＭＰＥＧ−４ＡＶＣ標準に従ったビデオ・エンコーディングを実行することができるビデオ符号器が、参照番号３００によって示されている。

ビデオエンコーダ３００は、フレーム順序バッファ３１０を有し、フレーム順序バッファ３１０の出力は結合器３８５の非反転入力に信号伝達接続されている。結合器３８５の出力は、変換器および量子化器３２５の第１の入力に信号伝達接続されている。変換器および量子化器３２５の出力は、エントロピー符号器３４５の第１の入力および逆変換器および逆量子化器３５０の第１の入力に信号伝達接続されている。エントロピー符号器３４５の出力は、結合器３９０の第１の非反転入力に信号伝達接続されている。結合器３９０の出力は、出力バッファ３３５の第１の入力に信号伝達接続されている。

エンコーダ・コントローラ３０５の第１の出力は、フレーム順序バッファ３１０の第２の入力、逆変換器および逆量子化器３５０の第２の入力、ピクチャータイプ決定モジュール３１５の入力、マクロブロック−タイプ（ＭＢ−タイプ）決定モジュール３２０の第１の入力、イントラ予測モジュール３６０の第２の入力、デブロッキングフィルタ３６５の第２の入力、動き補償器３７０の第１の入力、動き予測器３７５の第１の入力、参照ピクチャ・バッファ３８０の第２の入力、散在的ノイズ除去フィルタの第１の入力、および、量子化制約集合（ＱＣＳ）３５５の第１の入力に信号伝達接続されている。

エンコーダ・コントローラ３０５の第２の出力は、補助強化情報（ＳＥＩ）インサータ３３０の第１の入力、変換器および量子化器３２５の第２の入力、エントロピー符号器３４５の第２の入力、出力バッファ３３５の第２の入力、および、シーケンスパラメータセット（ＳＰＳ）およびピクチャ・パラメータ・セット（ＰＰＳ）インサータ３４０の入力に信号伝達接続されている。

ピクチャータイプ決定モジュール３１５の第１の出力は、フレーム順序バッファ３１０の第３の入力に信号伝達接続されている。ピクチャータイプ決定モジュール３１５の第２の出力は、マクロブロックタイプ決定モジュール３２０の第２の入力に信号伝達接続されている。

シーケンスパラメータセット（ＳＰＳ）およびピクチャ・パラメータ・セット（ＰＰＳ）インサータ３４０の出力は、結合器３９０の第３の非反転入力に信号伝達接続されている。逆量子化器および逆変換器３５０の出力は、結合器３１９の第１の非反転入力に信号伝達接続されている。結合器３１９の出力は、イントラ予測モジュール３６０の第１の入力およびデブロッキングフィルタ３６５の第１の入力に信号伝達接続されている。デブロッキングフィルタ３６５の出力は、散在的ノイズ除去フィルタ３４４の第２の入力に信号伝達接続されている。散在的ノイズ除去フィルタ３４４の出力は、量子化制約集合（ＱＣＳ）３５５の第２の入力に信号伝達接続されている。量子化制約集合（ＱＣＳ）３５５の出力は、参照ピクチャ・バッファ３８０の第１の入力に信号伝達接続されている。参照ピクチャ・バッファ３８０の出力は、動き予測器３７５の第２の入力および動き補償器３７０の第２の入力に信号伝達接続されている。動き予測器３７５の第１の出力は、動き補償器３７０の第３の入力に信号伝達接続されている。動き予測器３７５の第２の出力は、エントロピー符号器３４５の第３の入力に信号伝達接続されている。

動き補償器３７０の出力は、スイッチ３９７の第１の入力に信号伝達接続されている。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力に信号伝達接続されている。マクロブロックタイプ決定モジュール３２０の出力は、スイッチ３９７の第３の入力に信号伝達接続されている。スイッチ３９７の第３の入力（制御入力、すなわち第３の入力）は、スイッチの入力「データ」が動き補償器３７０またはイントラ予測モジュール３６０のいずれに提供されるべきかを決定する。スイッチ３９７の出力は、結合器３１９の第２の非反転入力、および、結合器３８５の逆相入力エッジ子に信号伝達接続されている。

入力ピクチャ３０１を受け取るために、フレーム順序バッファ３１０およびエンコーダ・コントローラ３０５の入力は、エンコーダ３００の入力として使われる。さらに、メタデータを受け取るために、補助強化情報（ＳＥＩ）インサータ３３０の入力は、エンコーダ３００の入力として使われる。ビット列を出力するために、出力バッファ３３５の出力は、エンコーダ３００の出力として使われる。

図４を参照すると、本発明の原理に用いるために修正され、および／または拡張されたＭＰＥＧ−４ＡＶＣ標準に従ったビデオ・デコーディングを実行することができるビデオデコーダが、参照符号４００によって示されている。

ビデオデコーダ４００は、入力バッファ４１０を有する。入力バッファ４１０の出力は、エントロピデコーダ４４５の第１の入力に信号伝達接続されている。エントロピデコーダ４４５の第１の出力は、逆変換器および逆量子化器４５０の第１の入力に信号伝達接続されている。逆変換器および逆量子化器４５０の出力は、結合器４２５の第２の非反転入力に信号伝達接続されている。結合器４２５の出力は、デブロッキングフィルタ４６５の第２の入力およびイントラ予測モジュール４６０の第１の入力に信号伝達接続されている。デブロッキングフィルタ４６５の出力は、散在的ノイズ除去フィルタ４４４の第１の入力に信号伝達接続されている。散在的ノイズ除去フィルタ４４４の出力は、量子化制約集合（ＱＣＳ）４５５の第１の入力に信号伝達接続されている。量子化制約集合（ＱＣＳ）４５５の第１の出力は、参照ピクチャ・バッファ４８０の第１の入力に信号伝達接続されている。参照ピクチャ・バッファ４８０の出力は、動き補償器４７０の第２の入力に信号伝達接続されている。

エントロピデコーダ４４５の第２の出力は、動き補償器４７０の第３の入力およびデブロッキングフィルタ４６５の第１の入力に信号伝達接続されている。エントロピデコーダ４４５の第３の出力は、デコーダ・コントローラ４０５の入力に信号伝達接続されている。デコーダ・コントローラ４０５の第１の出力は、エントロピデコーダ４４５の第２の入力に信号伝達接続されている。デコーダ・コントローラ４０５の第２の出力は、逆変換器および逆量子化器４５０の第２の入力に信号伝達接続されている。デコーダ・コントローラ４０５の第３の出力は、デブロッキングフィルタ４６５の第３の入力、散在的ノイズ除去フィルタ４４４の第２の入力、および、量子化制約集合（ＱＣＳ）４５５の第２の入力に信号伝達接続されている。デコーダ・コントローラ４０５の第４の出力は、イントラ予測モジュール４６０の第２の入力、動き補償器４７０の第１の入力、および、参照ピクチャ・バッファ４８０の第２の入力に信号伝達接続されている。

動き補償器４７０の出力は、スイッチ４９７の第１の入力に信号伝達接続されている。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に信号伝達接続されている。スイッチ４９７の出力は、結合器４２５の第１の非反転入力に信号伝達接続されている。

入力ビット列を受け取るために、入力バッファ４１０の入力は、デコーダ４００の入力として使われる。出力ピクチャを出力するために、量子化制約集合（ＱＣＳ）４５５の第２の出力は、デコーダ４００の出力として使われる。

図４のビデオデコーダ４００において、機能ブロック４６５の適用前、または機能ブロック４６５の適用後、または機能ブロック４４４の適用後、または機能ブロック４５５の適用後のピクチャを出力することができる。すなわち、我々は参照バッファの予測のためのピクチャおよび表示のためのピクチャが異なる柔軟性を有しており、予測のためのより良好な参照および表示のためのより鮮鋭化したイメージを得ることができる。

上記の如く、本発明の原理は、インループのアーチファクト除去・フィルタリングのための方法と装置を実現することを目的とする。

実施例において、ビデオフレームの符号化アーチファクトの量を減少させるために符号化ピクチャのフィルタの連鎖を利用することを提案する。フィルタは符号化ループ（インループ）に置かれるのでフィルタ処理されたフレームは、次の符号化フレームの動き補償のためのフレームで参照フレームとして用いられる。例えば、デブロッキングフィルタ、リンギング除去フィルタ、ノイズ除去フィルタ、信号予測フィルタ、線形フィルタおよび／または非線形フィルタを含むフィルタのうちの少なくとも１つが用いられる。

実施例において、ツーパス・フィルタを使用することが提案されている。第１のパスにおいて、適応型デブロッキングフィルタを使用する。これはブロッキング・アーチファクトの除去を目的とする。第２のパスにおいて、適応型散在的ノイズ除去フィルタを使用する。これは、局所的に同一の領域（滑らかな画像、高い周波数の画像、テクスチャ等）から成るビデオフレームの量子化ノイズを更に減少させることができる。更に結果を改善し、アーチファクトの無いイメージに戻すのを助けるために、量子化制約を含む圧縮制約を適用することができる（なお、これに限られるものではない）。

本願明細書において１つ以上の実施例は、量子化アーチファクトを取り除くかまたは減少させるために、２つ以上のインループフィルタ（および／または、２つ以上のインループフィルタリングパス）を含む。第１のフィルタ（またはフィルタリング・パス）は、第１のタイプ（またはタイプのグループ）の量子化アーチファクトを取り除くかまたは減少させ、第２のフィルタ（フィルタリングパス）は、第２のタイプ（またはタイプのグループ）の量子化アーチファクトを取り除くかまたは減少させる。インループフィルタ（または、フィルタリングパス）をさらに使用することは、本発明の原理の実施例に従って実行できることは明らかである。すなわち、本発明の原理の精神を維持しつつ、ここに提供されている本発明の原理の記述にしたがって、当業者および関連技術の技術者はさまざまな他の実施例および本発明の原理のバリエーションを構成することができるであろう。したがって、本発明の原則に従って、量子化によって生じる複数のタイプの可能性のある符号化アーチファクトを取り除きまた減少させるためにフィルタ（または、フィルタリングパス）の連鎖を使用することを提案している。この場合、異なる種類のアーチファクトおよび量子化誤差は異なるフィルタによって処理される。このため、再構築されたビデオ・ピクチャのかかるカスケードされたフィルタリングによって、デコードされたシーケンスは、実質的に主観的および客観的の両方において、よりよい結果を得る。この方式をエンコーダ／デコーダ・ループ（別名インループフィルタリング）に組み込むことによって、インター予測プロセスも、デコードされた参照用ピクチャの改善によって利益を享受できる。フィルタの連鎖を用いる場合に、制約を受けることはない。すなわち、一般のまたは特別の目的フィルタの特定のセット、特定の数のカスケードされたフィルタ、またはそれらが結合される特定の順序などに制限はない。それらのパラメータは、例えば、エンコーダおよび／または用いられるデコーダおよびフィルタリングされるビデオ・データの性質に基づいて調整されてもよい。入力ビデオ信号の過度の処理を防止するために、圧縮および／または量子化にある程度の制約を課してもよい。実施例においては、「ツーパス（two-pass）」フィルタの使用が含まれる。図５において、アーチファクト除去・フィルタの典型的な連鎖が、参照符号５００によって示されている。適応型散在的ノイズ除去フィルタ５４４が改善のためのフィルタとして、ＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタ５６５の後で、かつ、量子化制約集合（ＱＣＳ）フィルタ５５５の前に用いられている。視覚的なブロッキング・アーチファクトは、デブロッキングフィルタによって最も良く除去されるため、残りの量子化ノイズはより加法的な独立同分布(i.i.d.)となる傾向がある。これは適応型散在的ノイズ除去フィルタのノイズモデルの仮定に適合する。第２のパスの散在的ノイズ除去フィルタ５４４を適用した後に、量子化制約集合フィルタ５５５を使用して残差を再調整し、それらが過度に処理されるのを防止する。量子化制約集合フィルタ５５５は、各変換係数をその最初の量子化間隔に制限するために用いる。このステップは過度の平滑化（スムージング）を防止するのに寄与する。カスケードされたフィルタの集合の出力を安定化させる。たとえば、散在をベースにしたノイズ除去ステップのための閾値処理パラメータの変更（これに限られる訳ではない）に対して安定化を図ることができる。

適応型散在的ノイズ除去フィルタ５４４は、順変換器５７１を有する。順変換器５７１の出力は、閾値モジュール５７３の入力に信号伝達接続されている。閾値モジュール５７３の出力は、逆変換器５７５の入力に信号伝達接続されている。逆変換器５７５の出力は、適応型加重モジュール５７７の入力に信号伝達接続されている。順変換器の入力は、適応型散在的ノイズ除去フィルタ５４４の入力として使われる。適応型加重モジュール５７７の出力は、適応型散在的ノイズ除去フィルタ５４４の出力として使われる。ＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタ５６５の出力は、順変換器５７１の入力に信号伝達接続されている。適応型加重モジュール５７７の出力は、量子化制約集合フィルタ５５５の入力に信号伝達接続されている。ＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタ５６５の入力は、アーチファクト除去・フィルタの連鎖５００の入力として利用できる。量子化制約集合フィルタ５７１の出力は、アーチファクト除去・フィルタの連鎖５００の出力として使われる。

実例として、図３および４には、適応型散在的ノイズ除去フィルタおよび量子化制約集合フィルタが、ビデオ符号器の構成、およびビデオデコーダの構成のどこに位置するのかを示している。示されている実施例において、適応型散在的ノイズ除去フィルタおよび量子化制約集合フィルタは、それぞれ、デブロッキングフィルタの後ろに位置する。もちろん、本願明細書に示されている本発明の原理の説明を理解することによって、本技術および関連技術の当業者は、本発明の精神を逸脱しない範囲で、適応型散在的ノイズ除去フィルタおよび量子化制約集合フィルタを他の位置に置くことを考えつくであろう。

実施例において、適応型散在的ノイズ除去フィルタおよび／または量子化制約集合フィルタは、マクロブロックレベル、スライスレベル、ピクチャレベルおよび／またはシーケンスレベルにおいて、オン／オフされてもよい。例えば、インター・フレーム（フレーム間）用ではなく、イントラ・フレーム（フレーム内）用としてだけ散在的ノイズ除去フィルタおよび量子化制約集合フィルタを使用するように選択してもよい。実施例における異なるアーチファクト除去／低減の複数のステップは、アプリケーションの制約の複雑さ、歪みの程度、および／または符号化のコストによってオン／オフしてもよい。散在的ノイズ除去ステップのための変換は、可能な変換の集合から最適なものを選択してもよい。選択された変換は、ハイレベル規則を使用してデコーダに送り、示すことができる。適切な閾値γは、適応型散在的ノイズ除去フィルタリングを最適化するために信号として送ることができる。信号によって送られた閾値γは、量子化パラメータおよびシーケンス・コンテンツに適応させることとしてもよい。最適な加重の方法は、ノイズ除去ゲインを最大にするために信号として送ることができる。

表１は、本発明の原理の実施例に従ったインループのアーチファクト除去・フィルタリング用の、例示的なピクチャ・パラメータ・セット（ＰＰＳ）ロー・バイト・シーケンス・ペイロード（ＲＢＳＰ：raw byte sequence payload(圧縮された生データ)）規則を示す。

表２は、本発明の原理の実施例に従ったインループのアーチファクト除去・フィルタリング用の、例示的なスライス・ヘッダ規則を示す。

表１および表２において、以下の例示的な規則が定義されている。もちろん、ここに提供されている本発明の原理の記述によって、本技術および関連技術の当業者は、本発明の原理の各種実施形態に従って、本発明の原理の精神を逸脱しない範囲で、これらおよび様々な他の規則および変形例を創作することができるであろう。

ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、散在的ノイズ除去フィルタの特性を制御している規則要素の集合がスライス・ヘッダに存在することを示している。ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、散在的ノイズ除去フィルタの特性を制御している規則要素の集合がスライス・ヘッダに存在しないことを示す。そして、それらの予測値は有効である。

ｑｃｓ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、量子化制約集合（ＱＣＳ）フィルタの特性を制御している集合規則要素がスライス・ヘッダに存在することを示している。ｑｃｓ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、量子化制約集合（ＱＣＳ）フィルタの特性を制御している集合規則要素がスライス・ヘッダに存在しないことを示す。それらの予測値は有効である。

ｄｉｓａｂｌｅ＿ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｆｌａｇは散在的ノイズ除去フィルタの動作が無効にされるかどうか特定する。ｄｉｓａｂｌｅ＿ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｆｌａｇがスライス・ヘッダに存在しない場合、ｄｉｓａｂｌｅ＿ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｆｌａｇは０に等しいと推測される。

ｓｐａｒｓｅ＿ｔｈｒｅｓｈｏｌｄは、散在的ノイズ除去において使用する閾値の値を特定する。ｓｐａｒｓｅ＿ｔｈｒｅｓｈｏｌｄがスライス・ヘッダに存在しない場合、スライス量子化パラメータに基づいて導き出されるデフォルト値が使われる。

ｓｐａｒｓｅ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅは散在的ノイズ除去において使用する変換のタイプを特定する。ｓｐａｒｓｅ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅが０の場合、４×４変換が使われることを示している。ｓｐａｒｓｅ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅが１の場合、８×８変換が使われることを示している。

ａｄａｐｔｉｖｅ＿ｗｅｉｇｈｔｉｎｇ＿ｔｙｐｅは散在的ノイズ除去において使用する加重のタイプを特定する。ａｄａｐｔｉｖｅ＿ｗｅｉｇｈｔｉｎｇ＿ｔｙｐｅが０の場合、散在的加重（sparsity weighting）が使われることを示している。ａｄａｐｔｉｖｅ＿ｗｅｉｇｈｔｉｎｇ＿ｔｙｐｅが０の場合には、平均加重が使われることを示している。

ｄｉｓａｂｌｅ＿ｑｃｓ＿ｆｌａｇは、量子化制約集合（ＱＣＳ）フィルタの動作が無効にされるかどうか特定する。ｄｉｓａｂｌｅ＿ｑｃｓ＿ｆｌａｇがスライス・ヘッダに存在しない場合には、ｄｉｓａｂｌｅ＿ｑｃｓ＿ｆｌａｇは０に等しいと推測される。

ｑｃｓ＿ｐｕｌｌｂａｃｋ＿ｍｏｄｅｌは係数の値を再設定する方法を特定する。ｑｃｓ＿ｐｕｌｌｂａｃｋ＿ｍｏｄｅｌが０の場合には、最も近いセル境界に係数を戻す（pull back）ことを意味する（最も近いセル（または量子化ビン）の境界へ戻す例は、下記図９の最後の行に示されている）。ｑｃｓ＿ｐｕｌｌｂａｃｋ＿ｍｏｄｅｌが１の場合には、係数を中心またはセルの定義済みの値に戻すことを意味する（量子化された係数値が使われる場合、図を参照）。

実施例において、適応型散在的ノイズ除去フィルタの動作は、次の工程を含む。第１のステップにおいて、過剰な変換の集合Ｈ_ｉ（ｉ＝１，．．．Ｍ）が決定される。この特定の集合に関する情報は、デコーダに送信されてもよい。例えば、情報は、スライス、ピクチャおよび／またはシーケンスレベルで、そのように送信されてもよい。かかる情報を送信する際、ハイレベル規則が、データ列に埋め込まれてもよい。ハイレベル規則は、例えば、スライス、ピクチャおよび／またはシーケンスレベルに埋め込まれてもよい。例えば、ＭＰＥＧ−４ＡＶＣ標準のフレームワークの範囲内で、既存の４×４変換、８×８変換および／またはアダマール変換を再利用してもよい。

他のステップにおいて、閾値γ（例えば、量子化ステップおよび／またはエンコーディング・ピクチャの統計に基づく）が決定される。γは、デコーダに送信されてもよい。γは、例えば、ブロック、スライス、ピクチャおよび／またはシーケンスレベルで送信されてもよい。かかる情報を送信する際、少なくとも１つのブロックレベルの規則および／または少なくとも１つのハイレベル規則が、データ列に埋め込まれてもよい。

さらにもう１つのステップにおいて、逆変換の結果を結合する適応型加重方法が決定される。これはデコーダに発信されてもよい。例えば、加重は、ブロック、スライス、ピクチャおよび／またはシーケンスレベルで送信されてもよい。加重がその明確な送信なしで直接導き出される場合、加重ステップに関して、ある程度の補助的情報を送信する必要があってもよい。いかなる加重ステップ情報を送る際でも、少なくとも１つのブロックレベルの規則または少なくとも１つのハイレベル規則が、データ列に埋め込まれてもよい。例えば、平均加重、またはゼロ以外の係数の幾つかの逆加重に適応する散在をベースとした加重を利用することができる。もちろん、本発明の原理は単に前述のタイプの加重だけに限定されない。すなわち、本発明の原理の精神を逸脱しない限り、他のタイプの加重が本発明の原理に従って使われてもよい。

実施例において、改善のために使用する適応型散在的ノイズ除去フィルタの動作は、特定の閾値γを用いて、ノイズ除去された予測［数１］を各変換Ｈ_ｉから求め、さらに適合加重を用いて［数１］を結合し、最終的なノイズ除去された予測［数２］を得ることによってなされる。

実施例において、量子化制約集合の方法論が、以下に示すように最後の改善ステップのために使われる：
（１）新しい残差信号［数３］を算出する。

ここで、Ｐはイントラ／インター予測信号である。
（２）ＭＰＥＧ−４ＡＶＣ標準を残差に適用するのと同じ変換を［数４］に適用する。その結果として得られる変換係数を［数５］とする。

（３）［数５］が本来受け取られた変換係数によって示される量子化セルに存在するか否かをチェックする。係数ごとに、このフィルタリングステップの後で、［数５］が本来の量子化セルから外れてしまった場合、この新しい係数が修正され、本来の量子化セルに一番近い境界値を、それ自体に再設定する。あるいは、各々の係数および／または量子化ビンの統計に応じて、本来の量子化セル内における他の可能な値が、再設定するために使われてもよい。これによって改善された係数をｃ’とする。
（４）ｃ’の逆変換をｒ’とし、Ｐと加算して、最終的な予測ｘ’＝Ｐ＋ｒ’を得る。

適応型散在的ノイズ除去フィルタリングは、原信号を加法的な独立同分布(i.i.d.)のノイズ環境から復元することを目的としている。しかしながら、ビデオ圧縮、特にＭＰＥＧ−４ＡＶＣ標準に係る量子化ノイズは、通常、加法的な独立同分布(i.i.d.)ではない。本発明の原理は先行技術と異なる。すなわち、例えばＭＰＥＧ−４ＡＶＣ標準デブロッキングフィルタの後に一連の改善ステップ（フィルタの連鎖）が使われ、それぞれが少なくとも１つのパートを補正するために設置されるのである。デブロッキングフィルタの後の信号は、加法的な独立同分布(i.i.d.)ノイズの予測により良く適合する。デブロッキングおよびノイズ除去フィルタの使用および／または組合せによって生ずる可能性がある「過剰なフィルタリングの問題」は、後段の量子化制約集合（ＱＣＳ）フィルタによって解決される。フィルタの連鎖は、実際の利用および理論の両者において、ビデオ圧縮アーチファクトを取り除く点で、優れた性能を示す。

図６において、インループのアーチファクト除去フィルタリングを用いて画像データをエンコードする典型的な方法が、参照符号６００によって示されている。

方法６００は、開始ブロック６０５によって開始され、機能ブロック６１０に制御を渡す。機能ブロック６１０は、現在のスライスをエンコードし、かつ機能ブロック６１５に制御を渡す。機能ブロック６１５は、現在のスライスの統計に基づき、デブロッキングフィルタ、散在的ノイズ除去フィルタおよび／または量子化制約集合（ＱＣＳ）が現在のスライスに適用されるか否かを決める。そして、決定ブロック６２０に制御を渡す。決定ブロック６２０は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｓがゼロに等しいか否か判定する、Yesの場合は、機能ブロック６２５に制御を渡す。それ以外の場合には、判断ブロック６３０に制御を渡す。

機能ブロック６２５は、デブロッキングフィルタを使用する。そして、判断ブロック６３０に制御を渡す。

判断ブロック６３０は、ｄｉｓａｂｌｅ＿ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｆｌａｇがゼロに等しいか否か判定する。Yesの場合は、機能ブロック６３５に制御を渡す。それ以外の場合には、判断ブロック６４０に制御を渡す。

機能ブロック６３５は、散在的ノイズ除去フィルタを使用する。そして、判断ブロック６４０に制御を渡す。

判断ブロック６４０は、ｄｉｓａｂｌｅ＿ｑｃｓ＿ｆｌａｇがゼロに等しいか否か判定する。Yesの場合は、機能ブロック６４５に制御を渡す。それ以外の場合には、最終ブロック６９９に制御を渡す。

機能ブロック６４５は、量子化制約集合（ＱＣＳ）を適用する。そして最終ブロック６９９に制御を渡す。

図７において、インループのアーチファクト除去フィルタリングを用いた画像データをデコードする典型的な方法が、参照符号７００によって示されている。

方法７００は、開始ブロック７０５によって開始され、機能ブロック７１０に制御を渡す。機能ブロック７１０は、ビット列を解析して、規則をデコードする。そして、機能ブロック７１５に制御を渡す。機能ブロック７１５は、現在のスライスをデコードする。そして、判断ブロック７２０に制御を渡す。判断ブロック７２０は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃがゼロに等しいか否か判定する。Yesの場合は、機能ブロック７２５に制御を渡す。それ以外の場合には、判断ブロック７３０に制御を渡す。

機能ブロック７２５は、デブロッキングフィルタを使用する。そして、判断ブロック７３０に制御を渡す。

判断ブロック７３０は、ｄｉｓａｂｌｅ＿ｓｐａｒｓｅ＿ｆｉｌｔｅｒ＿ｆｌａｇがゼロに等しいか否か判定する。Yesの場合は、機能ブロック７３５に制御を渡す。それ以外の場合には、判断ブロック７４０に制御を渡す。

機能ブロック７３５は、散在的ノイズ除去フィルタを使用する。そして、判断ブロック７４０に制御を渡す。

判断ブロック７４０は、ｄｉｓａｂｌｅ＿ｑｃｓ＿ｆｌａｇがゼロに等しいか否か判定する。Yesの場合は、機能ブロック７４５に制御を渡す。それ以外の場合には、最終ブロック７９９に制御を渡す。

機能ブロック７４５は、量子化制約集合（ＱＣＳ）を適用する。そして最終ブロック７９９に制御を渡す。

図８には、アーチファクト除去／低減の後、量子化制約集合（ＱＣＳ）係数修正を実行する典型的な装置が参照符号８００によって示されている。装置８００は、結合器８０５を有する。結合器８０５の出力は、ＭＰＥＧ−４ＡＶＣ変換器８１０の入力に信号伝達接続されている。ＭＰＥＧ−４ＡＶＣ標準・変換器８１０の出力は、比較および修正モジュール８１５の第１の入力に信号伝達接続されている。比較および修正モジュール８１５の出力は、ＭＰＥＧ−４ＡＶＣ逆変換器８２０の入力に信号伝達接続されている。ＭＰＥＧ−４ＡＶＣ逆変換器８２０の出力は、結合器８２５の第１の非反転入力に信号伝達接続されている。

結合器８０５の非反転入力は、再構築されフィルタ処理されたビデオ・ピクチャを受け取るために、装置８００の入力として使われる。予測されたビデオ・ピクチャを受け取るために、結合器８０５の逆相入力は、装置８００の入力として使われる。量子化ビン・パターンを受け取るために、比較および訂正モジュール８１５の第２の入力は、装置８００の入力として使われる。デコードされた係数を受け取るために、比較および訂正モジュール８１５の第３の入力は、装置８００の入力として使われる。予測されたビデオ・ピクチャを受け取るために、結合器８２５の第２の非反転入力は、装置の入力として使われる。再構築され、フィルタ処理され、かつ量子化制約集合（ＱＣＳ）で修正されたビデオ・ピクチャを出力するために、結合器８２５の出力は、装置の出力として使われる。

ＭＰＥＧ−４ＡＶＣ変換器８１０は、デコードされた残差に適用される。ＭＰＥＧ−４ＡＶＣ逆変換器８２０は、デコードされた残差に適用される。比較および訂正モジュール８１５は、変換領域のデコードされた、かつフィルタ処理ピクチャを比較し、かつ過剰にフィルタリングされた係数を修正する。

図９において、ビデオ・エンコーディング／デコーディングにおいて過剰にフィルタリングされた問題を修正するために、ＱＣＳを使用する典型的な量子化ビンが、参照符号９００によって示されている。本来の値がｘであると仮定する。量子化器の境界値がｙ_ｉ，ｉ＝１，２．．ｎ，．．．であるとする。特定のビンは、９１０、９２０、９３０、および９４０によって示されている。ビン９１０において、ｘは、量子化ビン（ｙ_ｎ−１，ｙ_ｎ］内に存在する。ビン９２０において、エンコーダの量子化プロセスの後、ｘの再構築の値は、ｘ’である。これは量子化ビンの（ｙ_ｎ−１，ｙ_ｎ］内に存在する。ビン９３０において、アーチファクトを除去した処理の後、ｘのフィルタ処理係数は、ｘ’’である。これは量子化ビンにおいて（ｙ_ｎ，ｙ_ｎ＋１］に存在する。しかしながら、係数は本来の量子化ビンの外側にあってはならない。それは、（ｙ_ｎ−１，ｙ_ｎ］にあるべきである。ビン９４０において、ＱＣＳプロセスを適用する。そして、ｘ’’’をｙ_ｎと等しい値にセットする。そして、これが最終的に再構築された値である。

以下の記述において、本願発明の効果／特徴を説明する。その一部分は、既に述べた通りである。例えば、１つの効果／特長は、イメージ領域をエンコードするためのエンコーダを含む装置であり、エンコーダは、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタを有するということである。

他の効果／特長は、上記の通り、少なくとも２つのフィルタを含むエンコーダを有する装置であり、少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を適用するために用いられるということである。

さらにもう１つの効果／特長は、少なくとも２つのフィルタを含むエンコーダを有する装置であり、少なくとも２つのフィルタのうちの少なくとも１つが上述したように少なくとも１つの圧縮制約を適用するために用いられ、この少なくとも１つの圧縮制約が量子化制約集合を含むことである。

さらに、他の効果／特長は、少なくとも２つのフィルタのうちの少なくとも１つが上述のように少なくとも１つの圧縮制約を実行するために用いられる少なくとも２つのフィルタを含むエンコーダを有する装置であり、イメージ領域に対応する少なくとも１つの圧縮制約の少なくとも１つの圧縮の制約のパラメータを適応的に示す少なくとも１つの圧縮制約および付随的情報のための使用可能性情報または使用不可能情報のうちの少なくとも１つは、少なくとも１つのハイレベル規則要素および少なくとも１つのブロックレベルの規則要素のうちの少なくとも１つを使用して信号として送られる。

さらに、他の効果／特長は、少なくとも２つのフィルタのうちの少なくとも１つが上述のように少なくとも１つの圧縮の制約を実行するために用いられる少なくとも２つのフィルタを含むエンコーダを有する装置であり、イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計の少なくとも一部に基づいて、少なくとも１つの圧縮の制約パラメータが適応的に示されることである。

更に、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、少なくとも２つのフィルタのうちの少なくとも１つは、デブロッキングフィルタ、リンギング除去フィルタ、ノイズ除去フィルタ、信号予測フィルタ、線形フィルタ、および、非線形フィルタを含むということである。

また、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、（フィルタの）合計数、タイプ、および、少なくとも２つのフィルタの実装の順序は、動的に選べるということである。

加えて、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、２以上のフィルタのうちの少なくとも１つは、イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計に基づいて、適応的に、使用可能または使用不可能にされるということである。

さらに、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、２以上のフィルタのうちの少なくとも１つのための使用可能性情報または使用不可能情報は、少なくとも１つのハイレベル規則要素および少なくとも１つのブロックレベルの規則要素のうち少なくとも１つを使用して信号として送信されるということである。

更に、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、エンコーダは、２以上のフィルタのパラメータを適応的に示すために、イメージ領域に対応する補助的情報を送信し、この補助的情報はマクロブロックレベル、スライスレベル、ピクチャレベル、およびシーケンスレベルのうちの少なくとも１つで送信されるということである。

また、他の効果／特長は、上述のように補助的情報を送信するエンコーダを有する装置であり、２以上のフィルタの少なくとも１つのパラメータは、少なくとも部分的にはイメージ領域に対応する少なくとも１つのデータ特性およびデータ統計に基づいて、適応的に、調整される。

加えて、他の効果／特長は、上述のように少なくとも２つのフィルタを有するエンコーダを有する装置であり、２以上のフィルタはツーパス・フィルタに含まれ、ツーパス・フィルタは、量子化アーチファクトの第１のタイプとしてのブロッキング・アーチファクトを減少させるために初回パスを実行するためのデブロッキングフィルタおよび量子化アーチファクトの第２のタイプとしてのノイズを減少させるために第２のパスを実行するための散在的ノイズ除去フィルタを含んでいるということである。

さらに、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、２以上のフィルタは、ツーパス・フィルタに含まれ、エンコーダは、第２のパスの後に量子化制約集合を実施するということである。

更に、他の効果／特長は、エンコーダを有する装置であり、上述のように２以上のフィルタがツーパス・フィルタに含まれ、エンコーダは、少なくとも１つのハイレベル規則要素および少なくとも１つのブロックレベルの規則要素のうちの少なくとも１つを用いて量子化制約プロセスプルバックメソッド（quantization constraint process pullback
method）の信号を送信するということである。

また、他の効果／特長は、エンコーダを有する装置であり、２以上のフィルタが上述のようにツーパス・フィルタに含まれ、エンコーダは、散在的ノイズ除去フィルタのための、変換タイプ、閾値、および加重方法のうちの少なくとも１つの信号を、少なくとも１つのハイレベル規則要素および少なくとも１つのブロックレベル規則要素のうちの少なくとも１つによって送るということである。

加えて、他の効果／特長は、上述のように少なくとも２つのフィルタを含むエンコーダを有する装置であり、少なくとも２つのフィルタはイメージ領域をエンコードすることに対応するインループフィルタであり、表示されるイメージ領域のバージョンは、少なくとも２つのインループフィルタの後のイメージ領域に対応する出力信号および少なくとも２つのインループフィルタの前のイメージ領域に対応する最初の入力信号のうちの少なくとも１つと異なるということである。

これらの、そしてまた他の、特長および本発明の原理の効果は、本願明細書における説明に基づいて当業者により、直ちに理解される。説明された本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサまたはそれらの組み合わせの様々な形態により実行され得ると理解すべきである。

本願発明の原理は、最も好ましくは、ハードウェアおよびソフトウェアの組合せとして実行される。さらに、ソフトウェアは、プログラム記憶装置に明確に格納されているアプリケーションプログラムとして実行されてもよい。アプリケーションプログラムは、適切なアーキテクチャを有するいかなるマシンにアップロードされ、かつ実行されてもよい。マシンは、ハードウェア、例えば１つ以上のＣＰＵ、ランダムアクセスメモリ（ＲＡＭ）および入出力（Ｉ／Ｏ）インタフェースを有するコンピュータプラットフォームに実装されることが望ましい。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードを含んでもよい。本願明細書において記載されているさまざまな方法および機能はＣＰＵによって実行されるマイクロ命令コードの一部、またはアプリケーションプログラムまたはいかなるそれらの組み合わせの一部でもよい。加えて、さまざまな他の周辺装置、例えば、追加的なデータ記憶装置および印刷装置などが、コンピュータプラットフォームに接続されてもよい。

添付の図面に示したシステムコンポーネントおよび方法の一部はソフトウェアで実行することが好ましい。このため、システムコンポーネントまたは方法の機能ブロック間の実際の関係は、本発明がプログラムされる形態によって、異なることがあってもよいと理解されるべきである。本願明細書の記載に基づいて、当業者は、これらおよび同様の実施例または本発明の原理の構成を考察することが可能である。

実施例が添付の図面に関して本願明細書において記載されているが、それらの正確な実施例だけに限定されるべきではないと理解すべきである。そして、そのさまざまな改変と変更態様が、本発明の原理のまたは精神を逸脱しない範囲で当業者によって遂行されてもよい。すべてのかかる改変と変更態様は、請求項に記載した本発明の原理の範囲内に含まれることを意図している。

Claims (25)

1. イメージ領域をエンコードするためのエンコーダを有し、前記エンコーダは、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタを含む、装置。
2. 前記少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を実施するために用いられる、請求項１記載の装置。
3. ２以上のフィルタのうちの少なくとも１つは、前記イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計によって、適応的に、使用可能または使用不可能にされる、請求項１記載の装置。
4. ２以上のフィルタはツーパス・フィルタに含まれ、前記ツーパス・フィルタが、前記第１のタイプの量子化アーチファクトとしてのブロッキング・アーチファクトを減少させるために初回パスを実行するためのデブロッキングフィルタ、および前記第２のタイプの量子化アーチファクトとしてのノイズを減少させるために第２のパスを実行するための散在的ノイズ除去フィルタを含む、請求項１記載の装置。
5. 前記少なくとも２つのフィルタは前記イメージ領域をエンコードすることに対応するインループフィルタであり、かつ、表示される前記イメージ領域のバージョンは、前記少なくとも２つのインループフィルタの後で前記イメージ領域に対応する出力信号および前記少なくとも２つのインループフィルタの前で前記イメージ領域に対応する前記最初の入力信号のうちの少なくとも１つと異なる、請求項１記載の装置。
6. イメージ領域をエンコードするステップを有し、前記エンコードするステップは、連鎖してそれぞれ少なくとも２つのフィルタを使用して、少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを実行するステップを含む、方法。
7. 前記少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を実施するために用いられる、請求項６記載の方法。
8. ２以上のフィルタのうちの少なくとも１つは、前記イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計によって、適応的に、使用可能または使用不可能にされる、請求項６記載の方法。
9. ２以上のフィルタはツーパス・フィルタに含まれ、前記ツーパス・フィルタが、前記第１のタイプの量子化アーチファクトとしてのブロッキング・アーチファクトを減少させるために初回パスを実行するためのデブロッキングフィルタ、および前記第２のタイプの量子化アーチファクトとしてのノイズを減少させるために第２のパスを実行するための散在的ノイズ除去フィルタを含む、請求項６記載の方法。
10. 前記少なくとも２つのフィルタは前記イメージ領域をエンコードするステップに対応するインループフィルタであり、かつ、表示される前記イメージ領域のバージョンは、前記少なくとも２つのインループフィルタの後で前記イメージ領域に対応する出力信号および前記少なくとも２つのインループフィルタの前で前記イメージ領域に対応する前記最初の入力信号のうちの少なくとも１つと異なる、請求項６記載の方法。
11. イメージ領域をデコードするためのデコーダを有し、前記デコーダは、それぞれ少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタを含む、装置。
12. 前記少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を実施するために用いられる、請求項１１記載の装置。
13. ２以上のフィルタのうちの少なくとも１つは、前記イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計によって、適応的に、使用可能または使用不可能にされる、請求項１１記載の装置。
14. ２以上のフィルタはツーパス・フィルタに含まれ、前記ツーパス・フィルタが、前記第１のタイプの量子化アーチファクトとしてのブロッキング・アーチファクトを減少させるために初回パスを実行するためのデブロッキングフィルタ、および前記第２のタイプの量子化アーチファクトとしてのノイズを減少させるために第２のパスを実行するための散在的ノイズ除去フィルタを含む、請求項１１記載の装置。
15. 前記少なくとも２つのフィルタは前記イメージ領域をデコードすることに対応するインループフィルタであり、かつ、表示される前記イメージ領域のバージョンは、前記少なくとも２つのインループフィルタの後で前記イメージ領域に対応する出力信号および前記少なくとも２つのインループフィルタの前で前記イメージ領域に対応する前記最初の入力信号のうちの少なくとも１つと異なる、請求項１１記載の装置。
16. イメージ領域をデコードするステップを有し、前記デコードするステップは、連鎖してそれぞれ少なくとも２つのフィルタを使用して、少なくとも第１および第２のタイプの量子化アーチファクトを減少させるためにインループフィルタリングを実行するステップを含む、方法。
17. 前記少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を実施するために用いられる、請求項１６記載の方法。
18. ２以上のフィルタのうちの少なくとも１つは、前記イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計によって、適応的に、使用可能または使用不可能にされる、請求項１６記載の方法。
19. ２以上のフィルタはツーパス・フィルタに含まれ、前記ツーパス・フィルタが、前記第１のタイプの量子化アーチファクトとしてのブロッキング・アーチファクトを減少させるために初回パスを実行するためのデブロッキングフィルタ、および前記第２のタイプの量子化アーチファクトとしてのノイズを減少させるために第２のパスを実行するための散在的ノイズ除去フィルタを含む、請求項１６記載の方法。
20. 前記少なくとも２つのフィルタは前記イメージ領域をデコードするステップに対応するインループフィルタであり、かつ、表示される前記イメージ領域のバージョンは、前記少なくとも２つのインループフィルタの後で前記イメージ領域に対応する出力信号および前記少なくとも２つのインループフィルタの前に前記イメージ領域に対応する前記最初の入力信号のうちの少なくとも１つと異なる、請求項１６記載の方法。
21. エンコードされるビデオ信号データを含む記憶媒体であって：
    イメージ領域フィールドを有し、該イメージ領域フィールドは、少なくとも第１および第２のタイプの量子化アーチファクトをそれぞれ減少させるためにインループフィルタリングを連鎖して実行するための少なくとも２つのフィルタを使用してエンコードされる、記憶媒体。
22. 前記少なくとも２つのフィルタのうちの少なくとも１つは、少なくとも１つの圧縮制約を実施するために用いられる、請求項２１記載の記憶媒体。
23. 前記少なくとも１つの圧縮制約は、量子化制約集合を含む、請求項２２記載の記憶媒体。
24. 前記２つのフィルタのうちの少なくとも１つは、前記イメージ領域に対応する少なくとも１つのデータ特性およびデータ統計によって、適応的に、使用可能または使用不可能にされる、請求項２１記載の記憶媒体。
25. 前記２つのフィルタのうちの少なくとも１つのための使用可能情報または使用不可能情報は、ハイレベル規則要素およびブロックレベルの規則要素のうちの少なくとも１つを使用して信号として送られる、請求項２１記載の記憶媒体。

Images