JP6104975B2 - スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置 - Google Patents

Description

本出願は、２００９年４月１４日付で出願された米国仮特許出願第６１／１６８，９９０号（代理人整理番号ＰＵ０９００４１）の利益を主張するものであり、その開示内容全体を本明細書に盛り込んだものとする。

本発明の原理は、一般的には、ビデオ符号化および復号に関し、より具体的には、スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置に関する。

ビデオ符号化規格は、ブロックベースの変換（例えばユビキタス離散コサイン変換またはＤＣＴ）および動き補償を用いて圧縮効率を得る。変換係数の粗い量子化、さらに、動き補償された予測において各隣接ブロックによって相異なるリファレンス位置または相異なるリファレンス・ピクチャを使用すると、エッジ、テクスチャの周りの歪みやブロックの不連続など、視覚的な不快感を伴うアーティファクトが生じる場合がある。現行のＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＥＰＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４） Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ‐Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と称する）においては、ブロック境界に沿って生ずるアーティファクトに対処するために、適応型のデブロッキング・フィルタが用いられる。

ブロックの不連続部分においてだけでなく、画像に特異性が存在する部分（例えばエッジおよび／またはテクスチャ）の周囲にアーティファクトが現れるたびに、このアーティファクトに対処するための、アーティファクトを除去するより一般的なアプローチが提案されている。第１の従来技術のアプローチにおいては、クォータ共通中間フォーマット（ｑｕａｒｔｅｒ ｃｏｍｍｏｎ ｉｎｔｅｒｍｅｄｉａｔｅ ｆｏｒｍａｔ（ＱＣＩＦ））および共通インタフェース・フォーマット（ｃｏｍｍｏｎ ｉｎｔｅｒｆａｃｅ ｆｏｒｍａｔ（ＣＩＦ））など、相対的に低解像度のビデオ・ソースにおけるノイズのある再構築された信号のスパース分解を提供するために、オーバーコンプリートな４×４ＤＣＴのセットが利用される。しかしながら、小さなサイズのＤＣＴ変換は、高解像度のビデオ・コンテンツ（例えば７２０ｐおよび１０８０ｐのビデオ・コンテンツ）において効率的ではないことがあり、より大きなサイズの変換、または、増加した空間解像度に対するスケーリングを良好に行うために異なる基準が必要である。具体的には、（閾値、反復処理数などを含む）フィルタ・パラメータは、フィルタリング性能にとって非常に重要であり、さらに、変換に対して適応的なものであるとよい。

ＭＰＥＧ−４ ＡＶＣ規格におけるデブロッキング・フィルタ
現行のＭＰＥＧ−４ ＡＶＣ規格内では、インループ・デブロッキング・フィルタが採用されている。フィルタは、ブロック境界に沿って生ずるアーティファクトを減衰させるように動作する。このようなアーティファクトは、変換（ＤＣＴ）係数の粗い量子化と共に、動き補償された予測によって生ずる。ブロックの各エッジにローパス・フィルタを適応的に適用することによって、デブロッキング・フィルタは、ビデオ品質を主観的にも客観的にも改善させることができる。このフィルタは、ブロック・エッジの周りのサンプルの分析を実行することによって働き、フィルタ強度を適応化させてブロッキーなアーティファクトに起因する小さな強度差を減衰させる一方で、実際の画像コンテンツに係る一般的により大きな強度差を保持する。幾つかのブロック符号化モードおよび状態もまた、フィルタリングが適用される強度を示すように機能する。これらには、インター／イントラ予測決定および隣接ブロック間の符号化された残差や動きの差の存在が含まれる。デブロッキング・フィルタは、ブロック・レベルでの適応性を有する上、スライス・レベルおよびサンプル・レベルでの適応性を有する。スライス・レベルでは、フィルタリング強度は、ビデオ・シーケンスの個々の特性に応じて調節することができる。サンプル・レベルでは、サンプル値および量子化器ベースの閾値に依存して個々のサンプルでフィルタリングをオフにすることができる。

ＭＰＥＧ−４ ＡＶＣ規格のデブロッキング・フィルタによって除去されるブロッキーなアーティファクトは、圧縮されたビデオに存在するアーティファクトのみではない。粗い量子化に起因して、リンギング（ｒｉｎｇｉｎｇ）、エッジの歪み、さらに、テクスチャの破損などの他のアーティファクトが発生する。デブロッキング・フィルタは、ブロック内に現れる量子化エラーによって生ずるアーティファクトを低減することはできない。さらに、デブロッキングに用いられるローパス・フィルタリング技術は、スムーズな画像モデルを想定しており、例えばエッジまたはテクスチャなどの画像の特異性が存在する部分の処理に適したものではない。

スパース性ベースのアーティファクト除去
スパース性ベースのノイズ除去技術により動機付けられて、第１の従来技術のアプローチに関し、上述した圧縮アーティファクト除去技術のために非線型のイン・ループ・フィルタが提案されている。この第１の従来技術のアプローチは、オーバーコンプリートな変換のセットによって提供されるノイズ除去された推定値のセットを使用する。第１の従来技術のアプローチの実施態様は、ウエーブレットまたはＤＣＴなど、所与の２Ｄ直交変換Ｈに対して想定される全ての変換Ｈ_ｉを用いることにより、オーバーコンプリートな変換のセットを生成する。従って、所与の画像Ｉにつき、様々な変換Ｈ_ｉを適用することによって、この画像Ｉに対し、一連の異なる変換されたバージョンＹ_ｉが作成される。次に、変換された各バージョンＹ_ｉに対し、通常、閾値処理を含む、ノイズ除去処理が適用され、一連のＹ’_ｉが生成される。次に、変換され、閾値処理が行われた係数Ｙ’_ｉは、空間ドメインに逆変換され、ノイズ除去された推定値Ｉ’_ｉを発生させる。オーバーコンプリート設定においては、ノイズ除去された推定値のうちの幾らかは、他のものよりも良好なパフォーマンスを提供するものと考えられ、最終的にフィルタリングされたバージョンＩ’は、このようなノイズ除去された各推定値を平均化したものから得られた組み合わせによる利点を得ることができる。第１の従来技術のアプローチのノイズ除去フィルタは、ノイズ除去された各推定値Ｉ_ｉ’の加重平均を用いることを提案するものであり、ここで、各重みは、信号のスパース性に基づいて、最良のノイズ除去された推定値を強調するように最適化されている。

直交変換｛Ｈ_ｉ｝のセットは、画像Ｉのスパース分解を提供するものと期待されている。例えばブロック・サイズ４×４のＤＣＴは、ＱＣＩＦコンテンツのために第１の従来技術のアプローチの処理において使用されている。高解像度（ＨＤ）コンテンツに対する需要の高まりにより、小さなブロック・サイズのＤＣＴは、それが増加する解像度に対して十分に高まっていないので、もはや効率的なものとはいえない場合がある。特に、符号化処理が大きな変換を利用し、より大きなブロック・スケールにおいて係数の量子化を行うような場合には、小さなブロック・サイズのＤＣＴはもはや効率的なものとはいえない場合がある。この点に関し、ノイズ除去において、より大きなブロック・ユニット内で、空間相関をより良好に利用するために、より大きなサイズ（例えば８×８または１６×１６）の変換、または、異なる基底関数を用いた変換が採用される。

また、アーティファクト除去のパフォーマンスにとっては、フィルタ・パラメータの選択、例えば閾値などの選択が非常に重要である。閾値は、ノイズ除去された推定値の正確性および最良のノイズ除去推定値を強調する平均重みの両方の点で、フィルタのノイズ除去能力にとって必須である。不適切な閾値の選択により、過度にスムージングされた再構築ピクチャが生じたり、アーティファクトが残ってしまったりすることがある。第１の従来技術のアプローチでは、量子化パラメータ（ＱＰ）と符号化モード情報に基づいた画素クラス毎の選択された各閾値が符号化器側と復号器側との両方に記憶され、これらは、変換に適応的なものではない。

相異なる変換サイズまたは相異なる基底関数を用いることで、同じＱＰまたは符号化モードの下でのビデオ・シーケンスのノイズまたはアーティファクトの挙動は異なることがあり、これにより、相異なるフィルタ・パラメータが必要となることがある。

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は本願発明の原理によって対処される。本願発明の原理は、スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置に関する。

本願の原理の一態様によれば、装置が提供される。この装置は、少なくともピクチャの少なくとも部分についてのピクチャ・データを符号化する符号化器を含む。符号化器は、この部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するスパース性ベースのアーティファクト除去フィルタを含む。スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択される。

本願の原理の別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、少なくともピクチャの少なくとも部分についてのピクチャ・データを符号化するステップを含む。符号化するステップは、この部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するステップを含む。スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択される。

本願の原理のさらに別の態様によれば、装置が提供される。この装置は、少なくともピクチャの少なくとも部分についてのピクチャ・データを復号する復号器を含む。復号器は、この部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するスパース性ベースのアーティファクト除去フィルタを含む。スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択される。

本願の原理のさらに別の態様によれば、ビデオ復号器における方法が提供される。この方法は、少なくともピクチャの少なくとも部分についてのピクチャ・データを復号するステップを含む。復号するステップは、この部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するステップを含む。スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択される。

本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて読まれるべき、以下の例示的な実施形態の詳細な説明によって明らかになるであろう。

本願の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。

本発明の原理の実施形態に従った、本発明の原理が適用される例示的なビデオ符号化器を示すブロック図である。 本発明の原理の実施形態に従った、本発明の原理が適用される例示的なビデオ復号器を示すブロック図である。 本発明の原理の実施形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法を示すフロー図である。

本発明の原理は、スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置に関する。

本説明は、本発明の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。

本明細書に記載された全ての例および条件付の文言は、本発明の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。

また、本明細書における本発明の原理、態様、および、実施形態についての全ての記載、さらに、その特定の例は、構造的な均等物、機能的な均等物の双方を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

従って、例えば当業者であれば、本明細書において示されたブロック図は、本発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、プロセッサの中に共有されているものがあってもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性の記憶装置を暗黙的に含むことがある。

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。状況に応じて具体的に理解されるように、実施者により、特定の技術を選択可能である。

請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えばａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアの実行に適した回路と組み合わせたものも包含する。このような請求の範囲によって定義される本発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。

明細書において、本発明の原理の「一実施形態」、「実施形態」、または、この類の表現が言及されている場合、これは、実施形態に関して記載される特定の特徴事項、構造、特性などが本発明の原理の少なくとも１つの実施形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施形態においては」、「実施形態においては」、または、この類の表現は、必ずしも、全てが同一の実施形態について言及するものではない。

「／（スラッシュ）」、「および／または」、さらに、「〜のうちの少なくとも一方（〜のうちの少なくとも１つ）」の使用は、例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、「ＡおよびＢのうちの少なくとも一方」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含するものと意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、１番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみの選択、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するものと意図されている。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

さらに、本明細書において、本発明の原理の１つ以上の実施形態は、ＭＰＥＧ−４ ＡＶＣ規格に関して記載されているが、本発明の原理は、この規格のみに限定されるものではない。従って、本発明の原理は、本発明の原理の精神を逸脱することなく、ＭＰＥＧ−４ ＡＶＣ規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。

また、本発明の原理の１つ以上の実施形態を閾値パラメータに関して説明しているが、本発明の原理が適用されるフィルタ・パラメータに関し、閾値パラメータのみに本発明の原理が限定されるものではなく、本発明の原理の精神を逸脱することなく、本願および関連する技術における当業者によって容易に決定されるように、どのような他のフィルタ・パラメータにも適用することができる。

また、本明細書において使用される単語「ピクチャ」および「イメージ」は、同じ意味で使用され、静止画像または、ビデオ・シーケンスからのピクチャを意味する。公知であるように、ピクチャは、フレームやフィールドであったりする。

また、本明細書において使用される単語「信号送信（ｓｉｇｎａｌ）」は、特に、何かを対応する復号器に示すものを指す。例えば符号化器は、符号化器の側で使用した特定の変換サイズおよび／またはフィルタ・パラメータを復号器に知らせるために、この復号器に対し、想定される変換サイズおよび／またはフィルタ・パラメータのグループのうち、特定の変換サイズおよび／またはフィルタ・パラメータを信号送信する。このようにして、同一の変換サイズおよび／またはフィルタ・パラメータを符号化器側と、復号器側の双方で用いることができる。従って、例えば符号化器は、特定の変換サイズおよび／またはフィルタ・パラメータを復号器に送信し、復号器が同一の変換サイズおよび／またはフィルタ・パラメータを用いることができるようにしてもよく、復号器が既に他のものと共に特定の変換サイズおよび／またはフィルタ・パラメータを有する場合には、（データを送信することなく）信号送信により、単純に、復号器に対し、特定の変換サイズおよび／またはフィルタ・パラメータを知らせ、これを選択させるようにしてもよい。任意の実際の変換サイズおよび／またはフィルタ・パラメータの送信を回避することによって、ビット節約を実現できる。信号送信は、様々な方法で行えることが理解できよう。例えば１つ以上のシンタックス要素、フラグなどを用いて対応する復号器に情報を信号送信することができる。上述の内容は、単語“ｓｉｇｎａｌ”の動詞形（信号送信）に関するものであるが、本明細書において、単語“ｓｉｇｎａｌ”は、名詞（信号）として使用されることもある。

さらに、本明細書において使用される用語「ピクチャ領域（または、簡略化して、単に、「領域」）は、例えば任意のサイズの任意の形を有する１つ以上のブロックを包含する、および／または、任意のサイズの任意の形を有する１つ以上のブロックから形成されるピクチャの部分を指す。１つ以上のブロックは、例えばスーパーマクロブロック、マクロブロック、マクロブロック・パーティションなどに関することがある。さらに、ブロック境界に限定される従来のデブロッキング・フィルタとは異なり、本発明の原理に従ったピクチャ領域には、ブロック境界に加えて、非ブロック境界を含めることができる。即ち、実施形態によっては、ピクチャ領域は、非ブロック境界のみを含むことがある（即ち、ブロック境界を含まないことがある）。従って、ブロック境界以外の領域に対し、フィルタリングを適用してこの領域からアーティファクトを除去または低減できるという効果が得られる。

図１を参照するに、本発明の原理に従ってビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。

ビデオ符号化器１００は、結合器１８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力部は、変換器／量子化器１２５の第１の入力部と信号通信するように結合されている。変換器／量子化器１２５の出力部は、エントロピー符号化器１４５の第１の入力部と、逆変換器／逆量子化器１５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器１４５の出力部は、結合器１９０の第１の非反転入力部と信号通信するように結合されている。結合器１９０の出力部は、出力バッファ１３５の第１の入力部と信号通信するように結合されている。

符号化器コントローラ１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部と、逆変換器／逆量子化器１５０の第２の入力部と、ピクチャ・タイプ決定モジュール１１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部と、イントラ予測モジュール１６０の第２の入力部と、アーティファクト除去フィルタ１６５の第２の入力部と、動き補償器１７０の第１の入力部と、動き推定器１７５の第１の入力部と、参照ピクチャ・バッファ１８０の第２の入力部と信号通信するように結合されている。

符号化器コントローラ１０５の第２の出力部は、補助拡張情報（ＳＥＩ）挿入器１３０の第１の入力部と、変換器／量子化器１２５の第２の入力部と、エントロピー符号化器１４５の第２の入力部と、出力バッファ１３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の入力部と信号通信するように結合されている。

ＳＥＩ挿入器１３０の出力部は、結合器１９０の第２の非反転入力部と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力部は、マクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器１４０の出力部は、結合器１９０の第３の非反転入力部と信号通信するように結合されている。

逆変換器／逆量子化器１５０の出力部は、結合器１１９の第１の非反転入力部と信号通信するように結合されている。結合器１１９の出力部は、イントラ予測モジュール１６０の第１の入力部と、アーティファクト除去フィルタ１６５の第１の入力部と信号通信するように結合されている。アーティファクト除去フィルタ１６５の出力部は、参照ピクチャ・バッファ１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力部は、動き推定器１７５の第２の入力部と動き補償器１７０の第３の入力部と信号通信するように結合されている。動き推定器１７５の第１の出力部は、動き補償器１７０の第２の入力部と信号通信するように結合されている。動き推定器１７５の第２の出力部は、エントロピー符号化器１４５の第３の入力部と信号通信するように結合されている。

動き補償器１７０の出力部は、スイッチ１９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１６０の出力部は、スイッチ１９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部と信号通信するように結合されている。スイッチ１９７の第３の入力部は、スイッチの（制御入力部、即ち、第３の入力部と比較される）「データ」入力が、動き補償器１７０またはイントラ予測モジュール１６０によって供給されるかどうかを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部および結合器１８５の反転入力部と信号通信するように結合されている。

フレーム順序付けバッファ１１０の第１の入力部および符号化器コントローラ１０５の入力部は、符号化器１００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器１３０の第２の入力部は、符号化器１００の入力部として、メタデータを受信するために利用可能である。出力バッファ１３５の出力部は、符号化器１００の出力部として、ビットストリームを出力するために利用可能である。

図２を参照するに、本発明の原理に従ってビデオ復号を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。

ビデオ復号器２００は、エントロピー復号器２４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力部は、逆変換器／逆量子化器２５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力部は、結合器２２５の第２の非反転入力部と信号通信するように結合されている。結合器２２５の出力部は、アーティファクト除去フィルタ２６５の第２の入力部と、イントラ予測モジュール２６０の第１の入力部と信号通信するように結合されている。アーティファクト除去フィルタ２６５の第２の出力部は、参照ピクチャ・バッファ２８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力部は、動き補償器２７０の第２の入力部と信号通信するように結合されている。

エントロピー復号器２４５の第２の出力部は、動き補償器２７０の第３の入力部と、アーティファクト除去フィルタ２６５の第１の入力部とイントラ予測モジュール２６０の第３の入力部と信号通信するように結合されている。エントロピー復号器２４５の第３の出力部は、復号器コントローラ２０５の入力部と信号通信するように結合されている。復号器コントローラ２０５の第１の出力部は、エントロピー復号器２４５の第２の入力部と信号通信するように結合されている。復号器コントローラ２０５の第２の出力部は、逆変換器／逆量子化器２５０の第２の入力部と信号通信するように結合されている。復号器コントローラ２０５の第３の出力部は、アーティファクト除去フィルタ２６５の第３の入力部と信号通信するように結合されている。復号器コントローラ２０５の第４の出力部は、イントラ予測モジュール２６０の第２の入力部と、動き補償器２７０の第１の入力部と、参照ピクチャ・バッファ２８０の第２の入力部と信号通信するように結合されている。

動き補償器２７０の出力部は、スイッチ２９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール２６０の出力部は、スイッチ２９７の第２の入力部と信号通信するように結合されている。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部と信号通信するように結合されている。

入力バッファ２１０の入力部は、復号器２００の入力部として、入力ビットストリームを受信するために利用可能である。アーティファクト除去フィルタ２６５の第１の出力部は、復号器２００の出力部として、出力ピクチャを出力するために利用可能である。

上述したように、本発明の原理は、スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置に関する。

本発明の原理に従って、可変変換のアーティファクト除去フィルタリングに基づいて、フィルタ・パラメータを適応化、調整、設定、および／または、選択および構成する方法および装置が提案される。フィルタ・パラメータの適応化は、スパース性ベースのアーティファクト除去に対して著しい影響を与えることが可能であるため、本発明の原理に関わる可変変換のアーティファクト除去フィルタリングのためのフィルタ・パラメータを構成できることにより、符号化効率を向上できるという利点が得られる。

一実施形態においては、基底が同じ方向であるが、異なる変換サイズを有する変換に焦点を当てる。ＱＰおよびモード情報だけでなく、変換サイズにも基づいてフィルタ・パラメータを適応化させる。例示的な目的で、ＭＰＥＧ−４ ＡＶＣ規格、さらに、閾値パラメータに適応化させる例に関して説明するが、上述したように、本発明の原理の精神を逸脱することなく、本発明の原理を他のどのようなビデオ符号化規格および／または勧告、および／または、その拡張版、他のパラメータに適用することもできる。さらに、他の実施形態は、相異なる方向を有する１つ以上の変換に関わる場合があることが理解できよう。

一実施形態においては、変換は、１つ以上のＤＣＴ、ウエーブレットなどとすることができ、変換サイズは、４×４、８×８、１６×１６、３２×３２などのうちの１つ以上であり、変換次元は、１、２、またはそれ以上である。勿論、本発明の原理の精神を逸脱することなく、本発明の原理は、前述した変換タイプ、変換サイズ、または、変換次元に限定されるものではなく、他の変換タイプ、変換サイズ、変換次元にも適用することができる。変換サイズ毎に、アーティファクト除去フィルタの各パラメータを異なるものとしてもよい。選択された変換サイズとこれに対応するフィルタ・パラメータの双方を信号送信する必要があり、例えば限定するものではないが、各スライスのスライス・ヘッダ、ピクチャ・パラメータ・セット（ＰＰＳ）、シーケンス・パラメータ・セット（ＳＰＳ）、ネットワーク抽象化層（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ（ＮＡＬ））ユニット・ヘッダなどの内部に位置するハイレベル・シンタックスを使用して、選択された変換サイズとこれに対応するフィルタ・パラメータの双方を信号送信する必要がある。信号送信のオーバーヘッドを削減するために、幾つかの方法を適用することができる。本明細書において、例示的な目的で、信号送信のオーバーヘッドを削減するための幾つかの方法が提供される。

従って、本明細書において説明する実施形態の多くは、本発明の原理に従って用いられる特定の変換パラメータとしての変換サイズに関するものであるが、本発明の原理の精神を逸脱することなく、本願の開示内容に従って、他の変換パラメータを用いることもできる。さらに、実施形態の中には、１つの特定の変換パラメータ（例えばサイズ）を変更可能であることに関わるものもあるが、他の実施形態では、複数の特定の変換パラメータを変更可能であることに関わることがある。本発明の原理の精神を逸脱することなく、本明細書において提供される本発明の原理の開示内容を考慮して、本発明の原理のこれらの変更およびその他の変更を、本技術および関連する技術の当業者によって容易に決定することができる。

図３を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う例示的な方法が概ね参照符号３００によって示されている。方法３００は、制御を機能ブロック３１０に受け渡す開始ブロック３０５を含む。機能ブロック３１０は、符号化セットアップを実行し、制御をループ端ブロック３１５に受け渡す。ループ端ブロック３１５は、各変換サイズ（例えば４×４、８×８、１６×１６など）に対してループを開始し、制御をループ端ブロック３２０に受け渡す。ループ端ブロック３２０は、フィルタ・パラメータに対してループを開始し、制御を機能ブロック３２５に受け渡す。機能ブロック３２５は、アーティファクト除去フィルタリングを実行し、制御をループ端ブロック３３０に受け渡す。ループ端ブロック３３０は、フィルタ・パラメータに対するループを終了し、制御を機能ブロック３３５に受け渡す。機能ブロック３３５は、符号化コストに基づいて最良のパラメータを設定（例えば決定および選択）し、制御をループ端ブロック３４０に受け渡す。ループ端ブロック３４０は、変換サイズに対するループを終了し、制御を機能ブロック３４５に受け渡す。機能ブロック３４５は、符号化コストに基づいて最良の変換サイズを設定（例えば決定および選択）し、制御を機能ブロック３４７に受け渡す。機能ブロック３４７は、（例えば量子化ノイズおよび符号化情報に基づいて）フィルタ・パラメータを適応化し、制御を機能ブロック３５０に受け渡す。機能ブロック３５０は、最良の変換サイズおよび最良のフィルタ・パラメータを符号化し、制御を機能ブロック３５５に受け渡す。機能ブロック３５５は、（例えば１つ以上のスケーリング・ファクタおよびオフセット・ペア、パラメータ・テーブル内のエントリについてのインデックス、さらに、フラグ（例えば可変変換が適用されるかどうかを示すフラグ）を使用して）変換サイズおよびフィルタ・パラメータを信号送信し、制御を終了ブロック３９９に受け渡す。機能ブロック３５５によって実行される信号送信は、例えば１つ以上のサンプル、１つ以上のブロック、１つ以上のスライス、１つ以上のピクチャなどに関連することがあることが理解できよう。さらに、機能ブロック３５５は、特定の実施態様に依存して、オプションとすることができることが理解できよう。

図４を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う例示的な方法が概ね参照符号４００によって示されている。方法は、制御を機能ブロック４１０に受け渡す開始ブロック４０５を含む。機能ブロック４１０は、（例えばスケーリング・ファクタおよびオフセット・ペア、パラメータ・テーブル内のエントリに対するインデックス、さらに、フラグのうちの１つ以上を使用して）変換サイズおよびフィルタ・パラメータを復号し、制御を機能ブロック４１５に受け渡す。機能ブロック４１５は、機能ブロック４１０によって復号された項目のうちの１つ以上に基づいてスパース性ベースのアーティファクト除去フィルタリングを実行し、制御を終了ブロック４９９に受け渡す。

一実施形態においては、ＱＰ値および符号化モード情報に基づいて形成可能な１つの変換サイズＳ_０のための独自パラメータ・テーブルＰ_０が符号化器および復号器の双方に記憶される。他の変換サイズ、例えばＳｉなどのような他の変換サイズのパラメータ・テーブルＰ_ｉは、Ｐ_０とＳ_ｉの関数、即ち、Ｐ_ｉ＝ｆ（Ｐ_０，Ｓ_ｉ）とすることができる。

一実施形態においては、テーブルの各エントリにＰ_ｉ＝ａ_ｉ ^＊Ｐ_０＋ｂ_ｉを設定することができる。ここで、ａ_ｉおよびｂ_ｉは定数とすることができる。従って、変換ブロックのサイズＳ_ｉについて、スケーリング・ファクタａ_ｉおよびオフセットｂ_ｉを信号送信するだけでよい。

図５を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号５００によって示されている。方法５００は、制御を機能ブロック５１０に受け渡す開始ブロック５０５を含む。機能ブロック５１０は、各変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック５１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセット・ペアによって表される、さらに／または、対応する。一実施形態においては、フィルタ・パラメータは、例えば方法３００を用いて、決定される。機能ブロック５１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、スケーリング・ファクタおよびオフセット・ペア、およびフラグを信号送信し、制御を終了ブロック５９９に受け渡す。

図６を参照するに、ビデオ復号器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号６００によって示されている。

方法６００は、制御を機能ブロック６１０に受け渡す開始ブロック６０５を含む。機能ブロック６１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック６１５に受け渡す。一実施形態においては、パラメータ・テール内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセットによって表される、さらに／または、対応する。機能ブロック６１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、スケーリング・ファクタおよびオフセット・ペア、およびフラグを受信、復号し、制御を機能ブロック６２０に受け渡す。機能ブロック６２０は、機能ブロック６１５によって受信された各項目に基づいて、対応するサンプル、ブロック、領域、スライス、ピクチャ、またはシーケンスについて、フィルタ・パラメータを決定および選択し、制御を機能ブロック６２５に受け渡す。オプションとして、機能ブロック６２５は、例えばノイズ分散の統計に基づいて、決定および選択されたフィルタ・パラメータを適応化し、制御を機能ブロック６３０に受け渡す。機能ブロック６３０は、決定および選択された、または、適応化されたフィルタ・パラメータを用いて、サンプル、ブロック、領域、スライス、ピクチャ、または、シーケンスに対してスパース性ベースのアーティファクト除去フィルタリングを実行し、制御を終了ブロック６９９に受け渡す。

一実施形態においては、テーブルの各エントリにＰ_ｉ＝ａ_ｉ ^＊Ｐ_０＋ｂ_ｉを設定することができる。ここで、ａ_ｉおよびｂ_ｉは定数とすることができる。従って、変換ブロックのサイズＳ_ｉについて、パラメータ・テーブルに対する対応するインデックスを信号送信するだけでよい。

図７を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの選択を行う別の例示的な方法が概ね参照符号７００によって示されている。方法７００は、制御を機能ブロック７１０に受け渡す開始ブロック７０５を含む。機能ブロック７１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック７１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセット・ペアによって表される、さらに／または、対応する。一実施形態においては、フィルタ・パラメータは、例えば方法３００を用いて決定される。機能ブロック７１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、パラメータ・テーブル内の特定のエントリに対するインデックス、および、フラグを信号送信し、制御を終了ブロック７９９に受け渡す。

図８を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号８００によって示されている。

方法８００は、制御を機能ブロック８１０に受け渡す開始ブロック８０５を含む。機能ブロック８１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック８１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセットによって表される、さらに／または、対応する。機能ブロック８１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、パラメータ・テーブル内の特定のエントリに対するインデックス、および、フラグを受信、復号し、制御を機能ブロック８２０に受け渡す。機能ブロック８２０は、機能ブロック８１５によって受信された各項目に基づいて、対応するサンプル、ブロック、領域、スライス、ピクチャ、またはシーケンスについて、フィルタ・パラメータを決定および選択し、制御を機能ブロック８２５に受け渡す。機能ブロック８２５は、決定および選択されたフィルタ・パラメータを適応化し、制御を機能ブロック８３０に受け渡す。機能ブロック８３０は、決定および選択されたフィルタ・パラメータを用いて、サンプル、ブロック、領域、スライス、ピクチャ、または、シーケンスに対してスパース性ベースのアーティファクト除去フィルタリングを実行し、制御を終了ブロック８９９に受け渡す。

代替的には、パラメータａ_ｉおよびｂ_ｉは、現在のスライスの統計に基づいて適応的なものとすることができる。一実施形態においては、統計は、アーティファクト除去フィルタの前の局所分散とすることができる。この場合、ａ_ｉおよびｂ_ｉを信号送信する必要はない。

図９を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号９００によって示されている。方法９００は、制御を機能ブロック９１０に受け渡す開始ブロック９０５を含む。機能ブロック９１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック９１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセットによって表される、さらに／または、対応する。一実施形態においては、フィルタ・パラメータは、例えば方法３００を用いて決定される。機能ブロック９１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、および、フラグを信号送信し、制御を終了ブロック９９９に受け渡す。

図１０を参照するに、ビデオ復号器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号１０００によって示されている。

方法１０００は、制御を機能ブロック１０１０に受け渡す開始ブロック１００５を含む。機能ブロック１０１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック１０１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセットによって表される、さらに／または、対応する。機能ブロック１０１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、および、フラグを受信、復号し、制御を機能ブロック１０２０に受け渡す。機能ブロック１０２０は、機能ブロック１０１５によって受信された各項目に基づいて、対応するサンプル、ブロック、領域、スライス、ピクチャ、またはシーケンスについて、フィルタ・パラメータを決定および選択し、制御を機能ブロック１０２５に受け渡す。機能ブロック１０２５は、例えば現在のスライスの、例えばローカル統計に基づいて、決定および選択されたフィルタ・パラメータを適応化し、制御を機能ブロック１０３０に受け渡す。機能ブロック１０３０は、決定および選択されたフィルタ・パラメータを用いて、サンプル、ブロック、領域、スライス、ピクチャ、または、シーケンスに対してスパース性ベースのアーティファクト除去フィルタリングを実行し、制御を終了ブロック１０９９に受け渡す。

別の実施形態においては、統計は、ノイズの分散とすることができ、この場合、ａ_ｉおよびｂ_ｉを信号送信するとよい。このような場合、機能ブロック１０２５は、例えばノイズ分散の統計に基づいて、決定され、選択されたフィルタ・パラメータを適応化させてもよく、これは、オプションとして機能ブロック１０２５に関して示されている。

別の実施形態においては、各変換サイズのパラメートのセットが符号化器および復号器の双方に記憶される。各スライスについて、変換サイズを信号送信するだけでよい。従って、図９および図１０は、パラメータ・テーブルがスケーリング・ファクタおよびオフセット・ペアを使用しない点において図１１および図１２とは異なる。

図１１を参照するに、ビデオ符号化器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号１１００によって示されている。方法１１００は、制御を機能ブロック１１１０に受け渡す開始ブロック１１０５を含む。機能ブロック１１１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック１１１５に受け渡す。一実施形態においては、パラメータ・テーブルにおける各エントリは、各変換サイズに対応する固定、および／または、所定のパラメータ値によって表される、さらに／または、対応する。一実施形態においては、フィルタ・パラメータは、例えば方法３００を用いて決定される。機能ブロック１１１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、および、フラグを信号送信し、制御を終了ブロック１１９９に受け渡す。

図１２を参照するに、ビデオ復号器においてアーティファクト除去フィルタリングのためのフィルタ・パラメータの決定および選択を行う別の例示的な方法が概ね参照符号１２００によって示されている。

方法１２００は、制御を機能ブロッ１２１０に受け渡す開始ブロック１２０５を含む。機能ブロック１２１０は、少なくとも１つの変換サイズについて、独自パラメータ・テーブルを記憶し、制御を機能ブロック１２１５に受け渡す。一実施形態においては、パラメータ・テーブル内の各エントリは、（１）各変換サイズに対応する固定された、および／または、所定のパラメータ値、さらに、（２）スケーリング・ファクタおよびオフセットによって表される、さらに／または、対応する。機能ブロック１２１５は、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベル（ただしピクチャがビデオ・シーケンスの一部である場合）のうちの１つ以上に関連する、各変換サイズ、および、フラグを受信、復号し、制御を機能ブロック１２２０に受け渡す。機能ブロック１２２０は、機能ブロック１２１５によって受信された各項目に基づいて、対応するサンプル、ブロック、領域、スライス、ピクチャ、またはシーケンスについて、フィルタ・パラメータを決定および選択し、制御を機能ブロック１２２５に受け渡す。機能ブロック１２２５は、決定および選択されたフィルタ・パラメータを適応化し、制御を機能ブロック１２３０に受け渡す。機能ブロック１２３０は、決定および選択されたフィルタ・パラメータを用いて、サンプル、ブロック、領域、スライス、ピクチャ、または、シーケンスに対してスパース性ベースのアーティファクト除去フィルタリングを実行し、制御を終了ブロック１２９９に受け渡す。

１つ以上の実施形態においては、フラグを用いて、可変の変換サイズが現在のピクチャ／スライスに適応されるかどうかを示すことができる。

上述の各方法を輝度および／または色度に適用できることが理解できよう。

表１は、本発明の原理の実施形態に従った、例示的なピクチャおよびスライスのヘッダ・シンタックスを示している。

表１におけるシンタックス要素のうちの少なくとも幾つかのセマンティックスは、以下の通りである。
ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿ａｄａｐｔｉｖｅ＿ｆｌａｇ ｅｑｕａｌ ｔｏ １（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿ａｄａｐｔｉｖｅ＿ｆｌａｇが１である）は、ピクチャに可変の変換サイズが使用されることを規定する。
ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿ａｄａｐｔｉｖｅ＿ｆｌａｇ ｅｑｕａｌ ｔｏ ０（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿ａｄａｐｔｉｖｅ＿ｆｌａｇが０である）は、ピクチャに可変の変換サイズが使用されないことを示す。

ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿ｉｄｘは、現在のスライスの変換ブロック・サイズを規定する。

ｐａｒａｍｅｔｅｒ＿ｉｄｘ［ｊ］は、現在の変換サイズおよびクラスｊについてのパラメータ・インデックスを規定する。

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば１つの利点／特徴は、少なくともピクチャの少なくとも部分のピクチャ・データを符号化する符号化器を有する装置である。符号化器は、この部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するスパース性ベースのアーティファクト除去フィルタを含む。スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択される。

さらに、別の利点／特徴は、上述したスパース性ベースのフィルタを含む符号化器を有する装置であって、ピクチャは、ビデオ・シーケンスの一部であり、１つ以上のフィルタ・パラメータは、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベルのうちの少なくとも１つに関連する、この装置である。

さらに、別の利点／特徴は、上述したスパース性ベースのフィルタを含む符号化器を有する装置であって、１つ以上のフィルタ・パラメータは、フィルタ・パラメータの決定および選択処理を実行することによって決定および選択される、この装置である。フィルタ・パラメータの決定および選択処理は、フィルタ・パラメータの適応化処理と組み合わされる。フィルタ・パラメータの適応化処理は、少なくとも量子化ノイズおよび符号化情報に基づいている。

さらに、別の利点／特徴は、上述したスパース性ベースのフィルタを含む符号化器を有する装置であって、変換サイズおよびスパース性ベースのアーティファクト除去のための１つ以上のフィルタ・パラメータのうちの少なくとも幾つかが１つ以上のハイレベル・シンタックス要素を用いて信号送信される、この装置である。

さらに、別の利点／特徴は、上述したスパース性ベースのフィルタを含む符号化器を有する装置であって、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である、この装置である。

さらに、別の利点／特徴は、上述したような、スパース性ベースのフィルタを含む符号化器を有し、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である装置であって、フィルタ・パラメータ・テーブルが記憶され、可変変換の各々のための対応するフィルタ・パラメータは、パラメータ・テーブルと可変変換の各々との関数である、この装置である。

さらに、別の利点／特徴は、上述したような、スパース性ベースのフィルタを含む符号化器を有し、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である装置であって、可変変換の各々のための対応するフィルタ・パラメータは、スケーリング・ファクタおよびオフセットのうちの少なくとも一方によって信号送信される、この装置である。

さらに、別の利点／特徴は、上述したような、スパース性ベースのフィルタを含む符号化器を有し、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である装置であって、可変変換の各々のための対応するフィルタ・パラメータは、信号送信される前に適応化される、この装置である。

さらに、別の利点／特徴は、上述したような、スパース性ベースのフィルタを含む符号化器を有し、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である装置であって、可変変換の各々のための対応するフィルタ・パラメータは、復号器に信号送信され、または、信号送信されずに適応化され、この適応化は、領域、領域を含むスライス、領域を含むピクチャ、および、領域を含むビデオ・シーケンスのうちの少なくとも１つの統計に基づく、この装置である。

さらに、別の利点／特徴は、上述したような、スパース性ベースのフィルタを含む符号化器を有し、可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である装置であって、可変変換の各々のためのフィルタ・パラメータのセットが符号化器および復号器の双方に記憶され、可変変換のうちの対応する１つのインデックスのみが復号器に信号送信されるか、復号器で導出される、この装置である。

本発明の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本発明の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。

より好ましくは、本発明の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本発明の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本発明の原理の実施形態または構成、さらに、類似した実施形態または構成を企図できるであろう。

添付図面を参照して本明細書中で例示的な実施形態について説明したが、本発明はこれらの実施形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に記載されたような本発明の原理の範囲に含まれるように意図されている。

Claims (17)

1. ビデオ符号化器における方法であって、
   ピクチャの少なくとも部分についてのピクチャ・データを符号化するステップを含み、
   前記符号化するステップは、前記部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するステップを含み、
   前記スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択され、
   変換サイズが符号化コストに基づいて決定され、並びにフィルタ・パラメータが量子化ノイズおよび符号化情報に基づいて適応化され、
   変換サイズおよび前記スパース性ベースのアーティファクト除去のための前記１つ以上のフィルタ・パラメータのうちの少なくとも幾つかが、１つ以上のハイレベル・シンタックス要素を用いて信号送信される、前記方法。
2. ピクチャの少なくとも部分についてのピクチャ・データを符号化する符号化器を備え、
   前記符号化器は、前記部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するスパース性ベースのアーティファクト除去フィルタを含み、
   前記スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択され、
   変換サイズが符号化コストに基づいて決定され、並びにフィルタ・パラメータが量子化ノイズおよび符号化情報に基づいて適応化され、
   変換サイズおよび前記スパース性ベースのアーティファクト除去のための前記１つ以上のフィルタ・パラメータのうちの少なくとも幾つかが、１つ以上のハイレベル・シンタックス要素を用いて信号送信される、装置。
3. 前記ピクチャは、ビデオ・シーケンスの一部であり、前記１つ以上のフィルタ・パラメータは、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベルのうちの少なくとも１つに関連する、請求項１に記載の方法。
4. 前記１つ以上のフィルタ・パラメータは、フィルタ・パラメータの決定および選択処理を実行することによって決定および選択され、
   前記フィルタ・パラメータの決定および選択処理は、フィルタ・パラメータの適応化処理と組み合わされ、前記フィルタ・パラメータの適応化処理は、少なくとも量子化ノイズおよび符号化情報に基づいている、請求項１に記載の方法。
5. 前記可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である、請求項１に記載の方法。
6. フィルタ・パラメータ・テーブルが記憶され、前記可変変換の各々のための対応するフィルタ・パラメータは、前記パラメータ・テーブルと前記可変変換の各々との関数である、請求項５に記載の方法。
7. 前記可変変換の各々に対する対応するフィルタ・パラメータは、スケーリング・ファクタおよびオフセットのうちの少なくとも一方を使用して信号送信される、請求項５に記載の方法。
8. 前記可変変換の各々に対するフィルタ・パラメータのセットが前記符号化器および復号器の双方に記憶され、前記可変変換のうちの対応する１つのインデックスのみが前記復号器に信号送信されるか、前記復号器で導出される、請求項５に記載の方法。
9. ビデオ復号器における方法であって、
   ピクチャの少なくとも部分についてのピクチャ・データを復号するステップを含み、
   前記復号するステップは、前記部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するステップを含み、
   前記スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択され、
   変換サイズが符号化の間に符号化コストに基づいて決定されており、並びにフィルタ・パラメータが量子化ノイズおよび符号化情報に基づいて適応化され、
   変換サイズおよび前記スパース性ベースのアーティファクト除去のための前記１つ以上のフィルタ・パラメータのうちの少なくとも幾つかが１つ以上のハイレベル・シンタックス要素を用いて決定される、前記方法。
10. ピクチャの少なくとも部分についてのピクチャ・データを復号する復号器を備え、
    前記復号器は、前記部分に対してスパース性ベースのアーティファクト除去フィルタリングを実行するスパース性ベースのアーティファクト除去フィルタを含み、
    前記スパース性ベースのアーティファクト除去フィルタリングのための１つ以上のフィルタ・パラメータは、可変変換に応じて決定および選択され、
    変換サイズが符号化の間に符号化コストに基づいて決定されており、並びにフィルタ・パラメータが量子化ノイズおよび符号化情報に基づいて適応化され、
    変換サイズおよび前記スパース性ベースのアーティファクト除去のための前記１つ以上のフィルタ・パラメータのうちの少なくとも幾つかが１つ以上のハイレベル・シンタックス要素を用いて決定される、装置。
11. 前記ピクチャは、ビデオ・シーケンスの部分であり、前記１つ以上のフィルタ・パラメータは、サンプル・レベル、ブロック・レベル、領域レベル、スライス・レベル、ピクチャ・レベル、およびシーケンス・レベルのうちの少なくとも１つに関連する、請求項９に記載の方法。
12. 前記１つ以上のフィルタ・パラメータは、フィルタ・パラメータの決定および選択処理を実行することによって決定および選択され、
    前記フィルタ・パラメータの決定および選択処理は、フィルタ・パラメータの適応化処理と組み合わされ、前記フィルタ・パラメータの適応化処理は、少なくとも量子化ノイズおよび符号化情報に基づいている、請求項９に記載の方法。
13. 前記可変変換は、変換タイプ、変換サイズ、変換次元、および変換方向のうちの少なくとも１つに関して可変である、請求項９に記載の方法。
14. フィルタ・パラメータ・テーブルが記憶され、前記可変変換の各々のための対応するフィルタ・パラメータは、前記パラメータ・テーブルと前記可変変換の各々との関数である、請求項１３に記載の方法。
15. 前記可変変換の各々に対する対応するフィルタ・パラメータは、スケーリング・ファクタおよびオフセットのうちの少なくとも一方を使用して決定される、請求項１３に記載の方法。
16. 前記可変変換の各々に対する前記対応するフィルタ・パラメータは、最初に決定された後に適応化される、請求項１５に記載の方法。
17. 前記可変変換の各々に対するフィルタ・パラメータのセットが前記復号器および符号化器の双方に記憶され、前記可変変換のうちの対応する１つのインデックスのみが前記復号器によって受信されるか、前記復号器で導出される、請求項１３に記載の方法。

Images