JP6023044B2 - 複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１０年５月１４日出願の米国仮出願第６１／３３４，９３５号の利益を主張するものであり、該仮出願の全体が参照によって本明細書内に組み込まれるものとする。

本原理は、概ね、ビデオ符号化およびビデオ復号に関し、さらに詳細には、複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置に関する。

イントラ・ブロックは、既存の空間的相関の冗長性を利用して、ビデオ符号化効率を向上させる。空間的相関をどのようにして有効利用するかが、イントラ符号化の現在のビデオ・コーデックの効率にとって重要である。画素間の相関は、空間的距離が大きくなるにつれて低下することが確認されている。例えば、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ）Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４（ＭＰＥＧ−４）Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ、Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下「ＭＰＥＧ−４ ＡＶＣ規格」）など、最新の従来技術の符号化規格では、現在のブロックの上または左にある符号化済み画素のみを当該ブロックの予測子として使用するが、これらが予測しようとする右下の画素からかなり離れている場合もある。空間的近接性に起因して存在する可能性が高い冗長性の自然な結果として、このような方式の予測精度は通常は制限され、右下の画素の予測精度が制限される可能性がある。さらに、因果関係の制約のために、補間ではなく外挿が使用される。

ＭＰＥＧ−４ ＡＶＣ規格のイントラ予測
ＭＰＥＧ−４ ＡＶＣ規格は、空間方向予測をイントラ符号化に利用した最初のビデオ符号化規格である。ＭＰＥＧ−４ ＡＶＣ規格は、柔軟な予測フレームワークを提供し、それにより、変換領域でしかイントラ予測が行われなかった従来の規格に比べて、符号化効率が大幅に向上している。ＭＰＥＧ−４ ＡＶＣ規格では、同じスライス内にあるデコーダで利用可能な以前に再構成されたサンプルである周囲の利用可能なサンプルを用いて、空間イントラ予測を実行する。輝度サンプルでは、イントラ予測を４×４ブロック単位（Ｉｎｔｒａ＿４×４と記す）、８×８ブロック単位（Ｉｎｔｒａ＿８×８と記す）、および１６×１６マクロブロック単位（Ｉｎｔｒａ＿１６×１６と記す）で行うことができる。図１を参照すると、ＭＰＥＧ−４ ＡＶＣ規格の４×４ブロック単位（Ｉｎｔｒａ＿４×４）の方向性イントラ予測の全体が、参照番号１００で示してある。予測方向の全体は参照番号１１０で示し、画像ブロックの全体は参照番号１２０で示し、現在のブロックは参照番号１３０で示してある。輝度予測に加えて、別にクロマ予測を実行する。Ｉｎｔｒａ＿４×４およびＩｎｔｒａ＿８×８の予測モードの総数は９、Ｉｎｔｒａ＿１６×１６の予測モードの総数は４であり、クロマ成分のモード数は４である。エンコーダは、通常は、予測と符号化する元のブロックとの間の差を最小にする予測モードを選択する。さらに別のイントラ符号化モードＩ＿ＰＣＭでは、エンコーダは、単純に予測および変換符号化プロセスを回避することができる。これにより、エンコーダは、サンプルの値を正確に表現し、復号された画像の品質に制約を加えることなく、符号化されたマクロブロックが含むことができるビット数に絶対限界を課すことができる。

図２を参照すると、ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４モードの予測サンプルのラベリングの全体が、参照番号２００で示してある。図２は、以前に符号化されて再構成され、従ってエンコーダおよびデコーダで予測を成すために利用することができる、現在のブロックの上および左にあるサンプル（大文字のＡ〜Ｍ）を示す。

図３Ｂ〜３Ｊを参照すると、ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードの全体が、参照番号３００で示してある。予測ブロックのサンプルａ，ｂ，ｃ，…，ｐは、Ｉｎｔｒａ＿４×４輝度予測モード３００を用いてサンプルＡ〜Ｍに基づいて計算される。図３Ｂ〜３Ｊ中の矢印は、各Ｉｎｔｒａ＿４×４モード３００の予測の方向を示している。Ｉｎｔｒａ＿４×４輝度予測モード３００は、モード０〜８を含み、モード０（図３Ｂ、参照番号３１０で示す）は垂直予測モードに対応し、モード１（図３Ｃ、参照番号３１１で示す）は水平予測モードに対応し、モード２（図３Ｄ、参照番号３１２で示す）はＤＣモードに対応し、モード３（図３Ｅ、参照番号３１３で示す）は斜め左下モードに対応し、モード４（図３Ｆ、参照番号３１４で示す）は斜め右下モードに対応し、モード５（図３Ｇ、参照番号３１５で示す）は垂直右モードに対応し、モード６（図３Ｈ、参照番号３１６で示す）は水平下モードに対応し、モード７（図３Ｉ、参照番号３１７で示す）は垂直左モードに対応し、モード８（図３Ｊ、参照番号３１８で示す）は水平上モードに対応する。図３Ａは、Ｉｎｔｒａ＿４×４モード３００の各々に対応する一般的な予測方向３３０を示す。

モード３〜８では、予測されたサンプルは、予測サンプルＡ〜Ｍの加重平均から形成される。Ｉｎｔｒａ＿８×８では、４×４予測と基本的に同じ概念を用いるが、ブロックサイズが８×８であり、予測子のローパスフィルタリングを行って予測性能を向上させる。

図４Ａ〜４Ｄを参照すると、ＭＰＥＧ−４ ＡＶＣ規格に対応する４つのＩｎｔｒａ＿１６×１６モードの全体が、参照番号４００で示してある。これら４つのＩｎｔｒａ＿１６×１６モード４００は、モード０〜３を含み、モード０（図４Ａ、参照番号４１１で示す）は垂直予測モードに対応し、モード１（図４Ｂ、参照番号４１２で示す）は、水平予測モードに対応し、モード２（図４Ｃ、参照番号４１３で示す）はＤＣ予測モードに対応し、モード３（図４Ｄ、参照番号４１４で示す）は平面予測モードに対応する。イントラ符号化されたマクロブロックの各８×８クロマ成分は、上および／または左の以前に符号化されたクロマ・サンプルから予測され、両クロマ成分は同じ予測モードを使用する。４つの予測モードは、モードの番号付けが異なることを除けば、Ｉｎｔｒａ＿１６×１６に極めてよく似ている。モードは、ＤＣ（モード０）、水平（モード１）、垂直（モード２）および平面（モード３）である。

ＭＰＥＧ−４ ＡＶＣ規格のイントラ予測では、ピクチャ内の何らかの空間的冗長性を利用することができるが、予測は、既に符号化されているブロックの上または左の画素のみに依拠している。予測として作用する画素（発明者等は予測子画素と呼ぶ）と、予測中の画素（発明者等は予測される画素と呼ぶ）、特に現在のブロックの右下の画素との間の空間的距離は、大きくなる可能性がある。空間的距離が大きい場合には、画素間の相関が小さくなる可能性があり、残差信号が予測後に大きくなる可能性があり、これが符号化効率に影響を及ぼす。さらに、上述のように、因果関係の制約のために、補間ではなく外挿が使用される。

Ｉｎｔｒａ＿１６×１６の平面予測
第１の従来技術の手法では、Ｉｎｔｒａ＿１６×１６の平面モードの新たな符号化方法が提案されている。マクロブロックを平面モードで符号化したときに、その右下のサンプルがビットストリームで信号通信され、当該マクロブロックの右端および下端のサンプルが線形に補間され、中程のサンプルは、境界サンプルから双線形に補間される。平面モードが信号通信されると、右下のサンプルを個別に表した状態で（輝度に対しては１６×１６単位の動作を用い、クロミナンスに対しては８×８単位の動作を用いて）、同じアルゴリズムが輝度および両クロミナンス成分に対して別々に適用される。平面モードでは、残差の符号化は行わない。

この新たな平面予測方法では、右下のサンプルとの何らかの空間的相関を利用するが、右側および下端の画素の予測精度は、依然としてかなり制限されている。

複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置に関する本原理は、従来技術の上記その他の欠陥および欠点に対処するものである。

本原理の一態様によれば、装置が提供される。この装置は、ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、第２のグループの画素を符号化する前に第１のグループの画素を符号化することによって、イントラ予測を用いてピクチャ内のブロックを符号化するビデオ・エンコーダを含む。第２のグループ内の画素のうちの少なくとも１つの画素の予測は、第１のグループおよび第２のグループ内の画素を評価することによって得られる。

本原理の他の態様によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、第２のグループの画素を符号化する前に第１のグループの画素を符号化することによって、イントラ予測を用いてピクチャ内のブロックを符号化するステップを含む。第２のグループ内の画素のうちの少なくとも１つの画素の予測は、第１のグループおよび第２のグループ内の画素を評価することによって得られる。

本原理のさらに他の態様によれば、装置が提供される。この装置は、ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、第２のグループの画素を復号する前に第１のグループの画素を復号することによって、イントラ予測を用いてピクチャ内のブロックを復号するビデオ・デコーダを含む。第２のグループ内の画素のうちの少なくとも１つの画素の予測は、第１のグループおよび第２のグループ内の画素を評価することによって得られる。

本原理のさらに他の態様によれば、ビデオ・デコーダにおける方法が提供される。この方法は、ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、第２のグループの画素を復号する前に第１のグループの画素を復号することによって、イントラ予測を用いてピクチャ内のブロックを復号するステップを含む。第２のグループ内の画素のうちの少なくとも１つの画素の予測は、第１のグループおよび第２のグループ内の画素を評価することによって得られる。

本原理の上記その他の態様、特徴および利点は、以下の例示的な実施例の詳細な説明を、添付の図面と関連付けて読むことにより、明らかになるであろう。

本原理は、以下の例示的な図面によって、より良く理解することができる。

４×４ブロック単位（Ｉｎｔｒａ＿４×４）のＭＰＥＧ−４ ＡＶＣ規格の方向性イントラ予測を示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４モードの予測サンプルのラベリングを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格のＩｎｔｒａ＿４×４輝度予測モードを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格に対応する４つのＩｎｔｒａ＿１６×１６モードのうちの１つを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格に対応する４つのＩｎｔｒａ＿１６×１６モードのうちの１つを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格に対応する４つのＩｎｔｒａ＿１６×１６モードのうちの１つを示す図である。 ＭＰＥＧ−４ ＡＶＣ規格に対応する４つのＩｎｔｒａ＿１６×１６モードのうちの１つを示す図である。 本原理の実施例による、本原理を適用することができる例示的なビデオ・エンコーダを示すブロック図である。 本原理の実施例による、本原理を適用することができる例示的なビデオ・デコーダを示すブロック図である。 本原理の実施例による、ブロック内の画素の例示的なグループ分けを示す図である。 本原理の実施例による、複数のグループに割り当てられた画素を有するブロックをイントラ符号化する例示的な方法を示す流れ図である。 本原理の実施例による、複数のグループに割り当てられた画素を有するブロックをイントラ復号する例示的な方法を示す流れ図である。

本原理は、複数のグループに割り当てられた画素を有するブロックのイントラ符号化に
関する。

本明細書は、本原理を例示するものである。従って、本明細書に明示的には記述または図示していなくても、本発明の趣旨および範囲に含まれる本原理を実現する様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本原理と、当技術分野をさらに進歩させるために発明者（等）が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、本発明がこれらの具体的に記載した例および条件に限定されるわけではないものと解釈されたい。

さらに、本原理の原理、態様および実施例ならびに本原理の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する開発される任意の要素も含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体で実質的に表現することができ、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行することができる、様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。

従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理との相互作用によっても、あるいは手作業でも実施することができ、実施者が、状況から適宜判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。かかる特許請求の範囲によって定義される本原理は、記載した様々な手段が実現する機能を、特許請求の範囲が要求する形式で組み合わせ、まとめることにある。従って、これらの機能を実現することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

本明細書において、本原理の「一実施例」または「実施例」ならびにその他の変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本原理の少なくとも１つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、ならびに任意の他の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」ならびに「ＡおよびＢの少なくとも１つ」の場合など、「／」、「および／または」ならびに「の少なくとも１つ」の何れかを使用している場合、それは、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを含むということであることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ」ならびに「Ａ、ＢおよびＣの少なくとも１つ」の場合には、この表現は、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または３番目に挙げた選択肢（Ｃ）のみを選択すること、または１番目と２番目に挙げた選択肢（ＡおよびＢ）のみを選択すること、または１番目と３番目に挙げた選択肢（ＡおよびＣ）のみを選択すること、または２番目と３番目に挙げた選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数に応じて拡張することができる。

また、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用され、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであってもよい。

例示および説明のために、本明細書では、ＭＰＥＧ−４ ＡＶＣ規格の改良という文脈でいくつかの例について述べ、本明細書の基準としてＭＰＥＧ−４ ＡＶＣ規格を用いて、ＭＰＥＧ−４ ＡＶＣ規格に優る改良点および拡張点を説明する。ただし、本原理は、ＭＰＥＧ−４ ＡＶＣ規格および／またはその拡張のみに限定されるわけではないことを理解されたい。本明細書に与える本原理の教示があれば、当技術分野および関連技術分野の当業者なら、本原理が他の規格にも同様に適用可能であり、他の規格の拡張に適用されれば、あるいはこれから開発される規格に適用され、且つ／または組み込まれれば、少なくとも同等の利益を提供することを容易に理解するであろう。さらに、本原理は、規格に準拠するのではなく独自定義（ｐｒｏｐｒｉｅｔａｒｙ ｄｅｆｉｎｉｔｉｏｎｓ）に準拠するビデオ・エンコーダおよびビデオ・デコーダにも適用されることも理解されたい。

図５を参照すると、本原理を適用することができる例示的なビデオ・エンコーダの全体が、参照番号５００で示してある。ビデオ・エンコーダ５００は、結合器５８５の非反転入力と信号通信する出力を有するフレーム順序付けバッファ５１０を含む。結合器５８５の出力は、変換器／量子化器５２５の第１の入力に信号通信で接続される。変換器／量子化器５２５の出力は、エントロピ符号化器５４５の第１の入力および逆変換器／逆量子化器５５０の第１の入力に信号通信で接続される。エントロピ符号化器５４５の出力は、結合器５９０の第１の非反転入力に信号通信で接続される。結合器５９０の出力は、出力バッファ５３５の第１の入力に信号通信で接続される。

エンコーダ制御装置５０５の第１の出力は、フレーム順序付けバッファ５１０の第２の入力、逆変換器／逆量子化器５５０の第２の入力、ピクチャ・タイプ判断モジュール５１５の入力、マクロブロック・タイプ（ＭＢタイプ）判断モジュール５２０の第１の入力、イントラ予測モジュール５６０の第２の入力、デブロッキング・フィルタ５６５の第２の入力、動き補償器５７０の第１の入力、動き推定器５７５の第１の入力、および参照ピクチャ・バッファ５８０の第２の入力に信号通信で接続される。

エンコーダ制御装置５０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器５３０の第１の入力、変換器／量子化器５２５の第２の入力、エントロピ符号化器５４５の第２の入力、出力バッファ５３５の第２の入力、およびシーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器５４０の入力に信号通信で接続される。

ＳＥＩ挿入器５３０の出力は、結合器５９０の第２の非反転入力に信号通信で接続される。

ピクチャ・タイプ判断モジュール５１５の第１の出力は、フレーム順序付けバッファ５１０の第３の入力に信号通信で接続される。ピクチャ・タイプ判断モジュール５１５の第２の出力は、マクロブロック・タイプ判断モジュール５２０の第２の入力に信号通信で接続される。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器５４０の出力は、結合器５９０の第３の非反転入力に信号通信で接続される。

逆量子化器／逆変換器５５０の出力は、結合器５１９の第１の非反転入力に信号通信で接続される。結合器５１９の出力は、イントラ予測モジュール５６０の第１の入力およびデブロッキング・フィルタ５６５の第１の入力に信号通信で接続される。デブロッキング・フィルタ５６５の出力は、参照ピクチャ・バッファ５８０の第１の入力に信号通信で接続される。参照ピクチャ・バッファ５８０の出力は、動き推定器５７５の第２の入力および動き補償器５７０の第３の入力に信号通信で接続される。動き推定器５７５の第１の出力は、動き補償器５７０の第２の入力に信号通信で接続される。動き推定器５７５の第２の出力は、エントロピ符号化器５４５の第３の入力に信号通信で接続される。

動き補償器５７０の出力は、スイッチ５９７の第１の入力に信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力に信号通信で接続される。マクロブロック・タイプ判断モジュール５２０の出力は、スイッチ５９７の第３の入力に信号通信で接続される。スイッチ５９７の第３の入力は、そのスイッチの「データ」入力（「データ」入力は、制御入力、すなわち第３の入力とも称される）が、動き補償器５７０またはイントラ予測モジュール５６０によって与えられるか否かを判定するものである。スイッチ５９７の出力は、結合器５１９の第２の非反転入力および結合器５８５の反転入力に信号通信で接続される。

フレーム順序付けバッファ５１０の第１の入力およびエンコーダ制御装置５０５の入力は、エンコーダ５００の、入力ピクチャを受信するための入力として利用することができる。さらに、付加拡張情報（ＳＥＩ）挿入器５３０の第２の入力は、エンコーダ５００の、メタデータを受信するための入力として利用することができる。出力バッファ５３５の出力は、エンコーダ５００の、ビットストリームを出力するための出力として利用することができる。

図６を参照すると、本原理を適用することができる例示的なビデオ・デコーダの全体が、参照番号６００で示してある。ビデオ・デコーダ６００は、エントロピ・デコーダ６４５の第１の入力に信号通信で接続される出力を有する入力バッファ６１０を含む。エントロピ・デコーダ６４５の第１の出力は、逆変換器／逆量子化器６５０の第１の入力に信号通信で接続される。逆変換器／逆量子化器６５０の出力は、結合器６２５の第２の非反転入力に信号通信で接続される。結合器６２５の出力は、デブロッキング・フィルタ６６５の第２の入力およびイントラ予測モジュール６６０の第１の入力に信号通信で接続される。デブロッキング・フィルタ６６５の第２の出力は、参照ピクチャ・バッファ６８０の第１の入力に信号通信で接続される。参照ピクチャ・バッファ６８０の出力は、動き補償器６７０の第２の入力に信号通信で接続される。

エントロピ・デコーダ６４５の第２の出力は、動き補償器６７０の第３の入力、デブロッキング・フィルタ６６５の第１の入力、およびイントラ予測器６６０の第３の入力に信号通信で接続される。エントロピ・デコーダ６４５の第３の出力は、デコーダ制御装置６０５の入力に信号通信で接続される。デコーダ制御装置６０５の第１の出力は、エントロピ・デコーダ６４５の第２の入力に信号通信で接続される。デコーダ制御装置６０５の第２の出力は、逆変換器／逆量子化器６５０の第２の入力に信号通信で接続される。デコーダ制御装置６０５の第３の出力は、デブロッキング・フィルタ６６５の第３の入力に信号通信で接続される。デコーダ制御装置６０５の第４の出力は、イントラ予測モジュール６６０の第２の入力、動き補償器６７０の第１の入力、および参照ピクチャ・バッファ６８０の第２の入力に信号通信で接続される。

動き補償器６７０の出力は、スイッチ６９７の第１の入力に信号通信で接続される。イントラ予測モジュール６６０の出力は、スイッチ６９７の第２の入力に信号通信で接続される。スイッチ６９７の出力は、結合器６２５の第１の非反転入力に信号通信で接続される。

入力バッファ６１０の入力は、デコーダ６００の、入力ビットストリームを受信するための入力として利用することができる。デブロッキング・フィルタ６６５の第１の出力は、デコーダ６００の、出力ピクチャを出力するための出力として利用することができる。

上述のように、本原理は、複数のグループに割り当てられた画素を有するブロックをイントラ符号化する方法および装置に関する。一実施例では、イントラ・ブロックについて、発明者等は、ブロック内の画素を少なくとも２つのグループに分割する。ブロック内の画素グループの１つが、符号化される。一実施例では、この符号化される最初のグループは、例えばブロックの右端の列および／または下端の行を含むことができる。その後、再構成された画素を、既に符号化されている隣接するブロック内の画素とまとめて考慮して、第２のグループ内の画素を予測する。より多くの方向に存在する予測子画素の組を大きくすれば、第２の画素グループの予測は改善され、符号化効率も向上する。さらに、発明者等は、外挿の代わりに補間を用いることによって、符号化効率を向上させている。

具体的には、本原理の一実施例によれば、第２のグループの予測子として働く画素（予測子画素と呼ぶ）が、予測対象の画素からの空間的距離が短い第１のグループの再構成された画素を含むので、第２のグループの予測精度を向上させることができる。

ブロック内の画素の複数グループへの分割
最初に符号化される画素グループは、ブロックの列および／または行の少なくとも１つの少なくとも一部分である。例えば、この画素グループは、図７に示すように、最右端の列および／または下端の行とすることができる。図７を参照すると、ブロック内の画素の例示的なグループ分けの全体が、参照番号７００で示してある。エンコーダは、最右端の列を最初に符号化することもできるし、下端の行を最初に符号化することもできるし、あるいは最右端の列および下端の行の両方を、第１のグループ内の画素として符号化することもできる。一実施例では、このグループ分け方法は、符号化中の現在のブロックの隣接する画素から黙示的に導出することができるか、あるいは符号化中の現在のブロックの空間イントラ予測モードに基づかせるようにして、デコーダが同様の方法でこのグループ分け方法を推測することができるようになっている。別の実施例では、エンコーダは、レート歪み基準に基づいて、１組の複数の規定のグループ分け方法から１つのグループ分け方法を選択し、選択したグループ分け方法をデコーダに信号通信することができる。

発明者等が前述の例でブロック内の画素グループを２つ用いたのは、例示のためであることを理解されたい。ただし、本原理はこれに限定されるわけではなく、従って、本明細書に与える本原理の教示によれば、本原理の趣旨を維持したまま、１つのブロック内で３つ以上の画素グループを用いることができることもさらに理解されたい。

さらに、前述の第１の画素グループに関して、第１の画素グループが下端の行および／または最右端の行の画素を含むものとして発明者等が定義したのは、例示のためであることを理解されたい。ただし、本原理はこれに限定されるわけではなく、従って、本明細書に与える本原理の教示によれば、本原理の趣旨を維持したまま、下端の行および／または最右端の行の画素に加えて、および／またはこれらの代わりに、その他の画素を使用することもできることもさらに理解されたい。

さらに、ブロック内の画素グループは、有効であることが分かっている所望の任意の方法で分割することができることも理解されたい。すなわち、本原理は、任意の特定のブロック・セグメント化プロセスに限定されるわけではなく、従って、本明細書に与える本原理の教示によれば、本原理の趣旨を維持したまま、任意のブロック・セグメント化プロセスを使用することができることを理解されたい。

第１のグループの符号化
第１の画素グループについて、エンコーダは、ＤＣ／平面予測方法または何らかの方向性予測方法を用いて近傍の符号化画素に基づいて予測を生成し、その後、予測残差を計算する。一実施例では、残差は、周波数領域で符号化される。すなわち、残差は、デコーダに送られる前に変換され、量子化され、エントロピ符号化される。別の実施例では、残差は、空間領域で符号化される。すなわち、残差は、デコーダに送られる前に量子化され、エントロピ符号化される。さらに別の実施例では、残差は、レート歪み最適化を実行して空間領域で符号化するか周波数領域で符号化するかを判断する適応型予測誤差符号化（ＡＰＥＣ）を用いて符号化される。

第２のグループの符号化
第１のグループを符号化した後で、エンコーダは、既に符号化されているブロック（例えば上及び左の隣接ブロック）内の画素および既に符号化されている第１のグループの画素を使用して、ブロックの残りの予測モードを導出することができる。例えば、図７では、エンコーダは、隣接するブロックおよび符号化された第１のグループに基づいて、上のブロックおよび下端の行を横切る縁を検出することができる。従って、予測方向は、この縁の方向に沿う。上のブロックのみから外挿する代わりに、上／左のブロックおよび下端の行／右の列を用いて補間が行われる。この場合には、デコーダにおいて同様にしてモード情報を導出することができるので、モード情報をデコーダに送る必要はない。あるいは、エンコーダは、レート歪み最適化を実行して、第２のグループにとって最良の予測モードを選択し、これをデコーダに信号通信することもできる。この場合には、モード情報を送る必要がある。

第２のグループの予測を用いれば、エンコーダは、上述の第１のグループの方法と同様の方法で、すなわち空間領域または周波数領域で、あるいはＡＰＥＣを用いて、第２のグループの画素の予測残差を符号化することができる。別の実施例では、残差を破棄することができ、予測は第２のグループの再構成として設定される。

第１のグループのリファインメント（ｒｅｆｉｎｅｍｅｎｔ）
別の実施例では、第２のグループの予測を生成した後で、エンコーダは、例えば大規模な変換を用いて両グループの予測残差をまとめて符号化する。これを行うことにより、第１のグループの再構成が２つになる。従って、量子化制約セット（ＱＣＳ）を第１のグループに適用して、より正確な再構成を得、符号化効率を向上させることができる。

デブロッキング・フィルタ
デブロッキング・フィルタは、視覚的品質を向上させるために、画素グループ分けに基づいて符号化されるイントラ・ブロック用に特別に構成する必要がある。一実施例では、デブロッキング・フィルタは、ブロックの境界およびブロック内のグループの境界の両方に適用される。

図８を参照すると、複数のグループに割り当てられた画素を有するブロックをイントラ符号化する例示的な方法の全体が、参照番号８００で示してある。方法８００は、制御を機能ブロック８１０に渡す開始ブロック８０５を含む。機能ブロック８１０では、符号化のセットアップを実行し、制御をループ端ブロック８１５に渡す。ループ端ブロック８１５では、（例えば符号化中の現在のピクチャ内の）各ブロックをループして、制御を機能ブロック８２０に渡す。機能ブロック８２０では、グループ分け方法を導出するか、または最良のグループ分け方法を選択して、このグループ分け方法をデコーダに信号通信し、制御を機能ブロック８２５に渡す。機能ブロック８２５では、第１のグループ内の画素を予測し、制御を機能ブロック８３０に渡す。機能ブロック８３０では、第１のグループの画素の残差を、空間領域または周波数領域で、あるいは適応型予測誤差符号化（ＡＰＥＣ）を用いて符号化し、制御を機能ブロック８３５に渡す。機能ブロック８３５では、予測モードを導出するか、または第２のグループの画素にとって最良の予測モードを選択してこれを信号通信し、制御を機能ブロック８４０に渡す。機能ブロック８４０では、第２のグループの画素を予測し、制御を機能ブロック８４５に渡す。機能ブロック８４５では、第２のグループについて、予測を再構成として設定するか、あるいは第２のグループまたは両方のグループの残差を（空間領域または周波数領域で、あるいはＡＰＥＣを用いて）符号化し、制御を機能ブロック８５０に渡す。機能ブロック８５０では、第１のグループの画素の残差が２度符号化される場合に、（例えば量子化制約セット（ＱＣＳ）を用いて）再構成をリファインし、制御をループ端ブロック８５５に渡す。ループ端ブロック８５５では、これらのブロックのループを終了し、制御を機能ブロック８６０に渡す。機能ブロック８６０では、ブロックの境界およびグループの境界にデブロッキング・フィルタリングを実行し、制御を終了ブロック８９９に渡す。

図９を参照すると、複数のグループに割り当てられた画素を有するブロックをイントラ復号する例示的な方法の全体が、参照番号９００で示してある。方法９００は、制御をループ端ブロック９１０に渡す開始ブロック９０５を含む。ループ端ブロック９１０では、（例えば復号中の現在のピクチャ内の）各ブロックのループを開始し、制御を機能ブロック９１５に渡す。機能ブロック９１５では、グループ分け方法を導出または復号し、制御を機能ブロック９２０に渡す。機能ブロック９２０では、第１のグループの画素を予測し、制御を機能ブロック９２５に渡す。機能ブロック９２５では、第１のグループの画素の予測残差を復号し、制御を機能ブロック９３０に渡す。機能ブロック９３０では、第２のグループの画素の予測モードを導出または復号し、制御を機能ブロック９３５に渡す。機能ブロック９３５では、第２のグループの画素を予測し、制御を機能ブロック９４０に渡す。機能ブロック９４０では、第２のグループの画素について、予測を再構成として設定するか、あるいは第２のグループまたは両方のグループの残差を復号し、制御を機能ブロック９４５に渡す。機能ブロック９４５では、第１のグループの画素の残差が２度復号される場合に、（例えばＱＣＳを用いて）再構成をリファインし、制御をループ端ブロック９５０に渡す。ループ端ブロック９５０では、これらのブロックのループを終了し、制御を機能ブロック９５５に渡す。機能ブロック９５５では、ブロックの境界およびグループの境界にデブロッキング・フィルタリングを実行し、制御を終了ブロック９９９に渡す。

次に、一部については上記で既に触れているが、本発明の多くの付随的な利点／特徴のいくつかについて述べる。例えば、１つの利点／特徴は、ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、第２のグループの画素を符号化する前に第１のグループの画素を符号化することによって、イントラ予測を用いてピクチャ内のブロックを符号化するビデオ・エンコーダを有する装置であって、第２のグループ内の画素のうちの少なくとも１つの画素の予測が、第１のグループおよび第２のグループ内の画素を評価することによって得られる装置である。

別の利点／特徴は、第１のグループおよび第２のグループを形成するために使用されるグループ分け方法が、上記ブロックの隣接する画素または上記ブロックのイントラ予測モードに対応している、上述のビデオ・エンコーダを有する装置である。

さらに別の利点／特徴は、上記ブロックの画像データが、結果として得られるビットストリーム（ｒｅｓｕｌｔａｎｔ ｂｉｔｓｔｒｅａｍ）内に符号化され、画素の第１のグループおよび第２のグループを形成するために使用されるグループ分け方法が、結果として得られるビットストリーム内において対応するデコーダに明示的に信号通信される、上述のビデオ・エンコーダを有する装置である。

さらに別の利点／特徴は、第１のグループが、上記ブロック内の１列の画素および１行の画素のうちの少なくとも一方を含む、上述のビデオ・エンコーダを有する装置である。

さらに、別の利点／特徴は、第１のグループの画素の予測残差が、空間領域での符号化、周波数領域での符号化、および適応型予測誤差符号化を用いた符号化のうちの少なくとも１つで符号化される、上述のビデオ・エンコーダを有する装置である。

さらに、別の利点／特徴は、第２のグループの画素の予測モードが、ビデオ・エンコーダにおいて黙示的に導出され、隣接するブロックおよび第１のグループの画素の再構成バージョンに応じて、対応するビデオ・デコーダにおいて黙示的に導出可能である、上述のビデオ・エンコーダを有する装置である。

また、別の利点／特徴は、上記ブロックの画像データが結果として得られるビットストリーム内に符号化され、ビデオ・エンコーダが、少なくとも１つの基準に基づいて第２のグループの画素にとって最良の予測モードを選択し、上記最良の予測モードを結果として得られるビットストリーム内において対応するデコーダに明示的に信号通信する、上述のビデオ・エンコーダを有する装置である。

さらに、別の利点／特徴は、第２のグループの画素の予測残差が、空間領域での符号化、周波数領域での符号化、および適応型予測誤差符号化を用いた符号化のうちの少なくとも１つで符号化される、上述のビデオ・エンコーダを有する装置である。

さらに、別の利点／特徴は、上記ブロックの画像データが結果として得られるビットストリーム内に符号化され、第２のグループの画素のうちの少なくとも１つの予測残差を結果として得られるビットストリームに含めることを保留して、対応するデコーダが、上記画素のうちの上記少なくとも１つの画素の予測を、上記画素のうちの上記少なくとも１つの画素の再構成バージョンとして使用することを可能にする、上述のビデオ・エンコーダを有する装置である。

さらに、別の利点／特徴は、第１のグループの画素の再構成が、画素の第１のグループおよび第２のグループの少なくとも一方の画素のうちの少なくとも１つの画素についての２つ以上の符号化済み残差に基づいてリファインされる、上述のビデオ・エンコーダを有する装置である。

また、別の利点／特徴は、ビデオ・エンコーダが、上記ピクチャ内のブロック境界および上記ブロック内のグループ境界にデブロッキング・フィルタリングを実行するデブロッキング・フィルタを含む、上述のビデオ・エンコーダを有する装置である。

本原理の上記その他の特徴および利点は、本明細書の教示に基づいて、当業者であれば容易に確認することができる。これらの本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。

本原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に有形に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。

さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。

本明細書では、添付の図面を参照して例示的な実施例について述べたが、本原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本原理の範囲に含まれるものとする。

Claims (2)

1. ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、前記第２のグループの前記画素を復号する前に前記第１のグループ内の隣接する画素から前記画素を復号することによって、イントラ予測を用いてピクチャ内のブロックを復号するビデオ・デコーダを含む装置であって、
   前記第２のグループ内の前記画素のうちの少なくとも１つの画素についてのイントラ予測は、すでに符号化されているブロック内の、画素の前記第１のグループ内の隣接する画素からの画素を使用することによって得られ、
   画素のグループ分けは、前記ブロックの隣接する画素から黙示的に導出する、前記装置。
2. ブロック内の画素を少なくとも第１のグループおよび第２のグループに分割し、前記第２のグループの前記画素を復号する前に前記第１のグループ内の隣接する画素から前記画素を復号することによって、イントラ予測を用いてピクチャ内のブロックを復号するステップを含む、ビデオ・デコーダにおける方法であって、
   前記第２のグループ内の前記画素のうちの少なくとも１つの画素についてのイントラ予測は、すでに符号化されているブロック内の、画素の前記第１のグループ内の隣接する画素からの画素を使用することによって得られ、
   画素のグループ分けは、前記ブロックの隣接する画素から黙示的に導出する、前記方法。