JP7612777B2 - ブロックベース予測 - Google Patents

Description

本出願は、ブロックベース予測の分野に関する。実施形態は、予測ベクトルを決定するための有利な方法に関する。

今日、異なるブロックベースのイントラ予測モードおよびインター予測モードが存在する。予測対象ブロックに隣接するサンプルまたは他のピクチャから取得されたサンプルは、予測対象ブロックの予測信号を決定するために行列乗算を行うことができるサンプルベクトルを形成することができる。

行列乗算は、好ましくは整数演算で実行されるべきであり、何らかの機械学習ベースの訓練アルゴリズムによって導出された行列が行列乗算に使用されるべきである。

しかしながら、そのような訓練アルゴリズムは、通常、浮動小数点精度で与えられる行列のみをもたらす。したがって、これらの整数演算を使用して行列乗算が十分に近似されるように整数演算を指定すること、および／または計算効率の改善を達成すること、および／または実装に関して予測をより効果的にすることが課題に直面している。

これは、本出願の独立請求項の主題によって達成される。
本発明にかかるさらなる実施形態は、本出願の従属請求項の主題によって定義される。

本発明の第１の態様によれば、本出願の発明者らは、符号化器または復号器によって予測ベクトルを決定しようとするときに遭遇する１つの問題が、所定のブロックの予測ベクトルを計算するために整数演算を使用しない可能性であることを認識した。本出願の第１の態様によれば、この困難さは、サンプル値ベクトルが予測ベクトルを計算する行列ベクトル積に直接適用されないように、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出することによって解消される。代わりに、予測ベクトルを計算するために、さらなるベクトルと所定の予測行列との間で行列ベクトル積が計算される。さらなるベクトルは、例えば、整数演算および／または固定小数点演算を使用する装置によって所定のブロックのサンプルが予測されることができるように導出される。これは、サンプル値ベクトルの成分が相関しており、それによって、例えば、整数行列および／または固定点値を有する行列および／または予測量子化誤差が小さい行列を所定の予測行列として使用することを可能にする主に小さいエントリを有するさらなるベクトルを取得するために、有利な所定の可逆線形変換が使用されることができるという考えに基づく。

したがって、本出願の第１の態様によれば、複数の参照サンプルを使用してピクチャの所定のブロックを予測するための装置は、複数の参照サンプルからサンプル値ベクトルを形成するように構成される。参照サンプルは、例えば、イントラ予測における所定のブロックに隣接するサンプル、または、インター予測における別のピクチャのサンプルである。実施形態によれば、例えば、縮小された数の値を有するサンプル値ベクトルを取得するために平均化することによって、参照サンプルが縮小されることができる。さらにまた、装置は、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出し、予測ベクトルを取得するために、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算し、予測ベクトルに基づいて所定のブロックのサンプルを予測するように構成される。さらなるベクトルに基づいて、所定のブロックのサンプルの予測は、所定のブロックの予測サンプルを取得するために、サンプル値ベクトルと行列との間の直接行列ベクトル積の整数近似を表すことができる。

サンプル値ベクトルと行列との間の直接行列ベクトル積は、さらなるベクトルと第２の行列との間の第２の行列ベクトル積に等しくすることができる。第２の行列および／または行列は、例えば、機械学習予測行列である。実施形態によれば、第２の行列は、所定の予測行列および整数行列に基づくことができる。第２の行列は、例えば、所定の予測行列と整数行列との和に等しい。換言すれば、さらなるベクトルと第２の行列との間の第２の行列ベクトル積は、さらなるベクトルと所定の予測行列との間の行列ベクトル積、および整数行列とさらなるベクトルとの間のさらなる行列ベクトル積によって表されることができる。整数行列は、例えば、所定の列ｉ_０が１からなり、列ｉ≠ｉ_０が０の行列である。したがって、第１および／または第２の行列ベクトル積の良好な整数近似および／または良好な固定小数点値近似が装置によって達成されることができる。これは、さらなるベクトルが主に小さな値を含み、第１および／または第２の行列ベクトル積の近似における可能な量子化誤差の僅かな影響をもたらすため、所定の予測行列が量子化されることができる、または既に量子化された行列であるという考えに基づく。

実施形態によれば、所定の予測ベクトルと整数行列との和を乗算する可逆線形変換は、機械学習予測行列の量子化バージョンに対応することができる。整数行列は、例えば、所定の列ｉ_０が１からなり、列ｉ≠ｉ_０が０の行列である。

実施形態によれば、可逆線形変換は、さらなるベクトルの所定の成分がａになり、所定の成分を除くさらなるベクトルの他の成分のそれぞれが、サンプル値ベクトルの対応する成分からａを引いたものに等しくなるように定義され、ａは所定値である。したがって、小さな値のさらなるベクトルが実現されることができ、所定の予測行列の量子化を可能にし、その結果、所定のブロックの予測サンプルにおける量子化誤差の僅かな影響をもたらす。このさらなるベクトルにより、整数演算および／または固定小数点演算によって所定のブロックのサンプルを予測することが可能である。

実施形態によれば、所定値は、サンプル値ベクトルの成分の算術平均または加重平均などの平均、デフォルト値、ピクチャが符号化されるデータストリーム内でシグナリングされる値、および所定の成分に対応するサンプル値ベクトルの成分のうちの１つである。サンプル値ベクトルは、例えば、複数の参照サンプルによって、または複数の参照サンプルのうちの参照サンプルのグループの平均によって構成される。参照サンプルのグループは、例えば、少なくとも２つの参照サンプル、好ましくは隣接する参照サンプルを含む。

所定値は、例えば、サンプル値ベクトルの一部の成分（例えば、少なくとも２つの構成要素の）またはサンプル値ベクトルの全ての成分の算術平均または加重平均である。これは、サンプル値ベクトルの成分が相関しており、すなわち、成分の値が類似していてもよく、および／または成分の少なくともいくつかが等しい値を有してもよく、それによって、さらなるベクトルの成分がさらなるベクトルの所定の成分に等しくなく、すなわち、ｉ≠ｉ_０の成分ｉ（ｉ_０は所定の成分を表す）が、おそらくサンプル値ベクトルの対応する成分よりも小さい絶対値を有するという考えに基づく。したがって、小さな値のさらなるベクトルが実現されることができる。

所定値は、デフォルト値とすることができ、デフォルト値は、例えば、デフォルト値のリストから選択されるか、または全てのブロックサイズ、予測モードなどについて同じである。デフォルト値のリストの成分は、異なるブロックサイズ、予測モード、サンプル値ベクトルサイズ、サンプル値ベクトルの値の平均などに関連付けられることができる。したがって、例えば、所定のブロックに応じて、すなわち所定のブロックに関連付けられた復号または符号化設定に応じて、最適化されたデフォルト値が装置によってデフォルト値のリストから選択される。

あるいは、所定値は、ピクチャが符号化されるデータストリーム内でシグナリングされる値とすることができる。この場合、例えば、符号化装置は所定値を決定する。所定値の決定は、デフォルト値の文脈において上述したのと同じ検討に基づくことができる。

さらなるベクトルの成分は、さらなるベクトルの所定の成分に等しくなく、すなわち、ｉ≠ｉ_０の成分ｉ（ｉ_０は所定の成分を表す）は、例えば、デフォルト値またはデータストリーム内でシグナリングされる値を所定値として使用して、サンプル値ベクトルの対応する成分よりも小さい絶対値を有する。

実施形態によれば、所定値は、所定成分に対応するサンプル値ベクトルの成分とすることができる。換言すれば、所定の成分に対応するサンプル値ベクトルの成分の値は、可逆線形変換を適用することによっても変化しない。したがって、所定の成分に対応するサンプル値ベクトルの成分の値は、例えば、さらなるベクトルの所定の成分の値に等しい。

所定の成分は、例えば、デフォルト値として所定値に関して上述したように、デフォルトで選択される。所定の成分が代替手順によって選択されることができることは明らかである。所定の成分は、例えば、所定値と同様に選択される。実施形態によれば、所定の成分は、サンプル値ベクトルの対応する成分の値がサンプル値ベクトルの値の平均に等しいか、またはサンプル値ベクトルの値の平均からの周縁偏差のみを有するように選択される。

実施形態によれば、さらなるベクトルの所定の成分に対応する所定の予測行列の列内の所定の予測行列の行列成分は全て０である。装置は、列、すなわちゼロからなる列を残すことによって所定の予測行列から生じる縮小された予測行列と、所定の成分を残すことによってさらなるベクトルから生じるさらにさらなるベクトルとの間の行列ベクトル積を計算することによって乗算を実行することによって、行列ベクトル積、すなわち、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算するように構成される。これは、さらなるベクトルの所定の成分が所定値に設定され、サンプル値ベクトルの値が相関する場合、この所定値が所定のブロックの予測信号内のサンプル値に正確にまたは近いという考えに基づく。したがって、所定のブロックのサンプルの予測は、任意選択的に、さらなるベクトルを乗算した所定の予測行列、またはむしろさらにさらなるベクトルを乗算した縮小予測行列、および整数行列に基づいており、その列ｉ_０は、所定の成分に対応し、その他の列ｉ≠ｉ_０の全てが０であるものからなり、さらなるベクトルを乗算したものである。換言すれば、例えば所定の可逆線形変換の逆変換によって変換された機械学習予測行列は、さらなるベクトルに基づいて所定の予測行列、またはむしろ縮小予測行列と整数行列に分割されることができる。したがって、予測行列のみが量子化されて、機械学習予測行列および／または変換された機械学習予測行列の整数近似を取得するべきであり、これは、さらに他のベクトルが所定の成分を含まず、他の全ての成分が、機械学習予測行列および／または変換された機械学習予測行列の結果として得られる量子化における量子化誤差の僅かな影響を可能にするサンプル値ベクトルの対応する成分よりもはるかに小さい絶対値を有するために有利である。さらにまた、縮小予測行列およびさらなるベクトルを用いて、予測ベクトルを取得するために実行されるべき乗算が少なくなり、複雑さを低減し、より高い計算効率をもたらす。任意選択的に、所定のブロックのサンプルの予測時に、全ての成分が所定値ａであるベクトルが予測ベクトルに追加されることができる。このベクトルは、上述したように、整数行列とさらなる行列との間の行列－ベクトル積によって取得されることができる。

実施形態によれば、さらなるベクトルの所定の成分に対応する所定の予測行列の列内の所定の予測行列の各行列成分を所定の可逆線形変換の１倍で合計することから生じる行列は、機械学習予測行列の量子化バージョンに対応する。さらなるベクトルの所定の成分に対応する所定の予測行列の列内の所定の予測行列の各行列成分を１と合計することは、例えば、変換された機械学習予測行列を表す。変換された機械学習予測行列とは、例えば、所定の可逆線形変換の逆変換によって変換された機械学習予測行列を表す。合計は、整数行列との所定の予測行列の合計に対応することができ、その列が所定の成分に対応するその列ｉ_０は１からなり、その他の列ｉ≠ｉ_０の全ては０である。

実施形態によれば、装置は、予測パラメータを使用して所定の予測行列を表し、さらなるベクトルの成分ならびに予測パラメータおよびそれから生じる中間結果に対して乗算および加算を実行することによって行列ベクトル積を計算するように構成される。予測パラメータの絶対値は、ｎビットの固定小数点数表現によって表すことができ、ｎは１４以下、あるいは１０以下、あるいは８以下である。換言すれば、予測パラメータは、さらなるベクトル、所定の予測行列および／または予測ベクトルなどの行列ベクトル積の要素に乗算および／または加算される。乗算および加算演算により、例えば所定の予測行列、予測ベクトル、および／または所定のブロックの予測サンプルの固定小数点フォーマットが取得されることができる。

本発明にかかる実施形態は、予測信号を取得するために、本明細書に記載の実施形態のいずれかにかかる複数の参照サンプルを使用してピクチャの所定のブロックを予測するための装置を備える、ピクチャを符号化するための装置に関する。さらにまた、装置は、予測信号を補正するために所定のブロックの予測残差を符号化するように構成されたエントロピー符号化器を備える。予測信号を取得するための所定のブロックの予測のために、装置は、例えば、複数の参照サンプルからサンプル値ベクトルを形成し、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出し、予測ベクトルを取得するために、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算し、予測ベクトルに基づいて所定のブロックのサンプルを予測するように構成される。

本発明にかかる実施形態は、予測信号を取得するために、本明細書に記載の実施形態のいずれかにかかる複数の参照サンプルを使用してピクチャの所定のブロックを予測するための装置を備える、ピクチャを復号するための装置に関する。さらにまた、装置は、所定のブロックの予測残差を復号するように構成されたエントロピー復号器と、予測残差を使用して予測信号を補正するように構成された予測補正器とを備える。予測信号を取得するための所定のブロックの予測のために、装置は、例えば、複数の参照サンプルからサンプル値ベクトルを形成し、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出し、予測ベクトルを取得するために、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算し、予測ベクトルに基づいて所定のブロックのサンプルを予測するように構成される。

本発明にかかる実施形態は、複数の参照サンプルを使用してピクチャの所定のブロックを予測するための方法であって、複数の参照サンプルからサンプル値ベクトルを形成することと、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出することと、予測ベクトルを取得するために、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算することと、予測ベクトルに基づいて所定のブロックのサンプルを予測することと、を含む、方法に関する。

本発明にかかる実施形態は、ピクチャを符号化するための方法であって、予測信号を得るために、上述した方法にしたがって複数の参照サンプルを使用してピクチャの所定のブロックを予測することと、予測信号を補正するために所定のブロックの予測残差をエントロピー符号化することと、を含む、方法に関する。

本発明にかかる実施形態は、ピクチャを復号するための方法であって、予測信号を得るために、上述の方法の１つにしたがって複数の参照サンプルを使用してピクチャの所定のブロックを予測することと、所定のブロックの予測残差をエントロピー復号することと、予測残差を使用して予測信号を補正することと、を含む、方法に関する。
本発明にかかる実施形態は、ピクチャを符号化するための本明細書に記載の方法を使用して符号化されたピクチャを有するデータストリームに関する。

本発明にかかる実施形態は、コンピュータ上で実行されると、本明細書に記載の実施形態のいずれかの方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

図面は、必ずしも縮尺通りではなく、代わりに一般に本発明の原理を説明することに重点が置かれている。以下の説明では、本発明の様々な実施形態が、以下の図面を参照して説明される。

データストリームへの符号化の実施形態を示している。 符号化器の実施形態を示している。 ピクチャの再構成の実施形態を示している。 復号器の実施形態を示している。 実施形態にかかる、符号化および／または復号のためのブロックの予測の概略図を示している。 実施形態にかかる、符号化および／または復号のためのブロックの予測のための行列演算を示している。 実施形態にかかる、縮小されたサンプル値ベクトルを有するブロックの予測を示している。 実施形態にかかる、サンプルの補間を使用したブロックの予測を示している。 実施形態にかかる、いくつかの境界サンプルのみが平均化される、サンプル値ベクトルが縮小されたブロックの予測を示している。 実施形態にかかる、４つの境界サンプルのグループが平均化される、縮小されたサンプル値ベクトルを有するブロックの予測を示している。 実施形態にかかるブロックを予測するための装置の概略図を示している。 実施形態にかかる装置によって実行される行列演算を示している。 実施形態にかかる装置によって実行される詳細な行列演算を示している。 実施形態にかかる装置によって実行される詳細な行列演算を示している。 実施形態にかかる、オフセットおよびスケーリングパラメータを使用して装置によって実行される詳細な行列演算を示している。 異なる実施形態にかかる、オフセットおよびスケーリングパラメータを使用して装置によって実行される詳細な行列演算を示している。 実施形態にかかる、所定のブロックを予測するための方法のブロック図を示している。

等しいまたは同等の要素または等しいまたは同等の機能を有する要素は、異なる図で発生する場合であっても、等しいまたは同等の参照符号によって以下の説明で示されている。

以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が示されている。しかしながら、本発明の実施形態がこれらの特定の詳細なしで実施されることができることは当業者にとって明らかであろう。他の例では、本発明の実施形態を曖昧にすることを回避するために、周知の構造および装置が詳細ではなくブロック図の形態で示されている。さらに、以下に説明する異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせられることができる。
１ 序論

以下では、異なる本発明の例、実施形態および態様を説明する。これらの例、実施形態、および態様の少なくともいくつかは、とりわけ、ビデオコーディングのための、および／または例えば隣接するサンプル縮小を伴う線形もしくはアフィン変換を使用してブロックベースの予測を実行するための、および／または例えばビデオアプリケーションおよび／または仮想現実アプリケーションのためのビデオ配信（例えば、放送、ストリーミング、ファイル再生など）を最適化するための方法および／または装置を指す。

さらに、例、実施形態、および態様は、高効率ビデオコーディング（ＨＥＶＣ）または後継を指すことができる。また、さらなる実施形態、例および態様は、添付の特許請求の範囲によって定義される。

特許請求の範囲によって定義される任意の実施形態、例および態様は、以下の章に記載される詳細（特徴および機能）のいずれかによって補足されることができることに留意されたい。

また、以下の章に記載される実施形態、例、および態様は、個別に使用されることができ、別の章の特徴のいずれか、または特許請求の範囲に含まれる任意の特徴によって補足されることもできる。

また、本明細書に記載の個々の例、実施形態および態様は、個別にまたは組み合わせて使用されることができることに留意されたい。したがって、詳細は、前記例、実施形態および態様のうちの別の１つに詳細を追加することなく、前記個々の態様のそれぞれに追加されることができる。
本開示は、復号および／または符号化システムおよび／または方法の特徴を明示的または暗黙的に説明することにも留意されたい。

さらに、方法に関連して本明細書に開示された特徴および機能は、装置において使用されることもできる。さらにまた、装置に関して本明細書に開示された任意の特徴および機能はまた、対応する方法において使用されることもできる。換言すれば、本明細書に開示された方法は、装置に関して説明された特徴および機能のいずれかによって補足されることができる。

また、本明細書に記載されている特徴および機能のいずれも、「実装代替」のセクションで説明するように、ハードウェアもしくはソフトウェアで、またはハードウェアとソフトウェアの組み合わせを使用して実装されることができる。

さらに、括弧内に記載された特徴のいずれか（「（．．．）」または「［．．．］」）は、いくつかの例、実施形態、または態様では任意選択的であるとして見なされることができる。

２ 符号化器、復号器
以下では、ブロックベースの予測を使用するときに、より効果的な圧縮を実現するのに役立つことができる様々な例について説明する。いくつかの例は、イントラ予測モードのセットを費やすことによって高い圧縮効率を達成する。後者は、例えばヒューリスティックに設計された他のイントラ予測モードに追加されることも、排他的に提供されることもできる。そして、他の例でさえも、ここで記載される専門分野の双方を利用する。しかしながら、これらの実施形態の振動として、イントラ予測は、代わりに別のピクチャ内の参照サンプルを使用することによってインター予測に変換されることができる。

本出願の以下の例の理解を容易にするために、説明は、本出願のその後に概説される例が構築されることができる、それに適合する可能な符号化器および復号器の提示から始まる。図１は、ピクチャ１０をデータストリーム１２にブロック単位で符号化するための装置を示している。装置は、参照符号１４を使用して示され、静止ピクチャ符号化器またはビデオ符号化器とすることができる。換言すれば、ピクチャ１０は、ピクチャ１０を含むビデオ１６をデータストリーム１２に符号化するように符号化器１４が構成されている場合、または符号化器１４がピクチャ１０をデータストリーム１２に排他的に符号化することができる場合、ビデオ１６からの現在のピクチャとすることができる。

前述のように、符号化器１４は、ブロック単位の方法またはブロックベースで符号化を実行する。このため、符号化器１４は、ピクチャ１０をブロックに細分割し、その符号化器１４のユニットは、ピクチャ１０をデータストリーム１２に符号化する。ピクチャ１０のブロック１８への可能な細分割の例は、以下により詳細に示されている。一般に、細分割は、行および列に配置されたブロックのアレイなどの一定サイズのブロック１８に、またはピクチャ１０のピクチャ領域全体からまたはピクチャ１０の事前パーティションからツリーブロックのアレイへのマルチツリー再分割を開始する階層的マルチツリー細分割の使用などによる異なるブロックサイズのブロック１８に終わる可能性があり、これらの例は、ピクチャ１０をブロック１８に細分割する他の可能な方法を除外するものとして扱われてはならない。

さらに、符号化器１４は、ピクチャ１０をデータストリーム１２に予測的に符号化するように構成された予測符号化器である。特定のブロック１８について、これは、符号化器１４がブロック１８の予測信号を判定し、予測残差、すなわち、予測信号がブロック１８内の実際のピクチャコンテンツから逸脱する予測誤差をデータストリーム１２に符号化することを意味する。

符号化器１４は、特定のブロック１８の予測信号を導出するために、異なる予測モードをサポートすることができる。以下の例で重要である予測モードは、ブロック１８の内部が、隣接する、既に符号化されたピクチャ１０のサンプルから空間的に予測されるイントラ予測モードである。ピクチャ１０のデータストリーム１２への符号化、したがって対応する復号手順は、ブロック１８の間で定義された特定の符号化順序２０に基づくことができる。例えば、符号化順序２０は、各行を左から右にトラバースしながら、上から下に行単位などのラスタ走査順序でブロック１８をトラバースすることができる。階層的マルチツリーベースの細分割の場合、ラスタ走査の順序は、各階層レベル内で適用されることができ、深さ優先のトラバーサル順序が適用されることができる。すなわち、特定の階層レベルのブロック内のリーフノードは、符号化順序２０にしたがって同じ親ブロックを有する同じ階層レベルのブロックに先行することができる。符号化順序２０に応じて、ブロック１８の隣接する、既に符号化されたサンプルは、通常、ブロック１８の１つ以上の側に配置されることができる。本明細書に提示された例の場合、例えば、ブロック１８の隣接する、既に符号化されたサンプルは、ブロック１８の上部および左側に配置されている。

符号化器１４によってサポートされるのは、イントラ予測モードだけでなくてもよい。例えば、符号化器１４がビデオ符号化器である場合、符号化器１４はまた、ブロック１８が以前に符号化されたビデオ１６のピクチャから一時的に予測されるインター予測モードをサポートすることができる。そのようなインター予測モードは、ブロック１８の予測信号がコピーとして導出される部分の相対的な空間オフセットを示す、そのようなブロック１８に対して動きベクトルがシグナリングされる動き補償予測モードとすることができる。追加的または代替的に、符号化器１４がマルチビュー符号化器である場合のインター予測モード、またはブロック１８の内部が現状のまま、すなわち予測なしで符号化される非予測モードなど、他の非イントラ予測モードも利用可能とすることができる。

本出願の説明をイントラ予測モードに焦点を当てることから始める前に、可能なブロックベースの符号化器のより具体的な例、すなわち、図２に関して説明した、次にそれぞれ図１および図２に適合する復号器の２つの対応する例を提示するような符号化器１４の可能な実装について説明する。

図２は、図１の符号化器１４の可能な実装、すなわち、符号化器が予測残差を符号化するために変換符号化を使用するように構成されるものを示しているが、これはほぼ例であり、本出願は、その種の予測残差符号化に限定されるものではない。図２によれば、符号化器１４は、インバウンド信号、すなわちピクチャ１０、またはブロックベースで現在のブロック１８から対応する予測信号２４を減算して、後に予測残差符号化器２８によってデータストリーム１２に符号化される予測残差信号２６を取得するように構成された減算器２２を備える。予測残差符号化器２８は、不可逆符号化ステージ２８ａおよび可逆符号化ステージ２８ｂから構成される。不可逆ステージ２８ａは、予測残差信号２６を受信し、予測残差信号２６のサンプルを量子化する量子化器３０を備える。既に上述したように、本例は、予測残差信号２６の変換符号化を使用し、したがって、不可逆符号化ステージ２８ａは、残差信号２６を提示する変換された係数で行われる量子化器３０の量子化によってスペクトル分解されたそのような予測残差２６を変換するように、減算器２２と量子化器３０との間に接続された変換ステージ３２を備える。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、アダマール変換などとすることができる。次に、変換および量子化された予測残差信号３４は、量子化予測残差信号３４をデータストリーム１２にエントロピー符号化するエントロピーコーダである可逆符号化ステージ２８ｂによる可逆符号化を受ける。符号化器１４は、変換および量子化された予測残差信号３４から、復号器でも利用可能な方法で予測残差信号を再構成するように、量子化器３０の出力に接続された予測残差信号再構成ステージ３６をさらに備える。すなわち、符号化損失を考慮するのは量子化器３０である。この目的のために、予測残差再構成ステージ３６は、量子化器３０の量子化の逆を実行する逆量子化器３８と、それに続く、上述した特定の変換例のいずれかの逆などのスペクトル分解の逆などの変換器３２によって実行される変換に対して逆変換を実行する逆変換器４０とを備える。符号化器１４は、再構成された信号、すなわち再構成されたサンプルを出力するために、逆変換器４０によって出力される再構成された予測残差信号と予測信号２４とを加算する加算器４２を備える。この出力は、符号化器１４の予測器４４に供給され、予測器４４は、それに基づいて予測信号２４を判定する。図１に関して既に上述した全ての予測モードをサポートするのは予測器４４である。図２はまた、符号化器１４がビデオ符号化器である場合、符号化器１４はまた、フィルタリングされた後、相互予測ブロックに関して予測器４４の参照ピクチャを形成する完全に再構成されたピクチャをフィルタするインループフィルタ４６を備えることができることを示している。

既に上述したように、符号化器１４は、ブロックベースで動作する。以降の説明では、対象のブロックベースは、ピクチャ１０をブロックに細分割したものであり、そのブロックに対して、予測器４４または符号化器１４によってそれぞれサポートされるセットまたは複数のイントラ予測モードからイントラ予測モードが選択され、選択されたイントラ予測モードは個別に実行される。しかしながら、ピクチャ１０が細分割されている他の種類のブロックも同様に存在することがある。例えば、ピクチャ１０がインターコード化されているかイントラコード化されているかに関する上記の判定は、粒度で、またはブロック１８から逸脱したブロックの単位で行うことができる。例えば、インターモード／イントラモード決定は、ピクチャ１０が細分割され、各符号化ブロックが予測ブロックに細分割される符号化ブロックのレベルで実行されることができる。イントラ予測が使用されることが決定された符号化ブロックを有する予測ブロックは、それぞれ、イントラ予測モード決定に細分割される。このため、これらの予測ブロックのそれぞれについて、サポートされているどのイントラ予測モードがそれぞれの予測ブロックに使用されるべきかが決定される。これらの予測ブロックは、ここで関心のあるブロック１８を形成する。相互予測に関連する符号化ブロック内の予測ブロックは、予測器４４によって異なって扱われるであろう。それらは、動きベクトルを判定し、動きベクトルによって指し示される参照ピクチャ内の位置からこのブロックの予測信号をコピーすることによって、参照ピクチャから相互予測されるであろう。別のブロック細分割は、変換器３２および逆変換器４０による変換が実行されるユニットでの変換ブロックへの細分割に関係する。変換されたブロックは、例えば、符号化ブロックをさらに再分割した結果とすることができる。当然のことながら、ここに記載されている例は、限定的なものとして扱われるべきではなく、他の例も存在する。完全を期すためだけに、符号化ブロックへの細分割は、例えば、マルチツリー細分割を使用することができ、同様に、予測ブロックおよび／または変換ブロックは、マルチツリー細分割を使用して符号化ブロックをさらに細分割することによって取得されることができることに留意されたい。

図１の符号化器１４に適合するブロック単位復号のための復号器５４または装置が図３に示されている。この復号器５４は、符号化器１４とは逆のことを行う。すなわち、データストリーム１２からピクチャ１０をブロック単位で復号し、この目的のために、複数のイントラ予測モードをサポートする。復号器５４は、例えば、残差プロバイダ１５６を備えることができる。図１に関して上述した他の全ての可能性は、復号器５４にも有効である。このため、復号器５４は、静止ピクチャ復号器またはビデオ復号器とすることができ、全ての予測モードおよび予測可能性は、復号器５４によってもサポートされる。符号化器１４と復号器５４との相違点は、主に、符号化器１４が、例えば、符号化速度および／または符号化歪みに依存することができるいくつかのコスト関数を最小化するためなど、何らかの最適化にしたがって符号化決定を選択または選定するという事実にある。これらの符号化オプションまたは符号化パラメータの１つは、利用可能なまたはサポートされているイントラ予測モードの中からの、現在のブロック１８に使用されるイントラ予測モードの選択を含むことができる。次に、選択されたイントラ予測モードは、データストリーム１２内の現在のブロック１８の符号化器１４によってシグナリングされ、復号器５４は、ブロック１８のデータストリーム１２のこのシグナリングを使用して選択をやり直す。同様に、ピクチャ１０のブロック１８への細分割は、符号化器１４内で最適化の対象とすることができ、対応する細分割情報は、データストリーム１２内で伝達されることができ、復号器５４は、細分割情報に基づいてピクチャ１０の細分割をブロック１８に回復する。上記を要約すると、復号器５４は、ブロックベースで動作する予測復号器とすることができ、イントラ予測モードに加えて、復号器５４は、例えば、復号器５４がビデオ復号器である場合、相互予測モードなどの他の予測モードをサポートすることができる。復号において、復号器５４はまた、図１に関して記載された符号化順序２０を使用することができ、この符号化順序２０は、符号化器１４および復号器５４の双方で従われるため、同じ隣接サンプルが、符号化器１４および復号器５４の双方で現在のブロック１８に利用可能である。したがって、不必要な繰り返しを回避するために、符号化器１４の動作モードの説明は、例えば、予測に関する限り、および予測残差の符号化が関係する限りなど、ピクチャ１０のブロックへの再分割に関する限り、復号器５４にも適用されなければならない。相違点は、符号化器１４が、最適化によって、いくつかの符号化オプションまたは符号化パラメータおよび信号をデータストリーム１２内で選択するか、またはデータストリーム１２に挿入するという事実にあり、これらは、再分割など、予測をやり直すために、復号器５４によってデータストリーム１２から導出される。

図４は、図３の復号器５４の可能な実装、すなわち、図２に示されるように、図１の符号化器１４の実装に適合するものを示している。図４の符号化器５４の多くの要素は、図２の対応する符号化器で発生するものと同じであるため、これらの要素を示すために、アポストロフィを有する同じ参照符号が図４で使用される。特に、加算器４２’、オプションのインループフィルタ４６’および予測器４４’は、それらが図２の符号化器にあるのと同じ方法で予測ループに接続されている。加算器４２’に適用される再構成された、すなわち逆量子化および再変換された予測残差信号は、エントロピー符号化器２８ｂのエントロピー符号化を逆にするエントロピー復号器５６のシーケンス、続いて符号化側の場合と同じように逆量子化器３８’および逆変換器４０’から構成される残差信号再構成ステージ３６’によって導出される。復号器の出力は、ピクチャ１０の再構成である。ピクチャ１０の再構成は、加算器４２’の出力において直接、あるいは、インループフィルタ４６’の出力において利用可能とすることができる。ピクチャ品質を改善するために、ピクチャ１０の再構成をいくつかのポストフィルタリングにかけるために、いくつかのポストフィルタが復号器の出力に配置されることができるが、このオプションは図４には示されていない。

繰り返すが、図４に関して、図２に関して上に示した説明は、符号化器が最適化タスクと符号化オプションに関する関連する決定を実行するだけであることを除いて、図４にも有効である。しかしながら、ブロック細分割、予測、逆量子化、および再変換に関する全ての説明は、図４の復号器５４についても有効である。

３ ＡＬＷＩＰ（アフィン線形加重イントラ予測器）
ＡＬＷＩＰに関するいくつかの非限定的な例は、本明細書で説明される技術を具現化するためにＡＬＷＩＰが必ずしも必要ではない場合であっても、本明細書で説明される。

本出願は、とりわけ、ＨＥＶＣまたはＨＥＶＣの後継などのビデオコーデックで使用可能であるような、ブロック単位のピクチャ符号化のための改良されたブロックベースの予測モードの概念に関する。予測モードは、イントラ予測モードであってもよいが、理論的には、本明細書に記載された概念は、参照サンプルが別のピクチャの一部であるインター予測モードにも変換されることができる。
ハードウェアフレンドリな実装などの効率的な実装を可能にするブロックベースの予測概念が求められている。
この目的は、本出願の独立請求項の主題によって達成される。

イントラ予測モードは、ピクチャおよびビデオの符号化で広く使用されている。ビデオ符号化では、イントラ予測モードは、動き補償予測モードなどの相互予測モードなどの他の予測モードと競合する。イントラ予測モードでは、現在のブロックは、隣接するサンプル、すなわち、符号化器側に関する限り既に符号化され、復号器側に関する限り既に復号されているサンプルに基づいて予測される。隣接するサンプル値が現在のブロックに外挿されて、現在のブロックの予測信号が形成され、予測残差が現在のブロックのデータストリームで送信される。予測信号が優れているほど、予測残差は少なくなり、したがって、予測残差をコード化するために必要なビット数は少なくなる。

効果的であるためには、ブロック単位のピクチャ符号化環境でのイントラ予測のための効果的なフレームワークを形成するために、いくつかの態様が考慮される必要がある。例えば、コーデックでサポートされるイントラ予測モードの数が多いほど、復号器に選択を通知するためのサイド情報レートの消費量が多くなる。一方、サポートされているイントラ予測モードのセットは、良好な予測信号、すなわち、予測残差が低くなる予測信号を提供することができる必要がある。

以下では、比較実施形態または基本例として、データストリームからピクチャをブロック単位で復号するための装置（符号化器または復号器）であって、ピクチャの所定のサイズのブロックに対するイントラ予測信号が、現在のブロックに隣接するサンプルの第１のテンプレートを結局アフィン線形加重予測器（ＡＬＷＩＰ）と称されるものとするアフィン線形予測器に適用することによって決定される、少なくとも１つのイントラ予測モードをサポートする装置が開示される。

装置は、以下の特性（同じことが、例えば、プロセッサによって実行されると、プロセッサに、方法を実施させ、および／または装置として動作させる命令を記憶する非一時的記憶ユニットに実装される、方法または別の技術に適用されてもよい）のうちの少なくとも１つを有することができる。

３．１ 予測器は、他の予測器と相補的とすることができる。
以下にさらに説明される実施改善の主題を形成することができるイントラ予測モードは、コーデックの他のイントラ予測モードに対して相補的とすることができる。したがって、それらは、ＨＥＶＣコーデックおよびＪＥＭ参照ソフトウェアで定義されたＤＣ予測モード、平面予測モード、または角度予測モードを補完することができる。以降、後者の３種類のイントラ予測モードは、従来のイントラ予測モードと呼ぶものとする。したがって、イントラモードの所与のブロックについて、装置によってサポートされるイントラ予測モードのうちの１つが使用されるべきか否かを示すフラグが復号器によって解析される必要がある。

３．２ ２つ以上の提案された予測モード
装置は、２つ以上のＡＬＷＩＰモードを含むことができる。したがって、装置によってサポートされるＡＬＷＩＰモードのうちの１つが使用されるべきであることを復号器が知っている場合、復号器は、装置によってサポートされるＡＬＷＩＰモードのうちのどれが使用されるべきかを示す追加情報を解析する必要がある。

サポートされるモードの信号伝達は、いくつかのＡＬＷＩＰモードの符号化が他のＡＬＷＩＰモードよりも少ないビンを必要とし得るという特性を有することができる。これらのモードのうちのどれがより少ないビンを必要とし、どのモードがより多くのビンを必要とするかは、既に復号されたビットストリームから抽出されることができるか、または事前に固定されることができる情報に依存することができる。

４ いくつかの態様
図２は、データストリーム１２からピクチャを復号するための復号器５４を示している。復号器５４は、ピクチャの所定のブロック１８を復号するように構成されることができる。特に、予測器４４は、線形またはアフィン線形変換［例えば、ＡＬＷＩＰ］を使用して所定のブロック１８に隣接するＰ個の隣接サンプルのセットを所定のブロックのサンプルのＱ個の予測値のセットにマッピングするように構成されることができる。

図５に示すように、所定のブロック１８は、予測されるＱ個の値（これは、演算の終わりに、「予測値」となる）を含む。ブロック１８がＭ行Ｎ列を有する場合、Ｑ＝Ｍ・Ｎである。ブロック１８のＱ値は、空間領域（例えば、画素）または変換領域（例えば、ＤＣＴ、離散ウェーブレット変換など）にあることができる。ブロック１８のＱ値は、一般にブロック１８に隣接する隣接ブロック１７ａ～１７ｃから取得されたＰ値に基づいて予測されることができる。隣接するブロック１７ａ～１７ｃのＰ値は、ブロック１８に最も近い位置（例えば、隣接する）にあってもよい。隣接ブロック１７ａ～１７ｃのＰ値は、既に処理および予測されている。Ｐ値は、それらをそれらが（いくつかの例では、１７’ｂは使用されない）の一部であるブロックと区別するために、部分１７’ａ～１７’ｃに値として示されている。

図６に示すように、予測を実行するために、Ｐ個のエントリを有する第１のベクトル１７Ｐ（各エントリは、隣接部分１７’ａ～１７’ｃの特定の位置に関連付けられている）、Ｑ個のエントリを有する第２のベクトル１８Ｑ（各エントリは、ブロック１８の特定の位置に関連付けられている）、およびマッピング行列１７Ｍ（各行は、ブロック１８内の特定の位置に関連付けられ、各列は、隣接部分１７’ａ～１７’ｃ内の特定の位置に関連付けられる）で演算することが可能である。したがって、マッピング行列１７Ｍは、所定のモードにしたがって、隣接部分１７’ａ～１７’ｃのＰ値のブロック１８の値への予測を実行する。したがって、マッピング行列１７Ｍ内のエントリは、重み係数として理解されることができる。以下の記載では、１７’ａ～１７’ｃの代わりに符号１７ａ～１７ｃを使用して境界の隣接部分を参照する。

当該技術分野では、ＤＣモード、平面モード、および６５方向予測モードなどのいくつかの従来のモードが知られている。例えば、６７個のモードが知られている。

しかしながら、ここでは線形またはアフィン線形変換と呼ばれる異なるモードを利用することも可能であることに留意されたい。線形またはアフィン線形変換は、Ｐ・Ｑ個の重み係数を含み、そのうち少なくとも１／４Ｐ・Ｑ個の重み係数は、非ゼロの重み値であり、Ｑ個の予測値のそれぞれについて、それぞれの予測値に関する一連のＰ個の重み係数を含む。系列は、所定のブロックのサンプル間でラスタ走査順序にしたがって上下に配置されると、全方向的に非線形である包絡線を形成する。

隣接する値１７’ａ～１７’ｃ（テンプレート）のＰ個の位置、隣接するサンプル１７’ａ～１７’ｃのＱ個の位置、および行列１７ＭのＰ＊Ｑ個の重み係数の値をマッピングすることが可能である。平面は、ＤＣ変換のための系列の包絡線の例である（ＤＣ変換のための平面である）。包絡線は、明らかに平面であり、したがって、線形またはアフィン線形変換（ＡＬＷＩＰ）の定義によって除外される。別の例は、以下の角度モードのエミュレーションをもたらす行列である：包絡線は、ＡＬＷＩＰ定義から除外され、平たく言えば、Ｐ／Ｑ平面内の方向に沿って上から下に斜めに進む丘のように見える。平面モードおよび６５方向予測モードは異なる包絡線を有するが、これは、少なくとも一方向、すなわち、例えば例示されたＤＣの全ての方向、および例えば角度モードの丘方向において線形である。

逆に、線形またはアフィン変換の包絡線は、全方向的に線形ではない。そのような種類の変換は、状況によっては、ブロック１８の予測を実行するために最適とすることができることが理解されている。重み係数の少なくとも１／４が０とは異なる（すなわち、Ｐ＊Ｑ重み係数の少なくとも２５％が０とは異なる）ことが好ましいことに留意されたい。

重み係数は、任意の規則的なマッピング規則にしたがって互いに無関係であってもよい。したがって、行列１７Ｍは、そのエントリの値が明らかな認識可能な関係を有しないようなものであってもよい。例えば、重み係数は、いかなる解析関数または微分関数によっても記述されることができない。

例では、ＡＬＷＩＰ変換は、それぞれの予測値に関連する第１の系列の重み係数と、それぞれの予測値以外の予測値に関連する第２の系列の重み係数との間の相互相関の最大値の平均、または後者の系列の反転されたバージョンが、より高い最大値につながるにもかかわらず、所定の閾値（例えば、０．２または０．３または０．３５または０．１、例えば、０．０５と０．０３５との間の範囲内の閾値）よりも低くてもよいようなものである。例えば、ＡＬＷＩＰ行列１７Ｍの行の結合（ｉ_１，ｉ_２）毎に、ｉ_１行目のＰ値にｉ_２行目のＰ値を乗算することによって相互相関が算出されることができる。得られた各相互相関について、最大値が取得されることができる。したがって、行列１７Ｍの全体について平均（平均）が取得されることができる（すなわち、全ての組み合わせにおける相互相関の最大値が平均化される）。その後、閾値は、例えば、０．２または０．３または０．３５または０．１、例えば、０．０５から０．０３５の間の範囲の閾値であってもよい。

ブロック１７ａ～１７ｃのＰ個の隣接サンプルは、所定のブロック１８の境界（例えば、１８ｃ、１８ａ）に沿って延びる一次元経路に沿って配置されてもよい。所定のブロック１８のＱ個の予測値のそれぞれについて、それぞれの予測値に関連する一連のＰ個の重み係数は、一次元経路を所定の方向（例えば、左から右、上から下など）に横断するように順序付けられてもよい。
例では、ＡＬＷＩＰ行列１７Ｍは、非対角または非ブロック対角であってもよい。
４つの既に予測された隣接サンプルから４×４ブロック１８を予測するためのＡＬＷＩＰ行列１７Ｍの例は、以下であってもよい：
｛
｛ ３７，５９，７７，２８｝，
｛ ３２，９２，８５，２５｝，
｛ ３１，６９，１００，２４｝，
｛ ３３，３６，１０６，２９｝，
｛ ２４，４９，１０４，４８｝，
｛ ２４，２１，９４，５９｝，
｛ ２９，０，８０，７２｝，
｛ ３５，２，６６，８４｝，
｛ ３２，１３，３５，９９｝，
｛ ３９，１１，３４，１０３｝，
｛ ４５，２１，３４，１０６｝，
｛ ５１，２４，４０，１０５｝，
｛ ５０，２８，４３，１０１｝，
｛ ５６，３２，４９，１０１｝，
｛ ６１，３１，５３，１０２｝，
｛ ６１，３２，５４，１００｝
｝。

（ここで、｛３７，５９，７７，２８｝は第１の行である。｛３２，９２，８５，２５｝は第２の行である。｛６１，３２，５４，１００｝は行列１７Ｍの第１６の行である。）行列１７Ｍは、寸法１６×４を有し、（１６＊４＝６４の結果として）６４個の重み係数を含む。これは、行列１７Ｍが寸法ＱｘＰを有するためであり、ここで、Ｑ＝Ｍ＊Ｎは、予測対象ブロック１８（ブロック１８は４×４ブロック）のサンプル数であり、Ｐは既に予測されたサンプルのサンプル数である。ここで、Ｍ＝４、Ｎ＝４、Ｑ＝１６（Ｍ＊Ｎ＝４＊４＝１６の結果として）であり、Ｐ＝４である。行列は、非対角および非ブロック対角であり、特定の規則によって記述されない。

わかるように、重み係数の１／４未満が０である（上記の行列の場合、６４のうちの１つの重み係数が０である）。これらの値によって形成される包絡線は、ラスタ走査順序にしたがって１つ下に配置されると、全方向的に非線形である包絡線を形成する。

上記の説明が主に復号器（例えば、復号器５４）を参照して説明されている場合であっても、同じことが符号化器（例えば、符号化器１４）において実行されてもよい。

いくつかの例では、（ブロックサイズのセットにおける）各ブロックサイズについて、それぞれのブロックサイズについてのイントラ予測モードの第２のセット内のイントラ予測モードのＡＬＷＩＰ変換は、相互に異なる。追加的または代替的に、ブロックサイズのセットにおけるブロックサイズについてのイントラ予測モードの第２のセットのカーディナリティは、一致することができるが、異なるブロックサイズについてのイントラ予測モードの第２のセット内のイントラ予測モードの関連付けられた線形変換またはアフィン線形変換は、スケーリングすることによって、互いに変換不可能とすることができる。

いくつかの例では、ＡＬＷＩＰ変換は、それらが従来の変換と「共有するものがない」ように定義されてもよい（例えば、ＡＬＷＩＰ変換は、上記のマッピングのうちの１つを介してマッピングされている場合であっても、対応する従来の変換と共有するものが「何もない」とすることができる）。

例では、ＡＬＷＩＰモードは、ルマ成分およびクロマ成分の双方に使用されるが、他の例では、ＡＬＷＩＰモードはルマ成分に使用されるが、クロマ成分には使用されない。

５ 符号器の高速化によるアフィン線形加重イントラ予測モード（例えば、試験ＣＥ３－１．２．１）
５．１ 方法または装置の説明
ＣＥ３－１．２．１において試験されたアフィン線形加重イントラ予測（ＡＬＷＩＰ）モードは、以下の変更を除いて、試験ＣＥ３－２．２．２の下でＪＶＥＴ－Ｌ０１９９において提案されたものと同じとすることができる：

・多重基準線（ＭＲＬ）イントラ予測、特に符号化器推定およびシグナリングとの整合、すなわち、ＭＲＬは、ＡＬＷＩＰと組み合わされず、ＭＲＬインデックスの送信は、非ＡＬＷＩＰブロックに制限される。

・サブサンプリングは、全てのブロックＷ×Ｈ≧３２×３２について必須である（以前は３２×３２についてオプションであった）。したがって、符号化器における追加の試験およびサブサンプリングフラグの送信は除去されている。

・６４×ＮおよびＮ×６４ブロック（Ｎ≦３２）のＡＬＷＩＰは、それぞれ３２×ＮおよびＮ×３２にダウンサンプリングし、対応するＡＬＷＩＰモードを適用することによって追加されている。
さらに、試験ＣＥ３－１．２．１は、ＡＬＷＩＰについての以下の符号化器最適化を含む：

・結合モード推定：従来のモードおよびＡＬＷＩＰモードは、完全なＲＤ推定のために共有アダマール候補リストを使用する、すなわち、ＡＬＷＩＰモード候補は、アダマールコストに基づいて従来の（およびＭＲＬ）モード候補と同じリストに追加される。
・ＥＭＴイントラ高速およびＰＢイントラ高速は、結合モードリストのためにサポートされ、フルＲＤチェックの数を減らすための追加の最適化を有する。
・利用可能な左および上のブロックのＭＰＭのみが、従来のモードの場合と同じ手法にしたがって、ＡＬＷＩＰのフルＲＤ推定のためのリストに追加される。

５．２ 複雑性評価
離散コサイン変換を呼び出す計算を除いて、試験ＣＥ３－１．２．１では、予測信号を生成するためにサンプルあたり最大１２回の乗算が必要であった。さらに、それぞれ１６ビットの合計１３６４９２個のパラメータが必要であった。これは、０．２７３メガバイトのメモリに相当する。

５．３ 実験結果
試験の評価は、ＶＴＭソフトウェアバージョン３．０．１を用いたイントラ専用（ＡＩ）およびランダムアクセス（ＲＡ）構成について、共通の試験条件ＪＶＥＴ－Ｊ１０１０［２］にしたがって実施された。対応するシミュレーションは、Ｌｉｎｕｘ（登録商標） ＯＳおよびＧＣＣ ７．２．１コンパイラを備えたＩｎｔｅｌ Ｘｅｏｎクラスタ（Ｅ５－２６９７Ａ ｖ４、ＡＶＸ２オン、ターボブーストオフ）上で実行された。

５．４ 複雑度低減を伴うアフィン線形加重イントラ予測（例えば、試験ＣＥ３－１．２．２）
ＣＥ２で試験された技術は、ＪＶＥＴ－Ｌ０１９９［１］に記載されている「アフィン線形イントラ予測」に関連しているが、以下のようにメモリ要件および計算複雑性の点でそれを単純化する：

・全てのブロック形状をカバーする予測行列（例えば、Ｓ_０、Ｓ_１、Ｓ_２、以下も参照されたい）およびバイアスベクトル（例えば、オフセット値を提供するため）の３つの異なるセットのみが存在することができる。結果として、パラメータの数は１４４００個の１０ビット値に低減され、これは、

ＣＴＵに記憶されるよりもメモリが少ない。

・予測器の入力および出力サイズはさらに低減される。さらに、ＤＣＴを介して境界を変換する代わりに、平均化またはダウンサンプリングが境界サンプルに対して実行されることができ、予測信号の生成は、逆ＤＣＴの代わりに線形補間を使用することができる。その結果、予測信号を生成するために、サンプル当たり最大４回の乗算が必要となり得る。

６．例
ここでは、ＡＬＷＩＰ予測を用いていくつかの予測（例えば、図６に示すように）を実行する方法について説明する。
原則として、図６を参照すると、予測対象のＭ×Ｎブロック１８のＱ＝Ｍ＊Ｎ値を取得するために、Ｑ×Ｐ ＡＬＷＩＰ予測行列１７ＭのＱ＊ＰサンプルとＰ×１ 隣接ベクトル１７ＰのＰサンプルとの乗算が実行されるべきである。したがって、一般に、予測対象のＭ×Ｎブロック１８のＱ＝Ｍ＊Ｎ個の値のそれぞれを取得するためには、少なくともＰ＝Ｍ＋Ｎ個の値の乗算が必要である。

これらの乗算は、極めて望ましくない効果を有する。境界ベクトル１７Ｐの寸法Ｐは、一般に、予測対象のＭ×Ｎブロック１８に隣接する（例えば、隣接する）境界サンプル（ビンまたは画素）１７ａ、１７ｃの数Ｍ＋Ｎに依存する。これは、予測対象のブロック１８のサイズが大きいと、それに応じて境界画素（１７ａ、１７ｃ）の数Ｍ＋Ｎが大きくなるため、Ｐ×１ 境界ベクトル１７Ｐの寸法Ｐ＝Ｍ＋Ｎ、およびＱ×Ｐ ＡＬＷＩＰ予測行列１７Ｍの各行の長さ、ひいては必要な乗算回数が大きくなることを意味する（一般的に言えば、Ｑ＝Ｍ＊Ｎ＝Ｗ＊Ｈであり、式中、Ｗ（幅）はＮの別の記号であり、Ｈ（高さ）はＭの別の記号であり、Ｐは、境界ベクトルがサンプルの１行および／または１列のみによって形成される場合、Ｐ＝Ｍ＋Ｎ＝Ｈ＋Ｗである）。

この問題は、一般に、マイクロプロセッサベースのシステム（または他のデジタル処理システム）では、乗算が一般に電力を消費する演算であるという事実によって悪化する。多数のブロックの非常に多数のサンプルに対して行われる多数の乗算は、一般に望ましくない計算電力の浪費を引き起こすと推測されることができる。
したがって、Ｍ×Ｎブロック１８を予測するために必要な乗算数Ｑ＊Ｐを低減することが好ましい。

乗算に代わる、処理がより容易な演算を知的に選択することによって、予測対象の各ブロック１８の各イントラ予測に必要な計算電力を何らかの形で低減することが可能であることが理解されている。
特に、図７．１～図７．４を参照すると、符号化器または復号器は、

複数の隣接するサンプルと比較して、サンプル数がより少ない縮小されたサンプル値のセットを取得するために、複数の隣接するサンプル（例えば、１７ａ、１７ｃ）を縮小すること（例えば、ステップ８１１において）、（例えば、平均化またはダウンサンプリングによって）と、

縮小されたサンプル値のセットを線形またはアフィン線形変換に供して（例えば、ステップ８１２において）、所定のブロックの所定のサンプルの予測値を取得することと、

によって、複数の隣接するサンプル（例えば、１７ａ、１７ｃ）を使用してピクチャの所定のブロック（例えば、１８）を予測することができることが理解されている。

場合によっては、復号器または符号化器はまた、例えば補間によって、所定のサンプルおよび複数の隣接するサンプルの予測値に基づいて、所定のブロックのさらなるサンプルの予測値を導出することができる。したがって、アップサンプリング戦略が取得されることができる。

例では、サンプル数が縮小したサンプルの縮小したセット１０２（図７．１～７．４）に到達するように、境界１７のサンプルに対していくつかの平均を実行する（例えば、ステップ８１１において）ことが可能である（縮小された数のサンプル１０２のサンプルの少なくとも一方は、元の境界サンプルの２つのサンプルの平均、または元の境界サンプルの選択であってもよい）。例えば、元の境界がＰ＝Ｍ＋Ｎ個のサンプルを有する場合、サンプルの縮小されたセットは、Ｐ_ｒｅｄ＜Ｐであるように、Ｍ_ｒｅｄ＜ＭおよびＮ_ｒｅｄ＜Ｎのうちの少なくとも１つである、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄを有することができる。したがって、予測に実際に使用される境界ベクトル１７Ｐ（例えば、ステップ８１２ｂにおいて）は、Ｐ×１個のエントリを有さず、Ｐ_ｒｅｄ＜Ｐである、Ｐ_ｒｅｄ×１個のエントリを有する。同様に、予測のために選択されたＡＬＷＩＰ予測行列１７Ｍは、Ｑ×Ｐ寸法を有さず、（Ｍ_ｒｅｄ＜ＭおよびＮ_ｒｅｄ＜Ｎのうちの少なくとも１つである）少なくともＰ_ｒｅｄ＜Ｐであることから、行列の要素数が縮小されたＱ×Ｐ_ｒｅｄ（またはＱ_ｒｅｄ×Ｐ_ｒｅｄ、以下を参照）を有する。

いくつかの例（例えば、図７．２、図７．３）では、（ステップ８１２において）ＡＬＷＩＰによって取得されたブロックが、

および／または

である、サイズ

を有する縮小されたブロックである場合、乗算の回数をさらに減らすことさえ可能である（すなわち、ＡＬＷＩＰによって直接予測されるサンプルは、実際に予測されるブロック１８のサンプルの数よりも少ない）。したがって、

を設定すると、これは、Ｑ＊Ｐ_ｒｅｄ乗算の代わりにＱ_ｒｅｄ＊Ｐ_ｒｅｄ乗算（Ｑ_ｒｅｄ＊Ｐ_ｒｅｄ＜Ｑ＊Ｐ_ｒｅｄ＜Ｑ＊Ｐである）を使用することによってＡＬＷＩＰ予測を取得する。この乗算は、寸法

を有する縮小ブロックを予測する。それにもかかわらず、縮小された

予測ブロックから最終的なＭ×Ｎ予測ブロックへのアップサンプリング（例えば、補間によって取得される）を実行する（例えば、後続のステップ８１３において）ことが可能である。

これらの技術は、行列乗算が縮小された乗算数（Ｑ_ｒｅｄ＊Ｐ_ｒｅｄまたはＱ＊Ｐ_ｒｅｄ）を含む一方で、初期縮小（例えば、平均化またはダウンサンプリング）および最終変換（例えば、補間）の双方が乗算を縮小（さらには回避）することによって実行されることができるため、有利とすることができる。例えば、加算およびシフトなどの非計算電力を必要とするバイナリ演算を採用することによって、ダウンサンプリング、平均化および／または補間が実行されることができる（例えば、ステップ８１１および／または８１３において）。
また、加算は、多くの計算労力なしに容易に実行されることができる非常に簡単な演算である。

このシフト演算は、例えば、最終的な予測ブロックを取得するために、２つの境界サンプルを平均化するために、および／または縮小された予測ブロックの（または境界から取得された）２つのサンプル（支持値）を補間するために使用されることができる。（補間のために、２つのサンプル値が必要である。ブロック内では、常に２つの所定値を有するが、ブロックの左および上の境界に沿ったサンプルを補間するために、図７．２のように、１つの所定値のみを有し、したがって、補間のための支持値として境界サンプルを使用する。）

以下のような２段階手順が使用されることができる：
最初に２つのサンプルの値を加算する、
次いで、和の値を半分にする（例えば、右シフトによって）。
あるいは、以下のことが可能である：
サンプルのそれぞれを最初に半分にする（例えば、左シフトによって）、

次いで、２つの半分にされたサンプルの値を加算する。
１つのサンプル量およびサンプルのグループ（例えば、互いに隣接するサンプル）を選択するだけでよいため、ダウンサンプリング（例えば、ステップ８１１において）の際にさらに容易な演算が実行されることができる。
したがって、ここで、実行されるべき乗算の数を低減するための技術を定義することが可能である。これらの技術のいくつかは、とりわけ、以下の原理のうちの少なくとも１つに基づいてもよい：

実際に予測されるブロック１８のサイズがＭ×Ｎであっても、（二次元の少なくとも一方において）ブロックが縮小され、縮小されたサイズのＱ_ｒｅｄ×Ｐ_ｒｅｄ（

、Ｐ_ｒｅｄ＝Ｎ_ｒｅｄ＋Ｍ_ｒｅｄであり、

および／または

および／またはＭ_ｒｅｄ＜Ｍおよび／またはＮ_ｒｅｄ＜Ｎである）を有するＡＬＷＩＰ行列が適用されることができる。したがって、境界ベクトル１７Ｐは、サイズＰ_ｒｅｄ×１を有し、Ｐ_ｒｅｄ＜Ｐ乗算のみを意味する（Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄおよびＰ＝Ｍ＋Ｎ）。
Ｐ_ｒｅｄ×１境界ベクトル１７Ｐは、例えば、
ダウンサンプリングによって（例えば、境界のいくつかのサンプルのみを選択することによって）、および／または
境界の複数のサンプルを平均することによって（これは、乗算なしで加算およびシフトによって容易に取得されることができる）、
元の境界１７から容易に取得されることができる。

追加的または代替的に、予測対象のブロック１８の全てのＱ＝Ｍ＊Ｎ値を乗算によって予測する代わりに、寸法が縮小された縮小ブロック（例えば、

である

および／または

である）のみを予測することが可能である。予測対象のブロック１８の残りのサンプルは、例えば、予測対象の残りのＱ－Ｑ_ｒｅｄ値の支持値としてＱ_ｒｅｄ個のサンプルを使用する補間によって取得される。

図７．１に示す例によれば、４×４ブロック１８（Ｍ＝４、Ｎ＝４、Ｑ＝Ｍ＊Ｎ＝１６）が予測されることになり、サンプル１７ａの近傍１７（４つの既に予測されたサンプルを有する垂直行列）および１７ｃ（４つの既に予測されたサンプルを有する水平行）は、前の反復で既に予測されている（近傍１７ａおよび１７ｃは、まとめて１７で示されることができる）。先験的に、図５に示す式を使用することにより、予測行列１７Ｍは、Ｑ×Ｐ＝１６×８行列（Ｑ＝Ｍ＊Ｎ＝４＊４およびＰ＝Ｍ＋Ｎ＝４＋４＝８により）であるべきであり、境界ベクトル１７Ｐは、８×１寸法（Ｐ＝８により）を有するべきである。しかしながら、これは、予測対象の４×４ブロック１８の１６個のサンプルのそれぞれについて８回の乗算を実行する必要性につながり、したがって、合計で１６＊８＝１２８回の乗算を実行する必要性につながる。（サンプルあたりの平均乗算回数は、計算複雑度の良好な評価であることに留意されたい。従来のイントラ予測では、サンプルあたり４回の乗算が必要であり、これは関与する計算労力を増加させる。したがって、これをＡＬＷＩＰの上限として使用することが可能であり、複雑さが合理的であり、従来のイントラ予測の複雑さを超えないことを保証する。）

それにもかかわらず、本技術を使用することにより、ステップ８１１において、予測対象のブロック１８に隣接するサンプル１７ａおよび１７ｃの数をＰからＰ_ｒｅｄ＜Ｐに減らすことが可能であることが理解されている。特に、２つの水平行および２つの垂直列を有する縮小境界１０２を取得するために、互いに隣接する境界サンプル（１７ａ、１７ｃ）を平均（例えば、図７．１の１００において）することが可能であり、したがって、ブロック１８としての演算は、２×２ブロック（縮小境界は、平均値によって形成される）であることが理解されている。あるいは、ダウンサンプリングを実行することが可能であり、したがって、行１７ｃに対して２つのサンプルを選択し、列１７ａに対して２つのサンプルを選択する。したがって、水平行１７ｃは、４つの元のサンプルを有する代わりに、２つのサンプルを有するものとして処理され（例えば、平均化されたサンプル）、元々４つのサンプルを有する垂直列１７ａは、２つのサンプルを有するものとして処理される（例えば、平均化されたサンプル）。行１７ｃおよび列１７ａをそれぞれ２つのサンプルのグループ１１０に細分割した後、単一のサンプルが維持される（例えば、グループ１１０のサンプルの平均またはグループ１１０のサンプル間の単純な選択）ことも理解することができる。したがって、４つのサンプル（Ｍ_ｒｅｄ＝２、Ｎ_ｒｅｄ＝２、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４、Ｐ_ｒｅｄ＜Ｐ）のみを有するセット１０２によって、サンプル値のいわゆる縮小されたセット１０２が取得される。

プロセッサレベルで過度に多くの乗算を実行することなく（平均化またはダウンサンプリング１００などの）演算を実行することが可能であることが理解されている：ステップ８１１において実行される平均化またはダウンサンプリング１００は、加算およびシフトなどの単純で計算上非電力消費の演算によって簡単に取得されることができる。

この時点で、縮小されたサンプル値のセット１０２を線形またはアフィン線形（ＡＬＷＩＰ）変換１９（例えば、図５の行列１７Ｍなどの予測行列を使用する）に供することが可能であることが理解されている。この場合、ＡＬＷＩＰ変換１９は、４つのサンプル１０２をブロック１８のサンプル値１０４に直接マッピングする。この場合、補間は不要である。

この場合、ＡＬＷＩＰ行列１７Ｍは、寸法Ｑ×Ｐ_ｒｅｄ＝１６×４を有する：これは、予測対象のブロック１８の全てのＱ＝１６個のサンプルがＡＬＷＩＰ乗算によって直接取得される（補間は不要である）という事実にしたがう。

したがって、ステップ８１２ａにおいて、寸法Ｑ×Ｐ_ｒｅｄを有する適切なＡＬＷＩＰ行列１７Ｍが選択される。選択は、例えば、データストリーム１２からのシグナリングに少なくとも部分的に基づいてもよい。選択されたＡＬＷＩＰ行列１７Ｍはまた、Ａ_ｋで示されることができ、ここで、ｋは、データストリーム１２でシグナリングされることができるインデックスとして理解されることができる（場合によっては、行列はまた、

のようにも示される。以下を参照）。選択は、以下のスキームにしたがって実行されてもよい：各寸法（例えば、予測対象のブロック１８の高さ／幅の対）について、ＡＬＷＩＰ行列１７Ｍは、例えば、３組の行列Ｓ_０、Ｓ_１、Ｓ_２のうちの１つの中から選択される（３つのセットＳ_０、Ｓ_１、Ｓ_２のそれぞれは、同じ寸法の複数のＡＬＷＩＰ行列１７Ｍをグループ化することができ、予測のために選択されるＡＬＷＩＰ行列は、それらのうちの１つになる）。

ステップ８１２ｂにおいて、選択されたＱ×Ｐ_ｒｅｄＡＬＷＩＰ行列１７Ｍ（Ａ_ｋとしても示される）とＰ_ｒｅｄ×１ 境界ベクトル１７Ｐとの乗算が実行される。

ステップ８１２ｃにおいて、オフセット値（例えば、ｂ_ｋ）は、例えば、ＡＬＷＩＰによって取得されたベクトル１８Ｑの取得された全ての値１０４に加算されることができる。オフセット（ｂ_ｋ、または場合によっては

によっても示される、以下を参照）の値は、特定の選択されたＡＬＷＩＰ行列（Ａ_ｋ）に関連付けられてもよく、インデックス（例えば、データストリーム１２でシグナリングされてもよい）に基づいてもよい。
したがって、本技術を使用することと本技術を使用しないこととの比較がここで再開される：
本技術を使用しない場合：
寸法Ｍ＝４、Ｎ＝４を有するブロックである予測対象のブロック１８、
予測対象のＱ＝Ｍ＊Ｎ＝４＊４＝１６個の値、
Ｐ＝Ｍ＋Ｎ＝４＋４＝８個の境界サンプル
Ｐ＝予測対象のＱ＝１６個の値のそれぞれについての８回の乗算、
Ｐ＊Ｑ＝８＊１６＝１２８回の乗算の総数、
本技術を使用する場合、以下を有する：
寸法Ｍ＝４、Ｎ＝４を有するブロックである予測対象のブロック１８、
最後の予測対象のＱ＝Ｍ＊Ｎ＝４＊４＝１６個の値、
境界ベクトルの縮小寸法：Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝２＋２＝４、
ＡＬＷＩＰによる予測対象のＱ＝１６個の値のそれぞれについてＰ_ｒｅｄ＝４回の乗算、
Ｐ_ｒｅｄ＊Ｑ＝４＊１６＝６４回の乗算の総数（１２８の半分！）
乗算回数と取得される最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ／Ｑ＝４であり、すなわち、予測対象の各サンプルについてＰ＝８の乗算の半分である！

理解されることができるように、平均化（場合によっては、加算および／またはシフトおよび／またはダウンサンプリング）などの容易で計算的に電力を必要としない演算に依存することによって、ステップ８１２において適切な値を取得することが可能である。

図７．２を参照すると、予測対象のブロック１８は、ここでは６４サンプルの８×８ブロック（Ｍ＝８、Ｎ＝８）である。ここで、先験的に、予測行列１７Ｍは、サイズＱ×Ｐ＝６４×１６（Ｑ＝Ｍ＊Ｎ＝８＊８＝６４、Ｍ＝８およびＮ＝８により、ならびにＰ＝Ｍ＋Ｎ＝８＋８＝１６によりＱ＝６４）を有するべきである。したがって、先験的に、予測対象の８×８ブロック１８のＱ＝６４個のサンプルのそれぞれについてＰ＝１６回の乗算が必要とされ、８×８ブロック１８の全体について６４＊１６＝１０２４回の乗算に到達するであろう！

しかしながら、図７．２からわかるように、境界の１６個のサンプルの全てを使用する代わりに、８つの値（例えば、境界の元のサンプル間の水平境界行１７ｃの４つおよび垂直境界列１７ａの４つ）のみが使用される方法８２０が提供されることができる。境界行１７ｃからは、８個ではなく４個のサンプルが使用されてもよい（例えば、それらは、２×２の平均および／または２つのうちの１つのサンプルの選択であってもよい）。したがって、境界ベクトルは、Ｐ×１＝１６×１ベクトルではなく、Ｐ_ｒｅｄ×１＝８×１ベクトルのみとなる（Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４）。元のＰ＝１６個のサンプルの代わりに、Ｐ_ｒｅｄ＝８個の境界値のみを有するように、水平行１７ｃのサンプルおよび垂直列１７ａのサンプルを選択または平均（例えば、２×２）して、サンプル値の縮小されたセット１０２を形成することが可能であることが理解されている。この縮小セット１０２は、ブロック１８の縮小バージョンを取得することを可能にし、縮小バージョンは、（Ｑ＝Ｍ＊Ｎ＝８＊８＝６４の代わりに）Ｑ_ｒｅｄ＝Ｍ_ｒｅｄ＊Ｎ_ｒｅｄ＝４＊４＝１６個のサンプルを有する。サイズＭ_ｒｅｄ×Ｎ_ｒｅｄ＝４×４のブロックを予測するＡＬＷＩＰ行列を適用することが可能である。ブロック１８の縮小バージョンは、図７．２のスキーム１０６において灰色で示されたサンプルを含む：灰色の四角で示されたサンプル（サンプル１１８’および１１８’’を含む）は、対象とするステップ８１２で得られたＱ_ｒｅｄ＝１６個の値を有する４×４縮小ブロックを形成する。４×４縮小ブロックは、対象とするステップ８１２において線形変換１９を適用することによって取得されたものである。４×４縮小ブロックの値を取得した後、例えば補間によって残りのサンプル（スキーム１０６において白色サンプルで示されているサンプル）の値を取得することが可能である。

図７．１の方法８１０に関して、この方法８２０は、例えば、予測対象のＭ×Ｎ＝８×８ブロック１８の残りのＱ－Ｑ_ｒｅｄ＝６４－１６＝４８サンプル（白色正方形）の予測値を補間によって導出するステップ８１３をさらに含むことができる。残りのＱ－Ｑ_ｒｅｄ＝６４－１６＝４８サンプルは、補間（補間はまた、例えば、境界サンプルの値を利用することができる）によって直接取得されたＱ_ｒｅｄ＝１６サンプルから取得されることができる。図７．２からわかるように、サンプル１１８’および１１８’’は、（灰色の四角で示すように）ステップ８１２において取得されているが、サンプル１０８’（サンプル１１８’および１１８’’の中間であり、白色の四角で示される）は、ステップ８１３においてサンプル１１８’と１１８’’との間の補間によって取得される。補間はまた、シフトおよび加算などの平均化のためのものと同様の演算によって取得されることができることが理解されている。したがって、図７．２では、値１０８’は、一般に、サンプル１１８’の値とサンプル１１８’’の値との中間の値として決定されることができる（平均とすることができる）。

補間を実行することによって、ステップ８１３において、１０４に示された複数のサンプル値に基づいてＭ×Ｎ＝８×８ブロック１８の最終バージョンに到達することも可能である。
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである：
本技術を使用しない場合：
寸法Ｍ＝８、Ｎ＝８を有するブロックである予測対象のブロック１８、および
予測対象のブロック１８のＱ＝Ｍ＊Ｎ＝８＊８＝６４個のサンプル、
境界１７のＰ＝Ｍ＋Ｎ＝８＋８＝１６個のサンプル、
予測対象のＱ＝６４個の値のそれぞれについてのＰ＝１６回の乗算、
Ｐ＊Ｑ＝１６＊６４＝１０２８回の乗算の総数
乗算回数と取得される最終値の数との比は、Ｐ＊Ｑ／Ｑ＝１６である
本技術を使用する場合：
寸法Ｍ＝８、Ｎ＝８を有する、予測対象のブロック１８
最後の予測対象のＱ＝Ｍ＊Ｎ＝８＊８＝６４個の値、

しかしながら、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ、Ｑ_ｒｅｄ＝Ｍ_ｒｅｄ＊Ｎ_ｒｅｄ、Ｍ_ｒｅｄ＝４、Ｎ_ｒｅｄ＝４を有する、Ｑ_ｒｅｄ×Ｐ_ｒｅｄＡＬＷＩＰ行列が使用される
Ｐ_ｒｅｄ＜Ｐである、境界のＰ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル
予測対象の４×４縮小ブロックのＱ_ｒｅｄ＝１６個の値のそれぞれについてＰ_ｒｅｄ＝８回の乗算（スキーム１０６では灰色の正方形によって形成される）、
Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ＝８＊１６＝１２８回の乗算の総数（１０２４を大幅に下回る！）

乗算回数と取得されるべき最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝１２８／６４＝２である（本技術を使用せずに取得された１６よりもはるかに少ない！）。
したがって、本明細書に提示される技術は、前の技術よりも８倍電力要求が少ない。

図７．３は、（方法８２０に基づくことができる）別の例を示し、予測対象のブロック１８は、Ｑ＝４＊８＝３２個の予測対象のサンプルを有する矩形の４×８ブロック（Ｍ＝８、Ｎ＝４）である。境界１７は、Ｎ＝８サンプルの水平行１７ｃと、Ｍ＝４サンプルの垂直列１７ａとによって形成される。したがって、先験的に、境界ベクトル１７Ｐは、寸法Ｐ×１＝１２×１を有するが、予測ＡＬＷＩＰ行列は、Ｑ×Ｐ＝３２×１２行列であるべきであり、したがって、Ｑ＊Ｐ＝３２＊１２＝３８４回の乗算が必要になる。

しかしながら、例えば、水平行１７ｃの少なくとも８つのサンプルを平均化またはダウンサンプリングして、４つのサンプルのみ（例えば、平均化されたサンプル）の縮小された水平行を取得することが可能である。いくつかの例では、垂直列１７ａは、そのままである（例えば、平均化なし）。合計で、縮小された境界は、寸法Ｐ_ｒｅｄ＝８を有し、Ｐ_ｒｅｄ＜Ｐである。したがって、境界ベクトル１７Ｐは、寸法Ｐ_ｒｅｄ×１＝８×１を有する。ＡＬＷＩＰ予測行列１７Ｍは、寸法Ｍ＊Ｎ_ｒｅｄ＊Ｐ_ｒｅｄ＝４＊４＊８＝６４を有する行列になる。対象とするステップ８１２において直接取得された（スキーマ１０７の灰色の列によって形成された）４×４縮小ブロックは、サイズＱ_ｒｅｄ＝Ｍ＊Ｎ_ｒｅｄ＝４＊４＝１６サンプルを有する（予測対象の元の４×８ブロック１８のＱ＝４＊８＝３２の代わりに）。縮小された４×４ブロックがＡＬＷＩＰによって取得されると、オフセット値ｂ_ｋを加算し（ステップ８１２ｃ）、ステップ８１３において補間を実行することが可能である。図７．３のステップ８１３においてわかるように、縮小された４×４ブロックは、４×８ブロック１８に拡張され、ステップ８１２において取得されなかった値１０８’は、ステップ８１２において取得された値１１８’および１１８’’（灰色の正方形）を補間することによってステップ８１３において取得される。
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである：
本技術を使用しない場合：
寸法Ｍ＝４、Ｎ＝８を有するブロックである、予測対象のブロック１８
予測対象のＱ＝Ｍ＊Ｎ＝４＊８＝３２個の値、
境界のＰ＝Ｍ＋Ｎ＝４＋８＝１２個のサンプル、
予測対象のＱ＝３２個の値のそれぞれについてのＰ＝１２回の乗算、
Ｐ＊Ｑ＝１２＊３２＝３８４回の乗算の総数
乗算回数と取得される最終値の数との比は、Ｐ＊Ｑ／Ｑ＝１２である
本技術を使用する場合：
寸法Ｍ＝４、Ｎ＝８を有するブロックである、予測対象のブロック１８
最後の予測対象のＱ＝Ｍ＊Ｎ＝４＊８＝３２個の値、

しかしながら、Ｍ＝４、Ｎ_ｒｅｄ＝４、Ｑ_ｒｅｄ＝Ｍ＊Ｎ_ｒｅｄ＝１６、Ｐ_ｒｅｄ＝Ｍ＋Ｎ_ｒｅｄ＝４＋４＝８である、Ｑ_ｒｅｄ×Ｐ_ｒｅｄ＝１６×８ ＡＬＷＩＰ行列が使用されることができる
Ｐ_ｒｅｄ＜Ｐである、境界のＰ_ｒｅｄ＝Ｍ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル
予測対象の縮小ブロックのＱ_ｒｅｄ＝１６個の値のそれぞれについてＰ_ｒｅｄ＝８回の乗算、
Ｑ_ｒｅｄ＊Ｐ_ｒｅｄ＝１６＊８＝１２８回の乗算の総数（３８４未満！）

乗算回数と取得されるべき最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝１２８／３２＝４である（本技術を使用せずに取得された１２よりもはるかに少ない！）。
したがって、本技術では、計算労力が１／３に低減される。

図７．４は、寸法Ｍ×Ｎ＝１６×１６を有する予測対象のブロック１８の事例を示し、最後の予測対象のＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６個の値を有し、Ｐ＝Ｍ＋Ｎ＝１６＋１６＝３２個の境界サンプルを有する。これは、寸法Ｑ×Ｐ＝２５６×３２を有する予測行列をもたらし、これは、２５６＊３２＝８１９２回の乗算を意味する！

しかしながら、方法８２０を適用することにより、ステップ８１１において、境界サンプルの数を、例えば３２から８に減らす（例えば、平均化またはダウンサンプリングによって）ことが可能であり、例えば、行１７ａの４つの連続サンプルのグループ１２０ごとに、単一のサンプル（例えば、４つのサンプルの中から選択されるか、またはサンプルの平均）が残る。また、列１７ｃの連続する４つのサンプルからなるグループごとに、単一のサンプル（例えば、４つのサンプルの中から選択されるか、またはサンプルの平均）が残る。

ここで、ＡＬＷＩＰ行列１７Ｍは、Ｑ_ｒｅｄ×Ｐ_ｒｅｄ＝６４×８行列である：これは、それが（８つの平均化されたサンプルまたは３２個の境界から選択されたサンプルを使用することによって）Ｐ_ｒｅｄ＝８を選択したという事実、およびステップ８１２において予測対象の縮小ブロックが８×８ブロック（スキーム１０９では、灰色の正方形は６４である）であるという事実に起因する。

したがって、ステップ８１２において縮小された８×８ブロックの６４個のサンプルが取得されると、ステップ８１３において、予測対象のブロック１８の残りのＱ－Ｑ_ｒｅｄ＝２５６－６４＝１９２個の値１０４を導出することが可能である。

この場合、補間を実行するために、境界列１７ａの全てのサンプルおよび境界行１７ｃの代替サンプルのみを使用することが選択されている。他の選択が行われてもよい。

本方法では、乗算回数と最終的に取得される値の数との間の比はＱ_ｒｅｄ＊Ｐ_ｒｅｄ／Ｑ＝８＊６４／２５６＝２であり、これは、本技術を使用しない各値の３２回の乗算よりもはるかに少ない！
したがって、本技術を使用することと使用しないこととを比較すると、以下の通りである：
本技術を使用しない場合：
寸法Ｍ＝１６、Ｎ＝１６を有するブロックである、予測対象のブロック１８
予測対象のＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６個の値、
境界のＰ＝Ｍ＋Ｎ＝１６＊１６＝３２個のサンプル、
予測対象のＱ＝２５６個の値のそれぞれについてのＰ＝３２回の乗算、
Ｐ＊Ｑ＝３２＊２５６＝８１９２回の乗算の総数
乗算回数と取得される最終値の数との比は、Ｐ＊Ｑ／Ｑ＝３２である
本技術を使用する場合：
寸法Ｍ＝１６、Ｎ＝１６を有するブロックである、予測対象のブロック１８
最後の予測対象のＱ＝Ｍ＊Ｎ＝１６＊１６＝２５６個の値、

しかしながら、Ｍ_ｒｅｄ＝４、Ｎ_ｒｅｄ＝４、ＡＬＷＩＰによる予測対象のＱ_ｒｅｄ＝８＊８＝６４個のサンプル、Ｐ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８である、Ｑ_ｒｅｄ×Ｐ_ｒｅｄ＝６４×８ ＡＬＷＩＰ行列が使用される
Ｐ_ｒｅｄ＜Ｐである、境界のＰ_ｒｅｄ＝Ｍ_ｒｅｄ＋Ｎ_ｒｅｄ＝４＋４＝８個のサンプル
予測対象の縮小ブロックのＱ_ｒｅｄ＝６４個の値のそれぞれについてＰ_ｒｅｄ＝８回の乗算、
Ｑ_ｒｅｄ＊Ｐ_ｒｅｄ＝６４＊４＝２５６回の乗算の総数（８１９２未満！）

乗算回数と取得されるべき最終値の数との比は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄ／Ｑ＝８＊６４／２５６＝２である（本技術を使用せずに取得された３２よりもはるかに少ない！）。
したがって、本技術によって必要とされる計算電力は、従来の技術よりも１６倍小さい！
したがって、

複数の隣接するサンプルを縮小して（１００、８１３）、複数の隣接するサンプル（１７）と比較して、サンプル数がより少ない縮小されたサンプル値のセット（１０２）を取得し、

縮小されたサンプル値のセット（１０２）を線形またはアフィン線形変換（１９、１７Ｍ）に供して、所定のブロック（１８）の所定のサンプル（１０４，１１８’、１８８’’）の予測値を取得する（８１２）
ことによって、隣接する複数のサンプル（１７）を使用してピクチャの所定のブロック（１８）を予測することが可能である。

特に、複数の隣接サンプルをダウンサンプリングして、複数の隣接サンプル（１７）と比較してサンプル数が少ないサンプル値の縮小されたセット（１０２）を取得することによって、縮小（１００、８１３）を実行することが可能である。

あるいは、複数の隣接サンプルを平均化して、複数の隣接サンプル（１７）と比較してサンプル数が少ないサンプル値の縮小されたセット（１０２）を取得することによって、縮小（１００、８１３）を実行することが可能である。

さらに、所定のサンプル（１０４，１１８’、１１８’’）および複数の隣接サンプル（１７）の予測値に基づいて、所定のブロック（１８）のさらなるサンプル（１０８、１０８’）の予測値を補間によって導出する（８１３）ことが可能である。

複数の隣接するサンプル（１７ａ、１７ｃ）は、所定のブロック（１８）の両側（例えば、図７．１～図７．４の右および下に向かって）に沿って一次元に延在してもよい。所定のサンプル（例えば、ステップ８１２においてＡＬＷＩＰによって取得されたもの）はまた、行および列に配置されてもよく、行および列の少なくとも一方に沿って、所定のサンプルは、所定のブロック１８の両側に隣接する所定のサンプル１１２のサンプル（１１２）からｎ番目ごとの位置に配置されてもよい。

複数の隣接サンプル（１７）に基づいて、行および列の少なくとも一方のそれぞれに対して位置合わせされた複数の隣接位置のうちの一方（１１８）の支持値（１１８）を、行および列の少なくとも一方のそれぞれに対して決定することが可能である。所定のブロック（１８）のさらなるサンプル（１０８、１０８’）の予測値１１８を、所定のサンプル（１０４、１１８’、１１８’’）の予測値と、行および列の少なくとも一方に位置合わせされた隣接サンプル（１１８）の支持値とに基づいて補間によって導出することも可能である。

所定のサンプル（１０４）は、行に沿って所定のブロック１８の両側に隣接するサンプル（１１２）からｎ番目ごとの位置に配置されてもよく、所定のサンプルは、列に沿って所定のブロック（１８）の両側に隣接する（１１２）所定のサンプルのサンプル（１１２）からｍ番目ごとの位置に配置され、ｎ、ｍ＞１である。場合によっては、ｎ＝ｍである（例えば、図７．２および図７．３では、８１２においてＡＬＷＩＰによって直接取得され、灰色の四角で示されているサンプル１０４，１１８’、１１８’’は、行および列に沿って、ステップ８１３において続いて取得されたサンプル１０８、１０８’に対して交互にされる）。

行（１７ｃ）および列（１７ａ）の少なくとも一方に沿って、例えば、各支持値について、それぞれの支持値が決定される隣接サンプル（１１８）を含む複数の隣接サンプル内の隣接サンプルのグループ（１２０）をダウンサンプリングまたは平均化（１２２）することによって、支持値を決定することを実行することが可能であり得る。したがって、図７．４では、ステップ８１３において、（ステップ８１２において以前に取得された）所定のサンプル１１８’’’および隣接するサンプル１１８の値を支持値として使用することによってサンプル１１９の値を取得することが可能である。

複数の隣接するサンプルは、所定のブロック（１８）の両側に沿って一次元に延在してもよい。複数の隣接サンプル（１７）を１つ以上の連続する隣接サンプルのグループ（１１０）にグループ化し、２つ以上の隣接サンプルを有する１つ以上の隣接サンプルのグループ（１１０）のそれぞれに対してダウンサンプリングまたは平均化を実行することによって、縮小（８１１）を実行することが可能であり得る。

例では、線形またはアフィン線形変換は、Ｐ_ｒｅｄ＊Ｑ_ｒｅｄまたはＰ_ｒｅｄ＊Ｑ重み係数を含むことができ、Ｐ_ｒｅｄは、サンプル値の縮小したセット内のサンプル値（１０２）の数であり、Ｑ_ｒｅｄまたはＱは、所定のブロック（１８）内の所定のサンプルの数である。少なくとも１／４のＰ_ｒｅｄ＊Ｑ_ｒｅｄまたは１／４のＰ_ｒｅｄ＊Ｑ重み係数は、非ゼロの重み値である。Ｐ_ｒｅｄ＊Ｑ_ｒｅｄまたはＰ_ｒｅｄ＊Ｑ重み係数は、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルのそれぞれについて、それぞれの所定のサンプルに関する一連のＰ_ｒｅｄ重み係数を含むことができ、一連の重み係数は、所定のブロック（１８）の所定のサンプル間のラスタ走査順序にしたがって上下に配置される場合、全方向的に非線形である包絡線を形成する。Ｐ_ｒｅｄ＊ＱまたはＰ_ｒｅｄ＊Ｑ_ｒｅｄ重み係数は、規則的なマッピング規則を介して互いに無関係であってもよい。それぞれの所定のサンプルに関連する第１の系列の重み係数と、それぞれの所定のサンプル以外の所定のサンプルに関連する第２の系列の重み係数との間の相互相関の最大値の平均、または後者の系列の反転されたものは、より高い最大値をもたらすにもかかわらず、所定の閾値よりも低い。所定の閾値は、０．３［または場合によっては０．２または０．１］とすることができる。Ｐ_ｒｅｄ個の隣接サンプル（１７）は、所定のブロック（１８）の両側に沿って延びる一次元経路に沿って配置されてもよく、Ｑ個またはＱ_ｒｅｄ個の所定のサンプルのそれぞれについて、それぞれの所定のサンプルに関する一連のＰ_ｒｅｄ重み係数は、一次元経路を所定の方向に横断するように順序付けられる。

６．１ 方法および装置の説明
幅

（Ｎでも示される）および高さ

（Ｍでも示される）の矩形ブロックのサンプルを予測するために、アフィン線形加重イントラ予測（ＡＬＷＩＰ）は、ブロックの左のＨ個の再構成された隣接する境界サンプルの１つのラインおよびブロックの上の

個の再構成された隣接する境界サンプルの１つのラインを入力として取得することができる。再構成されたサンプルが利用できない場合、それらは、従来のイントラ予測で行われるように生成されることができる。
予測信号（例えば、完全なブロック１８の値）の生成は、以下の３つのステップのうちの少なくともいくつかに基づくことができる：

１．境界サンプル１７のうち、サンプル１０２（例えば、Ｗ＝Ｈ＝４の場合には４つのサンプル、および／または他の場合には８つのサンプル）は、平均化またはダウンサンプリングによって抽出されることができる（例えば、ステップ８１１）。

２．行列ベクトル乗算とそれに続くオフセットの加算は、平均化されたサンプル（またはダウンサンプリングから残っているサンプル）を入力として実行されることができる。結果は、元のブロック内のサブサンプリングされたサンプルのセット上の縮小された予測信号とすることができる（例えば、ステップ８１２）。

３．残りの位置の予測信号は、例えばアップサンプリングによって、サブサンプリングされたセット上の予測信号から、例えば線形補間によって生成されることができる（例えば、ステップ８１３）。

ステップ１．（８１１）および／または３．（８１３）のおかげで、行列ベクトル積の計算に必要な乗算の総数は、常に

以下であるようなものとすることができる。さらに、境界に対する平均化演算および縮小予測信号の線形補間は、加算およびビットシフトのみを使用して実行される。換言すれば、例では、ＡＬＷＩＰモードにはサンプル当たり最大４回の乗算が必要である。

いくつかの例では、予測信号を生成するために必要な行列（例えば、１７Ｍ）およびオフセットベクトル（例えば、ｂ_ｋ）は、例えば、復号器および符号化器の記憶ユニットに記憶されることができる行列のセット（例えば、３セット）、例えば、

、

から取得されることができる。

いくつかの例では、セット

は、図７．１にかかる技術を実行するために、それぞれが１６行および４列と、それぞれがサイズ１６の１８個のオフセットベクトル

｛０，．．．，ｎ_０－１｝とを有することができる

（例えば、

＝１６または

＝１８または別の数）行列

｛０，．．．，ｎ_０－１｝を含む（例えば、以下からなる）ことができる。このセットの行列およびオフセットベクトルは、サイズ

のブロック１８について使用される。境界ベクトルがＰ_ｒｅｄ＝４ベクトルに縮小されると（図７．１のステップ８１１について）、縮小されたサンプルセット１０２のＰ_ｒｅｄ＝４個のサンプルを、予測対象の４×４ブロック１８のＱ＝１６個のサンプルに直接マッピングすることが可能である。

いくつかの例では、セット

は、図７．２または７．３にかかる技術を実行するために、それぞれが

行および８列と、それぞれがサイズ１６の１８個のオフセットベクトル

｛０，．．．，ｎ_１－１｝とを有することができるｎ_１（例えば、

＝８または

＝１８または別の数）行列

｛０，．．．，ｎ_１－１｝を含む（例えば、以下からなる）ことができる。このセットＳ_１の行列およびオフセットベクトルは、サイズ

、４×１６、４×３２、４×６４、１６×４、３２×４、６４×４、８

および８

のブロックに使用されることができる。さらに、それはまた、

を有するサイズ

のブロック、すなわち、サイズが４×１６または１６×４、４×３２または３２×４および４×６４または６４×４のブロックにも使用されることができる。１６×８行列は、図７．２および図７．３で取得されるように、４×４ブロックであるブロック１８の縮小バージョンを指す。

追加的または代替的に、セット

は、ｎ_２（例えば、

＝６または

＝１８または別の数）個の行列

｛０，．．．，ｎ_２－１｝を含む（例えば、からなる）ことができ、そのそれぞれは、６４行および８列と、サイズ６４の１８個のオフセットベクトル

｛０，．．．，ｎ_２－１｝とを有することができる。６４×８行列は、例えば図７．４において取得されるような８×８ブロックであるブロック１８の縮小バージョンを指す。このセットの行列およびオフセットベクトルは、サイズ

のブロックに使用されることができる。
これらの行列およびオフセットベクトルのセットまたは一部の行列およびオフセットベクトルは、他の全てのブロック形状に使用されてもよい。

６．２ 境界の平均化またはダウンサンプリング
ここでは、ステップ８１１に関して特徴が提供される。
上記で説明したように、境界サンプル（１７ａ、１７ｃ）は、平均化および／またはダウンサンプリング（例えば、Ｐ個のサンプルからＰ_ｒｅｄ＜Ｐ個のサンプル）されることができる。

第１のステップでは、入力境界

（例えば、１７ｃ）および

（例えば、１７ａ）は、より小さい境界

および

に縮小され、縮小されたセット１０２に到達することができる。ここで、

および

は、双方とも４×４ブロックの場合は２サンプルからなり、他の場合は双方とも４サンプルからなる。
４×４ブロックの場合、

、

を定義することが可能であり、同様に

を定義することが可能である。したがって、

、

、

［１］は、例えばビットシフト演算を使用して取得された平均値である。

他の全ての場合において（例えば、４とは異なるウィザーの幅または高さのブロックについて）、ブロック幅ＷがＷ

として与えられる場合、

について、

を定義し、
同様に

を定義する。

さらに他の場合では、（例えば、境界サンプルのグループから１つの特定の境界サンプルを選択することによって）境界をダウンサンプリングして、縮小したサンプル数に到達することが可能である。例えば、

は、

および

の中から選択されてもよく、

は、

および

の中から選択されてもよい。同様に

を定義することも可能である。

２つの縮小された境界

および

は、縮小された境界ベクトル

（縮小されたセット１０２に関連付けられている）に連結されてもよく、これもまた１７Ｐで示される。したがって、縮小された境界ベクトル

は、形状

のブロック（図７．１の例）についてはサイズ４（Ｐ_ｒｅｄ＝４）とすることができ、他の全ての形状のブロック（図７．２～７．４の例）についてはサイズ８（Ｐ_ｒｅｄ＝８）とすることができる。
ここで、

（または行列のセットにおける行列の数）である場合、

を定義することが可能である。

の転置モードに対応する

である場合、

を定義することが可能である。

したがって、特定の状態（

）によれば、出力ベクトルの予測値を異なる走査順序（例えば、１つの走査順序：

）に沿って分布させることが可能である。

他の戦略が実行されてもよい。他の例では、モードインデックス「ｍｏｄｅ」は、必ずしも０から３５の範囲内ではない（他の範囲が定義されてもよい）。さらに、３つのセットＳ_０、Ｓ_１、Ｓ_２のそれぞれが１８個の行列を有する必要はない（したがって、

のような式の代わりに、それぞれ行列Ｓ_０、Ｓ_１、Ｓ_２の各セットの行列の数である

_０、

_１、

_２とすることが可能である）。さらに、セットは、それぞれ異なる数の行列を有することができる（例えば、Ｓ_０は１６個の行列を有し、Ｓ_１は８個の行列を有し、Ｓ_２は６個の行列を有することができる）。

モードおよび転置情報は、必ずしも１つの結合されたモードインデックス「ｍｏｄｅ」として記憶および／または送信されるわけではない。いくつかの例では、転置フラグおよび行列インデックス（Ｓ_０の場合は０～１５、Ｓ_１の場合は０～７、Ｓ_２の場合は０～５）として明示的にシグナリングする可能性がある。

場合によっては、転置フラグと行列インデックスとの組み合わせは、セットインデックスとして解釈されてもよい。例えば、転置フラグとして動作する１ビットと、「セットインデックス」としてまとめて示される、行列インデックスを示すいくつかのビットとが存在することができる。

６．３ 行列ベクトル乗算による縮小予測信号の生成
ここでは、ステップ８１２に関して特徴が提供される。
縮小された入力ベクトル

（境界ベクトル１７Ｐ）のうちの１つは、縮小された予測信号

を生成することができる。後者の信号は、幅

および高さ

のダウンサンプリングされたブロック上の信号とすることができる。ここで、

および

は、以下のように定義されることができる：

、

である場合

そうでない場合。

縮小された予測信号

は、行列ベクトル積を計算してオフセットを加えることによって計算されることができる：

。

ここで、

は、他の全ての場合にＷ＝Ｈ＝４および８列である場合に

行および４列を有することができる行列（例えば、予測行列１７Ｍ）であり、

はサイズ

からなることができるベクトルである。

の場合、Ａは４列および１６行を有することができ、したがって、その場合には

を計算するためにサンプルあたり４回の乗算が必要とされることができる。他の全ての場合において、Ａは８列を有することができ、これらの場合において、

を有すること、すなわち、これらの場合においても、

を計算するためにサンプルあたり最大４回の乗算が必要であることを検証することができる。

行列Ａおよびベクトル

は、以下のように、セット

、

の１つから取得されることができる。

、

である場合、全ての他の場合に

および

である場合、

を設定することによってインデックス

を定義する。さらに、

である場合、

とすることができ、その他の場合には

とすることができる。次に、

または

および

である場合、

および

とすることができる。

＝２および

である場合、

を、

の各行を除外することによって生じ、Ｗ＝４の場合、ダウンサンプリングされたブロック内の奇数ｘ座標に対応し、またはＨ＝４の場合、ダウンサンプリングされたブロック内の奇数ｙ座標に対応する行列とする。

である場合、縮小された予測信号をその転置信号によって置き換える。代替例では、異なる戦略が実行されてもよい。例えば、より大きな行列のサイズを縮小する（「除外する」）代わりに、Ｗ_ｒｅｄ＝４およびＨ_ｒｅｄ＝４であるＳ_１のより小さな行列（ｉｄｘ＝１）が使用される。すなわち、そのようなブロックは、ここではＳ_２ではなくＳ_１に割り当てられる。

他の戦略が実行されてもよい。他の例では、モードインデックス「ｍｏｄｅ」は、必ずしも０から３５の範囲内ではない（他の範囲が定義されてもよい）。さらに、３つのセットＳ_０、Ｓ_１、Ｓ_２のそれぞれが１８個の行列を有する必要はない（したがって、

のような式の代わりに、それぞれ行列Ｓ_０、Ｓ_１、Ｓ_２の各セットの行列の数である

_０、

_１、

_２とすることが可能である）。さらに、セットは、それぞれ異なる数の行列を有することができる（例えば、Ｓ_０は１６個の行列を有し、Ｓ_１は８個の行列を有し、Ｓ_２は６個の行列を有することができる）。

６．４ 最終予測信号を生成するための線形補間
ここでは、ステップ８１２に関して特徴が提供される。
大きなブロックにおけるサブサンプリングされた予測信号の補間では、平均化された境界の第２のバージョンが必要とされることができる。すなわち、

および

である場合、Ｗ

を書き込み、

の場合には、

を定義する。

および

である場合、同様に

を定義する。

追加的または代替的に、「ハードダウンサンプリング」を有することが可能であり、ここで、

は、

に等しい。

また、

も同様に定義されることができる。

の生成において除外されたサンプル位置において、最終的な予測信号は、

からの線形補間によって生じることができる（例えば、図７．２～図７．４の例のステップ８１３）。いくつかの例では、

である場合、この線形補間は不要とすることができる（例えば、図７．１の例）。

線形補間は、以下のように与えられてもよい（他の例も可能である）。

であると仮定する。次に、

である場合、

の垂直アップサンプリングが実行されることができる。その場合、

は、以下のように上に１ライン分拡張されることができる。

である場合、

は幅

を有することができ、例えば上記で定義されたように、平均化された境界信号

によって上に拡張されることができる。

である場合、

は幅

からなり、例えば上記で定義されたように、平均化された境界信号

によって上に拡張される。

の第１のラインについて

を書き込むことができる。次に、幅

および高さ

のブロック上の信号

は、以下のように与えられることができる。

［ｘ］［２＊ｙ＋１］＝

［ｘ］［ｙ］、

［ｘ］［２＊ｙ］＝

［ｘ］［ｙ－１］＋

［ｘ］［ｙ］＋１）＞＞１、
ここで、

および

である。後者のプロセスは、２^ｋ

Ｈ_ｒｅｄ＝Ｈになるまでｋ回実行されることができる。したがって、Ｈ

またはＨ

である場合、最大で１回実行されることができる。Ｈ

である場合、２回実行されることができる。Ｈ

である場合、３回実行されることができる。次に、垂直アップサンプリングの結果に水平アップサンプリング動作が適用されることができる。後者のアップサンプリング動作は、予測信号の全境界左を使用することができる。最後に、

である場合、最初に水平方向に（必要に応じて）アップサンプリングし、次に垂直方向にアップサンプリングすることによって同様に進めることができる。

これは、第１の補間（水平または垂直）に縮小された境界サンプルを使用し、第２の補間（垂直または水平）に元の境界サンプルを使用する補間の例である。ブロックサイズに応じて、第２の補間のみまたは補間なしが必要である。水平補間と垂直補間の双方が必要な場合、順序はブロックの幅と高さに依存する。
しかしながら、異なる技術が実装されてもよく、例えば、元の境界サンプルが第１および第２の補間の双方に使用されてもよく、順序は固定されてもよく、例えば、最初に水平、次に垂直（他の場合には、最初に垂直、次に水平）であってもよい。
したがって、補間順序（水平／垂直）および縮小／元の境界サンプルの使用が変更されることができる。

６．５ ＡＬＷＩＰプロセス全体の例の説明
平均化、行列ベクトル乗算、および線形補間の全プロセスは、図７．１～図７．４の異なる形状について示されている。残りの形状は、図示された事例の１つのように扱われることに留意されたい。

１．

ブロックが与えられると、ＡＬＷＩＰは、図７．１の技術を使用して境界の各軸に沿って２つの平均をとることができる。得られた４つの入力サンプルは、行列ベクトル乗算に入力される。行列は、セット

から取得される。オフセットを加えた後、これは、１６個の最終予測サンプルをもたらすことができる。予測信号の生成には、線形補間は不要である。したがって、サンプルあたり（

回の乗算の総数が実行される。例えば、図７．１を参照されたい。

２．

ブロックが与えられると、ＡＬＷＩＰは、境界の各軸に沿って４つの平均をとることができる。結果として取得される８つの入力サンプルは、図７．２の技術を使用して、行列ベクトル乗算に入力される。行列は、セット

から取得される。これは、予測ブロックの奇数位置に１６個のサンプルをもたらす。したがって、サンプルあたり（

回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば、上境界を使用して垂直に、および例えば、左境界を使用して水平に補間されることができる。例えば、図７．２を参照されたい。

３．

ブロックが与えられると、ＡＬＷＩＰは、図７．３の技術を使用することによって、境界の横軸に沿った４つの平均および左境界上の４つの元の境界値をとることができる。得られた８つの入力サンプルは、行列ベクトル乗算に入力される。行列は、セット

から取得される。これは、予測ブロックの奇数水平位置および各垂直位置に１６個のサンプルをもたらす。したがって、サンプルあたり（

回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば左境界を使用して水平方向に補間される。例えば、図７．３を参照されたい。
転置された事例はそれに応じて処理される。

４．

ブロックが与えられると、ＡＬＷＩＰは、境界の各軸に沿って４つの平均をとることができる。結果として取得される８つの入力サンプルは、図７．２の技術を使用して行列ベクトル乗算に入力される。行列は、セット

から取得される。これは、予測ブロックの奇数位置に６４個のサンプルをもたらす。したがって、サンプルあたり（

回の乗算の総数が実行される。オフセットを追加した後、これらのサンプルは、例えば、上境界を使用して垂直方向に補間され、左境界を使用して水平方向に補間される。例えば、図７．２を参照されたい。例えば、図７．４を参照されたい。
より大きな形状の場合、手順は本質的に同じとすることができ、サンプルあたりの乗算数が２未満であることを確認することは容易である。
Ｗ×８ブロックの場合、奇数水平および各垂直位置にサンプルが与えられるため、水平補間のみが必要である。したがって、これらの場合、サンプルあたりせいぜい（

回の乗算が実行される。

最後に、Ｗ＞８であるＷ×４ブロックについて、

を、ダウンサンプリングされたブロックの水平軸に沿った奇数エントリに対応する各行を除外することによって生じる行列とする。したがって、出力サイズは、３２とすることができ、ここでも水平補間のみが実行されたままである。サンプルあたりせいぜい（

回の乗算が実行されることができる。
転置された事例は、それに応じて処理されることができる。

６．６ 必要なパラメータの数および複雑さの評価
全ての可能な提案されたイントラ予測モードに必要なパラメータは、セット

、

に属する行列およびオフセットベクトルによって構成されることができる。全ての行列係数およびオフセットベクトルは、１０ビット値として記憶されることができる。したがって、上記の説明によれば、それぞれが１０ビット精度の合計１４４００個のパラメータが、提案された方法に必要とされることができる。これは、０．０１８メガバイトのメモリに対応する。現在、標準４：２：０のクロマサブサンプリングにおけるサイズ

のＣＴＵは、それぞれ１０ビットの２４５７６個の値からなることが指摘される。したがって、提案されたイントラ予測ツールのメモリ要件は、最後の会議で採用された現在のピクチャ参照ツールのメモリ要件を超えない。また、従来のイントラ予測モードは、部分角度位置を有する角度予測モードのためのＰＤＰＣツールまたは４タップ補間フィルタに起因して、サンプルあたり４回の乗算を必要とすることが指摘される。したがって、演算の複雑さに関して、提案された方法は、従来のイントラ予測モードを超えない。

６．７ 提案されたイントラ予測モードのシグナリング
ルマブロックについては、例えば３５個のＡＬＷＩＰモードが提案されている（他の数のモードが使用されてもよい）。イントラモードの各符号化ユニット（ＣＵ）について、ＡＬＷＩＰモードが、対応する予測ユニット（ＰＵ）に適用されるべきであるか否かを示すフラグが、ビットストリームで送信される。後者のインデックスの信号伝達は、最初のＣＥ試験と同じ方法でＭＲＬと調和させることができる。ＡＬＷＩＰモードが適用されることになる場合、ＡＬＷＩＰモードのインデックス

は、３ ＭＰＭＳを有するＭＰＭリストを使用してシグナリングされることができる。

ここで、ＭＰＭの導出は、以下のように、上および左のＰＵのイントラモードを用いて行われてもよい。各従来のイントラ予測モード

にＡＬＷＩＰモード

を割り当てることができるテーブル、例えば３つの固定テーブル

、

が存在することができる
幅

および高さ

の各ＰＵについて、３つのセットのうちのどれからＡＬＷＩＰパラメータが上記のセクション４のように解釈されるべきかを示す

を定義およびインデックス付けする。上記の予測ユニット

が利用可能であり、現在のＰＵと同じＣＴＵに属し、イントラモードにある場合、

である場合、およびＡＬＷＩＰがＡＬＷＩＰモード

によって

に適用される場合、

とする
上記のＰＵが利用可能であり、現在のＰＵと同じＣＴＵに属し、イントラモードにある場合、および従来のイントラ予測モード

が上記のＰＵに適用される場合、

とする
他の全ての場合において、

とし、
これは、このモードが利用できないことを意味する。同じように、ただし、左ＰＵが現在のＰＵと同じＣＴＵに属する必要があるという制限なしに、モード

を導出する
最後に、３つの固定デフォルトリスト

、

が提供され、そのそれぞれは３つの異なるＡＬＷＩＰモードを含む。デフォルトリスト

およびモード

および

のうち、デフォルト値で－１を置換するとともに繰り返しを排除することによって、３つの異なるＭＰＭを構築する。

本明細書に記載の実施形態は、提案されたイントラ予測モードの上述した信号伝達によって限定されない。代替実施形態によれば、ＭＰＭおよび／またはマッピングテーブルは、ＭＩＰ（ＡＬＷＩＰ）に使用されない。

６．８ 従来のルマイントラ予測モードおよびクロマイントラ予測モードのための適応ＭＰＭリスト導出
提案されたＡＬＷＩＰモードは、以下のように従来のイントラ予測モードのＭＰＭベースの符号化と調和されることができる。従来のイントラ予測モードのルマおよびクロマＭＰＭリスト導出プロセスは、固定テーブル

、

を使用し、所与のＰＵ上のＡＬＷＩＰモード

を従来のイントラ予測モード

のうちの１つにマッピングすることができる。

ルマＭＰＭリスト導出の場合、ＡＬＷＩＰモード

を使用する隣接ルマブロックに遭遇するときはいつでも、このブロックは、従来のイントラ予測モード

を使用しているかのように扱われることができる。クロマＭＰＭリスト導出のために、現在のルマブロックがＬＷＩＰモードを使用するときはいつでも、同じマッピングを使用してＡＬＷＩＰモードを従来のイントラ予測モードに変換することができる。
ＡＬＷＩＰモードは、ＭＰＭおよび／またはマッピングテーブルを使用することなく、従来のイントラ予測モードと調和させることができることは明らかである。例えば、クロマブロックについて、現在のルマブロックがＡＬＷＩＰモードを使用するときはいつでも、ＡＬＷＩＰモードが平面イントラ予測モードにマッピングされることが可能である。

７ 実施効率的な実施形態
以下に説明する実施形態をさらに拡張するための基礎を形成することができるため、上記の例を簡単に要約する。
ピクチャ１０の所定のブロック１８を予測するために、複数の隣接サンプル１７ａ、ｃを使用することが使用される。

複数の隣接サンプルの平均化による縮小１００は、複数の隣接サンプルと比較してサンプル数が少ない縮小されたサンプル値のセット１０２を取得するために行われている。この縮小は、本明細書の実施形態では任意であり、以下に言及されるいわゆるサンプル値ベクトルをもたらす。サンプル値の縮小されたセットは、所定のブロックの所定のサンプル１０４の予測値を取得するために線形またはアフィン線形変換１９を受ける。この変換は、後に、機械学習（ＭＬ）によって取得され、実装が効率的に実行されるべきである行列Ａおよびオフセットベクトルｂを使用して示される。

補間により、所定のブロックの別のサンプル１０８の予測値が、所定のサンプルおよび複数の隣接サンプルの予測値に基づいて導出される。理論的には、アフィン／線形変換の結果は、ブロック１８の全てのサンプルが代替実施形態にかかる補間によって取得されることができるように、ブロック１８の非フルペルサンプル位置に関連付けられることができると言うべきである。補間も全く必要ないかもしれない。

複数の隣接サンプルは、所定のブロックの両側に沿って一次元に延在してもよく、所定のサンプルは、行および列に配置され、行および列の少なくとも一方に沿って配置され、所定のサンプルは、所定のブロックの両側に隣接する所定のサンプルのサンプル（１１２）からｎ番目ごとの位置に配置されてもよい。複数の隣接サンプルに基づいて、行および列の少なくとも一方のそれぞれについて、複数の隣接位置のうちの一方（１１８）に対する支持値が決定されることができ、これは、行および列の少なくとも一方のそれぞれに位置合わせされ、補間によって、所定のブロックのさらなるサンプル１０８に対する予測値は、所定のサンプルに対する予測値および行および列の少なくとも一方に位置合わせされた隣接サンプルに対する支持値に基づいて導出されることができる。所定のサンプルは、行に沿って所定のブロックの両側に隣接する所定のサンプルのサンプル１１２からｎ番目ごとの位置に配置されてもよく、所定のサンプルは、列に沿って所定のブロックの両側に隣接する所定のサンプルのサンプル１１２からｍ番目ごとの位置に配置されてもよく、ｎ、ｍ＞１である。ｎ＝ｍであってもよい。行および列の少なくとも一方に沿って、支持値の決定は、各支持値について、それぞれの支持値が決定される隣接サンプル１１８を含む複数の隣接サンプル内の隣接サンプルのグループ１２０を平均すること（１２２）によって行うことができる。複数の隣接サンプルは、所定のブロックの両側に沿って一次元に延在してもよく、縮小は、複数の隣接サンプルを１つ以上の連続する隣接サンプルのグループ１１０にグループ化し、３つ以上の隣接サンプルを有する１つ以上の隣接サンプルのグループのそれぞれに対して平均化を実行することによって行われてもよい。

所定のブロックについて、予測残差がデータストリーム内で送信されることができる。それは、復号器においてそこから導出されることができ、所定のブロックは、所定のサンプルの予測残差および予測値を使用して再構成されることができる。符号化器では、予測残差が符号化器においてデータストリームに符号化される。
ピクチャは、異なるブロックサイズの複数のブロックに細分割されることができ、これら複数のブロックは、所定のブロックを含む。次に、ブロック１８の線形またはアフィン線形変換は、所定のブロックの幅Ｗおよび高さＨに応じて選択され、その結果、所定のブロックの幅Ｗおよび高さＨが幅／高さ対の第１のセット内にある限り、所定のブロックに対して選択された線形またはアフィン線形変換は、線形またはアフィン線形変換の第１のセットから選択され、所定のブロックの幅Ｗおよび高さＨが幅／高さ対の第１のセットとは異なる幅／高さ対の第２のセット内にある限り、線形またはアフィン線形変換の第２のセットが選択される。同様に、後に、アフィン／線形変換が他のパラメータ、すなわちＣの重み、ならびに任意選択的にオフセットおよびスケールパラメータによって表されることが明らかになる。

復号器および符号化器は、ピクチャを、所定のブロックを含む異なるブロックサイズの複数のブロックに細分割し、所定のブロックの幅Ｗおよび高さＨに応じて線形またはアフィン線形変換を選択するように構成されることができ、その結果、所定のブロックに対して選択された線形またはアフィン線形変換は、
所定のブロックの幅Ｗおよび高さＨが幅／高さの対の第１のセット内にある限り、線形またはアフィン線形変換の第１のセット、
所定のブロックの幅Ｗおよび高さＨが、幅／高さ対の第１のセットとは異なる幅／高さ対の第２のセット内にある限り、線形またはアフィン線形変換の第２のセット、および
所定のブロックの幅Ｗおよび高さＨが、幅／高さ対の第１および第２のセットとは異なる１つ以上の幅／高さ対の第３のセット内にある限り、線形またはアフィン線形変換の第３のセット、から選択される。

１つ以上の幅／高さ対の第３のセットは、単に１つの幅／高さ対Ｗ’、Ｈ’を含み、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ’個のサンプル値を、サンプル位置のＷ’×Ｈ’アレイのＷ’＊Ｈ’予測値に変換するためのものである。
第１および第２のセットの幅／高さ対のそれぞれは、Ｗ_ｐがＨ_ｐに等しくない第１の幅／高さ対Ｗ_ｐ、Ｈ_ｐと、Ｈ_ｑ＝Ｗ_ｐおよびＷ_ｑ＝Ｈ_ｐである第２の幅／高さ対Ｗ_ｑ、Ｈ_ｑとを含むことができる。

第１および第２のセットの幅／高さ対のそれぞれは、第３の幅／高さ対Ｗ_ｐ、Ｈ_ｐをさらに含むことができ、Ｗ_ｐはＨ_ｐに等しく、Ｈ_ｐ＞Ｈ_ｑである。
所定のブロックについて、線形またはアフィン線形変換の所定のセットのうちのどの線形またはアフィン線形変換がブロック１８に対して選択されるべきかを示すセットインデックスがデータストリーム内で送信されることができる。

複数の隣接サンプルは、所定のブロックの両側に沿って一次元に延在することができ、縮小は、所定のブロックの第１の側に隣接する複数の隣接サンプルの第１のサブセットについて、第１のサブセットを、１つ以上の連続する隣接サンプルの第１のグループ１１０にグループ化し、所定のブロックの第２の側に隣接する複数の隣接サンプルの第２のサブセットについて、第２のサブセットを、１つ以上の連続する隣接サンプルの第２のグループ１１０にグループ化し、第１のグループからの第１のサンプル値および第２のグループの第２のサンプル値を取得するために、３つ以上の隣接サンプルを有する１つ以上の隣接サンプルの第１および第２のグループのそれぞれに対して平均化を実行することによって行うことができる。次に、線形またはアフィン線形変換は、線形またはアフィン線形変換の所定のセットからのセットインデックスに応じて選択されることができ、その結果、セットインデックスの２つの異なる状態が、線形またはアフィン線形変換の所定のセットのうちの線形またはアフィン線形変換の１つの選択をもたらし、予測値の出力ベクトルをもたらすために第１のベクトルの形態で２つの異なる状態の第１を仮定するセットインデックスの場合、サンプル値の縮小されたセットは、所定の線形またはアフィン線形変換に供されることができ、出力ベクトルの予測値を第１の走査順序に沿って所定のブロックの所定のサンプルに分配することができ、第２のベクトルの形態で２つの異なる状態の第２を仮定する設定されたインデックスの場合、予測値の出力ベクトルを生成するために、第１のベクトルの第１のサンプル値の１つが入力された成分が第２のベクトルの第２のサンプルの１つに入力され、第１のベクトルの第２のサンプル値の１つが入力された成分が第２のベクトルの第１のサンプルの１つに入力されるように第１および第２のベクトルが異なり、第１の走査順序に対して転置される所定のブロックの所定のサンプルへの第２の走査順序に沿った出力ベクトルの予測値を分配することができる。

線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_１個のサンプル値をサンプル位置のｗ_１×ｈ_１アレイについてのｗ_１＊ｈ_１個の予測値に変換するためのものとすることができ、線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、Ｎ_２個のサンプル値をサンプル位置のｗ_２×ｈ_２アレイについてのｗ_２＊ｈ_２個の予測値に変換するためのものであり、第１の幅／高さ対の第１の所定の１つについて、ｗ_１は第１の所定の幅／高さ対の幅を超えることができ、またはｈ_１は第１の所定の幅／高さ対の高さを超えることができ、第１の幅／高さ対の第２の所定の１つについて、ｗ_１は第２の所定の幅／高さ対の幅を超えることができず、ｈ_１は第２の所定の幅／高さ対の高さを超えることができない。そして、平均化によって、サンプル値の縮小されたセット（１０２）を取得するために複数の隣接するサンプルを取得すること（１００）は、所定のブロックが第１の所定の幅／高さ対のものである場合、および所定のブロックが第２の所定の幅／高さ対のものである場合、サンプル値の縮小されたセット１０２がＮ_１個のサンプル値を有するように行われてもよく、縮小されたサンプル値のセットを選択された線形またはアフィン線形変換に供することは、所定のブロックが第１の所定の幅／高さ対のものである場合は、ｗ_１が１つの幅／高さ対の幅を超える場合は幅寸法に沿った、またはｈ_１が１つの幅／高さ対の高さを超える場合は高さ寸法に沿ったサンプル位置のｗ_１×ｈ_１アレイのサブサンプリングに関連する選択された線形またはアフィン線形変換の第１のサブ部分のみを使用することによって行われてもよく、所定のブロックが第２の所定の幅／高さ対のものである場合は、選択された線形またはアフィン線形変換を完全に行ってもよい。

線形またはアフィン線形変換の第１のセット内の各線形またはアフィン線形変換は、ｗ_１＝ｈ_１であるサンプル位置のｗ_１×ｈ_１アレイについてＮ_１個のサンプル値をｗ_１＊ｈ_１個の予測値に変換するためのものとすることができ、線形またはアフィン線形変換の第２のセット内の各線形またはアフィン線形変換は、ｗ_２＝ｈ_２であるサンプル位置のｗ_２×ｈ_２アレイについてＮ_２個のサンプル値をｗ_２＊ｈ_２個の予測値に変換するためのものである。

上述した実施形態は全て、本明細書で以下に説明する実施形態の基礎を形成することができるという点で単なる例示である。すなわち、上記の概念および詳細は、以下の実施形態を理解するのに役立ち、本明細書で後述する実施形態の可能な拡張および補正のリザーバとして役立つ。特に、上述した詳細の多くは、隣接するサンプルの平均化、隣接するサンプルが参照サンプルとして使用されるという事実など、任意選択的である。

より一般的には、本明細書に記載の実施形態は、矩形ブロック上のイントラ予測信号がブロックの左および上の隣接する既に再構成されたサンプルから生成されるなど、矩形ブロック上の予測信号が既に再構成されたサンプルから生成されると仮定する。予測信号の生成は、以下のステップに基づく。

１．しかしながら、説明を他の場所に配置された参照サンプルに転送する可能性を排除することなく、境界サンプルと呼ばれる参照サンプルから、サンプルは平均化によって抽出されることができる。ここで、平均化は、ブロックの左および上の双方の境界サンプルに対して、または両側の一方の境界サンプルに対してのみ実行される。片側で平均化が行われない場合、その側のサンプルは変更されないままである。

２．行列ベクトル乗算が実行され、任意選択的に、その後にオフセットの加算が実行され、行列ベクトル乗算の入力ベクトルは、平均化が左側のみに適用された場合、ブロックの平均化された境界サンプルの左とブロックの上の元の境界サンプルとの連結、または平均化が上側のみに適用された場合、ブロックの元の境界サンプルの左とブロックの上の平均化された境界サンプルとの連結、または平均化がブロックの両側に適用された場合、ブロックの平均化された境界サンプルの左とブロックの上の平均化された境界サンプルとの連結のいずれかである。ここでも、平均化が全く使用されていないものなどの代替例が存在する。

３．行列ベクトル乗算および任意選択のオフセット加算の結果は、任意選択的に、元のブロック内のサブサンプリングされたサンプルのセット上の縮小された予測信号とすることができる。残りの位置における予測信号は、線形補間によってサブサンプリングされたセット上の予測信号から生成されることができる。

ステップ２における行列ベクトル積の計算は、好ましくは整数演算で実行されるべきである。したがって、

が行列ベクトル積の入力を示す場合、すなわち、

がその後に

からブロックの左および上の（平均化された）境界サンプルの連結を示す場合、ステップ２において計算された（縮小された）予測信号は、ビットシフト、オフセットベクトルの加算、および整数との乗算のみを使用して計算されるべきである。理想的には、ステップ２の予測信号は、

のように与えられ、ここで、

は０とすることができるオフセットベクトルであり、

はいくつかの機械学習ベースの訓練アルゴリズムによって導出される。しかしながら、そのような訓練アルゴリズムは、通常、浮動小数点精度で与えられる行列

のみをもたらす。したがって、式

がこれらの整数演算を使用して十分に近似されるように、前述の意味で整数演算を指定するという問題に直面する。ここで、これらの整数演算は、ベクトル

の均一な分布を仮定して式

を近似するように必ずしも選択されるのではなく、典型的には、式

が近似される入力ベクトル

が自然映像信号からの（平均化された）境界サンプルであり、

の成分

間のいくつかの相関を予測することができることを考慮することに言及することが重要である。

図８は、複数の参照サンプル１７を使用してピクチャ１０の所定のブロック１８を予測するための装置１０００の実施形態を示している。複数の参照サンプル１７は、所定のブロック１８を予測するために装置１０００によって使用される予測モードに依存することができる。予測モードが例えばイントラ予測である場合、所定のブロックに隣接する参照サンプル１７_１が使用されることができる。換言すれば、複数の参照サンプル１７は、例えば、所定のブロック１８の外縁に沿ってピクチャ１０内に配置される。例えば、予測モードがインター予測である場合、他のピクチャ１０’の参照サンプル１７_２が使用されることができる。

装置１０００は、複数の参照サンプル１７からサンプル値ベクトル４００を形成する１００ように構成される。サンプル値ベクトルは、異なる技術によって取得されることができる。サンプル値ベクトルは、例えば、全ての参照サンプル１７を含むことができる。任意選択的に、参照サンプルは重み付けされることができる。別の例によれば、サンプル値ベクトル４００は、サンプル値ベクトル１０２について図７．１から図７．４のいずれかに関して説明したように形成されることができる。換言すれば、サンプル値ベクトル４００は、平均化またはダウンサンプリングによって形成されることができる。したがって、例えば、参照サンプルのグループが平均化され、値の縮小したセットを有するサンプル値ベクトル４００を取得することができる。換言すれば、装置は、例えば、サンプル値ベクトル４００の各成分について、複数の参照サンプル１７のうちの１つの参照サンプルをサンプル値ベクトルのそれぞれの成分として採用すること、および／またはサンプル値ベクトル４００の２つ以上の成分を平均化すること、すなわち、サンプル値ベクトル４００のそれぞれの成分を取得するために、複数の参照サンプル１７のうちの２つ以上の参照サンプルを平均化することによって、複数の参照サンプル１７からサンプル値ベクトル１０２を形成する１００ように構成される。

装置１０００は、サンプル値ベクトル４００から、サンプル値ベクトル４００が所定の可逆線形変換４０３によってマッピングされるさらなるベクトル４０２を導出する４０１ように構成される。さらなるベクトル４０２は、例えば、整数値および／または固定小数点値のみを含む。可逆線形変換４０３は、例えば、所定のブロック１８のサンプルの予測が整数演算または固定小数点演算によって実行されるように選択される。

さらにまた、装置１０００は、さらなるベクトル４０２と所定の予測行列４０５との間の行列ベクトル積４０４を計算して予測ベクトル４０６を取得し、予測ベクトル４０６に基づいて所定のブロック１８のサンプルを予測するように構成される。有利なさらなるベクトル４０２に基づいて、所定の予測行列が量子化されて、所定のブロック１８の予測サンプルに対する量子化誤差の僅かな影響のみで整数演算および／または固定小数点演算を可能にすることができる。

実施形態によれば、装置１０００は、固定小数点演算を使用して行列ベクトル積４０４を計算するように構成される。あるいは、整数演算が使用されることができる。
実施形態によれば、装置１０００は、浮動小数点演算なしで行列ベクトル積４０４を計算するように構成される。

実施形態によれば、装置１０００は、所定の予測行列４０５の固定小数点数表現を記憶するように構成される。追加的または代替的に、所定の予測行列４０５の整数表現が記憶されることができる。
実施形態によれば、装置１０００は、予測ベクトル４０６に基づいて所定のブロック１８のサンプルを予測する際に、予測ベクトル４０６に基づいて所定のブロック１８の少なくとも１つのサンプル位置を計算するために補間を使用するように構成され、その各成分は、所定のブロック１８内の対応する位置に関連付けられる。補間は、図７．１～図７．４に示す実施形態のうちのいずれかに関して説明したように実行されることができる。

図９は、本明細書に記載の発明の概念を示している。所定のブロックのサンプルは、いくつかの機械学習ベースの訓練アルゴリズムによって導出された行列Ａ １１００とサンプル値ベクトル４００との間の第１の行列ベクトル積に基づいて予測されることができる。任意選択的に、オフセットｂ １１１０が加算されることができる。この第１の行列ベクトル積の整数近似または固定点近似を達成するために、サンプル値ベクトルは、さらなるベクトル４０２を決定するために可逆線形変換４０３を受けることができる。さらなる行列Ｂ １２００とさらなるベクトル４０２との間の第２の行列ベクトル積は、第１の行列ベクトル積の結果に等しくすることができる。

さらなるベクトル４０２の特徴のために、第２の行列ベクトル積は、所定の予測行列Ｃ ４０５とさらなるベクトル４０２とさらなるオフセット４０８との間の行列ベクトル積４０４によって整数近似されることができる。さらなるベクトル４０２およびさらなるオフセット４０８は、整数値または固定小数点値からなることができる。さらなるオフセットの全ての成分は、例えば、同じである。所定の予測行列４０５は、量子化された行列であってもよく、量子化される行列であってもよい。所定の予測行列４０５とさらなるベクトル４０２との間の行列ベクトル積４０４の結果は、予測ベクトル４０６として理解されることができる。

以下では、この整数近似に関するさらなる詳細が提供される。
実施形態Ｉにかかる可能な解決策：平均値の減算および加算
上記のシナリオで使用可能な式

の整数近似の１つの可能な組み込みは、サンプル値ベクトル４００の第

の成分

、すなわち

の所定の成分１５００を、

の成分の平均値

、すなわち所定値１４００で置き換え、他の全ての成分からこの平均値を減算することである。換言すれば、可逆線形変換４０３は、図１０ａに示すように、さらなるベクトル４０２の所定の成分１５００がａになり、所定の成分１５００を除くさらなるベクトル４０２の他の成分のそれぞれが、サンプル値ベクトルの対応する成分マイナスａに等しくなるように定義され、ａは、例えば、サンプル値ベクトル４００の成分の算術平均または加重平均などの平均である所定値１４００である。入力に対するこの演算は、特に

の寸法

が２の累乗である場合に明らかな整数実装を有する可逆変換

４０３によって与えられる。

であるため、入力

に対してそのような変換を行う場合、行列ベクトル積

の整数近似を見つける必要があり、ここで

および

である。行列ベクトル積

は、矩形ブロック、すなわち所定のブロック上の予測を表し、

は、そのブロックの（例えば、平均化された）境界サンプルによって構成されるため、

の全てのサンプル値が等しい場合、すなわち、全ての

について、

である場合、予測信号

内の各サンプル値は、

に近いか、または

に正確に等しくなければならないことを予測すべきである。これは、

の、すなわちさらなる行列１２００の第

の列、すなわち所定の成分に対応する列が、１のみからなる列に非常に近いかまたは等しいことを予測すべきであることを意味する。したがって、

）である場合、すなわち整数行列１３００が、その第

の列が１からなり、その他の列の全てが０である行列である場合、

である

）ｙと書き込むと、図１０ｂに示すように、

の、すなわち所定の予測行列４０５の第

の列は、かなり小さいエントリを有するか、または０であると予測すべきである。さらに、

の成分は相関があるため、各

について、

の第ｉの成分

はｘの第ｉの成分よりも絶対値がはるかに小さいことが多いことを予測することができる。行列

は整数行列であるため、

の整数近似が与えられる場合、

の整数近似が達成され、上記の引数により、

の各エントリを適切な方法で量子化することによって生じる量子化誤差は、

の

のそれぞれの結果として生じる量子化の誤差に僅かに影響を与えるだけであることを予測することができる。

所定値１４００は、必ずしも平均値

である必要はない。式

の本明細書に記載された整数近似はまた、所定値１４００の以下の代替的な定義を用いて達成されることができる：
式

の整数近似の別の可能な組み込みでは、

の第

の成分

は変更されないままであり、同じ値

が他の全ての成分から減算される。すなわち、各

について

および

である。換言すれば、所定値１４００は、所定の成分１５００に対応するサンプル値ベクトル４００の成分とすることができる。

あるいは、所定値１４００は、デフォルト値、またはピクチャが符号化されたデータストリームでシグナリングされる値である。
所定値１４００は、例えば、２^{ｂｉｔｄｅｐｔｈ－１}に等しい。この場合、さらなるベクトル４０２は、ｉ＞０の場合、ｙ_０＝２^{ｂｉｔｄｅｐｔｈ－１}およびｙ_ｉ＝ｘ_ｉ－ｘ_０によって定義されることができる。

あるいは、所定の成分１５００は、所定値１４００を減算した定数となる。定数は、例えば、２^{ｂｉｔｄｅｐｔｈ－１}に等しい。実施形態によれば、さらなるベクトルｙ ４０２の所定の成分

１５００は、２^{ｂｉｔｄｅｐｔｈ－１}マイナス所定の成分１５００に対応するサンプル値ベクトル４００の成分

に等しく、さらなるベクトル４０２の他の全ての成分は、サンプル値ベクトル４００の対応する成分マイナス所定の成分１５００に対応するサンプル値ベクトル４００の成分に等しい。
例えば、所定値１４００は、所定のブロックのサンプルの予測値との偏差が小さいと有利である。

実施形態によれば、装置１０００は、複数の可逆線形変換４０３を含むように構成され、そのそれぞれはさらなるベクトル４０２の一成分に関連付けられる。さらにまた、装置は、例えば、サンプル値ベクトル４００の成分のうちの所定の成分１５００を選択し、その所定の成分１５００に対応付けられている複数の可逆線形変換のうちの可逆線形変換４０３を、その所定の可逆線形変換として使用するように構成される。これは、例えば、さらなるベクトル４０２内の所定の成分の位置に応じて、第ｉ_０の行、すなわち所定の成分に対応する可逆線形変換４０３の行の異なる位置に起因する。例えば、さらなるベクトル４０２の第１の成分、すなわちｙ_１が所定の成分である場合、第ｉ_ｏの行は、可逆線形変換の第１の行を置き換える。

図１０ｂに示すように、さらなるベクトル４０２の所定の成分１５００に対応する所定の予測行列４０５の列４１２、すなわち第ｉ_０の列内の所定の予測行列Ｃ ４０５の行列成分４１４は、例えば、全て０である。この場合、装置は、例えば、図１０ｃに示すように、列４１２を残すことによって所定の予測行列Ｃ ４０５から結果として生じる縮小された予測行列Ｃ’ ４０５と、所定の成分１５００を残すことによってさらなるベクトル４０２から結果として生じるなおさらなるベクトル４１０との間の行列ベクトル積４０７を計算することによって乗算を実行することによって行列ベクトル積４０４を計算するように構成される。したがって、予測ベクトル４０６がより少ない乗算で計算されることができる。

図９、図１０ｂおよび図１０ｃに示すように、装置１０００は、予測ベクトル４０６に基づいて所定のブロックのサンプルを予測する際に、予測ベクトル４０６の各成分について、それぞれの成分とａ、すなわち所定値１４００との和を計算するように構成されることができる。この加算は、図９および図１０ｃに示すように、予測ベクトル４０６とベクトル４０９との和によって表されることができ、ベクトル４０９の全ての成分は、所定値１４００に等しい。あるいは、加算は、図１０ｂに示すように、予測ベクトル４０６と、整数行列Ｍ １３００とさらなるベクトル４０２との間の行列ベクトル積１３１０との和によって表されることができ、整数行列１３００の行列成分は、さらなるベクトル４０２の所定の成分１５００に対応する整数行列１３００の列、すなわち第ｉ_０の列内で１であり、他の全ての成分は、例えば０である。

所定の予測行列４０５と整数行列１３００との合計の結果は、例えば、図９に示すさらなる行列１２００に等しいかまたは近似する。
換言すれば、さらなるベクトル４０２の所定の成分１５００に対応する所定の予測行列４０５の列４１２、すなわち第ｉ_０の列内の所定の予測行列Ｃ ４０５の各行列成分を、可逆線形変換４０３の１（すなわち、行列Ｂ）倍と合計して得られる行列、すなわちさらなる行列Ｂ １２００は、例えば、図９、図１０ａおよび図１０ｂに示すように、機械学習予測行列Ａ １１００の量子化バージョンに対応する。第ｉ_０の列４１２内の所定の予測行列Ｃ ４０５の各行列成分を１と合計することは、図１０ｂに示すように、所定の予測行列４０５と整数行列１３００との合計に対応することができる。図９に示すように、機械学習予測行列Ａ １１００は、さらなる行列１２００の可逆線形変換４０３の倍の結果に等しくすることができる。これは、

に起因する。所定の予測行列４０５は、例えば、量子化行列、整数行列および／または固定小数点行列であり、これにより、機械学習予測行列Ａ １１００の量子化バージョンが実現されることができる。

整数演算のみを使用した行列乗算
低複雑度実装（スカラ値を加算および乗算する複雑さの観点、ならびにパーテイキング行列のエントリに必要な記憶装置の観点から）では、整数演算のみを使用して行列乗算４０４を実行することが望ましい。

、すなわち、

の近似を計算するために、実施形態によれば、整数のみに対する演算を使用して、実数値

は、整数値

にマッピングされなければならない。これは、例えば、一様スカラ量子化によって、または値

間の特定の相関を考慮することによって行うことができる。整数値は、例えば、それぞれが固定数のビットｎ＿ｂｉｔ、例えばｎ＿ｂｉｔｓ＝８で記憶されることができる固定小数点数を表す。

サイズｍ×ｎの行列、すなわち所定の予測行列４０５を有する行列ベクトル積４０４は、この擬似コードに示すように実行されることができ、ここで、＜＜，＞＞は、算術バイナリ左シフト演算および右シフト演算であり、＋、－および＊は、整数値のみで演算する。

（１）
最終＿オフセット＝１＜＜（右＿シフト＿結果－１）；
０．．．ｍ－１におけるｉについて
｛
アキュムレータ＝０
０．．．ｎ－１におけるｊについて
｛
アキュムレータ：＝アキュムレータ＋ｙ［ｊ］＊Ｃ［ｉ，ｊ］
｝
ｚ［ｉ］＝（アキュムレータ＋最終＿オフセット）＞＞右＿シフト＿結果；
｝

ここで、アレイＣ、すなわち所定の予測行列４０５は、例えば整数として固定小数点数を記憶する。最終＿オフセットの最後の加算および右＿シフト＿結果による右シフト演算は、出力で必要とされる固定小数点形式を得るために丸めによって精度を低下させる。
Ｃの整数によって表現可能な実数値の範囲の増加を可能にするために、図１１および図１２の実施形態に示すように、２つの追加の行列

および

が使用されることができ、その結果、行列ベクトル積

の

の各係数

は、

によって与えられる。
値

および

は、それ自体が整数値である。例えば、これらの整数は、固定数のビット、例えば８ビット、または例えば値

を記憶するために使用されるのと同じ数のビットｎ＿ｂｉｔでそれぞれ記憶することができる固定小数点数を表すことができる。

換言すれば、装置１０００は、予測パラメータ、例えば整数値

ならびに値

および

を使用して所定の予測行列４０５を表し、さらなるベクトル４０２の成分および予測パラメータおよびそれから生じる中間結果に対して乗算および加算を実行することによって行列ベクトル積４０４を計算するように構成され、予測パラメータの絶対値は、ｎビットの固定小数点数表現によって表すことができ、ｎは１４以下、あるいは１０以下、あるいは８以下である。例えば、さらなるベクトル４０２の成分は、予測パラメータと乗算されて、中間結果として積を生成し、これは、加算の影響を受けるか、または加算の加数を形成する。

実施形態によれば、予測パラメータは、それぞれが予測行列の対応する行列成分に関連付けられた重みを含む。換言すれば、所定の予測行列は、例えば、予測パラメータに置き換えられたり、予測パラメータによって表されたりする。重みは、例えば、整数および／または固定点値である。

実施形態によれば、予測パラメータは、１つ以上のスケーリング係数、例えば値ｓｃａｌｅ_ｉ，ｊをさらに含み、そのそれぞれは、所定の予測行列４０５の１つ以上の対応する行列成分に関連する重み、例えば整数値

をスケーリングするための所定の予測行列４０５の１つ以上の対応する行列成分に関連付けられる。追加的または代替的に、予測パラメータは、１つ以上のオフセット、例えば値ｏｆｆｓｅｔ_ｉ，ｊを含み、そのそれぞれは、所定の予測行列４０５の１つ以上の対応する行列成分に関連付けられた重み、例えば整数値

をオフセットするための所定の予測行列４０５の１つ以上の対応する行列成分に関連付けられる。

および

に必要な記憶量を低減するために、それらの値は、インデックスｉ，ｊの特定のセットに対して一定であるように選択されることができる。例えば、図１１に示すように、それらのエントリは列ごとに一定であってもよく、行ごとに一定であってもよく、全てのｉ，ｊについて一定であってもよい。

例えば、好ましい一実施形態では、

および

は、図１２に示すように、ある予測モードの行列の全ての値に対して一定である。したがって、ｋ＝０．．Ｋ－１のＫ個の予測モードがある場合、モードｋの予測を計算するために単一の値

および単一の値

のみが必要である。

実施形態によれば、

および／または

は、全ての行列ベースのイントラ予測モードについて一定、すなわち同一である。追加的または代替的に、

および／または

は、全てのブロックサイズについて一定、すなわち同一であることが可能である。

オフセット表現

およびスケール表現

を用いて、（１）における計算は、以下のように修正されることができる：
（２）
最終＿オフセット＝０；
０．．．ｎ－１におけるｉについて
｛
最終＿オフセット：＝最終＿オフセット－ｙ［ｉ］；
｝
最終＿オフセット＊＝最終＿オフセット＊オフセット＊スケール；
最終＿オフセット＋＝１＜＜（右＿シフト＿結果－１）；
０．．．ｍ－１におけるｉについて
｛
アキュムレータ＝０
０．．．ｎ－１におけるｊについて
｛
アキュムレータ：＝アキュムレータ＋ｙ［ｊ］＊Ｃ［ｉ，ｊ］
｝
ｚ［ｉ］＝（アキュムレータ＊スケール＋最終＿オフセット）＞＞右＿シフト＿結果；
｝

その解決策から生じる広範な実施形態
上記の解決策は、以下の実施形態を意味する：
１．セクションＩに記載されているような予測方法であって、セクションＩのステップ２において、関与する行列ベクトル積の整数近似に対して以下が行われる：

である、固定

について、（平均化された）境界サンプル

から、ベクトル

が計算され、

の場合、

であり、

であり、

は、

の平均値を示す。そして、ベクトル

は、セクションＩのステップ２からの（ダウンサンプリングされた）予測信号

が

のように与えられるように行列ベクトル積

（の整数実現）の入力として機能する。この式において、

は、（ダウンサンプリングされた）予測信号の領域内の各サンプル位置について

に等しい信号を示す。（例えば、図１０ｂを参照されたい）

２．セクションＩに記載されているような予測方法であって、セクションＩのステップ２において、関与する行列ベクトル積の整数近似に対して以下が行われる：

である、固定

について、（平均化された）境界サンプル

から、ベクトル

が計算され、

の場合、

であり、

の場合、

であり、

は、

の平均値を示す。そして、ベクトル

は、セクションＩのステップ２からの（ダウンサンプリングされた）予測信号

が

のように与えられるように行列ベクトル積

（の整数実現）の入力として機能する。この式において、

は、（ダウンサンプリングされた）予測信号の領域内の各サンプル位置について

に等しい信号を示す。（例えば、図１０ｃを参照されたい）

３．セクションＩに記載されているような予測方法であって、行列ベクトル積

の整数実現が、行列ベクトル積

内の係数

を使用することによって与えられる。（例えば、図１１を参照されたい）

４．セクションＩに記載されているような予測方法であって、ステップ２は、複数の予測モードが計算されることができるようにＫ個の行列のうちの１つを使用し、それぞれがｋ＝０．．．Ｋ－１を有する異なる行列

を使用し、行列ベクトル積

の整数実現は、行列ベクトル積

内の係数

を使用することによって与えられる。（例えば、図１２を参照されたい）

すなわち、本出願の実施形態によれば、符号化器および復号器は、図９を参照して、ピクチャ１０の所定のブロック１８を予測するために以下のように機能する。予測のために、複数の参照サンプルが使用される。上記概説したように、本出願の実施形態は、イントラ符号化に限定されず、したがって、参照サンプルは、隣接サンプル、すなわちピクチャ１０の隣接ブロック１８のサンプルに限定されない。特に、参照サンプルは、ブロックの外縁に当接するサンプルなど、ブロック１８の外縁に沿って配置されたものに限定されない。しかしながら、この状況は、確かに本出願の一実施形態である。

予測を行うために、参照サンプル１７ａおよび１７ｃなどの参照サンプルからサンプル値ベクトル４００が形成される。可能な形成が上述された。形成は、平均化を含むことができ、それによって形成に寄与する参照サンプル１７と比較してサンプル１０２の数またはベクトル４００の成分の数を減らすことができる。形成はまた、上述したように、ブロック１８の幅および高さなどのブロック１８の寸法またはサイズに何らかの形で依存することができる。

ブロック１８の予測を取得するためにアフィンまたは線形変換を受けるべきはこのベクトル４００である。異なる命名法が上記で使用されている。最新のものを使用して、オフセットベクトルｂとの加算を実行する範囲内で、行列ベクトル積によって行列Ａにベクトル４００を適用することによって予測を実行することが目的である。オフセットベクトルｂは任意である。ＡまたはＡおよびｂによって決定されるアフィンまたは線形変換は、符号化器および復号器によって、またはより正確には、既に上述したようにブロック１８のサイズおよび寸法に基づいて予測のために決定されることができる。

しかしながら、上記概説した計算効率の改善を達成するために、または予測を実施に関してより効果的にするために、アフィンまたは線形変換は量子化されており、符号化器および復号器、またはその予測器は、アフィン変換の量子化バージョンを表す、上記の方法で適用されたＣおよびＴを用いて、線形またはアフィン変換を表し、実行するために、上記のＣおよびＴを使用した。特に、符号化器および復号器内の予測器は、ベクトル４００を行列Ａに直接適用する代わりに、サンプル値ベクトル４００から得られたベクトル４０２を、所定の可逆線形変換Ｔを介してマッピングに供することによって適用する。ここで使用される変換Ｔは、ベクトル４００が同じサイズを有する限り同じであり、すなわち、ブロックの寸法、すなわち幅および高さに依存せず、または異なるアフィン／線形変換に対して少なくとも同じである。上記では、ベクトル４０２は、ｙで示されている。機械学習によって決定されたアフィン／線形変換を実行するための正確な行列はＢであった。しかしながら、正確にＢを実行する代わりに、符号化器および復号器における予測は、その近似または量子化バージョンによって行われる。特に、表現は、Ｃを上記で概説した方法で適切に表すことによって行われ、Ｃ＋ＭはＢの量子化バージョンを表す。

したがって、符号器および復号器における予測は、ベクトル４０２と、符号器および復号器において適切に表され記憶された所定の予測行列Ｃとの間の行列ベクトル積４０４を上記の方法で計算することによってさらに遂行される。次いで、この行列ベクトル積から生じるベクトル４０６は、ブロック１８のサンプル１０４を予測するために使用される。上述したように、予測のために、ベクトル４０６の各成分は、Ｃの対応する定義を補償するために、４０８において示されるようにパラメータａとの加算を受けることができる。オフセットベクトルｂとのベクトル４０６の任意選択の加算もまた、ベクトル４０６に基づくブロック１８の予測の導出に含まれることができる。上述したように、ベクトル４０６の各成分、したがって、ベクトル４０６の合計の各成分、４０８において示された全てのａのベクトル、および任意選択のベクトルｂは、ブロック１８のサンプル１０４に直接対応し、したがって、サンプルの予測値を示すことができる。ブロックのサンプル１０４のサブセットのみがそのように予測され、１０８などのブロック１８の残りのサンプルが補間によって導出されることも可能である。

上述したように、ａを設定するための異なる実施形態がある。例えば、ベクトル４００の成分の算術平均であってもよい。その場合については、図１０を参照されたい。可逆線形変換Ｔは、図１０に示すようなものとすることができる。ｉ_０は、それぞれサンプル値ベクトルおよびベクトル４０２の所定の成分であり、ａで置き換えられる。しかしながら、上記でも示したように、他の可能性もある。しかしながら、Ｃの表現に関する限り、それは異なって具現化されることができることも上記で示されている。例えば、行列ベクトル積４０４は、その実際の計算において、より低い次元を有するより小さい行列ベクトル積の実際の計算になることができる。特に、上記のように、Ｃの定義により、その第ｉ_０の列４１２の全体が０になるため、積４０４の実際の計算は、成分

の省略によるベクトル４０２から生じるベクトル４０２の縮小バージョンによって、すなわち、この縮小ベクトル４１０に、第ｉ_０の列４１２を除外することによってＣから生じる縮小行列Ｃ’を乗算することによって行われることができる。

Ｃの重みまたはＣ’の重み、すなわちこの行列の成分は、固定小数点数表現で表現および記憶されることができる。しかしながら、これらの重み４１４はまた、上述したように、異なるスケールおよび／またはオフセットに関連する方法で記憶されてもよい。スケールおよびオフセットは、行列Ｃ全体に対して定義されてもよく、すなわち、行列Ｃまたは行列Ｃ’の全ての重み４１４に対して等しくてもよく、または行列Ｃおよび行列Ｃ’の同じ行の全ての重み４１４または同じ列の全ての重み４１４に対してそれぞれ一定または等しくなるように定義されてもよい。これに関して、図１１は、行列ベクトル積の計算、すなわち積の結果が、実際には僅かに異なって実行されることができること、すなわち、例えば、スケールとの乗算をベクトル４０２または４０４に向かってシフトすることによって実行されることができ、それにより、さらに実行されなければならない乗算の数が低減されることを示している。図１２は、上記の計算（２）で行われたように、ＣまたはＣ’の全ての重み４１４に対して１つのスケールおよび１つのオフセットを使用する場合を示している。

実施形態によれば、ピクチャの所定のブロックを予測するための本明細書に記載の装置は、以下の特徴を含む行列ベースのサンプル内予測を使用するように構成されることができる：
装置は、複数の参照サンプル１７からサンプル値ベクトルｐＴｅｍｐ［ｘ］４００を形成するように構成される。ｐＴｅｍｐ［ｘ］が２＊ｂｏｕｎｄａｒｙＳｉｚｅであると仮定すると、ｐＴｅｍｐ［ｘ］は、例えば、直接コピーによって、またはサブサンプリングもしくはプールによって、所定のブロックの先頭に位置する隣接サンプル、ｘ＝０．．ｂｏｕｎｄａｒｙＳｉｚｅ－１を有するｒｅｄＴ［ｘ］、続いて所定のブロックの左に位置する隣接サンプル、ｘ＝０．．ｂｏｕｎｄａｒｙＳｉｚｅ－１を有するｒｅｄＬ［ｘ］（例えば、転置＝０の場合）によって、または転置処理（例えば、転置＝１の場合）の場合にはその逆によってポピュレートされることができる。

ｘ＝０．．ｉｎＳｉｚｅ－１の入力値ｐ［ｘ］が導出され、すなわち、装置は、以下のように、サンプル値ベクトルｐＴｅｍｐ［ｘ］から、サンプル値ベクトルｐＴｅｍｐ［ｘ］が所定の可逆線形変換によってマッピングされるさらなるベクトルｐ［ｘ］を導出するように、またはより具体的な所定の可逆アフィン線形変換であるように構成される。
－ｍｉｐＳｉｚｅＩｄが２に等しい場合、以下が適用される：
ｐ［ｘ］＝ｐＴｅｍｐ［ｘ＋１］－ｐＴｅｍｐ［０］
－そうでない場合（ｍｉｐＳｉｚｅＩｄが２未満）、以下が適用される：
ｐ［０］＝（１＜＜（ＢｉｔＤｅｐｔｈ－１））－ｐＴｅｍｐ［０］
ｐ［ｘ］＝ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］ ｘ＝１．．ｉｎＳｉｚｅ－１の場合

ここで、変数ｍｉｐＳｉｚｅＩｄは、所定のブロックのサイズを示す。すなわち、本実施形態によれば、サンプル値ベクトルからさらなるベクトルが導出されるために使用する可逆変換は、所定のブロックのサイズに依存する。依存性は、以下にしたがって与えられることができる。

ｐｒｅｄＳｉｚｅは、所定のブロック内の予測サンプルの数を示し、２＊ｂｏｎｄａｒｙＳｉｚｅは、サンプル値ベクトルのサイズを示し、ｉｎＳｉｚｅ、すなわち、ｉｎＳｉｚｅ＝（２＊ｂｏｕｎｄａｒｙＳｉｚｅ）－（ｍｉｐＳｉｚｅＩｄ＝＝２）？１：０にしたがってさらなるベクトルのサイズに関連する。１：０。より正確には、ｉｎＳｉｚｅは、計算において実際に関与するさらなるベクトルの成分の数を示す。ｉｎＳｉｚｅは、小さいブロックサイズではサンプル値ベクトルのサイズと同じサイズであり、大きいブロックサイズでは１つの成分がより小さい。前者の場合、１つの成分、すなわち、後に計算される行列ベクトル積のように、さらなるベクトルの所定の成分に対応する成分は無視されてもよく、対応するベクトル成分の寄与は、いずれにせよ０になり、したがって実際に計算される必要はない。ブロックサイズへの依存性は、２つの代替例のうちの１つのみが必然的に使用される、すなわちブロックサイズに関係なく使用される代替実施形態の場合には残されることができる（ｍｉｐＳｉｚｅＩｄに対応するオプションが２未満であるか、またはｍｉｐＳｉｚｅＩｄに対応するオプションが２に等しい）。

換言すれば、所定の可逆線形変換は、例えば、さらなるベクトルｐの所定の成分がａになり、他の全ての成分がサンプル値ベクトルマイナスａの成分に対応するように定義され、例えば、ａ＝ｐＴｅｍｐ［０］である。２に等しいｍｉｐＳｉｚｅＩｄに対応する第１のオプションの場合、これは容易に見え、さらなるベクトルの別個に形成された成分のみがさらに考慮される。すなわち、第１のオプションの場合、さらなるベクトルは、実際には｛ｐ［０．．．ｉｎＳｉｚｅ］；ｐＴｅｍｐ［０］｝であり、ｐＴｅｍｐ［０］はａであり、行列ベクトル積をもたらすために行列ベクトル乗算の実際に計算された部分、すなわち乗算の結果は、行列が計算を必要としない０列を有するため、さらなるベクトルおよび行列の対応する列のｉｎＳｉｚｅ成分のみに制限される。他の場合には、２よりも小さいｍｉｐＳｉｚｅＩｄに対応して、ｐ［０］を除くさらなるベクトルの全ての成分として、ａ＝ｐＴｅｍｐ［０］が選択され、すなわち、所定の成分ｐ［０］を除くさらなるベクトルｐの他の成分ｐ［ｘ］（ｘ＝１．．ｉｎＳｉｚｅ－１の場合）のそれぞれは、サンプル値ベクトルｐＴｅｍｐ［ｘ］の対応する成分マイナスａに等しいが、ｐ［０］は、定数マイナスａであるように選択される。次いで、行列ベクトル積が計算される。定数は、表現可能な値の平均、すなわち２^ｘ－１（すなわち、１＜＜（ＢｉｔＤｅｐｔｈ－１））であり、ｘは使用される計算表現のビット深度を示す。ｐ［０］が代わりにｐＴｅｍｐ［０］であるように選択された場合、計算された積は、上記のようにｐ［０］を使用して計算された積（ｐ［０］＝（１＜＜（ＢｉｔＤｅｐｔｈ－１））－ｐＴｅｍｐ［０］）から、積、すなわち予測ベクトルに基づいてブロック内部を予測するときに考慮することができる定数ベクトルだけ逸脱することに留意されたい。したがって、値ａは、所定値、例えばｐＴｅｍｐ［０］である。所定値ｐＴｅｍｐ［０］は、この場合、例えば、所定の成分ｐ［０］に対応するサンプル値ベクトルｐＴｅｍｐの成分である。それは、所定のブロックの左上隅に最も近い、所定のブロックの上または所定のブロックの左に隣接するサンプルとすることができる。

例えばイントラ予測モードを指定するなど、ｐｒｅｄＭｏｄｅＩｎｔｒａにかかるサンプル内予測プロセスの場合、装置は、例えば、以下のステップを適用するように構成され、例えば、少なくとも第１のステップを実行する：
１．ｘ＝０．．ｐｒｅｄＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ－１である行列ベースのイントラ予測サンプルｐｒｅｄＭｉｐ［ｘ］［ｙ］は、以下のように導出される：
－変数ｍｏｄｅＩｄは、ｐｒｅｄＭｏｄｅＩｎｔｒａと等しく設定される。
－ｘ＝０．．ｉｎＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ＊ｐｒｅｄＳｉｚｅ－１の重み行列ｍＷｅｉｇｈｔ［ｘ］［ｙ］は、ｍｉｐＳｉｚｅＩｄとｍｏｄｅＩｄを入力としてＭＩＰ重み行列導出プロセスを呼び出すことによって導出される。
－ｘ＝０．．ｐｒｅｄＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ－１である行列ベースのイントラ予測サンプルｐｒｅｄＭｉｐ［ｘ］［ｙ］は、以下のように導出される：
ｏＷ＝３２－３２＊（

）
ｐｒｅｄＭｉｐ［ｘ］［ｙ］＝（（（

）＋
ｏＷ）＞＞６）＋ｐＴｅｍｐ［０］

換言すれば、装置は、ここでは、アレイｐｒｅｄＭｉｐ［ｘ］［ｙ］をもたらすように所定のブロックの内側に分布するブロック位置｛ｘ，ｙ｝のアレイに既に割り当てられている予測ベクトルを取得するために、さらなるベクトルｐ［ｉ］の間の行列ベクトル積、またはｍｉｐＳｉｚｅＩｄが２に等しい場合、｛ｐ［ｉ］；ｐＴｅｍｐ［０］｝および所定の予測行列ｍＷｅｉｇｈｔ、またはｍｉｐＳｉｚｅＩｄが２よりも小さい場合、ｐの省略された成分に対応する追加のゼロ重み線を有する予測行列ｍＷｅｉｇｈｔを計算するように構成される。予測ベクトルは、ｐｒｅｄＭｉｐ［ｘ］［ｙ］の行またはｐｒｅｄＭｉｐ［ｘ］［ｙ］の列の連結にそれぞれ対応する。

実施形態によれば、または異なる解釈によれば、成分（（（

）＋ｏＷ）＞＞６）のみが予測ベクトルとして理解され、装置は、予測ベクトルに基づいて所定のブロックのサンプルを予測する際に、予測ベクトルの各成分について、それぞれの成分とａとの和、例えば、ｐＴｅｍｐ［０］を計算するように構成される。

装置は、任意選択的に、予測ベクトルに基づいて所定のブロックのサンプルを予測する際に以下のステップ、例えばｐｒｅｄＭｉｐまたは（（

）＋ｏＷ）＞＞６をさらに実行するように構成されることができる。

２．ｘ＝０．．ｐｒｅｄＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ－１である行列ベースのイントラ予測サンプルｐｒｅｄＭｉｐ［ｘ］［ｙ］は、例えば、以下のようにクリップされる：
ｐｒｅｄＭｉｐ［ｘ］［ｙ］＝Ｃｌｉｐ１（ｐｒｅｄＭｉｐ［ｘ］［ｙ］）

３．転置が真に等しい場合、ｘ＝０．．ｐｒｅｄＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ－１のｐｒｅｄＳｉｚｅ×ｐｒｅｄＳｉｚｅアレイｐｒｅｄＭｉｐ［ｘ］［ｙ］は、例えば、以下のように転置される：
ｐｒｅｄＴｅｍｐ［ｙ］［ｘ］＝ｐｒｅｄＭｉｐ［ｘ］［ｙ］
ｐｒｅｄＭｉｐ＝ｐｒｅｄＴｅｍｐ

４．ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］は、例えば、以下のように導出される：
－変換ブロック幅を指定するｎＴｂＷがｐｒｅｄＳｉｚｅよりも大きいか、変換ブロック高さを指定するｎＴｂＨがｐｒｅｄＳｉｚｅよりも大きい場合、ＭＩＰ予測アップサンプリングプロセスは、入力ブロックサイズｐｒｅｄＳｉｚｅ、ｘ＝０．．ｐｒｅｄＳｉｚｅ－１、ｙ＝０．．ｐｒｅｄＳｉｚｅ－１を有する行列ベースのイントラ予測サンプルｐｒｅｄＭｉｐ［ｘ］［ｙ］、変換ブロック幅ｎＴｂＷ、変換ブロック高さｎＴｂＨ、ｘ＝０．．ｎＴｂＷ－１を有する上位参照サンプルｒｅｆＴ［ｘ］、およびｙ＝０．．ｎＴｂＨ－１を有する左参照サンプルｒｅｆＬ［ｙ］を入力として呼び出され、出力は予測サンプルアレイｐｒｅｄＳａｍｐｌｅｓである。
－そうでない場合、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１であるｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］は、ｐｒｅｄＭｉｐ［ｘ］［ｙ］と等しく設定される。
換言すれば、装置は、予測ベクトルｐｒｅｄＭｉｐに基づいて所定のブロックのサンプルｐｒｅｄＳａｍｐｌｅｓを予測するように構成される。

図１３は、複数の参照サンプルを使用してピクチャの所定のブロックを予測するための方法２０００であって、複数の参照サンプルからサンプル値ベクトルを形成すること２１００と、サンプル値ベクトルから、サンプル値ベクトルが所定の可逆線形変換によってマッピングされるさらなるベクトルを導出すること２２００と、予測ベクトルを取得するために、さらなるベクトルと所定の予測行列との間の行列ベクトル積を計算すること２３００と、予測ベクトルに基づいて所定のブロックのサンプルを予測すること２４００と、を含む、方法２０００を示している。

参考文献
［１］Ｐ．Ｈｅｌｌｅら、「Ｎｏｎ－ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ」、ＪＶＥＴ－Ｌ０１９９，、マカオ、中国、２０１８年１０月。
［２］Ｆ．Ｂｏｓｓｅｎ、Ｊ．Ｂｏｙｃｅ、Ｋ．Ｓｕｅｈｒｉｎｇ、Ｘ．Ｌｉ，Ｖ．Ｓｅｒｅｇｉｎ、「ＪＶＥＴ ｃｏｍｍｏｎ ｔｅｓｔ ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ｓｏｆｔｗａｒｅ ｒｅｆｅｒｅｎｃｅ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｆｏｒ ＳＤＲ ｖｉｄｅｏ」、ＪＶＥＴ－Ｋ１０１０、リュブリャナ、スロベニア、２０１８年７月。

さらなる実施形態および例
一般に、例は、プログラム命令を備えたコンピュータプログラム製品として実装されることができ、プログラム命令は、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するために機能する。プログラム命令は、例えば、機械可読媒体に記憶されてもよい。
他の例は、機械可読キャリアに記憶された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを備える。

したがって、方法の例は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載の方法の１つを実行するためのプログラム命令を有するコンピュータプログラムである。

したがって、方法のさらなる例は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録したデータキャリア媒体（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア媒体、デジタル記憶媒体または記録媒体は、無形で一時的な信号ではなく、有形および／または非一時的である。
したがって、方法のさらなる例は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されることができる。

さらなる例は、本明細書に記載の方法の１つを実行する処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを備える。
さらなる例は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。

さらなる例は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送する装置またはシステムを備える。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置などとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。

いくつかの例では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）が使用されて、本明細書に記載の方法の機能のいくつかまたは全てを実行することができる。いくつかの例では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、任意の適切なハードウェア装置によって実行されてもよい。

上述した例は、上述した原理の単なる例示である。本明細書に記載された構成および詳細の変更および変形は明らかであろうことが理解される。したがって、本明細書の例の記載および説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によって制限されることが意図されている。
等しいまたは同等の要素または等しいまたは同等の機能を有する要素は、異なる図で発生する場合であっても、等しいまたは同等の参照符号によって以下の説明で示されている。

Claims (23)

1. 複数の参照サンプル（１７ａ、ｃ）を使用してピクチャ（１０）の所定のブロック（１８）を予測するための装置（１０００）であって、
   前記複数の参照サンプル（１７ａ、ｃ）からサンプル値ベクトル（１０２，４００）、ｐＴｅｍｐ［ｘ］を形成し（１００）、
   前記所定のブロックのサイズを示す変数ｍｉｐＳｉｚｅＩｄを取得し、
   ｉｎＳｉｚｅを、さらなるベクトル、ｐ［ｘ］の成分であって、前記さらなるベクトル、ｐ［ｘ］の導出に関わる成分の数として、ｘ＝１，２，…，ｉｎＳｉｚｅに対して、前記変数ｍｉｐＳｉｚｅＩｄが２に等しい場合、
   ｐ［ｘ］＝ｐＴｅｍｐ［ｘ＋１］－ｐＴｅｍｐ［０］
   によって、前記変数ｍｉｐＳｉｚｅＩｄが２より小さい場合、
   ｐ［ｘ］＝ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］
   によって、前記サンプル値ベクトル（１０２、４００）、ｐＴｅｍｐ［ｘ］が所定の可逆線形変換（４０３）によってマッピングされるさらなるベクトル（４０２）、ｐ［ｘ］を導出し、
   

   

   にしたがって、予測アレイ（４０６）、ｐｒｅｄＭｉｐ［ｘ］［ｙ］を取得するために、前記さらなるベクトル（４０２）、ｐ［ｘ］と所定の予測行列（４０５）、ｍＷｅｉｇｈｔ［ｘ］［ｙ］との間の行列ベクトル積（４０４）を計算し、
   前記予測アレイ（４０６）、ｐｒｅｄＭｉｐ［ｘ］［ｙ］に基づいて前記所定のブロック（１８）のサンプルを予測する、ように構成されている、装置（１０００）。
2. 前記所定の可逆線形変換（４０３）が、
   前記さらなるベクトル（４０２）の所定の成分（１５００）がａとなり、
   前記所定の成分（１５００）を除く前記さらなるベクトル（４０２）の他の成分のそれぞれが、前記サンプル値ベクトル（１０２，４００）の対応する成分マイナスａに等しく、
   式中、ａが所定値（１４００）である、ように定義される、請求項１に記載の装置（１０００）。
3. 前記所定値（１４００）が、
   前記サンプル値ベクトル（１０２、４００）の成分の算術平均または加重平均などの平均、
   デフォルト値、
   前記ピクチャ（１０）が符号化されるデータストリームでシグナリングされる値、および
   前記所定の成分（１５００）に対応する前記サンプル値ベクトル（１０２、４００）の成分、のうちの１つである、請求項２に記載の装置（１０００）。
4. 前記所定の可逆線形変換（４０３）が、
   前記さらなるベクトル（４０２）の所定の成分（１５００）がａとなり、
   前記所定の成分（１５００）を除く前記さらなるベクトル（４０２）の他の成分のそれぞれが、前記サンプル値ベクトル（１０２，４００）の対応する成分マイナスａに等しく、
   式中、ａが前記サンプル値ベクトル（１０２、４００）の成分の算術平均である、ように定義される、請求項１に記載の装置（１０００）。
5. 前記所定の可逆線形変換（４０３）が、
   前記さらなるベクトル（４０２）の所定の成分（１５００）がａまたは定数マイナスａとなり、
   前記所定の成分（１５００）を除く前記さらなるベクトル（４０２）の他の成分のそれぞれが、前記サンプル値ベクトル（１０２、４００）の対応する成分マイナスａに等しく、
   ａが前記所定の成分（１５００）に対応する前記サンプル値ベクトル（１０２、４００）の成分である、ように定義され、
   前記装置（１０００）が、
   それぞれが前記さらなるベクトル（４０２）の一方の成分に関連付けられた複数の可逆線形変換を含み、
   前記サンプル値ベクトル（１０２、４００）の成分から前記所定の成分（１５００）を選択し、
   前記所定の可逆線形変換（４０３）として前記所定の成分（１５００）に関連付けられた前記複数の可逆線形変換のうちの前記可逆線形変換を使用する、ように構成されている、請求項１に記載の装置（１０００）。
6. 前記さらなるベクトル（４０２）の前記所定の成分（１５００）に対応する前記所定の予測行列（４０５）の列内の前記所定の予測行列（４０５）の行列成分が全て０であり、前記装置（１０００）が、
   前記列を除外することによって前記所定の予測行列（４０５）から結果として生じる縮小予測行列（４０５）と、前記所定の成分（１５００）を除外することによって前記さらなるベクトル（４０２）から結果として生じるなおさらなるベクトル（４１０）との間の行列ベクトル積（４０７）を計算することによって乗算を実行することによって前記行列ベクトル積（４０４）を計算するように構成されている、請求項２に記載の装置（１０００）。
7. 前記予測アレイ（４０６）に基づいて前記所定のブロック（１８）の前記サンプルを予測する際に、
   前記予測アレイ（４０６）の各成分について、前記それぞれの成分とａとの和を計算するように構成されている、請求項２に記載の装置（１０００）。
8. 前記さらなるベクトル（４０２）の前記所定の成分（１５００）に対応する前記所定の予測行列（４０５）の列内の前記所定の予測行列（４０５）の各行列成分を、前記所定の可逆線形変換（４０３）の１倍と合計した行列が、機械学習予測行列（１１００）の量子化バージョンに対応する、請求項２に記載の装置（１０００）。
9. 前記サンプル値ベクトル（１０２、４００）の各成分について、前記複数の参照サンプル（１７ａ、ｃ）から前記サンプル値ベクトル（１０２、４００）を形成し（１００）、
   前記複数の参照サンプル（１７ａ、ｃ）のうちの一方の参照サンプルを前記サンプル値ベクトル（１０２、４００）の前記それぞれの成分として採用し、および／または
   前記サンプル値ベクトル（１０２、４００）の２つ以上の成分を平均化して、前記サンプル値ベクトル（１０２、４００）の前記それぞれの成分を取得する、
   ように構成されている、請求項１に記載の装置（１０００）。
10. 前記複数の参照サンプル（１７ａ、ｃ）が、前記所定のブロック（１８）の外縁に沿って前記ピクチャ（１０）内に配置される、請求項１に記載の装置（１０００）。
11. 固定小数点演算を使用して前記行列ベクトル積（４０４）を計算するように構成されている、請求項１に記載の装置（１０００）。
12. 浮動小数点演算を使用せずに前記行列ベクトル積（４０４）を計算するように構成されている、請求項１に記載の装置（１０００）。
13. 前記所定の予測行列（４０５）の固定小数点数表現を記憶するように構成されている、請求項１に記載の装置（１０００）。
14. 予測パラメータを使用して前記所定の予測行列（４０５）を表し、前記さらなるベクトル（４０２）の前記成分、ならびに前記予測パラメータおよびそれから生じる中間結果に対して乗算および加算を実行することによって前記行列ベクトル積（４０４）を計算するように構成され、前記予測パラメータの絶対値が、ｎビットの固定小数点数表現によって表されることができ、ｎが１４以下、あるいは１０以下、あるいは８以下である、請求項１に記載の装置（１０００）。
15. 前記予測パラメータが、
    それぞれが前記所定の予測行列（４０５）の対応する行列成分に関連付けられた重みを含む、請求項１４に記載の装置（１０００）。
16. 前記予測パラメータが、
    それぞれが前記所定の予測行列（４０５）の１つ以上の対応する行列成分に関連付けられた前記重みをスケーリングするために前記所定の予測行列（４０５）の前記１つ以上の対応する行列成分に関連付けられた１つ以上のスケーリング係数、および／または
    それぞれが前記所定の予測行列（４０５）の１つ以上の対応する行列成分に関連付けられた前記重みをオフセットするために前記所定の予測行列（４０５）の前記１つ以上の対応する行列成分に関連付けられた１つ以上のオフセット、をさらに含む、請求項１５に記載の装置（１０００）。
17. 前記予測アレイ（４０６）に基づいて前記所定のブロック（１８）の前記サンプルを予測する際に、
    各成分が前記所定のブロック（１８）内の対応する位置に関連付けられている前記予測アレイ（４０６）に基づいて前記所定のブロック（１８）の少なくとも１つのサンプル位置を計算するために補間を使用するように構成されている、請求項１に記載の装置（１０００）。
18. ピクチャを符号化するための装置であって、
    予測信号を取得するために、請求項１から１７のいずれか一項に記載の複数の参照サンプル（１７ａ、ｃ）を使用して前記ピクチャの所定のブロック（１８）を予測するための装置と、
    前記予測信号を補正するために、前記所定のブロックの予測残差を符号化するように構成されたエントロピー符号化器と、を備える、装置。
19. ピクチャを復号するための装置であって、
    予測信号を取得するために、請求項１から１７のいずれか一項に記載の複数の参照サンプル（１７ａ、ｃ）を使用して前記ピクチャの所定のブロック（１８）を予測するための装置と、
    前記所定のブロックに対する予測残差を復号するように構成されたエントロピー復号器と、
    前記予測残差を使用して前記予測信号を補正する予測補正器と、を備える、装置。
20. 複数の参照サンプル（１７ａ、ｃ）を使用してピクチャの所定のブロック（１８）を予測するための方法（２０００）であって、
    前記複数の参照サンプルからサンプル値ベクトル（１０２，４００）、ｐＴｅｍｐ［ｘ］を形成すること（２１００、１００）と、
    前記所定のブロックのサイズを示す変数ｍｉｐＳｉｚｅＩｄを取得することと、
    ｉｎＳｉｚｅを、さらなるベクトル、ｐ［ｘ］の成分であって、前記さらなるベクトル、ｐ［ｘ］の導出に関わる成分の数として、ｘ＝１，２，…，ｉｎＳｉｚｅに対して、前記変数ｍｉｐＳｉｚｅＩｄが２に等しい場合、
    ｐ［ｘ］＝ｐＴｅｍｐ［ｘ＋１］－ｐＴｅｍｐ［０］
    によって、前記変数ｍｉｐＳｉｚｅＩｄが２より小さい場合、
    ｐ［ｘ］＝ｐＴｅｍｐ［ｘ］－ｐＴｅｍｐ［０］
    によって、前記サンプル値ベクトル、ｐＴｅｍｐ［ｘ］が所定の可逆線形変換（４０３）によってマッピングされるさらなるベクトル（４０２）、ｐ［ｘ］を導出すること（２２００）と、
    

    

    にしたがって、予測アレイ（４０６）、ｐｒｅｄＭｉｐ［ｘ］［ｙ］を取得するために、前記さらなるベクトル（４０２）、ｐ［ｘ］と所定の予測行列（４０５）、ｍＷｅｉｇｈｔ［ｘ］［ｙ］との間の行列ベクトル積（４０４）を計算すること（２３００）と、
    前記予測アレイ（４０６）、ｐｒｅｄＭｉｐ［ｘ］［ｙ］に基づいて前記所定のブロックのサンプルを予測すること（２４００）と、を含む、方法（２０００）。
21. ピクチャを符号化するための方法であって、
    予測信号を取得するために、請求項２０に記載の方法（２０００）にしたがって複数の参照サンプル（１７ａ、ｃ）を使用して前記ピクチャの所定のブロック（１８）を予測することと、
    前記予測信号を補正するために、前記所定のブロックの予測残差をエントロピー符号化することと、を含む、方法。
22. ピクチャを復号するための方法であって、
    予測信号を取得するために、請求項２０に記載の方法（２０００）に対して複数の参照サンプル（１７ａ、ｃ）を使用して前記ピクチャの所定のブロック（１８）を予測することと、
    前記所定のブロックに対する予測残差をエントロピー復号することと、
    前記予測残差を使用して前記予測信号を補正することと、を含む、方法。
23. コンピュータ上で実行されると、請求項２０から２２のいずれか一項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images