JP6088689B2 - 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 - Google Patents

Description

本発明は、動画像予測符号化装置及び方法、並びに、動画像予測復号装置及び方法に関するもので、とりわけ、画面内の予測符号化に用いられる参照サンプルへのフィルタ処理に関するものである。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

通常の画面間予測（インター予測）符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図１０は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面７０１上の対象ブロック７０２を例に予測信号の生成手順を説明する。参照画面７０３は既に再生済みであり、領域７０４は対象ブロック７０２と空間的に同一位置の領域である。ブロックマッチングでは、領域７０４を囲む探索範囲７０５を設定し、この探索範囲の画素信号から対象ブロック７０２の画素信号との絶対値誤差和が最小となる領域７０６を検出する。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、参照画面７０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法もよく用いられる。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

Ｈ．２６４の画面内予測（イントラ予測）符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１１は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図１１（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ〜Ｍからなる画素群（参照サンプル群）８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

この場合、対象ブロック８０２の真上にある隣接画素である画素群（参照サンプル群）８０１を下方に引き伸ばして予測信号を生成する。また図１１（Ｂ）では、対象ブロック８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図１１（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号（イントラ予測サンプル）を生成することができる。以上の内容については、下記特許文献１に記載されている。

また、非特許文献１に示される画面内予測では、上記の９種類に加えて参照サンプルの引き伸ばし方向が異なる２５種類（計３４種類）の予測信号生成方法が用意されている。

また、非特許文献１では、参照サンプルに発生する歪を抑制するため、予測信号を生成する前に、参照サンプルに対してローパスフィルタを施す。具体的には、重み係数を1:2:1とする121フィルタを参照サンプルに適用してから外挿予測を行う。この処理はintra smoothingと呼ばれている。

図７と図８にて非特許文献１の画面内予測について説明する。図７は、ブロック分割の例を示している。ブロックサイズをN×Nサンプルとする対象ブロック210に隣接する５個のブロック220、230、240、250、260は既に再生されている。対象ブロック210のイントラ予測には、ref[x] (x=0〜4N)で示す参照サンプルが用いられる。図８に、画面内予測の処理フローを示す。まず、ステップ３１０にて画面内予測処理を実施する予測信号生成器が再生画素を保存するメモリから参照サンプルref[x] (x=0〜4N)を取得する。この際、符号化順番等の理由で隣接ブロックがまだ再生されておらず、4N+1個の参照サンプルref[x]をすべて取得することができない場合がある。そのときは、存在しないサンプルはパディング処理（近くの存在するサンプル値をコピー）にて代用して、4N+1個の参照サンプルを準備する。パディング処理の詳細については、非特許文献１に記載されている。次に、ステップ３２０にて予測信号生成器は、121フィルタにて参照サンプルに平滑化処理を施す。最後に予測信号生成器はステップ３３０にて、対象ブロック内の信号を外挿法（画面内予測の方向）にて推定し、予測信号（イントラ予測サンプル）を生成する。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号

B. Bross et. Al, "High efficiency video coding (HEVC) text specification draft 8", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting: Stockholm, Sweden, 11-20 July, 2012.

図９に画素値の類似する平坦領域の信号の例を示すが、元の画素値（オリジナルサンプル値）410を粗い量子化で符号化すると、ブロック内の再生値（再生サンプル値）420が一定値となり、ブロック境界430にステップ状の歪が発生してしまう。この歪はブロックノイズとして知られており、通常は、再生画像にブロックノイズを取り除くフィルタをかけて除去する。しかしながら、画面内予測に用いる参照サンプルは、このブロックノイズを取り除くフィルタ処理の前の信号であるため、ブロック境界の参照サンプルに残っているブロックノイズは、画面内予測により、対象ブロックの予測信号（イントラ予測サンプル）に伝播する。予測信号に伝播してしまったブロックノイズは、再生信号に対するブロックノイズ除去処理では取り除けないため、次の対象ブロックの参照サンプル群にもそのまま伝播することになる。

非特許文献１では、画面内予測の外挿法（画面内予測の方向）に３４種類の異なる外挿方向が用意されているため、ブロックノイズは方向を変えながら伝播する。その結果、画像内の平坦領域の再生信号には複数の擬似輪郭が発生してしまう。特にサイズの大きいブロックにノイズが伝播すると、大ブロック内を擬似輪郭が横切る状況となり、視覚的な影響が大きい。

背景技術で説明した121フィルタは、参照サンプル内の雑音を取り除く効果はあるが、タップ数が短いため図９に示すようなステップ状のノイズを取り除くことができない。

そこで、本発明は、上述した擬似輪郭のような人工的なノイズを抑制することを目的とする。

本発明の一側面に係る動画像予測符号化装置は、入力画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段により分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成手段と、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記残差信号の圧縮データを符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化手段は、前記イントラ予測モードを圧縮データに含めて符号化し、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記予測信号生成手段は、前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、前記対象ブロックのサイズと、に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の一側面に係る動画像予測復号装置は、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号手段と、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成手段と、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記予測信号生成手段は、前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、前記対象ブロックのサイズと、に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明は、動画像予測符号化方法に係る発明、動画像予測復号方法に係る発明として捉えることもでき、以下のように記述することができる。

本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数のブロックに分割するブロック分割ステップと、前記ブロック分割ステップにより分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成ステップと、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記残差信号の圧縮データを符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化ステップでは、前記イントラ予測モードを圧縮データに含めて符号化し、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記予測信号生成ステップでは、前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、前記対象ブロックのサイズと、に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号ステップと、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成ステップと、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記予測信号生成ステップでは、前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、前記対象ブロックのサイズと、に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の双一次内挿による参照サンプルへのフィルタ処理によれば、参照サンプルの両端のサンプルを用いて、参照サンプル内の信号を緩やかに変化させるため、擬似輪郭のような人工的なノイズを抑制できる。

本発明の実施形態に係る動画像予測符号化装置を示すブロック図である。 本発明の実施形態に係る動画像予測復号装置を示すブロック図である。 本発明の実施形態に係る画面内予測方法を示す流れ図である。 本発明の実施形態に係る画面内予測方法の別例を示す流れ図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。 画面内予測に用いる参照サンプルの例を説明する図である。 従来技術における画面内予測方法を示す流れ図である。 平坦領域における元の信号と再生信号の関係を説明する図である。 画面間予測における動き推定処理を説明するための模式図である。 参照サンプルの外挿による画面内予測を説明するための模式図である。 画面内予測に用いる参照サンプルの別例を説明する図である。 図１の予測信号生成器１０３の処理を説明する流れ図である。 図２の予測信号生成器２０８の処理を説明する流れ図である。 本発明の実施形態に係る画面内予測方法の第２の別例を示す流れ図である。 動画像予測符号化プログラムの構成を示すブロック図である。 動画像予測復号プログラムの構成を示すブロック図である。

以下、本発明の実施の形態について、図１から図７と図１３〜図１７を用いて説明する。

図１は本発明の実施形態に係る動画像予測符号化装置１００を示すブロック図である。図１に示すように、動画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、ブロックメモリ１１３、およびループフィルタ器１１４を備える。減算器１０５、変換器１０６と量子化器１０７は、特許請求の範囲に記載された「符号化手段」に対応する。また、逆量子化器１０８、逆変換器１０９と加算器１１０は、特許請求の範囲に記載された「復号手段」に対応する。フレームメモリ１０４は「画像格納手段」、ブロックメモリ１１３は「ブロック格納手段」に対応する。

以上のように構成された動画像予測符号化装置１００について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本発明に係る実施形態では、図７に例を示したようにブロックサイズは限定されない。複数のブロックサイズや形が１画面に混在してよい。ブロックの符号化順については、例えば非特許文献１に記載されている。次に符号化処理の対象となる領域（以下対象ブロックとよぶ）に対して、予測信号を生成する。本発明に係る実施形態では、画面間予測と画面内予測の２種類の予測方法を用いる。予測信号生成器１０３における予測信号生成処理については、図１３を用いて後述する。

減算器１０５にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０３経由）を引き算し、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、各変換係数は量子化器１０７にて量子化される。エントロピー符号化器１１１は量子化された変換係数を符号化して、予測信号の生成に必要となる予測情報とともに出力端子１１２より送出する。

後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。すなわち、量子化された変換係数は逆量子化器１０８にて逆量子化されたのちに逆変換器１０９にて逆離散コサイン変換され、残差信号を復元する。加算器１１０にて復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生する。再生されたブロックの信号は、画面内予測のためブロックメモリ１１３に格納される。再生された信号により構成される再生画像は、ループフィルタ器１１４にて再生画像内に発生するブロックノイズが除去されたのち、フレームメモリ１０４に格納される。

図１３にて、予測信号生成器１０３における予測信号処理フローを説明する。まずステップＳ３０２にて、画面間予測に必要な予測情報を生成する。具体的には、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動きベクトルと参照画面を探索する。この際、対象ブロックはラインＬ１０２経由で、参照画像はＬ１０４経由で入力される。参照画像としては、過去に符号化され復元された複数枚の画像を参照画像として用いる。詳細は従来の技術であるＨ．２６４あるいは非特許文献１に示した方法と同じである。

ステップＳ３０３では、画面内予測に必要な予測情報を生成する。図７に示すように対象ブロックに空間的に隣接する既再生の画素値を用いて、複数の画面内予測の方向について、予測信号を生成する。そして、対象ブロックに対する誤差の最も小さい予測信号を与える予測方向（イントラ予測モード）を決定する。この際、予測信号生成器１０３では、ブロックメモリ１１３からラインＬ１１３経由で同じ画面内にある既再生の画素信号を参照サンプルとして取得し、これらの信号を外挿することによって画面内予測信号を生成する。

次にステップＳ３０４では、対象ブロックに適用する予測方法を画面間予測と画面内予測から選択する．例えば，対象ブロックに対する誤差の小さい予測値を与える予測方法を選択する。あるいは、実際に２つの予測方法について符号化処理まで行い，発生した符号量と符号化誤差画像の絶対値和の関係から算出される評価値が小さい方を選択するようにしてもよい．選択した予測方法の選択情報は、予測信号の生成に必要な情報としてラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される（ステップＳ３０５）。

ステップＳ３０６にて選択した予測方法が画面間予測の場合には、動き情報（動きベクトルと参照画面情報）に基づいてステップＳ３０７にて予測信号が生成され、生成された画面間予測信号はラインＬ１０３経由で減算器１０５に出力される。ステップＳ３０８にて、動き情報は、予測信号の生成に必要な情報としてラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。

ステップＳ３０６にて選択した予測方法が画面内予測の場合には、イントラ予測モードに基づいてステップＳ３０９にて予測信号が生成され、生成された画面内予測信号はラインＬ１０３経由で減算器１０５に出力される。ステップＳ３１０にて、イントラ予測モードは、予測信号の生成に必要な情報としてラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。

エントロピー符号化器１１１に用いる符号化方法は、算術符号化でも良いし、可変長符号化でも良い。

図２は本発明の実施形態に係る動画像予測復号装置２００のブロック図である。図２に示すように、動画像予測復号装置２００は、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器２０８、フレームメモリ２０７、出力端子２０６、ループフィルタ器２０９、およびブロックメモリ２１５を備える。逆量子化器２０３と逆変換器２０４は、特許請求の範囲に記載された「復号手段」に対応する。復号手段としては上記以外のものを用いてもよい。また逆変換器２０４がなくてもよい。フレームメモリ２０７は「画像格納手段」、ブロックメモリ２１５は「ブロック格納手段」に対応する。

以上のように構成された動画像予測復号装置２００について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子２０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号や予測信号の生成に必要な情報が含まれている。図７に例を示したようにブロックサイズは限定されない。複数のブロックサイズや形が１画面に混在してよい。ブロックの復号順については、例えば非特許文献１に記載されている。予測信号の生成に必要な情報には、予測方法選択情報と動き情報（画面間予測の場合）あるいはイントラ予測モード（画面内予測の場合）が含まれている。

データ解析器２０２は、圧縮データから対象ブロックの残差信号、予測信号の生成に必要な情報、量子化パラメータを復号する。復号された対象ブロックの残差信号は逆量子化器２０３にて量子化パラメータ（ラインＬ２０２経由）をもとに逆量子化される。さらに、逆量子化された残差信号は、逆変換器２０４にて逆離散コサイン変換され、その結果として、残差信号が復元される。次に、ラインＬ２０６経由で予測信号の生成に必要な情報が予測信号生成器２０８に送られる。予測信号生成器２０８では、予測信号の生成に必要な情報に基づいて対象ブロックの予測信号を生成する。予測信号生成器２０８における予測信号の生成処理については、図１４を用いて後述する。生成された予測信号はラインＬ２０８経由で加算器２０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ２０５経由でループフィルタ器２０９に出力すると同時に、後続のブロックの画面内予測に用いるためブロックメモリ２１５に格納される。ループフィルタ器２０９は、ラインＬ２０５経由で入力された再生信号からブロックノイズを除去し、ブロックノイズを除去した再生画像は、後続の画像の復号・再生に用いられる再生画像としてフレームメモリ２０７に格納される。

図１４にて、予測信号生成器２０８における予測信号処理フローを説明する。まずステップＳ４０２にて、データ解析器２０２で復号した予測方法を取得する。

復号した予測方法が画面間予測の場合（ステップＳ４０３）には、データ解析器２０２で復号した動き情報（動きベクトルと参照画面情報）を取得し（ステップＳ４０４）、動き情報に基づいてフレームメモリ２０７にアクセスし、複数の参照画像の中から参照信号を取得し予測信号を生成する（ステップＳ４０５）。

復号した予測方法が画面内予測の場合（ステップＳ４０３）には、データ解析器２０２で復号したイントラ予測モードを取得し（ステップＳ４０６）、ブロックメモリ２１５にアクセスし、対象ブロックに隣接する既再生の画素信号を参照サンプルとして取得し、イントラ予測モードに基づいて予測信号を生成する（ステップＳ４０７）。生成した予測信号はＬ２０８経由で加算器２０５に出力される。

データ解析器２０２に用いる復号方法は、算術復号でも良いし、可変長復号でも良い。

次に、図３と図７を用いて、本発明の実施形態における画面内予測方法について説明する。つまり、図１３のステップＳ３０９と図１４のステップＳ４０７の詳細であり、図１のブロックメモリ１１３あるいは図２のブロックメモリ２１５から取得した参照サンプルを用いて、対象ブロックのイントラ予測サンプルをイントラ予測モードに基づく外挿法により推定する方法について説明する。

本発明では、発明が解決しようとする課題にて示した擬似輪郭のようなノイズの発生を抑制するため、擬似輪郭の要因となるブロックについて、画面内予測に用いる参照サンプル群に双一次内挿処理を適用する。参照サンプル群の信号の変化を緩やかにすることにより、参照サンプル群のブロック境界に発生するステップ状のノイズの出現を抑制する。

図７にて、参照サンプル群に適用する双一次内挿処理について説明する。対象ブロック２１０のブロックサイズがＮ×Ｎサンプルのとき、ここでは，その周囲の５つの既再生ブロック２２０、２３０、２４０、２５０、２６０に属する既再生の信号にて4N+1個の参照サンプル群２７０（ref[x] (x=0〜4N)）が構成される。本実施形態では，参照サンプル群２７０の端にある下左の参照サンプルBL=ref[0]と上右の参照サンプルAR=ref[4N]，ならびに参照サンプル群２７０の中央にあり，対象ブロックの上左に位置する上左の参照サンプルAL=ref[2N]の３つを双一次内挿のキー参照サンプルとして定義する。このとき4N+1個の参照サンプルは下記のように内挿処理される。
ref’[0]＝ref[0] （１）
ref’[i]＝BL＋(i*(AL-BL)+N)/2N (i＝1〜2N-1) （２）
ref’[2N]＝ref[2N] （３）
ref’[2N+i]＝AL＋(i*(AR-AL)+N)/2N (i＝1〜2N-1) （４）
ref’[4N]＝ref[4N] （５）
ここでref’[x]（x=0〜4N）は内挿処理後の参照サンプル（interpolated reference samples）の値を示している。なお、式（２）と（４）は、それぞれ式（２）’と（４）’のように変形してもよい。
ref’[i]＝((2N-i)*BL+i*AL+N)/2N (i＝1〜2N-1) （２）’
ref’[2N+i]＝((2N-i)*AL+i*AR+N)/2N (i＝1〜2N-1) （４）’

このように、BL〜ALの間の参照サンプルをキー参照サンプルBLとALで双一次内挿にて生成し、AL〜ARの間の参照サンプルをキー参照サンプルALとARで双一次内挿にて生成することで、対象ブロックに隣接する内挿処理後の参照サンプル値のレベルは緩やかに変化する。その結果、予測信号へのブロックノイズの伝播を抑制することができる。

次に図７にて、双一次内挿を適用する参照サンプルの判定基準について説明する。本実施形態では、３つのキー参照サンプルとブロック境界の２つの参照サンプル、ならびに２つの閾値を用いて判定を行う。ここで、THRESHOLD_ABOVEとTHRESHOLD_LEFTを、それぞれ対象ブロックの上端の参照サンプルref[x] (x=2N+1〜4N-1)と左端の参照サンプルref[x] (x=1〜2N-1)に双一次内挿を適用するか否かを決定するための判定に用いる閾値とする。判定基準を満たす参照サンプルに、双一次内挿を適用する。

本実施形態では、下記の判定基準を用いる。下記の２つの式におけるInterpolate_AboveとInterpolate_Leftはブール値であり、右辺の式を満たす場合はture(1)となり双一次内挿を適用し、満たさない場合はfalse(0)となり従来の121フィルタによるintra smoothingを適用する。
Interpolate_Left＝abs(BL＋AL−2*ref[N])＜THRESHOLD_LEFT （６）
Interpolate_Above＝abs(AL＋AR−2*ref[3N])＜THRESHOLD_ABOVE （７）
BL、ALとref[3N]の値が直線上に並ぶ場合、BL＋AL−2*ref[N]の値は0となる。同様にAL、ARとref[3N]の値が直線上に並ぶ場合、AL＋AR−2*ref[3N]の値も0となる。つまり、上記の２式は、BLからALをつなぐ直線に対するref[N]の偏差(deviation)の大きさ、ALとARをつなぐ直線に対するref[3N]の偏差(deviation)の大きさとをそれぞれの閾値と比較している。算出した２つの偏差が対応する閾値THRESHOLD_ABOVEまたはTHRESHOLD_LEFTより小さければブール値（Interpolate_AboveまたはInterpolate_Left）はtrueとなり、参照サンプルに双一次内挿を適用する。式（６）と（７）でabs（ｘ）はｘの絶対値を算出する。

このとき、２つの閾値の値（THRESHOLD_ABOVEとTHRESHOLD_LEFT）は、予め設定した固定値でもよいし、フレーム単位や複数のブロックをまとめたスライス単位で符号化し、復号器で復元するようにしてもよい。また、ブロック単位で符号化し、復号器で復元するようにしてもよい。図２では、データ解析器２０２にて２つの閾値を復号し、予測信号生成器２０８に出力し，下記の図３と図４に詳しく説明する画面内予測信号の生成に用いる。

図３にイントラ予測サンプルを外挿法（画面内予測の方向）により推定する処理の流れ図を示す。まず、予測信号生成器（１０３または２０８、以下番号は省略）は、ステップ５１０にて、ブロックメモリ（１１３または２１５、以下番号は省略）から図７の画素群270に示すような参照サンプルref[x] (x=0〜4N)を取得する。この際、符号化順番等の理由で隣接ブロックがまだ再生されておらず、4N+1個の参照サンプルを全て取得することができない場合には、存在しないサンプルをパディング処理（近くの存在するサンプル値をコピー）にて生成し、4N+1個の参照サンプルを準備する。パディング処理の詳細については、非特許文献１に記載されている。次に、ステップ５６０にて、式（６）と（７）に基づいて、２つのブール値Interpolate_AboveとInterpolate_Leftを算出する。

次に、予測信号生成器は、ステップ５２０にて、対象ブロックが，双一次内挿適用の判定基準を満たすかを判定する．具体的には，対象ブロックのサイズが予め定めたＭより大きいかを判定すると共に、算出したInterpolate_AboveとInterpolate_Leftが共にtrueであるかを判断する。ブロックサイズを判定基準とするのは、通常、課題とする擬似輪郭は大きなブロックサイズで発生しやすいためである。Ｍの値を大きく設定することにより、参照サンプルの不要な変更を抑制する効果がある。

これらの２つの判定基準を満たす場合（ブロックサイズ>=MかつInterpolate_Above==trueかつInterpolate_Left==true）には、ステップ５３０に進み、満たさない場合はステップ５４０に進む。ステップ５３０では、式（１）から（５）に示す双一次内挿処理を参照サンプルref[x](x=0〜4N)に適用し、内挿処理後の参照サンプル（interpolated reference samples）ref’[x] (x=0〜4N)を生成する。ステップ５４０では、式（８）と（９）に従って、参照サンプルref[x] (x=0〜4N)に121フィルタによるintra smoothingを適用する。
ref’[i]＝ref[i] (i=0 and 4N) （８）
ref’[i]＝(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)／4 (i=1〜4N-1) （９）
ここでref’[x](x=0〜4N)は平滑化後の参照サンプル(smoothed reference samples)の値を示している。

最後に、ステップ５５０では、既に定まっているイントラ予測モードと内挿後あるいは平滑化後の参照サンプルref’[x](x=0〜4N)を用いて、対象ブロックのイントラ予測サンプルを外挿法（画面内予測の方向）により推定する。

図４は、図３をより詳細に説明するものであり、双一次内挿と121フィルタの切り替えを、左参照サンプル(ref[x],x=0〜2N)と上参照サンプル(ref[x],x=2N〜4N)に分けて独立に実施する場合におけるイントラ予測サンプルを外挿法（画面内予測の方向）により推定する処理の流れ図を示している。まず、予測信号生成器（１０３または２０８、以下番号は省略）は、ステップ６１０にて、ブロックメモリ（１１３または２１５、以下番号は省略）から図７の画素群270に示すような参照サンプルref[x] (x=0〜4N)を取得する。この際、符号化順番等の理由で隣接ブロックがまだ再生されておらず、4N+1個の参照サンプルを全て取得することができない場合には、存在しないサンプルをパディング処理（近くの存在するサンプル値をコピー）にて生成し、4N+1個の参照サンプルを準備する。パディング処理の詳細については、非特許文献１に記載されている。

次に、ステップ６８０にて、式（６）と（７）に基づいて、２つのブール値Interpolate_AboveとInterpolate_Leftを算出する。

次に、予測信号生成器は、ステップ６２０にて、対象ブロックが，双一次内挿適用の判定基準を満たすかを判断する．具体的には，対象ブロックのサイズが予め定めたＭより大きいかを判定すると共に、算出したInterpolate_AboveとInterpolate_Leftの少なくとも一方がtrueであるかを判定する。この２つの判定基準を満たす場合（ブロックサイズ>=Mかつ、Interpolate_Above==trueまたはInterpolate_Left==true）には、ステップ６２５に進み、満たさない場合はステップ６６０に進む。ステップ６６０では、式（８）と（９）に従い、参照サンプル群に121フィルタによるintra smoothingを適用する。

ステップ６２５では、式（６）に示した左参照サンプルの双一次内挿適用の判定基準を満たすかを判定する。つまり、Interpolate_Leftがtrue(1)の場合はステップ６３０に進み、式（１）と（２）に示す双一次内挿処理を参照サンプルref[x](x=0〜2N)に適用し、内挿処理後の参照サンプル（interpolated reference samples）ref’[x] (x=0〜2N)を生成する。式（６）の判定基準を満たさない場合には、ステップ６３５に進み、式（１０）と（１１）に従って、左参照サンプルref[x] (x=0〜2N)に121フィルタによるintra smoothingを適用する。
ref’[0]＝ref[0] （１０）
ref’[i]＝(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)／4 (i=1〜2N-1) （１１）
ここでref’[x] (x=0〜2N)は平滑化後の参照サンプル(smoothed reference samples)の値を示している。

次に、ステップ６４０では、式（７）に示した上参照サンプルの双一次内挿適用の判定基準を満たすかを判定する。つまり、Interpolate_Aboveがtrue(1)の場合はステップ６５０に進み、式（３）と（４）と（５）に基づいて上参照サンプルref[i] (i=2N+1〜4N)に双一次内挿処理を適用する。式（７）の判定基準を満たさない場合には、ステップ６５５に進み、上参照サンプルref[x] (x=2N+1〜4N)に式（１２）と（１３）と（１４）に基づいて121フィルタによるintra smoothingを適用する。
ref’[2N]＝ref[2N] （１２）
ref’[i]＝(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)／4 (i=2N+1〜4N-1) （１３）
ref’[4N]＝ref[4N] （１４）
ここでref’[x](x=2N+1〜4N)は平滑化後の参照サンプル(smoothed reference samples)の値を示している。

最後に、ステップ６７０では、既に定まっているイントラ予測モードと内挿処理後あるいは平滑化後の参照サンプルref’[x](x=0〜4N)を用いて、対象ブロックのイントラ予測サンプルを外挿法（画面内予測の方向）により推定する。外挿には、外挿される対象ブロック内のサンプルの位置から、内挿処理後あるいは平滑化後の参照サンプル(interpolated or smoothed reference samples)に向けて、イントラ予測の方向にラインを投影したとき、投影したラインに近い位置にある内挿処理後あるいは平滑化後の参照サンプル（interpolated or smoothed reference samples）が利用される。

コンピュータを上記の動画像予測符号化装置１００として機能させるための動画像予測符号化プログラムは、記録媒体に格納されて提供可能とされている。同様に、コンピュータを上記の動画像予測復号装置２００として機能させるための動画像予測復号プログラムは、記録媒体に格納されて提供可能とされている。記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、又は半導体メモリ等が例示される。

例えば、図１６に示すように、動画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０２、残差信号生成モジュールＰ１０３、残差信号圧縮モジュールＰ１０４、残差信号復元モジュールＰ１０５、符号化モジュールＰ１０６、及びブロック格納モジュールＰ１０７を備えている。

また、例えば、図１７に示すように、動画像予測復号プログラムＰ２００は、復号モジュールＰ２０１、予測信号生成モジュールＰ２０２、残差信号復元モジュールＰ２０３、及びブロック格納モジュールＰ２０４を備えている。

このように構成された動画像予測符号化プログラムＰ１００または動画像予測復号プログラムＰ２００は、後述の図５及び図６に示す記録媒体１０に記憶され、後述するコンピュータにより実行される。

図５は、記録媒体に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示す図であり、図６は、記録媒体に記憶されたプログラムを実行するためのコンピュータ３０の概観図である。ここでのコンピュータ３０は、ＣＰＵを具備しソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを広く含む。

図６に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。記録媒体１０が読み取り装置１２に挿入されると、コンピュータ３０は、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって上記の動画像予測符号化装置１００として動作することが可能になる。同様に、記録媒体１０が読み取り装置１２に挿入されると、コンピュータ３０は、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって上記の動画像予測復号装置２００として動作することが可能になる。

本発明では、さらに下記の変形が可能である。

（Ａ）双一次内挿適用の判定基準
双一次内挿適用の判定基準は、上記実施形態で説明した方法に限定されない。例えば、内挿適用の判定結果を常にtrueとし、ステップ５２０、６２０、６２５、６４０を省略してもよい。この場合、121フィルタによる平滑化処理(smoothing process)の代わりに内挿処理(interpolation process)が常に適用される。

判定基準に、イントラ予測モードを加えても良い。例えば、ブロック境界に発生する擬似輪郭はブロックノイズ除去処理で軽減されるため、外挿処理の予測方向が垂直や水平のときは、内挿処理適用の判定結果を常にfalseとしてもよい。

判断基準からブロックサイズを取り除いてもよい。また、対象ブロックブロックサイズの代わりに、対象ブロックと隣接ブロックのブロックサイズの相対関係を判断基準に用いてもよい。図７の例では、対象ブロック２１０の左に隣接するブロック２６０のブロックサイズは、対象ブロック２１０よりも大きい。この場合、ref[N]の周辺でブロックノイズは発生しない。このように、隣接ブロックのブロックサイズが対象ブロックより大きい場合には、式（６）または（７）の結果にかかわらず、内挿適用の判定基準をfalseとしてもよい。一方、対象ブロック２１０の上に隣接するブロック２３０，２４０、２５０は、対象ブロック２１０よりも小さい。この場合、ref[3N]やref[2N+N/2]の周辺でブロックノイズが発生する可能性があるため、式（６）または（７）の結果で内挿適用を判定する。なお、この対象ブロックと隣接ブロックのブロックサイズの相対関係は、対象ブロックのブロックサイズと共に判定基準として用いてもよい。

式（６）と（７）の閾値（THRESHOLD_ABOVEとTHRESHOLD_LEFT）は異なるブロックサイズ、ブロック形状（ブロックの縦と横のサイズの違い）や異なるイントラ予測モードに対して個別に定めて符号化し、復号器で復元するようにしてもよい。また、THRESHOLD_ABOVEとTHRESHOLD_LEFTの値を同じ値にし、１方のみを符号化し、復号器で復元するようにしてもよい。復号器では、図２のデータ解析器２０２にて復元された閾値が予測信号生成器２０８に入力される。予測信号生成器２０８では、入力された閾値に基づいて、Interpolate_AboveとInterpolate_Leftの値を算出する（図３のステップ５６０または図４のステップ６８０）。

また、ステップ５２０、６２０、６２５と６４０に判定基準を設ける代わりに判定結果をビットストリームに含めて符号化し、復号器で復元するようにしてもよい。この場合、図１の予測信号生成器１０３にて、Interpolate_AboveとInterpolate_Leftの値（０か１）を、対象ブロックのサイズと式（６）や（７）の結果に基づいて、２つの値を求め、予測に必要な予測情報として、ブロック毎や複数のブロックをまとめたブロック群単位で符号化する。つまり、ラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。なお、Interpolate_AboveとInterpolate_Leftの値（０か１）の求める際に、上記で述べた対象ブロックと隣接ブロックのブロックサイズの相対関係や対象ブロックのサイズならびにイントラ予測モードを用いてもよい。

図２のデータ解析器２０２では、Interpolate_AboveとInterpolate_Leftの値をブロック毎あるいは複数のブロックをまとめたブロック群単位で復号し、予測信号生成器２０８に入力される。なお、２つの値は、個別に符号化し、復号しても良いし、２つの値の組として符号化し、復号するようにしてもよい。

図１５にて図２の予測信号生成器２０８内の画面内予測方法の処理を説明する。この場合、図１５が図４に置き換えられる。図１４では、ステップＳ４０６にて、イントラ予測モードと共に復号されたInterpolate_AboveとInterpolate_Leftの値を取得する。まず、予測信号生成器（１０３または２０８、以下番号は省略）は、ステップ７１０にて、ブロックメモリ（１１３または２１５、以下番号は省略）から図７の画素群270に示すような参照サンプルref[x] (x=0〜4N)を取得する。この際、符号化順番等の理由で隣接ブロックがまだ再生されておらず、4N+1個の参照サンプルを全て取得することができない場合には、存在しないサンプルをパディング処理（近くの存在するサンプル値をコピー）にて生成し、4N+1個の参照サンプルを準備する。パディング処理の詳細については、非特許文献１に記載されている。

次に、ステップ７９０にて、Interpolate_AboveとInterpolate_Leftの値を取得する。予測信号生成器は、ステップ７２０にて、Interpolate_AboveとInterpolate_Leftの値のいずれかが１であるかを判定する。いずれかの値が１の場合には、ステップ７２５に進み、満たさない場合はステップ７６０に進む。ステップ７６０では、式（８）と（９）に従い、参照サンプル群に121フィルタによるintra smoothingを適用する。

ステップ７２５では、Interpolate_Leftの値が１の場合はステップ７３０に進み、式（１）と（２）に示す双一次内挿処理を参照サンプルref[x](x=0〜2N)に適用し、内挿処理後の参照サンプル（interpolated reference samples）ref’[x] (x=0〜2N)を生成する。Interpolate_Leftの値が０の場合はステップ７３５に進み、式（１０）と（１１）に従って、左参照サンプルref[x] (x=0〜2N)に121フィルタによるintra smoothingを適用する。

次に、ステップ７４０では、Interpolate_Above値が１の場合はステップ７５０に進み、式（３）と（４）と（５）に基づいて上参照サンプルref[i] (i=2N+1〜4N)に双一次内挿処理を適用する。Interpolate_Above値が０の場合はステップ７５５に進み、左参照サンプルref[x] (x=2N+1〜4N)に式（１２）と（１３）と（１４）に基づいて121フィルタによるintra smoothingを適用する。

最後に、ステップ７７０では、復号されたイントラ予測モードと内挿処理後あるいは平滑化後の参照サンプルref’[x](x=0〜4N)を用いて、対象ブロックのイントラ予測サンプルを外挿法（画面内予測の方向）により推定する。

（Ｂ）内挿処理
上記では、内挿処理に双一次内挿を用いているが、ブロック境界のノイズが除去できればよいので、別の内挿処理でもよい。例えば、キー参照サンプルの平均値で全ての参照サンプルを置き換えてもよい。ブロックサイズや画面内予測タイプで内挿処理方法を切り替えても良いし、適用する内挿処理方法をビットストリームに含めて符号化し、復号するようにしてもよい。

（Ｃ）参照サンプルの画面内予測の処理フロー
イントラ予測サンプルを外挿法（画面内予測の方向）により推定する処理のフローは図４の手順に限定されない。例えば、ステップ６２５、６３０と６３５はステップ６４０、６５０と６５５と順序を入れ替えてもよい。また、式（３）と式（１２）は、ステップ６５０、６５５ではなく、ステップ６３０、６３５で実施してもよい。また、式（１）（３）（５）と式（１０）（１２）（１４）の処理結果は同じであるため、ステップ６２５の直前（ステップ６２０と６２５の間）かステップ６５０と６５５の直後（ステップ６５０か６５５とステップ６７０の間）にまとめて実施してもよい。

また、ステップ６２０の判定基準をブロックサイズのみとしてもよい。このとき、式（１２）を式（１５）と（１６）に置き換えれば、処理結果は図４と同じになるので、そのようにしてもよい。
ref’[2N]＝ref[2N]
if Interpolate_Above==true || Interpolate_Left==true （１５）
ref’[2N]＝(ref[2N-1]＋2*ref[2N]＋ref[2N+1]＋2)／4 others （１６）
ここでref’[2N]は平滑化後の参照サンプル(smoothed reference samples)の値を示している。

（Ｄ）ブロックサイズ
上記では、対象ブロックを正方ブロックとしているが、非正方ブロックにも本発明の参照サンプルへの内挿処理は同様に適用できる。対象ブロック２９０ブロックサイズがＮ×２Ｎの例を図１２に示している。この場合、ref[x]の数は3N+1個となる。

（Ｅ）キー参照サンプル
上記では、キー参照サンプルを参照サンプル群の端と中央の３つとしているが、その数と位置は限定されない。例えば、参照ブロックのサイズや参照ブロックと隣接ブロックとの相対関係に応じて数や位置を変えても良いし、キー参照サンプルの数と位置をビットストリームに含めて符号化し、復号するようにしてもよい。また、キー参照サンプルを参照サンプル群の端と中央の３つをデフォルトとし、デフォルトを用いるか、別のキー参照サンプルを用いるかを指示情報として符号化し、復号してもよい。図２のデータ解析器２０２にて、キー参照サンプルを更新する。更新するキー参照サンプルとしては、図７でref[N+N/2]やref[2N+N/2]を加えても良いし、それらをref[2N]の代わりに用いても良い。また、ref[0]とref[4N]の代わりにref[N/2]とref[3N+N/2]を用い、ref[1]〜ref[N/2-1]とref[3N+N/2]〜ref[4N-1]には121フィルタを適用するようにしてもよい。

（Ｆ）判定基準の式
ステップ５２０、６２０、６２５、６４０で用いる判定式は、式（６）と（７）に限定されない。例えば、図７のref[N]やref[3N]の代わりにref[N+1]やref[3N+1]を用いても良い。

本発明の一側面に係る動画像予測符号化装置は、入力画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段により分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成手段と、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記残差信号の圧縮データを符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測を生成し、前記符号化手段は、前記イントラ予測モードを圧縮データに含めて符号化することを特徴とする。

上記の動画像予測符号化装置では、予測信号生成手段は、前記キー参照サンプルと予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施してもよい。

また、上記の動画像予測符号化装置では、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記内挿処理が前記キー参照サンプル間の参照サンプルに対する双一次内挿処理であってもよい。

本発明の一側面に係る動画像予測復号装置は、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号手段と、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成手段と、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成することを特徴とする。

上記の動画像予測復号装置では、予測信号生成手段は、前記キー参照サンプルと予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施してもよい。

また、上記の動画像予測復号装置では、前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、前記内挿処理が前記キー参照サンプル間の参照サンプルに対する双一次内挿処理であってもよい。

本発明は、動画像予測符号化方法に係る発明、動画像予測復号方法に係る発明、動画像予測符号化プログラムに係る発明、動画像予測復号プログラムに係る発明として捉えることもでき、以下のように記述することができる。

本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数のブロックに分割するブロック分割ステップと、前記ブロック分割ステップにより分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成ステップと、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記残差信号の圧縮データを符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化ステップでは、前記イントラ予測モードを圧縮データに含めて符号化することを特徴とする。

本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号ステップと、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成ステップと、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成することを特徴とする。

本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、入力画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段により分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成手段と、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記残差信号の圧縮データを符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段、として機能させるための動画像予測符号化プログラムであり、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化手段は、前記イントラ予測モードを圧縮データに含めて符号化することを特徴とする。

本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号手段と、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成手段と、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段、として機能させるための動画像予測復号プログラムであり、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成することを特徴とする。

本発明の一側面に係る動画像予測符号化装置は、入力画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段により分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成手段と、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記残差信号の圧縮データを符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化手段は、前記イントラ予測モードを圧縮データに含めて符号化し、前記予測信号生成手段は、前記キー参照サンプルに基づく値と予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の一側面に係る動画像予測復号装置は、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号手段と、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成手段と、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、前記予測信号生成手段は、前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記予測信号生成手段は、前記キー参照サンプルに基づく値と予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数のブロックに分割するブロック分割ステップと、前記ブロック分割ステップにより分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成ステップと、前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記残差信号の圧縮データを符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、イントラ予測モードを決定し、決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記符号化ステップでは、前記イントラ予測モードを圧縮データに含めて符号化し、前記予測信号生成ステップでは、前記キー参照サンプルに基づく値と予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号ステップと、前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成ステップと、前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、前記予測信号生成ステップでは、保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、前記予測信号生成ステップでは、前記キー参照サンプルに基づく値と予め定めた閾値との比較に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施することを特徴とする。

１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…ブロックメモリ、１１４…ループフィルタ器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…ループフィルタ器、２１５…ブロックメモリ。

Claims (4)

1. 入力画像を複数のブロックに分割するブロック分割手段と、
   前記ブロック分割手段により分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成手段と、
   前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、
   前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、
   前記残差信号の圧縮データを符号化する符号化手段と、
   前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、
   前記予測信号生成手段は、
   前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、
   内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、
   イントラ予測モードを決定し、
   決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、
   前記符号化手段は、前記イントラ予測モードを圧縮データに含めて符号化し、
   前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、
   前記予測信号生成手段は、
   前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、
   前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、
   前記対象ブロックのサイズと、
   に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施する、
   ことを特徴とする動画像予測符号化装置。
2. 複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号手段と、
   前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成手段と、
   前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元手段と、
   前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納手段と、を具備し、
   前記予測信号生成手段は、
   前記ブロック格納手段に保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、
   内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、
   前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、
   前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、
   前記予測信号生成手段は、
   前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、
   前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、
   前記対象ブロックのサイズと、
   に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施する、
   ことを特徴とする動画像予測復号装置。
3. 動画像予測符号化装置により実行される動画像予測符号化方法であって、
   入力画像を複数のブロックに分割するブロック分割ステップと、
   前記ブロック分割ステップにより分割されたブロックのうち、符号化対象である対象ブロックとの相関が高いブロックの画面内予測信号を、前記対象ブロックに隣接する既再生の参照サンプルを用いて生成する予測信号生成ステップと、
   前記対象ブロックの予測信号と前記対象ブロックの画素信号との残差信号を生成する残差信号生成ステップと、
   前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、
   前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、
   前記残差信号の圧縮データを符号化する符号化ステップと、
   前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、
   前記予測信号生成ステップでは、
   保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、
   内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、
   イントラ予測モードを決定し、
   決定したイントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、
   前記符号化ステップでは、前記イントラ予測モードを圧縮データに含めて符号化し、
   前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、
   前記予測信号生成ステップでは、
   前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、
   前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、
   前記対象ブロックのサイズと、
   に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施する、
   ことを特徴とする動画像予測符号化方法。
4. 動画像予測復号装置により実行される動画像予測復号方法であって、
   複数のブロックに分割して符号化された圧縮データの中から、復号対象となる対象ブロックの画面内予測方法を示すイントラ予測モードと残差信号の圧縮データとを復号する復号ステップと、
   前記イントラ予測モードと前記対象ブロックに隣接する既再生の参照サンプルとを用いて画面内予測信号を生成する予測信号生成ステップと、
   前記残差信号の圧縮データから前記対象ブロックの再生残差信号を復元する残差信号復元ステップと、
   前記予測信号と前記再生残差信号とを加算することによって前記対象ブロックの画素信号を復元し、復元された前記対象ブロックの画素信号を前記参照サンプルとして利用するために保存するブロック格納ステップと、を具備し、
   前記予測信号生成ステップでは、
   保存されている前記対象ブロックの周囲の既再生ブロックから参照サンプルを取得し、
   内挿参照サンプルを生成するために前記参照サンプルのうち予め定めた位置の２つ以上のキー参照サンプル間を内挿処理し、
   前記イントラ予測モードに基づいて前記内挿参照サンプルを外挿して前記画面内予測信号を生成し、
   前記キー参照サンプルを参照サンプル群の端と中央に位置する３つの参照サンプルとし、
   前記予測信号生成ステップでは、
   前記参照サンプル群の一方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、予め定めた閾値とを比較した結果と、
   前記参照サンプル群の他方の端と中央に位置する２つのキー参照サンプルの加算値と該２つのキー参照サンプルの中央に位置する参照サンプルの２倍の値との差分の絶対値と、前記閾値とを比較した結果と、
   前記対象ブロックのサイズと、
   に基づいて、前記参照サンプルの内挿処理と参照サンプルの平滑化処理とを適用的に切り替えて実施する、
   ことを特徴とする動画像予測復号方法。
   

Images