JP5299340B2 - 画像符号化装置、画像符号化方法及び画像符号化プログラム - Google Patents

Description

本発明は、面内予測を備えた画像符号化技術に関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以下「ＡＶＣ」という）では同一フレームの処理済み画素を参照する面内予測の採用により、フレーム内での符号化効率向上を図っている。ＡＶＣでは、符号化対象フレームをマクロブロック（１６ｘ１６画素単位）に分割後、さらにマクロブロックを８ｘ８画素単位もしくは４ｘ４画素単位のサブブロックに分割し、処理を行う。

図１は、マクロブロックの符号化の処理順序を示す図である。符号１０１はマクロブロックの処理順、符号１０２は４ｘ４サブブロックの処理順、符号１０３は８ｘ８サブブロックの処理順をそれぞれ矢印で示したものである。面内予測処理においては、各時刻において、処理が完了している、上側及び左側に位置するサブブロックの復号画素を用いてなされる。

図２は、面内予測処理を説明する図である。４ｘ４サブブロックにおける面内予測においては、図２の符号２０１に示す９つのモードがあらかじめ定義されており、各サブブロックに対し、このうち一つのモードを選択する。９つのモードの内、一つはＤＣモードである。予測信号は、矢印で示す予測方向に対して一様な値を用いる。

予測信号の例を図２の符号２０２に示す。符号２０３から２０６は、復号済みサブブロックであり、符号２０７は処理対象サブブロックである。符号２０７の予測モードとして水平方向モードを選択した場合は、予測信号（ａ〜ｐ）は、ａ＝ｂ＝ｃ＝ｄ＝Ｉ、ｅ＝ｆ＝ｇ＝ｈ＝Ｊ、ｉ＝ｊ＝ｋ＝ｌ＝Ｋ、ｍ＝ｎ＝ｏ＝ｐ＝Ｌとなり、垂直方向モードの場合は、ａ＝ｅ＝ｉ＝ｍ＝Ａ、ｂ＝ｆ＝ｊ＝ｎ＝Ｂ、ｃ＝ｇ＝ｋ＝ｏ＝Ｃ、ｄ＝ｈ＝ｌ＝ｐ＝Ｄとなる。

特許文献１には、任意の予測方向をとることにより、予測精度を向上させる技術が開示されている。

特開２００９−２８４２７５号公報

ＡＶＣの面内予測は、予測方向が図２に示す８方向に制限されているため、予測精度が十分でない。また、単一方向に、同一の予測値を用いるため、合理的なモードを選択した場合であっても、予測方向に沿う画素値の変化をとらえることができず、予測効率向上の妨げとなっている。

特許文献１の手法は、予測効率を向上させ、予測残差を減少させる一方、各ブロックの予測方向情報を伝送することによる符号化ビット量増加を伴うため、必ずしも符号化効率向上につながるとは言えない。さらに特許文献１の手法は、同一予測方向に同一値を適用するものであるため、やはり予測方向に沿う画素値の変化をとらえることが出来ない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、面内予測における符号化効率を向上させることができる画像符号化装置及び画像符号化方法を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化装置は、画像の面内予測信号を生成する面内予測部と、画像の原信号と前記面内予測信号の差分から第１の残差信号を算出する第１減算部と、前記第１の残差信号の直流成分をもとに前記第１の残差信号を線形近似することにより、残差近似信号を作成する残差近似信号作成部と、前記第１の残差信号と前記残差近似信号の差分から第２の残差信号を算出する第２減算部と、前記第１の残差信号の直流成分と前記第２の残差信号を合成して第３の残差信号を生成する統合部と、前記第３の残差信号を可変長符号化する可変長符号化部とを含む。

本発明の別の態様は、画像符号化方法である。この方法は、画像の複数のサンプル点について、各サンプル点の画素値とそのサンプル点の第１の予測値の差分を求めることにより、各サンプル点の第１の誤差値を取得するステップと、各サンプル点の第１の誤差値の平均値をもとに得られる線形近似係数を各サンプル点の第２の予測値として、各サンプル点の第１の誤差値とそのサンプル点の前記第２の予測値の差分を求めることにより、各サンプル点の第２の誤差値を取得するステップと、各サンプル点の第１の誤差値の平均値と前記第２の誤差値をともに符号化するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、面内予測における符号化効率を向上させることができる。

マクロブロックの符号化の処理順序を示す図である。 面内予測処理を説明する図である。 実施の形態に係る画像符号化装置の構成図である。 従来の面内予測による残差成分作成手順を示す概念図である。 本発明の実施の形態に係る近似信号作成手順を示す概念図である。 本発明の符号化装置による１ブロックの符号化処理手順を示すフローチャートである。 実施の形態に係る画像復号装置の構成図である。 本発明の復号装置による１ブロックの復号処理手順を示すフローチャートである。

まず、従来の面内予測の概念を、図４を用いて説明し、次に、本発明の実施の形態に係る面内予測の原理を、図５を用いて説明する。

図４は、従来の面内予測による残差成分作成手順を示す概念図である。図４の符号４００は符号化済みの参照信号、符号４０１は符号化対象の原信号、符号４０６は面内予測信号、符号４１１は残差信号である。ここでは、簡単のため画像信号を、縦軸を信号値とする一次元信号で説明する。

原信号４０１における符号４０２，４０３，４０４，４０５は、それぞれ原信号の位置０，１，２，３における原信号の信号値ｓ_０，ｓ_１，ｓ_２，ｓ_３を高さで示している。符号４００は、参照信号４００の信号値ｄ_−１を高さで示している。

面内予測信号４０６における符号４０７，４０８，４０９，４１０は、原信号と同一位置０，１，２，３における、参照信号４００を用いた予測信号の信号値ｐ_０，ｐ_１，ｐ_２，ｐ_３を高さで示しており、それぞれ参照信号４００の信号値ｄ_−１と同一の値を取る。

原信号４０２，４０３，４０４，４０５の信号値ｓ_０，ｓ_１，ｓ_２，ｓ_３から予測信号４０７，４０８，４０９，４１０の信号値ｐ_０，ｐ_１，ｐ_２，ｐ_３をそれぞれ減ずることにより、残差信号４１１の符号４１２，４１３，４１４，４１５で示す残差信号の信号値ｒ_０，ｒ_１，ｒ_２，ｒ_３が得られる。符号４１６で示すレベルは、残差信号４１２，４１３，４１４，４１５のＤＣ値である。

予測精度が悪い時、特に低域成分の予測が悪い時に、符号４１６で示すＤＣ値の絶対値は大きくなる。本発明の実施の形態は、残差信号のＤＣ値を用いて、残差信号の近似信号を作成し、残差信号の情報量を削減することにより、符号化効率の向上を実現する。

図５は、本発明の実施の形態に係る近似信号作成手順を示す概念図である。図５の符号５０１は面内予測の残差信号、符号５０８は近似信号を減じた最終残差信号を示す。

残差信号５０１における符号５０２，５０３，５０４，５０５は、原信号と同一位置０，１，２，３における残差信号の信号値ｒ０，ｒ１，ｒ２，ｒ３であり、それぞれ図４の符号４１２，４１３，４１４，４１５で示す残差信号と同一である。符号５０６で示すレベルは、残差信号５０２，５０３，５０４，５０５のＤＣ値であり、図４の符号４１６で示すレベルと同一である。

残差信号５０２の位置０と残差信号５０５の位置３の中点位置１．５におけるＤＣ値５０６がｑであるとして、点（１．５，ｑ）を通る直線であって、残差信号のサンプル点（０，ｒ_０），（０，ｒ_１），（０，ｒ_２），（０，ｒ_３）を線形近似する直線を求める。たとえば最小二乗法によって、線形近似直線を求める。あるいは、参照信号４００の位置−１における信号値が０であるとして、点（−１，０）と点（１．５，ｑ）を通る直線を線形近似直線としてもよい。こうして得られた線形近似直線が符号５０７で示されている。

残差信号５０２，５０３，５０４，５０５の信号値ｒ_０，ｒ_１，ｒ_２，ｒ_３から、それぞれの位置において線形近似直線５０７が示す値を減ずることにより、最終残差信号５０８を算出する。最終残差信号５０８における符号５０９，５１０，５１１，５１２は、原信号と同一位置０，１，２，３における最終残差信号の信号値ｒ’_０，ｒ’_１，ｒ’_２，ｒ’_３を高さで示している。最終残差信号５０９，５１０，５１１，５１２の符号化情報量は、近似前の残差信号５０２，５０３，５０４，５０５の符号化情報量と比べ小さくなることが期待できる。

図４および図５では、一次元の信号で説明したが、二次元画像信号の場合は、予測残差信号の近似直線が近似平面になる。

このようにして、一般に、動画像の複数のサンプル点が与えられると、各サンプル点の画素値とそのサンプル点の第１の予測値の差分を求めることにより、各サンプル点の第１の誤差値を取得する。次に、各サンプル点の第１の誤差値の総和もしくは平均値をもとに得られる線形近似係数を各サンプル点の第２の予測値とする。さらに、各サンプル点の第１の誤差値とそのサンプル点の第２の予測値の差分を求めることにより、各サンプル点の新たな誤差値（第２の誤差値）を取得する。こうして得られた各サンプル点の第１の誤差値の平均値と第２の誤差値を統合して符号化することで、サンプル点の予測誤差を効率的に符号化することができる。

復号の際は、画像の原信号における複数のサンプル点について、各サンプル点の第１の予測値、および、各サンプル点の原信号の値と第２の予測値との差分値を復号する。前記差分値を直流成分（サンプル点の誤差値の総和もしくは平均値に相当する）と交流成分（最終残差成分に相当する）に分離する。次に、各サンプル点の差分値の直流成分をもとに得られる線形近似係数を各サンプル点の第２の予測値として求める。こうして得られた第１の予測値、第２の予測値、および差分値の交流成分を足し合わせることにより、復号信号を得ることができる。

面内予測で大きな残差が発生するのは、予測方向に沿った信号の変化を十分に捉えることができていないことが一つの原因である。そのとき、予測方向は間違っていなくても、ＡＣ成分とともにＤＣ成分が発生する。そこで、本発明の実施の形態では、面内予測の残差信号のＤＣ成分から自身のＡＣ成分を予測することにより、残差信号の情報量を削減することを狙いとしている。

具体的には、予測残差信号と同じＤＣ値を持つ線形信号を残差近似信号と仮定し、予測残差信号から減ずることにより、最終的な残差成分を求める。最終的な残差成分は、ＡＣ成分のみを持つ信号であるため、ＤＣ成分位置に予め算出した予測残差のＤＣ成分を埋め込んで符号化し伝送する。

全ブロックに対して、上述の残差信号の近似手法を適用する場合、面内予測の復号ＤＣ値から予測信号を作成することができるため、符号化データに追加情報を必要としない。ブロック単位で残差信号の近似機能の有効・無効を切り替える構成を取る場合は、ブロック単位での１ビットの切り替えフラグのみを追加することで実現することができる。

以下、本発明の実施の形態における画像符号化装置において、１ブロックを符号化する例を説明する。

図３は、実施の形態に係る画像符号化装置の構成図である。画像符号化装置は、符号化対象ブロックの面内予測信号を作成する面内予測部３０１、面内予測画像の予測残差を算出する減算部３０２、面内予測の予測残差の直流成分を算出するＤＣ値算出部３０３、予測残差の直流成分の量子化を行うＤＣ値量子化部３０４、量子化した予測残差の直流成分を復号するＤＣ値逆量子化部３０５、予測残差の線形近似信号を作成する残差近似信号作成部３０６、最終残差成分を算出する減算部３０７、最終残差成分の符号化処理を行う直交変換部３０８及び量子化部３０９、符号化係数の直流成分と交流成分を統合する直交変換係数統合部３１０、直交変換係数の直流成分と交流成分を分離する直交変換係数分離部３１１、量子化直交変換係数の復号処理を行う逆量子化部３１２及び逆直交変換部３１３、局所復号信号を算出する加算部３１４、復号信号を格納する復号フレームバッファ３１５、及び、符号化情報を出力ビット系列に変換する可変長符号化部３１６を含む。

面内予測部３０１は、符号化対象ブロックの原信号を取得し、また、復号フレームバッファ３１５から面内予測の予測参照信号を取得する。面内予測部３０１は、最適な面内予測モードを決定し、符号化対象ブロックの面内予測信号を第一の予測値として生成する。

面内予測モードの決定手順は、従来と同様である。例えば、原信号の形状に応じて面内予測モード候補を決定する。あるいは、全ての面内予測モード候補の面内予測信号を作成し、原信号との評価値が最小になるモードを最適面内予測モードとする。評価値としては、絶対値差分和や最小二乗誤差、あるいは対象ブロックの仮符号化による発生ビット長を用いる。

面内予測部３０１は、決定した面内予測モードを残差近似信号作成部３０６と可変長符号化部３１６へ伝送し、生成した面内予測信号を減算部３０２と、加算部３１４へ伝送する。

減算部３０２は、符号化対象ブロックの原信号を取得し、また、面内予測部３０１から面内予測信号を取得する。減算部３０２は、原信号から面内予測信号を減ずることにより、面内予測画像の予測残差（第１の残差信号）を算出する。減算部３０２は、算出された予測残差をＤＣ値算出部３０３と減算部３０７へ伝送する。

ＤＣ値算出部３０３は、減算部３０２から面内予測画像の予測残差を取得し、予測残差のＤＣ値を算出し、算出したＤＣ値をＤＣ値量子化部３０４へ伝送する。

ＤＣ値量子化部３０４は、ＤＣ値算出部３０３から予測残差のＤＣ値を取得し、予測残差のＤＣ値に対し所定の量子化処理を行い、残差ＤＣ量子化値を算出する。ＤＣ値量子化部３０４は、残差ＤＣ量子化値をＤＣ値逆量子化部３０５と直交変換係数統合部３１０へ伝送する。

ＤＣ値逆量子化部３０５は、ＤＣ値量子化部３０４から残差ＤＣ量子化値を取得し、残差ＤＣ量子化値に対し所定の逆量子化処理を行い、復号残差ＤＣ値（第１の残差信号の直流成分）を算出する。ＤＣ値逆量子化部３０５は、復号残差ＤＣ値を残差近似信号作成部３０６へ伝送する。

残差近似信号作成部３０６は、面内予測部３０１から使用された面内予測モードの情報を取得し、ＤＣ値逆量子化部３０５から復号残差ＤＣ値を取得する。

残差近似信号作成部３０６は、残差近似の有効性を評価し、残差近似有効性フラグを算出する。残差近似有効性フラグは、暗示的無効、明示的無効、明示的有効の３つの状態のうちどれか一つを取り、それぞれの状態に値０、１、２を割当てる。

残差近似信号作成部３０６は、復号残差ＤＣ値が０である場合、または、面内予測モードがＤＣモードである場合、残差近似を暗示的に無効とし、残差近似有効性フラグに暗示的無効を示す２を割り当てる。

残差近似信号作成部３０６は、復号残差ＤＣ値が０でない、かつ、面内予測モードがＤＣモードでない場合は、復号残差ＤＣ値を利用して残差近似信号を作成し、残差近似の有効性を判定する。例えば符号化対象ブロックの中心位置で復号残差ＤＣ値を通る平面であって、残差信号のサンプル点を線形近似する平面を最小二乗法によって求め、この平面上の対応する点を残差近似信号とする。ただし、本実施の形態では、前述の線形近似平面が復号残差ＤＣ値を通る位置を符号化対象ブロックの中心位置に限定するものではなく、参照信号位置であってもよいし、符号化対象ブロックの先頭位置でもよいし、参照信号位置と符号化対象ブロックの先頭位置の間であってもよい。

残差近似信号作成部３０６は、さらに、残差近似信号の誤差評価を行い、残差近似の有効性を決定し、残差近似有効性フラグに明示的無効を示す０か明示的有効を示す１のどちらかを割り当てる。たとえば、残差近似を行った場合と行わなかった場合で残差成分の大小比較をし、残差近似を行った方が最終的な残差成分が小さくなる場合には、残差近似を明示的有効と判定し、そうでない場合は明示的無効と判定する。誤差評価においては、面内予測部３０１での判定と同様、誤差の絶対値差分和や最小二乗誤差、あるいは対象ブロックの仮符号化による発生ビット長を用いる。さらに、面内予測モード判定と、残差近似の有効性を別々で行うのではなく、同時に行うこともできる。

残差近似信号作成部３０６は、残差近似を明示的無効、または暗示的無効とした場合には、残差近似信号を０とする。

残差近似信号作成部３０６は、残差近似有効性フラグを直交変換係数統合部３１０と直交変換係数分離部３１１と可変長符号化部３１６へ伝送し、残差近似信号を減算部３０７と加算部３１４へ伝送する。

ここで示した残差近似信号の作成手順に加え、残差近似信号の傾き方向を制御することもできる。例えば、残差近似信号の傾き方向を残差近似モードとして、図２の２０１に示す面内予測モード候補と対応した方向のうち、いずれか一つをとるものとする。その際には、決定済みの該ブロックの面内予測モードを参照し、発生頻度の高い残差近似モードに対し、より小さな割当値を決定することで追加符号量を削減できる。

減算部３０７は、減算部３０２から予測残差を取得し、残差近似信号作成部３０６から残差近似信号を取得する。減算部３０７は、予測残差信号（第１の残差信号）から予測残差の線形近似信号を減ずることにより、最終残差成分（第２の残差信号）を算出する。ここで、残差近似信号作成部３０６において、残差近似を無効と決定した場合には、残差近似信号が０であるため、減算部３０７の出力である最終残差成分（第２の残差信号）は予測残差（第１の残差信号）と等価となる。減算部３０７は、算出された最終残差成分を直交変換部３０８へ伝送する。

直交変換部３０８及び量子化部３０９は、減算部３０７から最終残差成分を取得し、最終残差成分に対し、所定の直交変換・量子化処理を行い、最終残差成分の量子化直交変換係数を算出する。量子化部３０９は、最終残差成分の量子化直交変換係数を直交変換係数統合部３１０に伝送する。残差近似信号作成部３０６において、残差近似を無効と決定した場合には、直交変換部３０８の入力である最終残差成分は予測残差と等価となり、量子化部３０９の出力は、予測残差の量子化直交変換係数となる。

直交変換係数統合部３１０は、ＤＣ値量子化部３０４から残差ＤＣ量子化値を取得し、量子化部３０９から最終残差成分の量子化直交変換係数を取得し、さらに、残差近似信号作成部３０６から残差近似有効性フラグを取得する。直交変換係数統合部３１０は、最終残差成分（第２の残差信号）の量子化直交変換係数のＤＣ値位置に残差ＤＣ量子化値（第１の残差信号の直流成分の量子化値）を代入することにより、交流成分と直流成分を統合させた結合残差成分（第３の残差信号）の量子化直交変換係数を算出する。直交変換係数統合部３１０は、統合残差成分量子化直交変換係数を直交変換係数分離部３１１と可変長符号化部３１６へ伝送する。

ここで、残差近似有効性フラグが明示的無効を意味する０である場合、または暗示的無効を示す２である場合は、残差ＤＣ量子化値（第１の残差信号の直流成分の量子化値）と、最終残差成分（第２の残差信号）量子化直交変換係数のＤＣ成分は等価となるため、最終残差成分量子化直交変換係数のＤＣ値位置に残差ＤＣ量子化値を代入する処理を省略し、最終残差成分量子化直交変換係数をそのまま統合残差成分（第３の残差信号）量子化直交変換係数とすることもできる。

このように、残差近似を暗示的に無効と判定した場合は、最終残差成分（第２の残差信号）は予測残差（第１の残差信号）と等価であるから、可変長符号化部３１６で可変長符号化される統合残差成分（第３の残差信号）は、予測残差（第１の残差信号）そのものである。したがって、その場合は、予測残差（第１の残差信号）を最終残差成分（第２の残差信号）として直交変換・量子化処理を行えば、最終残差成分（第２の残差信号）量子化直交変換係数のＤＣ値位置に残差ＤＣ量子化値（第１の残差信号の直流成分の量子化値）を代入して交流成分と直流成分を統合する直交変換係数統合部３１０の処理を省略することができる。

直交変換係数分離部３１１は、直交変換係数統合部３１０から統合残差成分量子化直交変換係数を取得し、残差近似信号作成部３０６から残差近似有効性フラグを取得する。

残差近似有効性フラグが明示的無効を示す０、または暗示的無効を示す２である場合、直交変換係数分離部３１１は、統合残差成分量子化直交変換係数をそのまま残差成分量子化直交変換係数として、逆量子化部３１２へ伝送する。

残差近似有効性フラグが明示的有効を示す１である場合、直交変換係数分離部３１１は、統合残差成分量子化直交変換係数のＤＣ値に０を代入することにより、残差ＡＣ成分量子化直交変換係数を算出し、残差ＡＣ成分量子化直交変換係数を逆量子化部３１２へ伝送する。

逆量子化部３１２及び逆直交変換部３１３は、直交変換係数分離部３１１から残差成分量子化直交変換係数または残差ＡＣ成分量子化直交変換係数を取得し、残差成分量子化直交変換係数または残差ＡＣ成分量子化直交変換係数に対し、所定の逆量子化・逆直交変換を行い、復号残差成分を算出する。逆直交変換部３１３は、復号残差成分を加算部３１４へ伝送する。

加算部３１４は、面内予測部３０１から面内予測信号を取得し、残差近似信号作成部３０６から残差近似信号を取得し、逆直交変換部３１３から復号残差成分を取得する。加算部３１４は、面内予測信号、残差近似信号、及び復号残差成分を足し合わせることにより、局所復号信号を算出し、算出した局所復号信号を復号フレームバッファ３１５へ伝送する。

復号フレームバッファ３１５は、加算部３１４から局所復号信号を取得し、保持する。また、復号フレームバッファ３１５からは、面内予測の参照信号として、予測参照位置の信号が面内予測部３０１へ伝送される。

可変長符号化部３１６は、面内予測部３０１から面内予測モードの情報を取得し、残差近似信号作成部３０６から残差近似有効性フラグを取得し、また、直交変換係数統合部３１０から統合残差成分量子化直交変換係数を取得する。可変長符号化部３１６は、面内予測モードの情報と統合残差成分量子化直交変換係数に対し、所定の可変長符号化を行い、符号化系列を作成する。残差近似有効性フラグに対しては、残差近似有効性フラグが暗示的無効を示す２である場合は、可変長符号化部３１６は残差近似有効性フラグは符号化データとして伝送しないが、暗示的無効でない場合、すなわち明示的無効を示す０もしくは明示的有効を示す１である場合は、残差近似有効性フラグも可変長符号化して、符号化系列を作成する。

次に、本実施の形態に係る画像符号化装置によって１ブロックを符号化する手順を、図６のフローチャートを参照して説明する。

ステップＳ６０１の面内予測信号生成処理において、面内予測部３０１が、符号化対象ブロックの原信号の入力を受け、復号フレームバッファ３１５に格納された面内予測の参照信号を利用して、最適な面内予測モードのもとで符号化対象ブロックの面内予測信号を作成し、ステップＳ６０２へ進む。

ステップＳ６０２の面内予測残差信号算出処理において、減算部３０２が、符号化対象ブロックの原信号から面内予測信号を減ずることにより面内予測の予測残差を算出し、ステップＳ６０３へ進む。

ステップＳ６０３の残差信号の復号ＤＣ値算出処理において、ＤＣ値算出部３０３、ＤＣ値量子化部３０４、及びＤＣ値逆量子化部３０５が、予測残差信号のＤＣ値を算出し、量子化し、さらに、逆量子化することにより、復号残差ＤＣ値を算出し、ステップＳ６０４へ進む。

ステップＳ６０４の残差近似の暗示的有効性判定処理において、残差近似信号作成部３０６が、残差近似が暗示的に有効であるか否かを判定する。残差近似信号作成部３０６は、復号残差ＤＣ値が０である場合、または、面内予測モードがＤＣモードである場合は、面内予測の残差信号が一方向に強い相関を持たないと判断し、残差近似信号を暗示的に無効と判定し、残差近似有効性フラグに対し、暗示的無効を示す２を割り当て、ステップＳ６１４へ進む。

残差近似信号作成部３０６は、面内予測モードがＤＣモードでなく、かつ、復号残差ＤＣ値が０でない場合は、暗示的無効ではないと決定し、残差近似有効性フラグの割り当てを先送りし、ステップＳ６０５へ進む。

ステップＳ６０５の残差近似信号作成処理において、残差近似信号作成部３０６が、決定された面内予測モードのもと、復号残差ＤＣ値から残差近似信号を作成する。例えば符号化対象ブロックの中心位置で復号残差ＤＣ値を通る線形近似平面を、残差信号のサンプル点を用いた最小二乗法によって求め、この平面で残差信号を近似する。そして、ステップＳ６０６へ進む。

ステップＳ６０６の残差近似の明示的有効性判定処理において、残差近似信号作成部３０６が残差近似が明示的に有効であるか否かを判定する。残差近似信号作成部３０６は、残差近似信号の誤差評価を行い、元の残差信号と比べ、残差近似をした方が誤差が小さくなる場合に、残差近似を明示的有効であると判定し、残差近似有効性フラグを明示的有効を示す値１に設定し、ステップＳ６０７へ進み、残差近似をしても誤差が小さくならない場合は、残差近似を明示的無効であると判定し、残差近似有効性フラグを明示的無効を示す値０に設定し、ステップＳ６１４へ進む。

ステップＳ６０７の最終残差信号作成処理において、減算部３０７が予測残差から残差近似信号を減ずることにより、最終残差成分を算出し、ステップＳ６０８へ進む。

ステップＳ６０８の最終残差ＡＣ成分の符号化処理において、直交変換部３０８及び量子化部３０９が、最終残差成分に対し、所定の直交変換・量子化処理を行い、最終残差成分の量子化直交変換係数を算出し、ステップＳ６０９へ進む。

ステップＳ６０９の最終残差成分作成処理において、直交変換係数統合部３１０が、最終残差成分の量子化直交変換係数のＤＣ値位置に残差ＤＣ量子化値を代入することにより、統合残差成分量子化直交変換係数を算出する。ただし、本ステップを通るのは残差近似有効性フラグが１のときのみである。そして、ステップＳ６１０へ進む。

ステップＳ６１０の符号化情報の可変長符号化処理において、可変長符号化部３１６が、面内予測モードの情報、残差近似有効性フラグ、及び統合残差成分量子化直交変換係数を可変長符号化して、符号化系列を生成する。ただし、本ステップを通るのは残差近似有効性フラグが１のときのみである。そして、ステップＳ６１１へ進む。

ステップＳ６１１の最終残差成分の分離処理において、直交変換係数分離部３１１が、統合残差成分量子化直交変換係数のＤＣ値に０を代入することにより、残差ＡＣ成分量子化直交変換係数を算出する。ただし、本ステップを通るのは残差近似有効性フラグが１のときのみである。そして、ステップＳ６１２へ進む。

ステップＳ６１２の最終残差ＡＣ成分の復号処理において、逆量子化部１１２及び逆直交変換部３１３は、残差ＡＣ成分量子化直交変換係数に対し、逆量子化・逆直交変換を行い、復号残差ＡＣ成分を算出し、ステップＳ６１３へ進む。

ステップＳ６１３の復号信号作成処理において、加算部３１４は、面内予測信号、残差近似信号、及び復号残差ＡＣ成分を足し合わせることにより、局所復号信号を算出し、復号フレームバッファ３１５に格納する。これで残差近似が明示的に有効である場合のブロックの符号化処理が完了する。

残差近似が明示的に無効である場合、ステップＳ６１４の面内予測残差成分の符号化処理が行われる。本ステップ開始時点で、残差近似有効性フラグは明示的無効を示す０、または暗示的無効を示す２のどちらかに設定され、残差近似信号は０が設定されている。

ステップＳ６１４において、減算部３０７が、予測残差から残差近似信号を減ずることにより、最終残差成分を算出する。または、残差近似信号が０であるため、予測残差をそのまま最終残差成分としても等価である。そして、直交変換部３０８及び量子化部３０９が、最終残差成分に対し、直交変換・量子化処理を行い、最終残差成分の量子化直交変換係数を算出する。そして、ステップＳ６１５へ進む。

ステップＳ６１５の符号化情報の可変長符号化処理において、直交変換係数統合部３１０は、残差近似有効性フラグが明示的無効を示す０または暗示的無効を示す２であることから、最終残差成分の量子化直交変換係数をそのまま統合残差成分量子化直交変換係数として出力する。可変長符号化部３１６は、面内予測モードの情報、残差近似有効性フラグ、および統合残差成分量子化直交変換係数に対して、可変長符号化処理を行い、符号化系列を生成する。本ステップを通るのは残差近似有効性フラグが明示的無効を示す０または暗示的無効を示す２のときのみであり、可変長符号化部３１６は、残差近似有効性フラグが暗示的無効を示す２である場合は、残差近似有効性フラグの符号化を行わず、暗示的無効でない場合、すなわち明示的無効を示す０である場合は、残差近似有効性フラグの可変長符号化を行い、符号化系列を作成する。そして、ステップＳ６１６へ進む。

ステップＳ６１６の面内予測残差成分の復号処理において、直交変換係数分離部３１１は、残差近似有効性フラグが明示的無効を示す０または暗示的無効を示す２であるため、統合残差成分量子化直交変換係数をそのまま残差成分量子化直交変換係数として出力する。逆量子化部１１２及び逆直交変換部３１３は、残差成分量子化直交変換係数に対し、逆量子化・逆直交変換を行い、復号残差成分を算出する。そして、ステップＳ６１７へ進む。

ステップＳ６１７の復号信号作成処理において、加算部３１４は、面内予測信号と復号残差成分を足し合わせることにより、局所復号信号を算出し、算出した局所復号信号を復号フレームバッファ３１５に格納する。これで残差近似有効性フラグが明示的に無効であるか、暗示的に無効である場合のブロックの符号化処理が完了する。

次に、本実施の形態の画像符号化装置で符号化された画像を復号する画像復号装置において、１ブロックを復号する例を説明する。

図７は、実施の形態に係る画像復号装置の構成図である。画像復号装置は、入力ビット系列の構文を解析し、可変長復号する可変長復号部７０１、復号対象ブロックの面内予測信号を作成する面内予測部７０２、直交変換係数の直流成分と交流成分を分離する直交変換係数分離部７０３、量子化した予測残差の直流成分を復号するＤＣ値逆量子化部７０４、予測残差の線形近似信号を作成する残差近似信号作成部７０５、残差成分の復号処理を行う逆量子化部７０６及び逆直交変換部７０７、復号信号を算出する加算部７０８、復号信号を格納する復号フレームバッファ７０９、及び、残差近似信号の有効性に基づき処理の流れを切り替えるためのスイッチ７１０、７１１を含む。

可変長復号部７０１は、ビット系列を入力し、構文を解析し、面内予測モードの情報と量子化直交変換係数の可変長復号を行う。可変長復号部７０１は、面内予測モードを面内予測部７０２と残差近似信号作成部７０５へ伝送し、量子化直交変換係数をスイッチ７１１へ伝送する。

可変長復号部７０１は、さらに、残差近似信号有効性フラグの復号を行う。本実施の形態では、復号ＤＣ値を用いて残差近似信号の傾きレベルを決定する。また、面内予測モードを用いて残差近似信号の傾き方向を決定する。復号ＤＣ値が０である場合、または、面内予測モードがＤＣモードである場合、面内予測の残差信号が一方向に強い相関を持たないと判断し、残差近似信号を暗示的に無効とする。

可変長復号部７０１は、面内予測モードがＤＣモードである場合、または、量子化直交変換係数のＤＣ成分が０である場合、暗示的に残差近似信号有効性フラグを、無効を示す０と決定する。そうでないとき、すなわち面内予測モードがＤＣモードでない、かつ、量子化直交変換係数のＤＣ成分が０でない場合は、可変長復号部７０１は、明示的に残差近似信号有効性フラグの復号を行い、有効か無効かを決定する。

可変長復号部７０１は、決定または復号された残差近似信号有効性フラグをスイッチ７１０とスイッチ７１１へ伝送する。

面内予測部７０２は、可変長復号部７０１から面内予測モードを取得し、復号フレームバッファ７０９から面内予測の予測参照信号を取得する。面内予測部７０２は、面内予測モードのもとで、予測参照信号を利用して所定の面内予測処理を行い、面内予測信号を作成する。面内予測処理手順は、従来と同様である。面内予測部７０２は、作成した面内予測信号を加算部７０８へ伝送する。

直交変換係数分離部７０３は、スイッチ７１０から量子化直交変換係数を取得し、量子化直交変換係数のＤＣ値とＡＣ成分を分離する。直交変換係数分離部７０３は、量子化ＤＣ値をＤＣ値逆量子化部７０４へ伝送し、量子化ＡＣ成分を逆量子化部７０６へ伝送する。

ＤＣ値逆量子化部７０４は、直交変換係数分離部７０３から予測残差の量子化ＤＣ値を取得し、予測残差の量子化ＤＣ値に対し所定の逆量子化処理を行い、復号ＤＣ値を算出する。ＤＣ値逆量子化部７０４は、算出した復号ＤＣ値を残差近似信号作成部７０５へ伝送する。

残差近似信号作成部７０５は、可変長復号部７０１から面内予測モードを取得し、ＤＣ値逆量子化部７０４から復号ＤＣ値を取得する。残差近似信号作成部７０５は、復号ＤＣ値を利用して残差近似信号を作成する。符号化装置の残差近似信号作成部３０６と同様に、例えば符号化対象ブロックの中心位置で復号残差ＤＣ値を通る平面であって、残差信号のサンプル点を線形近似する平面を最小二乗法によって求め、この平面上の対応する点を残差近似信号とする。残差近似信号作成部７０５は、残差近似信号をスイッチ７１１へ伝送する。

逆量子化部７０６及び逆直交変換部７０７は、スイッチ７１０から量子化直交変換係数を取得するか、もしくは、直交変換係数分離部７０３から量子化ＡＣ成分を取得する。逆量子化部７０６及び逆直交変換部７０７は、取得した量子化直交変換係数または量子化ＡＣ成分に対し、所定の逆量子化処理と逆直交変換処理を行い、復号残差信号を作成し、作成した復号残差信号を加算部７０８へ伝送する。

加算部７０８は、面内予測部７０２から面内予測信号を取得し、逆直交変換部７０７から復号残差信号を取得し、スイッチ７１１から残差近似信号を取得する。加算部７０８は、
面内予測信号、復号残差信号、および残差近似信号を足し合わせることにより、復号信号を作成し、作成した復号信号を復号フレームバッファ７０９へ伝送する。

復号フレームバッファ７０９は、加算部７０８から対象ブロックの復号信号を取得し、保持する。また、復号フレームバッファ７０９から面内予測の参照信号として、予測参照位置の信号が面内予測部７０２へ伝送される。

スイッチ７１０は、可変長復号部７０１から量子化直交変換係数と残差近似信号有効性フラグを取得する。残差近似信号有効性フラグが有効である場合、スイッチ７１０は、可変長復号部７０１と直交変換係数分離部７０３を接続し、量子化直交変換係数を直交変換係数分離部７０３へ伝送する。残差近似信号有効性フラグが無効である場合、スイッチ７１０は、可変長復号部７０１と逆量子化部７０６を接続し、量子化直交変換係数を逆量子化部７０６へ伝送する。

スイッチ７１１は、可変長復号部７０１から残差近似信号有効性フラグを取得する。残差近似信号有効性フラグが有効である場合、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続し、残差近似信号を加算部７０８へ伝送する。残差近似信号有効性フラグが無効である場合、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続しない。

次に、本実施の形態に係る画像復号装置によって１ブロックを復号する手順を、図８のフローチャートを参照して説明する。

ステップＳ８０１の可変長復号処理において、可変長復号部７０１が面内予測モードと残差量子化直交変換係数を復号し、ステップＳ８０２へ進む。

ステップＳ８０２の面内予測信号生成処理において、面内予測部７０２が、可変長復号部７０１から取得した面内予測モードのもとで、復号フレームバッファ７０９に格納された面内予測の予測参照信号を利用して、面内予測信号を作成し、ステップＳ８０３へ進む。

ステップＳ８０３の残差近似の暗示的有効性判定処理において、可変長復号部７０１が、
ステップＳ８０１で復号した面内予測モードと量子化直交変換係数のＤＣ成分を参照し、残差近似が暗示的に有効であるか否かを判定する。可変長復号部７０１は、面内予測モードがＤＣモードであるか、または、量子化直交変換係数のＤＣ成分が０である場合は、残差近似が暗示的に無効であると判定し、ステップＳ８１０へ進む。そうでない場合、すなわち、面内予測モードがＤＣモードでなく、かつ、量子化直交変換係数のＤＣ成分が０でない場合は、残差近似が暗示的無効でないと判定し、ステップＳ８０４へ進む。

ステップＳ８０４の残差近似信号有効性フラグの可変長復号処理において、可変長復号部７０１が、明示的に残差近似信号有効性フラグの復号を行う。本ステップに入るのは、残差近似有効性が暗示的無効でない場合、すなわち面内予測モードがＤＣモードでなく、かつ、量子化直交変換係数のＤＣ成分が０でない場合である。そして、ステップＳ８０５へ進む。

ステップＳ８０５の残差近似の明示的有効性判定処理において、可変長復号部７０１が、明示的に復号した残差近似信号有効性フラグの値によって残差近似が明示的に有効か否かを判定し、残差近似信号有効性フラグをスイッチ７１０とスイッチ７１１に伝送し、スイッチの切替えを行う。

残差近似信号有効性フラグが明示的有効を示す値２である場合、スイッチ７１０は、可変長復号部７０１と直交変換係数分離部７０３を接続し、量子化直交変換係数は直交変換係数分離部７０３へ伝送し、さらにスイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続し、残差近似信号は加算部７０８へ伝送する。そして、ステップＳ８０６へ進む。

残差近似信号有効性フラグが明示的無効を示す値１である場合、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続せず、スイッチ７１０は、可変長復号部７０１と逆量子化部７０６を接続し、量子化直交変換係数を逆量子化部７０６へ伝送する。そして、ステップＳ８１１へ進む。

ステップＳ８０６に入るときは、残差近似有効性が有効となる場合であり、スイッチ７１０は、可変長復号部７０１と直交変換係数分離部７０３を接続するように設定されている。ステップＳ８０６の最終残差成分の分離処理において、直交変換係数分離部７０３は、スイッチ７１０を介し可変長復号部７０１から量子化直交変換係数を取得し、量子化直交変換係数のＤＣ値とＡＣ成分を分離し、量子化ＤＣ値をＤＣ値逆量子化部７０４へ伝送し、量子化ＡＣ成分を逆量子化部７０６へ伝送する。そして、ステップＳ８０７へ進む。

ステップＳ８０７の残差近似信号作成処理において、ＤＣ値逆量子化部７０４が、予測残差の量子化ＤＣ値に対し所定の逆量子化処理を行い、復号ＤＣ値を算出する。残差近似信号作成部７０５は、面内予測モードのもとで、復号ＤＣ値にもとづいて残差近似信号を作成する。そして、ステップＳ８０８へ進む。

ステップＳ８０８に入るときは、残差近似有効性が有効となる場合であり、スイッチ７１０は、可変長復号部７０１と直交変換係数分離部７０３を接続するように設定されている。ステップＳ８０８の最終残差ＡＣ成分の復号処理において、逆量子化部７０６及び逆直交変換部７０７は、量子化ＡＣ成分に対し、所定の逆量子化処理と逆直交変換処理を行い、復号残差信号を作成し、ステップＳ８０９へ進む。

ステップＳ８０９に入るときは、残差近似有効性が有効となる場合であり、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続するように設定されている。ステップＳ８０９の復号信号作成処理において、加算部７０８は、面内予測信号、復号残差信号、および残差近似信号を足し合わせることにより、復号信号を作成し、復号フレームバッファ７０９に格納する。これで残差近似が明示的に有効である場合の復号対象ブロックの復号を完了し、次のブロックの復号を開始する。

ステップＳ８１０に入るのは、残差近似有効性が暗示的無効である場合、すなわち面内予測モードがＤＣモードであるか、または、量子化直交変換係数のＤＣ成分が０である場合である。ステップＳ８１０において、可変長復号部７０１が、残差近似信号有効性フラグを暗示的に無効を示す値に設定し、スイッチ７１０とスイッチ７１１に暗示的無効を示す残差近似有効性フラグを伝送する。このとき、スイッチ７１０は、可変長復号部７０１と逆量子化部７０６を接続し、量子化直交変換係数を逆量子化部７０６へ伝送し、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続しないように設定される。そして、ステップＳ８１１へ進む。

ステップＳ８１１に入るときは、残差近似が無効となる場合であり、スイッチ７１０は、可変長復号部７０１と逆量子化部７０６を接続するように設定されている。ステップＳ８１１の面内予測残差成分の復号処理において、逆量子化部７０６及び逆直交変換部７０７は、取得した量子化直交変換係数に対し、逆量子化処理と逆直交変換処理を行い、復号残差信号を作成する。そして、ステップＳ８１２へ進む。

ステップＳ８１２に入るときは、残差近似が無効となる場合であり、スイッチ７１１は、残差近似信号作成部７０５と加算部７０８を接続しないように設定されている。ステップＳ８１２の復号信号作成処理において、加算部７０８は、面内予測信号と復号残差信号を足し合わせることにより、復号信号を作成し、作成した復号信号を復号フレームバッファ７０９に格納する。これで残差近似が暗示的に無効または明示的に無効である場合の復号対象ブロックの復号を完了し、次のブロックの復号を開始する。

以上述べたように、実施の形態に係る画像符号化装置によれば、残差成分の符号化に先立ち、面内予測信号の復号ＤＣ値を算出し、面内予測信号の復号ＤＣ値を利用して残差の近似信号を算出すること、面内予測信号の残差成分から、復号ＤＣ値を元に決定した近似信号を減ずることにより、最終残差成分とすることから、符号化すべき残差成分の情報量を削減することが出来る。

近似信号の生成に際しては、面内予測信号の復号ＤＣ値と、面内予測モードを参照する。面内予測モードと同じ傾き方向で、ＤＣ値が面内予測信号の復号ＤＣ値となる近似信号を生成する。作成する近似信号のＤＣ値を、面内予測の復号ＤＣ値と等価とし、最終残差成分の量子化直交変換係数をＡＣ成分のみで表現し、最終残差成分の量子化直交変換係数のＤＣ成分に面内予測信号の量子化ＤＣ値を代入する。

近似信号生成時に参照する、面内予測信号の復号ＤＣ値と、面内予測モードは本来符号化すべき情報であるために、発生符号量は増加しない。符号化単位であるブロック毎に残差近似の手法の適用の有無を適応的に切り替える構成を取る場合は、符号化単位であるブロックにつき、残差近似適用の有無を示す１ビットのフラグのみ追加すればよい。したがって、少ない情報量の増加で残差成分の情報量削減効果を得ることができる。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の実施の形態では、予測残差信号を最小二乗法により線形近似することで予測残差近似信号を生成したが、最小二乗法以外の方法で線形近似してもよい。また、線形近似に限らず、２次関数など所定の関数で予測残差信号を近似してもよい。

上記の実施の形態では、画像を例に予測残差信号を近似し、効率的に予測残差信号を圧縮符号化する方法を説明したが、この圧縮符号化方法は、画像以外の情報に対しても適用することができる。たとえば、音声データのような１次元データの予測符号化にも適用できる。また、時間方向または空間方向に変化する任意のデータの予測符号化にも適用できる。

３０１ 面内予測部、 ３０２ 減算部、 ３０３ ＤＣ値算出部、 ３０４ ＤＣ値量子化部、 ３０５ ＤＣ値逆量子化部、 ３０６ 残差近似信号作成部、 ３０７ 減算部、 ３０８ 直交変換部、 ３０９ 量子化部、 ３１０ 直交変換係数統合部、 ３１１ 直交変換係数分離部、 ３１２ 逆量子化部、 ３１３ 逆直交変換部、 ３１４ 加算部、 ３１５ 復号フレームバッファ、 ３１６ 可変長符号化部、 ７０１ 可変長復号部、 ７０２ 面内予測部、 ７０３ 直交変換係数分離部、 ７０４ ＤＣ値逆量子化部、 ７０５ 残差近似信号作成部、 ７０６ 逆量子化部、 ７０７ 逆直交変換部、 ７０８ 加算部、 ７０９ 復号フレームバッファ、 ７１０ スイッチ、 ７１１ スイッチ。

Claims (7)

1. 画像の面内予測信号を生成する面内予測部と、
   画像の原信号と前記面内予測信号の差分から第１の残差信号を算出する第１減算部と、
   前記第１の残差信号の直流成分をもとに前記第１の残差信号を線形近似することにより、残差近似信号を作成する残差近似信号作成部と、
   前記第１の残差信号と前記残差近似信号の差分から第２の残差信号を算出する第２減算部と、
   前記第１の残差信号の直流成分と前記第２の残差信号を合成して第３の残差信号を生成する統合部と、
   前記第３の残差信号を可変長符号化する可変長符号化部とを含むことを特徴とする画像符号化装置。
2. 前記残差近似信号作成部は、前記第１の残差信号の直流成分と、前記面内予測部による面内予測モードとに基づき、前記第１の残差信号を線形近似することにより、前記残差近似信号を作成することを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の残差信号の直流成分を算出する直流成分算出部と、
   前記第１の残差信号の直流成分を量子化する直流成分量子化部と、
   量子化した第１の残差信号の直流成分を逆量子化することにより、復号直流成分を算出する直流成分逆量子化部とをさらに含み、
   前記残差近似信号作成部は、前記第１の残差信号の直流成分として、前記復号直流成分を用いて、前記第１の残差信号を線形近似することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記残差近似信号作成部は、前記残差近似信号を誤差評価することにより、残差近似の有効性を判定し、残差近似の有効または無効を示すフラグを設定し、前記可変長符号化部に供給し、
   前記可変長符号化部は、前記第３の残差信号と共に前記フラグを可変長符号化することを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
5. 前記残差近似信号作成部は、前記第１の残差信号の直流成分がゼロである場合、または、前記面内予測部による面内予測モードがＤＣモードである場合、残差近似を無効であると判定し、
   前記残差近似信号作成部が残差近似を無効と判定した場合には、前記可変長符号化部で可変長符号化される前記第３の残差信号は、前記第１の残差信号を前記第２の残差信号として得られた信号または前記第１の残差信号であることを特徴とする請求項１から４のいずれかに記載の画像符号化装置。
6. 画像の複数のサンプル点について、各サンプル点の画素値とそのサンプル点の第１の予測値の差分を求めることにより、各サンプル点の第１の誤差値を取得するステップと、
   各サンプル点の第１の誤差値の平均値をもとに得られる線形近似係数を各サンプル点の第２の予測値として、各サンプル点の第１の誤差値とそのサンプル点の前記第２の予測値の差分を求めることにより、各サンプル点の第２の誤差値を取得するステップと、
   各サンプル点の第１の誤差値の平均値と前記第２の誤差値をともに符号化するステップとを含むことを特徴とする画像符号化方法。
7. 画像の面内予測信号を生成する機能と、
   画像の原信号と前記面内予測信号の差分から第１の残差信号を算出する機能と、
   前記第１の残差信号の直流成分をもとに前記第１の残差信号を線形近似することにより、残差近似信号を作成する機能と、
   前記第１の残差信号と前記残差近似信号の差分から第２の残差信号を算出する機能と、
   前記第１の残差信号の直流成分と前記第２の残差信号を合成して第３の残差信号を生成する機能と、
   前記第３の残差信号を可変長符号化する機能とをコンピュータに実現させることを特徴とする画像符号化プログラム。