JP5488168B2 - 画像符号化装置 - Google Patents

Description

本発明は、高能率符号化技術に関するものである。より詳しくは、動画像のＨ．２６４符号化において、イントラ予測で発生した誤差が、以降のマクロブロックに伝播することを防ぐことができる適応量子化技術に関するものである。

近年、ＡＶ情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。映像信号は膨大な情報を有するので、記録容量や伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、Ｈ．２６４という国際規格が定められており、実験結果によると、Ｈ．２６４規格は他の既存の符号化技術に比べ、約２倍の圧縮効率をもたらす。従って、Ｈ．２６４規格はレコーダ記録、インターネットストリーミング等に非常に適した符号化方式である。

Ｈ．２６４では、画像中の空間的な冗長性を減少することで符号化効率を向上させるイントラ予測と、連続するピクチャ間に存在する時間的な冗長性を利用して符号化効率を向上させる動き補償が導入されている。イントラ予測により符号化されるピクチャをＩピクチャ、動き補償により符号化されるピクチャをＰピクチャ、またはＢピクチャと呼ぶ。イントラ予測に基づく、典型的な動画像圧縮符号化装置の全体構成例を図６に示す。動画像圧縮符号化装置は、入力部３００、差分演算部３０１、画像データを周波数領域に変換する変換部３０２、変換部３０２で得られた変換係数をあらかじめ定められた量子化パラメータで量子化する量子化部３０４、量子化された変換係数をエントロピー符号化するエントロピー符号化部３０５、可変ビットレートの圧縮画像データを伝送レートにあわせて伝送路に供給するための出力部３０６、ローカルデコーダ３１０およびイントラ予測モード検出部３０７を備える。

イントラ予測は、符号化対象ブロックの情報量を大幅に削減することができ、圧縮効率を向上させることができる有効な方法である。しかしながら、低ビットレートの動画像圧縮符号化において、任意のマクロブロックで発生した誤差が、画面内に伝播するという課題がある。イントラ予測符号化において、符号化対象ブロックとイントラ予測ブロックとの差分演算によって得られる予測誤差ブロックが符号化対象となる。すなわち、復号処理において、再生マクロブロックは、イントラ予測ブロックと予測誤差ブロックを加算することで得られる。低ビットレートで、予測誤差ブロックに含まれる情報を再現できるほどＱｐ＿ＭＢが小さくならない場合、イントラ予測ブロックに加算すべき残差信号が０になってしまい、再生画像はイントラ予測ブロックそのものになってしまう。この現象は以降のマクロブロックに対しても発生し視覚的に大きな劣化となってしまう。特に、この問題は色差信号において顕著なものとなる。

図７、図８、図９、図１０、および図１１を用いて、イントラ予測誤差が画面内を伝播する様子について説明する。図７において、符号化対象画像４００は、白い背景の中に赤色のオブジェクトがある画像である。符号化対象画像４００は、スライス４０１、４０２、４０３、および４０４に分けられる。符号化対象画像４００中には赤色のオブジェクト４１０が存在する。図７において、スライス４０２とスライス４０３の境界には、マクロブロック４２０、４３０、および４４０が位置している。マクロブロック４２０はオブジェクト４１０のみから構成される。マクロブロック４３０、および４４０は、背景のみから構成される。各マクロブロックのＣｒ、およびＣｂ成分の原画状態における画素値を図８に示す。図８（ａ）において画素５００はマクロブロック４２０のＣｒ成分の画素値である。図８（ｂ）において画素５０１はマクロブロック４２０のＣｂ成分の画素値である。図８（ｃ）において画素５０２はマクロブロック４３０のＣｒ成分の画素値である。図８（ｄ）において画素５０３はマクロブロック４３０のＣｂ成分の画素値である。図８（ｅ）において画素５０４はマクロブロック４４０のＣｒ成分の画素値である。図８（ｆ）において画素５０５はマクロブロック４４０のＣｂ成分の画素値である。マクロブロック４２０、４３０、および４４０は、この順番で符号化が行われる。

図９、図１０を用いて、マクロブロック４３０の符号化について、特にＣｒ成分に着目して説明する。図９において、画素５１０は、マクロブロック４３０のＣｒ成分の画素を示している。周辺画素５１１は、イントラ予測に用いる周辺画素を示しており、これは、マクロブロック４２０の再生画素である。マクロブロック４３０は、スライス４０２とスライス４０３の境界に位置するため、色差のイントラ予測モードとして予測モード０（ＤＣ予測）と予測モード１（水平予測）のみが使用可能である。図１０（ａ）に、マクロブロック画素５１０と周辺画素５１１を２次元的に表現したものを、それぞれ画素波形４３１、画素波形４２５として示しており、画素波形４３１、画素波形４２５の画素値はそれぞれ、１０ビット表現で５１２、５７６である。縦軸は画素値、横軸はマクロブロック内の水平位置を示している。図１０（ｂ）に、最適予測モードが０（ＤＣ予測）に選択された時の予測ブロック画素波形４３２を示す。図１０（ｃ）に、マクロブロック画素波形４３１と、イントラ予測ブロック画素波形４３２との差分演算によって得られる予測誤差ブロック画素波形４３３を示す。この予測誤差ブロック画素波形４３３が符号化の対象となるが、低ビットレートにおいて量子化パラメータが大きくなると、図１０（ｄ）に示すように、予測誤差ブロック画素波形４３３の情報量が量子化により失われ０になってしまい、復号される予測誤差ブロック画素波形４３４も０になる。この場合、マクロブロック画素波形４３１の復号画素波形は、予測ブロック画素波形４３２となる。図１０（ｅ）に、マクロブロック画素波形４３１の復号画素波形４３５を示す。同図より、マクロブロック画素波形４３１は、原画状態では背景であった部分（画素波形４３６）にオブジェクト４１０の画素が拡散されていることが分かる。

続いて、図１１を用いて、マクロブロック４４０の符号化について、マクロブロック４３０と同様にＣｒ成分に着目して説明する。図１１（ａ）において、画素波形４４１は、マクロブロック４４０のＣｒ成分の画素を示している。マクロブロック４４０においても、スライス４０２とスライス４０３の境界に位置するため、予測モード０と１のみが使用可能である。そのため、マクロブロック４４０のイントラ予測に用いる周辺画素は、マクロブロック４３０の再生画素であり、これは、図１０（ｅ）で説明した画素波形４３５である。図１１（ｂ）に、最適予測モードが０（ＤＣ予測）に選択された時の予測ブロック画素波形４４２を示す。図１１（ｃ）に、マクロブロック画素波形４４１と、イントラ予測ブロック画素波形４４２との差分演算によって得られる予測誤差ブロック画素波形４４３を示す。この予測誤差ブロック画素波形４４３が符号化の対象となるが、低ビットレートにおいて量子化パラメータが大きくなると、図１１（ｄ）に示すように、予測誤差ブロック画素波形４４３が量子化により失われ０になってしまい、復号される予測誤差ブロック画素波形４４４も０になる。この場合、マクロブロック画素波形４４１の復号画素波形は、予測ブロック画素波形４４２となる。図１１（ｅ）に、マクロブロック画素波形４４１の復号画素波形４４５を示す。同図より、マクロブロック画素波形４４１の、原画状態では背景であった部分（画素波形４４６）にオブジェクト４１０の画素が拡散されていることが分かる。マクロブロック４４０以降のマクロブロックにおいても、上述したように、予測誤差ブロック画素の情報量が量子化により０となるため、マクロブロック４２０に含まれるオブジェクト４１０の画素が伝播されていくことになる。

この主観的に望ましくないイントラ予測誤差の画面内伝播の根本的な原因は、量子化パラメータが大きくなることで、予測誤差ブロックの情報が量子化により失われて０になり、イントラ予測ブロックの形状がそのまま符号化対象ブロックの復号ブロックとなることである。

特許文献１では、上記の課題を回避するために、輝度信号が平坦な領域では色差信号の歪が検知しやすいことから、輝度信号が平坦なマクロブロックにおいて、同一マクロブロック内の色差信号の量子化パラメータを相対的に小さくすることで、イントラ予測誤差の画面内伝播を回避する方法を提案している。

特開平２−１０５７９１号公報

しかしながら、上記従来の技術は、輝度信号が平坦なマクロブロックに対してイントラ予測誤差の画面内伝播を回避することができるものの、輝度信号が平坦でないブロックに対しては適用できないという課題がある。輝度信号が平坦でないブロックにおいても、イントラ予測誤差伝播が発生する場合があるのに対して、上記従来の技術は、そのような場合に対応することができない。

上記従来の課題を解決するために、本発明の画像符号化装置は、イントラ予測符号化を用いて入力画像を符号化する画像符号化装置であって、符号化対象ブロックの視覚感度を検出する視覚感度検出部と、前記符号化対象ブロックと、前記符号化対象ブロックに対応する予測ブロックとの変移を検出する予測変移検出部と、前記視覚感度と、前記変移と、あらかじめ設定したピクチャ量子化パラメータとにより、前記符号化対象ブロックの量子化パラメータを決定する量子化パラメータ決定部と、を備える。

本発明の画像符号化装置によれば、符号化対象ブロックの視覚感度、変移、およびピクチャ量子化パラメータから、イントラ予測誤差の画面内伝播が発生する度合いを検出し、画面内伝播が発生すると判断されたブロックに対し、量子化パラメータを相対的に小さくすることで、イントラ予測誤差の画面内伝播を防ぐことができ、主観画質を向上することができる。

実施の形態１に係る適応処理装置が組み込まれた動画像圧縮符号化装置の構成を示すブロック図 実施の形態１におけるイントラ予測処理過程でのマクロブロックの画素値変化を示す図 実施の形態１におけるイントラ予測処理過程での他のマクロブロックの画素値変化を示す図 実施の形態１における輝度信号に対する９種類のイントラ予測についての説明図 実施の形態１における色差信号に対する４種類のイントラ予測についての説明図 従来の画像符号化装置の全体の構成を示すブロック図 符号化対象画像を示す図 実施の形態１におけるマクロブロックのＣｒ成分、Ｃｂ成分の画素値を示す図 対象マクロブロックとイントラ予測に用いる周辺画素の位置関係を示す図 従来のイントラ予測処理過程でのマクロブロックの画素値変化を示す図 従来のイントラ予測処理過程での他のマクロブロックの画素値変化を示す図

以下、実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１、図２、および図３を参照して、実施の形態１に係る画像符号化装置について説明する。

図１は、実施の形態１における動きベクトル検出装置を含む動画像圧縮符号化装置全体の構成を概念的に表すブロック図である。動画像圧縮符号化装置は、入力部１００、差分演算部１０１、画像データを周波数領域に変換する変換部１０２、変換部１０２で得られた変換係数をあらかじめ定められた量子化パラメータで量子化する量子化部１０４、量子化された変換係数をエントロピー符号化するエントロピー符号化部１０５、可変ビットレートの圧縮画像データを伝送レートにあわせて伝送路に供給するための出力部１０６、ローカルデコーダ１１０、イントラ予測モード検出部１０７、彩度算出部１３０、ＤＣ算出部１３１、および量子化パラメータ決定部１０３を備える。

量子化部１０４は、変換係数に対し、量子化ステップで除算した結果を整数値に丸める処理を行う。Ｈ．２６４ではＱｐと呼ばれるパラメータから量子化ステップを導出する。Ｑｐの値が大きくなると量子化ステップが大きくなり、符号化に必要なビット数が減少する。逆にＱｐの値が小さくなると量子化ステップが小さくなり、符号化に必要なビット数が増加する。したがって、Ｑｐの値を変化させることによって、符号化対象画像での発生符号量を、記録媒体や伝送媒体に応じた所定の符号量内に抑えることができる。なお、Ｑｐの値は０から５１までの値をとることができ、Ｑｐが６小さくなると、量子化ステップが１／２になる特性がある。

差分演算部１０１は画像データ１２０とイントラ予測画像１２１の差分値を計算する。イントラ予測画像１２１は、すでに符号化された画像を復号化し、イントラ予測モードをもとにイントラ予測を行うことによって得られる。これは、画像符号化に対応するローカルデコーダ１１０によって行われる。

ローカルデコーダ１１０は、符号化手順を逆に行う。すなわち、ローカルデコーダ１１０は、逆量子化部１１１と、逆変換部１１２とによって復号化された差分データに、バッファ１１４とイントラ予測部１１５で生成されたイントラ予測画像を加算する加算演算部１１３とで構成され、復号側で得られるものと同様の画像を生成する。

なお、イントラ予測符号化では、対象となる画像のイントラ予測画像は、対象となる画像と復号化した画像（バッファ１１４に蓄積された復号化画像で、参照画像に相当）との間でのイントラ予測に基づいて、対応する復号化した画像の画像データから生成される。

イントラ予測モード検出部１０７は、入力された画像データ１２０と、ローカルデコーダ内のバッファ１１４より入力された、符号化済みのイントラ予測モード検出対象画像との空間的な相関を利用して、最適なイントラ予測モードを検出する。通常、イントラ予測はブロック単位で行われる。すなわち、復号化した画像で、対象となる画像のブロックと最も相関が高いイントラ予測ブロックを生成する予測モードが、最適な予測モードとして検出される。イントラ予測モード検出部１０７と、最適イントラ予測モードに対応して復号化した画像からイントラ予測画像を生成するイントラ予測部１１５がエンコーダに組み込まれている。

彩度算出部１３０は、マクロブロック単位に分割された画像データ１２０のＣｒおよびＣｂブロックそれぞれに対して、彩度を算出する。

ＤＣ算出部１３１は、入力されたイントラ予測誤差ブロック内のＣｒおよびＣｂブロックそれぞれに対して、Ｃｒ成分、およびＣｂ成分のＤＣ値がイントラ予測によってどの程度変動したかを示す値を算出する。

量子化パラメータ決定部１０３は、彩度算出部１３０が算出した彩度、ＤＣ算出部１３１が算出した値、及びＱｐ＿ｐｉｃより、当該マクロブロックにおいてイントラ予測誤差伝播が発生するか否かを判断し、マクロブロックに対する量子化パラメータを決定する。

次に図１に示す動画像圧縮符号化装置の動作について説明する。図１において、まず、入力部１００より入力された画像データ１２０はマクロブロック（縦１６画素×横１６画素）単位に分割される。以降マクロブロック単位で符号化処理が行われる。マクロブロックに分割された画像データに対して、差分演算部１０１でイントラ予測画像１２１と差分演算が行われる。

差分演算された差分データは変換部１０２で直交変換され、量子化部１０４で量子化される。量子化部１０４では、量子化パラメータ決定部１０３で決定された量子化パラメータを用いて量子化処理が行われる。量子化された差分データの直交変換係数は、エントロピー符号化部１０５でエントロピー符号化され、出力部１０６よりビットストリームとして出力される。また、量子化された差分データの直交変換係数は、逆量子化部１１１で逆量子化され、逆変換部１１２で逆直交変換され差分データとして復号化される。なお、このときの差分データはデータ量削減のための量子化によって非可逆処理が行われているので元の差分データではない。

復号化された差分データは、加算演算部１１３によって、イントラ予測部１１５でイントラ予測されたイントラ予測画像に加算される。加算された画像はエンコーダ内のローカルデコード画像として、後のイントラ予測モード検出やイントラ予測の参照画像としてバッファ１１４へ一時的に蓄積される。イントラ予測モード検出部１０７は、これからイントラ予測モードを検出しようとするマクロブロックに分割された画像データとバッファ１１４に蓄積された参照画像との間でイントラ予測モードを算出する。

イントラ予測モードの算出は、以下のようにして求められる。例えば、対象ブロックに対して、全９モードの方式で生成された予測ブロックとの間でブロックマッチングし、ブロック間の差分絶対値和を求め、その差分絶対値和が最小となったときの予測モードが、対象ブロックにおける最適予測モードに決定される。イントラ予測モード検出部１０７で算出された最適イントラ予測モードは、イントラ予測部１１５へ供給される。イントラ予測部１１５において、バッファ１１４に蓄積された参照画像より、最適イントラ予測モードに応じた周辺画素を用いてイントラ予測画像が生成される。

イントラ予測モード検出部１０７におけるイントラ予測モードの算出方法について、より詳細に説明する。Ｈ．２６４において、各マクロブロックにおけるイントラ予測は、輝度信号に対し異なるブロックサイズを用いて行うことができる。個々のイントラ予測モードは、イントラ予測のブロックサイズである１６×１６、８×８、４×４画素の合計３種類のブロックに対して決定することができる。以降、イントラ予測のブロックサイズを８×８として説明を行う。

まず、輝度信号に対するイントラ予測について説明する。図４は、イントラ予測に用いる９つのイントラ予測モードを示す図である。画素Ａ〜Ｙはイントラ予測に用いる符号化済みの周辺画素である。各８×８ブロックの候補となるイントラ予測モードには、予測方向に対応した９つの種類があり、この中から一つを選択して符号化を行う。

図４において、モード０は「垂直予測」と定義され、予測対象である８×８ブロックの上部に隣接する符号化済みブロックの画素Ａ〜Ｈの輝度を、それぞれ垂直下方の画素の輝度から換算して、差分の絶対値和を求め、輝度の絶対差分値和を算出する。すなわち、画素Ａの下方にある８画素の輝度から画素Ａの輝度をそれぞれ減算し、画素Ｂの下方にある８画素の輝度から画素Ｂの輝度をそれぞれ減算する。同様に、画素Ｃ、画素Ｄ、画素Ｅ、画素Ｆ、画素Ｇ、および画素Ｈの下方にある各８画素の輝度から、それぞれ画素Ｃ、画素Ｄ、画素Ｅ、画素Ｆ、画素Ｇ、および画素Ｈの輝度を減算する。このように減算結果として得られた輝度の絶対差分値和が、予測対象の８×８ブロックの予測モード０の予測誤差となる。

次に、モード１は「水平予測」と定義され、予測対象ブロックの左部に隣接する符号化済みの画素Ｑ〜Ｘの輝度を、それぞれ水平方向の画素の輝度から減算して、差分の絶対値和を求め、輝度の絶対差分値和を算出する。この減算結果として得られた輝度の絶対差分値和が、予測対象ブロックの予測モード１の予測誤差となる。

次に、モード２は「ＤＣ予測」と定義され、予測対象ブロックの上部と左部に隣接する符号化済みの画素Ａ〜Ｈ、および画素Ｑ〜Ｘの輝度の平均値を、予測ブロック内の各画素の輝度から減算して、差分の絶対値和を求め、輝度の差分の絶対値和を算出する。この減算結果として得られた輝度の絶対差分値和が、予測対象ブロックの予測モード２の予測誤差となる。

以降、モード３〜８に対しても同様の処理を行い、各モードにおける予測誤差を算出する。予測誤差算出後、９つのモードの中で、最も予測誤差の小さいモードを、予測対象ブロックの輝度信号に対する最適予測モードに決定する。

続いて、色差信号に対するイントラ予測について説明する。色差信号に対して、１つのマクロブロックに対し１つのイントラ予測モードが設定される。本発明では、説明の都合上、色差信号に対するイントラ予測のブロックサイズを８×８として説明を行う。図５は、イントラ予測に用いる４つのイントラ予測モードを示す図である。画素Ａ〜Ｈ、Ｑ〜Ｙは符号化済みの周辺画素であり、イントラ予測を行う際に使用される。各８×８ブロックの候補となるイントラ予測モードには、予測方向に対応した４つの種類があり、この中から一つを選択して符号化を行う。

図５において、モード０は「ＤＣ予測」と定義され、予測対象ブロックに隣接する符号化済みの画素Ａ〜Ｈと画素Ｑ〜Ｘの色差の平均値を、予測ブロック内の各画素の色差から減算して、差分の絶対値和を求め、色差の差分の絶対値和を算出する。この減算結果として得られた色差の絶対差分値和が、予測対象ブロックの予測モード０の予測誤差となる。

次に、モード１は「水平予測」と定義され、予測対象である８×８ブロックの左部に隣接する符号化済みブロックの画素Ｑ〜Ｘの色差を、それぞれ水平右方の画素の色差から換算して、差分の絶対値和を求め、色差の絶対差分値和を算出する。すなわち、画素Ｑの右方にある８画素の色差から画素Ｑの色差をそれぞれ減算し、画素Ｒの右方にある８画素の色差から画素Ｒの色差をそれぞれ減算する。同様に、画素Ｓ、画素Ｔ、画素Ｕ、画素Ｖ、画素Ｗ、および画素Ｘの右方にある各８画素の色差から、それぞれ画素Ｓ、画素Ｔ、画素Ｕ、画素Ｖ、画素Ｗ、および画素Ｘの色差を減算する。このように減算結果として得られた色差の絶対差分値和が、予測対象の８×８ブロックの予測モード１の予測誤差となる。

モード２は「垂直予測」と定義され、予測対象である８×８ブロックの上部に隣接する符号化済みブロックの画素Ａ〜Ｈの色差を、それぞれ垂直下方の画素の色差から換算して、差分の絶対値を求め、色差の絶対差分値和を算出する。この減算結果として得られた色差の絶対差分値和が、予測対象ブロックの予測モード２の予測誤差となる。

次に、モード３は「平面予測」と定義され、予測対象ブロックに隣接する符号化済みの画素Ａ〜Ｈ、画素Ｑ〜Ｘ、および画素Ｙの色差から算出した予測値を、予測ブロック内の各画素の色差から減算して、差分の絶対値和を求め、色差の差分の絶対値和を算出する。この減算結果として得られた色差の絶対差分値和が、予測対象ブロックの予測モード３の予測誤差となる。

予測誤差算出後、４つのモードの中で、最も予測誤差の小さいモードを、予測対象ブロックの色差信号に対する最適予測モードに決定する。

イントラ予測部１１５は、イントラ予測モード検出部１０７によるイントラ予測モード検出結果に基づいて、決定された予測モードに基づく予測が行われる。そして、予測されたブロックから得られる予測誤差ブロックに含まれる情報は、変換部１０２において、変換係数に変換される。変換方式としては、２次元ＤＣＴ（離散コサイン変換）が用いられる。得られた変換係数は量子化部１０４において、あらかじめ定められた量子化パラメータで量子化され、最後にエントロピー符号化部１０５において、エントロピー符号化が行われる。なお、イントラ予測モード検出部１０７で検出された予測モードは、イントラ予測に用いられると共に、エントロピー符号化部１０５を経て、圧縮画像データに組み込まれて出力部１０６より出力される。

本実施の形態における核となる技術は、イントラ予測の誤差伝播が発生するブロックを検出し、当該ブロックの量子化パラメータを小さくし再現性を高めることにある。そのために、本実施の形態において、量子化部１０４で直交変換された差分データを量子化するときの量子化パラメータが、当該ブロックの彩度、予測誤差ブロックのＤＣ値、画像全体に設定された量子化パラメータによって決定されることを特徴としている。

まず、彩度検出部１３０の動作について説明する。入力されたマクロブロック内のＣｒおよびＣｂブロックそれぞれに対して、彩度Ｓａｔ＿Ｃｒ、およびＳａｔ＿Ｃｂを次式で定義する。なお、本実施の形態におけるＣｒおよびＣｂブロックサイズは縦８画素×横８画素とする。

Ｓａｔ＿Ｃｒ＝（Σ｜Ｐｉｘ＿Ｃｒ（ｊ，ｉ）−ＧｒａｙＬｅｖｅｌ｜）／６４
Ｓａｔ＿Ｃｂ＝（Σ｜Ｐｉｘ＿Ｃｂ（ｊ，ｉ）−ＧｒａｙＬｅｖｅｌ｜）／６４
上式において、Ｐｉｘ＿Ｃｒ（ｊ，ｉ）はＣｒブロック内の画素値を示す。ｊおよびｉはブロック内の画素位置を示しており、ブロック左上がｊ＝０、ｉ＝０、ブロック右下がｊ＝７、ｉ＝７である。ＧｒａｙＬｅｖｅｌは、無彩色の画素値を示し、１０ビット表現（０〜１０２３）されている場合、ＧｒａｙＬｅｖｅｌ＝５１２となる。Ｓａｔ＿Ｃｒ、およびＳａｔ＿ＣｂはＣｒ成分、およびＣｂ成分が無彩色であるＧｒａｙＬｅｖｅｌに対し、どの程度離れているかを定量化したものであり、この値が大きいと彩度が高いことを示し、逆に値が小さいと彩度が低いことを示している。

続いて、ＤＣ算出部１３１の動作について説明する。入力されたイントラ予測誤差ブロック内のＣｒおよびＣｂブロックそれぞれに対して、ｄｉｆｆ＿ＤＣ＿Ｃｒ、およびｄｉｆｆ＿ＤＣ＿Ｃｂを次式で定義する。

ｄｉｆｆ＿ＤＣ＿Ｃｒ＝（Σ｜ｄｉｆｆ＿Ｃｒ（ｊ，ｉ）｜）／６４
ｄｉｆｆ＿ＤＣ＿Ｃｂ＝（Σ｜ｄｉｆｆ＿Ｃｂ（ｊ，ｉ）｜）／６４
上式において、ｄｉｆｆ＿Ｃｒ（ｊ，ｉ）は、イントラ予測誤差Ｃｒブロック内の画素値を示す。ｊおよびｉはブロック内の画素位置を示しており、ブロック左上がｊ＝０、ｉ＝０、ブロック右下がｊ＝７、ｉ＝７である。ｄｉｆｆ＿ＤＣ＿Ｃｒ、ｄｉｆｆ＿ＤＣ＿ＣｂはＣｒ成分、およびＣｂ成分のＤＣ値がイントラ予測によってどの程度変動したかを定量化したものであり、この値が大きいとイントラ予測による誤差が大きい、逆にこの値が小さいとイントラ予測による誤差が小さいことを示している。

量子化パラメータ決定部１０３は、入力された彩度Ｓａｔ＿Ｃｒ、Ｓａｔ＿Ｃｂ、イントラ予測誤差ブロックのＤＣ値ｄｉｆｆ＿ＤＣ＿Ｃｒ、ｄｉｆｆ＿ＤＣ＿Ｃｂ、およびＱｐ＿ｐｉｃより、以下の３つの条件が同時に成立するときに、当該マクロブロックにおいてイントラ予測誤差伝播が発生すると判断する。

（１）Ｓａｔ＿Ｃｒ≦ｔｈｒ＿Ｓａｔ、かつＳａｔ＿Ｃｂ≦ｔｈｒ＿Ｓａｔ
（２）ｄｉｆｆ＿ＤＣ＿Ｃｒ＞ｔｈｒ＿ｄｉｆｆ＿ＤＣ、あるいは ｄｉｆｆ＿ＤＣ＿Ｃｂ＞ｔｈｒ＿ｄｉｆｆ＿ＤＣ
（３）Ｑｐ＿ｐｉｃ＞ｔｈｒ＿Ｑｐ
イントラ予測誤差伝播が発生すると判断されたマクロブロックに対する量子化パラメータＱｐ＿ＭＢを、以下に設定する。

Ｑｐ＿ＭＢ＝Ｑｐ＿ｐｉｃ−Ｑｐ＿ｏｆｓ
ここで、ｔｈｒ＿Ｓａｔ、ｔｈｒ＿ｄｉｆｆ＿ＤＣはあらかじめ定めた閾値、Ｑｐ＿ｏｆｓはあらかじめ定めたオフセット値である。

従来例の説明で用いた図７のテスト画像を使って、本実施の形態の核となる彩度検出、ＤＣ検出、および量子化パラメータ決定手段を具体的に説明する。

図２、図３を用いて、本実施の形態における、マクロブロック４３０の符号化について説明する。なお、ピクチャ４００に設定された量子化パラメータＱｐ＿ｐｉｃ＝３０とする。様々なテスト画像を用いて検討した結果、本実施の形態では、量子化パラメータ決定部１０３におけるイントラ予測誤差伝播検出に関する閾値を、それぞれ、ｔｈｒ＿Ｓａｔ＝１６、ｔｈｒ＿ｄｉｆｆ＿ＤＣ＝３２、ｔｈｒ＿Ｑｐ＝２６、Ｑｐ＿ｏｆｓ＝６に設定する。

まず、彩度算出部１３０はマクロブロック４３０の彩度Ｓａｔ＿Ｃｒ、およびＳａｔ＿Ｃｂを算出する。ＧｒａｙＬｅｖｅｌ＝５１２であるから、図８に示したマクロブロック４３０のＣｒ、Ｃｂ成分の画素値より、Ｓａｔ＿Ｃｒ＝（６４×｜５１２−５１２｜）／６４＝０、Ｓａｔ＿Ｃｂ＝（６４×｜５１２−５１２｜）／６４＝０となる。

次に、ＤＣ算出部１３１はイントラ予測誤差ブロックのＤＣ値ｄｉｆｆ＿ＤＣ＿Ｃｒ、ｄｉｆｆ＿ＤＣ＿Ｃｂを算出する。マクロブロック４３０のイントラ予測に用いる周辺画素は、直前のマクロブロック４２０の再生画素である。マクロブロック４２０のＣｒ、Ｃｂ成分が劣化なく再生されたとして、図２（ａ）に、マクロブロック４３０に対応するＣｒ成分のイントラ予測ブロックの画素値を、図２（ｂ）に、Ｃｂ成分のイントラ予測ブロックの画素値を示す。同図より、ｄｉｆｆ＿ＤＣ＿Ｃｒ＝（６４×｜５７６−５１２｜）／６４＝６４、ｄｉｆｆ＿ＤＣ＿Ｃｂ＝（６４×｜５１２−５１２｜）／６４＝０となる。

このとき、マクロブロック４３０は前述のイントラ予測誤差伝播発生の３つの条件を同時に満たしているため、当該マクロブロックにはＱｐ＿ＭＢ＝３０−６＝２４が設定される。このときの画素値の変化を、Ｃｒ成分に着目して説明する。

図２（ｃ）において、画素波形２３１は、マクロブロック４３０のＣｒ成分の画素を示している。周辺画素波形２２５は、イントラ予測に用いる周辺画素を示しており、これは、マクロブロック４２０の再生画素である。図２（ｄ）に、最適予測モードが０（ＤＣ予測）に選択された時の予測ブロック画素波形２３２を示す。図２（ｅ）に、マクロブロック画素波形２３１と、イントラ予測ブロック画素波形２３２との差分演算によって得られる予測誤差ブロック画素波形２３３を示す。この予測誤差ブロック画素波形２３３が符号化の対象となる。マクロブロック４３０は、量子化パラメータ決定部１０３においてイントラ予測誤差伝播ブロックと判断され、Ｑｐ＿ＭＢは２４に設定される。Ｈ．２６４において、Ｑｐが６小さくなると量子化ステップが１／２になる。Ｑｐ＝３０では６４以下のデータは量子化により０となるが、Ｑｐ＝２４とすると量子化ステップが１／２になるため、３２より大きいデータを復元することができる。これにより、図２（ｆ）で示すように、従来例では量子化で失われていた予測誤差ブロックの情報を復元することができる（画素波形２３４）。図２（ｇ）に、マクロブロック画素波形２３１の復号画素波形２３５を示す。従来例ではイントラ予測ブロックの形状がそのまま現れ、原画状態では背景であった部分にオブジェクト４１０の画素が拡散されていた。これに対し、本実施の形態では、原画状態での背景が再現され、オブジェクト４１０の画素の拡散を抑制していることがわかる。

続いて、本実施の形態における、マクロブロック４４０の符号化について説明する。

まず、マクロブロック４４０の彩度Ｓａｔ＿Ｃｒ、およびＳａｔ＿Ｃｂを算出する。ＧｒａｙＬｅｖｅｌ＝５１２であるから、図８に示した、マクロブロック４４０のＣｒ、Ｃｂ成分の画素値より、Ｓａｔ＿Ｃｒ＝（６４×｜５１２−５１２｜）／６４＝０、Ｓａｔ＿Ｃｂ＝（６４×｜５１２−５１２｜）／６４＝０となる。次に、イントラ予測誤差ブロックのＤＣ値ｄｉｆｆ＿ＤＣ＿Ｃｒ、ｄｉｆｆ＿ＤＣ＿Ｃｂを算出する。マクロブロック４４０のイントラ予測に用いる周辺画素は、直前のマクロブロック４３０の再生画素であり、これは、図２（ｇ）で説明した画素波形２３５である。図３（ａ）、（ｂ）に、マクロブロック４４０に対応するイントラ予測ブロックの画素値を、Ｃｒ成分、Ｃｂ成分それぞれについて示す。同図より、ｄｉｆｆ＿ＤＣ＿Ｃｒ＝（６４×｜５１２−５１２｜）／６４＝０、ｄｉｆｆ＿ＤＣ＿Ｃｂ＝（６４×｜５１２−５１２｜）／６４＝０となる。このとき、マクロブロック４４０は前述のイントラ予測誤差伝播発生の３つの条件を同時に満たしていないため、当該マクロブロックにはＱｐの補正は行われず、Ｑｐ＿ＭＢ＝３０が設定される。このときの画素値の変化を、Ｃｒ成分に着目して説明する。

図３（ｃ）において、画素波形２４１は、マクロブロック４４０のＣｒ成分の画素を示している。周辺画素は、マクロブロック４３０の再生画素であり、これは、図２（ｇ）で説明した画素波形２３５である。図３（ｄ）に、最適予測モードが０（ＤＣ予測）に選択された時のイントラ予測ブロック画素波形２４２を示す。図３（ｅ）に、マクロブロック画素波形２４１と、イントラ予測ブロック画素波形２４２との差分演算によって得られる予測誤差ブロック画素波形２４３を示す。この予測誤差ブロック画素波形２４３が符号化の対象となるが、予測誤差は０のため、量子化処理を行っても０となり、図３（ｆ）に示すように復元差分ブロックの画素波形２４４も０となる。図３（ｇ）に、マクロブロック画素波形２４１の復号画素波形２４５を示す。従来例では、原画状態では背景であった部分にオブジェクト４１０の画素が拡散されていた。これに対し、本実施の形態においては、原画状態での背景が再現され、オブジェクト４１０の画素の拡散を抑制していることがわかる。

以上より、本実施の形態においては、対象マクロブロックの色差成分に対して検出した彩度、イントラ予測誤差のＤＣ値、およびピクチャ量子化パラメータより、対象マクロブロックのイントラ予測誤差伝播の発生度合いを検出して、その発生度合いにより、対象マクロブロックの量子化パラメータを制御することで、主観的に望ましくないイントラ予測誤差の画面内伝播を抑制することができる。

なお、本実施の形態において、視覚感度として彩度を用いたが、本発明はこれに限定されない。例えば、輝度を視覚感度として用いても構わない。また、対象マクロブロックの彩度検出、ＤＣ値検出、および量子化パラメータ決定をソフトウェアで実現してもよい。

本実施の形態における動画像圧縮符号化装置は、Ｈ．２６４符号化において、イントラ予測誤差の画面内伝播を抑制し、主観画質をあげることができるため、同方式を採用したＡＶ機器、およびノンリニア編集機で動作するソフトエンコーダなどに有用である。特に、インターネットストリーミング等の低ビットレート符号化での適応処理に利用できる。

１００、３００ 入力部
１０１、３０１ 差分演算部
１０２、３０２ 変換部
１０３ 量子化パラメータ決定部
１０４、３０４ 量子化部
１０５、３０５ エントロピー符号化部
１０６、３０６ 出力部
１０７、３０７ イントラ予測モード検出部
１１０、３１０ ローカルデコーダ
１１１、３１１ 逆量子化部
１１２、３１２ 逆変換部
１１３、３１３ 加算演算部
１１４、３１４ バッファ
１１５、３１５ イントラ予測部
１２０、３２０ 入力画像
１２１、３２１ イントラ予測画像
１３０ 彩度算出部
１３１ ＤＣ算出部
２２５、２３１、２３２、２３３、２３４、２３５、２４１、２４２、２４３、２４４、２４５、４２５、４３１、４３２、４３３、４３４、４３５、４３６、４４１、４４２、４４３、４４４、４４５、４４６ 画素波形
４００ 符号化対象画像
４０１、４０２、４０３、４０４ スライス
４１０ オブジェクト
４２０、４３０、４４０ マクロブロック
５００、５０１、５０２、５０３、５０４、５０５ マクロブロック内画素
５１０ 符号化対象ブロック
５１１ イントラ予測に用いる周辺画素

Claims (1)

1. イントラ予測符号化を用いて入力画像を符号化する画像符号化装置であって、
   符号化対象ブロックの彩度または輝度である視覚感度を検出する視覚感度検出部と、
   前記符号化対象ブロックと、前記符号化対象ブロックに対応する予測ブロックとの差分演算を行い、算出した差分ブロックに対しブロックＤＣ値を算出する予測変移検出部と、
   前記視覚感度検出部で検出した前記視覚感度が所定の第一の閾値より小さく、かつ、前記予測変移検出部で検出した前記ブロックＤＣ値が所定の第二の閾値より大きく、かつあらかじめ設定したピクチャ量子化パラメータが所定の第三の閾値より大きいとき、前記符号化対象マクロブロックの量子化パラメータを、前記ピクチャ量子化パラメータより小さくする量子化パラメータ決定部と、
   を備える画像符号化装置。

Images