JP2024123792A - 画像処理装置、画像処理方法、エンコーダ、デコーダ、画像処理プログラム、及び画像処理システム - Google Patents

Abstract

【課題】画像における輝度値についての交流成分の予測精度を向上できるようにする。
【解決手段】所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出するエンコーダ１０において、鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出し、前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により第１鞍型交流成分を推定する交流成分予測部１４を備えるように構成する。
【選択図】図１

Description

本発明は、静止画像や動画像等の画像を処理する技術に関する。

従来、画像データの容量を抑えるために画像圧縮処理が行われている。例えば、画像圧縮処理の要素技術として、交流成分予測が知られている。

交流成分予測は、画像平面上に設定されたブロックのうち、対象ブロックおよびその周辺ブロックの直流成分を参照することにより対象ブロック上の交流成分を予測する処理である。交流成分予測により予測された交流成分は、対象ブロック上に存在する子ブロックの生成に用いることができる。これについては、例えば、非特許文献１に記載されている。

また、既に求まった子ブロックの情報を対象ブロックの予測に逐次利用することで予測精度を高める方法が非特許文献２に開示されている。また、周囲のブロックの情報に基づいて交流成分を予測する方法が非特許文献３に開示されている。

また、特許文献１には、水平方向・垂直方向以外の直交する交流成分についても予測することで予測精度を高める技術が開示されている。

ここで、２×２ブロックのアダマール変換には、４つの基底が存在する。本明細書では、４つの規定について、それぞれΜ基底（直流の基底）、α基底（水平方向の基底）、β基底（垂直方向の基底）、γ基底（鞍型の基底）と呼び、それぞれの基底による成分を直流成分、α成分、β成分、γ成分と呼ぶ。ここで、α成分、β成分、γ成分は、交流成分である。例えば、γ成分を予測する交流成分予測について特許文献２に開示されている。

特開２０１１－２３９１９１号公報 特開２０１３－５１６０９号公報

徳永 隆治、フラクタルと画像処理－差分力学系の基礎と応用、コロナ社、２００２ 星月優佑，田中英智，客野一樹，徳永隆治，"ブロック中心値補正及び直流成分保存型フィルタによる交流成分予測の改良," 電子情報通信学会論文誌（A）, Vol. J-92-A, No.1, pp. 62-66 (2009). 小島悠貴，森屋和喜，星月優佑，客野一樹，徳永隆治，"交流成分予測に基づく平均値保存型画像フィルタの改良―１係数族による解析―," 電子情報通信学会論文誌（A）, Vol. J-92-A, No.12, pp. 999-1008 (2009).

画像圧縮処理においては、画像の圧縮率を向上することが要請されており、いかに画像の輝度値の予測精度を向上させるかが重要である。特に、画像における輝度値についての交流成分（例えば、アダマール変換に使用する各基底の成分）の予測精度を向上させることが必要である。

本発明は、上記事情に鑑みなされたものであり、その目的は、画像における輝度値についての交流成分の予測精度を向上する技術を提供することにある。

上記目的を達成するため、第１の観点に係る画像処理装置は、所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出する画像処理装置であって、前記鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出する第１方向交流成分算出部と、前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により第１鞍型交流成分を推定する第１鞍型交流成分推定部と、を備える。

本発明によれば、画像における輝度値についての交流成分の予測精度を向上することができる。

図１は、一実施形態に係る画像処理システムの全体構成図である。 図２は、一実施形態に係るブロック及び子ブロックを説明する図である。 図３は、一実施形態に係るブロックの表記を説明する図である。 図４は、一実施形態に係る縦長の２分ブロックの表記を説明する図である。 図５は、一実施形態に係る横長の２分ブロックの表記を説明する図である。 図６は、一実施形態に係るシーケンシャル処理におけるγ成分予測を説明する図である。 図７は、一実施形態に係るエンコード処理のフローチャートである。 図８は、一実施形態に係るデコード処理のフローチャートである。 図９は、一実施形態に係るコンピュータ装置の構成図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

まず、一実施形態に係る画像処理システムについて説明する。

図１は、一実施形態に係る画像処理システムの全体構成図である。

画像処理システム１は、画像処理装置の一例としてのエンコーダ１０と、画像処理装置の一例としてのデコーダ３０とを備える。エンコーダ１０とデコーダ３０とは、ネットワーク５０を介して接続されている。ネットワーク５０は、例えば、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｏｗｏｒｋ（ＬＡＮ）や、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）等である。

エンコーダ１０は、対象画像入力部１１と、ＤＣ変換部１２と、アダマール変換部１３と、交流成分予測部１４と、予測残差算出部１５と、符号化部１６と、圧縮データ出力部１７と、を有する。ここで、交流成分予測部１４は、第１方向交流成分算出部、第２方向交流成分算出部、第１鞍型交流成分推定部、第２鞍型交流成分推定部、第１子ブロック輝度予測部、及び予測値決定部の一例である。

対象画像入力部１１は、圧縮対象の画像（対象画像）を入力する。対象画像は、例えば、静止画像であってもよく、動画像の１フレームの画像であってもよい。対象画像は、エンコーダ１０内の補助記憶装置１０６（図９参照）から取得するようにしてもよく、或いは、図示しない撮像装置から取得するようにしてもよい。

ＤＣ変換部１２は、対象画像の各画素の輝度値に基づいて、対象画像中の処理対象とするブロック（対象ブロック）における直流成分（Ｍ成分ともいう）を生成する。対象ブロックとしては、例えば、最上位階層（第１階層）のブロックは、１６画素×１６画素である。第１階層よりも下の階層のブロックについては、第２階層のブロックは、８画素×８画素であり、第３階層のブロックは、４画素×４画素であり、第４階層のブロックは、２画素×２画素である。対象ブロックにおける直流成分は、例えば、対象ブロックに含まれる画素の輝度値の平均値である。なお、以下の処理においては、他の機能部がランダムアクセスに対応した構成とした場合には、対象画像中のブロックにおける対象ブロックを任意に決定してもよく、複数の対象ブロックを選択して並行処理してもよい。一方、他の機能部が、対象画像中のブロックについて所定の順番で実行するシーケンシャルアクセスに対応した構成とした場合には、予め決まった順番に従って対象ブロックが決定されるものとする。シーケンシャルアクセスの場合には、例えば、画像中の、左下から横方向のブロックが順次対象ブロックとされ、横方向の全てのブロックを対象ブロックとした後に一段上のブロックについて同様に順次対象ブロックとされる。なお、対象ブロックの順番は、これに限られず、デコーダ３０側との間で共通に認識できる順番であればよい。また、ＤＣ変換部１２は、対象ブロックを構成する複数の子ブロックについての各画素の輝度値に基づいて、各子ブロックの直流成分を算出する。

ここで、各ブロックと子ブロックとの関係と、本明細書でのブロックと、そのブロックとの表記について説明する。

図２は、一実施形態に係るブロック及び子ブロックを説明する図である。

ここで、ブロック６０は、Ｂ［ｘ、ｙ］と表記される。ここで、［ｘ、ｙ］は、ブロックの中心位置を示す。ここで、ブロック６０が対象ブロックの場合には、その中心位置が、原点である［０，０］とされ、Ｂ［０，０］と表記される。ブロック６０は、例えば、２×２の４等分された子ブロックを含む。Ｂ［０，０］の子ブロックは、ｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，１／４］、ｂ［１／４，－１／４］と表記される。子ブロックについても、［］内の値は、子ブロックの中心位置（対象ブロックの中心を原点とする座標系での位置）を示す。ここで、ブロックＢ［］の直流成分（輝度値）は、Ｍ［］と表記され、子ブロックｂ［］の直流成分は、μ［］と表記される。

図３は、一実施形態に係るブロックの表記を説明する図である。

対象ブロックＢ［０，０］の周囲のブロックは、図３に示すように、各ブロックの対象ブロックの中心を原点とした場合の中心位置の座標を使用して、Ｂ［ｘ、ｙ］のように表記される。なお、ｘは、横軸方向（第２方向）の位置を示し、ｙは、縦方向（第１方向）の位置を示す。なお、横方向を第２方向とし、縦方向を第１方向としているが、横方向を第１方向とし、縦方向を第２方向としてもよい。例えば、Ｂ［０，０］の左隣のブロックは、Ｂ［－１，０］であり、右隣のブロックは、Ｂ［１，０］であり、真上のブロックは、Ｂ［０，１］であり、真下のブロックは、Ｂ［０，－１］である。なお、対象ブロックＢ［０，０］が画像の端である場合等のように、画像に対応するブロックが存在しない場合があるが、この場合には、仮想的なブロックを想定するようにすればよい。また、この場合には、仮想的なブロックの直流成分の値としては、所定の値、例えば、黒に相当する値や、画像の端と同じ値としてもよい。

図４は、一実施形態に係る縦長の２分ブロックの表記を説明する図である。

ブロックＢを横方向（第２方向）について２分した縦長の部分ブロック（２分ブロック：第１方向長２分ブロック）について、Ｂ_Ｈ［ｘ，ｙ］と表記される。ここで、［ｘ、ｙ］は、２分ブロックの中心位置を示す。例えば、Ｂ［０，０］を横方向について２分した２分ブロックは、Ｂ_Ｈ［－１／４，０］、Ｂ_Ｈ［１／４，０］と表記され、Ｂ［０，１］を横方向について２分した２分ブロックは、Ｂ_Ｈ［－１／４，１］、Ｂ_Ｈ［１／４，１］と表記される。ここで、ブロックＢ_Ｈ［］の直流成分（輝度値）は、Ｍ_Ｈ［］と表記される。

図５は、一実施形態に係る横長の２分ブロックの表記を説明する図である。

ブロックＢを縦方向（第１方向）について２分した横長の部分ブロック（２分ブロック：第２方向長２分ブロック）について、Ｂ_Ｖ［ｘ，ｙ］と表記される。ここで、［ｘ、ｙ］は、２分ブロックの中心位置を示す。例えば、Ｂ［０，０］を縦方向について２分した２分ブロックは、Ｂ_Ｖ［０，１／４］、Ｂ_Ｖ［０，－１／４］と表記され、Ｂ［１，０］を縦方向について２分した２分ブロックは、Ｂ_Ｖ［１，１／４］、Ｂ_Ｖ［１，－１／４］と表記される。ここで、ブロックＢ_Ｖ［］の直流成分（輝度値）は、Ｍ_Ｖ［］と表記される。

図１の説明に戻り、アダマール変換部１３は、対象ブロックの直流成分Ｍと、横方向の交流成分であるα成分（第２方向交流成分）と、縦方向の交流成分であるβ成分（第１方向交流成分）と、斜め方向の交流成分であるγ成分（鞍型交流成分）とを算出するアダマール変換を行う。なお、直流成分Ｍは、対象ブロックの直流成分と同一であるので、計算により算出する必要はない。

ここで、対象ブロックＢ［０，０］の直流成分Ｍ［０，０］、交流成分α［０，０］、交流成分β［０，０］、交流成分γ［０，０］は、対象ブロックの子ブロックｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，１／４］、ｂ［１／４，－１／４］の直流成分μ［－１／４，１／４］、μ［－１／４，－１／４］、μ［１／４，１／４］、μ［１／４，－１／４］により、以下の式（１）に示すように表すことができる。なお、γ成分は、対象ブロックを２×２の子ブロックに分割した場合の対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分ということができる。

交流成分予測部１４は、交流成分予測により対象ブロックＢ［０，０］についての各交流成分の予測値α^～［０，０］、β^～［０，０］、γ^～［０，０］を算出する。ここで、α^～は、記号の直上に「～」を配置した記号と同様のものである。ここで、交流成分予測は、対象ブロックの子ブロックの直流成分μ［－１／４，１／４］、μ［－１／４，－１／４］、μ［１／４，１／４］、μ［１／４，－１／４］の少なくとも一部が未知である場合に、各交流成分を予測する技術である。

交流成分予測部１４は、対象ブロックＢ［０，０］についての交流成分の予測値α^～［０，０］、β^～［０，０］について、複数のブロックの直流成分を用いて、公知の技術により予測する。

また、交流成分予測部１４は、対象ブロックＢ［０，０］についてのγ成分の予測値γ^～［０，０］を予測する。γ成分の交流成分予測としては、エンコード時に把握可能な一部の子ブロックの直流成分を使用せずに算出する方法（第１予測方法）と、エンコード時に把握可能な一部の子ブロックの直流成分を使用して算出する方法（第２予測方法）との２つがある。

＜把握可能な一部の子ブロックの直流成分を使用せずにγ成分の予測値を算出する方法（第１予測方法）＞
まず、把握可能な一部の子ブロックの直流成分を使用せずにγ成分の予測値を算出する方法について説明する。

＜＜縦長の２分ブロックの直流成分の予測＞＞
交流成分予測部１４は、ブロックＢ［０，ｙ］を、横方向において２分割した縦長の２分ブロックＢ_Ｈ［－１／４，ｙ］とＢ_Ｈ［１／４，ｙ］との直流成分の予測値であるＭ^～ _Ｈ［－１／４，ｙ］とＭ^～ _Ｈ［１／４，ｙ］とを横方向に並ぶブロックの直流成分を用いて予測する。例えば、交流成分予測部１４は、Ｍ^～ _Ｈ［－１／４，ｙ］とＭ^～ _Ｈ［１／４，ｙ］を以下の式（２）、式（３）により予測する。ここで、ｙは、以降の処理で使用する範囲であり、本例では、例えば、－２～２の整数である。なお、予測方法は、これに限られず、例えば、式（２）、（３）の右辺第２項に代えて、（Ｍ［１，ｙ］－Ｍ［－１，ｙ］）／８としてもよい。

ここで、式（２），式（３）のα^～ _Ｈθ［０，ｙ］は、以下に示す式（４）に示す通りである。

ここで、α^～ _Ｈ１［０，ｙ］は、以下に示す式（５）に示す通りであり、θ^～ _Ｈ１［０，ｙ］は、式（６）に示す通りである。また、ｓｉｇｎ（ｘ）は、式（７）に示す通りであり、ｍｉｎ（）は、最も小さい値を返す関数であり、ｍａｘ（）は、最も大きい値を返す関数である。

ここで、式（２）のＭ^～ _Ｈ［－１／４，ｙ］は、非特許文献３の式（１０）における子ブロックの直流成分Ｖ_ＵＬと、Ｖ_ＢＬとの平均に対応するので、これらの関係に基づいて、α^～ _Ｈ１［０，ｙ］は、式（５）に示すように表される。なお、κは、交流成分予測の強度であり、非特許文献３のλに対応する。本実施形態では、κは、１より小さい値であり、例えば、１／４としてもよい。また、式（３）のＭ^～ _Ｈ［１／４，ｙ］は、非特許文献３の式（１０）における子ブロックの直流成分Ｖ_ＵＲと、Ｖ_ＢＲとの平均に対応するので、これらの関係に基づいて、上記同様のα^～ _Ｈ１［０，ｙ］により表すことができる。式（５）は、Ｍ^～ _Ｈ［－１／４，ｙ］と、Ｍ［０，ｙ］との差を予測する方法の一例である。

また、式（６）は、Ｂ［０、ｙ］の左側のＢ［－２，ｙ］とＢ［－１，ｙ］との直流成分の差と、Ｂ［－１，ｙ］とＢ［０，ｙ］との直流成分の差との大きい方の値と、Ｂ［０，ｙ］の右側のＢ［２，ｙ］とＢ［１，ｙ］との直流成分の差と、Ｂ［１，ｙ］とＢ［０，ｙ］との直流成分の差との大きい方の値と、を算出し、これらの値の中の小さい値が、θ^～ _Ｈ１［０，ｙ］であることを示している。式（６）により、横方向に並ぶブロックにおける直流成分の差が極端に表れる部分の値を制限し、直流成分の差が極端に表れることの影響を抑制することができる。式（６）は、Ｍ^～ _Ｈ［－１／４，ｙ］と、Ｍ［０，ｙ］との差を予測する方法の他の例である。

また、式（４）によると、α^～ _Ｈ１［０，ｙ］とθ^～ _Ｈ１［０，ｙ］とのうちの小さい値を、α^～ _Ｈ１［０，ｙ］と同じ符号とすることにより、α^～ _Ｈθ［０，ｙ］としている。これにより、Ｍ^～ _Ｈ［－１／４，ｙ］と、Ｍ［０，ｙ］との差を予測する２つの方法の中で差が大きく出ない予測方法の値を選択していることになる。

＜＜縦長の２分ブロックの直流成分の予測値に基づく子ブロックの直流成分の予測＞＞
次に、交流成分予測部１４は、２分ブロックＢ_Ｈ［－１／４，ｙ］とＢ_Ｈ［１／４，ｙ］との直流成分の予測値であるＭ^～ _Ｈ［－１／４，ｙ］とＭ^～ _Ｈ［１／４，ｙ］とを用いて、各子ブロックｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，１／４］、ｂ［１／４，－１／４］の直流成分の予測値μ^～ _Ｈ［－１／４，１／４］、μ^～ _Ｈ［－１／４，－１／４］、μ^～ _Ｈ［１／４，１／４］、μ^～ _Ｈ［１／４，－１／４］を予測する。本実施形態では、交流成分予測部１４は、以下の式（８）～（１１）により、各子ブロックの直流成分の予測値を算出する。

ここで、式（８）～（１１）のβ^～ _Ｈθ［ｘ，０］は、以下に示す式（１２）に示す通りである。また、式（１２）のβ^～ _Ｈ１［ｘ，０］は、以下に示す式（１３）に示す通りであり、θ^～ _Ｈ１［ｘ，０］は、式（１４）に示す通りである。

ここで、式（１３）は、式（５）と同様な処理を、２分ブロックを用いて縦方向に行ったことに相当し、式（１４）は、式（６）と同様な処理を、２分ブロックを用いて縦方向に行ったことに相当する。

＜＜縦長の２分ブロックを用いたγ成分の予測値の算出＞＞
次いで、交流成分予測部１４は、各子ブロックの直流成分の予測値μ^～ _Ｈ［－１／４，１／４］、μ^～ _Ｈ［－１／４，－１／４］、μ^～ _Ｈ［１／４，１／４］、μ^～ _Ｈ［１／４，－１／４］を式（１）に代入することにより、γ成分の予測値であるγ^～ _Ｈ［０，０］を算出する。

ここで、γ^～ _Ｈ［０，０］は、以下の式（１５）に示すように表すことができる。

例えば、式（１５）に、式（８）～（１１）を代入すると、γ^～ _Ｈ［０，０］は、以下の式（１６）に示すよう表すことができる。

式（１６）を参照すると、γ成分の予測値であるγ^～ _Ｈ［０，０］は、β^～ _Ｈθ［－１／４，０］と、β^～ _Ｈθ［１／４，０］とから算出できることが分かる。
そこで、交流成分予測部１４は、β^～ _Ｈθ［－１／４，０］と、β^～ _Ｈθ［１／４，０］とを算出し、式（１６）により、γ^～ _Ｈ［０，０］を算出するようにしてもよい。

＜＜横長の２分ブロックの直流成分の予測＞＞
次に、交流成分予測部１４は、各子ブロックｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，１／４］、ｂ［１／４，－１／４］の直流成分の予測値を上記した交流成分予測と違う方法で予測する。ここで、以下の方法で予測した各子ブロックの直流成分をμ^～ _Ｖ［－１／４，１／４］、μ^～ _Ｖ［－１／４，－１／４］、μ^～ _Ｖ［１／４，１／４］、μ^～ _Ｖ［１／４，－１／４］と表記する。

ここで、以下の交流成分予測は、上記した交流成分予測と同様な処理を、処理における縦と横の関係を入れ替えて、すなわち、座標系を９０度回転させて行う方法である。

そこで、交流成分予測部１４は、ブロックＢ［０，ｙ］を、縦方向において２分割した横長の２分ブロックＢ_Ｖ［ｘ，－１／４］とＢ_Ｖ［ｘ，１／４］との直流成分の予測値であるＭ^～ _Ｖ［ｘ，－１／４］とＭ^～ _Ｖ［ｘ，１／４］とを以下の式（１７）、式（１８）により予測する。ここで、ｘは、以降の処理で使用する範囲であり、本例では、例えば、－２～２の整数である。

ここで、式（１７），式（１８）のβ^～ _Ｖθ［ｘ，０］は、以下に示す式（１９）に示す通りである。

ここで、β^～ _Ｖ１［ｘ，０］は、以下に示す式（２０）に示す通りであり、θ^～ _Ｖ１［ｘ，0］は、式（２１）に示す通りである。

＜＜横長の２分ブロックの直流成分の予測値に基づく子ブロックの直流成分の予測＞＞
次に、交流成分予測部１４は、２分ブロックＢ_Ｖ［ｘ，－１／４］とＢ_Ｖ［ｘ，１／４］との直流成分の予測値であるＭ^～ _Ｖ［ｘ，－１／４］とＭ^～ _Ｖ［ｘ，１／４］とを用いて、各子ブロックｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，１／４］、ｂ［１／４，－１／４］の直流成分の予測値μ^～ _Ｖ［－１／４，１／４］、μ^～ _Ｖ［－１／４，－１／４］、μ^～ _Ｖ［１／４，１／４］、μ^～ _Ｖ［１／４，－１／４］を予測する。本実施形態では、交流成分予測部１４は、以下の式（２２）～（２５）により、各子ブロックの直流成分の予測値を算出する。

ここで、式（２２）～（２５）のα^～ _Ｖθ［０，ｙ］は、以下に示す式（２６）に示す通りである。なお、α^～ _Ｖθ［］は、Ｂ［］のα成分の予測値である。また、式（２６）のα^～ _Ｖ１［０，ｙ］は、以下に示す式（２７）に示す通りであり、θ^～ _Ｖ１［０，ｙ］は、式（２８）に示す通りである。

ここで、式（２７）は、式（２０）と同様な処理を、２分ブロックを用いて横方向に行ったことに相当し、式（２８）は、式（２１）と同様な処理を、２分ブロックを用いて横方向に行ったことに相当する。

＜＜横長の２分ブロックを用いたγ成分の予測値の算出＞＞
次いで、交流成分予測部１４は、各子ブロックの直流成分の予測値μ^～ _Ｖ［－１／４，１／４］、μ^～ _Ｖ［－１／４，－１／４］、μ^～ _Ｖ［１／４，１／４］、μ^～ _Ｖ［１／４，－１／４］を式（１）に代入することにより、γ成分の予測値であるγ^～ _Ｖ［０，０］を算出する。具体的には、γ^～ _Ｖ［０，０］を、以下の式（２９）により算出する。

ここで、式（２９）に対して、式（２２）～（２５）を代入すると、γ^～ _Ｖ［０，０］は、以下の式（３０）に示すように表すことができる。

式（３０）からわかるように、γ^～ _Ｖ［０，０］は、α成分の予測値であるα^～ _Ｖθ［０，－１/４］と、α^～ _Ｖθ［０，１/４］とを用いて算出することができる。したがって、交流成分予測部１４は、上記した計算ではなく、式（３０）により、γ^～ _Ｖ［０，０］を算出するようにしてもよい。

次いで、交流成分予測部１４は、γ^～ _Ｈ［０，０］と、γ^～ _Ｖ［０，０］とに基づいて、最終的なγ成分の予測値γ^～［０，０］を決定する。例えば、交流成分予測部１４は、以下の式（３１）に示すように単純平均により算出してもよいし、γ^～ _Ｈ［０，０］と、γ^～ _Ｖ［０，０］との重みを変えた加重平均により算出してもよい。

上記した把握可能な一部の子ブロックの直流成分を使用せずにγ成分の予測値を算出する方法によると、子ブロックの直流成分が算出されていなくても対象ブロックのγ成分の予測値を算出することができる。したがって、画像に含まれる各ブロックをランダムに処理することもできるし、複数のブロックを並列に処理することもできる。

＜把握可能な一部の子ブロックの直流成分を使用してγ成分の予測値を算出する方法（第２予測方法）＞
次に、把握可能な一部の子ブロックの直流成分を使用してγ成分の予測値を算出する方法について説明する。ここで、把握可能な子ブロックとは、エンコードを行う際に、対象ブロックのγ成分の予測値を算出するまでに処理が実行されて直流成分が算出されている子ブロックを意味している。

まず、対象画像の圧縮データをデコード及びエンコードするシーケンシャル処理における対象ブロックの処理の順番及び処理により把握される子ブロックの直流成分について説明する。

図６は、一実施形態に係るシーケンシャル処理における対象ブロックを処理する場合に把握可能な子ブロックの直流成分を説明する図である。

シーケンシャル処理においては、例えば、対象ブロックを画像の左下のブロックから右側に変更して処理をし、右端まで処理をしたら一つ上の段の左端のブロックを対象ブロックとして処理をする。この場合、例えば、対象ブロックＢ［０，０］を処理する際には、デコード時においても、下側のブロックであるＢ［０，－１］の子ブロックｂ［－１／４，－３／４］、ｂ［１／４，－３／４］と、左側のＢ［－１，０］の子ブロックｂ［－３／４，１／４］、ｂ［－３／４，－１／４］とについての直流成分を把握することができる。本例では、把握可能な子ブロックであるｂ［－１／４，－３／４］、ｂ［１／４，－３／４］、ｂ［－３／４，１／４］、ｂ［－３／４，－１／４］の直流成分を、γ成分の予測値の予測に使用する。

次に、把握可能な一部の子ブロックの直流成分を使用してα、β成分の予測値を算出する方法について説明する。

非特許文献２に記載されている技術を用いると、対象ブロックＢ［０，０］の子ブロックの直流成分の予測値μ^～［－１／４，－１／４］、μ^～［－１／４，１／４］、μ^～［１／４，－１／４］、μ^～［１／４，１／４］は、把握可能な一部の子ブロックを用いて、以下の式（３２）～（３５）に示すように表すことができる。ここで、Ｍ’［－１，０］、Ｍ’［－１，０］は、把握可能な子ブロックの直流成分を使用して表されるブロックの輝度値であり、式（３６）、（３７）に示すように表される。

式（３２）～（３５）を、式（１）に代入してアダマール変換すると、α成分の予測値α^～［０，０］は、以下の式（３８）に示すように表され、β成分の予測値β^～［０，０］は、以下の式（３９）に示すように表される。

ここで、子ブロックｂ［－３／４，－１／４］、ｂ［－３／４，１／４］の輝度値の係数が等しいから、２分ブロックＢ_Ｈ［－３／４，０］の輝度値は、以下の式（４０）に示すように表される。

したがって、α成分の予測値α^～［０，０］は、式（３８）を、式（４０）を用いて変換すると、式（４１）に示すように表すことができる。

また、子ブロックｂ［－１／４，－３／４］、ｂ［１／４，－３／４］の輝度値の係数が等しいから、２分ブロックＢ_Ｖ［０，－３／４］の輝度値は、以下の式（４２）に示すように表される。

したがって、β成分の予測値β^～［０，０］は、式（３９）を、式（４２）を用いて変換すると、式（４３）に示すように表すことができる。

そこで、交流成分予測部１４は、式（４１）により、α^～［０，０］を算出し、式（４３）により、β^～［０，０］を算出する。

＜＜γ成分の予測＞＞
＜＜＜縦長の２分ブロックの直流成分の予測＞＞＞
交流成分予測部１４は、ブロックＢ［０，ｙ］を、横方向において２分割した縦長の２分ブロックＢ_Ｈ［－１／４，ｙ］とＢ_Ｈ［１／４，ｙ］との直流成分の予測値であるＭ^～ _Ｈ［－１／４，ｙ］とＭ^～ _Ｈ［１／４，ｙ］とを横方向に並ぶブロックの直流成分を用いて予測する。なお、Ｂ_Ｈ［－１／４，ｙ］とＢ_Ｈ［１／４，ｙ］との直流成分の予測は、第１予測方法と同様な方法でもよいし、違う方法でもよい。

＜＜縦長の２分ブロックの直流成分の予測値と、把握可能な子ブロックの直流成分と、に基づく子ブロックの直流成分の予測＞＞
次に、交流成分予測部１４は、２分ブロックＢ_Ｈ［－１／４，ｙ］とＢ_Ｈ［１／４，ｙ］との直流成分の予測値であるＭ^～ _Ｈ［－１／４，ｙ］とＭ^～ _Ｈ［１／４，ｙ］と、把握可能な子ブロックｂ［－１／４，－３／４］、ｂ［１／４，－３／４］の直流成分μ［－１／４，－３／４］、μ［１／４，－３／４］とを用いて、各子ブロックｂ［－１／４，－１／４］、ｂ［１／４，－１／４］、ｂ［－１／４，１／４］、ｂ［１／４，１／４］の直流成分の予測値μ^～ _Ｈ［－１／４，－１／４］、μ^～ _Ｈ［１／４，－１／４］、μ^～ _Ｈ［－１／４，１／４］、μ^～ _Ｈ［１／４，１／４］を予測する。本実施形態では、交流成分予測部１４は、以下の式（４４）～（４７）により、各子ブロックの直流成分の予測値を算出する。

次いで、交流成分予測部１４は、第１予測方法と同様な方法により、γ成分の予測値であるγ^～ _Ｈ［０，０］を算出する。

＜＜横長の２分ブロックの直流成分の予測＞＞
交流成分予測部１４は、ブロックＢ［ｘ，０］を、縦方向において２分割した横長の２分ブロックＢ_Ｖ［ｘ，－１／４］とＢ_Ｖ［ｘ，１／４］との直流成分の予測値であるＭ^～ _Ｖ［ｘ，－１／４］とＭ^～ _Ｖ［ｘ，１／４］とを縦方向に並ぶブロックの直流成分を用いて予測する。なお、Ｂ_Ｖ［ｘ，－１／４］とＢ_Ｖ［ｘ，１／４］との直流成分の予測は、第１予測方法と同様な方法でもよいし、違う方法でもよい。

＜＜＜横長の２分ブロックの直流成分の予測値と、把握可能な子ブロックの直流成分と、に基づく子ブロックの直流成分の予測＞＞
次に、交流成分予測部１４は、２分ブロックＢ_Ｖ［ｘ，－１／４］とＢ_Ｖ［ｘ，１／４］との直流成分の予測値であるＭ^～ _Ｖ［ｘ，－１／４］とＭ^～ _Ｖ［ｘ，１／４］と、把握可能な子ブロックｂ［－３／４，－１／４］、ｂ［－３／４，１／４］の直流成分μ［－３／４，－１／４］、μ［－３／４，１／４］とを用いて、各子ブロックｂ［－１／４，１／４］、ｂ［－１／４，－１／４］、ｂ［１／４，－１／４］、ｂ［１／４，１／４］の直流成分の予測値μ^～ _Ｖ［－１／４，－１／４］、μ^～ _Ｖ［１／４，－１／４］、μ^～ _Ｖ［－１／４，１／４］、μ^～ _Ｖ［１／４，１／４］を予測する。本実施形態では、交流成分予測部１４は、以下の式（４８）～（５１）により、各子ブロックの直流成分の予測値を算出する。

次いで、交流成分予測部１４は、第１予測方法と同様な方法により、γ成分の予測値であるγ^～ _Ｖ［０，０］を算出する。

次いで、交流成分予測部１４は、第１予測方法と同様な方法により、γ^～ _Ｈ［０，０］とγ^～ _Ｖ［０，０］とに基づいて最終的なγ成分の予測値であるγ^～［０，０］を算出する。

上記した把握可能な一部の子ブロックの直流成分を使用してγ成分の予測値を算出する方法によると、把握可能な子ブロックの実際の直流成分を使用しているので、より精度よくγ成分を予測することができる。

予測残差算出部１５は、各階層の各対象ブロックに対する各交流成分についての予測残差ｅを算出する。本実施形態では、各対象ブロックについてのα成分、β成分、γ成分に対する予測残差ｅ_α、ｅ_β、ｅ_γは、以下の式（５２）、（５３）、（５４）で算出している。なお、β成分に対する予測残差ｅ_βを算出する処理は、α成分に対する予測残差ｅ_αを算出する処理における座標系を９０度回転させた状態で同様な処理を行うようにすればよい。
予測残差ｅ_α［０，０］＝α［０，０］－α^～［０，０］ ・・・（５２）
予測残差ｅ_β［０，０］＝β［０，０］－β^～［０，０］ ・・・（５３）
予測残差ｅ_γ［０，０］＝γ［０，０］－γ^～［０，０］ ・・・（５４）

符号化部１６は、予測残差算出部１５により算出された各階層の各ブロックの予測残差ｅ_α、ｅ_β、ｅ_γに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックに対する圧縮データを生成する。

本実施形態では、符号化部１６は、各ブロックの予測残差ｅ_α、ｅ_β、ｅ_γ、直流成分Ｍに対して、以下の式（５５）に示す関数Ｑ（ｘ）を適用することにより、以下の式（５６）～式（５８）に示す各予測残差を量子化した値（α^・［０，０］、β^・［０，０］、γ^・［０，０］）と、式（５９）に示す直流成分Ｍを量子化した値Ｍ^・［０，０］を得る。

ここで、ｑは、圧縮率を調整する量子化パラメータである。

α^・［０，０］＝Ｑ（ｅ_α［０，０］） ・・・（５６）
β^・［０，０］＝Ｑ（ｅ_β［０，０］） ・・・（５７）
γ^・［０，０］＝Ｑ（ｅ_γ［０，０］） ・・・（５８）
Ｍ^・［０，０］＝Ｑ（Ｍ［０，０］） ・・・（５９）

次いで、符号化部１６は、各ブロックのα^・［０，０］、β^・［０，０］、γ^・［０，０］をエントロピ符号化により圧縮データを作成する。また、符号化部１６は、最上位の各ブロックの直流成分Ｍを量子化したＭ^・［０，０］について公知の圧縮技術により圧縮データを生成する。

圧縮データ出力部１７は、符号化部１６によって生成された圧縮データをデコーダ３０に出力する。ここで、圧縮データには、最上位の各ブロックの直流成分Ｍと、各階層における各ブロックのα、β、γ成分の予測残差ｅ_α、ｅ_β、ｅ_γとの量子化後の値について圧縮されたデータが含まれる。

デコーダ３０は、圧縮データ入力部３１と、復号部３２と、交流成分予測部３３と、交流成分算出部３４と、逆アダマール変換部３５と、画像表示部３６と、を有する。ここで、交流成分予測部３３は、第１方向交流成分算出部、第２方向交流成分算出部、第１鞍型交流成分推定部、第２鞍型交流成分推定部、第１子ブロック輝度予測部、鞍型交流成分算出部、及び予測値決定部の一例である。

圧縮データ入力部３１は、ネットワーク５０を介してエンコーダ１０から送信される圧縮データを入力する。復号部３２は、圧縮データ入力部３１が入力した圧縮データに対して、符号化部１８による符号化に対応する復号を実行することにより、圧縮データを復号する。次いで、符号化部１８は、量子化後の値（α^・［０，０］、β^・［０，０］、γ^・［０，０］、Ｍ^・［０，０］）に対して、逆量子化（Ｑ^－１）を行うことにより、ｅ_α’［０，０］、ｅ_β’［０，０］、ｅ_γ’［０，０］、Ｍ’［０，０］を得る。ここで、逆量子化の式は、例えば、Ｑ^－１（ｘ）＝ｘｑとしてもよい。これにより、最上位の各ブロックの直流成分Ｍと、各階層における各ブロックのα、β、γ成分の予測残差ｅ_α、ｅ_β、ｅ_γの再現値を得ることができる。

交流成分予測部３３は、交流成分予測部１４と同様な処理を実行する。

交流成分算出部３４は、対象ブロックについてのα、β、γ成分を算出する。具体的には、交流成分算出部３４は、以下の式（６０）、（６１）、（６２）に従って、α、β、γ成分の再現値α’［０，０］，β’［０，０］，γ’［０，０］を算出する。
α’［０，０］＝ｅ_α’［０，０］＋α^～［０，０］ ・・・（６０）
β’［０，０］＝ｅ_β’［０，０］＋β^～［０，０］ ・・・（６１）
γ’［０，０］＝ｅ_γ’［０，０］＋γ^～［０，０］ ・・・（６２）

逆アダマール変換部３５は、輝度値算出部の一例であり、交流成分算出部３４により算出された対象ブロックについてのα成分、β成分、γ成分、及び直流成分Ｍに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う。具体的には、逆アダマール変換部３５は、α’［０，０］，β’［０，０］，γ’［０，０］，Ｍ’［０，０］に対して式（６３）を適用することにより、対象ブロックに含まれる各子ブロックの直流成分の再現値μ’［－１／４，－１／４］、μ’［１／４，－１／４］、μ’［－1／４，１／４］、μ’［１／４，１／４］を算出する。

また、逆アダマール変換部３５は、対象ブロックが最下位の対象ブロックである場合には、対象ブロックについてのα成分、β成分、γ成分、及び直流成分Ｍに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。このようにして、逆アダマール変換部３５の処理により、対象画像中の各画素の直流成分が算出される。

画像表示部３６は、表示装置１０８（図９参照）に対して、逆アダマール変換部３５により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示する。

次に、画像処理システム１における処理動作について説明する。

まず、エンコーダ１０によるエンコード処理について説明する。

図７は、一実施形態に係るエンコード処理のフローチャートである。

エンコード処理においては、まず、対象画像入力部１１が、エンコード対象の画像(対象画像)を入力し、ＤＣ変換部１２が、対象ブロックの子ブロックの輝度の直流成分を算出する(ステップＳ１１)。なお、ステップＳ１１を最初に実行する時には、最上位の階層のブロックを対象ブロックとして処理を実行する。

次いで、アダマール変換部１３は、アダマール変換を行って、対象ブロックの輝度の交流成分（α、β、γ成分）と、直流成分Ｍとを算出する(ステップＳ１２)。

次いで、交流成分予測部１４は、対象ブロックについての交流成分（α、β、γ成分）の予測値を算出する（ステップＳ１３）。本実施形態では、ステップＳ１３以降の処理は、まずは、対象ブロックのα成分を対象に実行し、その後、β成分を対象に実行し、その後、γ成分を対象に実行する。

次いで、予測残差算出部１５は、対象ブロックに対する処理対象の交流成分の予測残差ｅ（ｅ_α、ｅ_β、又はｅ_γ）を算出する(ステップＳ１４)。具体的には、予測残差算出部１５は、上述の式（５２）、（５３）、（５４）に従って、予測残差ｅを算出する。

次いで、符号化部１６は、予測残差算出部１５により算出された予測残差ｅに対して、例えば、量子化等の非可逆変換を行い、更に、ハフマン符号化や算術符号化といったエントロピ符号化を施すことにより、対象ブロックの予測残差ｅに対する圧縮データを生成する(ステップＳ１５)。

次いで、ＤＣ変換部１２は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し（ステップＳ１６）、階層内の全てのブロックに対して処理済みでない場合（ステップＳ１６：Ｎ）には、処理をステップＳ１１に進めて、次の対象ブロックに対する処理を実行する。ここで、次の対象ブロックは、予測残差算出部１５が把握可能な一部の子ブロックの直流成分を使用せずにγ成分の予測値を算出する場合においては、任意のブロックでよく、予測残差算出部１５が把握可能な一部の子ブロックの直流成分を使用してγ成分の予測値を算出する場合には、あらかじめ決められた所定の順番に従ったブロックである。一方、階層内の全てのブロックに対して処理済みである場合（ステップＳ１６：Ｙ）には、ＤＣ変換部１２は、１つ下の階層のブロックがあるか否かを判定する(ステップＳ１７)。

この結果、１つ下の階層のブロックがある場合(ステップＳ１７：Ｙ)には、ＤＣ変換部１２は、処理する階層を下位の階層に変更し(ステップＳ１８)、処理をステップＳ１１に進めて、下位の階層におけるブロックに対する処理を実行する。

一方、１つ下の階層のブロックがない場合(ステップＳ１７：Ｎ)には、ＤＣ変換部１２は、処理を終了する。これにより、まずは、α成分についての圧縮データが生成されたこととなる。

次に、エンコーダ１０は、上記したエンコード処理を、β成分を処理対象として実行することにより、β成分に対する圧縮データを生成する。

次に、エンコーダ１０は、上記したエンコード処理を、γ成分を処理対象として実行することにより、γ成分に対する圧縮データを生成する。

次に、エンコーダ１０は、最上位の階層の各ブロックについての直流成分Ｍ（最上位階層のブロックの直流成分Ｍ）について、圧縮データを生成する処理を実行する。直流成分Ｍの圧縮データを生成する処理は、公知の技術を用いることができる。

この後、圧縮データ出力部２０は、α、β、γ成分、及び最上位の階層の各ブロックについての直流成分Ｍについての圧縮データをまとめて、対象画像の圧縮データに含めて、デコーダ３０に出力(送信)する。

このエンコード処理では、上記したγ成分予測を行っているので、予測精度を向上することができる。これにより、予測残差の値を小さくすることができ、輝度の予測残差に対する圧縮効率を向上することができる。

次に、デコーダ３０によるデコード処理について説明する。

図８は、一実施形態に係るデコード処理のフローチャートである。

圧縮データ入力部３１は、ネットワーク５０を介してエンコーダ１０から送信される圧縮データを入力する（ステップＳ３１）。

次いで、復号部３２は、圧縮データ入力部３１が入力した圧縮データを復号する（ステップＳ３２）。これにより、最上位の各ブロックの直流成分Ｍと、各階層における各ブロックの交流成分α、β、γの予測残差ｅ_α、ｅ_β、ｅ_γとを得ることができる。

次いで、交流成分予測部３３は、エンコーダ１０で実行した交流成分予測と同様な処理により対象ブロックについてのα成分の予測値を算出する（ステップＳ３３）。ここで、対象ブロックは、予測残差算出部１５が把握可能な一部の子ブロックの直流成分を使用せずにα成分の予測値を算出した場合においては、任意のブロックでよく、予測残差算出部１５が把握可能な一部の子ブロックの直流成分を使用してα成分の予測値を算出した場合には、エンコーダ１０での処理の実行順と同様な順番で選択される。

次いで、交流成分算出部３４は、対象ブロックについてのα成分を算出する（ステップＳ３４）。

次いで、デコーダ３０は、β成分及びγ成分を算出する（ステップＳ３５）。具体的には、β成分については、ステップＳ３３～ステップＳ３４と同様な処理により、算出することができる。また、γ成分については、ステップＳ３３～ステップＳ３４と同様な処理により、算出することができる。

次いで、交流成分予測部３３は、処理を実行している階層内の全てのブロックに対して処理済みか否かを判定し（ステップＳ３６）、階層内の全てのブロックに対して処理済みでない場合（ステップＳ３６：Ｎ）には、処理をステップＳ３３に進めて、次の対象ブロックに対する処理を実行する。一方、階層内の全てのブロックに対して処理済みである場合（ステップＳ３６：Ｙ）には、逆アダマール変換部３５は、交流成分算出部３４により算出された対象ブロックについてのα成分、β成分、γ成分、及び直流成分Ｍに基づいて、対象ブロックに含まれる各子ブロックの直流成分を算出する逆アダマール変換を行う（ステップＳ３７）。なお、対象ブロックが最下位の対象ブロックである場合、すなわち、２画素×２画素のブロックである場合には、逆アダマール変換部３５は、対象ブロックについてのα成分、β成分、γ成分、及び直流成分Ｍに基づいて、対象ブロックに含まれる各画素の直流成分を算出する。

次いで、交流成分予測部３３は、１つ下の階層のブロックがあるか否かを判定する(ステップＳ３８)。この結果、１つ下の階層のブロックがある場合(ステップＳ３８：Ｙ)には、交流成分予測部３３は、処理する階層を下位の階層に変更し(ステップＳ３９)、処理をステップＳ３３に進めて、下位の階層におけるブロックに対する処理を実行する。

一方、１つ下の階層のブロックがない場合(ステップＳ３８：Ｎ)には、画像表示部３６は、表示装置１０８に対して、逆アダマール変換部３５により算出された対象画像中の各画素の輝度の直流成分に基づいて画像を表示し（ステップＳ４０）、処理を終了する。

上記したデコード処理によると、エンコーダ１０で作成された圧縮データに基づいて、適切に画像を表示することができる。

上記したエンコーダ１０及びデコーダ３０は、それぞれコンピュータ装置により構成することができる。

図９は、一実施形態に係るコンピュータ装置の構成図である。なお、本実施形態では、エンコーダ１０及びデコーダ３０は、別々のコンピュータ装置で構成されているが、これらコンピュータ装置は、同様な構成を有するものとすることができる。したがって、以下の説明では、便宜的に図９に示すコンピュータ装置を用いて、エンコーダ１０及びデコーダ３０を構成するコンピュータ装置について説明することとする。

コンピュータ装置１００は、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎ Ｕｎｉｔ（ＣＰＵ）１０１と、メインメモリ１０２と、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）１０３と、リーダライタ１０４と、通信インターフェース（通信Ｉ／Ｆ）１０５と、補助記憶装置１０６と、入出力インターフェース（入出力Ｉ／Ｆ）１０７と、表示装置１０８と、入力装置１０９とを備える。ＣＰＵ１０１、メインメモリ１０２、ＧＰＵ１０３、リーダライタ１０４、通信Ｉ／Ｆ１０５、補助記憶装置１０６、入出力Ｉ／Ｆ１０７、及び表示装置１０８は、バス１１０を介して接続されている。エンコーダ１０と、デコーダ３０とは、それぞれコンピュータ装置１００に記載の構成要素の一部または全てを適宜選択して構成される。

エンコーダ１０を構成するコンピュータ装置１００において、ＣＰＵ１０１は、補助記憶装置１０６に格納された画像処理プログラムを実行することにより、例えば、対象画像入力部１１、ＤＣ変換部１２、アダマール変換部１３、交流成分予測部１４、予測残差算出部１５、符号化部１６、及び圧縮データ出力部１７を構成する。

デコーダ３０を構成するコンピュータ装置１００において、ＣＰＵ１０１は、補助記憶装置１０６に格納された画像処理プログラムを実行することにより、例えば、圧縮データ入力部３１、復号部３２、交流成分予測部３３、交流成分算出部３４、逆アダマール変換部３５、及び画像表示部３６を構成する。

メインメモリ１０２は、例えば、ＲＡＭ、ＲＯＭ等であり、ＣＰＵ１０１に実行されるプログラム（処理プログラム等）や、各種情報を記憶する。補助記憶装置１０６は、例えば、Ｈａｒｄ ＤＩＳＫ Ｄｒｉｖｅ（ＨＤＤ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等の非一時的記憶デバイス（不揮発性記憶デバイス）であり、ＣＰＵ１０１で実行されるプログラムや、各種情報を記憶する。

ＧＰＵ１０３は、例えば、画像処理等の特定の処理の実行に適しているプロセッサであり、例えば、並列的に行われる処理の実行に適している。本実施形態では、ＧＰＵ１０３は、ＣＰＵ１０１の指示に従って所定の処理を実行する。

リーダライタ１０４は、記録媒体１１１を着脱可能であり、記録媒体１１１からのデータの読み出し、及び記録媒体１１１へのデータの書き込みを行う。記録媒体１１１としては、例えば、ＳＤメモリーカード、ＦＤ（フロッピーディスク：登録商標）、ＣＤ、ＤＶＤ、ＢＤ（登録商標）、フラッシュメモリ等の非一時的記録媒体（不揮発性記録媒体）がある。本実施形態においては、記録媒体１１１に、処理プログラムを格納しておき、リーダライタ１０４により、これを読み出して、利用するようにしてもよい。また、エンコーダ１０を構成するコンピュータ装置１００において、記録媒体１１１に、処理対象の画像データを格納しておき、リーダライタ１０４により、これを読み出して使用するようにしてもよい。また、エンコーダ１０を構成するコンピュータ装置１００において、リーダライタ１０４により、圧縮データを記録媒体１１１に格納するようにしてもよい。また、デコーダ３０を構成するコンピュータ装置１００において、リーダライタ１０４により、記録媒体１１１から圧縮データを読み出して利用するようにしてもよい。

通信Ｉ／Ｆ１０５は、ネットワーク５０に接続されており、ネットワーク５０に接続された他の装置との間でのデータの送受信を行う。

入出力Ｉ／Ｆ１０７は、例えば、マウス、キーボード等の入力装置１０９と接続されている。エンコーダ１０を構成するコンピュータ装置１００において、入出力Ｉ／Ｆ１０７は、入力装置１０９を用いた、エンコーダ１０のユーザによる操作入力を受け付ける。また、デコーダ３０を構成するコンピュータ装置１００において、入出力Ｉ／Ｆ１０７は、入力装置１０９を用いた、デコーダ３０のユーザによる操作入力を受け付ける。

表示装置１０８は、例えば、液晶ディスプレイ等のディスプレイ装置であり、各種情報を表示出力する。表示装置１０８は、例えば、デコーダ３０において、画像表示部３９による画像の表示に使用される。

なお、本発明は、上述の実施形態及び変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、画像を圧縮する際において実施形態に係るγ成分予測を行うようにしていたが、例えば、画像を拡大する場合に、以下に示すように、γ成分予測を利用することもできる。この場合には、対象ブロックＢ［０，０］を、１つの画素として処理を行う。まず、対象ブロックＢのα^～［０，０］、ｂ^～［０，０］、γ^～［０，０］を算出する。α^～［０，０］と、ｂ^～［０，０］とは、既存の技術により予測してよく、例えば、以下の式（６４）、（６５）により算出してもよい。

γ成分の予測値γ^～［０，０］は、例えば、上記実施形態における、把握可能な一部の子ブロックの直流成分を使用せずにγ成分の予測値を算出する方法（第１予測方法）を用いて算出する。

次いで、Ｍ［０，０］、α^～［０，０］、ｂ^～［０，０］、γ^～［０，０］を、式（６３）に代入することにより、対象ブロックＢの子ブロックの輝度値を算出する。ここで、対象ブロックＢは、画素であるので、子ブロックは、画素に含まれる２×２の部分画素の輝度値である。このため、全ての画素に対して、同様な処理をすることにより、各画素についての２×２の部分画素の輝度が得られることとなる。この部分画素を１つの画素とした画像を作成することにより、元の画像を４倍の画像に拡大することができる。

また、上記実施形態では、γ^～ _Ｈ［０，０］と、γ^～ _Ｖ［０，０］とに基づいて、最終的なγ成分の予測値γ^～［０，０］を決定するようにしていたが、γ^～ _Ｈ［０，０］と、γ^～ _Ｖ［０，０］とのいずれか一方を最終的なγ成分の予測値γ^～［０，０］としてもよい。

また、上記実施形態では、エンコーダにおいて、各ブロックの予測残差ｅ_α、ｅ_β、ｅ_γを量子化した後に符号化するようにしていたが、この場合には、デコーダ側で再現されるブロックＢ［ｘ、ｙ］の直流成分Ｍ’［ｘ，ｙ］を予め算出し、予測残差を算出するために用いたＭ［ｘ、ｙ］に代えて、Ｍ’［ｘ，ｙ］を用いるようにしてもよい。このようにすると、エンコーダ側でデコーダ側と同じ状態で予測残差を算出することができ、予測残差の予測精度を向上させることができる。

また、上記したデコード処理のステップＳ３３において、予測残差算出部１５が把握可能な一部の子ブロックの直流成分を使用してγ成分の予測値を算出した場合に、エンコーダ１０での処理の実行順と同様な順番で選択される例を示していたが、例えば、α成分を対象ブロックと同じサイズのブロックの直流成分により予測を行っている場合には、子ブロックの直流成分を参照する必要がなく、既に揃っているブロックの直流成分を利用すればよいので、対象ブロックは任意のブロックとしてもよい。

また、上記実施形態における第２予測方法においては、交流成分予測部１４は、対象ブロックの各子ブロックの輝度値を予測し、γ成分を予測していたが、例えば、以下に示す式（６６）に示すβ^～ _Ｈθ［ｘ，０］（ｘは、－１／４，１／４）を算出し、式（１６）によりγ成分を算出するようにしてもよい。

ここで、式（６６）は、式（４４）～式（４７）と、式（８）～（１１）とを比較することにより得られる。β^～ _Ｈθ［ｘ，０］は、式（６６）からわかるように、把握可能な子ブロックの輝度値を用いて予測することができる。同様に、座標系を９０度回転させた状態でも式（６６）と同様な処理を行うことにより式（３０）におけるα^～ _Ｖθ［０，－１/４］と、α^～ _Ｖθ［０，１/４］とを算出することができ、把握可能な子ブロックの輝度値を用いてγ成分を予測することができる。

また、上記実施形態では、各ブロックの予測残差ｅ_α、ｅ_β、ｅ_γを量子化した後に符号化するようにしていたが、予測残差ｅ_α、ｅ_β、ｅ_γを量子化せずに符号化するようにしてもよい。

また、上記実施形態では、エンコード処理及びデコード処理において、すべての階層のブロックに対して同様な処理を行って、エンコード又はデコードするようにしていたが、本発明はこれに限られず、いずれかの階層に対して、異なる処理により、エンコード又はデコードするようにしてもよい。

また、上記実施形態では、コンピュータ装置１００がエンコーダ１０又はデコーダ３０のいずれか一方を備えている例を示していた。本発明はこれに限られず、コンピュータ装置１００内にエンコーダ１０とデコーダ３０との両方を備えるようにしてもよい。

１…画像処理システム、１０…エンコーダ、１１…対象画像入力部、１２…ＤＣ変換部、１３…アダマール変換部、１４…交流成分予測部、１５…予測残差算出部、１６…符号化部、１７…圧縮データ出力部、３０…デコーダ、３１…圧縮データ入力部、３２…復号部、３３…交流成分予測部、３４…交流成分算出部、３５…逆アダマール変換部、３６…画像表示部、５０…ネットワーク、１００…コンピュータ装置、１０１…ＣＰＵ、１０２…メインメモリ、１０８…表示装置、１１１…記録媒体

Claims (13)

1. 所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出する画像処理装置であって、
   前記鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、
   前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出する第１方向交流成分算出部と、
   前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により第１鞍型交流成分を推定する第１鞍型交流成分推定部と、
   を備える画像処理装置。
2. 前記第１方向交流成分算出部は、前記複数の第１方向長２分ブロックの輝度値を、前記対象ブロックの前記第２方向に並ぶブロックの輝度値に基づいて推定する
   請求項１に記載の画像処理装置。
3. 前記第１方向交流成分算出部は、前記第１方向長２分ブロックの輝度を推定する複数の推定方法の中の、推定される前記第１方向長２分ブロックの輝度値と、前記第１方向長２分ブロックが属するブロックの輝度と、の差がより小さくなる推定方法により推定された輝度値を、前記第１方向長２分ブロックの輝度値とする
   請求項１に記載の画像処理装置。
4. 前記第１方向交流成分算出部は、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を、前記複数の第１方向長２分ブロックの輝度値と、エンコード処理の前記対象ブロックに対する処理時に把握可能となる前記対象ブロックに隣接するブロックの一部の子ブロックの輝度値と、に基づいて算出する
   請求項２に記載の画像処理装置。
5. 前記対象ブロック及び前記第２方向に並ぶブロックのそれぞれを前記第１方向について２分した、複数の第２方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第２方向長２分ブロックの第２方向交流成分を算出する第２方向交流成分算出部と、
   前記対象ブロックの２つの前記第２方向長２分ブロックの前記第２方向交流成分の差分により第２鞍型交流成分を算出する第２鞍型交流成分推定部と、
   前記第１鞍型交流成分と、前記第２鞍型交流成分とに基づいて、前記対象ブロックの前記鞍型交流成分の予測値を決定する予測値決定部と、
   を更に備える請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出する画像処理装置であって、
   前記鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、
   前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの各子ブロックの輝度値を予測する第１子ブロック輝度予測部と、
   前記各子ブロックの輝度値に基づいて第１鞍型交流成分を推定する第１鞍型交流成分推定部と、
   を備える画像処理装置。
7. 前記第１子ブロック輝度予測部は、前記複数の第１方向長２分ブロックの輝度値を、前記対象ブロックの前記第２方向に並ぶブロックの輝度値に基づいて推定する
   請求項６に記載の画像処理装置。
8. 前記第１子ブロック輝度予測部は、前記複数の第１方向長２分ブロックの輝度値と、エンコード処理の前記対象ブロックに対する処理時に把握可能となる前記対象ブロックに隣接するブロックの一部の子ブロックの輝度値と、に基づいて、前記対象ブロックの各子ブロックの輝度値を予測する
   請求項６又は請求項７に記載の画像処理装置。
9. 対象画像の圧縮データを生成するエンコーダであって、
   対象画像の各ブロックを対象ブロックとして、前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出する第１方向交流成分算出部と、
   前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分である鞍型交流成分を推定する鞍型交流成分推定部と、
   それぞれの前記対象ブロックに対する鞍型交流成分から、推定された前記鞍型交流成分を減算することにより、それぞれの前記対象ブロックにおける前記鞍型交流成分についての予測残差を算出する予測残差算出部と、
   前記対象画像中の最上位の対象ブロックの輝度と、それぞれの対象ブロックの鞍型交流成分に対する予測残差とを含むデータを圧縮して圧縮データとして出力する
   圧縮データ出力部と、
   を備える
   エンコーダ。
10. 対象画像の圧縮データを伸長するデコーダであって、
    前記圧縮データを入力する圧縮データ入力部と、
    前記圧縮データを復号する復号部と、
    復号されたデータに含まれる前記対象画像におけるそれぞれの対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出する第１方向交流成分算出部と、
    前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分である鞍型交流成分を推定する鞍型交流成分推定部と、
    それぞれの前記対象ブロックの鞍型交流成分の予測値と、前記圧縮データにより復元されたそれぞれの前記対象ブロックの前記鞍型交流成分に対する予測残差とに基づいて、それぞれの前記対象ブロックの鞍型交流成分を算出する鞍型交流成分算出部と、
    算出された前記鞍型交流成分に基づいて前記対象ブロックに含まれる子ブロックの輝度値を算出する輝度値算出部と、
    を備える
    デコーダ。
11. 所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出する画像処理装置による画像処理方法であって、
    前記鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、
    前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出し、
    前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により第１鞍型交流成分を推定する
    画像処理方法。
12. 所定の画像中の所定の対象ブロックにおける鞍型交流成分の予測値を算出させる処理をコンピュータに実行させる画像処理プログラムであって、
    前記鞍型交流成分は、前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分であり、
    前記コンピュータに、
    前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出させ、
    前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により第１鞍型交流成分を推定させる
    画像処理プログラム。
13. 対象画像の圧縮データを生成するエンコーダと、前記対象画像の前記圧縮データを伸長するデコーダとを備える画像処理システムであって、
    前記エンコーダは、
    対象画像の各ブロックを対象ブロックとして、前記対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの第１方向交流成分を算出する第１方向交流成分算出部と、
    前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分である鞍型交流成分を推定する鞍型交流成分推定部と、
    それぞれの前記対象ブロックに対する鞍型交流成分から、推定された前記鞍型交流成分を減算することにより、それぞれの前記対象ブロックにおける前記鞍型交流成分についての予測残差を算出する予測残差算出部と、
    前記対象画像中の最上位の対象ブロックの輝度と、それぞれの対象ブロックの鞍型交流成分に対する予測残差とを含むデータを圧縮して圧縮データとして出力する
    圧縮データ出力部と、を備え、
    前記デコーダは、
    前記圧縮データを入力する圧縮データ入力部と、
    前記圧縮データを復号する復号部と、
    復号されたデータに含まれる前記対象画像におけるそれぞれの対象ブロック及び第１方向に並ぶブロックのそれぞれを前記第１方向に直交する第２方向について２分した、複数の第１方向長２分ブロックの輝度値に基づいて、前記対象ブロックの前記第１方向長２分ブロックの前記第１方向交流成分を算出する第１方向交流成分算出部と、
    前記対象ブロックの２つの前記第１方向長２分ブロックの前記第１方向交流成分の差分により前記対象ブロックを２×２の子ブロックに分割した場合の前記対象ブロックの中心に対して対向する２つの子ブロックの組同士の輝度の差分である鞍型交流成分を推定する鞍型交流成分推定部と、
    それぞれの前記対象ブロックの鞍型交流成分の予測値と、前記圧縮データにより復元されたそれぞれの前記対象ブロックの前記鞍型交流成分に対する予測残差とに基づいて、それぞれの前記対象ブロックの鞍型交流成分を算出する鞍型交流成分算出部と、
    算出された前記鞍型交流成分に基づいて前記対象ブロックに含まれる子ブロックの輝度値を算出する輝度値算出部と、
    を備える
    画像処理システム。