JP5116393B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力画像から特定の色を抽出し、抽出された色を補正する画像処理装置及び画像処理方法に関する。

デジタルカメラ等で撮影された画像内から所望の色領域を抽出し、その色領域を補正する技術が存在する。例えば、特許文献１には、画像内から強調すべき色を自動で特定し強調処理を行う際に、画像を複数の領域に分割し、領域毎に異なる色を強調する処理を行う技術が開示されている。また、特許文献２には、カラーネガフィルムをスキャンして得られた画像データに対して硬調化処理を行い、硬調化処理が行われた画像データに対して、特定の色相（例えば空色のシアンなど）を所望の色相に変換する処理を行う技術が開示されている。

特開２００４−２０１２２４号公報 特開平１１−２７５３６３号公報

デジタルカメラ等で撮影された画像が、人物が写った風景写真であって、その画像が光源のなんらかの影響で色かぶりを起こしていた場合、画像内の人物の顔色は良好な色になっていない。そこで、この画像に対して公知のホワイトバランス補正を行うことによりカラーバランスを整えると、人物の顔色は良好な色に変化する。ところが、更に、人物の背景（空や山等）の色を鮮やかにするために画像全体の彩度を強調する処理を行うと、せっかく良好な色になった顔色も変化してしまう。したがって、良好になった人物の顔色を維持しつつ、人物の背景のみを鮮やかにすることが望まれる。このような場合、上述したような、画像から人物の顔色以外の特定の色を抽出し、その色のみを強調する技術が有効となる。これに対して、人物が写っていない風景写真であれば、画像全体の彩度を強調することで良好な画像に仕上げることができるため、背景の特定色のみを強調する必要性はない。

また、従来技術においては、画像内から任意の色相を抽出して強調処理を行う際には、通常、二つのパラメータが必要になる、１つは、所望の色相範囲を定義するパラメータであり、もう１つは、その色相をどのように修正するかという修正パラメータである。特許文献２に開示された技術では、予め抽出する空色（シアン色）の色相範囲を定義するパラメータと、それをどのように強調するかというパラメータ（強調関数Ｆ）を用い、それらのパラメータの組み合わせで特定色の強調処理を実現している。しかし、１つの処理を行うために必要なパラメータが２つ存在すると、両者を設計し、メモリに保持する必要がある。また、パラメータが２つ存在すると、一方のパラメータだけを変更したい場合であっても、２つのパラメータの整合性が崩れないように他方のパラメータも変更する必要があるため、パラメータの変更が非常に煩わしいという課題がある。

そこで、本発明の目的は、画像内に色を変えたくないオブジェクト（例えば、人物）が存在するか否かを判定し、その判定結果に応じて、特定色のみを強調するか又は画像全体を強調するかを適応的に切り替える画像処理装置を提供することにある。また、本発明の目的は、１つのパラメータを用いて、変化させたい色相範囲とその適用強度を算出する画像処理装置を提供することにある。

このような目的を達成するため、本願発明の画像処理装置は、画像に予め定められたオブジェクトが存在するか否かを判定する判定手段と、前記判定手段によって前記画像に前記予め定められたオブジェクトが存在すると判定された場合は、特定色を強調するための特定色強調テーブルを前記画像に適用することにより、前記画像において前記予め定められたオブジェクトの色以外の特定色を補正し、前記判定手段によって前記画像に前記予め定められたオブジェクトが存在しないと判定された場合は、前記画像の彩度を補正する補正手段とを備えることを特徴とする。

本願発明は、画像処理方法であって、画像に予め定められたオブジェクトが存在するか否かを判定する判定ステップと、前記判定ステップによって前記画像に前記予め定められたオブジェクトが存在すると判定された場合は、特定色を強調するための特定色強調テーブルを前記画像に適用することにより、前記画像において前記予め定められたオブジェクトの色以外の特定色を補正し、前記判定ステップによって前記画像に前記予め定められたオブジェクトが存在しないと判定された場合は、前記画像の彩度を補正する補正ステップとを備えることを特徴とする。

本願発明のプログラムは、コンピュータを、上記の画像処理装置として機能させるためのものであることを特徴とする。

本発明によれば、入力画像に対する色強調処理を適応的に切り替えることができる。

以下、本発明の実施形態を、図面を用いて説明する。
（第１の実施形態）
図１は、本発明を適用可能な画像処理装置の構成例を示すブロック図である。

画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、プリンタエンジン１０４、タッチパネル等のユーザインタフェース１０５、表示装置１０６、メモリーカードリーダー１０７、入出力インタフェース１０８を備える。これらの要素は、システムバス１０９を介して接続される。画像処理装置１００は、入出力インタフェース１０８を介して、パーソナルコンピュータ（ＰＣ）１１０と接続可能である。なお、本装置を、プリンタ、デジタルカメラ、複写機、ファクシミリ、テレビ等に組み込むことも可能である。

ＣＰＵ１０１は、ＲＯＭ１０２に格納されたプログラム（以下で説明する画像処理のプログラムを含む）をワークメモリであるＲＡＭ１０３にロードして当該プログラムを実行する。そして、当該プログラムに従いシステムバス１０９を介して上記の各構成を制御することで、当該プログラムの機能を実現する。

図２は、第１の実施形態における画像処理装置の機能を示すブロック図で、ＣＰＵ１０１によって実行される処理である。

ＪＰＥＧデコード部２００は、デジタルカメラ等で撮影された静止画の静止画情報（Ｅｘｉｆ−ＪＰＥＧ情報等）を入力し、静止画情報に対して周知のＪＰＥＧデコード処理を行うことにより画像データ（例えばＲＧＢデータ（２４ｂｉｔ階調））を生成する。

縮小画像生成部２０１は、ＪＰＥＧデコード部２００から受け取った画像データから縮小画像データを生成する。縮小画像データを生成する目的は、後述する顔検出処理やホワイトバランスパラメータの算出等の画像解析に要する演算量を削減するためである。縮小画像データは、できるだけ小さく、かつ画像のディテールを十分に保っている必要がある。したがって、縮小画像データの解像度は、６４０×４８０画素程度であるのが望ましい。なお、第１の実施形態においては、縮小画像生成部２０１は、ＲＧＢデータ（２４ｂｉｔ階調）で構成された縮小画像データを生成するものとする。

顔検出部２０２は、縮小画像生成部２０１から受け取った縮小画像データに対して、予め定めたオブジェクトである人物の顔領域を検出する処理を行い、検出した顔領域の座標位置等を示す顔検出結果を求める。人物の顔検出処理は、周知の手法を用いればよい。

ホワイトバランスパラメータ算出部２０３は、縮小画像生成部２０１から受け取った縮小画像データのホワイトバランス（ＷＢ）の状態を推定し、適切なホワイトバランスに補正するためのパラメータを求める。このパラメータをホワイトバランス補正パラメータと呼ぶ。ホワイトバランスの補正方法は、公知の手法のいずれであってもよいが、第１の実施形態においては、画像の明るい領域と暗い領域を使用した補正方法を用いる。画像の明るい領域をハイライト（ＨＬ）領域と呼び、画像の暗い領域をシャドー（ＳＤ）領域と呼ぶ。

図３、図４は、ホワイトバランスの補正方法を説明するための図である。

入力画像が適正なホワイトバランスとなっている場合、図３の３００に示すように、入力画像を輝度・色差空間（ＹＣｂＣｒ空間）に射影した際、ハイライト（ＨＬ）領域とシャドー（ＳＤ）領域はグレー軸（Ｙ軸）の近辺に分布することが知られている。一方で、入力画像が色かぶりを起こしている場合等ホワイトバランスが崩れている場合には、輝度・色差空間における画像の分布は、図４の４００に示すようになる。図４の４００に示す分布となっている入力画像に対してホワイトバランス補正を行うために、輝度・色差空間において、ハイライト（ＨＬ）領域とシャドー（ＳＤ）領域をグレー軸（Ｙ軸）上に配置させるための回転行列を生成する。そして、以下の式によって輝度・色差空間の色変換を行う。

上式における３×３の回転行列は、ホワイトバランス補正パラメータである。

図５は、ホワイトバランス補正パラメータ算出部２０３によるホワイトバランス補正パラメータの算出処理の流れを示すフローチャートである。

Ｓ５０１において、ホワイトバランス補正パラメータ算出部２０３は、縮小画像データのヒストグラムを算出する。ヒストグラムは、ＲＧＢデータで構成された縮小画像データの画素値をＹＣｂＣｒ値に変換し、累積輝度ヒストグラムと、各輝度における平均Ｃｂ，Ｃｒ値を算出する。

Ｓ５０２において、ホワイトバランス補正パラメータ算出部２０３は、ハイライトポイント（ＨＬポイント）とシャドーポイント（ＳＤポイント）を算出する。例えば、ホワイトバランス補正パラメータ算出部２０３は、累積輝度ヒストグラムを参照し、累積度数が縮小画像データ全体の９９．０％と１．０％の位置をそれぞれハイライトポイントとシャドーポイントとする。ハイライトポイントを、（Ｙ^HL，Ｃｂ^HL，Ｃｒ^HL）と表記し、シャドーポイントを、（Ｙ^SD，Ｃｂ^SD，Ｃｒ^SD）と表記する。

Ｓ５０３において、ホワイトバランス補正パラメータ算出部２０３は、ハイライトポイントとシャドーポイントをグレー軸（Ｙ軸）に配置させるための３×３の回転行列を生成する。なお、３×３の回転行列は、公知の手法を用いて生成すればよい。

引き続き、図２を参照して、画像処理装置１００の機能を説明する。

階調補正カーブ算出部２０４は、縮小画像生成部２０１から受け取った縮小画像データと、顔検出部２０２から受け取った顔検出結果に基づいて、階調補正カーブを算出する。入力画像に対して階調補正を行う手法は様々考えられる。例えば、入力画像が風景画像であれば、コントラストを上げる補正が考えられる。また、入力画像が夜景画像であれば、暗部は維持したまま、明るい領域を際立たせる補正が考えられる。第１の実施形態では、検出した人物の顔領域が暗い時、顔領域の明るさを適正にするための階調補正を行う。

図６は、階調補正カーブ算出部２０４による階調補正処理の流れを示すフローチャートである。

Ｓ６０１において、階調補正カーブ算出部２０４は、顔検出部２０２によって検出された顔領域の平均輝度値（ＩｎＳｋｉｎＴｏｎｅ）を算出する。顔領域が複数ある場合には、階調補正カーブ算出部２０４は、各顔領域の平均輝度値を算出してから、それらの平均を求めてもよいし、サイズが大きい顔領域の平均輝度値のみを求めてもよい。

Ｓ６０２において、階調補正カーブ算出部２０４は、Ｓ６０１で求めた顔領域の平均輝度値（ＩｎＳｋｉｎＴｏｎｅ）が所定値より低いか否かを判定する。すなわち、階調補正カーブ算出部２０４は、顔領域が暗いか否かを判定する。判定した結果、顔領域の平均輝度値が所定値より低い場合は、階調補正カーブ算出部２０４は、顔領域が逆光状態になっているとみなして、平均輝度値（ＩｎＳｋｉｎＴｏｎｅ）を目標輝度値（ＯｕｔＳｋｉｎＴｏｎｅ）に補正するための階調補正カーブを生成する。

図７は、階調補正カーブ算出部２０４による階調補正カーブの生成を説明するための図である。

図７の７００は、階調補正カーブを示す。階調補正カーブは、（０，０）、（ＩｎＳｋｉｎＴｏｎｅ，ＯｕｔＳｋｉｎＴｏｎｅ）、（２５５，２５５）の座標値を通る線であればよい。すなわち、階調補正カーブは、単純なガンマカーブであっても、直線で構成されるカーブであってもよい。一方、顔領域が存在しない場合や顔領域の平均輝度が所定値より高い場合には、ＩｎとＯｕｔが同値となる１次元ルックアップテーブルを生成し、メモリに格納する。

引き続き、図２を参照して、画像処理装置１００の機能を説明する。

補正用３次元ルックアップテーブル生成部２０５は、ホワイトバランス補正パラメータ算出部２０３からホワイトバランス補正パラメータ（３×３の回転行列）を受け取り、階調補正カーブ算出部２０４から階調補正カーブを受け取る。補正用３次元ルックアップテーブル生成部２０５は、ホワイトバランス補正パラメータと階調補正カーブを用いて、画像補正用のＲＧＢ３次元ルックアップテーブル（３ＤＬＵＴ）を生成する。

図８は、補正用３次元ルックアップテーブル生成部２０５による補正用３次元ルックアップテーブルの生成処理の流れを示すフローチャートである。

Ｓ８００において、補正用３次元ルックアップテーブル生成部２０５は、ＲＧＢ空間における補正用３次元ルックアップテーブルの各グリッド値（Ｒ，Ｇ，Ｂ）を取得する。

Ｓ８０１において、補正用３次元ルックアップテーブル生成部２０５は、グリッド値（Ｒ，Ｇ，Ｂ）を輝度・色差信号であるＹＣｂＣｒ値に変換する。

Ｓ８０２において、補正用３次元ルックアップテーブル生成部２０５は、ＹＣｂＣｒ値に対して、ホワイトバランス補正パラメータ（３×３の回転行列）を適用し、（Ｙ’，Ｃｂ’，Ｃｒ’）を算出する。

Ｓ８０３において、補正用３次元ルックアップテーブル生成部２０５は、（Ｙ’，Ｃｂ’，Ｃｒ’）のうちの輝度成分（Ｙ’）に対して階調補正カーブを適用して、Ｙ’’値を算出する。

Ｓ８０４において、補正用３次元ルックアップテーブル生成部２０５は、（Ｙ’’，Ｃｂ’，Ｃｒ’）を（Ｒ’，Ｇ’，Ｂ’）に変換し、それをグリッドに格納する。

補正用３次元ルックアップテーブル生成部２０５は、上述の処理をＲＧＢの補正用３次元ルックアップテーブルの全てのグリッドに対して行う。

Ｓ８０５において、補正用３次元ルックアップテーブル生成部２０５は、上述の処理をＲＧＢの補正用３次元ルックアップテーブルの全てのグリッドに対して行った場合には、補正用３次元ルックアップテーブルの生成を終了する。

引き続いて、図２を参照して、画像処理装置１００の機能を説明する。

中間画像生成部２０６は、補正用３次元ルックアップテーブル生成部２０５から受け取った補正用３次元ルックアップテーブルを公知の補間処理（四面体補間等）を用いて縮小画像に適用することで中間画像を生成する。次いで、中間画像生成部２０６は、生成した中間画像データをメモリに格納する。

顔領域判定部２０７は、顔検出部２０２から受け取った顔検出結果に基づき、縮小画像内に人物の顔領域（予め定めたオブジェクト）が存在するか否かの判定を行う。顔領域が存在する場合には、中間画像生成部２０６から受け取った中間画像データを特定色強調部２０９に送り、顔領域が存在しない場合には、中間画像データを全体彩度補正係数算出部２０８に送る。

特定色強調部２０９は、予め定めたオブジェクトの色（本例では、顔色）に対してはそのままの色を維持しつつ、予め定めたオブジェクト以外のオブジェクト内の特定の色に対してはその色を強調する処理を行う。第１の実施形態では、特定色強調部２０９は、予め保持している複数種の特定色強調テーブルを参照しながら、どの特定色強調テーブルをどの程度の強度で施すかを決定する。なお、第１の実施形態においては、特定色強調テーブルは、ＲＧＢの補正用３次元ルックアップテーブル形式で保持することを想定しており、特定色のグリッドだけが特定方向に補正されたＲＧＢ値を格納している。

図１０は、特定色強調テーブルの１つである青強調テーブルの特性を説明するための図である。図１１は、特定色強調テーブルの１つである緑強調テーブルの特性を説明するための図である。

これらの図は、特定色強調テーブルの特性を分かりやすく説明するために、ＲＧＢ空間で保持している特定色強調テーブルの効果を色差ＣｂＣｒ平面で表現している。

図１０において、円１０００は、色差ＣｂＣｒ平面における青領域を示す。同円中の矢印は、その領域内の色が青色強調テーブルによってどの方向に補正されるかを示す。基本的には原点から遠ざかる方向、すなわち彩度が向上する方向に補正されるが、色相も変化する。また、同円以外の領域では、その色は、全く変化しない。

図１１において、円１１００は、ＣｂＣｒ平面における緑領域を示す。同円中の矢印は、その領域内の色が緑色強調テーブルによってどの方向に補正されるかを示す。基本的には原点から遠ざかる方向、すなわち彩度が向上する方向に補正されるが、色相も変化する。また、同円以外の領域では、その色は、全く変化しない。

特定色強調部２０９は、このような特定色強調テーブルを複数保持し、以下に説明するように、それらの中から入力画像に応じて、最適な特定色強調テーブルを選択する。

図９は、特定色強調部２０９において、最適な特定色強調テーブルを選択し、選択された特定色強調テーブルの処理強度を決定する処理の流れを示すフローチャートである。

Ｓ９００において、特定色強調部２０９は、中間画像生成部２０６から受け取った中間画像データの画素値（Ｒ，Ｇ，Ｂ）を取得する。

Ｓ９０１において、特定色強調部２０９は、複数の特定色強調テーブル（青強調テーブル、緑強調テーブル、赤強調テーブル等）の中から、例えば青強調テーブルを選択する。次いで、特定色強調部２０９は、公知の補間方法（四面体補間など）を用いて、画素値（Ｒ，Ｇ，Ｂ）に対して青強調テーブルを適用する。画素値（Ｒ，Ｇ，Ｂ）に対して青強調テーブルを適用することにより、青色が強調された画素値（Ｒ’，Ｇ’，Ｂ’）が得られる。

Ｓ９０２において、特定色強調部２０９は、画素値（Ｒ，Ｇ，Ｂ）と画素値（Ｒ’，Ｇ’，Ｂ’）から色強調テーブルの適用前後の変動量デルタＤを算出する。

Ｓ９０２において、特定色強調部２０９は、上記の変動量を積算する。また、特定強調部２０９は、変動量が所定値以上となる画素数をカウントする。さらに、特定色強調部２０９は、変動量が所定値以上となる画素の色強調前の彩度を積算する。なお、画素の彩度は、（Ｒ，Ｇ，Ｂ）値をＨＩＳ系に変換して求めてもよいし、（Ｒ，Ｇ，Ｂ）値を（Ｙ，Ｃｂ，Ｃｒ）値に変換して、以下のように（Ｃｂ，Ｃｒ）ベクトルの長さを彩度として積算してもよい。

このように変動量が少ない画素を対象外とすることで、特定色強調テーブルを適用した場合の色強調効果の大きさを精度良く推定することができる。

特定色強調部２０９は、Ｓ９００〜Ｓ９０２の処理を中間画像データ内の全ての画素に対して行う。

Ｓ９０２において、特定色強調部２０９は、Ｓ９００〜Ｓ９０２の処理を中間画像データ内の全ての画素に対して行ったかどうかを判定し、全ての画素に対して行った場合には、Ｓ９０４の処理に進む。

Ｓ９０４において、特定色強調部２０９は、積算した変動量と彩度を中間画像データの画素数で除算することにより、平均変動量と、色強調前の平均彩度を算出する。

特定色強調部２０９は、Ｓ９００〜Ｓ９０４の処理を、全ての特定色強調テーブルを用いて行う。それにより、特定色強調部２０９は、特定色強調テーブル毎に、平均変動量、所定値以上変動する画素数、所定値以上変動する画素の色強調前の平均彩度の３つのパラメータを取得する。

Ｓ９０５において、特定色強調部２０９は、Ｓ９００〜Ｓ９０４の処理を、全ての特定色強調テーブルを用いて行ったかどうかを判定し、全ての特定色強調テーブルを用いて行った場合には、Ｓ９０６の処理に進む。

Ｓ９０６において、特定色強調部２０９は、上記の３つのパラメータのうちの少なくとも１つを参照して入力画像に対してどの特定色強調テーブルを用いると色強調の効果が大きくなるかを判定する。特定色強調部２０９は、例えば平均変動量を用いて効果の大きさを判定する。平均変動量が大きいということは、色強調の効果が大きいと考えることができるため、特定色強調部２０９は、平均変動量が最も大きくなる特定色強調テーブルを選択する。

Ｓ９０７において、特定色強調部２０９は、選択した特定色強調テーブルをどの程度の強度で画像に適用するかを決定する。特定色強調テーブルを適用する強度は、例えば、上記の３つのパラメータのうちの少なくとも１つを用いて決定される。

まず、平均変動量に関する重み値Ｗ０を、以下のように決定する。
ｉｆ（平均変動量＞ＴＨ０） Ｗ０＝１．０
ｅｌｓｅ Ｗ０＝平均変動量÷ＴＨ０
ここで、ＴＨ０は、平均変動量を正規化するための閾値である。

すなわち、平均変動量が閾値より大きい場合には、重み値を１とし、平均変動量が閾値以下の場合には、平均変動量を閾値で除算した値を重み値とする。

次に、所定値以上変動する画素数を、中間画像データ全体の画素数で除算した値をＷ１とする。

さらに、色強調前の平均彩度に関する重み値Ｗ２を、以下のように決定する。
ｉｆ（色強調前の平均彩度＜ＴＨ２） Ｗ２＝１．０
ｅｌｓｅ Ｗ２＝ＴＨ２÷色強調前の平均彩度
ここで、ＴＨ２は、色強調前の平均彩度を正規化するための閾値である。

すなわち、色強調前の平均彩度が閾値以下の場合には、重み値を１とし、色強調前の平均彩度が閾値より大きい場合には、閾値を色強調前の平均彩度で除算した値を重み値とする。これにより、色強調前の平均彩度が低い場合、特定色強調テーブルを強くかけることができ、色強調前の平均彩度が高い場合、特定色強調テーブルを弱くかけることで、過度の色強調を防ぐことができる。

上記の値Ｗ０、Ｗ１、Ｗ２を用いて、色強調テーブルを適用する強度Ｗを以下のように算出する。
Ｗ＝Ｗ０×Ｗ１×Ｗ２
以上が、特定色強調部２０９における、特定色強調テーブルの選択と、選択された特定色強調テーブルを適用する強度Ｗを算出する処理の説明である。

引き続き、図２を参照して、画像処理装置１００の機能を説明する。
補正用３次元ルックアップテーブル修正部２１１は、特定色強調部２０９で求めた強度で、補正用３次元ルックアップテーブル生成部２０５で生成された補正用３次元ルックアップテーブルと特定色強調部２０９で生成された特定色強調テーブルとを合成する。

図１２は、補正用３次元ルックアップテーブル修正部２１１による、補正用３次元ルックアップテーブルと特定色強調テーブルの合成処理の流れを示すフローチャートである。

なお、第１の実施形態においては、説明の簡略化のため、補正用３次元ルックアップテーブルのグリッド数と、特定色強調テーブルのグリッド数とが一致しているものとする。

Ｓ１２００において、補正用３次元ルックアップテーブル修正部２１１は、補正用３次元ルックアップテーブルの任意のグリッドに格納されている補正後の値（Ｒ，Ｇ，Ｂ）を取得する。

Ｓ１２０１において、補正用３次元ルックアップテーブル修正部２１１は、（Ｒ，Ｇ，Ｂ）に対して公知の補間処理（四面体補間など）を行い、色強調後の（Ｒ’，Ｇ’，Ｂ’）を算出する。

Ｓ１２０２において、補正用３次元ルックアップテーブル修正部２１１は、（Ｒ，Ｇ，Ｂ）と（Ｒ’，Ｇ’，Ｂ’）と強度Ｗを用いて最終的な（Ｒ’’，Ｇ’’，Ｂ’’）を算出する。
Ｒ’’＝（Ｒ−Ｒ’）×Ｗ＋Ｒ
Ｇ’’＝（Ｇ−Ｇ’）×Ｗ＋Ｇ
Ｂ’’＝（Ｂ−Ｂ’）×Ｗ＋Ｂ

Ｓ１２０３において、補正用３次元ルックアップテーブル修正部２１１は、算出した（Ｒ’’，Ｇ’’，Ｂ’’）を補正用３次元ルックアップテーブルのグリッドに格納する。

補正用３次元ルックアップテーブル修正部２１１は、Ｓ１２００〜Ｓ１２０３の処理を、補正用３次元ルックアップテーブルの全てのグリッドに対して行う。これによって、補正用３次元ルックアップテーブルと特定色強調テーブルの合成処理が完了する。

一方で、顔領域判定部２０７による判定で、顔領域が存在しないと判定した場合には、顔領域判定部２０７は、中間画像データを全体彩度補正係数算出部２０８に送る。

全体彩度補正係数算出部２０８は、中間画像データの平均彩度から、縮小画像全体の彩度を補正するための彩度補正係数（ＳＧ）を算出する。

図１３は、平均彩度と彩度補正係数の関係の一例を説明するための図である。

図１３に表されたグラフにおいて、横軸は、中間画像データの平均彩度、縦軸は、彩度補正係数（ＳＧ）を示す。本グラフからわかるように、平均彩度が低い場合には彩度補正係数（ＳＧ）は高めに設定され、平均彩度が上昇するにつれて彩度補正係数（ＳＧ）は減衰し、閾値Ｔｈ＿Ｓを超えると、彩度補正係数（ＳＧ）＝１．０となり彩度強調は行われない。彩度補正係数（ＳＧ）をこのように設定することにより、元々彩度が高い画像に対して、過剰な彩度強調を行わないようにする。

補正用３次元ルックアップテーブル修正部２１１は、全体彩度補正係数算出部２０８から受け取った彩度補正係数（ＳＧ）を用いて、補正用３次元ルックアップテーブルを修正する。

図１４は、補正用３次元ルックアップテーブル修正部２１１による、補正用３次元ルックアップテーブルの修正処理の流れを示すフローチャートである。

Ｓ１４００において、補正用３次元ルックアップテーブル修正部２１１は、補正用３次元ルックアップテーブルの任意のグリッドに格納されている補正後の（Ｒ，Ｇ，Ｂ）を取得する。

Ｓ１４０１において、補正用３次元ルックアップテーブル修正部２１１は、（Ｒ，Ｇ，Ｂ）を（Ｙ，Ｃｂ，Ｃｒ）に変換する。

Ｓ１４０２において、補正用３次元ルックアップテーブル修正部２１１は、（Ｃｂ，Ｃｒ）値に対して彩度補正係数（ＳＧ）を乗じ、（Ｃｂ’，Ｃｒ’）を算出する。
Ｃｂ’＝Ｃｂ×ＳＧ
Ｃｒ’＝Ｃｒ×ＳＧ

Ｓ１４０３において、補正用３次元ルックアップテーブル修正部２１１は、彩度補正後の（Ｙ，Ｃｂ’，Ｃｒ’）を（Ｒ’，Ｇ’，Ｂ’）に変換し、グリッド位置に格納する。

補正用３次元ルックアップテーブル修正部２１１は、Ｓ１４００〜Ｓ１４０３までの処理を補正用３次元ルックアップテーブルの全グリッドに対して行う。

Ｓ１４０４において、補正用３次元ルックアップテーブル修正部２１１は、Ｓ１４００〜Ｓ１４０３までの処理を補正用３次元ルックアップテーブルの全グリッドに対して行ったかどうかを判定し、全グリッドに対して行った場合には、修正を終了する。

引き続き、図２を参照して、画像処理装置１００の機能を説明する。

補正処理部２１２は、まず、公知の補間処理を使って、元解像度の入力画像データ、あるいは、印刷解像度、表示解像度に縮小・拡大されたリサイズ画像を生成する。次いで、補正処理部２１２は、補正用３次元ルックアップテーブル修正部２１１から受け取った補正用３次元ルックアップテーブルを入力画像に適用し、その結果、所望の補正が施された画像データを生成する。補正処理部２１２は、生成した画像データを記憶装置に保存し、表示装置に表示し、又は、プリンタエンジンに送る。

以上説明したように、第１の実施形態の画像処理装置は、入力画像内に色を変化させたくないオブジェクトが存在するか否かを判定する。その結果、色を変化させたくないオブジェクトが存在するならば、画像処理装置は、ホワイトバランス補正や階調補正をした後、特定の色のみを強調する。一方、入力画像内に色を変化させたくないオブジェクトが存在しないならば、画像処理装置は、画像全体の彩度を強調する。第１の実施形態によれば、上述の処理を行うことで、入力画像に対して適応的に色強調処理を切り替えることができる。

また、第１の実施形態では、予め保持している特定色強調テーブルのみを用いて平均変動量、すなわち、色強調効果の大きさを算出する。その後、その色強調効果の大きさを参照して、複数の特定色強調テーブルの中から最適な特定色テーブルを選択し、さらに、その選択された特定色テーブルを適用する強度も決定する。この構成であれば、特定色強調テーブルを追加・修正した場合にも、特定色強調部２０９のアルゴリズムを変更する必要がない。尚、色強調効果の大きさを参照して、複数の特定色強調テーブルの中から色強調効果が大きい上位Ｎ個の色強調テーブルを選択してもよい。

また、第１の実施形態によれば、画像の補正を行った後の中間画像データを解析して特定色強調テーブルの選択や、特定色強調テーブルの適用の強度の算出を行うため、より正確な色強調処理を行うことができる。

また、第１の実施形態では、最初に補正用３次元ルックアップテーブルを生成し、特定色強調用のテーブルを選択し、補正用３次元ルックアップテーブルを修正するように構成している。このことにより、最後に一度だけ元解像度の画像に対して補正処理を実行すればよく、効率的な処理で出力画像を生成することができる。

（第２の実施形態）
第１の実施形態では、画像処理装置は、まず、ＶＧＡサイズの縮小画像データを生成し、ホワイトバランス補正パラメータと階調補正カーブを算出する。次いで、画像処理装置は、縮小画像データに対して基本補正（ホワイトバランス補正および階調補正）を行うことにより中間画像データを生成し、その中間画像データを用いて、適用する特定色強調テーブルを選択する。このような第１の実施形態においては、以下に示す改善点がある。

第１の実施形態の場合、縮小画像データあるいは中間画像データを処理の終盤までメモリに保存しておく必要がある。ＲＧＢ各画素を３バイトで表現するならば、ＶＧＡサイズの縮小画像データであっても必要なメモリ量の合計は６４０×４８０×３＝９００ＫＢにも及ぶ。この必要なメモリ量の大きさは、数百ＭＢ程度の大容量のメモリを装備したパーソナルコンピュータ等の場合には殆ど影響はないが、小容量のメモリしか装備していないプリンタやデジタルカメラ等の場合には影響が大きい。また、第１の実施形態の場合、ホワイトバランスパラメータや階調補正カーブを算出した後に、補正用３次元ルックアップテーブルを生成し、補正用３次元ルックアップテーブルを縮小画像データの各画素に適用することで中間画像データを生成する。中間画像データを生成する際に必要な演算量については、四面体補間などの補間演算に約３０万回（６４０×４８０＝３０７２００）の演算を要し、特定色強調テーブルの選択時に画素毎に変動量を算出するための補間演算に３０万×テーブル数の演算を要する。この演算量の大きさは、数ＧＨｚのクロックで動作するＣＰＵを搭載したパーソナルコンピュータの場合には殆ど影響がないが、数百ＭＨｚ程度のクロックで動作するＣＰＵを搭載したプリンタやデジタルカメラ等の場合には影響が大きい。

そこで、第２の実施形態では、中間画像データを保持しつづけるためのメモリを確保する必要をなくし、さらに、中間画像データを生成する際に必要な演算量を削減する画像処理装置を提供する。

第２の実施形態では、入力画像に対してＲＧＢ空間におけるグリッドヒストグラム（ＧＨ）を算出し、グリッドヒストグラム（ＧＨ）と補正用３次元ルックアップテーブルを用いて特定色強調テーブルを選択する。

図１５は、第２の実施形態における画像処理装置の機能を示すブロック図である。

図１５に示す構成は、縮小画像データに対してグリッドヒストグラム（ＧＨ）を算出するグリッドヒストグラム算出部１５０３を有する点と、中間画像生成部２０６を有しない点で、図２に示す構成とは異なる。

まず、グリッドヒストグラム（ＧＨ）について説明する。

図１６は、多次元のグリッドヒストグラム（ＧＨ）を示す図である。

図１６では、例として２４ｂｉｔのＲＧＢの３次元空間において１６間隔でグリッドを生成した場合を示している。この場合、３次元空間におけるグリッド（格子点）数は、１７³＝４９１３となる。

図１７は、グリッドヒストグラム算出部１５０３による、縮小画像データに対してグリッドヒストグラム（ＧＨ）を算出する処理の流れを示すフローチャートである。

Ｓ１７００において、グリッドヒストグラム算出部１５０３は、縮小画像生成部１５０１から受け取ったＲＧＢ縮小画像データの各画素に対して、グリッドヒストグラムのグリッド位置を算出する。算出は、各画素の（Ｒ，Ｇ，Ｂ）値を用いて、以下のように行う。

ここで、Ｇ_R、Ｇ_G、Ｇ_Bは、グリッドヒストグラム（ＧＨ）のグリッド位置を示す。上記の式によれば、例えば、（Ｒ，Ｇ，Ｂ）＝（１６，１６，１６）であれば、グリッド位置は（１，１，１）と計算される。

Ｓ１７０１において、グリッドヒストグラム算出部１５０３は、３次元配列グリッドヒストグラムを用いて、以下の式のように、グリッド位置の度数を積算する。
ＧＨ［Ｇ_R］［Ｇ_G］［Ｇ_B］＝ＧＨ［Ｇ_R］［Ｇ_G］［Ｇ_B］＋１

Ｓ１７０２において、グリッドヒストグラム算出部１５０３は、Ｓ１７００とＳ１７０１の処理を縮小画像データの全ての画素に対して行ったかどうかを判定する。

グリッドヒストグラム算出部１５０３は、Ｓ１７００とＳ１７０１の処理を、縮小画像データの全ての画素に対して行うことで、グリッドヒストグラムを算出する。

なお、第２の実施形態では、縮小画像データをＹＣｂＣｒデータからＲＧＢデータに変換し、ＲＧＢ３次元空間においてグリッドヒストグラムを算出するが、本発明はこれに限定されるものではない。例えば、ＹＣｂＣｒ空間で３次元グリッドを構成し、同様にグリッドヒストグラムを算出してもよく、３次元以上の空間、例えばＣＭＹＫ４次元色空間において、同様にグリッドヒストグラムを算出してもよい。

ただし、第２の実施形態によるＲＧＢ３次元空間におけるグリッドヒストグラムの算出は、ＹＣｂＣｒ空間におけるグリッドヒストグラムの算出よりも優れている。なぜなら、一般的な画像データにおいては、例えば（Ｙ，Ｃｂ，Ｃｒ）＝（２５５、１２８，１２８）のような輝度と彩度が共に高い画素は存在しない。このため、ＹＣｂＣｒ空間では度数が０となるグリッド位置が多数存在し、ＹＣｂＣｒ空間を有効利用できないからである。これに対して、ＲＧＢ３次元空間であれば、画像データは（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）から（Ｒ，Ｇ，Ｂ）＝（０，０，０）の全域に渡って存在するため、すべてのグリッド位置を有効利用できる。その結果、ＲＧＢ３次元空間においては、ＹＣｂＣｒ空間に比べて、詳細な画像情報の解析を行うことができる。したがって、第２の実施形態においては、ＲＧＢ３次元グリッドヒストグラムを用いる。

以下、第２の実施形態における処理を図１５と図１８を用いて説明する。なお、説明は第１の実施例と異なる箇所のみ行う。

特定色強調部１５０９は、グリッドヒストグラム算出部１５０３からグリッドヒストグラムを受け取り、補正用３次元ルックアップテーブル生成部１５０６から補正用３次元ルックアップテーブルを受け取る。特定色強調部１５０９は、顔領域判定部１５０７が画像内に人物の顔領域が存在すると判定した場合、グリッドヒストグラムと補正用３次元ルックアップテーブルとを用いて特定色強調テーブルを選択する。尚、実施形態２は、実施形態１とは異なり、中間画像生成部を有していないため、中間画像データを用いないで特定色強調テーブルを選択する。

図１８は、特定色強調部１５０９による特定色強調処理の流れを示すフローチャートである。

Ｓ１８００において、特定色強調部１５０９は、グリッドヒストグラムの各グリッド値である（Ｒ，Ｇ，Ｂ）と、該グリッドの度数を取得する。

Ｓ１８０１において、特定色強調部１５０９は、（Ｒ，Ｇ，Ｂ）に対して補正用３次元ルックアップテーブルを適用し、（Ｒ’，Ｇ’，Ｂ’）を取得する。

Ｓ１８０２において、特定色強調部１５０９は、公知の補間方法（四面体補間など）を用いて、上記（Ｒ’，Ｇ’，Ｂ’）値に対して、例えば青強調テーブルを適用し、青色が強調された（Ｒ’’，Ｇ’’，Ｂ’’）を取得する。

Ｓ１８０６において、特定色強調部１５０９は、１．変動量の積算値、２．所定以上変動するグリッドの度数の積算値、３．所定以上変動するグリッドの色強調前彩度の積算値の３つのパラメータを算出する。

まず、特定色強調部１５０９は、青強調テーブルによるグリッドの色強調テーブルの適用前後の変動量デルタＤを以下の式により算出する。

変動量の積算値は、（上記デルタＤ×グリッドの度数）を積算することにより求められる。また、特定色強調部１５０９は、変動量デルタＤが所定値以上となる画素数をカウントする。また、特定色強調部１５０９は、変動量が所定値以上となる画素の元の画素値の彩度も積算する。なお、画素の彩度は、基本補正後のグリッド値（Ｒ’，Ｇ’，Ｂ’）値をＨＩＳ系に変換して求めてもよいし、（Ｒ’，Ｇ’，Ｂ’）値を（Ｙ，Ｃｂ，Ｃｒ）値に変換して、以下のように（Ｃｂ，Ｃｒ）ベクトルの長さを彩度として積算してもよい。

Ｓ１８０７において、特定色強調部１５０９は、Ｓ１８００〜Ｓ１８０６の処理を中間画像データ内の全ての画素に対して行ったかどうかを判定し、全ての画素に対して行った場合には、Ｓ１８０８の処理に進む。

Ｓ１８０８において、特定色強調部１５０９は、積算した変動量と彩度を縮小画像データの画素数で除算することにより平均変動量と平均彩度を算出する。

特定色強調部１５０９は、Ｓ１８００〜Ｓ１８０８までの処理を、全ての特定色強調テーブルを用いて行う。それにより、特定色強調部１５０９は、特定色強調テーブル毎に、平均変動量、所定値以上変動する画素数、所定値以上変動する画素の色強調前の平均彩度の３つのパラメータを取得する。

以降の処理は、第１の実施形態と同様であるため、説明は省略する。

以上説明したように、第２の実施形態によれば、中間画像データを生成せず、ＲＧＢ空間におけるグリッドヒストグラム（ＧＨ）と、補正用３次元ルックアップテーブルを用いて、補正後の画像状態をシミュレートする。そして、その結果を用いて、特定色強調テーブルの選択や適用強度の計算を行う。したがって、第２の実施形態では、中間画像データを保持しつづけるためのメモリが必要ない。また、第１の実施形態では中間画像データを生成する際には約６０万回の補間演算が必要であった。しかし、第２の実施形態では、４９１３グリッドのグリッドヒストグラム（ＧＨ）に対して２回の補間演算で済む。すなわち、第２の実施形態では、約１万回の補間演算を行うことで第１の実施形態と同精度で特定色強調テーブルを選択することができる。

（その他の実施形態）
上述した実施形態では、ＲＧＢの補正用３次元ルックアップテーブルを用いたが、輝度・色差信号（ＹＣｂＣｒ、ＹＣ１Ｃ２、Ｌ＊ａ＊ｂ＊など）の補正用３次元ルックアップテーブルやＣＭＹＫなど３次元以上のルックアップテーブルを用いてもよい。

また、上述した実施形態では、色を変えたくないオブジェクトの例として人物の顔を挙げたが、動物や花といったその他の特定オブジェクトであってもよい。

また、上述した実施形態では、複数の特定色強調テーブルの中から色強調効果の大きさ、すなわち、平均変動量が最も高いテーブルを１つだけ選択した。しかし、変動量が大きい複数個のテーブルを選択し、それらを補正用３次元ルックアップテーブル修正部が順次適用するように構成してもよい。

また、上述した実施形態では、面積が大きいほど強度が強くなるが、それだと逆に効果が目立ちすぎる場合もあるため、例えば、次式のように、面積が大きくなるにつれて特定色強調テーブルの適用強度が小さくなるように構成してもよい。
Ｗ＝Ｗ０×（１．０−Ｗ１）×Ｗ２

また、色強調効果の大きさを制限するために、適用強度パラメータＷ０，Ｗ１，Ｗ２、さらには、最終的な適用強度Ｗに上限値を設定してもよい。

また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に装着し、そのシステム等のコンピュータが記録媒体に格納されたプログラムコードを読み取り実行することによっても達成される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成する。記録媒体は、コンピュータ読み取り可能な記録媒体である。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。また、記録媒体から読み出されたプログラムコードが、コンピュータの機能拡張カードや機能拡張ユニットに書込まれた後、機能拡張カード等がプログラムコードの指示に基づき処理の一部または全部を行うことで、前述の実施形態を実現してもよい。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納される。

本発明を適用可能な画像処理装置の構成例を示すブロック図である。 第１の実施形態における画像処理装置の機能を示すブロック図である。 ホワイトバランス補正方法を説明するための図である。 ホワイトバランス補正方法を説明するための図である。 ホワイトバランス補正パラメータの算出処理の流れを示すフローチャートである。 階調補正処理の流れを示すフローチャートである。 階調補正カーブの生成を説明するための図である。 補正用３次元ルックアップテーブルの生成処理の流れを示すフローチャートである。 最適な特定色強調テーブルを選択し、選択された特定色強調テーブルの処理強度を決定する処理の流れを示すフローチャートである。（図９）第１の実施形態における特定色強調処理の流れを示すフローチャートである。 青強調テーブルの特性を説明するための図である。 緑強調テーブルの特性を説明するための図である。 補正用３次元ルックアップテーブルと特定色強調テーブルの合成処理の流れを示すフローチャートである。 平均彩度と彩度補正係数の関係の一例を説明するための図である。 補正用３次元ルックアップテーブルの修正処理の流れを示すフローチャートである。 第２の実施形態における画像処理装置の機能を示すブロック図である。 多次元のグリッドヒストグラム（ＧＨ）を示す図である。 縮小画像データに対してグリッドヒストグラム（ＧＨ）を算出する処理の流れを示すフローチャートである。 第２の実施形態における特定色強調処理の流れを示すフローチャートである。

符号の説明

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プリンタエンジン
１０５ ユーザインタフェース
１０６ 表示装置
１０７ メモリーカードリーダー
１０８ 入出力インタフェース
１０９ システムバス
１１０ パーソナルコンピュータ（ＰＣ）

Claims (10)

1. 画像に予め定められたオブジェクトが存在するか否かを判定する判定手段と、
   前記判定手段によって前記画像に前記予め定められたオブジェクトが存在すると判定された場合は、特定色を強調するための特定色強調テーブルを前記画像に適用することにより、前記画像において前記予め定められたオブジェクトの色以外の特定色を補正し、前記判定手段によって前記画像に前記予め定められたオブジェクトが存在しないと判定された場合は、前記画像の彩度を補正する補正手段と
   を備えることを特徴とする画像の色補正処理を実行するための画像処理装置。
2. 特定色を強調するための複数の色強調テーブルを保持する保持手段をさらに備え、
   前記判定手段によって前記画像に前記予め定められたオブジェクトが存在すると判定された場合、前記補正手段は、
   前記画像から得られた画素値と、前記画像から得られた画素値に対して前記保持手段によって保持された複数の色強調テーブルを適用した後の画素値とに基づき、前記複数の色強調テーブルの適用前後の変動量をそれぞれ算出する算出手段と、
   前記算出手段によって算出された変動量の大きさに基づき、前記複数の色強調テーブルの中で変動量が大きい上位Ｎ個の色強調テーブルを選択する選択手段と、
   前記選択手段によって選択された特定色を強調するための色強調テーブルを前記画像に適用することにより、前記画像の予め定められたオブジェクトの色以外の前記特定色を補正する特定色補正手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 画像を縮小した縮小画像データに対してホワイトバランス補正と階調補正を行う手段をさらに備え、
   前記縮小画像に対してホワイトバランス補正と階調補正が行われた後の画像に対して、前記判定手段以降の処理が実行されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、前記算出手段によって算出された画素毎の変動量を積算し、該積算した変動量を前記画像データの画素数で除算することにより、前記複数の色強調テーブル毎に平均変動量を算出し、平均変動量が他の色強調テーブルの平均変動量と比べて大きい色強調テーブルを選択することを特徴とする請求項２に記載の画像処理装置。
5. 前記選択手段によって選択された色強調テーブルを前記画像に適用する強度を算出する手段を更に備え、
   前記強度を算出する手段は、前記色強調テーブルの適用前後の平均変動量、前記色強調テーブルによって画素値が所定値以上変動する画素数又は前記色強調テーブル適用前の画像の彩度のうち少なくとも一つに基づき、前記画像に適用される色強調テーブルの強度が算出されることを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段は、
   前記算出手段によって算出された変動量の大きさに基づき、前記複数の色強調テーブルの中で変動量が大きい上位Ｎ個の色強調テーブルを選択することを特徴とする請求項２に記載の画像処理装置。
7. 前記強度を算出する手段は、
   前記色強調効果の大きさ並びに前記色強調テーブルの適用前後における画素の平均変動量、所定値以上変動する画素数又は色強調前の前記画像の彩度のうち少なくとも１つに基づき、前記画像に適用される色強調テーブルの強度を算出することを特徴とする請求項５に記載の画像処理装置。
8. 画像に予め定められたオブジェクトが存在するか否かを判定する判定ステップと、
   前記判定ステップによって前記画像に前記予め定められたオブジェクトが存在すると判定された場合は、特定色を強調するための特定色強調テーブルを前記画像に適用することにより、前記画像において前記予め定められたオブジェクトの色以外の特定色を補正し、前記判定ステップによって前記画像に前記予め定められたオブジェクトが存在しないと判定された場合は、前記画像の彩度を補正する補正ステップと
   を備えることを特徴とする画像処理方法。
9. 特定色を強調するための複数の色強調テーブルを保持する保持ステップをさらに備え、
   前記判定ステップによって前記画像に前記予め定められたオブジェクトが存在すると判定された場合、前記補正ステップは、
   前記画像から得られた画素値と、前記画像から得られた画素値に対して前記保持ステップによって保持された複数の色強調テーブルを適用した後の画素値とに基づき、前記複数の色強調テーブルの適用前後の変動量をそれぞれ算出する算出ステップと、
   前記算出ステップによって算出された変動量の大きさに基づき、前記複数の色強調テーブルの中で変動量が大きい上位Ｎ個の色強調テーブルを選択する選択ステップと、
   前記選択ステップによって選択された特定色を強調するための色強調テーブルを前記画像に適用することにより、前記画像の予め定められたオブジェクトの色以外の前記特定色を補正する特性色補正ステップと
   を有することを特徴とする請求項８に記載の画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images