JP4189328B2 - 画像処理装置、画像表示装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、カラー画像の彩度を補正する画像処理手法に関する。

画像表示装置などにおいて、入力カラー画像の彩度が不足する場合には彩度を強調する補正処理が行われる。そのような彩度強調処理の例が特許文献１に記載されている。特許文献１の方法は、まず入力カラー画像データから最大彩度を検出し、最大彩度を上限とした彩度補正テーブルを作成する。この際、彩度補正テーブルは、出力画像データの彩度が入力画像データの彩度以上となるようなカーブを有するように設定される。そして、この彩度補正テーブルを使用して、彩度補正処理を行う。この文献では、最初に最大彩度を検出してから彩度補正テーブルを作成しているので、彩度補正後の出力が最大彩度を超えることがなく、いわゆる色つぶれが起きないという利点がある。しかしながら、特許文献１の手法は、入力カラー画像データから毎回最大彩度を計算する必要があるため、演算処理量が膨大となってしまうという問題がある。

また、一般的に彩度強調処理ではＲＧＢ、ＹＵＶの色空間において、どの色成分に対しても同様に強調を行う場合が多い。しかし、どの色成分に対しても同様に強調を行うと、色成分間のバランスがくずれてしまい、処理後の画像が不自然になることがある。

特開２００１−２１８０７８号公報

本発明は、上記の点に鑑みてなされたものであり、少ない計算量で、色成分間のバランスが自然な彩度強調を行うことが可能な画像処理手法を提供することを課題とする。

上記課題を解決するために、本願の請求項に係る画像処理装置は、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段と前記入力画像データから複数の色成分を抽出する色成分抽出手段と、決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調手段と、前記複数の色成分のうち、所定の色成分に対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整手段と、を含み、前記複数の色成分は、色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒであり、前記強調量調整手段は、前記彩度強調量決定手段により決定された、前記色成分Ｃｂの負領域における前記彩度強調量のみを、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて変化させることを特徴とする。
上記の画像処理装置において、前記色成分Ｃｂの負領域は、前記色成分Ｃｂの負領域は、前記色成分Ｃｂの取り得る値の中間値よりも小さい値の領域であり、前記強調量調整手段は、前記色成分Ｃｂの負領域における前記彩度強調量を減少させることが好ましい。
上記の画像処理装置において、前記入力画像データの色調補正行う色調補正手段を、さらに含み、前記色成分Ｃｂの正領域は、前記色成分Ｃｂの取り得る値の中間値よりも大きい値の領域であり、前記色調補正に用いる前記色成分Ｃｂの負領域における第１の強調量は、前記色調補正に用いる前記色成分Ｃｂの正領域における第２の強調量より小であることが好ましい。
上記の記載の画像処理装置において、前記彩度強調量決定手段により決定される前記色成分Ｃｂの負領域における彩度強調量は、前記色成分Ｃｂの前記彩度強調量決定手段により決定される前記色成分Ｃｂの正領域における彩度強調量と同一であってもよい。
上記に記載の画像処理装置において、前記第１の強調量は、前記彩度強調量を係数α倍（０＜α＜１）することにより求められるようにしてもよい。
上記の画像処理装置において、前記第２の強調量は、前記彩度強調量と同一であるようにしてもよい。
上記の画像処理装置において、前記係数αは、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて決定されるようにしてもよい。
上記の画像処理装置において、前記係数αは、前記輝度値Ｙが所定値以下である場合には固定値であり、前記輝度値Ｙが前記所定値より大きくなるにつれて前記固定値より減少するようにしてもよい。
上記の画像処理装置において、前記係数αは前記輝度値Ｙに拘わらず固定値であるようにしてもよい。
上記の画像処理装置において、前記入力画像データは動画データであり、前記動画データのシーン変化の度合いに応じた制御信号を生成するシーンチェンジ検出手段をさらに備え、前記強調量調整手段は、前記制御信号に応じた重み付けを施すことにより、前記係数αを算出するようにしてもよい。
上記の画像処理装置は、さらに、前記画像処理装置からの出力を表示する表示部と、を備えてもよい。
本願発明に係る画像処理方法は、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定工程と、前記入力画像データから複数の色成分を抽出する色成分抽出工程と、決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調工程と、前記複数の色成分のうち、所定の色成分に対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整工程と、を含み、前記複数の色成分は、色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒであり、前記所定の色成分は、前記色成分Ｃｂであり、前記強調量調整工程は、前記彩度強調量決定工程により決定された、前記色成分Ｃｂの負領域における彩度強調量を、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて変化させることを特徴とする。
上記の画像処理方法において、前記色成分Ｃｂの負領域は、前記色成分Ｃｂの取り得る値の中間値よりも小さい値の領域であり、前記強調量調整工程は、前記色成分Ｃｂの負領域における前記彩度強調量を減少させることが好ましい。
本願の請求項に係る画像処理プログラムは、コンピュータ上で実行されることにより、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段と、前記入力画像データから色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒを抽出する色成分抽出手段と、決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調手段と、前記色成分Ｃｂに対する彩度の強調において、前記彩度強調量決定手段により決定された、前記色成分Ｃｂの負領域における彩度強調量を調整する強調量調整手段として、前記コンピュータを機能させることを特徴とする。
本発明の１つの観点では、画像処理装置は、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段と、前記入力画像データから、彩度を強調すべき複数の色成分を抽出する色成分抽出手段と、決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調手段と、前記複数の色成分のうち、所定の色成分に対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整手段と、を備える。

上記の画像処理装置は、画像表示装置の内部に設けられ、または外部の画像表示装置へ表示画像データを供給する装置として構成することができ、入力画像データの彩度強調を行う。具体的には、入力画像データから彩度情報が抽出されて彩度強調量が決定される。また、入力画像データからは彩度強調を行う色成分が抽出される。そして、決定された彩度強調量に基づいて、各色成分に対する彩度強調がなされる。ここで、所定の色成分については、彩度強調量の調整がなされた後、彩度強調がなされる。入力画像データに含まれる色成分としては、例としてＹＣｂＣｒ色空間におけるＣｂ及びＣｒなどが挙げられる。所定の色成分については、彩度強調量の調整を行うことにより、彩度強調後の画像データの色バランスを適切に調整することが可能となり、自然な画像データを得ることができる。

上記の画像処理装置の一態様は、前記入力画像データの輝度情報を抽出する輝度情報抽出手段を備え、前記強調量調整手段は、抽出された輝度情報に基づいて前記彩度強調量を調整する。彩度強調を行った場合、特定の色成分では、入力画像データの輝度に依存して彩度の強調効果に差が生じる場合がある。例えば、Ｃｂ成分においては、輝度が高い場合にＣｂ成分の正方向に相当する青色成分にクリップが生じて彩度強調効果が減少するが、負方向に相当する黄色成分にはクリップが生じず彩度強調効果は予定通り得られるため、結果的に黄色成分の強調が青色成分と比べて過多となり、色バランスがくずれるなどの不具合が生じうる。このため、所定の色成分については輝度情報に基づいて彩度強調量を調整することにより、上記のような不具合を防止することができる。

上記の画像処理装置の一態様では、前記強調量調整手段は、前記抽出された輝度情報に含まれる輝度が高いときに前記彩度強調量を減少させる。上記のＣｂ成分などの例では、輝度が高いときに、Ｃｂ成分の負方向における彩度強調量を減少させることにより、Ｃｂ成分の正方向と負方向（即ち、青色成分と黄色成分）の強調量を同等とすることができ、色バランスを保つことができる。

上記の画像処理装置の一態様では、前記強調量調整手段は、色空間における前記所定の色成分の負領域での強調量が正領域での強調量より小さくなるように前記彩度強調量を調整する。これにより、強調後の画像データにおける色バランスを維持することができる。

好適な実施例では、前記強調量調整手段は、前記所定の色成分の負領域での強調量を、正領域での強調量の係数α倍（０＜α＜１）とする。ここで、好ましくは、前記係数αは、前記輝度情報の平均値が所定値以下である場合には固定値であり、前記輝度情報の平均値が所定値より大きくなるにつれて前記固定値より減少するように設定することができる。

また、好適な他の例では、上記画像処理装置は、抽出された輝度情報に基づいて、前記入力画像データに含まれる輝度成分を補正する輝度補正手段を備え、前記係数αは前記輝度情報に拘わらず固定値とされる。彩度補正に伴って輝度の補正が同時に行われる場合には、輝度が増加する方向に補正がなされる場合が多いので、例えばＣｂ成分の負方向に対応する色成分（即ち黄色成分）おける彩度強調量を一律により小さくすることにより、色バランスを維持することが可能となる。

好適な実施例では、前記色空間における前記所定の色成分は、ＹＣｂＣｒ色空間におけるＣｂ色成分である。

上記の画像処理装置の他の好適な実施例では、前記入力画像データは複数のフレーム画像データから構成される動画データであり、前記動画データのシーン変化の度合いに応じた制御信号を生成するシーンチェンジ検出手段を備え、前記強調量調整手段は、前記複数のフレーム画像に対応する前記係数αに対して、前記制御信号に応じた重み付けを施すことにより、当該フレーム画像における前記係数αを算出する。これにより、シーンチェンジの前後においても、適切な係数αを設定することができ、自然な彩度強調が可能となる。

上記の画像処理装置と、前記画像処理装置からの出力を表示する表示部とを備える画像表示装置を構成することにより、入力画像データに対して色バランス良く彩度強調を行って表示することができる。

本発明の他の観点では、画像処理方法は、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定工程と、前記入力画像データから、彩度を強調すべき複数の色成分を抽出する色成分抽出工程と、前記決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調工程と、を有し、前記複数の色成分のうち、所定の色成分に対する彩度の強調においては前記決定された彩度強調量を調整する。この画像処理方法によっても、上記の画像処理装置と同様に、色バランスが適切に維持された彩度強調を行うことができる。

本発明のさらに他の観点では、画像処理プログラムは、コンピュータ上で実行されることにより、入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段、前記入力画像データから、彩度を強調すべき複数の色成分を抽出する色成分抽出手段、決定された彩度強調量に基づいて前記複数の色成分に対する彩度の強調を行う彩度強調手段、前記複数の色成分のうち、所定の色成分に対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整手段、として前記コンピュータを機能させる。この画像処理プログラムをコンピュータ上で実行することにより、上述の画像処理装置を実現することができる。

［概要説明］
好適な実施例の説明に先立ち、まず本発明による彩度強調処理の概要を説明する。

図１は、入力画像の画素値が色空間に分布している状況を示す。色空間として、ここでは、ＹＣｂＣｒ色空間を用いる。Ｙが輝度（明るさ）成分を表し、Ｃｂ、Ｃｒが色成分を表す。

Ｃｂ、Ｃｒは色を表す成分であるため、その絶対値が大きいほど、あざやかな色であることを表す。図２、図３は、それぞれ、Ｙ−Ｃｂ平面、Ｙ−Ｃｒ平面からみた画素値の分布を表す。いずれの図も、彩度強調により画素値の範囲が矢印に従って外側の範囲に広がる場合を表している。この場合、Ｃｂ、Ｃｒの絶対値が大きくなるので、色のあざやかさを増すことができる（即ち、彩度の強調が行える）。

実際は、図４の変換カーブを用いて彩度の強調を行う。変換カーブは原点を通る略Ｓ字型であり、横軸が入力、縦軸が出力となる。この変換カーブを用いてＣｂ、Ｃｒの画素値の変換を行うと、絶対値を大きくすることができる。

絶対値の変化は、図５に示した度数分布の変化として表すことができる。図５は横軸にＣｂ（もしくはＣｒ）の画素値をとり、縦軸にその画素値における度数をとったものである。変換カーブによって絶対値が大きくなり、その結果、度数分布が両側に広がっている。なお、彩度強調によって度数分布は変わっているが、総画素数は変化していない。この度数分布は色成分を表す分布であるため、図５のように度数分布が広がれば、それは彩度強調が行われていることを意味する。

図６は、別の入力画像に関して、Ｙ−Ｃｂ平面からみた画素値の分布を示す。この入力画像の特徴は、輝度値Ｙが比較的高いことである。この画像に対して先ほどと同じ変換を行うと、画素値が色空間の外にはみ出す現象が起こる。実際は色空間外の値は取れないため、色空間の境界の値をとる（このように境界の値を取ることを、色空間の境界で「クリップ」（切り抜き）が起きるという）。

図７は、クリップが起きるときの度数分布を示す。図２に示すＹ−Ｃｂ平面の図から理解されるように、ＹＣｂＣｒ色空間は、輝度が高い領域ではＣｂの正方向に狭く、Ｃｂの負方向に広くなっている。このため、図６に示すように、クリップの多くはＣｂの正領域で発生して、Ｃｂの正領域の度数分布の広がりは、一定値以上大きくならない。一方、Ｃｂの負領域は色空間が広いため、クリップが起きにくく、度数分布の広がりが大きくなる。

なお、図３に示すＹ−Ｃｒ平面の図から理解されるように、ＹＣｂＣｒ空間は、輝度が高い領域ではＣｒの正方向に狭く、Ｃｒの負方向に狭い傾向があり、これはＣｂの場合と類似している。しかし、図２と図３を比較するとわかるように、輝度が高い領域では、ＹＣｂＣｒ空間のＣｒの正領域はＣｂの正領域ほど狭くはない。よって、上述のクリップは、Ｙ−Ｃｒ空間ではＹ−Ｃｂ空間の場合ほど問題とはならない。

以上のように、特に入力画像の輝度が高い場合には、クリップによって、度数分布の広がりに差が発生する。これは、色成分ごとの彩度強調のかかり具合の差となり、彩度強調時の色バランスの崩れにつながる。Ｃｂの正方向は青色に対応し、Ｃｂの負方向は黄色に対応する。よって、具体的にいえば、Ｃｂの負方向の彩度強調だけが強くかかり、その結果として、Ｃｂの負方向に対応する黄色方向に色バランスが崩れるという問題が起きうる。

Ｃｂの負方向の色空間が広いために彩度強調が強くかかることに注目し、上記の問題の解決のポイントとしては、Ｃｂの負方向の強調を他と比べて弱くすればよい。図８には、Ｃｂの負方向の強調量を抑えた変換カーブ例を示す。図８では、α（0<α<1）という係数（調整パラメータ）を設定して、Ｃｂの負方向の強調量を、Ｃｂの正方向の強調量の通常値Ａよりも抑えている。

図９には、図８の変換カーブを用いて彩度強調を行ったときの度数分布を示す。前述のとおりＣｂの正方向では、クリップによって分布の広がりは一定値以上大きくなっていない。一方、Ｃｂの負方向でも、図８に示すように、係数αの導入により変換カーブによる強調量を抑えているため、分布の広がりが大きくならない。その結果、彩度強調がＣｂの正方向及び負方向で同程度のレベルでかかり、色バランスの崩れを防ぐことができる。

なお、図６に示したとおり、特に輝度が大きい画像において、Ｃｂの正方向のクリップが発生するため、先に示した係数α（0<α<1）は、入力画像の輝度値と連動させることが好ましい。実際は、入力画像の輝度は分布を持つため、代表値として、輝度の平均値を用いる。

図１０は、横軸に輝度の平均値、縦軸に係数αをとり、係数αの設定例を示した図である。輝度の平均値が高いときに強調量が小さくなるように、係数αを設定する。

このように、本発明では、ＹＣｂＣｒ空間の形状に起因して、輝度が高い領域でＣｂの正方向でクリップが生じることを考慮し、Ｃｂの負方向での強調量を抑えることにより、Ｃｂの正負の方向における色バランスを調整して自然な彩度強調を可能とする。

［第１実施例］
次に、本発明の彩度補正処理を適用した画像表示装置の実施例について説明する。図１１（ａ）に、画像表示装置１００の概略構成を示す。画像表示装置１００は外部からの入力画像データを処理して表示する装置であり、ＡＶ機器や画像表示機能を有する端末装置などが挙げられる。また、本発明の彩度補正処理は演算量が少なくて済む点に１つの特徴を有し、その点からは例えば携帯電話やＰＤＡなど、演算処理能力にある程度の制限がある携帯型端末装置に特に好適である。

画像表示装置１００は、入力画像データに対して彩度補正処理を含む画像処理を施す画像処理装置１０と、処理後の画像を表示する表示部２０とを備える。画像処理装置１０は、例えば図１１（ｂ）に示すように、ＣＰＵ１１、画像処理プログラムを記憶するＲＯＭ１２、及び、作業メモリとしてのＲＡＭ１３などを備えて構成することができる。その場合には、本発明による彩度補正処理は画像処理プログラムとして予めＲＯＭ１２内に記憶され、ＣＰＵ１１がこれを読み出して実行することにより、画像処理装置として機能する。なお、このように彩度補正を含む画像処理をソフトウェア処理により実行するのではなく、画像処理装置１０内でその一部又は全部をハードウェア処理により実行しても構わない。

表示部２０は、画像表示装置１００の種類によるが、例えば液晶パネルやその他のフラットパネルディスプレイなどすることができる。

次に、第１実施例による彩度補正処理について説明する。第１実施例では、前述のように、ＹＣｂＣｒ空間におけるＣｂ成分の負領域での強調量を抑制することにより、色バランスの良好な彩度補正を行うものである。

図１２に第１実施例による彩度補正処理のフローチャートを示す。第１実施例による彩度補正処理は、入力画像データの統計量を計算して入力画像データの特徴を抽出し、抽出した特徴に基づいて補正テーブルを作成し、その補正テーブルを用いて入力画像データの彩度補正を行う、という手順で行われる。

具体的には、まず、入力画像データをサンプリングし、ヒストグラムを作成する（ステップＳ１）。一般的には、入力画像データはＲＧＢのフレーム画像データとして与えられるので、画像処理装置１０は式（１）及び（２）に従ってＲＧＢ形式の入力画像データ（Ｒ、Ｇ、Ｂを含む）をＹＣｂＣｒ形式の画像データ（Ｙ、Ｃｂ、Ｃｒを含む）に変換する。

式（１）はＲＧＢ形式の画像データからＹＣｂＣｒ形式の画像データへの変換式であり、式（２）はその変換行列Ｍである。

ＹＣｂＣｒ形式の画像データが得られると、画像処理装置１０はこれをサンプリングしてフレーム画像に含まれる画素を抽出し、ヒストグラムを作成する。サンプリングにより画素を抽出する対象となるサンプリング領域の例を図１３（ａ）及び（ｂ）に示す。図１３（ａ）の例は、フレーム画像全体をサンプリング領域とする例である。フレーム画像の縦横サイズをそれぞれＲｘ、Ｒｙとすると、サンプリングによる総度数は全画素数Ｒｘ×Ｒｙとなる。

図１３（ｂ）は、フレーム画像の中心エリアのみをサンプリング領域とする例である。画像の縦横サイズをＲｘ、Ｒｙとし、画像全体に対する中心エリアの面積の割合をＲとするとき、中心エリアの縦横サイズＲａ、Ｒｂを例えば式（３）のように計算する。

また、図１３（ｂ）に示した中止エリアの頂点Ａ〜Ｄの座標は式（４）により与えられる。

この領域から、輝度Ｙのヒストグラムｆ_A(k)、及び彩度Ｓのヒストグラムｆ_S(k)は式（５）のように作成される。

ここで、彩度Ｓは、色差信号Ｃｂ、Ｃｒから式（６）のように計算される。

こうして得られた輝度Ｙのヒストグラムの例を図１４に示す。横軸は階調数（０〜２５５）であり、縦軸は度数（各階調値を有する画素数）である。なお、同様に彩度Ｓのヒストグラムも作成される。

次に、得られたヒストグラムを用いて、統計量が計算される（ステップＳ２）。具体的には、式（７）に従い、輝度Ｙのヒストグラムｆ_A(k)から平均値Ｐ_Aave、彩度Ｓのヒストグラムｆ_S(k)から平均値Ｐ_Saveがそれぞれ計算される。

次に、得られた統計量を基にして彩度補正の補正パラメータを計算する（ステップＳ３）。具体的には、彩度平均値Ｐ_Saveを用いて、式（８）に従って彩度強調量Ｐ_Sdiff'を計算する。

ここで、Ｐ_Savethは補正の基準値であり、Ｐ_Scv1とＰ_Scv2は補正量を調整するパラメータ、Ｐ_Sthは補正量を制限するリミッタである。彩度平均値Ｐ_Saveと、得られた彩度強調量Ｐ_Sdiff'との関係を図１５に示す。図１５からわかるように、彩度平均値Ｐ_Saveが小さいときには彩度強調量Ｐ_Sdiff'を大きくし、彩度平均値Ｐ_Saveが増加するにつれて彩度強調量Ｐ_Sdiff'を徐々に小さくし、彩度平均値Ｐ_Saveが所定値を超えると彩度強調量Ｐ_Sdiff'を０（即ち強調しない）とする。これにより、彩度の不足する部分が強調されることとなる。

こうして補正パラメータが得られると、補正パラメータに基づいて補正テーブルが計算される（ステップＳ４）。Ｃｒ成分の補正テーブルＳ［Ｃｒ］の例を図１６（ａ）に示す。補正テーブルＳ［Ｃｒ］は、（0,0）、（−128,−128）、（128,128）、補正ポイント１（Ｐ_Spt、Ｐ_Spt'）、補正ポイント２（−Ｐ_Spt、−Ｐ_Spt'）、を通る曲線として作成される。曲線を生成する際にはスプライン補間など適当な補間関数を用いる。補正ポイント１及び２は原点に対して対称となり、補正テーブルＳ［Ｃｒ］も原点に対して対称となる。補正ポイントの出力Ｐ_Spt'は、入力Ｐ_Sptと彩度強調量Ｐ_Sdiff'を用いて式（９）により得られる。

図１６（ａ）に示す補正テーブルＣ［Ｃｒ］では、入力データの正領域と負領域において、同一の彩度強調量Ｐ_Sdiff'を用いている。しかし、色成分Ｃｂの補正テーブルＳ［Ｃｂ］を同様に構成した場合、前述のように入力画像データの輝度が高い場合にＣｂ成分が正領域でクリップすると、相対的にＣｂ成分の負領域における強調が強くなり、色バランスが崩れるという不具合が生じる。そこで、本発明では、補正テーブルＳ［Ｃｂ］については、負領域において調整パラメータαを導入し、彩度強調量をＰ_Sdiff'・α_Sとする。この場合の補正テーブルＳ［Ｃｂ］の例を図１６（ｂ）に示す。また、この場合の補正ポイントの出力Ｐ_Spt'’は、入力Ｐ_Sptと彩度強調量Ｐ_Sdiff'と調整パラメータα_Sを用いて式（９）により得られる。調整パラメータα_Sは０＜α_S＜１であるので、図１６（ｂ）に示すように、補正テーブルによるＣｂ成分の負領域の強調量は正領域の強調量より小さくなる。これにより、Ｃｂ成分の負領域の強調、即ち黄色の強調が他の色成分の強調に比べて抑制されることとなり、色バランスが崩れることが防止できる。

次に、以上のようにして作成された補正テーブルＳ［Ｃｂ］及びＳ［Ｃｒ］を用いて、色調補正が行われる（ステップＳ５）。色調補正は入力画像データの１画素毎に行われる。具体的には、補正テーブルＳ［Ｃｂ］及びＳ［Ｃｒ］を使用して式（１０）に従って補正後の画像データＹ’、Ｃｂ’及びＣｒ’を生成し、ＲＧＢ形式の画像データＲ’、Ｇ’及びＢ’に変換して出力する。なお、本実施例では輝度Ｙは補正されていない。こうして、彩度補正処理が終了する。

次に、調整パラメータα_Sの値について説明する。図１７にα_Sのグラフの一例を示す。横軸は輝度平均値Ｐ_Aaveであり、輝度平均値Ｐ_Aaveが所定値を超えたところから調整パラメータα_Sの値を減衰させる。これにより、入力画像データの輝度が高いときには、Ｃｂ成分の負領域における強調度合いを抑制し、黄色の強調が過大となることを防止できる。図１７に示すα_Sの値は式（１１）で示すことができる。なお、図１７の例では、輝度平均値Ｐ_Aaveが所定値を超えたところから調整パラメータα_Sの値を直線的に減衰（単調減少）させているが、その代わりに曲線的に（指数関数的に）減衰させることとしてもよい。

［第２実施例］
次に、第２実施例について説明する。第１実施例では、色調補正処理として彩度のみを補正する場合を説明した。これに対し、第２実施例では、彩度に加えて輝度も同時に補正する。但し、彩度の補正手法は第１実施例と同一である。

図１８に第２実施例による色調補正処理のフローチャートを示す。第１実施例と同様に、まず、入力画像データをサンプリングし、輝度Ｙ及び彩度Ｓについてのヒストグラムを作成し（ステップＳ１１）、それに基づいて輝度Ｙ及び彩度Ｓの統計量を計算する（ステップＳ１２）。

次に、統計量に基づいて補正パラメータが計算される（ステップＳ１３）。ここで、彩度Ｓの補正パラメータＰ_Sdiff'は第１実施例と同様に図１５に示すものであり、式（８）により得られる。一方、輝度Ｙの補正パラメータ（ガンマ補正パラメータ）Ｐ_Gdiff'は図１９に示すものであり、式（１２）により得られる。具体的には、図１９は平均値Ｐ_Aave'と補正パラメータＰ_Gdiff'の関係を示す。

ここで、Ｐ_Gavethは補正の基準値であり、Ｐ_Gcv1とＰ_Gcv2は補正量を調整するパラメータ、Ｐ_Gth1とＰ_Gth2は補正量を制限するリミッタである。補正基準値Ｐ_Gavethは、平均値Ｐ_Aave'がこの値より大きい場合は輝度を暗くする補正がかかり、小さい場合は明るくする補正がかかる。

次に、輝度Ｙと彩度Ｓの補正パラメータに基づいて、補正テーブルを計算する（ステップＳ１４）。彩度Ｓの補正テーブルは第１実施例と同様に作成される。一方、輝度Ｙの補正ポイントＰ_Gptは式（１３）により与えられ、図２０に示すようになる。

式（１３）より、平均値Ｐ_Aave'が補正基準値Ｐ_Gavethより大きい場合、つまり輝度を暗くする場合には補正ポイントを小さく（Ｐ_Gpt1に）設定し、逆に明るくする場合は補正ポイントを大きく（Ｐ_Gpt2に）に設定する。この補正ポイントを利用し、式（１４）により、図２１に示す輝度Ｙの補正テーブル（ガンマ補正テーブル）Ｙ_gamma［Ｙ］が得られる。

次に、輝度Ｙ及び彩度Ｓの補正テーブルを利用して、色調補正が行われる（ステップＳ１５）。具体的には、式（１５）に従って補正後の輝度Ｙ’及び色差Ｃｂ’、Ｃｒ’が計算され、それがＲＧＢ形式の画像データＲ’、Ｇ’及びＢ’に変換されて出力される。

こうして、輝度及び彩度の補正を含む色調補正が完了する。

第２実施例における彩度補正テーブルの調整パラメータα_Sの例を式（１６）及び図２１２２に示す。

第１実施例では、図１７に示すように、調整パラメータα_Sを所定の輝度平均値Ｐ_Aave以上で徐々に減衰させている。これに対し、第２実施例における好適な一例では、図２２に示すように、調整パラメータα_Sを所定の値α_thに固定する。第２実施例では彩度のみならず輝度の補正も行っている。ここで、輝度の平均値Ｐ_Aave'が小さいとき、すなわち暗い画像のときには、明るい画像への補正が行われる。第１実施例の図１７において、輝度の平均値Ｐ_Aave'が小さいときには、クリップが起きにくいとして、調整パラメータα_Sを１にしていたが、第２実施例では、輝度の補正により暗い画像でも明るい画像へ補正が行われるため、彩度補正により色成分Ｃｂが正方向でクリップする可能性が高くなる。そこで、輝度Ｙの補正を行う第２実施例では、調整パラメータα_Sを所定の値α_thに（０＜α_th＜１）固定することにより、色成分Ｃｂの負領域の色成分（即ち黄色成分）の強調をより抑制し、色バランスを調整することが好ましい。なお、他の例として、図２２に破線Ｃ１で示すように、所定の輝度平均値Ｐ_Aave以上の領域で調整パラメータα_Sを所定値α_thから徐々に増加させることとしてもよい。これは、例えば、輝度の平均値Ｐ_Aave'が大きい、すなわち明るい画像のときには、暗い画像への補正が行われ、その結果、彩度補正により色成分Ｃｂが正方向でクリップする可能性が低くなるためである。

［第３実施例］
次に、第３実施例について説明する。第３実施例は、入力画像データが動画である場合に、シーンチェンジの検出を行って調整パラメータα_Sの更新を行うものである。一般的に動画データに対して輝度補正や彩度補正を行う場合に、シーン（場面）が大きく変化する際にはその時点の補正パラメータを用い（補正パラメータをダイナミックに更新し）、一方で、シーンが大きく変化しない際にはちらつきを防止するため同一の補正パラメータを用いる（補正パラメータをダイナミックに更新しない）ことが望ましい。このため、上記彩度補正の調整パラメータα_Sについても、シーンチェンジの検出結果に対応する形で更新することが好ましい。具体的には、連続する動画フレームにおける調整パラメータの加重平均をとりながら、シーンチェンジ検出結果に応じて、加重平均における重みを制御する。

今、前フレーム画像における調整パラメータをα_S0とし、現フレーム画像における調整パラメータをα_S1とすると、加重平均をとった調整パラメータαは、
α ＝ Ｗ_pre・α_S0 ＋ Ｗ_now・α_S1 （１７）
で示すことができる。ここで、Ｗ_pre及びＷ_nowはそれぞれ前現フレーム画像における調整パラメータに対する重みであり、Ｗ_pre＋Ｗ_now＝１とする。

ここで、例えば、シーンが大きく切り替わる場合には、重みを Ｗ_pre＝０、Ｗ_now＝１に設定する。この重み設定により、式（１７）による加重平均計算後の調整パラメータαは、現フレーム画像における調整パラメータをα_S1となって、その時点の調整パラメータに更新される。その結果、場面変化に追随した最適な補正を実行することができる。

一方、シーンが大きく変わらない場合には、重みを Ｗ_pre＝Ｗ_now＝０．５に設定する。この重み設定により、式（１７）による加重平均計算後の調整パラメータαは単純平均となり、調整パラメータの時間的微小変動を除去できる。その結果、補正後におけるちらつき等の妨害を軽減することができる。なお、ここではシーンの切り替わりの有無を検出する例を示したが、シーンの変化度合い等を算出し、その変化度合いに応じて、加重平均における重みを連続的に制御する構成としてもよい。

このように、入力画像データが動画である場合には、シーンチェンジを検出し、そのシーンチェンジ検出結果に応じた彩度調整パラメータαの加重平均をとることで、入力画像データが動画である場合にも、適切な彩度補正を実行することができる。

図２３に第３実施形態における色調補正処理のフローチャートを示す。なお、この例は第１実施例と同様に、色調補正として彩度補正のみを行う場合を示しているが、第２実施例のように輝度及び彩度の補正を行う場合にも、第３実施例の適用は可能である。

図２３において、ステップＳ２１〜Ｓ２３までは第１実施例のステップＳ１〜Ｓ３と同様であり、入力画像データ（本例では動画）をフレーム画像毎にサンプリングし、ヒストグラムを生成し（ステップＳ２１）、統計量を計算し（ステップＳ２２）、補正パラメータを計算する（ステップＳ２３）。

次に、シーンチェンジ時の処理を行う（ステップＳ２４）。即ち、シーンチェンジを検出し、シーンチェンジ検出結果に応じた上述の加重Ｗ_pre、Ｗ_nowを算出する。そして、式（１７）に従って調整パラメータαを算出する。なお、シーンチェンジの検出は、例えば前後するフレーム画像の輝度平均値などの差を計算し、その差が所定値以上となったときにシーンチェンジが発生したと判定することができる。なお、シーンチェンジの検出方法としては各種の手法が既知であるので、詳細な説明は省略する。

こうして、シーンチェンジ検出結果を受けて更新された調整パラメータαが得られると、それに基づいて補正テーブルが作成され（ステップＳ２５）、作成された補正テーブルに従って色調補正が実行される（ステップＳ２６）。

色空間での画素値の分布を示す。 Ｙ−Ｃｂ平面での画素値の分布を示す。 Ｙ−Ｃｒ平面での画素値の分布を示す。 彩度の変換カーブによる画素値の変化を示す。 彩度の変換カーブによる度数分布の変化を示す。 輝度値が大きい画像の画素値の分布を示す。 クリップが起きた場合の画素値の度数分布を示す。 Ｃｂ成分の強調量を抑えた変換カーブの例を示す。 Ｃｂ成分の強調量を抑えた場合の画素値の度数分布を示す。 調整パラメータの設定例を示す。 本発明の画像表示装置の概略構成を示すブロック図である。 第１実施例の色調補正処理のフローチャートである。 サンプリング領域を説明する図である。 輝度のヒストグラムの例である。 彩度強調量の計算例を示すグラフである。 彩度補正テーブルの例である。 第１実施例における調整パラメータの設定例を示す。 第２実施例の色調補正処理のフローチャートである。 輝度補正量の計算例である。 輝度補正ポイントの設定例である。 輝度補正用テーブルの例である。 第２実施例における調整パラメータの設定例を示す。 第３実施例の色調補正処理のフローチャートである。

符号の説明

１０ 画像処理装置、 １１ ＣＰＵ、 １２ ＲＯＭ、 １３ ＲＡＭ、 ２０ 表示部、 １００ 画像表示装置

Claims (11)

1. 入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段と
   前記入力画像データから色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒを抽出する色成分抽出手段と、
   決定された彩度強調量に基づいて、前記色成分Ｃｂ及び前記色成分Ｃｒに対してその絶対値を増加させる変換を行うことで彩度の強調を行う彩度強調手段と、
   前記色成分Ｃｂに対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整手段と、を含み、
   前記強調量調整手段は、前記彩度強調量決定手段により決定された、前記色成分Ｃｂの取り得る値の中間値よりも大きい値の領域である前記色成分Ｃｂの正領域、及び前記中間値よりも小さい値の領域である前記色成分Ｃｂの負領域のそれぞれに対する前記彩度強調量において、前記色成分Ｃｂの負領域における前記彩度強調量のみを、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて減少させることにより、Ｙ−Ｃｂ平面における彩度強調に関してＣｂの正領域と負領域とでバランスをとることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記入力画像データの色調補正行う色調補正手段を、さらに含み、
   前記色調補正に用いる前記色成分Ｃｂの負領域における第１の強調量は、前記色調補正に用いる前記色成分Ｃｂの正領域における第２の強調量より小であること、
   を特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記第１の強調量は、前記彩度強調量を係数α倍（０＜α＜１）することにより求められること、
   を特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記第２の強調量は、前記彩度強調量と同一であること、
   を特徴とする画像処理装置。
5. 請求項３又は４に記載の画像処理装置において、
   前記係数αは、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて決定されること、
   を特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記係数αは、前記輝度値Ｙが所定値以下である場合には固定値であり、
   前記輝度値Ｙが前記所定値より大きくなるにつれて前記固定値より減少すること、
   を特徴とする画像処理装置。
7. 請求項３又は４に記載の画像処理装置において、
   前記係数αは前記輝度値Ｙに拘わらず固定値であることを特徴とする画像処理装置。
8. 請求項３又は４に記載の画像処理装置において、
   前記入力画像データは動画データであり、
   前記動画データのシーン変化の度合いに応じた制御信号を生成するシーンチェンジ検出手段をさらに備え、
   前記強調量調整手段は、前記制御信号に応じた重み付けを施すことにより、前記係数αを算出することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれか一項に記載の画像処理装置と、
   前記画像処理装置からの出力を表示する表示部と、を備えることを特徴とする画像表示装置。
10. 入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定工程と
    前記入力画像データから色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒを抽出する色成分抽出工程と、
    決定された彩度強調量に基づいて、前記色成分Ｃｂ及び前記色成分Ｃｒに対してその絶対値を増加させる変換を行うことで彩度の強調を行う彩度強調工程と、
    前記色成分Ｃｂ対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整工程と、を含み、
    前記強調量調整工程は、前記彩度強調量決定工程により決定された、前記色成分Ｃｂの取り得る値の中間値よりも大きい値の領域である前記色成分Ｃｂの正領域、及び前記中間値よりも小さい値の領域である前記色成分Ｃｂの負領域のそれぞれに対する前記彩度強調量において、前記色成分Ｃｂの負領域における彩度強調量のみを、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて減少させることにより、Ｙ−Ｃｂ平面における彩度強調に関してＣｂの正領域と負領域とでバランスをとることを特徴とする画像処理方法。
11. コンピュータ上で実行されることにより、
    入力画像データの彩度情報を抽出して彩度強調量を決定する彩度強調量決定手段と
    前記入力画像データから色空間ＹＣｂＣｒにおける色成分Ｃｂ及び色成分Ｃｒを抽出する色成分抽出手段と、
    決定された彩度強調量に基づいて、前記色成分Ｃｂ及び前記色成分Ｃｒに対してその絶対値を増加させる変換を行うことで彩度の強調を行う彩度強調手段と、
    前記色成分Ｃｂに対する彩度の強調において、前記決定された彩度強調量を調整する強調量調整手段として、前記コンピュータを機能させ、
    前記強調量調整手段は、前記彩度強調量決定手段により決定された、前記色成分Ｃｂの取り得る値の中間値よりも大きい値の領域である前記色成分Ｃｂの正領域、及び前記中間値よりも小さい値の領域である前記色成分Ｃｂの負領域のそれぞれに対する前記彩度強調量において、前記色成分Ｃｂの負領域における前記彩度強調量のみを、前記色空間ＹＣｂＣｒにおける輝度値Ｙに応じて減少させることにより、Ｙ−Ｃｂ平面における彩度強調に関してＣｂの正領域と負領域とでバランスをとることを特徴とする画像処理プログラム。

Images