JP3723604B2 - 電子文書中の自然シーン画像の画像依存カラー彩度補正方法及びその装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は自然シーンカラー電子絵画の画像依存カラー彩度補正の方法及び装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
画像の一般的な欠陥の１つに、画像彩度の明白な欠如がある。即ち、これはより高い彩度の画像を得たいという要望に置き換えることができる。画像の彩度の欠如は、幾つかの要因による。ある要因は、経時変化又は他の外的な影響に起因する画像の劣化である。別の要因は、画像のデータレンジと、走査システムの可能なダイナミックレンジとの間の不整合である。三番目の要因は、”メモリ”画像と”実在”画像との間の食い違いである。この三番目のカテゴリの一般的な例は、元のシーンのカラー又はカラフルネス（色彩）を正確に複製しない場合でさえ、”青い空””緑の草原”を示す画像に対する要望があることである。
【０００３】
カラー画像の彩度を補正するためのアプローチは、アキラ イノウエ（Akira Inoue)、及びジョージ タジマ(Johji Tajima)による「カラー画像の品質向上を行う方法(Adaptive Quality Improvement Method for Color Images"」（電子画像科学及び技術に関するＩＳ＆Ｔ／ＳＰＩＥシンポジウム、２１７９−４３、１９９４年）に記載された。このアプローチでは、ＨＳＶ（色相−彩度−明度）の最大彩度を測定して、補正係数を計算し、測定された最大の彩度Ｓ_max を調整し、それを得ることができる最大の彩度Ｓ_max ＝１に変換する。このアプローチの難しさは、低いＶ値に対してＨＳＶデータの信頼性が低下する性質のために、不正確な測定値が得られるであろうということである。第二番目に、１つの画一的な測定に頼ることでアルゴリズムは画像ノイズを受けやすくなることである。第三番目に、ＨＳＶ空間の画像彩度を調整することにより明度(lightness) 又は輝度の視覚的外観に、強い画像ノイズが生じることがあるということである。
【０００４】
本発明の目的は、上記従来技術の欠点を克服することである。
【０００５】
【課題を解決するための手段と作用】
本発明によると、電子文書中の自然シーン画像の画像依存カラー彩度補正の方法及び装置が提供される。
【０００６】
本発明の一態様によると、電子文書中の自然シーン画像の画像依存カラー彩度補正の方法及び装置が提供される。入力画像は、その元のカラー空間定義からＨＳＶ空間のような輝度−色相−彩度カラー空間に変換される。ここでＳは、知覚彩度(perceived saturation)と強い相関を有する。画像ノイズの影響を減らし、低いＶ値データ測定への依存性をなくすために、局所画像値Ｖに基づき信号の彩度成分を、画像を通して選択的に平均化する。決定された平均値は、望ましい彩度レベルを示すように選択されたしきい値と比較される。彩度が目標の彩度よりも低い場合、フィルタを選択して、平均彩度と所望の彩度との関数として彩度を向上（強調）(enhance) するように画像に動作することができる。その他の場合には画像に変更は付されない。
【０００７】
本発明の別の態様によると、ＨＳＶ空間における画像の彩度の変更は、画像の輝度を変える傾向にある。従って、画像をフィルタリングして彩度を向上した後に、画像を再びフィルタリングして、元の輝度と彩度向上画像の輝度との関数として、輝度のばらつきを減少する。あるいは、彩度が向上した画像の輝度値を元の輝度値と交換する。次に、彩度向上画像は、出力デバイスに送られる。
【０００８】
本発明の更に別の態様によると、電子文書中の自然シーン画像の画像依存カラー彩度補正方法が提供され、該方法は、元の画像をその元のカラー空間定義から、知覚彩度と強い相関を有する彩度成分を有する第２のカラー空間定義に変換するステップと；元の画像データの値範囲の少なくとも一部分の平均彩度を、その第２のカラー空間定義における彩度成分の関数として決定するステップと；決定された平均彩度を所望の彩度を表すように選択された目標彩度と比較し、決定された平均彩度が目標彩度よりも高いか否かを示す比較信号を生成するステップと；平均彩度が目標彩度よりも低いことを比較信号が示す場合に、平均彩度と所望の彩度の関数としてフィルタ係数を生成するステップと；第２のカラー空間によって定義された元の画像を、生成されたフィルタ係数を有するその彩度成分に対して動作するプログラマブルフィルタへ送り、彩度を変更した画像を生成するステップと；彩度変更画像を出力デバイスへ送るステップと；平均彩度が目標彩度よりも高いことを比較信号が示す場合、画像を彩度成分に変更を加えずに出力デバイスへ送るステップと、を含む。
【０００９】
請求項２に記載の電子文書中の自然シーン画像の画像依存カラー彩度補正方法は、請求項１に記載電子文書中の自然シーン画像の画像依存カラー彩度補正方法において、彩度が変更された画像を出力デバイスへ送るための準備となるステップであって；元のカラー空間定義からの元の画像を、輝度と強い相関のある成分を含む第３のカラー空間に変換するステップと；第２のカラー空間からの彩度が変更された画像を第３のカラー空間に変換するステップと；元の画像の輝度成分の関数として、彩度が変更された画像の輝度成分を調整するステップと、を更に含む。
【００１０】
請求項３に記載の発明は、電子文書中の自然シーン画像の画像依存カラー彩度補正のための画像プロセッサであって；元のカラー空間によって定義されるカラー画像を受け取る入力部と；前記入力部と動作的に接続され、知覚彩度と強い相関を有する彩度成分を有する第２のカラー空間定義によって定義される画像を出力として生成する第１のカラー空間変換器と；元の画像の入力ダイナミックレンジの少なくとも一部分の平均彩度を、その第２のカラー空間定義における彩度成分の関数として測定する手段と；前記平均彩度測定手段と動作的に接続され、決定された平均彩度が目標彩度よりも低いか否かを示す応答信号を生成するコンパレータと；コンパレータからの信号に応答して動作し、フィルタ係数を平均彩度と所望の彩度との関数として生成する係数計算回路と；画像を前記カラー空間変換器から受け取り、その彩度成分に前記フィルタ係数で動作し、彩度変更画像を生成するプログラマブルフィルタと；彩度変更画像をプログラマブルフィルタから出力デバイスへ送る出力部と、を含む。
【００１１】
本発明は、画像ノイズに対する減少した感度、低いＶ値データに対する低い感度、及び局所的な輝度を維持できる能力を有することによって、主な画像ノイズソースを除去できる方法について記載する。
【００１２】
【実施例】
図面を参照すると、図示されているものは、本発明の実施例を説明するためのものであり、同等物を限定するためのものではない。図１を参照すると、本発明の良好な使用がわかるスキャン・ツ−・プリント(scan-to-print) システムが示される。
【００１３】
図１は、カラー画像用のｒｇｂ空間で定義される画像信号を生成するカラースキャナと便宜上することができるスキャナ１０を示す。取り扱うこれらの画像は、絵画的性質を有するもの、即ちそれらは自然シーンを表すものである。コンピュータにより生成された画像を、自然シーンを表す画像と見なすこともできるが、意図される画像は主に走査される写真である。画像自体は、ピクセルによって定義され、ここで各ピクセルは、ホワイトレベルとブラックレベルの間で変化する３つのグレー値から成るトリプレットを有する。算定が８ビット情報に基づいてなされ得る一般的に望ましいシステムでは、各分離に対して２５６レベルのグレイが使用可能である。ピクセルはまた位置によっても識別される。即ち、ピクセルは、画像内に固有の領域を定め、走査線中のピクセル位置及びページ中の走査線位置によって識別される。従って、カラーは、画像中の各カラーピクセルに対するピクセル値のトリプレットによって表され、ピクセル値のトリプレットの各要素が各分離部分においてカラーを定義し、それらが一緒になってカラーピクセルが形成される。
【００１４】
スキャナ１０は、スライドスキャナ、ドキュメントスキャナ、電子カメラ等を含み得る可視画像を電気信号にするためのデバイスを示す。一般的にスキャナ１０によって生成された電気信号は、レッド、グリーン及びブルー（ｒｇｂ）カラー光に関して定義された標準的なＣＩＥカラー空間によって与えられる、あるいはまた、このような項に補正可能である。これらの信号（即ち、ピクセル）を、カラー画像処理ユニット２０において印刷のために編集、改良、及び準備し、このカラー画像処理ユニット２０が信号をｒｇｂ空間等における出力信号として、提供する。プリンタ３０は、カラー画像処理ユニット２０から信号を受け取り、その信号をプリンタドライバ信号に変換する。このプリンタドライバ信号は、複製に用いられる着色材(colorant)、典型的にはシアン、マゼンダ、イエロー及びキー又はブラック（ＣＭＹＫ）に関して一般的に与えられる。プリンタは、ユーザが望んだようなシーンと望ましくは近似する自然シーン画像を出力として有する。あるいは、カラー画像処理ユニット２０からの処理された画像は、テレビスクリーン又はＣＲＴディスプレイ等に表示される。
【００１５】
スキャナ１０からの出力を、自動画像向上システム(automated image enhancement system)を含むカラー画像処理ユニット２０に送ってもよい。この自動画像向上システムに関しては本明細書中で更に定義される。本発明の目的のために、自動画像向上システムは、絵的な及び絵的でない画像領域を含む画像のタイプを、原稿内で識別できるセグメンテーションシステムを含んでもよい。本明細書中で記載される自動画像向上システムからの出力がプリンタ、ＣＲＴ又は同様のデバイスへ送られることを想定する。これらのデバイスは、多くの特性を有することができ、それらはレーザプリンタ又はインクジェットプリンタ又はＬＣＤディスプレイ又はＣＲＴディスプレイとすることができる。
【００１６】
本発明の画像向上システムによる動作のためのデータを得ることに関して、コピー又は走査プラテン上に配され、スキャナの電子光学システムで走査される原稿に、必要に応じてプレスキャン（事前走査）を行って、原稿画像を表す信号を生成することができる。あるいは、予め走査された又はある他のシステムから得られた画像を、メモリから自動画像向上システムに送ることができ、この場合、受け取られた画像を、必要に応じてサンプリングする。
【００１７】
プレスキャンは、不完全な（少なめの）サンプリング形態(undersampled fashion)で行われ、即ち、画像は、向上の目的のためにシステムの最終的な分解能でサンプリングされる必要はない。実際上は、画像全体を表し、画像全体に分散された比較的少ない数のピクセルが、この目的のための画像を正確に表すことができるということが確認された。本発明の特定の実施例では、約５１２×５１２のピクセルの画像から得られるピクセルのブロックを使用する。この選択の主な目的は、ソフトウェア画像向上システムが絵的な画像を処理することができる速度を向上させることである。一般的な画像分解能でのサンプリングは、本明細書中に記載される発明のプロセスに示される結果を著しく改良せず、要求されるソフトウェア処理時間をめざましく増大する。発明のプロセスに記載される実施例のハードウェアは、画像を不完全にサンプリングしないように設計することもできる。
【００１８】
先ず、発明の原理を述べる。画像は、輝度−色相−彩度(luminance-hue-saturation)のカラー空間に変換される。このような空間は「ゼロックスカラー符号化基準(Xerox Color Encording Standard)」（ＸＮＳＳ ２８９００５、１９８９年）のＣ．７に記載されたＨＳＶ（色相−彩度−明度;hue-saturation-value)モデルであり、ここでモデルの彩度成分は、人間の知覚彩度とモデルの彩度成分との間に強い相関を提供する。モデルは標準のｒｇｂカラー空間と非線形な関係を提供し、それはまた全てのＶ値に対して０と１との間の彩度範囲にある。彩度変数を有する別のカラー空間であるＹＨＳ空間において、彩度は輝度Ｙと色相Ｈとの関数であることを示すことは有用である。このＹＨＳ空間は記載されたＨＳＶ空間とは全く異なる。
【００１９】
図２Ａ及び図２Ｂを参照すると、十分に鮮明な(well saturated)画像（図２Ａ）と鮮明さが不十分な画像（図２Ｂ）との比較が示される。示されるように、不鮮明な(unsaturated) 画像は、Ｖ値の範囲を通して低い彩度により特徴付けられるが、十分に鮮明な画像は、Ｖのブロードな範囲に高レベルの彩度を有する。
【００２０】
観察に基づいて、画像の知覚彩度は、Ｖ値の範囲を通した最大の彩度関数の平均であることがわかる。又は以下のように示される。
【００２１】
【数１】

【００２２】
求められた平均彩度Ｓ_avを固定した目標Ｓ_target（所望の彩度を示す）と比較して、画像の彩度を向上するべきか否かを決定する。彩度の増大Ｂは、以下のように定義される。
【００２３】
Ｓ_av＜Ｓ_targetの場合、Ｂ＝Ｓ_av／Ｓ_target
そうでなければ、 Ｂ＝１
【００２４】
この決定により、十分に鮮明な画像において彩度が増大されることが回避される。
【００２５】
ＨＳＶ空間における彩度は、人間の知覚彩度と高い相関を有するカラー空間で測定されるが、そのカラー空間の明度（Ｖ）成分は、明るさの知覚と十分な相関を有さない。簡単な例として、鮮明なイエロー及び鮮明なブルーを考えてみると理解することができる。この両者の場合、ＨＳＶのＳは”１”である。その理由はカラーが十分に鮮明であるからである。一方、両者の場合、Ｖもまた等しい。鮮明なイエローが鮮明なブルーよりもかなり明るいということは、十分に立証され、このことは、Ｖ成分によって画像の明るさを表すＨＳＶシステムの欠点を示す。Ｖ項は、例えば（ＹＥＳ空間の）Ｙ又は（Ｌ^* Ａ^* Ｂ^* 空間の）Ｌ^* のような輝度のみの関数ではないので、カラー空間のＨＳＶモデルは、輝度を十分に表さない。従って、Ｖを一定に保った画像の任意の変更は、画像の輝度を変更することが可能である。ＨＳＶモデルの彩度成分の変更は、このような変更になるであろう。例として、ＨＳＶ項で定義される画像の彩度を次の様に変更すること及び、その変更の結果をＹ（輝度）に関して考える：

Sを 1に変更すると

が与えられる。
【００２６】
この例から理解することができるように、彩度の変更により得られた画像は、輝度に多大な変化を有し、この変化は、本発明において画像ノイズとしてしばしば認識された。観察によって、主観的により高い画像の品質は、ＨＳＶ空間に於ける彩度補正に加えて、出力ピクセルの輝度を入力ピクセルの輝度と等しくなるようにすることで得ることができることがわかった。この高品質画像を得るためには、入力ピクセル毎に輝度を計算し、出力輝度をこの値に調整する。これは、ＨＳＶ彩度変更後に輝度（Ｙ）を単に計算し、ファクタｋを下記のように導くことによって行われる。
【００２７】
ｋ＝Ｙ／Ｙ’
であり、これは下記の式によって画像に適用される。
【００２８】
ｒ_FINAL ＝ｋ×ｒ’
ｇ_FINAL ＝ｋ×ｇ’
ｂ_FINAL ＝ｋ×ｂ’
【００２９】
ここで、（ｒ，ｇ，ｂ）_FINAL は、所望の輝度に補正された出力値であり、（ｒ，ｇ，ｂ）’は、ＨＳＶ彩度の変更後のピクセルのために決定されたｒ，ｇ，ｂ空間である。あるいは彩度が変更された画像の輝度を、元の画像の輝度に単に置き換えることもできる。
【００３０】
図３は、本発明を組み込んだシステムのブロック図を示す。専用計算回路若しくはユニット、又はプログラムされたマイクロプロセッサ等であり得るカラー空間変換器１００において、ＨＳＶ以外のカラー空間によって表された明度を、ＨＳＶ空間に変換する。あるいは、幾つかの関連した特許に記載されたように、画像は、他の理由のためにＬＣ₁ Ｌ₂ 空間にあることもあるが、典型的には画像の描写をレッド−グリーン−ブルーの信号で受け取ることができる。
【００３１】
先ず、専用計算回路若しくはユニット又はプログラムされたマイクロプロセッサ等であり得る平均彩度計算機１０２において、平均彩度Ｓ_avが画像から決定されてリターンされる。次に、スレショルダー１０４で、Ｓ_avの値は、外部ソースから受け取られるかまたはユーザ選択に従ってＵＩから入力されるＳ_targetの値に対して、しきい値処理される。スレショルダー比較に基づいてバイナリ１又は０がリターンされ、係数計算機１０６が駆動され、Ｓ_av＜Ｓ_targetの場合にはＳ_av／Ｓ_target' 、そうでなければ１がプログラマブルデジタルフィルタ１１０へ出力される。プログラマブルデジタルフィルタ１１０は、カラー空間変換器１００から受けた値に対応して画像全体の彩度を向上する。彩度の変更が生じない場合、フィルタは信号を変更しない。図示された構成は、処理されるべき信号がプログラマブルデジタルフィルタ１１０により常に処理されることを示す。一方、彩度向上が生じない場合に、処理されるべき信号がログラマブルフィルタを迂回する構成を提供することは、十分に本発明の範囲内である。このような代替回路パスは、上記提供されたシーケンスと同じシーケンスで制御可能である。
【００３２】
リミタ１１２において、フィルタリングされた彩度信号は０〜１の範囲に限定される。ＨＳＶモデル中のＳの許容範囲は、全ての色相及び明度に対して０と１との間にあるので、この彩度向上は、全体の不釣合の原因とはならない。信号はＨ、Ｓ’、Ｖとなる。
【００３３】
図４を参照すると、上記記載されたように、画像の輝度は補正されなくてはならない。従って、専用計算回路若しくはユニット、又はプログラムされたマイクロプロセッサ等であり得るカラー空間変換器２００において、信号Ｈ、Ｓ’、Ｖは、先ずＹＥＳ空間に変換されて、信号Ｙ’、Ｅ’、Ｓ’を生成する。次に、信号Ｙ’、Ｅ’、Ｓ’は、専用計算回路若しくはユニット、又はプログラムされたマイクロプロセッサ等であり得る更に別のカラー空間変換器２０６へ、変換のために送られ、ｒｇｂ空間値を出力し、ここで、信号はｒ’、ｇ’、ｂ’となる。同様に、初期のカラー空間変換器（図３のカラー空間変換器１００）から得られた未補正信号Ｈ、Ｓ、Ｖは、専用計算回路若しくはユニット、又はプログラムされたマイクロプロセッサ等であり得るカラー空間変換器２０２でＹＥＳ空間に変換され、信号Ｙ’、Ｅ’、Ｓ’を生成する。これらは、同一デバイスによって行われ得る同様の変換であることは、当然認識されるであろう。専用計算回路若しくはユニット、又はプログラムされたマイクロプロセッサであり得る輝度調整係数計算機２０４において、値ｋは元の彩度Ｙと変更された彩度Ｙ’との関数として計算される。値ｋは乗算器２０８へ伝送され、ここで、ｒ、ｇ、ｂ出力値は、信号ｒ’、ｇ’、ｂ’をｋと掛けることによって生成される。
【００３４】
あるいは、信号Ｙ’、Ｅ’、Ｓ’をカラー空間変換器２０６へ送ることにより、カラー空間変換器２００の輝度成分Ｙ’をカラー空間変換器２０２の輝度成分Ｙと取り替えることによって、輝度調整を行うことができる。
【００３５】
おそらく最適速度を提供するであろうハードウェア回路によって機能を実行するアプリケーションソフトウェアによって、又はソフトウェアとハードウェアのある組み合わせによって、本発明を遂行できるとができることは確かである。
【００３６】
【発明の効果】
本発明によって、電子文書中の自然シーン画像の画像依存カラー彩度補正の方法及び装置が提供された。
【図面の簡単な説明】
【図１】本発明を使用できるシステムを示す総体的なシステムブロック図。
【図２】図２Ａ及び図２Ｂは、ＨＳＶ空間の彩度カーブを、鮮明な画像及び不鮮明な画像に関して比較する。
【図３】本発明を完成する彩度変更システムのブロック図。
【図４】本発明の別の態様による輝度補正システムを示すブロック図。

Claims (3)

1. 電子文書中の自然シーン画像の画像依存カラー彩度補正方法であって、
   元の画像をその元のカラー空間定義から、知覚彩度と強い相関を有する彩度成分を有する第２のカラー空間定義に変換するステップと、
   元の画像データの値範囲の少なくとも一部分の平均彩度を、その第２のカラー空間定義における彩度成分の関数として決定するステップと、
   決定された平均彩度を、所望の彩度を表すように選択された目標彩度と比較し、決定された平均彩度が目標彩度よりも低いか否かを示す比較信号を生成するステップと、
   平均彩度が目標彩度よりも低いことを比較信号が示す場合に、平均彩度と所望の彩度の関数としてフィルタ係数を生成するステップと、
   第２のカラー空間によって定義された元の画像を、生成されたフィルタ係数を有するその彩度成分に対して動作するプログラマブルフィルタへ送り、彩度を変更した画像を生成するステップと、
   彩度変更画像を出力デバイスへ送るステップと、
   平均彩度が目標彩度よりも高いことを比較信号が示す場合、画像を彩度成分に変更を加えずに出力デバイスへ送るステップと、
   を含む、電子文書中の自然シーン画像の画像依存カラー彩度補正方法。
2. 彩度が変更された画像を出力デバイスへ送るための準備となるステップであって、
   元のカラー空間定義からの元の画像を、輝度と強い相関のある成分を含む第３のカラー空間に変換するステップと、
   第２のカラー空間からの彩度が変更された画像を第３のカラー空間に変換するステップと、
   元の画像の輝度成分の関数として、彩度が変更された画像の輝度成分を調整するステップと、
   を更に含む請求項１に記載の電子文書中の自然シーン画像の画像依存カラー彩度補正方法。
3. 電子文書中の自然シーン画像の画像依存カラー彩度補正のための画像プロセッサであって、
   元のカラー空間によって定義されるカラー画像を受け取る入力部と、
   前記入力部と動作的に接続され、知覚彩度と強い相関を有する彩度成分を有する第２のカラー空間定義によって定義される画像を出力として生成する第１のカラー空間変換器と、
   元の画像の入力ダイナミックレンジの少なくとも一部分の平均彩度を、その第２のカラー空間定義における彩度成分の関数として測定する手段と、
   前記平均彩度測定手段と動作的に接続され、決定された平均彩度が目標彩度よりも低いか否かを示す応答信号を生成するコンパレータと、
   コンパレータからの信号に応答して動作し、フィルタ係数を平均彩度と所望の彩度との関数として生成する係数計算回路と、
   画像を前記カラー空間変換器から受け取り、その彩度成分に前記フィルタ係数で動作し、彩度変更画像を生成するプログラマブルフィルタと、
   彩度変更画像をプログラマブルフィルタから出力デバイスへ送る出力部と、
   を含む、電子文書中の自然シーン画像の画像依存カラー彩度補正のための画像プロセッサ。

Images