JP2008092565A - カラーマッチング方法及び撮像装置 - Google Patents

Abstract

【課題】 デジタル画像のためのカラーマッチング方法。
【解決手段】 デジタル画像のためのカラーマッチング方法は、デジタル画像における複数のメインカラーの信号を抽出するステップと、複数のメインカラーの信号から３×３のカラーマトリクスを生成し、該複数のメインカラーの信号をＬａｂ座標と呼ばれる、各色信号の輝度の強さ、色相及び飽和度から構成される３×１の入力行列に変換する変換ステップと、カラーマトリクス、重み行列及び微調整行列を含む式に基づいて、色差が所定の閾値より小さくなるまで、反復処理を実行することによって、複数の色信号の出力値及び色差を再帰的に計算する色差を算出する算出ステップとを有する。
【選択図】 図２

Description

本発明は、カラーマッチング方法、このカラーマッチング方法を用いた撮像装置及びこの撮像装置を備える電子装置に関する。詳しくは、本発明は、電子デジタル画像を処理するためのカラーマッチング方法、このカラーマッチング方法を用いた及びこの撮像装置を備える電子装置に関する。

近年、例えば、デジタルカメラ、電子式ビデオレコーダ又は携帯電話機等、カラー撮像装置を備える電子装置が広く使用されている。通常、これらの電子装置は、捕捉された画像を電気信号に変換する半導体イメージセンサを備えている。イメージセンサの色感知性能に関する生来的な制約のために、このような制約の下で出力された画像の色は、多くの場合、調整する必要がある。更に、画像の色は、照明光条件によっても異なる。例えば、人間の視覚システムによる色の知覚は、月光の下及び日中の野外では、かなり異なる。したがって、色処理によって、補足された電子画像を、人間の視覚の感覚に一致させることも重要である。

これらの電子装置において、イメージセンサから出力された画像信号には、一連の信号処理が施され、ここで、得られた画像の色は、自然な色で画像を出力するために、カラーマッチング処理を実行することによって修正される。

色補正処理に関しては、補正行列を用いて画像の色を修正する多くの手法が知られている。例えば、米国特許番号第７，０５３，９３５には、人間の視覚システムと、スペクトル応答曲線及び補正行列の固有のセットとの間でマッチングを行うことにより、それまでの電子補足システムより色捕捉の精度を高める手法が開示されている。しかしながら、この手法では、補正行列を予め定義する必要があるため、色補正結果を動的に調整できず、この結果、迅速で、正確な色補正を行うことができず、高品質な画像を提供できない。

このように、上述した手法では、固定された補正行列を使用して画像の色を修正するため、色差が大きく、所定の値に速やかに収束させることができない。

したがって、高い色精度で色を表示するために、色差を動的に調整でき、色差を所定の値に速やかに収束させることができるカラーマッチング方法が必要である。

高度な色表現を実現するためには、色処理における色の精度が重要な課題となる。本発明では、色差を最小化するために反復的手法の概念を用いる。

本発明では、自然な色の画像を表示するために、動的に調整される微調整行列を用いて、色差を非常に正確に且つ速やかに収束させることができる。

本発明は、デジタル画像の色補正を実行できるカラーマッチング処理を提供し、この色補正処理は、得られた画像に対して、得られた画像内の複数のメインカラーに基づいて実行される。

本発明に係るカラーマッチング方法は、デジタル画像のためのカラーマッチング方法において、デジタル画像における複数のメインカラーの信号を入力信号として抽出するステップと、複数のメインカラーの信号から３×３のカラーマトリクスを生成し、該複数のメインカラーの信号をＬａｂ座標と呼ばれる、各色信号の輝度の強さ、色相及び飽和度から構成される３×１の入力行列に変換する変換ステップと、カラーマトリクス、重み行列及び微調整行列を含む式に基づいて、色差が所定の閾値より小さくなるまで、反復処理を実行することによって、複数の色信号の出力値及び色差を再帰的に計算する色差を算出する算出ステップとを有する。

更に、微調整行列の各要素の値は、現在の色差及び前の色差に基づいて、動的に変更でき、これにより、所定の閾値より小さい色差を速やかに得ることができる。更に、カラー画像を小さい色差で非常に自然に表示するために、反復処理が実行される回数に制限なしで、多次元の色に関して反復処理を実行できる。

本発明の他の側面として、本発明は、カラー画像を小さい色差で非常に自然に表示するために、得られた画像に対して正確且つ速やかに補正処理を実行できる撮像装置及び電子装置を提供する。

本発明のこれらの及びこの他の側面、目的、特徴及び利点は、添付の図面を参照して、以下に示す好ましい実施の形態及び添付の特許請求の範囲から明らかとなる。

添付の図面を参照して本発明に基づく実施の形態を説明する。

図１は、デジタル画像のための包括的な処理を示すフローチャートである。図１に示すように、ステップ１０１では、撮像装置内のイメージセンサから得られた元の画像の信号をデジタルクランピング処理する。ステップ１０１では、色センサの基準黒レベルとして光学黒（optical black）を用いて、色チャンネルの値、例えば、得られた赤色、緑色、青色（本明細書で、以下、「ＲＧＢ」と呼ぶ）等を基準黒レベルから減算し、各色チャンネルのカラーベースが大きく変化しないように、又は異なる色に関する色センサの物理的な色性能によって顕著な誤差が生じないようにする。

次に、ステップ１０２において、画像信号に対して、チャンネルオフセット処理（channel offsetting process）を実行する。ステップ１０２において、ＲＧＢ等のクランピングされた色チャンネルをチャンネルオフセット処理し、これらの色チャンネルが同じレベル又は非常に近いレベルになるようにする。上述した処理が施された色チャンネル（ＲＧＢ）は、同じ色ベースを有するようになり、これらの色チャンネルの数値的な分解能を最大に拡張できる。

そして、処理はステップ１０３に進む。ステップ１０３では、ステップ１０２で得られた画像信号に色ホワイトバランス処理を施し、色性能（color performance）をグレーレベルと同じにする。

次に、ステップ１０４において、画像補間処理を実行する。そして、ステップ１０３において得られた画像信号の三原色（すなわち、ＲＧＢ）を結合し、表示するための実際のピクチャを生成する。

ステップ１０４で得られた画像信号に画像補間処理を施した時点では、得られた画像の色は、正確さに欠ける場合があり、したがって、得られた画像を高い色精度を有する画像に調整するカラーマッチング処理を行う必要がある。このために、ステップ１０５において、カラーマッチング処理を実行する。

そして、ステップ１０６において、ステップ１０５で得られた画像信号にガンマ補正処理を施す。これにより、様々な種類の出力装置に応じて、捕捉された画像を正確な色で表現することができ、ステップ１０７では、最終的に得られた画像信号を出力する。

デジタル画像の包括的な処理動作を完了させるためには、上述した一連の処理を行わなければならない。ここで、周知の技術に基づくカラーマッチング処理は、予め定義され、固定された補正行列を用いて実行されるため、正確な色性能を有する正確な高品質画像を短時間で得ることは難しい。以下、画像処理のために用いられる、本発明に基づくカラーマッチング方法の詳細を説明する。

図２は、本発明に基づくカラーマッチング処理を示すフローチャートである。

図２に示すように、ステップ２０１において、デジタル画像から三原色（すなわち、ＲＧＢ）の信号を抽出する。これらは、図３に示すように、第３行第１列の青色、第３行第２列の緑色、第３行第３列の赤色と呼ばれる。図３は、画像処理のために撮像装置により補足された色マップを示している。

次に、処理は、ステップ２０２に進む。ステップ２０２では、周知の国際照明委員会（Commission Internationale De L'Eclairage：ＣＩＥ）変換（規格）に基づいて、赤色、緑色、青色（ＲＧＢ）の３つのスペクトル色の信号から、色補正のための３×３のカラーマトリクス（１）を生成し、同時に、３つのスペクトル色ＲＧＢの信号を対応する３×１の入力行列（２）に変換する。３×３のカラーマトリクス（１）及び３×１の入力行列（２）を以下に示す。

ここで、カラーマトリクス（１）は、ＣＩＥに基づいて算出され、得られた色信号とカラーマトリクス（１）の各要素ａ_１１〜ａ_３３は、実数であり、入力行列（２）において、Ｌ_ｉｎは、各色信号の輝度の強さを表し、ａ_ｉｎは、各色信号の色相を表し、ｂ_ｉｎは、各色信号の飽和度を表し、この入力行列（２）による３つのパラメータ（要素）は、Ｌａｂ座標と呼ばれる。

この実施の形態では、カラーマトリクス（１）及び赤色、青色、緑色について得られた入力行列（２）は、以下の通りである。

上述したように、後述する色補正で使用するために、ＲＧＢ変換を行った後、ＣＩＥ規格に基づいて、基礎的な線形カラーマトリクス（basic linear color matrix）を生成する。

そして、処理はステップ２０３に進む。ステップ２０３では、後述する色補正のための反復処理を実行するために、得られた行列を式（１）に適用する。

重み行列の各要素の値は、初期値である。この実施の形態では、重み行列は、以下の通りである。

本発明では、微調整行列の各要素は、ｋ_ｉｊ＝Ｐ_ｉｊ＋Ｄ_ｉｊ＋Ｉ_ｉｊとして定義され、Ｐ_ｉｊ、Ｄ_ｉｊ及びＩ_ｉｊについては、後に説明する。

ＣＩＥ１９７６では、色差ΔＥを以下のように定義している。

ここで、Ｌ_ｏｕｔ、ａ_ｏｕｔ及びｂ_ｏｕｔは、演算により得られた出力された色信号のＬａｂ座標であり、Ｌ_Ｒｅｆ、ａ_Ｒｅｆ及びｂ_Ｒｅｆは、色信号から得られたＬａｂ座標の基準値である。換言すれば色差は、出力された色と、補足された実際の色との間の差である。色差関数ΔＥは、Ｌａｂ座標間の距離によって示すことができる。

ステップ２０３では、式（１）に基づき、各色に反復処理を適用し、処理結果と、各色の基準値とを比較することによって色差を算出する。この実施の形態では、この処理は、赤色、青色及び緑色のみに適用する。なお、本発明では、様々な異なる色に対してこの処理を実行してもよい。すなわち、本発明に基づき、多次元の色処理を実行することができる。

次に、処理は、ステップ２０４に進む。ステップ２０４では、ステップ２０３で得られた色差値を所定の閾値と比較する。色差値が閾値より小さい場合、これは、望ましい色補正が行われたことを意味し、カラーマッチング処理は、ここで終了される。一方、色差値が閾値より大きい場合、処理は、ステップ２０５に進み、式（２）に基づいて、新たなＰ_ｉｊ、Ｄ_ｉｊ及びＩ_ｉｊを算出する。

ここで、Ｋ_ｐ、Ｋ_ｄ、Ｋ_ｉは、それぞれ比例制御の係数、微分制御の係数、積分制御の係数であり、ΔＥ（ｔ）は、現在の色差値を表し、ΔＥ（ｔ−１）は、以前に保存された色差値を表している。

そして、ステップ２０３に戻り、元のＰ_ｉｊ、Ｄ_ｉｊ、Ｉ_ｉｊを、式（１）の微調整行列によって新たに得られたＰ_ｉｊ、Ｄ_ｉｊ、Ｉ_ｉｊに置換し、反復処理を実行する。

このようにして、色差値が閾値より小さくなるまで、反復処理を続ける。

この実施の形態では、微調整行列において、ｉ＝ｊの条件の下での各要素の値は、ｉ≠ｊの条件の下での各要素の値とは異なり、ｉ＝ｊの場合の各要素の値は、同じであり、また、ｉ≠ｊの場合の各要素の値も同じである。すなわち、この実施の形態に基づく微調整行列は、以下の通りである。

このようにして、異なるＫ_ｐ値、Ｋ_ｄ値、Ｋ_ｉ値を取ることによってカラーマッチング処理を再帰的に実行した結果を図４に示す。図４は、カラーマッチング方法のこの実施の形態に基づき、異なるＫ_ｐ値、Ｋ_ｄ値、Ｋ_ｉ値を取った場合に、所望の色差を達成するために必要であった反復処理の回数及び最大のオーバーシュート（overshoot）を示している。図４に示す結果に基づき、誤差が大きい場合、通常、Ｋ_ｐ値を大きくした方が応答が速くなることがわかり、これは、補償されるフィードバックがより大きくなることを意味する。Ｋ_ｄ値を大きくすると、調整された補償のオーバーシュート（overshoot）及び色差方向の差異が低減される。Ｋ_ｉ値を大きくすると定常状態での誤差がなくなる。ここで、補償におけるオーバーシュートの大きさと、目標値への概算の遅さとの間にトレードオフが存在する。

上述した処理では、標準色マップにおける三原色ＲＧＢを基準として用いて、画像処理のカラーマッチングに必要な微調整行列が得られる。任意に捕捉された画像のカラーマッチング処理を実行する場合、反復処理の色差が変化する都度、微調整行列の各要素の値を変更することができる。したがって、非常に自然なカラー画像を得るために、色差を速やかに収束させるように、微調整行列の各要素の値を動的に変更することができる。この実施の形態の説明では、三原色ＲＧＢを用いているが、４個以上の色を用いてカラーマッチング処理を実行してもよい。更に、実行される反復処理の回数に制限はない。

本発明に基づくカラーマッチング方法の実施の形態において、各制御パラメータを調整した場合の効果を表１に示す。

上述した処理を実行して得られた最終的な色補正結果を図５に示す。図５（ａ）は、色補正処理を実行する前のピクチャ及びＣＩＥ Ｌａｂ座標を示しており、図５（ｂ）は、色補正処理を実行した後のピクチャ及びＣＩＥ Ｌａｂ座標を示している。図５（ｂ）に示すように、画像の色差は、色補正処理によって、著しく収束する。

本発明では、多数の色に対してカラーマッチング処理を実行でき、最適な誤差値（すなわち、最小の色差）を達成するために繰り返される反復処理の回数は無制限である。すなわち、本発明では、多次元の色反復処理を実行できるため、誤差（すなわち、色差）が所定の閾値以下になるまで、反復処理を再帰的に実行して、３×３行列の要素の値を更新することができる。

本発明では、測定された最新の色差情報及び以前の色差情報に基づいて、次の反復処理の演算及び更なる演算のための微調整行列の各要素の値を動的に調整でき、これにより、色差値を最適値に速やかに収束させることができる。

本発明に基づくカラーマッチング処理は、ソフトウェア又はファームウェアによって実現してもよい。

本発明に基づくカラーマッチング処理は、例えば、デジタルカメラ、デジタルビデオレコーダ、携帯電話機等、カラー撮像装置又は補足されたカラー画像を表示するディスプレイを備える電子装置又はカラー画像に対してカラーマッチング処理を実行するコンピュータシステムで用いることができる。

添付の図面を用いて本発明を詳細に開示したが、本発明は、ここに説明した詳細に制限されず、本発明の精神及び範囲から逸脱することなく、多くの変更及び変形を行うことができることは当業者にとって明らかである。

デジタル画像に対する包括的な処理動作を示すフローチャートである。 本発明に基づくカラーマッチング処理のフローチャートである。 画像処理のために撮像装置が捕捉した色マップを示す図である。 カラーマッチング方法の実施の形態に基づき、異なるＫ_ｐ値、Ｋ_ｄ値、Ｋ_ｉ値を取った場合に、所望の色差を達成するために必要であった反復処理の回数及び最大のオーバーシュートを示す図である。 色補正処理を実行する前のピクチャ及びＣＩＥ Ｌａｂ座標を示す図である。 色補正処理を実行した後のピクチャ及びＣＩＥ Ｌａｂ座標を示す図である。

Claims (7)

1. デジタル画像のためのカラーマッチング方法において、
   デジタル画像における複数のメインカラーの信号を入力信号として抽出する抽出ステップと、
   各要素ａ_１１〜ａ_３３を実数とし、各色信号の変換されたＬａｂ座標をＬ_ｉｎ、ａ_ｉｎ、ｂ_ｉｎとし、カラーマトリクスを
   

   

   とし、入力行列を
   

   

   として、複数のメインカラーの信号から３×３のカラーマトリクスを生成し、該複数のメインカラーの信号をＬａｂ座標と呼ばれる、各色信号の輝度の強さ、色相及び飽和度から構成される３×１の入力行列に変換する変換ステップと、
   上記カラーマトリクス、重み行列及び微調整行列を含む式（１）に基づいて、上記色差が所定の閾値より小さくなるまで、反復処理を実行することによって、複数の色信号の出力値及び色差を再帰的に計算する色差を算出する算出ステップとを有し、
   上記色差は、以下のように定義され、
   

   

   上記Ｌ_ｏｕｔ、ａ_ｏｕｔ、ｂ_ｏｕｔは、上記色の１つについて得られたＬａｂ座標を表し、Ｌ_Ｒｅｆ、ａ_Ｒｅｆ、ｂ_Ｒｅｆは、該色の１つについて得られたＬａｂ座標の基準値を表し、１つの色のＬａｂ座標行列を
   

   

   とし、重み行列を
   

   

   とし、Ｋ_ｐ、Ｋ_ｄ、及びＫ_ｉを、それぞれ比例制御の係数、微分制御の係数及び積分制御の係数として、各要素が
   

   

   として表される微調整行列を
   

   

   として、上記式（１）は、
   

   

   として表されるカラーマッチング方法。
2. 上記変換ステップは、国際照明委員会（Commission Internationale De L'Eclairage：ＣＩＥ）規格に基づいて実行されることを特徴とする請求項１記載のカラーマッチング方法。
3. 上記微調整行列において、ｉ＝ｊの条件の下での各要素の値は、ｉ≠ｊの条件の下での各要素の値とは異なり、ｉ＝ｊの場合の各要素の値は、同じであり、ｉ≠ｊの場合の各要素の値も同じであることを特徴とする請求項１記載のカラーマッチング方法。
4. 補足されたカラー画像に対して、請求項１乃至３いずれか１項記載のカラーマッチング方法を用いて、カラーマッチング処理を実行するカラー撮像装置。
5. 補足されたカラー画像に対して、請求項１乃至３いずれか１項記載のカラーマッチング方法を用いて、カラーマッチング処理を実行するカラー撮像装置と、ディスプレイとを備えるデジタルカメラ。
6. 補足されたカラー画像に対して、請求項１乃至３いずれか１項記載のカラーマッチング方法を用いて、カラーマッチング処理を実行するカラー撮像装置と、ディスプレイとを備える携帯電話機。
7. 補足されたカラー画像に対して、請求項１乃至３いずれか１項記載のカラーマッチング方法を実行するコンピュータシステム。

Images