JP4060024B2 - Color balance adjusting method and apparatus, and recording medium - Google Patents

Description

しかしながら、von Kriesの色順応予測式に従う方法は、昼光光源の場合には白色以外の顔等の色も適切に調整することができるが、例えば蛍光灯やタングステン光のような特殊な光源下において撮影された画像については、白色以外の顔等の色が不自然な色に変換されてしまうという問題がある。
【０００６】
このため、生理原色の変換を上記式（１）に示すように対角項にのみ０でない値を有するマトリクスを用いるのではなく、非対角項も０でない値を有するマトリクスを用いて行うことにより画像のカラーバランスを調整する方法も提案されている。以下この方法について説明する。
【０００７】
自然界の物体の分光反射率は３つの主成分により代表できることが一般的に知られている。したがって、撮影した物体の分光反射率は、３つの主成分ｘ_１（λ），ｘ_２（λ），ｘ_３（λ）（λ：スペクトル周波数）の線形結合として下記の式（２）に示すように表すことができる。
【０００８】
【数２】

但し、ａ_１，ａ_２，ａ_３は各主成分を重み付け加算する際の重みである。
【０００９】
光源１の分光放射分布をＦ（λ）とし、三刺激値のＬ−ｃｏｎｅ，Ｍ−ｃｏｎｅ，Ｓ−ｃｏｎｅをそれぞれ
【数３】

となる。なお、式（３）〜（５）において積分は可視領域の積分であるが、全スペクトル領域において積分を行ってもよい。ここで、光源１の分光放射分布Ｆ（λ）、各主成分ｘ_１（λ），ｘ_２（λ），ｘ_３（λ）および
【数４】

のように置き換えると、光源１下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ三刺激値は、
【数５】

となる。同様に、光源２下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ三刺激値は、
【数６】

となる。式（７）および（８）からａ_１，ａ_２，ａ_３を消去すると、
【数７】

となり、光源１下におけるＬＭＳ三刺激値（ｙ_１とする）から光源２下におけるＬＭＳ三刺激値（ｙ_２とする）への変換は、式（９）より、
【数８】

のように非対角成分をも有する３×３のマトリクスＰ_２Ｐ_１ ^−１により行うことができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、デジタルカメラにより撮影を行うことにより得られた画像データは、どのような光源下において撮影を行うことにより得られたものであるかは不明であり、その結果、撮影時の光源の分光強度分布も不明であることから、上記式（１０）におけるマトリクスＰ_１を求めることができず、その結果変換に使用する３×３のマトリクスを得ることができないという問題がある。また、デジタルカメラにおいて得られる画像データは、すでにカラーバランス調整処理が施されている場合があるが、このような場合、得られる画像データはどのような観察光源を前提としてカラーバランス調整処理が施されているか分からない。このため、このようにすでにカラーバランス調整処理が施された画像データに対して、ある特定の観察光源下において画像を観察するためにカラーバランスを調整処理を施す場合、上記と同様に変換に使用するマトリクスを得ることができない。
【００１１】
本発明は上記事情に鑑みなされたものであり、カラーバランスの調整を行うためのマトリクスが未知の光源下において撮影された画像であっても、またすでにカラーバランス調整処理が施された画像であっても、適切にカラーバランスを調整できるカラーバランス調整方法および装置並びにカラーバランス調整方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【００１２】
【課題を解決するための手段】
本発明によるカラーバランス調整方法は、所定の撮影光源下において被写体を撮影することにより取得した画像を所定の観察光源下において観察する際に、前記画像を表す画像データに対してまたは前記所定の観察光源とは異なる他の光源下において観察することを前提としたカラーバランス調整処理が施された画像データカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整方法において、
複数の光源について該各光源の白色点および該各光源下における三刺激値を前記観察光源下における三刺激値に変換するための光源パラメータを予め記憶手段に記憶し、
前記撮影光源または前記他の光源の白色点を算出し、
該撮影光源または前記他の光源の白色点に近い白色点を有する光源を前記複数の光源から選択し、前記撮影光源または前記他の光源の白色点および前記選択された光源の白色点に基づいて前記選択された光源の光源パラメータに対して補間演算を施して、前記撮影光源下または前記他の光源下における三刺激値を前記観察光源下における三刺激値に変換するための処理パラメータを生成し、
該処理パラメータに基づいて、前記画像データの三刺激値を前記観察光源下における三刺激値に変換して前記処理済み画像データを得ることを特徴とするものである。
【００１３】
複数の光源から選択された光源は複数である必要はなく、１つのみであってもよい。
【００１４】
「三刺激値」としては、撮影を行う撮像装置の分光特性に関連する色空間の三刺激値（例えばＲＧＢ三刺激値）であってもよく、人間の視覚特性に関連する色空間の三刺激値（例えば生理原色に基づくＬＭＳ三刺激値）であってもよい。
【００１５】
「光源パラメータ」とは、ある光源下において撮影を行うことにより得られた画像を観察光源下において観察する際に、光源に依存しない色の画像を得ることができるように、その光源下における三刺激値を観察光源下の三刺激値に変換するためのパラメータである。
【００１６】
なお、本発明によるカラーバランス調整方法においては、前記補間演算は、前記選択された光源の白色点と前記撮影光源または前記他の光源の白色点との距離を算出し、
該距離に基づいて前記光源パラメータを重み付け加算する演算であることが好ましい。
【００１７】
この場合、前記重み付け加算による白色点のずれをさらに修正して前記処理パラメータを生成することが好ましい。
【００１８】
また、本発明によるカラーバランス調整方法においては、前記処理パラメータを新たな光源の光源パラメータとして、前記記憶手段に記憶することが好ましい。
【００１９】
さらに、本発明によるカラーバランス調整方法においては、前記撮影光源または前記他の光源の指定を受け付け、
該指定された撮影光源または他の光源に応じて、前記処理パラメータの生成と、該処理パラメータの生成とは異なる他の方法による他の処理パラメータの生成とを切替可能とすることが好ましい。
【００２０】
ここで、撮影光源または他の光源の指定の受け付けは、例えば本発明を実施するための装置において、キーボード、光源を指定するキー等からの入力を受け付けることにより行うことができる。また、撮影時に画像データに撮影光源に関する情報を付与しておく、またはカラーバランス調整処理時に観察を前提とする他の光源の情報を付与しておき、処理パラメータの生成時に画像データに付与された撮影光源または他の光源に関する情報を読み取ることにより、撮影光源または他の光源の指定を受け付けるようにしてもよい。
【００２１】
「他の方法」とは、本発明によるカラーバランス調整方法における処理パラメータの生成よりも簡易な処理により処理パラメータを生成する方法であり、例えば上述したvon Kriesの色順応予測式に基づく方法、画像データがＲＧＢ色信号からなる場合に、各色信号の平均値を一致させる方法等を採用することができる。
【００２２】
本発明によるカラーバランス調整装置は、所定の撮影光源下において被写体を撮影することにより取得した画像を所定の観察光源下において観察する際に、前記画像を表す画像データまたは前記所定の観察光源とは異なる他の光源下において観察することを前提としたカラーバランス調整処理が施された画像データに対してカラーバランスを調整する処理を施して処理済み画像データを得るカラーバランス調整装置において、
複数の光源について該各光源の白色点および該各光源下における三刺激値を前記観察光源下における三刺激値に変換するための光源パラメータを予め記憶した記憶手段と、
前記撮影光源または前記他の光源の白色点を算出する白色点算出手段と、
該撮影光源または前記他の光源の白色点に近い白色点を有する光源を前記複数の光源から選択し、前記撮影光源または前記他の光源の白色点および前記選択された光源の白色点に基づいて前記選択された光源の光源パラメータに対して補間演算を施して、前記撮影光源下または前記他の光源下における三刺激値を前記観察光源下における三刺激値に変換するための処理パラメータを生成するパラメータ生成手段と、
該処理パラメータに基づいて、前記画像データの三刺激値を前記観察光源下における三刺激値に変換して前記処理済み画像データを得る処理手段とを備えたことを特徴とするものである。
【００２３】
なお、本発明によるカラーバランス調整装置においては、前記パラメータ生成手段は、前記補間演算を、前記選択された光源の白色点と前記撮影光源または前記他の光源の白色点との距離を算出し、
該距離に基づいて前記光源パラメータを重み付け加算することにより行う手段であることが好ましい。
【００２４】
この場合、前記パラメータ生成手段は、前記重み付け加算による白色点のずれをさらに修正して前記処理パラメータを生成する手段であることが好ましい。
【００２５】
なお、前記三刺激値は、人間の視覚特性に関連する色空間における三刺激値であってもよく、前記画像を撮影した撮影装置の分光特性に関連する色空間の三刺激値であってもよい。
【００２６】
また、本発明によるカラーバランス調整装置においては、前記記憶手段は、前記処理パラメータを新たな光源の光源パラメータとして記憶する手段であることが好ましい。
【００２７】
さらに、本発明によるカラーバランス調整装置においては、前記撮影光源または前記他の光源の指定を受け付ける受付手段と、
前記パラメータ生成手段における処理パラメータの生成とは異なる他の方法により他の処理パラメータの生成を行う他のパラメータ生成手段と、
前記受付手段による撮影光源または他の光源の指定に応じて、前記パラメータ生成手段による処理パラメータの生成と、前記他のパラメータ生成手段による他の処理パラメータの生成とを切り替える切替手段とをさらに備えることが好ましい。
【００２８】
なお、本発明によるカラーバランス調整方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００２９】
また、本発明によるカラーバランス調整装置を、デジタルカメラのような撮像装置に設けてもよい。
【００３０】
さらに、本発明によるカラーバランス調整装置を、プリンタ、モニタのような出力装置に設けてもよい。
【００３１】
【発明の効果】
本発明によれば、複数の光源についての白色点および各光源下における三刺激値を、画像を観察する観察光源下における三刺激値に変換するための光源パラメータが予め用意されて記憶手段に記憶されている。そして、撮影により取得された画像の白色点が算出され、複数の光源から撮影光源または所定の観察光源とは異なる他の光源の白色点に近い白色点を有する光源が選択される。次いで、撮影光源または他の光源の白色点および選択された光源の白色点に基づいて、選択された光源の光源パラメータに対して補間演算を施して、撮影光源下または他の光源下における三刺激値を観察光源下における三刺激値に変換するための処理パラメータが生成される。これは例えば三刺激値の色空間において、選択された光源の白色点および撮影光源または他の光源の白色点をプロットし、選択された光源の白色点と撮影光源または他の光源の白色点との距離を求め、この距離に応じて選択された光源の光源パラメータを重み付け加算することにより求められる。そして生成された処理パラメータにより画像データの三刺激値を観察光源下における三刺激値に変換することにより処理済み画像データが得られる。
【００３２】
したがって、本発明によれば、撮影光源下または他の光源下における三刺激値を観察光源下における三刺激値に変換するための処理パラメータが未知であっても、光源パラメータからその処理パラメータを求めることができるため、この処理パラメータにより画像データの三刺激値を変換することによって得られた処理済み画像データにより表される処理済み画像を、適切にカラーバランスが調整されたものとすることができる。
【００３３】
また、三刺激値の色空間において、選択された光源の白色点と撮影光源または他の光源との白色点との距離を算出し、この距離に基づいて光源パラメータを重み付け加算することにより、簡易な演算により処理パラメータを生成できるため、処理パラメータ生成のための演算時間を短縮できる。
【００３４】
この場合、三刺激値の色空間において、撮影光源または他の光源の白色点が複数の光源の白色点を結んだ直線上に位置する場合には、撮影光源下または他の光源下における三刺激値を観察光源下における三刺激値に変換するための処理パラメータを適切に得ることができる。しかしながら、撮影光源または他の光源の白色点が複数の光源の白色点を結んだ直線上に位置しない場合には、得られた処理パラメータにより撮影光源下または他の光源下における画像データの三刺激値を変換すると、処理済み画像の白色点が本来得られるべき白色点からずれてしまい、処理済み画像の色が不自然なものとなってしまう。このため、重み付け加算による白色点のずれを修正することにより、不自然な色のない処理済み画像を得ることができる。
【００３５】
また、三刺激値を人間の視覚特性に関連する色空間の三刺激値とすることにより、人間がものを見た際に認識する色に基づいてカラーバランス調整を行うことができるため、見た目の印象に忠実な画像が再現されるようなカラーバランス調整処理を行うことができる。
【００３６】
さらに、三刺激値を画像を撮影した撮影装置の分光特性に関連する色空間の三刺激値とすることにより、デジタルカメラなどの撮影装置において取得されたデータに対して何ら色変換を行うことなくカラーバランス調整処理を行うことができるため、装置の構成を簡易なものとすることができ、かつ処理を高速に行うことができる。
【００３７】
また、生成された処理パラメータを新たな光源の光源パラメータとして記憶手段に記憶することにより、この新たな光源と同一の撮影光源において撮影を行うことにより得られた画像またはこの新たな光源と同一の光源下において観察することを前提としたカラーバランス調整処理が施された画像のカラーバランスを調整する際には、同一の演算を行って処理パラメータを生成する必要がなくなるため、カラーバランス調整処理を効率よく行うことができる。
【００３８】
さらに、処理パラメータの生成と、他の方法による処理パラメータの生成とを撮影光源または他の光源の指定に応じて切替可能とすることにより、例えば昼光下において撮影を行うことにより得られた画像のように簡易に処理パラメータを生成することができる場合には、他の方法により処理パラメータを生成すれば、処理を高速に行うことができる。
【００３９】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００４０】
図１は本発明の第１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。図１に示すように、本実施形態によるカラーバランス調整装置１は、デジタルカメラ２においてシーンを撮影することにより取得された画像データＳ０に対してカラーバランス調整処理を施して処理済み画像データＳ３を得るためのものであり、画像データＳ０が記憶されたメモリカード２Ａから画像データＳ０を読み出すカードスロット等の読出手段３と、画像データＳ０から画像データＳ０により表される画像における白色点の生理原色に基づく三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗを算出する白色点算出手段４と、複数の光源（以下既知光源とする）について各既知光源下における三刺激値を、処理済み画像データＳ３を観察する観察光源下における三刺激値に変換するためのパラメータ（以下既知光源パラメータとする）および各既知光源の白色点の三刺激値を記憶したデータベース５と、後述するように画像データＳ０に対してカラーバランス調整処理を施すための処理パラメータＰをデータベース５に記憶された既知光源パラメータに基づいて生成するパラメータ生成手段６と、パラメータ生成手段６において生成された処理パラメータＰに基づいて画像データＳ０に対してカラーバランス調整処理を施して処理済み画像データＳ３を得るカラーバランス調整処理手段７とを備える。
【００４１】
なお、第１の実施形態においては、撮影者はデジタルカメラ２により普通蛍光灯のように、その光源下における三刺激値を観察光源下における三刺激値に変換するためのパラメータが未知の光源下（光源１とする）においてシーンの撮影を行うことにより、画像データＳ０を取得したものとする。また、処理済み画像データＳ３の観察光源を光源２とする。
【００４２】
ここで、デジタルカメラ２において取得された画像データＳ０は、ＩＴＵ Ｒｅｃ．７０９規格に準拠したＲＧＢ各色８ビットの信号値からなるものとし、各信号値をＲ０，Ｇ０，Ｂ０として説明する。
【００４３】
白色点算出手段４は、画像データＳ０を構成する各色信号Ｒ０，Ｇ０，Ｂ０を下記の式（１１），（１２）により０〜１の値に正規化された信号値Ｒ１に変換する。
【００４４】
【数９】

なお、ここでは色信号Ｒ１についてのみ説明したが、信号値Ｇ１，Ｂ１についても信号値Ｒ１と同様の演算により求める。
【００４５】
次いで、画像データＳ０により表される画像の全画素数Ｎを用いて、下記の式（１３）により信号値Ｒ１，Ｇ１，Ｂ１の平均値Ｒ２，Ｇ２，Ｂ２を算出する。
【００４６】
【数１０】

そして、算出された平均値Ｒ２，Ｇ２，Ｂ２を下記の式（１４）によりＣＩＥ１９３１ＸＹＺ三刺激値に変換し、これを画像データＳ０により表される画像における白色点の三刺激値Ｘ_１ｗ，Ｙ_１ｗ，Ｚ_１ｗとする。
【００４７】
【数１１】

さらに、三刺激値Ｘ_１ｗ，Ｙ_１ｗ，Ｚ_１ｗを下記の式（１５）により生理原色に基づく三刺激値に変換し、これを光源１下において撮影を行うことにより得られた画像データＳ０により表される画像における白色点の生理原色に基づく三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗとする。
【００４８】
【数１２】

データベース５には複数の既知光源について、各既知光源下における三刺激値を光源２下における三刺激値に変換するための既知光源パラメータが記憶されている。なお、この既知光源パラメータは上記式（１０）における３×３のマトリクスである。また、既知光源パラメータは既知光源の白色点の三刺激値と対応付けられてデータベース５に記憶されている。
【００４９】
ここで、既知光源パラメータの算出について説明する。既知光源の分光強度分布は既知であり、観察光源である光源２の分光強度分布も既知である。例えば処理済み画像データＳ３をプリント出力する場合は観察光源はＣＩＥ−Ｄ５０であり、モニタに再生する場合はＣＩＥ−Ｄ６５である。したがって、上記式（２）〜（１０）により、下記の式（１６）に示すように、ある既知光源Ａ下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するための３×３のマトリクスＰ_２Ｐ_Ａ ^−１を求めることができる。そしてこのマトリクスＰ_２Ｐ_Ａ ^−１が既知光源パラメータとしてデータベース５に記憶されてなるものである。なお、マトリクスＰ_２とマトリクスＰ_Ａ ^−１とを別個に求め、マトリクスＰ_Ａ ^−１を既知光源パラメータとしてもよい。
【００５０】
ｙ_２＝Ｐ_２Ｐ_Ａ ^−１ｙ_Ａ （１６）
但し、ｙ_２：光源２下におけるＬＭＳ三刺激値
ｙ_Ａ：既知光源Ａ下におけるＬＭＳ三刺激値
Ｐ_２：光源２下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ値を求めるための３×３のマトリクス
Ｐ_Ａ：既知光源Ａ下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ値を求めるための３×３のマトリクス
なお、例えばマンセルカラーチップ中の１２６９色のように多数色の分光反射率データを用いて、既知光源下Ａおよび光源２下におけるＬＭＳ三刺激値を求め、最小二乗法などによって三刺激値ｙ_Ａを三刺激値ｙ_２に変換するためのマトリクスを既知光源パラメータとして求めるようにしてもよい。ここで、求めたマトリクスはＰ_２Ｐ_Ａ ^−１に相当するため、上記式（８）によりマトリクスＰ_２を求め、これを用いてマトリクスＰ_Ａ ^−１を求めれば、マトリクスＰ_２とマトリクスＰ_Ａ ^−１とを別個に得ることができる。
【００５１】
また、既知光源Ａの白色が光源２の白色に変換されるように、マトリクスを決定することもできる。これはまず、上記マンセルカラーチップのような多数色の分光反射率データを用いて、既知光源Ａおよび光源２下におけるＬＭＳ三刺激値を求め、最小二乗法などによって三刺激値ｙ_Ａを三刺激値ｙ_２に変換するためのマトリクスを求める。この際、既知光源Ａにおける白色が光源２の白色に変換されるよう、下記の式（１７）に示すように、求めるマトリクスをvon Kriesの色順応予測式に基づくマトリクスＶと、三刺激値ｙ_Ａに垂直なマトリクスＶ′とに分解してマトリクスＶ，Ｖ′を求める。
【００５２】
ｙ_２＝（Ｖ_Ａ＋Ｖ_Ａ′）ｙ_Ａ （１７）
但し、Ｖ_Ａ′ｙ_Ａ＝０
この場合、Ｐ_２Ｐ_Ａ ^−１＝Ｖ_Ａ＋Ｖ_Ａ′となる。このように、既知光源Ａの白色が光源２の白色に変換されるように、マトリクスを決定することにより、既知光源Ａ下における白色と光源２下における白色とを一致させることができるため、より好ましい。なお、上記式（８）によりマトリクスＰ_２を求め、これを用いてマトリクスＰ_Ａ ^−１を求めれば、マトリクスＰ_２とマトリクスＰ_Ａ ^−１とを別個に得ることができる。
【００５３】
パラメータ生成手段６は、光源１の白色点の三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗおよび光源１の白色点に近い白色点を有する既知光源の白色点の三刺激値に基づいて、データベース５に記憶された既知光源パラメータから画像データＳ０のカラーバランス調整処理を行うための処理パラメータＰを生成するものである。以下、この処理パラメータＰの生成について説明する。
【００５４】
まず、パラメータ生成手段６は、ＬＭＳ色空間において白色点算出手段４から入力された白色点の三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗと、データベース５に記憶された既知光源の白色点の三刺激値との距離を求め、この距離が最も小さい２つの既知光源を選択する。具体的には、データベース５に記憶された既知光源の白色点の三刺激値および三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗをＬＭＳ色空間にプロットし、ＬＭＳ色空間において、光源１の白色点に最も近い位置にあるすなわち同種の光源と見なすことができる既知光源を選択する。ここでは、図２に示すように既知光源Ａ，Ｂが選択されたものとする。
【００５５】
ここで、既知光源Ａの既知光源パラメータは上記式（１６）におけるＰ_２Ｐ_Ａ ^−１であり、既知光源Ｂの既知光源パラメータは下記の式（１８）におけるＰ_２Ｐ_Ｂ ^−１である。
【００５６】
ｙ_２＝Ｐ_２Ｐ_Ｂ ^−１ｙ_Ｂ （１８）
但し、ｙ_Ｂ：既知光源Ｂ下におけるＬＭＳ三刺激値
Ｐ_Ｂ：既知光源Ｂ下において分光反射率ｘ（λ）の物体を見たときのＬＭＳ値を求めるための３×３のマトリクス
また、上記式（１７）と同様に、下記の式（１９）により既知光源Ｂのパラメータを求めることもできる。
【００５７】
ｙ_２＝（Ｖ_Ｂ＋Ｖ_Ｂ′）ｙ_Ｂ （１９）
但し、Ｖ_Ｂ′ｙ_Ｂ＝０
このように２つの既知光源Ａ，Ｂが選択されると、ＬＭＳ色空間上において既知光源Ａ，Ｂの白色点（点Ａ，Ｂとする）を結ぶ直線ＡＢと、光源１の白色点（図２における×点）から直線ＡＢに下した垂線との交点Ｃを求める。ここで、交点Ｃにより直線ＡＢが１−α：αの分割比率により分割されるとすると、交点Ｃは、図３に示すように既知光源Ａの分光強度分布と既知光源Ｂの分光強度分布とをα：１−αの割合で合成した分光強度分布を有する光源の白色点に相当するものとなる。
【００５８】
上記のようにして交点Ｃが求められると、既知光源Ａ，Ｂの既知光源パラメータに対して補間演算を施すことにより、交点Ｃに対応する光源におけるパラメータを算出する。
【００５９】
具体的には、上述したように算出したαに基づいて、交点Ｃに対応する光源下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＰｃを下記の式（２０）により求める。
【００６０】
Ｐｃ＝αＰ_２Ｐ_Ａ ^−１＋（１−α）Ｐ_２Ｐ_Ｂ ^−１ （２０）
なお、マトリクスＰ_２，Ｐ_Ａ ^−１，Ｐ_Ｂ ^−１がそれぞれ別個に求められている場合には、下記の式（２０′）に示すようにマトリクスＰｃを求めることができる。
【００６１】
Ｐｃ＝Ｐ_２（αＰ_Ａ＋（１−α）Ｐ_Ｂ）^−１ （２０′）
したがって、交点Ｃに対応する光源下におけるＬＭＳ三刺激値ｙ_Ｃは下記の式（２１）により光源２下におけるＬＭＳ三刺激値に変換することができる。
【００６２】
ｙ_２＝Ｐｃｙ_Ｃ （２１）
一方、上記交点ＣはＬＭＳ色空間において既知光源Ａ，Ｂの白色点を結ぶ直線ＡＢ上にあり光源１とは一致していない。したがって、光源１下における白色が光源２下における白色に変換されるように下記のようにしてマトリクスＰｃを補正する。まず、マトリクスＰｃに補正マトリクスΔＰを加算して、下記の式（２２）に示すように、光源１下における白色が光源２下における白色に変換されるようにすることを考える。
【００６３】
【数１３】

但し、Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗ：光源１の白色点の生理原色に基づく三刺激値Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗ：光源２の白色点の生理原色に基づく三刺激値次いで、マトリクスＰｃおよびΔＰを、下記の式（２３）、（２４）に示すように、光源１から光源２へのvon Kriesの色順応予測式に従う成分Ｖと、その他の成分ＱｃおよびΔＱとに分解する。
【００６４】
Ｐｃ＝ＱｃＶ （２３）
ΔＰ＝ΔＱＶ （２４）
ここで、三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗと三刺激値Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗとは下記の式（２５）に示す関係にあることから、式（２３）および（２４）を式（２２）に代入すると下記の式（２６）となる。
【００６５】
【数１４】

式（２６）を変形すると下記の式（２７）となる。
【００６６】
【数１５】

但し、Ｅ：単位行列
式（２３）より
Ｑｃ＝ＰｃＶ^−１ （２８）
であることから、式（２７）の右辺は既知である。したがって、
【数１６】

のように置き換えを行うと、
【数１７】

となる。ここで、ベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）の値が最小となれば補正マトリクスΔＰの成分も最小となるため、マトリクスＰｃに少ない補正を加えるのみで、光源１下における白色点を光源２下における白色点に変換できることとなる。
【００６７】
ベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）の値が最小となるのは、これらのベクトルがベクトル（Ｌ_２ｗ，Ｍ_２ｗ，Ｓ_２ｗ）に平行な場合である。したがって、下記の式（２９）〜（３１）によりベクトル（ｑ００，ｑ０１，ｑ０２）、（ｑ１０，ｑ１１，ｑ１２）、（ｑ２０，ｑ２１，ｑ２２）を決定することにより、マトリクスΔＱを求める。
【００６８】
【数１８】

よって、補正マトリクスΔＰは上記式（２４）により求めることができる。これにより、光源１下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＭは、
Ｍ＝Ｐｃ＋ΔＰ （３２）
により求めることができる。
【００６９】
このマトリクスＭは、光源１下における白色点の三刺激値を光源２下における白色点の三刺激値に変換する。また、交点Ｃに対応する光源下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換するためのマトリクスＰｃを補正したものであるため、光源１下におけるＬＭＳ三刺激値を光源２下におけるＬＭＳ三刺激値に変換する特徴をも備えたものとなっている。
【００７０】
そして、このようにして生成されたマトリクスＭは処理パラメータＰとしてカラーバランス調整処理手段７に入力される。カラーバランス調整処理手段７においては、まず、画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０を上記式（１１）、（１２）により正規化された信号値Ｒ１，Ｇ１，Ｂ１に変換する。そして、下記の式（３３）により信号値Ｒ１，Ｇ１，Ｂ１をＣＩＥ１９３１ＸＹＺ三刺激値Ｘ１，Ｙ１，Ｚ１に変換する。
【００７１】
【数１９】

さらに、三刺激値Ｘ１，Ｙ１，Ｚ１を下記の式（３４）により生理原色に基づく三刺激値Ｌ１，Ｍ１，Ｓ１に変換する。
【００７２】
【数２０】

そして、下記の式（３５）により上記マトリクスＭを用いて三刺激値Ｌ１，Ｍ１，Ｓ１を変換して変換済み三刺激値Ｌ３，Ｍ３，Ｓ３を得る。
【００７３】
【数２１】

そして変換済み三刺激値Ｌ３，Ｍ３，Ｓ３に対して、式（３４）および式（３３）の逆変換を施して、処理済み画像データＳ３を構成する処理済み信号Ｒ３，Ｇ３，Ｂ３を得る。
【００７４】
次いで、本実施形態の動作について説明する。
【００７５】
図４は第１の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ１）。そして、白色点算出手段４において画像データＳ０の白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが算出される（ステップＳ２）。そしてパラメータ生成手段６において、この白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗおよびこの白色点に近い白色点を有する既知光源の白色点の三刺激値に基づいて、既知光源のパラメータから画像データＳ０を変換するためのマトリクスＭが処理パラメータＰとして生成される（ステップＳ３）。このように生成された処理パラメータＰはカラーバランス調整処理手段７に入力され、この処理パラメータＰにより画像データＳ０に対してカラーバランスを調整する処理が施されて処理済み画像データＳ３が得られ（ステップＳ４）、処理を終了する。
【００７６】
このように、第１の実施形態においては、既知光源Ａ，Ｂの既知光源パラメータから、光源１下において撮影を行うことにより得られた画像データＳ０に対してカラーバランス調整処理を施すための処理パラメータＰを求めるようにしたため、この処理パラメータＰにより光源１下において得られた画像データＳ０のカラーバランスを調整すれば、適切なカラーバランスを有する画像を再現可能な処理済み画像データＳ３を得ることができる。
【００７７】
また、選択された既知光源Ａ，Ｂの白色点と光源１との白色点との距離ＡＢを算出し、この距離ＡＢおよび光源１から直線ＡＢに下した垂線との交点Ｃに基づいて既知光源Ａ，Ｂのパラメータを重み付け加算することにより、簡易な演算により処理パラメータＰを生成できるため、処理パラメータＰの生成のための演算時間を短縮できる。
【００７８】
さらに、人間の視覚特性に関連する色空間であるＬＭＳ色空間においてカラーバランス調整処理を行っているため、人間がものを見た際に認識する色に基づいてカラーバランス調整を行うことができ、これにより、見た目の印象に忠実な画像が再現されるようなカラーバランス調整処理を行うことができる。
【００７９】
次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第２の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態によるカラーバランス調整装置１は、読出手段３においてメモリカード２Ａから読み出された画像データＳ０を表示するモニタ８と、画像データＳ０が蛍光灯下において撮影がなされた場合にそれを指定するための蛍光灯指定キー９とを備え、パラメータ生成手段６においては、蛍光灯指定キー９により蛍光灯が指定された場合には上記第１の実施形態と同様の処理により処理パラメータＰを生成し、蛍光灯が指定されなかった場合には、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスを処理パラメータＰとして生成するようにしたものである。
【００８０】
以下、第２の実施形態の動作について説明する。図６は第２の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ１１）。画像データＳ０はモニタ８に表示される（ステップＳ１２）。また、白色点算出手段４において画像データＳ０の白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが算出される（ステップＳ１３）。そして、蛍光灯指定キー９がオンされたか否かが判断され（ステップＳ１４）、オンされた場合には、上記第１の実施形態と同様の処理により処理パラメータＰが生成される（ステップＳ１５）。一方、蛍光灯指定キー９がオンされていない場合には、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスが処理パラメータＰとして生成される（ステップＳ１６）。このように生成された処理パラメータＰはカラーバランス調整処理手段７に入力され、この処理パラメータＰにより画像データＳ０に対してカラーバランスを調整する処理が施されて処理済み画像データＳ３が得られ（ステップＳ１７）、処理を終了する。
【００８１】
このように、第２の実施形態においては、第１の実施形態により生成された処理パラメータＰによるカラーバランス調整方法と、von Kriesの色順応予測式に基づく処理パラメータＰによるカラーバランス調整方法とを、蛍光灯指定キー９のオン／オフに応じて切り替えるようにしたため、昼光下において撮影を行うことにより得られた画像のように、簡易にカラーバランス調整処理を施すことができる場合には、第１の実施形態の方法により処理パラメータＰを生成しなくとも、von Kriesの色順応予測式のように簡易に処理パラメータＰを生成できるため、処理を高速に行うことができる。
【００８２】
なお、第２の実施形態においては、蛍光灯指定キー９により蛍光灯下において撮影が行われた場合を指定可能としているが、蛍光灯に加えてタングステン光のように他の種類の光源を指定可能としてもよい。また、蛍光灯を指定する場合に、普通型蛍光灯、３波長型蛍光灯、高演色型蛍光灯のように蛍光灯の種類を指定可能としてもよい。また、このように複数の種類の光源を指定可能とした場合、画像データＳ０をモニタ８に表示したのみでは、光源の種類を特定できない場合がある。このような場合には、何らかの光源を指定して処理を行って処理済み画像データＳ３を得、これをモニタ８に表示して所望とする色が得られたか否かを確認し、所望とする色が得られるまで光源の種類を変更してカラーバランス調整処理を行えばよい。
【００８３】
次いで、本発明の第３の実施形態について説明する。図７は本発明の第３の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第３の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第３の実施形態によるカラーバランス調整装置１は、デジタルカメラ２に蛍光灯指定キー１０を設け、撮影時に撮影者が画像データＳ０にその画像が蛍光灯下において撮影されたことを示す情報Ｆを付与するようにしたものである。そして、読出手段３においては画像データＳ０に情報Ｆが付与されている場合、この情報Ｆをパラメータ生成手段６に入力し、パラメータ生成手段６においては、画像データＳ０に情報Ｆが付与されている場合には上記第１の実施形態と同様の処理により処理パラメータＰを生成し、情報Ｆが付与されていなかった場合には、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスを処理パラメータＰとして生成するようにしたものである。
【００８４】
以下、第３の実施形態の動作について説明する。図８は第３の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ２１）。この際、撮影時に撮影手段２の蛍光灯指定キー１０がオンとされて画像データＳ０に蛍光灯下で撮影がなされたことを表す情報Ｆが付与されている場合は、これも同時に読み出され、パラメータ生成手段６に入力される。また、白色点算出手段４において画像データＳ０の白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが算出される（ステップＳ２２）。そして、パラメータ生成手段６において情報Ｆが入力されたか否かが判断され（ステップＳ２３）、情報Ｆが入力された場合には、上記第１の実施形態と同様の処理により処理パラメータＰが生成される（ステップＳ２４）。一方、情報Ｆが入力されていない場合には、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスが処理パラメータＰとして生成される（ステップＳ２５）。このように生成された処理パラメータＰはカラーバランス調整処理手段７に入力され、この処理パラメータＰにより画像データＳ０に対してカラーバランスを調整する処理が施されて処理済み画像データＳ３が得られ（ステップＳ２６）、処理を終了する。
【００８５】
次いで、本発明の第４の実施形態について説明する。図９は本発明の第４の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図である。なお、第４の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。上記第２および第３の実施形態においては、蛍光灯指定キー９の入力の有無あるいは画像データＳ０への情報Ｆの付与の有無に応じて、パラメータ生成手段６における処理パラメータＰの生成方法を変更しているが、第４の実施形態においては、第１の実施形態と同様の処理により処理パラメータＰ１の生成を行う第１のパラメータ生成手段６Ａおよびvon Kriesの色順応予測式に基づくマトリクスを処理パラメータＰ２として生成する第２のパラメータ生成手段６Ｂをそれぞれ別個に設け、第１および第２のパラメータ生成手段６Ａ，６Ｂへの入力を切替手段１１により切り替えるようにしたものである。なお、切替手段１１における切り替えは、第２の実施形態と同様に蛍光灯指定キー９の入力の有無に応じて行えばよいが、第３の実施形態と同様に、デジタルカメラ２において画像データＳ０に付与された情報Ｆの有無に応じて行ってもよい。
【００８６】
次いで、第４の実施形態の動作について説明する。図１０は第４の実施形態の動作を示すフローチャートである。まず、デジタルカメラ２において撮影が行われて画像データＳ０が記憶されたメモリカード２Ａから、読出手段３において画像データＳ０が読み出される（ステップＳ３１）。画像データＳ０はモニタ８に表示される（ステップＳ３２）。また、白色点算出手段４において画像データＳ０の白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが算出される（ステップＳ３３）。そして、蛍光灯指定キー９がオンされたか否かが判断され（ステップＳ３４）、オンされた場合には、切替手段１１により第１のパラメータ生成手段６ＡへＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが入力され、上記第１の実施形態と同様の処理により処理パラメータＰ１が生成される（ステップＳ３５）。一方、蛍光灯指定キー９がオンされていない場合には、切替手段１１により第２のパラメータ生成手段６ＢへＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが入力され、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスが処理パラメータＰ２として生成される（ステップＳ３６）。このように生成された処理パラメータＰ１またはＰ２はカラーバランス調整処理手段７に入力され、この処理パラメータＰ１またはＰ２により画像データＳ０に対してカラーバランスを調整する処理が施されて処理済み画像データＳ３が得られ（ステップＳ３７）、処理を終了する。
【００８７】
ここで、第１の実施形態による処理パラメータＰ１の生成においては３×３のマトリクスを演算する必要があるが、von Kriesの色順応予測式に基づく場合には単にＬＭＳ生理原色を定数倍する処理パラメータＰ２を生成すればよいものである。このため、第４の実施形態のように、処理パラメータＰ１，Ｐ２を生成する手段をそれぞれ別個に設けることにより、とくに蛍光灯指定キー９がオンされなかった場合には演算を高速に行うことができるため、カラーバランス調整処理の高速化を図ることができる。
【００８８】
なお、上記第１から第４の実施形態においては、本発明によるカラーバランス調整装置を単独の装置として用いているが、本発明によるカラーバランス調整装置をプリンタに設けてもよい。この場合、第２の実施形態における蛍光灯指定キー９をハードウェアとして設ける必要はなく、プリンタドライバに付属するキーボタンとしてもよい。
【００８９】
また、本発明によるカラーバランス調整装置をデジタルカメラ２に設けてもよい。以下、これを第５の実施形態として説明する。図１１は本発明によるカラーバランス調整装置を備えたデジタルカメラの構成を示す概略ブロック図である。なお、デジタルカメラ２には上記第１から第４の実施形態のいずれのカラーバランス調整装置をも設けることができるが、ここでは第２の実施形態によるカラーバランス調整装置を設けたものとして説明する。図１１に示すようにデジタルカメラ２は、ＣＣＤ等の撮像手段１２と、撮像手段１２において得られた画像データＳ０を表示する小型の液晶モニタ１３と、蛍光灯指定キー１４と、第１の実施形態と同様の白色点算出手段４、データベース５、パラメータ生成手段６、およびカラーバランス調整処理手段７とを備え、カラーバランス調整処理手段７において得られた処理済み画像データＳ３をメモリカード２Ａに記憶するものである。
【００９０】
以下、第５の実施形態の動作について説明する。図１２は第５の実施形態の動作を示すフローチャートである。まず、撮像手段１２において被写体が撮像されて画像データＳ０が得られる（ステップＳ４１）。画像データＳ０は液晶モニタ１３に表示される（ステップＳ４２）。また、白色点算出手段４において画像データＳ０の白色点のＬＭＳ三刺激値Ｌ_１ｗ，Ｍ_１ｗ，Ｓ_１ｗが算出される（ステップＳ４３）。そして、蛍光灯指定キー１４がオンされたか否かが判断され（ステップＳ４４）、オンされた場合には、上記第１の実施形態と同様の処理により処理パラメータＰが生成される（ステップＳ４５）。一方、蛍光灯指定キー１４がオンされていない場合には、式（１）に示すvon Kriesの色順応予測式に基づくマトリクスが処理パラメータＰとして生成される（ステップＳ４６）。このように生成された処理パラメータＰはカラーバランス調整処理手段７に入力され、この処理パラメータＰにより画像データＳ０に対してカラーバランスを調整する処理が施されて処理済み画像データＳ３が得られる（ステップＳ４７）。処理済み画像データＳ３はメモリカード２Ａに記憶され（ステップＳ４８）、処理を終了する。
【００９１】
なお、上記第２から第５の実施形態においては、蛍光灯指定キーがオンされなかった場合、あるいは画像データＳ０に情報Ｆが付与されなかった場合に、von Kriesの色順応予測式に基づくマトリクスを処理パラメータＰ，Ｐ２として生成してカラーバランス調整処理を行っているが、例えば上記式（１０）により求めた各色信号の平均値Ｒ２，Ｇ２，Ｂ２を一致させるような処理パラメータを求めてカラーバランス調整処理を行ってもよい。
【００９２】
また、上記各実施形態においては、ＬＭＳ色空間において処理パラメータＰの生成およびカラーバランス調整処理を行っているが、とくに第５の実施形態のように本発明によるカラーバランス調整装置をデジタルカメラに設けた場合は、処理時間短縮のためにＲＧＢ色空間において処理パラメータＰの生成およびカラーバランス調整処理を行うことが好ましい。この場合、上記式（１３）により算出した色信号の平均値Ｒ２，Ｇ２，Ｂ２を光源１の白色点の三刺激値Ｒ_１ｗ，Ｇ_１ｗ，Ｂ_１ｗとし、データベース５には、既知光源Ａ，Ｂの白色点の三刺激値Ｒ_Ａｗ，Ｇ_Ａｗ，Ｂ_Ａｗ、Ｒ_Ｂｗ，Ｇ_Ｂｗ，Ｂ_Ｂｗと、既知光源下における被写体のＲＧＢ三刺激値を観察光源下における被写体のＲＧＢ三刺激値に変換するための既知光源のパラメータとを対応付けて記憶しておく。
【００９３】
そして、光源１の白色点の三刺激値Ｒ_１ｗ，Ｇ_１ｗ，Ｂ_１ｗが算出されると、図１３に示すようにＲＧＢ色空間において、既知光源Ａ，Ｂの白色点の三刺激値Ｒ_Ａｗ，Ｇ_Ａｗ，Ｂ_Ａｗ、Ｒ_Ｂｗ，Ｇ_Ｂｗ，Ｂ_Ｂｗと光源１の白色点の三刺激値Ｒ_１，Ｇ_１ｗ，Ｂ_１ｗとの距離を求め、上記第１の実施形態と同様に式（２０）に示すように交点Ｃに対応する光源下におけるＲＧＢ三刺激値を光源２下におけるＲＧＢ三刺激値に変換するためのマトリクスＰｃを生成し、必要であればさらに上記マトリクスＭを生成してこれを処理パラメータＰとすればよい。
【００９４】
また、上記各実施形態においては、既知光源からの距離に応じて図１４に示すように処理パラメータＰを生成する既知光源を選択するようにしてもよい。すなわち、図１４に示すように、ＬＭＳ色空間において既知光源Ａ，Ｂ，Ｃを設定し、既知光源Ａの白色点と既知光源Ｂの白色点とを結ぶ直線ＡＢに垂直な面Ｍ１、既知光源Ｂの白色点と既知光源Ｃの白色点とを結ぶ直線ＢＣに垂直な面Ｍ２および直線ＡＢと直線ＢＣとから等距離な面Ｍ３を設定し、各面Ｍ１〜Ｍ３および直線ＡＢ，ＢＣにより規定される領域１〜５を定める。そして、光源１がいずれの領域に位置するかを判断し、領域１，５にある場合には、既知光源Ａ，Ｂと光源１との距離に応じて処理パラメータＰを生成し、領域３，４にある場合には、既知光源Ｂ，Ｃと光源１との距離に応じて処理パラメータＰを生成し、領域２にある場合には既知光源Ｂのパラメータをそのまま処理パラメータＰとして用いるようにしてもよい。
【００９５】
また、上記各実施形態においては、生成された処理パラメータＰを新たな既知光源のパラメータとしてデータベース５に記憶するようにしてもよい。これにより、新たな既知光源と同一の撮影光源下において撮影を行うことにより得られた画像のカラーバランスを調整する際には、同一の演算を行って処理パラメータＰを生成する必要がなくなるため、カラーバランス調整処理を効率よく行うことができる。
【００９６】
さらに、上記各実施形態においては、上記式（１１）〜（１５）により画像データＳ０の白色点の三刺激値を算出しているが、例えば特願平１１−７０１８６号に記載された白色点推定方法により画像データＳ０の白色点の三刺激値を算出してもよい。以下、特願平１１−７０１８６号に記載された白色点の三刺激値の算出方法について説明する。
【００９７】
さらにまた、上記実施形態においては、その光源下における三刺激値を観察光源下における三刺激値に変換するためのパラメータが未知の光源下において取得された画像データＳ０に対してカラーバランス調整処理を施しているが、デジタルカメラによっては、撮影により取得した画像データに対してカメラ内においてＲＧＢゲイン補正などのカラーバランス調整処理を行うものもある。この場合、デジタルカメラにおいて得られる画像データはすでにある観察光源下において観察することを前提としたカラーバランス調整処理が施されたものとなっている。また、画像データに対して、ある観察光源下において観察することを前提としたカラーバランス調整処理がすでに施されている場合がある。このように、すでにカラーバランス調整処理が施された画像をある特定の観察光源下において画像を観察する場合、この画像に対してカラーバランス調整処理を施す必要があるが、このような場合にも、上記ある観察光源を光源１として、上記各実施形態と同様に処理パラメータＰを生成してカラーバランス調整処理を行うことができる。この場合、撮影により取得した画像データＳ０、ある観察光源下において観察することを前提としたカラーバランス調整処理Ａ、カラーバランス調整処理Ａが施された画像データＳ１１、本発明によるカラーバランス調整処理Ｂおよび処理済み画像データＳ１２の流れは、図１５に示すものとなる。
【００９８】
まず、画像データＳ０を構成する色信号Ｒ０，Ｇ０，Ｂ０から式（１１）、（１２）により色信号Ｒ１，Ｇ１，Ｂ１を得、色信号Ｒ１，Ｇ１，Ｂ１を式（３３）によりＣＩＥ１９３１ＸＹＺ三刺激値に変換するとともに、下記の式（３６）によりＣＩＥ１９７６ｕｖ色度値に変換する。
【００９９】
ｕ＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ）
ｖ＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ） （３６）
そして、上記式（３６）により求められた色度値ｕ，ｖの平均値ｕ０，ｖ０を下記の式（３７）により算出する。
【０１００】
ｕ０＝Σｕ／ｎ
ｖ０＝Σｖ／ｎ （３７）
但し、ｎ：画素数
次いで平均値ｕ０，ｖ０を下記の式（３８）〜（４０）により生理原色Ｌ０，Ｍ０，Ｓ０に変換する。
【０１０１】
ｓｘ＝9.0×ｕ０（6.0×ｕ０−16.0×ｖ０＋12.0）
ｓｙ＝4.0×ｖ０（6.0×ｕ０−16.0×ｖ０＋12.0） (３８）
Ｘ０＝ｓｘ／ｓｙ
Ｙ０＝１００．０ （３９）
Ｚ０＝（1.0−ｓｘ−ｓｙ）／ｓｙ
Ｌ０ Ｘ０
Ｍ０ ＝｜Ｂ｜・Ｙ０ （４０）
Ｓ０ Ｚ０
ここで、マトリクス｜Ｂ｜は、式（３４）におけるマトリクスである。そして、このようにして求められた生理原色Ｌ０，Ｍ０，Ｓ０を画像データＳ０の白色点の三刺激値とするものである。
【０１０２】
さらに、上記各実施形態においては、ＲＧＢの色信号からなる画像データＳ０に対してカラーバランス調整処理を施しているが、これに限定されるものではなく、ＣＭＹの色信号からなる画像データＳ０に対してカラーバランス調整処理を施すものであってもよい。この場合、ＣＭＹの色信号からなる画像データＳ０から白色点のＬＭＳ三刺激値を算出し、上記各実施形態と同様に処理パラメータＰを生成してカラーバランス調整処理を行えばよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図２】ＬＭＳ色空間における処理パラメータの生成を説明するための図（その１）
【図３】ＬＭＳ色空間における処理パラメータの生成を説明するための図（その２）
【図４】第１の実施形態の動作を示すフローチャート
【図５】本発明の第２の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図６】第２の実施形態の動作を示すフローチャート
【図７】本発明の第３の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図８】第３の実施形態の動作を示すフローチャート
【図９】本発明の第４の実施形態によるカラーバランス調整装置の構成を示す概略ブロック図
【図１０】第４の実施形態の動作を示すフローチャート
【図１１】本発明の第５の実施形態によるカラーバランス調整装置を備えたデジタルカメラの構成を示す概略ブロック図
【図１２】第５の実施形態の動作を示すフローチャート
【図１３】ＲＧＢ色空間における処理パラメータの生成を説明するための図
【図１４】ＬＭＳ色空間における処理パラメータの生成を説明するための図（その３）
【図１５】すでにカラーバランス調整処理が施された画像に対して本発明によるカラーバランス調整処理を施す処理を示す図
【符号の説明】
１ カラーバランス調整装置
２ デジタルカメラ
３ 読出手段
４ 白色点算出手段
５ データベース
６ パラメータ生成手段
７ カラーバランス調整処理手段
８ モニタ
９，１０，１４ 蛍光灯指定キー
１２ 撮像手段
１３ 液晶モニタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color balance adjustment method and apparatus for adjusting the color balance of an image, and a computer-readable recording medium on which a program for causing a computer to execute the color balance adjustment method is recorded.
[0002]
[Prior art]
In a digital electronic still camera (hereinafter referred to as a digital camera), an image acquired by photographing is stored as digital image data in a recording medium such as an internal memory or an IC card provided in the digital camera, and the stored digital image data Based on the above, it is possible to reproduce an image acquired by photographing as a hard copy such as a print or as a soft copy on a display. Thus, when reproducing an image acquired by a digital camera, it is expected to have a high-quality image similar to a photo printed from a negative film.
[0003]
On the other hand, in human vision, chromatic adaptation is not perceived as bluish or reddish, even when looking at white paper under daylight, fluorescent light with different spectral energy distribution or under tungsten light, Basically, a mechanism for recognizing it as white works. Considering such chromatic adaptation, an image representing a photographed image so that an image independent of the light source color can be obtained even if the photographing light source is different, such as tungsten light, fluorescent light, or outdoor daylight. There has been proposed a digital camera having a function (AWB function) that automatically performs white balance adjustment processing (AWB processing) on data according to a photographing light source.
[0004]
As such a white balance adjustment method, a method according to the von Kries chromatic adaptation prediction formula is used. In this method, when an image captured by the light source 1 is observed under the light source 2, the tristimulus values based on the physiological primary colors of the white point of the light source 1 and the light source 2 are L._1w, M_1w, S_1wAnd L_2w, M_2w, S_2w, LMS tristimulus values (L, M, S) of the image under the light source 1 before white balance adjustment₁, LMS tristimulus values (L, M, S) of the image under the light source 2 after white balance adjustment as shown in the following formula (1)₂Is to be converted.
[0005]
[Expression 1]

However, in the case of a daylight source, the method according to the von Kries chromatic adaptation prediction formula can appropriately adjust the color of the face other than white, but for example, under a special light source such as a fluorescent lamp or tungsten light. There is a problem that the color of the face other than white is converted into an unnatural color.
[0006]
For this reason, the conversion of the physiological primary color is not performed using a matrix having non-zero values only in the diagonal terms as shown in the above formula (1), but using a matrix having non-zero values in the non-diagonal terms. A method for adjusting the color balance of an image has also been proposed. This method will be described below.
[0007]
It is generally known that the spectral reflectance of a natural object can be represented by three main components. Therefore, the spectral reflectance of the photographed object has three main components x₁(Λ), x₂(Λ), x₃The linear combination of (λ) (λ: spectral frequency) can be expressed as shown in the following equation (2).
[0008]
[Expression 2]

However, a₁, A₂, A₃Is a weight for weighted addition of each principal component.
[0009]
The spectral radiation distribution of the light source 1 is F (λ), and tristimulus values L-cone, M-cone, and S-cone are respectively represented.
[Equation 3]

It becomes. In the equations (3) to (5), integration is integration in the visible region, but integration may be performed in the entire spectral region. Here, the spectral radiation distribution F (λ) of the light source 1, each principal component x₁(Λ), x₂(Λ), x₃(Λ) and
[Expression 4]

In this way, the LMS tristimulus value when viewing an object with the spectral reflectance x (λ) under the light source 1 is
[Equation 5]

It becomes. Similarly, the LMS tristimulus value when viewing an object having a spectral reflectance x (λ) under the light source 2 is
[Formula 6]

It becomes. From equations (7) and (8) a₁, A₂, A₃If you delete
[Expression 7]

LMS tristimulus values under light source 1 (y₁LMS tristimulus values under the light source 2 (y)₂)) From equation (9)
[Equation 8]

A 3 × 3 matrix P having non-diagonal components as₂P₁ ^-1Can be performed.
[0010]
[Problems to be solved by the invention]
However, it is unclear under what light source the image data obtained by photographing with a digital camera is obtained, and as a result, the spectral intensity of the light source at the time of photographing Since the distribution is also unknown, the matrix P in the above equation (10)₁Cannot be obtained, and as a result, a 3 × 3 matrix used for conversion cannot be obtained. In addition, image data obtained with a digital camera may already be subjected to color balance adjustment processing. In such a case, the obtained image data is subjected to color balance adjustment processing on the premise of what observation light source. I do n’t know if it ’s been. For this reason, when color balance adjustment processing is performed on image data that has already been subjected to color balance adjustment processing in this way in order to observe the image under a specific observation light source, it is used for conversion as described above. To get a matrix.
[0011]
The present invention has been made in view of the above circumstances, and is an image that has been subjected to color balance adjustment processing, even if the matrix for performing color balance adjustment is an image taken under an unknown light source. However, it is an object of the present invention to provide a color balance adjustment method and apparatus capable of appropriately adjusting the color balance, and a computer-readable recording medium recording a program for causing a computer to execute the color balance adjustment method.
[0012]
[Means for Solving the Problems]
According to the color balance adjustment method of the present invention, when observing an image obtained by photographing a subject under a predetermined photographing light source under a predetermined observation light source, the image data representing the image or the predetermined observation In the color balance adjustment method for obtaining processed image data by performing a process of adjusting the color balance of the image data subjected to the color balance adjustment process on the assumption that the observation is performed under another light source different from the light source.
The light source parameters for converting the white point of each light source and the tristimulus values under each light source into the tristimulus values under the observation light source for a plurality of light sources are stored in the storage means in advance.
Calculating a white point of the imaging light source or the other light source;
A light source having a white point close to a white point of the photographing light source or the other light source is selected from the plurality of light sources, and based on a white point of the photographing light source or the other light source and a white point of the selected light source An interpolation operation is performed on the light source parameter of the selected light source to generate a processing parameter for converting a tristimulus value under the imaging light source or the other light source into a tristimulus value under the observation light source. ,
Based on the processing parameters, the tristimulus values of the image data are converted into tristimulus values under the observation light source to obtain the processed image data.
[0013]
The number of light sources selected from the plurality of light sources need not be plural, and may be only one.
[0014]
The “tristimulus value” may be a tristimulus value in a color space (for example, an RGB tristimulus value) related to the spectral characteristics of an imaging apparatus that performs imaging, or a tristimulus in a color space related to human visual characteristics. It may be a value (for example, LMS tristimulus value based on physiological primary colors).
[0015]
“Light source parameter” means that when an image obtained by photographing under a certain light source is observed under an observation light source, an image of a color independent of the light source can be obtained. This is a parameter for converting a stimulus value into a tristimulus value under an observation light source.
[0016]
In the color balance adjustment method according to the present invention, the interpolation calculation calculates a distance between a white point of the selected light source and a white point of the photographing light source or the other light source,
It is preferable that the light source parameter is weighted and added based on the distance.
[0017]
In this case, it is preferable that the processing parameter is generated by further correcting the deviation of the white point due to the weighted addition.
[0018]
In the color balance adjustment method according to the present invention, it is preferable that the processing parameter is stored in the storage unit as a light source parameter of a new light source.
[0019]
Furthermore, in the color balance adjustment method according to the present invention, the designation of the photographing light source or the other light source is accepted,
It is preferable that the generation of the processing parameter and the generation of another processing parameter by another method different from the generation of the processing parameter can be switched in accordance with the designated imaging light source or other light source.
[0020]
Here, the designation of the imaging light source or the other light source can be received by receiving input from a keyboard, a key for designating the light source, or the like in the apparatus for carrying out the present invention. In addition, information regarding the photographic light source is added to the image data at the time of shooting, or information on other light sources that are presumed to be observed is added at the time of color balance adjustment processing, and is added to the image data at the time of processing parameter generation. You may make it receive designation | designated of an imaging light source or another light source by reading the information regarding an imaging light source or another light source.
[0021]
The “other method” is a method of generating a processing parameter by a process simpler than the generation of the processing parameter in the color balance adjustment method according to the present invention. For example, a method based on the above-described von Kries chromatic adaptation prediction formula, an image When the data is composed of RGB color signals, a method of matching the average values of the color signals can be employed.
[0022]
The color balance adjusting device according to the present invention is the image data representing the image or the predetermined observation light source when observing an image obtained by photographing the subject under a predetermined photographing light source under the predetermined observation light source. In a color balance adjustment device that obtains processed image data by performing a process of adjusting a color balance on image data that has been subjected to a color balance adjustment process on the premise of observing under a different light source,
Storage means for preliminarily storing light source parameters for converting a white point of each light source and a tristimulus value under each light source into a tristimulus value under the observation light source for a plurality of light sources;
A white point calculating means for calculating a white point of the photographing light source or the other light source;
A light source having a white point close to a white point of the photographing light source or the other light source is selected from the plurality of light sources, and based on a white point of the photographing light source or the other light source and a white point of the selected light source Interpolation is performed on the light source parameter of the selected light source to generate a processing parameter for converting a tristimulus value under the imaging light source or the other light source into a tristimulus value under the observation light source. Parameter generation means;
Processing means for converting the tristimulus values of the image data into tristimulus values under the observation light source to obtain the processed image data based on the processing parameters.
[0023]
In the color balance adjusting apparatus according to the present invention, the parameter generating means calculates the distance between the white point of the selected light source and the white point of the photographing light source or the other light source by performing the interpolation calculation.
Preferably, the light source parameters are weighted and added based on the distance.
[0024]
In this case, it is preferable that the parameter generation unit is a unit that further corrects a deviation of a white point due to the weighted addition and generates the processing parameter.
[0025]
The tristimulus value may be a tristimulus value in a color space related to human visual characteristics, or may be a tristimulus value in a color space related to spectral characteristics of a photographing apparatus that has captured the image. Good.
[0026]
In the color balance adjusting apparatus according to the present invention, it is preferable that the storage unit is a unit that stores the processing parameter as a light source parameter of a new light source.
[0027]
Furthermore, in the color balance adjusting apparatus according to the present invention, a receiving unit that receives designation of the photographing light source or the other light source,
Other parameter generation means for generating other processing parameters by another method different from the generation of processing parameters in the parameter generation means,
A switching unit that switches between generation of a processing parameter by the parameter generation unit and generation of another processing parameter by the other parameter generation unit in response to designation of a photographing light source or another light source by the reception unit; Is preferred.
[0028]
Note that the program for causing a computer to execute the color balance adjusting method according to the present invention may be provided by being recorded on a computer-readable recording medium.
[0029]
In addition, the color balance adjusting device according to the present invention may be provided in an imaging device such as a digital camera.
[0030]
Furthermore, the color balance adjusting device according to the present invention may be provided in an output device such as a printer or a monitor.
[0031]
【The invention's effect】
According to the present invention, the light source parameters for converting the white point and the tristimulus values under each light source into the tristimulus values under the observation light source for observing the image are prepared in advance and stored in the storage means. Has been. Then, the white point of the image acquired by photographing is calculated, and a light source having a white point close to the white point of another light source different from the photographing light source or the predetermined observation light source is selected from the plurality of light sources. Then, based on the white point of the photographic light source or other light source and the white point of the selected light source, an interpolation operation is performed on the light source parameters of the selected light source, so that the tristimulus under the photographic light source or under the other light source Processing parameters are generated for converting the values into tristimulus values under the observation light source. This plots, for example, in the tristimulus color space, the white point of the selected light source and the white point of the photographic or other light source, and the white point of the selected light source and the white point of the photographic or other light source. Is obtained by weighting and adding the light source parameters of the light source selected according to this distance. Then, the processed image data is obtained by converting the tristimulus values of the image data into the tristimulus values under the observation light source by the generated processing parameters.
[0032]
Therefore, according to the present invention, even if a processing parameter for converting a tristimulus value under an imaging light source or another light source into a tristimulus value under an observation light source is unknown, the processing parameter is obtained from the light source parameter. Therefore, the processed image represented by the processed image data obtained by converting the tristimulus values of the image data by this processing parameter can be appropriately adjusted in color balance. .
[0033]
In the tristimulus color space, the distance between the white point of the selected light source and the white point of the photographic light source or other light source is calculated, and the light source parameters are weighted and added based on this distance, thereby simplifying Since the processing parameter can be generated by simple calculation, the calculation time for generating the processing parameter can be shortened.
[0034]
In this case, in the tristimulus color space, when the white point of the photographic light source or other light source is located on a straight line connecting the white points of a plurality of light sources, the tristimulus under the photographic light source or other light source Processing parameters for converting the values into tristimulus values under the observation light source can be appropriately obtained. However, if the white point of the photographic light source or other light source is not located on a straight line connecting the white points of a plurality of light sources, the tristimulus of the image data under the photographic light source or under the other light source depends on the obtained processing parameters. When the value is converted, the white point of the processed image is shifted from the white point that should be originally obtained, and the color of the processed image becomes unnatural. For this reason, it is possible to obtain a processed image without an unnatural color by correcting the deviation of the white point due to weighted addition.
[0035]
In addition, by setting the tristimulus values as tristimulus values in a color space related to human visual characteristics, color balance adjustment can be performed based on the colors that humans perceive when looking at things. Color balance adjustment processing that reproduces an image faithful to the impression can be performed.
[0036]
Furthermore, by setting the tristimulus values as tristimulus values in a color space related to the spectral characteristics of the imaging device that captured the image, no color conversion is performed on the data acquired in the imaging device such as a digital camera. Since color balance adjustment processing can be performed, the configuration of the apparatus can be simplified, and processing can be performed at high speed.
[0037]
In addition, by storing the generated processing parameter in the storage unit as a light source parameter of a new light source, an image obtained by shooting with the same photographing light source as the new light source or the same as the new light source When adjusting the color balance of an image that has been subjected to color balance adjustment processing that is presumed to be observed under a light source, it is not necessary to perform the same calculation to generate processing parameters. It can be done efficiently.
[0038]
Furthermore, by making it possible to switch between the generation of processing parameters and the generation of processing parameters by other methods according to the designation of the imaging light source or other light source, for example, an image obtained by shooting in daylight If the processing parameters can be generated easily as described above, the processing can be performed at high speed if the processing parameters are generated by other methods.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0040]
FIG. 1 is a schematic block diagram showing the configuration of a color balance adjusting apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the color balance adjustment apparatus 1 according to the present embodiment performs color balance adjustment processing on image data S0 acquired by photographing a scene with a digital camera 2 to obtain processed image data S3. A reading means 3 such as a card slot for reading the image data S0 from the memory card 2A in which the image data S0 is stored, and a physiological primary color of the white point in the image represented by the image data S0 to the image data S0. Tristimulus value L based on_1w, M_1w, S_1wWhite point calculation means 4 for calculating the tristimulus values under each known light source for a plurality of light sources (hereinafter referred to as known light sources) to tristimulus values under the observation light source for observing the processed image data S3. And a database 5 storing the tristimulus values of the white point of each known light source and a processing parameter P for performing color balance adjustment processing on the image data S0 as will be described later. A parameter generating unit 6 that generates based on the known light source parameters stored in the database 5, and a color balance adjustment process that is performed on the image data S0 based on the processing parameter P generated by the parameter generating unit 6 and processed image Color balance adjustment processing means 7 for obtaining data S3.
[0041]
In the first embodiment, the photographer uses a digital camera 2 under a light source whose parameters for converting a tristimulus value under the light source into a tristimulus value under the observation light source are unknown light source like a normal fluorescent lamp. It is assumed that the image data S0 is acquired by photographing the scene in (light source 1). The observation light source of the processed image data S3 is a light source 2.
[0042]
Here, the image data S0 acquired by the digital camera 2 is stored in the ITU Rec. Assume that each signal value is assumed to be R0, G0, B0, and that each signal value is composed of 8-bit signal values for each color of RGB in conformity with the 709 standard.
[0043]
The white point calculation means 4 converts each color signal R0, G0, B0 constituting the image data S0 into a signal value R1 normalized to a value of 0 to 1 by the following equations (11) and (12).
[0044]
[Equation 9]

Although only the color signal R1 has been described here, the signal values G1 and B1 are also obtained by the same calculation as the signal value R1.
[0045]
Next, the average value R2, G2, B2 of the signal values R1, G1, B1 is calculated by the following equation (13) using the total number of pixels N of the image represented by the image data S0.
[0046]
[Expression 10]

Then, the calculated average values R2, G2, and B2 are converted into CIE1931XYZ tristimulus values by the following equation (14), and this is converted to the tristimulus value X of the white point in the image represented by the image data S0._1w, Y_1w, Z_1wAnd
[0047]
## EQU11 ##

Furthermore, tristimulus value X_1w, Y_1w, Z_1wIs converted into tristimulus values based on physiological primary colors by the following equation (15), and these are converted into tristimulus values based on the physiological primary colors of the white point in the image represented by the image data S0 obtained by photographing under the light source 1. Stimulus value L_1w, M_1w, S_1wAnd
[0048]
[Expression 12]

The database 5 stores, for a plurality of known light sources, known light source parameters for converting tristimulus values under each known light source into tristimulus values under the light source 2. This known light source parameter is a 3 × 3 matrix in the above equation (10). The known light source parameter is stored in the database 5 in association with the tristimulus value of the white point of the known light source.
[0049]
Here, calculation of the known light source parameter will be described. The spectral intensity distribution of the known light source is known, and the spectral intensity distribution of the light source 2 that is the observation light source is also known. For example, when the processed image data S3 is printed out, the observation light source is CIE-D50, and when it is reproduced on the monitor, it is CIE-D65. Therefore, 3 × for converting the LMS tristimulus value under a certain known light source A into the LMS tristimulus value under the light source 2 by the above formulas (2) to (10) as shown in the following formula (16). 3 matrix P₂P_A ^-1Can be requested. And this matrix P₂P_A ^-1Are stored in the database 5 as known light source parameters. Matrix P₂And matrix P_A ^-1And matrix P_A ^-1May be a known light source parameter.
[0050]
y₂= P₂P_A ^-1y_A        (16)
However, y₂: LMS tristimulus value under light source 2
y_A: LMS tristimulus value under known light source A
P₂: A 3 × 3 matrix for obtaining an LMS value when an object having a spectral reflectance x (λ) is viewed under the light source 2
P_A: A 3 × 3 matrix for obtaining an LMS value when an object having a spectral reflectance x (λ) is viewed under a known light source A
For example, the LMS tristimulus values under the known light source A and the light source 2 are obtained using spectral reflectance data of multiple colors such as 1269 colors in the Munsell color chip, and the tristimulus value y is obtained by the least square method or the like._AThe tristimulus value y₂Alternatively, a matrix for conversion into a known light source parameter may be obtained. Here, the obtained matrix is P₂P_A ^-1Since the above equation (8), the matrix P₂And using this, the matrix P_A ^-1Is obtained, the matrix P₂And matrix P_A ^-1Can be obtained separately.
[0051]
The matrix can also be determined so that the white color of the known light source A is converted to the white color of the light source 2. First, the LMS tristimulus values under the known light source A and the light source 2 are obtained using the spectral reflectance data of multiple colors such as the Munsell color chip, and the tristimulus value y is obtained by the least square method._AThe tristimulus value y₂Find the matrix to convert to. At this time, as shown in the following equation (17), the matrix to be obtained is converted into the matrix V based on the von Kries chromatic adaptation prediction formula and the tristimulus value y so that the white color in the known light source A is converted into the white color of the light source 2._AThe matrix V ′ is obtained by decomposing the matrix V ′ perpendicular to the matrix V ′.
[0052]
y₂= (V_A+ V_A′) Y_A        (17)
However, V_A'Y_A= 0
In this case, P₂P_A ^-1= V_A+ V_AIt becomes ′. In this way, by determining the matrix so that the white color of the known light source A is converted to the white color of the light source 2, the white color under the known light source A can be matched with the white color under the light source 2. preferable. Note that the matrix P is calculated by the above equation (8).₂And using this, the matrix P_A ^-1Is obtained, the matrix P₂And matrix P_A ^-1Can be obtained separately.
[0053]
The parameter generating means 6 is a tristimulus value L of the white point of the light source 1._1w, M_1w, S_1wAnd a processing parameter P for performing the color balance adjustment processing of the image data S0 from the known light source parameters stored in the database 5 based on the tristimulus values of the white point of the known light source having a white point close to the white point of the light source 1. Is generated. Hereinafter, generation of the processing parameter P will be described.
[0054]
First, the parameter generation unit 6 generates the white point tristimulus value L input from the white point calculation unit 4 in the LMS color space._1w, M_1w, S_1wAnd the distance from the tristimulus value of the white point of the known light source stored in the database 5, and the two known light sources having the smallest distance are selected. Specifically, the tristimulus value and the tristimulus value L of the white point of the known light source stored in the database 5_1w, M_1w, S_1wAre plotted in the LMS color space, and a known light source that is closest to the white point of the light source 1 in the LMS color space, that is, can be regarded as the same type of light source, is selected. Here, it is assumed that the known light sources A and B are selected as shown in FIG.
[0055]
Here, the known light source parameter of the known light source A is P in the above equation (16).₂P_A ^-1The known light source parameter of the known light source B is P in the following equation (18).₂P_B ^-1It is.
[0056]
y₂= P₂P_B ^-1y_B        (18)
However, y_B: LMS tristimulus value under known light source B
P_B: 3 × 3 matrix for obtaining LMS values when an object having a spectral reflectance x (λ) is viewed under a known light source B
Similarly to the above equation (17), the parameter of the known light source B can be obtained by the following equation (19).
[0057]
y₂= (V_B+ V_B′) Y_B        (19)
However, V_B'Y_B= 0
When two known light sources A and B are selected in this way, a straight line AB connecting the white points (referred to as points A and B) of the known light sources A and B in the LMS color space and the white point (see FIG. The intersection C with the perpendicular line drawn from the x point in FIG. Here, assuming that the straight line AB is divided by the division ratio of 1−α: α by the intersection point C, the intersection point C includes the spectral intensity distribution of the known light source A and the spectral intensity distribution of the known light source B as shown in FIG. Is equivalent to the white point of a light source having a spectral intensity distribution synthesized at a ratio of α: 1-α.
[0058]
When the intersection point C is obtained as described above, an interpolation calculation is performed on the known light source parameters of the known light sources A and B, thereby calculating a parameter at the light source corresponding to the intersection point C.
[0059]
Specifically, a matrix Pc for converting the LMS tristimulus values under the light source corresponding to the intersection C into the LMS tristimulus values under the light source 2 based on α calculated as described above is expressed by the following equation (20 )
[0060]
Pc = αP₂P_A ^-1+ (1-α) P₂P_B ^-1  (20)
Matrix P₂, P_A ^-1, P_B ^-1Are obtained separately, the matrix Pc can be obtained as shown in the following equation (20 ′).
[0061]
Pc = P₂(ΑP_A+ (1-α) P_B)^-1   (20 ')
Therefore, the LMS tristimulus value y under the light source corresponding to the intersection C_CCan be converted into LMS tristimulus values under the light source 2 by the following equation (21).
[0062]
y₂= Pcy_C        (21)
On the other hand, the intersection C is on a straight line AB connecting the white points of the known light sources A and B in the LMS color space and does not coincide with the light source 1. Therefore, the matrix Pc is corrected as follows so that the white color under the light source 1 is converted to the white color under the light source 2. First, consider that the correction matrix ΔP is added to the matrix Pc so that the white color under the light source 1 is converted to the white color under the light source 2 as shown in the following equation (22).
[0063]
[Formula 13]

However, L_1w, M_1w, S_1w: Tristimulus value L based on the physiological primary color of the white point of the light source 1_2w, M_2w, S_2w: Tristimulus values based on the physiological primary color of the white point of the light source 2 Next, the matrix Pc and ΔP are used to predict the chromatic adaptation of the von Kries from the light source 1 to the light source 2 as shown in the following equations (23) and (24). It decomposes into the component V according to the formula and the other components Qc and ΔQ.
[0064]
Pc = QcV (23)
ΔP = ΔQV (24)
Here, the tristimulus value L_1w, M_1w, S_1wAnd tristimulus value L_2w, M_2w, S_2wIs in the relationship shown in the following equation (25), and when the equations (23) and (24) are substituted into the equation (22), the following equation (26) is obtained.
[0065]
[Expression 14]

When the equation (26) is modified, the following equation (27) is obtained.
[0066]
[Expression 15]

E: Unit matrix
From equation (23)
Qc = PcV^-1          (28)
Therefore, the right side of Expression (27) is known. Therefore,
[Expression 16]

If you replace like
[Expression 17]

It becomes. Here, if the values of the vectors (q00, q01, q02), (q10, q11, q12), (q20, q21, q22) are minimized, the components of the correction matrix ΔP are also minimized. The white point under the light source 1 can be converted into the white point under the light source 2 simply by adding.
[0067]
The values of vectors (q00, q01, q02), (q10, q11, q12), (q20, q21, q22) are minimized because these vectors are vector (L_2w, M_2w, S_2w). Therefore, the matrix ΔQ is obtained by determining the vectors (q00, q01, q02), (q10, q11, q12), (q20, q21, q22) by the following equations (29) to (31).
[0068]
[Formula 18]

Therefore, the correction matrix ΔP can be obtained by the above equation (24). Thereby, the matrix M for converting the LMS tristimulus values under the light source 1 into the LMS tristimulus values under the light source 2 is:
M = Pc + ΔP (32)
It can ask for.
[0069]
This matrix M converts the tristimulus value of the white point under the light source 1 into the tristimulus value of the white point under the light source 2. Further, since the matrix Pc for converting the LMS tristimulus value under the light source corresponding to the intersection C to the LMS tristimulus value under the light source 2 is corrected, the LMS tristimulus value under the light source 1 is converted into the light source 2 below. It also has the feature of converting to LMS tristimulus values.
[0070]
The matrix M generated in this way is input to the color balance adjustment processing means 7 as a processing parameter P. In the color balance adjustment processing means 7, first, the color signals R0, G0, B0 constituting the image data S0 are converted into signal values R1, G1, B1 normalized by the above equations (11), (12). Then, the signal values R1, G1, B1 are converted into CIE1931XYZ tristimulus values X1, Y1, Z1 by the following equation (33).
[0071]
[Equation 19]

Further, the tristimulus values X1, Y1, and Z1 are converted into tristimulus values L1, M1, and S1 based on physiological primary colors by the following equation (34).
[0072]
[Expression 20]

Then, the tristimulus values L1, M1, and S1 are converted using the matrix M by the following equation (35) to obtain converted tristimulus values L3, M3, and S3.
[0073]
[Expression 21]

Then, the converted tristimulus values L3, M3, and S3 are subjected to inverse transformations of Expression (34) and Expression (33) to obtain processed signals R3, G3, and B3 constituting the processed image data S3.
[0074]
Next, the operation of this embodiment will be described.
[0075]
FIG. 4 is a flowchart showing the operation of the first embodiment. First, the image data S0 is read by the reading means 3 from the memory card 2A in which the image is taken by the digital camera 2 and the image data S0 is stored (step S1). Then, in the white point calculation means 4, the LMS tristimulus value L of the white point of the image data S0._1w, M_1w, S_1wIs calculated (step S2). Then, in the parameter generation means 6, the LMS tristimulus value L of this white point_1w, M_1w, S_1wBased on the tristimulus values of the white point of the known light source having a white point close to the white point, a matrix M for converting the image data S0 from the parameters of the known light source is generated as the processing parameter P (step S3). . The processing parameter P generated in this way is input to the color balance adjustment processing means 7, and processing for adjusting the color balance is performed on the image data S0 by this processing parameter P, thereby obtaining processed image data S3 ( Step S4), the process is terminated.
[0076]
As described above, in the first embodiment, the process for performing the color balance adjustment process on the image data S0 obtained by photographing under the light source 1 from the known light source parameters of the known light sources A and B. Since the parameter P is obtained, if the color balance of the image data S0 obtained under the light source 1 is adjusted by the processing parameter P, processed image data S3 capable of reproducing an image having an appropriate color balance is obtained. Can do.
[0077]
Further, the distance AB between the white point of the selected known light sources A and B and the white point of the light source 1 is calculated, and the known light source is based on the distance AB and the intersection C of the perpendicular line extending from the light source 1 to the straight line AB. By weighting and adding the A and B parameters, the processing parameter P can be generated by a simple calculation, so that the calculation time for generating the processing parameter P can be shortened.
[0078]
Furthermore, since color balance adjustment processing is performed in the LMS color space, which is a color space related to human visual characteristics, color balance adjustment can be performed based on the color recognized when a human sees an object, This makes it possible to perform color balance adjustment processing that reproduces an image that is faithful to the visual impression.
[0079]
Next, a second embodiment of the present invention will be described. FIG. 5 is a schematic block diagram showing the configuration of the color balance adjusting apparatus according to the second embodiment of the present invention. Note that, in the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. The color balance adjusting apparatus 1 according to the second embodiment includes a monitor 8 that displays image data S0 read from the memory card 2A by the reading means 3, and when the image data S0 is photographed under a fluorescent lamp. And the parameter generation means 6 performs processing parameters P by the same process as in the first embodiment when the fluorescent lamp is specified by the fluorescent lamp specifying key 9. When a fluorescent lamp is not designated, a matrix based on the von Kries chromatic adaptation prediction formula shown in Formula (1) is generated as the processing parameter P.
[0080]
The operation of the second embodiment will be described below. FIG. 6 is a flowchart showing the operation of the second embodiment. First, the image data S0 is read by the reading means 3 from the memory card 2A in which the image is taken by the digital camera 2 and the image data S0 is stored (step S11). The image data S0 is displayed on the monitor 8 (step S12). Further, in the white point calculation means 4, the LMS tristimulus value L of the white point of the image data S0._1w, M_1w, S_1wIs calculated (step S13). Then, it is determined whether or not the fluorescent lamp designation key 9 is turned on (step S14). If turned on, the processing parameter P is generated by the same processing as in the first embodiment (step S15). . On the other hand, if the fluorescent lamp designation key 9 is not turned on, a matrix based on the von Kries chromatic adaptation prediction equation shown in equation (1) is generated as the processing parameter P (step S16). The processing parameter P generated in this way is input to the color balance adjustment processing means 7, and processing for adjusting the color balance is performed on the image data S0 by this processing parameter P, thereby obtaining processed image data S3 ( Step S17) and the process is terminated.
[0081]
As described above, in the second embodiment, the color balance adjustment method using the processing parameter P generated according to the first embodiment and the color balance adjustment method using the processing parameter P based on the von Kries chromatic adaptation prediction formula. When the fluorescent lamp designation key 9 is switched on / off, when color balance adjustment processing can be easily performed as in an image obtained by shooting in daylight, Even if the processing parameter P is not generated by the method of the first embodiment, the processing parameter P can be easily generated as in the von Kries chromatic adaptation prediction formula, so that the processing can be performed at high speed.
[0082]
In the second embodiment, it is possible to designate a case where photographing is performed under a fluorescent lamp by the fluorescent lamp designation key 9, but other types of light sources such as tungsten light can be designated in addition to the fluorescent lamp. It may be possible. When a fluorescent lamp is designated, the type of fluorescent lamp may be designated such as a normal fluorescent lamp, a three-wavelength fluorescent lamp, and a high color rendering fluorescent lamp. When a plurality of types of light sources can be specified as described above, the type of light source may not be specified only by displaying the image data S0 on the monitor 8. In such a case, processing is performed by designating some kind of light source to obtain processed image data S3, which is displayed on the monitor 8 to confirm whether or not a desired color has been obtained and made desired. Color balance adjustment processing may be performed by changing the type of light source until a color is obtained.
[0083]
Next, a third embodiment of the present invention will be described. FIG. 7 is a schematic block diagram showing the configuration of the color balance adjusting apparatus according to the third embodiment of the present invention. Note that in the third embodiment, identical symbols are assigned to configurations identical to those in the first embodiment and detailed description thereof is omitted. In the color balance adjusting device 1 according to the third embodiment, a fluorescent lamp designation key 10 is provided in the digital camera 2 and information F indicating that the photographer was photographed under a fluorescent lamp is displayed in the image data S0 at the time of photographing. It is something to be granted. When the information F is added to the image data S0 in the reading unit 3, this information F is input to the parameter generating unit 6, and the information F is added to the image data S0 in the parameter generating unit 6. In this case, the processing parameter P is generated by the same processing as in the first embodiment. When the information F is not given, a matrix based on the von Kries chromatic adaptation prediction formula shown in Formula (1) is used. It is generated as a processing parameter P.
[0084]
The operation of the third embodiment will be described below. FIG. 8 is a flowchart showing the operation of the third embodiment. First, the image data S0 is read by the reading means 3 from the memory card 2A in which the image is taken by the digital camera 2 and the image data S0 is stored (step S21). At this time, when the fluorescent lamp designation key 10 of the photographing means 2 is turned on at the time of photographing and information F indicating that photographing has been performed under the fluorescent light is added to the image data S0, this is also read at the same time. , Input to the parameter generation means 6. Further, in the white point calculation means 4, the LMS tristimulus value L of the white point of the image data S0._1w, M_1w, S_1wIs calculated (step S22). Then, it is determined whether or not the information F is input in the parameter generating means 6 (step S23). When the information F is input, the processing parameter P is generated by the same processing as in the first embodiment. (Step S24). On the other hand, if the information F is not input, a matrix based on the von Kries chromatic adaptation prediction formula shown in Formula (1) is generated as the processing parameter P (step S25). The processing parameter P generated in this way is input to the color balance adjustment processing means 7, and processing for adjusting the color balance is performed on the image data S0 by this processing parameter P, thereby obtaining processed image data S3 ( Step S26), the process is terminated.
[0085]
Next, a fourth embodiment of the present invention will be described. FIG. 9 is a schematic block diagram showing the configuration of the color balance adjusting apparatus according to the fourth embodiment of the present invention. Note that in the fourth embodiment, identical symbols are assigned to configurations identical to those in the first embodiment and detailed description thereof is omitted. In the second and third embodiments, the method for generating the processing parameter P in the parameter generating unit 6 is changed depending on whether the fluorescent lamp designation key 9 is input or whether the information F is added to the image data S0. However, in the fourth embodiment, the first parameter generation means 6A that generates the processing parameter P1 and the matrix based on the von Kries chromatic adaptation prediction formula are processed by the same processing as in the first embodiment. The second parameter generation means 6B generated as the parameter P2 is provided separately, and the input to the first and second parameter generation means 6A, 6B is switched by the switching means 11. Switching in the switching unit 11 may be performed according to whether or not the fluorescent lamp designation key 9 is input as in the second embodiment, but in the digital camera 2 the image data S0 is similar to that in the third embodiment. You may perform according to the presence or absence of the information F provided to.
[0086]
Next, the operation of the fourth embodiment will be described. FIG. 10 is a flowchart showing the operation of the fourth embodiment. First, the image data S0 is read by the reading means 3 from the memory card 2A in which the image is taken by the digital camera 2 and the image data S0 is stored (step S31). The image data S0 is displayed on the monitor 8 (step S32). Further, in the white point calculation means 4, the LMS tristimulus value L of the white point of the image data S0._1w, M_1w, S_1wIs calculated (step S33). Then, it is determined whether or not the fluorescent lamp designation key 9 is turned on (step S34). If turned on, the switching means 11 sends the LMS tristimulus value L to the first parameter generation means 6A._1w, M_1w, S_1wIs input, and the processing parameter P1 is generated by the same processing as in the first embodiment (step S35). On the other hand, when the fluorescent lamp designation key 9 is not turned on, the switching means 11 sends the LMS tristimulus value L to the second parameter generation means 6B._1w, M_1w, S_1wIs input, and a matrix based on the von Kries chromatic adaptation prediction equation shown in equation (1) is generated as the processing parameter P2 (step S36). The processing parameter P1 or P2 generated in this way is input to the color balance adjustment processing means 7, and processing for adjusting the color balance is performed on the image data S0 by this processing parameter P1 or P2, and processed image data S3. Is obtained (step S37), and the process is terminated.
[0087]
Here, in the generation of the processing parameter P1 according to the first embodiment, it is necessary to calculate a 3 × 3 matrix. However, when the von Kries chromatic adaptation prediction formula is used, the LMS physiological primary color is simply multiplied by a constant. The parameter P2 may be generated. For this reason, as in the fourth embodiment, by separately providing means for generating the processing parameters P1, P2, the calculation can be performed at high speed, particularly when the fluorescent lamp designation key 9 is not turned on. Therefore, the speed of the color balance adjustment process can be increased.
[0088]
In the first to fourth embodiments, the color balance adjusting device according to the present invention is used as a single device. However, the color balance adjusting device according to the present invention may be provided in a printer. In this case, the fluorescent lamp designation key 9 in the second embodiment does not need to be provided as hardware, and may be a key button attached to the printer driver.
[0089]
Further, the color balance adjusting device according to the present invention may be provided in the digital camera 2. Hereinafter, this will be described as a fifth embodiment. FIG. 11 is a schematic block diagram showing the configuration of a digital camera provided with a color balance adjusting apparatus according to the present invention. The digital camera 2 can be provided with any of the color balance adjusting apparatuses according to the first to fourth embodiments. Here, the digital camera 2 will be described assuming that the color balance adjusting apparatus according to the second embodiment is provided. . As shown in FIG. 11, the digital camera 2 includes an imaging unit 12 such as a CCD, a small liquid crystal monitor 13 for displaying image data S0 obtained by the imaging unit 12, a fluorescent lamp designation key 14, and a first implementation. The white point calculation means 4, the database 5, the parameter generation means 6, and the color balance adjustment processing means 7 similar to the embodiment are provided, and the processed image data S3 obtained in the color balance adjustment processing means 7 is stored in the memory card 2A. To do.
[0090]
The operation of the fifth embodiment will be described below. FIG. 12 is a flowchart showing the operation of the fifth embodiment. First, a subject is imaged by the imaging means 12, and image data S0 is obtained (step S41). The image data S0 is displayed on the liquid crystal monitor 13 (step S42). Further, in the white point calculation means 4, the LMS tristimulus value L of the white point of the image data S0._1w, M_1w, S_1wIs calculated (step S43). Then, it is determined whether or not the fluorescent lamp designation key 14 is turned on (step S44). If turned on, the processing parameter P is generated by the same processing as in the first embodiment (step S45). . On the other hand, if the fluorescent lamp designation key 14 is not turned on, a matrix based on the von Kries chromatic adaptation prediction formula shown in Formula (1) is generated as the processing parameter P (step S46). The processing parameter P generated in this way is input to the color balance adjustment processing means 7, and processing for adjusting the color balance is performed on the image data S0 by this processing parameter P, so that processed image data S3 is obtained ( Step S47). The processed image data S3 is stored in the memory card 2A (step S48), and the process ends.
[0091]
In the second to fifth embodiments, the matrix based on the von Kries chromatic adaptation prediction formula when the fluorescent lamp designation key is not turned on or when the information F is not added to the image data S0. Is generated as the processing parameters P and P2, and the color balance adjustment processing is performed. For example, the processing parameters such that the average values R2, G2, and B2 of the respective color signals obtained by the above equation (10) are matched are obtained and the color is adjusted. A balance adjustment process may be performed.
[0092]
In each of the above embodiments, the processing parameter P is generated and the color balance adjustment processing is performed in the LMS color space. In particular, the color balance adjustment device according to the present invention is provided in the digital camera as in the fifth embodiment. In this case, it is preferable to generate the processing parameter P and perform color balance adjustment processing in the RGB color space in order to shorten the processing time. In this case, the average values R2, G2, B2 of the color signals calculated by the above equation (13) are used as the tristimulus values R of the white point of the light source 1._1w, G_1w, B_1wIn the database 5, the tristimulus value R of the white point of the known light sources A and B is stored._Aw, G_Aw, B_Aw, R_Bw, G_Bw, B_BwAnd the parameters of the known light source for converting the RGB tristimulus values of the subject under the known light source into the RGB tristimulus values of the subject under the observation light source are stored in association with each other.
[0093]
And the tristimulus value R of the white point of the light source 1_1w, G_1w, B_1wIs calculated, the tristimulus value R of the white point of the known light sources A and B in the RGB color space as shown in FIG._Aw, G_Aw, B_Aw, R_Bw, G_Bw, B_BwAnd tristimulus value R of the white point of light source 1₁, G_1w, B_1wAnd a matrix for converting RGB tristimulus values under the light source corresponding to the intersection C into RGB tristimulus values under the light source 2 as shown in the equation (20), as in the first embodiment. Pc is generated, and if necessary, the matrix M is further generated and used as the processing parameter P.
[0094]
In each of the above embodiments, a known light source that generates the processing parameter P may be selected as shown in FIG. 14 according to the distance from the known light source. That is, as shown in FIG. 14, the known light sources A, B, and C are set in the LMS color space, and the surface M1 perpendicular to the straight line AB connecting the white point of the known light source A and the white point of the known light source B, the known light source A surface M2 perpendicular to the straight line BC connecting the white point of B and the white point of the known light source C and a surface M3 equidistant from the straight line AB and the straight line BC are set, and are defined by the respective surfaces M1 to M3 and the straight lines AB and BC. Regions 1 to 5 are defined. Then, it is determined in which region the light source 1 is located. When the light source 1 is in the regions 1 and 5, the processing parameter P is generated according to the distance between the known light sources A and B and the light source 1. 4, the processing parameter P is generated according to the distance between the known light sources B and C and the light source 1, and the parameter of the known light source B is used as the processing parameter P as it is in the region 2. Also good.
[0095]
In each of the above embodiments, the generated processing parameter P may be stored in the database 5 as a new known light source parameter. Thereby, when adjusting the color balance of an image obtained by shooting under the same shooting light source as a new known light source, it is not necessary to perform the same calculation to generate the processing parameter P. Color balance adjustment processing can be performed efficiently.
[0096]
Further, in each of the above embodiments, the tristimulus value of the white point of the image data S0 is calculated by the above formulas (11) to (15). For example, the white point described in Japanese Patent Application No. 11-70186 is used. The tristimulus value of the white point of the image data S0 may be calculated by the estimation method. The white point tristimulus value calculation method described in Japanese Patent Application No. 11-70186 will be described below.
[0097]
Furthermore, in the above embodiment, the color balance adjustment process is performed on the image data S0 acquired under the light source whose parameter for converting the tristimulus value under the light source into the tristimulus value under the observation light source is unknown. However, some digital cameras perform color balance adjustment processing such as RGB gain correction on the image data acquired by photographing. In this case, the image data obtained by the digital camera has been subjected to color balance adjustment processing on the premise that the image data is already observed under an observation light source. In some cases, the image data is already subjected to color balance adjustment processing on the premise that the image data is observed under a certain observation light source. As described above, when an image that has already been subjected to color balance adjustment processing is observed under a specific observation light source, it is necessary to perform color balance adjustment processing on the image. Using the observation light source as the light source 1, the processing parameter P can be generated and the color balance adjustment process can be performed in the same manner as in the above embodiments. In this case, the image data S0 acquired by photographing, the color balance adjustment processing A on the premise that observation is performed under a certain observation light source, the image data S11 subjected to the color balance adjustment processing A, and the color balance adjustment processing B according to the present invention. The flow of the processed image data S12 is as shown in FIG.
[0098]
First, the color signals R1, G1, B1 are obtained from the color signals R0, G0, B0 constituting the image data S0 according to the equations (11), (12), and the color signals R1, G1, B1 are obtained according to the equation (33) as CIE1931XYZ3. While converting into a stimulus value, it converts into a CIE1976uv chromaticity value by the following formula | equation (36).
[0099]
u = 4X / (X + 15Y + 3Z)
v = 9Y / (X + 15Y + 3Z) (36)
Then, average values u0 and v0 of the chromaticity values u and v obtained by the above equation (36) are calculated by the following equation (37).
[0100]
u0 = Σu / n
v0 = Σv / n (37)
Where n is the number of pixels
Next, the average values u0, v0 are converted into physiological primary colors L0, M0, S0 by the following equations (38) to (40).
[0101]
sx = 9.0 × u0 (6.0 × u0-16.0 × v0 + 12.0)
sy = 4.0 × v0 (6.0 × u0-16.0 × v0 + 12.0) (38)
X0 = sx / sy
Y0 = 100.0 (39)
Z0 = (1.0−sx−sy) / sy
L0 X0
M0 = | B | .Y0 (40)
S0 Z0
Here, the matrix | B | is a matrix in the equation (34). Then, the physiological primary colors L0, M0, S0 obtained in this way are set as the tristimulus values of the white point of the image data S0.
[0102]
Further, in each of the above embodiments, the color balance adjustment processing is performed on the image data S0 composed of RGB color signals. However, the present invention is not limited to this, and the image data S0 composed of CMY color signals is not limited thereto. Alternatively, color balance adjustment processing may be performed. In this case, the LMS tristimulus value of the white point is calculated from the image data S0 composed of CMY color signals, and the processing parameter P is generated as in the above embodiments to perform the color balance adjustment process.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of a color balance adjustment device according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining generation of processing parameters in an LMS color space (part 1);
FIG. 3 is a diagram for explaining generation of processing parameters in an LMS color space (part 2);
FIG. 4 is a flowchart showing the operation of the first embodiment.
FIG. 5 is a schematic block diagram showing the configuration of a color balance adjustment device according to a second embodiment of the present invention.
FIG. 6 is a flowchart showing the operation of the second embodiment.
FIG. 7 is a schematic block diagram showing the configuration of a color balance adjustment device according to a third embodiment of the present invention.
FIG. 8 is a flowchart showing the operation of the third embodiment.
FIG. 9 is a schematic block diagram showing the configuration of a color balance adjustment device according to a fourth embodiment of the present invention.
FIG. 10 is a flowchart showing the operation of the fourth embodiment.
FIG. 11 is a schematic block diagram showing a configuration of a digital camera provided with a color balance adjusting device according to a fifth embodiment of the present invention.
FIG. 12 is a flowchart showing the operation of the fifth embodiment.
FIG. 13 is a diagram for explaining processing parameter generation in the RGB color space;
FIG. 14 is a diagram for explaining generation of processing parameters in an LMS color space (part 3);
FIG. 15 is a diagram showing processing for performing color balance adjustment processing according to the present invention on an image that has already been subjected to color balance adjustment processing;
[Explanation of symbols]
1 Color balance adjustment device
2 Digital camera
3 Reading means
4 White point calculation means
5 Database
6 Parameter generation means
7 Color balance adjustment processing means
8 Monitor
9, 10, 14 Fluorescent lamp designation key
12 Imaging means
13 LCD monitor

Claims (23)

When observing an image acquired by photographing a subject under a predetermined photographing light source under a predetermined observation light source, observing under image data representing the image or another light source different from the predetermined observation light source In the color balance adjustment method for obtaining processed image data by performing a process for adjusting the color balance on the image data subjected to the color balance adjustment process based on
The light source parameters for converting the white point of each light source and the tristimulus values under each light source into the tristimulus values under the observation light source for a plurality of light sources are stored in the storage means in advance.
Calculating a white point of the imaging light source or the other light source;
A light source having a white point close to a white point of the photographing light source or the other light source is selected from the plurality of light sources, and based on a white point of the photographing light source or the other light source and a white point of the selected light source An interpolation operation is performed on the light source parameter of the selected light source to generate a processing parameter for converting a tristimulus value under the imaging light source or the other light source into a tristimulus value under the observation light source. ,
A color balance adjustment method, wherein the processed image data is obtained by converting tristimulus values of the image data into tristimulus values under the observation light source based on the processing parameters. The interpolation calculation calculates a distance between a white point of the selected light source and a white point of the photographing light source or the other light source,
The color balance adjustment method according to claim 1, wherein the light source parameter is calculated by weighted addition based on the distance. 3. The color balance adjustment method according to claim 2, wherein the processing parameter is generated by further correcting a deviation of a white point due to the weighted addition. 4. The color balance adjustment method according to claim 1, wherein the tristimulus values are tristimulus values in a color space related to human visual characteristics. 4. The color balance adjustment method according to claim 1, wherein the tristimulus value is a tristimulus value in a color space related to a spectral characteristic of a photographing apparatus that has photographed the image. 5. 6. The color balance adjustment method according to claim 1, wherein the processing parameter is stored in the storage unit as a light source parameter of a new light source. Accept designation of the imaging light source or the other light source;
According to the designated imaging light source or other light source, the generation of the processing parameter and the generation of another processing parameter by another method different from the generation of the processing parameter can be switched. The color balance adjustment method according to any one of claims 1 to 6. When observing an image acquired by photographing a subject under a predetermined photographing light source under a predetermined observation light source, observing under image data representing the image or another light source different from the predetermined observation light source In a color balance adjustment device that obtains processed image data by performing a process of adjusting the color balance on the image data that has been subjected to the color balance adjustment process based on
Storage means for preliminarily storing light source parameters for converting a white point of each light source and a tristimulus value under each light source into a tristimulus value under the observation light source for a plurality of light sources;
A white point calculating means for calculating a white point of the photographing light source or the other light source;
A light source having a white point close to a white point of the photographing light source or the other light source is selected from the plurality of light sources, and based on a white point of the photographing light source or the other light source and a white point of the selected light source Interpolation is performed on the light source parameter of the selected light source to generate a processing parameter for converting a tristimulus value under the imaging light source or the other light source into a tristimulus value under the observation light source. Parameter generation means;
A color balance adjustment apparatus comprising: processing means for converting the tristimulus values of the image data into tristimulus values under the observation light source based on the processing parameters to obtain the processed image data. The parameter generation means calculates the distance between the white point of the selected light source and the white point of the imaging light source or the other light source, as the interpolation calculation,
9. The color balance adjusting apparatus according to claim 8, wherein the color balance adjusting device is a means for performing weighted addition of the light source parameters based on the distance. 10. The color balance adjustment apparatus according to claim 9, wherein the parameter generation unit is a unit that further corrects a deviation of a white point due to the weighted addition and generates the processing parameter. The color balance adjustment apparatus according to any one of claims 8 to 10, wherein the tristimulus values are tristimulus values in a color space related to human visual characteristics. 11. The color balance adjustment device according to claim 8, wherein the tristimulus value is a tristimulus value in a color space related to a spectral characteristic of an imaging apparatus that has captured the image. The color balance adjusting apparatus according to claim 8, wherein the storage unit is a unit that stores the processing parameter as a light source parameter of a new light source. Accepting means for accepting designation of the imaging light source or the other light source;
Other parameter generation means for generating other processing parameters by another method different from the generation of processing parameters in the parameter generation means,
And a switching unit that switches between generation of a processing parameter by the parameter generation unit and generation of another processing parameter by the other parameter generation unit in response to designation of a photographing light source or another light source by the reception unit. 14. The color balance adjusting device according to claim 8, wherein the color balance adjusting device is a color balance adjusting device. When observing an image acquired by photographing a subject under a predetermined photographing light source under a predetermined observation light source, observing under image data representing the image or another light source different from the predetermined observation light source A computer-readable recording of a program for causing a computer to execute a color balance adjustment method for obtaining processed image data by performing color balance adjustment processing on image data that has undergone color balance adjustment processing based on In a recording medium
The program stores in advance a light source parameter for converting a white point of each light source and a tristimulus value under each light source into a tristimulus value under the observation light source in a storage unit for a plurality of light sources;
Calculating a white point of the imaging light source or the other light source;
A light source having a white point close to a white point of the photographing light source or the other light source is selected from the plurality of light sources, and based on a white point of the photographing light source or the other light source and a white point of the selected light source Interpolation is performed on the light source parameter of the selected light source to generate a processing parameter for converting a tristimulus value under the imaging light source or the other light source into a tristimulus value under the observation light source. Procedure and
A computer-readable recording medium comprising: a procedure for converting the tristimulus values of the image data into tristimulus values under the observation light source based on the processing parameters to obtain the processed image data. The interpolation calculation in the step of generating the processing parameter is a step of calculating a distance between a white point of the selected light source and a white point of the photographing light source or the other light source,
The computer-readable recording medium according to claim 15, further comprising a step of weighting and adding the light source parameters based on the distance. The computer-readable recording medium according to claim 16, wherein the procedure for generating the processing parameter is a procedure for generating the processing parameter by further correcting a white point shift caused by the weighted addition. 18. The computer-readable recording medium according to claim 15, wherein the tristimulus value is a tristimulus value in a color space related to human visual characteristics. The computer-readable recording medium according to any one of claims 15 to 17, wherein the tristimulus value is a tristimulus value in a color space related to a spectral characteristic of an imaging device that has captured the image. . 20. The computer-readable recording medium according to claim 15, further comprising a procedure of storing the processing parameter as a light source parameter of a new light source in the storage unit. A procedure for accepting designation of the imaging light source or the other light source;
A procedure for generating other processing parameters by another method different from the generation of the processing parameters;
21. The method according to claim 15, further comprising a step of switching between generation of the processing parameter and generation of the other processing parameter in accordance with designation of an imaging light source or another light source in the receiving procedure. 2. A computer-readable recording medium according to item 1. An image pickup apparatus comprising the color balance adjusting apparatus according to claim 8. An output device comprising the color balance adjusting device according to claim 8.

Images