JP4329125B2 - ホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置 - Google Patents

Description

本発明はホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置に係り、特に光源を正確に判別することができ、精度のよいホワイトバランス制御が可能なホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置に関する。

従来、デジタルカメラにおいて光源の色温度に関わらず、白い被写体が画像中で白く再現されるようにホワイトバランスの調整が行われている。例えば、特許文献１には、撮像画像の輝度レベルと色情報に基づいて環境光源を定め、この環境光源の色が所定の色になるようにホワイトバランス制御を行うホワイトバランス制御方法について開示されている。
特開２００３−２２４８６３号公報

しかしながら、上記のような従来技術によれば、無彩色を含まない有彩色の被写体を撮影した場合には、光源検出の際に物体色の影響を受けて光源の色を正確に検出することができないことがあった。例えば、屋外の森林で撮影された画像のように緑の占める割合が大きい場合には、光源が蛍光灯と誤判別されやすい。特に、日陰等の暗い場所で撮影された緑ではより光源が誤判別されやすい。このため、誤判別された光源の色に応じてホワイトバランス制御を行うと、被写体の物体色である緑が抑えられて、緑の補色に色回りしてしまう（色が偏ってしまう）カラーフェリアが発生するという問題があった。

本発明はこのような事情に鑑みてなされたもので、光源を正確に検出することができ、カラーフェリアを低減できるホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係るホワイトバランス制御方法は、（ａ）撮像素子を介して入力された画像を複数の分割エリアに分割して各分割エリアの色情報を取得するステップと、（ｂ）所定の色空間上における色温度による物体の色変化の軌跡である光源軌跡に基づいて、前記色空間における前記複数の分割エリアの色情報の分布を補正するステップと、（ｃ）前記ステップ（ｂ）において補正された色情報に基づいて撮影状況下の光源情報を取得するステップと、（ｄ）前記ステップ（ｃ）において取得された光源情報に基づいてホワイトバランス補正値を算出するステップと、（ｅ）前記ステップ（ｄ）において算出されたホワイトバランス補正値に基づいてホワイトバランスの制御を行うステップとを備え、前記ステップ（ｂ）において、前記光源軌跡は、光源の色温度を変化させたときの物体の色変化を示す第１の光源軌跡及び該第１の光源軌跡とは異なる第２の光源軌跡であり、前記第１及び第２の光源軌跡の間に挟まれない位置に分布する色情報を、前記第１及び第２の光源軌跡のうちいずれか近い方に近づけることを特徴とする。
本発明の第２の実施形態に係るホワイトバランス制御方法は、上記第１の態様のステップ（ｂ）において、前記第１及び第２の光源軌跡の間に挟まれる位置に分布する色情報は補正しないことを特徴とする。

また、本発明の第３の態様に係るホワイトバランス制御装置は、撮像素子を介して入力された画像を複数の分割エリアに分割して各分割エリアの色情報を取得する色情報取得手段と、所定の色空間上における色温度による物体の色変化の軌跡である光源軌跡に基づいて、前記色空間における前記複数の分割エリアの色情報の分布を補正する色情報補正手段と、前記補正された色情報に基づいて撮影状況下の光源情報を取得する光源情報取得手段と、前記取得された光源情報に基づいてホワイトバランス補正値を算出するホワイトバランス補正値算出手段と、前記算出されたホワイトバランス補正値に基づいてホワイトバランスを調整するホワイトバランス調整手段とを備え、前記光源軌跡は、光源の色温度を変化させたときの物体の色変化を示す第１の光源軌跡及び該第１の光源軌跡とは異なる第２の光源軌跡であり、前記色情報補正手段は、前記第１及び第２の光源軌跡の間に挟まれない位置に分布する色情報を、前記第１及び第２の光源軌跡のうちいずれか近い方に近づけることを特徴とする。
本発明の第４の態様に係るホワイトバランス制御装置は、上記第３の態様において、前記色情報補正手段が、前記第１及び第２の光源軌跡の間に挟まれる位置に分布する色情報は補正しないことを特徴とする。

上記第１から第４の態様によれば、光源検出の際に、光源軌跡に基づいて補正されて物体色の影響が抑えられた色情報を用いるため、正確な光源情報を取得できる。

本発明の第５の態様に係るホワイトバランス制御装置は、上記第３又は第４の態様において、前記第２の光源軌跡は、光源として白色蛍光灯を用いた場合の色分布を通るか、又は該色分布よりも前記第１の光源軌跡から離れた光源軌跡であることを特徴とする。第５の態様は、上記第３又は第４態様における第２の光源軌跡を限定したものである。

本発明の第６の態様に係るホワイトバランス制御装置は、上記第３から第５の態様において、前記第２の光源軌跡は、Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より下側に位置することを特徴とする。第６の態様は、上記第３から第５の態様における第１及び第２の光源軌跡の相対位置について限定したものである。

本発明の第７の態様に係るホワイトバランス制御装置は、上記第３から第６の態様において、前記色情報取得手段は、前記分割エリアにおける前記色情報のＲ，Ｇ，Ｂ信号の積算値を算出してＲ／Ｇ比及びＢ／Ｇ比を算出し、前記色情報補正手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より上側に分布する色情報を前記第１の光源軌跡寄りに移動させ、前記第２の光源軌跡より下側に分布する色情報を前記第２の光源軌跡寄りに移動させることを特徴とする。

また、本発明の第８の態様に係るホワイトバランス制御装置は、上記第７の態様において、前記色情報補正手段は、前記Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より上側に分布する色情報をＲ／Ｇ方向に前記第１の光源軌跡に近づけ、前記第２の光源軌跡より下側に分布する色情報を前記第２の光源軌跡の法線方向に近づけることを特徴とする。請求項７及び８は、請求項３から６の色情報のＲ／Ｇ、Ｂ／Ｇ色空間における移動方向を限定したものである。

本発明の第９の態様に係るホワイトバランス制御装置は、上記第３から第８の態様において、前記色情報補正手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間における前記第１又は第２の光源軌跡と前記色情報の距離に応じて、前記色情報の補正量を変更することを特徴とする。第９の態様は、色情報の補正量（Ｒ／Ｇ、Ｂ／Ｇ色空間における移動量）の算出の態様を限定したものである。

本発明の第１０の態様に係るホワイトバランス制御装置は、上記第３から第９の態様において、前記光源情報取得手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間における前記補正された色情報の分布から第１の色情報を算出し、前記第１の色情報のＲ／Ｇ、Ｂ／Ｇ色座標に基づいて前記光源情報を取得することを特徴とする。第１０の態様は、上記第３から第９の態様において光源情報の取得の態様を限定したものである。

本発明の第１１の態様に係るホワイトバランス制御装置は、上記第１０の態様において、前記光源情報取得手段は、前記Ｒ／Ｇ、Ｂ／Ｇ色空間における基準点を中心として、前記基準点と前記第１の色情報を結ぶ線分を半径とする円内に分布する色情報の分布から算出される第２の色情報を光源検出値とすることを特徴とする。

上記第１１の態様に係るホワイトバランス制御装置によれば、Ｒ／Ｇ、Ｂ／Ｇ色空間の基準点の近傍の色情報のみを用いるため、光源情報の取得時に物体色の影響を抑えることができる。

本発明の第１２の態様に係るホワイトバランス制御装置は、上記第１０又は第１１の態様において、前記光源情報取得手段は、前記第１又は第２の色情報の算出を色情報の加重平均により行うことを特徴とする。

上記第１２の態様に係るホワイトバランス制御装置によれば、例えば、Ｒ／Ｇ、Ｂ／Ｇ色空間の基準点から遠い色情報にかける重みを小さくすることにより、光源情報の取得時に物体色の影響を抑えることができる。

また、本発明の第１３の態様に係る撮像装置は、上記第３から第１２態様のいずれかのホワイトバランス制御装置を備えることを特徴とする。

本発明によれば、第１及び第２の光源軌跡を利用して画像中の色情報における物体色の影響を抑えて、この物体色の影響を抑えた色情報に基づいて光源検出を行うことにより、正確な光源検出を行うことができる。これにより、ホワイトバランス制御時におけるカラーフェリアを低減できる。

以下、添付図面に従って本発明に係るホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置の好ましい実施の形態について説明する。なお、以下の説明では、本発明のホワイトバランス制御装置が適用された撮像装置（デジタルカメラ）を例にとって説明するが、本発明は撮像装置を有する携帯電話や携帯情報端末（ＰＤＡ）、ＰＣカメラ等にも適用することができる。

図１は、本発明の一実施形態に係るホワイトバランス制御装置が適用された撮像装置を示すブロック図である。同図に示す撮像装置１０は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、撮像装置１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。

デジタルカメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２はこの入力信号に基づいてデジタルカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。

モード選択スイッチ２２は、デジタルカメラ１０の動作モードを切り換えるための操作手段である。モード選択スイッチ２２を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力されて、デジタルカメラ１０は撮影モードに設定される。一方、可動接片２２Ａを接点ｂに接続させると、デジタルカメラ１０は記録済みの画像を再生する再生モードに設定される。

撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。

デジタルカメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。

メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、デジタルカメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部（ＵＳＢ Ｉ／Ｆ）３６を備えている。図示せぬＵＳＢケーブルを用いてデジタルカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth（登録商標）、その他の通信方式を適用してもよい。

次に、デジタルカメラ１０の撮影機能について説明する。モード選択スイッチ２２によってデジタルカメラ１０の動作モードが撮影モードに設定されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。

レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。尚、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。

ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。

画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理する。即ち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。

画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。

撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２０Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０Ａ及びＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

撮影ボタン２４が半押し（Ｓ１＝ＯＮ）されると、デジタルカメラ１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。

ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８乃至１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路６４は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。尚、ホワイトバランス調整の詳細は後述する。

本デジタルカメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

上記のように、撮影ボタン２４の半押し（Ｓ１＝ＯＮ）によってＡＥ／ＡＦ処理が行われると、撮影ボタン２４の全押し（Ｓ２＝ＯＮ）によって記録用の撮影動作がスタートする。Ｓ２＝ＯＮに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。

メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式で記録される。

モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後に記録されたファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８及びビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。

次に、本発明に係るホワイトバランス制御方法について説明する。図２は、本発明の第１の実施形態に係るホワイトバランス制御方法を示すフローチャートである。まず、撮影ボタン２４が押されて、被写体の撮影が行われる。この撮影時にＣＣＤ３８から得られたＲ，Ｇ，Ｂ信号は一旦メモリ１８に格納される。そして、メモリ１８に格納されているＲ，Ｇ，Ｂ信号を用いて、１画面が８×８に分割された６４個の分割エリアごとにＲ，Ｇ，Ｂ信号の色別の平均積算値が算出され（ステップＳ１０）、分割エリアごとにＲ，Ｇ，Ｂ信号の平均積算値の比（Ｒ／Ｇ及びＢ／Ｇ）を算出する（ステップＳ１２）。ステップＳ１２において算出された６４個の分割エリアごとの色情報は、上記のＲ／Ｇ、Ｂ／Ｇの値に基づいてＲ／Ｇ、Ｂ／Ｇ軸座標の色空間（以下の説明では、Ｒ／Ｇ、Ｂ／Ｇ色空間と記載）上で分布する６４個の点として表すことができる。

なお、上記の分割エリアは、電子ズームが行われている場合においても、１画面、すなわち電子ズームによって切り出す前の画面を、例えば、８×８に分割した６４個の分割エリアとすることができる。

次に、撮影時のストロボのＯＮ／ＯＦＦに応じて分岐する（ステップＳ１４）。撮影時にストロボがＯＦＦであった場合、次いでＲ／Ｇ、Ｂ／Ｇ色空間においてストロボＯＦＦ用の検出枠、第１及び第２の光源軌跡が設定される（ステップＳ１６）。一方、撮影時にストロボがＯＮであった場合、次いでＲ／Ｇ、Ｂ／Ｇ色空間においてストロボＯＮ用の検出枠、第１及び第２の光源軌跡が設定される（ステップＳ１８）。

図３はストロボＯＦＦ用の検出枠、第１及び第２の光源軌跡をＲ／Ｇ、Ｂ／Ｇ色空間に示すグラフであり、図４はストロボＯＮ用の検出枠、第１及び第２の光源軌跡をＲ／Ｇ、Ｂ／Ｇ色空間に示すグラフである。図中の横軸はＲ／Ｇ信号値、縦軸はＢ／Ｇ信号値である。

第１の光源軌跡Ｌ１は、光源（昼光やタングステン光源）の色温度を変化させた際の黒体の色変化の軌跡であり、Ｒ／Ｇ、Ｂ／Ｇ色空間における基準点Ｄ５０（１，１）を通っている。図３に示すストロボＯＦＦ時の第２の光源軌跡Ｌ２（ＯＦＦ）は、光源として白色蛍光灯を用いた場合の色分布を通るか、又は光源として白色蛍光灯を用いた場合の色分布よりも第１の光源軌跡Ｌ１から離れた軌跡である。また、図４に示すストロボＯＮ時の第２の光源軌跡Ｌ２（ＯＮ）は、光源として白色蛍光灯を用い、ストロボが届きにくいか、もしくは届かない状態における色分布を通るか、又は光源として白色蛍光灯を用い、ストロボが届きにくいか、もしくは届かない状態における色分布よりも第１の光源軌跡Ｌ１から離れた軌跡である。なお、本実施形態では、第１の光源軌跡Ｌ１を黒体軌跡とし、第２の光源軌跡Ｌ２を蛍光灯軌跡とした場合を例に挙げて説明するが、本発明はこれに限定されるものではない。すなわち、第１及び第２の光源軌跡は、目的や設計に応じて任意好適に選択でき、第２の光源軌跡としては、例えば、Ｒ／Ｇ、Ｂ／Ｇ色空間において第１の光源軌跡の下側に位置する光源軌跡を任意好適に選択できるのはいうまでもない。すなわち、本実施形態では、白色蛍光灯を光源とした場合の色分布に基づく第２の光源軌跡を用いる場合を例に挙げて説明したが、例えば、水銀灯の色分布を利用した光源軌跡を求めて用いてもよい。

図３及び図４に示すＲ／Ｇ、Ｂ／Ｇ色空間においては、黒体軌跡Ｌ１の各図における下側の離れた部分に白色蛍光灯の色情報が分布しており、蛍光灯軌跡Ｌ２は白色蛍光灯の色座標（図３の点Ｐ１）を通り、Ｒ／Ｇの値が小さくなるにつれて黒体軌跡Ｌ１から離れ、Ｒ／Ｇの値が大きくなると黒体軌跡Ｌ１に近づく曲線となっている。

検出枠Ｂ１は、この黒体軌跡Ｌ１と蛍光灯軌跡Ｌ２から上下（Ｂ／Ｇ軸）方向に広がる領域である。この検出枠Ｂ１の範囲は、ホワイトバランス制御を行う画像の色情報の分布に応じて経験的に設定される。なお、図３及び図４に示すように、ストロボＯＮ時の検出枠Ｂ１（ＯＮ）は、ストロボＯＦＦ時の検出枠Ｂ１（ＯＦＦ）より＋Ｒ／Ｇ側に延びている。

次に、検出枠Ｂ１内の色情報が読み込まれ（ステップＳ２０）、読み込まれた色情報のうち黒体軌跡Ｌ１の図３及び図４における上側、及び蛍光灯軌跡Ｌ２の同図中における下側に分布している色情報の補正が行われる（ステップＳ２２）。

図５は、黒体軌跡より上側に分布する色情報の補正方法を示す図である。まず、図５に示すように、黒体軌跡Ｌ１の上側に分布する色情報の座標をＰ１０（rg, bg）、これとＢ／Ｇ値が等しい黒体軌跡Ｌ１上の座標をＰ１１（rg_bk, bg）とすると、下記の式（１）により−Ｒ／Ｇ方向（図における左方向）の位置Ｐ１２（rg_bk’, bg）に移動される。ここで、パラメータαは約０．６〜０．９の範囲の値で、好ましくは約０．７である。

（１） rg_bk’ = rg - (rg - rg_bk)×α
図６は、蛍光灯軌跡より下側に分布する色情報の補正方法を示す図である。図６に示すように、蛍光灯軌跡Ｌ２の下側に分布している色情報の座標をＰ２０（rg, bg）、点Ｐ２０から蛍光灯軌跡Ｌ２に伸びる法線Ｌ３との交点をＰ２１（min_rg, min_bg）とすると、補正された色情報の座標Ｐ２２（min_rg’, min_bg’）は、下記の式（２）及び（３）により表される。なお、パラメータβ及びγは約０．９〜１．０の範囲の値で、好ましくは約１．０である。

（２） min_rg’ = rg + (min_rg - rg)×β
（３） min_bg’ = bg + (min_bg - bg)×γ
なお、上記式（１）〜（３）において、パラメータα、β及びγは、黒体軌跡乃至蛍光灯軌跡からの距離に応じて変化（例えば、両光源軌跡から遠いほど小さくなるように）してもよい。

次に、光源検出値（RG, BG）が算出される（ステップＳ２４）。ステップＳ２４においては、まず、ステップＳ２２において補正された色情報の分布から第１の色情報を、例えば、色情報の加重平均により算出する。続いて、図７に示すように、Ｒ／Ｇ、Ｂ／Ｇ色空間においてこの第１の色情報を示す点をＰ３０とすると、基準点Ｄ５０（ここでは、点（１，１）とする）の近傍の色分布から第２の色情報を、例えば、色情報の加重平均により算出することにより、光源検出値（RG, BG）が下記の式（４）及び（５）により算出される。

（４） RG = Σ_ixiWLi ／ Σ_i WLi
（５） BG = Σ_iyiWLi ／ Σ_i WLi
なお、式（４）及び（５）中のxi及びyiはそれぞれＲ／Ｇ信号およびＢ／Ｇ信号の値であり、WLiは重みである。図８は、重みWLiの値を示すグラフである。図８に示すように、重みWLiは、点Ｄ５０を中心として第１の色情報Ｐ３０と基準点Ｄ５０との距離ｄａｖｅを半径とする円Ｃ１内では１．０であり、円Ｃ１の外では基準点Ｄ５０から遠くなるほど小さくなる。

次に、ローワードコレクション係数Ｌｗが設定され（ステップＳ２６）、ホワイトバランス制御のためのゲインが算出される（ステップＳ２８）。以下、ホワイトバランス制御のためのゲインの算出方法について説明する。撮像装置１０にあらかじめ記録されている基準ゲイン（例えば、ストロボＯＦＦ時はＭ晴れのホワイトバランスゲイン）をRd、Gd、Bdとすると、完全補正するために必要なゲイン（すなわち、光源検出値（RG, BG）を基準点Ｄ５０に移動させるために必要なゲイン）gri_t, gbi_tは下記の式（６）及び（７）により表される。

（６） gri_t = Rd ／（Gd × RG）
（７） gbi_t = Bd ／（Gd × BG）
ゆえに、基準ゲインGdとレベルを合わせた１００％完全補正ゲインは、下記の式（８）〜（１０）により表される。

（８） Gr = gri_t × Gd = Rd ／ RG
（９） Gg = Gd
（１０） Gb = gbi_t × Gd = Bd ／ BG
そして、トータルゲインは以下の式（１１）〜（１３）により表される。なお、ローワードコレクション係数Ｌｗは、０〜１．０の範囲の値で光源検出値（RG, BG）と基準点Ｄ５０の距離に応じて規定される。このローワードコレクション係数Ｌｗ、及び光源検出値（RG, BG）と基準点Ｄ５０の距離との関係はＥＥＰＲＯＭ１７に規定されている。

（１１） Gr’ = (Gr - Rd) × Lw + Rd
（１２） Gg’ = (Gg - Gd) × Lw + Gd
（１３） Gb’ = (Gb - Bd) × Lw + Bd
また、ストロボＯＮ時のトータルゲインは、ストロボＯＮ用の基準ゲインRst, Gst, Bst、及びローワードコレクション係数Ｌｗｓｔに基づいて上記と同様に算出され、下記の式（１４）〜（１６）により表される。

（１４） Grst’ = (Gr - Rst) × Lwst + Rst
（１５） Ggst’ = (Gg - Gst) × Lwst + Gst
（１６） Gbst’ = (Gb - Bst) × Lwst + Bst
本実施形態によれば、第１及び第２の光源軌跡（黒体軌跡及び蛍光灯軌跡）を利用して画像中の色情報における物体色の影響を抑えて、この物体色の影響を抑えた色情報に基づいて光源検出を行うため、正確な光源検出を行うことができる。これにより、ホワイトバランス制御時におけるカラーフェリアを低減できる。

次に、本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態に係るホワイトバランス制御方法を示すフローチャートである。なお、ステップＳ４０〜Ｓ５４については、図２のステップＳ１０〜Ｓ２４と同様であるため説明を省略する。

ステップ５４の次にステップＳ５６において輝度評価値Ｌｗｙ及びローワードコレクション係数Ｌｗが設定される。なお、ローワードコレクション係数Ｌｗについては上記の実施形態と同様であるため説明を省略する。

図１０は、輝度評価値Ｌｗｙの算出方法を示すフローチャートである。まず、図９のステップＳ５４において算出された光源検出値（RG, BG）が取得される（ステップＳ７０）。そして、図１１に示すように、この光源検出値（RG, BG）から黒体軌跡Ｌ１に伸びる法線Ｌ４と黒体軌跡Ｌ１との交点の座標Ｐ４０（xp, yp）が算出される（ステップＳ７２）。

次に、ステップＳ７４以降において、ＥＥＰＲＯＭ１７にあらかじめ記憶されている輝度重み関数Ｗｙ及び点Ｐ４０のＲ／Ｇ座標ｘｐに基づいて輝度評価値ＬＷｙが算出される。

ここで、輝度重み関数Ｗｙについて説明する。輝度評価値ＬＷｙの算出に用いられる輝度重み関数Ｗｙは、撮影ボタン２４の半押し（Ｓ１＝ＯＮ）時に取得された画像の輝度値（Ｓ１測光値）によって異なっている。Ｓ１測光により得られる画像の各分割エリアの輝度値（ＥＶ値）をEviとすると、Ｓ１測光値（分割測光値）Evmltiは下記の式（１７）により算出される。

（１７） Evmlti = log₂(Σ_i wi×２^Evi / Σ_i wi) - △Eviso
ここで、△Evisoはｉｓｏ２００を基準した測光値補正量であり、重みwiは図１２により与えられる。図１２は、画像の分割エリア（８×８）であり、各分割エリア内の数字が重みwiである。

図１３は、輝度重み関数Ｗｙの例を示すグラフである。図１３（Ａ）〜（Ｈ）はＳ１測光値がそれぞれ８ＥＶ〜１５ＥＶの場合に用いる輝度重み関数である。図１３（Ａ）〜（Ｈ）には、それぞれ輝度重み関数Ｗｙの値がＲ／Ｇ座標に対応して８点図示されている。以下の説明では、図中の８点をＲ／Ｇ座標の昇順にE_WEV_RG1, E_WEV_RG2, …, E_WEV_RG8、これらに対応する輝度重み関数Ｗｙの値をWy1, Wy2, …, Wy8と記載する。

図１０のフローチャートの説明に戻ると、まず、ステップＳ７４において点Ｐ４０のＲ／Ｇ座標ｘｐが輝度重み関数ＷｙのＲ／Ｇ座標の最小値E_WEV_RG1未満の場合（xp ＜ E_WEV_RG1）、ＥＥＰＲＯＭ１７から画像のＳ１測光値に対応する輝度重み関数Ｗｙのテーブルが読み出されてWy1の値が取得され、ＬＷｙ＝Ｗｙ１となる（ステップＳ７６）。一方、ステップＳ７４において点Ｐ４０のＲ／Ｇ座標ｘｐが輝度重み関数ＷｙのＲ／Ｇ座標の最小値E_WEV_RG1以上の場合（xp ≧ E_WEV_RG1）、次いでステップＳ７８に進む。そして、ステップＳ７８において点Ｐ４０のＲ／Ｇ座標ｘｐが輝度重み関数ＷｙのＲ／Ｇ座標の最大値E_WEV_RG8以上の場合（xp ≧ E_WEV_RG8）、輝度重み関数ＷｙのテーブルからWy8の値が取得され、ＬＷｙ＝Ｗｙ８となる（ステップＳ８０）。

一方、ステップＳ７８において点Ｐ４０のＲ／Ｇ座標ｘｐが輝度重み関数ＷｙのＲ／Ｇ座標の最大値E_WEV_RG8未満の場合（E_WEV_RG1 ≦ xp ＜ E_WEV_RG8）、図１４に示すように８点E_WEV_RG1, E_WEV_RG2, …, E_WEV_RG8のうちＲ／Ｇ座標ｘｐを挟む点の座標E_WEV_RG(i), E_WEV_RG(i+1)が取得される（ステップＳ８２）。そして、この座標E_WEV_RG(i), E_WEV_RG(i+1)に対応する輝度重み関数Ｗｙ値Wy(i), Wy(i+1)が取得され（ステップＳ８４）、下記の式（１８）により輝度評価値ＬＷｙが算出される（ステップＳ８６）。

（１８） LWy = {(E_WEV_RG(i+1) - xp)×Wy(i) + (xp - E_WEV_RG(i))×Wy(i+1)}
／(E_WEV_RG(i+1) - E_WEV_RG(i))
そして、図９のフローチャートの説明に戻ると、次いでホワイトバランス制御のためのゲインが算出される（ステップＳ５８）。以下、ホワイトバランス制御のためのゲインの算出方法について説明する。図２のステップＳ２８と同様に、撮像装置１０にあらかじめ記録されている基準ゲインをRd、Gd、Bdとすると、トータルゲインは以下の式（１９）〜（２１）により表される。

（１９） Gr’ = (Gr - Rd)×(Lw×LWy) + Rd
（２０） Gg’ = (Gg - Gd)×(Lw×LWy) + Gd
（２１） Gb’ = (Gb - Bd)×(Lw×LWy) + Bd
また、ストロボＯＮ時のトータルゲインは、ストロボＯＮ用の基準ゲインRst, Gst, Bst、ローワードコレクション係数Ｌｗｓｔ、及び輝度評価値ＬＷｙｓに基づいて上記と同様に算出され、下記の式（２２）〜（２４）により表される。

（２２） Grst’ = (Gr - Rst)×(Lwst×LWys) + Rst
（２３） Ggst’ = (Gg - Gst)×(Lwst×LWys) + Gst
（２４） Gbst’ = (Gb - Bst)×(Lwst×Lwys) + Bst
本実施形態によれば、画像の輝度値（Ｓ１測光値）に応じた輝度重み関数を用いてホワイトバランス補正値（ホワイトバランスゲイン）の算出を行うため、ホワイトバランス制御時におけるカラーフェリアを低減できる。

次に、本発明の第３の実施形態について説明する。本実施形態においては、色情報の分布の加重平均値に基づいて光源検出値の算出（図２のステップＳ２４、及び図９のステップＳ５４）を行う。色分布のＲ／Ｇ座標及びＢ／Ｇ座標をそれぞれxi, yiとすると、色分布の加重平均値（Xave, Yave）は下記の式（２５）及び（２６）により表される。

（２５） Xave = Σ_ixiWi／Σ_i Wi
（２６） Yave = Σ_iyiWi／Σ_i Wi
図１５は、重みWiを示すグラフである。なお、Ｒ／Ｇ、Ｂ／Ｇ色空間において黒体軌跡より上側に分布する色情報に係る重みWiは黒体軌跡からの距離に応じて変化し、蛍光灯軌跡より下側に分布する色情報に係る重みWiは蛍光灯軌跡からの距離に応じて変化する。

ゆえに、基準点Ｄ５０（１，１）と加重平均値（Xave, Yave）との距離dave’（図７参照）は下記の式（２７）により表される。

（２７） dave’ = {(Xave - 1.0)² + (Yave - 1.0)²}^1/2
そして、本実施形態の光源検出値(XLSC,YLSC)は、下記の式（２８）及び（２９）により表される。なお、重みWLiは、上述の実施形態（式（４）、（５）及び図８）と同様である。

（２８） XLSC = Σ_ixiWiWLi／Σ_i WiWLi
（２９） YLSC = Σ_iyiWiWLi／Σ_i WiWLi
したがって、１００％完全補正ゲインは下記の式（３０）〜（３２）により表される。なお、トータルゲインについては上述の実施形態と同様である。

（３０） Gr = gri_t × Gd = Rd / XLSC
（３１） Gg = Gd
（３２） Gb = gbi_t × Gd = Bd / YLSC
本実施形態によれば、第１及び第２の光源軌跡（黒体軌跡や蛍光灯軌跡）に近い色情報にかける重みWiを大きくすることにより、光源検出の際の物体色の影響をより低減することができる。

本発明の一実施形態に係るホワイトバランス制御装置が適用された撮像装置を示すブロック図 本発明の第１の実施形態に係るホワイトバランス制御方法を示すフローチャート ストロボＯＦＦ用の検出枠、第１及び第２の光源軌跡をＲ／Ｇ、Ｂ／Ｇ色空間に示すグラフ ストロボＯＮ用の検出枠、第１及び第２の光源軌跡をＲ／Ｇ、Ｂ／Ｇ色空間に示すグラフ 黒体軌跡より上側に分布する色情報の補正方法を示す図 蛍光灯軌跡より下側に分布する色情報の補正方法を示す図 光源検出値を示す図 重みWLiを示すグラフ 本発明の第２の実施形態に係るホワイトバランス制御方法を示すフローチャート 輝度評価値Ｌｗｙの算出方法を示すフローチャート 光源検出値から黒体軌跡に伸びる法線を示す図 画像の分割エリアに係るＳ１測光時の重みの値を示す図 輝度重み関数Ｗｙの例を示すグラフ 輝度評価値ＬＷｙの算出方法を模式的に示す図 重みWiを示すグラフ

符号の説明

１０…撮像装置、１２…中央処理装置（ＣＰＵ）、１４…バス、１６…ＲＯＭ、１７…ＥＥＰＲＯＭ、１８…メモリ（ＳＤＲＡＭ）、２０…ＶＲＡＭ、２２…モード選択スイッチ、２４…撮影ボタン、２６…操作手段、２８…画像表示装置、３０…メディアソケット（メディア装着部）、３２…記録メディア、３４…メディアコントローラ、３６…ＵＳＢインターフェース部（ＵＳＢ Ｉ／Ｆ）、３８…カラーＣＣＤ固体撮像素子、４０…レンズユニット、４２…撮影レンズ、４４…絞り兼用メカシャッター、４６…レンズ駆動部、４８…絞り駆動部、５０…タイミングジェネレータ、５２…アナログ処理部（ＣＤＳ／ＡＭＰ）、５４…Ａ／Ｄ変換器、５６…画像入力コントローラ、５８…画像信号処理回路、６０…ビデオエンコーダ、６２…ＡＦ検出回路、６４…ＡＥ／ＡＷＢ検出回路、６６…圧縮伸張回路

Claims (13)

1. （ａ） 撮像素子を介して入力された画像を複数の分割エリアに分割して各分割エリアの色情報を取得するステップと、
   （ｂ） 所定の色空間上における色温度による物体の色変化の軌跡である光源軌跡に基づいて、前記色空間における前記複数の分割エリアの色情報の分布を補正するステップと、
   （ｃ） 前記ステップ（ｂ）において補正された色情報に基づいて撮影状況下の光源情報を取得するステップと、
   （ｄ） 前記ステップ（ｃ）において取得された光源情報に基づいてホワイトバランス補正値を算出するステップと、
   （ｅ） 前記ステップ（ｄ）において算出されたホワイトバランス補正値に基づいてホワイトバランスの制御を行うステップとを備え、
   前記ステップ（ｂ）において、前記光源軌跡は、光源の色温度を変化させたときの物体の色変化を示す第１の光源軌跡及び該第１の光源軌跡とは異なる第２の光源軌跡であり、前記第１及び第２の光源軌跡の間に挟まれない位置に分布する色情報を、前記第１及び第２の光源軌跡のうちいずれか近い方に近づけることを特徴とするホワイトバランス制御方法。
2. 前記ステップ（ｂ）において、前記第１及び第２の光源軌跡の間に挟まれる位置に分布する色情報は補正しないことを特徴とする請求項１記載のホワイトバランス制御方法。
3. 撮像素子を介して入力された画像を複数の分割エリアに分割して各分割エリアの色情報を取得する色情報取得手段と、
   所定の色空間上における色温度による物体の色変化の軌跡である光源軌跡に基づいて、前記色空間における前記複数の分割エリアの色情報の分布を補正する色情報補正手段と、
   前記補正された色情報に基づいて撮影状況下の光源情報を取得する光源情報取得手段と、
   前記取得された光源情報に基づいてホワイトバランス補正値を算出するホワイトバランス補正値算出手段と、
   前記算出されたホワイトバランス補正値に基づいてホワイトバランスを調整するホワイトバランス調整手段とを備え、
   前記光源軌跡は、光源の色温度を変化させたときの物体の色変化を示す第１の光源軌跡及び該第１の光源軌跡とは異なる第２の光源軌跡であり、
   前記色情報補正手段は、前記第１及び第２の光源軌跡の間に挟まれない位置に分布する色情報を、前記第１及び第２の光源軌跡のうちいずれか近い方に近づけることを特徴とするホワイトバランス制御装置。
4. 前記色情報補正手段は、前記第１及び第２の光源軌跡の間に挟まれる位置に分布する色情報は補正しないことを特徴とする請求項３記載のホワイトバランス制御装置。
5. 前記第２の光源軌跡は、光源として白色蛍光灯を用いた場合の色分布を通るか、又は該色分布よりも前記第１の光源軌跡から離れた光源軌跡であることを特徴とする請求項３又は４記載のホワイトバランス制御装置。
6. 前記第２の光源軌跡は、Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より下側に位置することを特徴とする請求項３から５のいずれか１項記載のホワイトバランス制御装置。
7. 前記色情報取得手段は、前記分割エリアにおける前記色情報のＲ，Ｇ，Ｂ信号の積算値を算出してＲ／Ｇ比及びＢ／Ｇ比を算出し、
   前記色情報補正手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より上側に分布する色情報を前記第１の光源軌跡寄りに移動させ、前記第２の光源軌跡より下側に分布する色情報を前記第２の光源軌跡寄りに移動させることを特徴とする請求項３から６のいずれか１項記載のホワイトバランス制御装置。
8. 前記色情報補正手段は、前記Ｒ／Ｇ、Ｂ／Ｇ色空間において、前記第１の光源軌跡より上側に分布する色情報をＲ／Ｇ方向に前記第１の光源軌跡に近づけ、前記第２の光源軌跡より下側に分布する色情報を前記第２の光源軌跡の法線方向に近づけることを特徴とする請求項７記載のホワイトバランス制御装置。
9. 前記色情報補正手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間における前記第１又は第２の光源軌跡と前記色情報の距離に応じて、前記色情報の補正量を変更することを特徴とする請求項３から８のいずれか１項記載のホワイトバランス制御装置。
10. 前記光源情報取得手段は、Ｒ／Ｇ、Ｂ／Ｇ色空間における前記補正された色情報の分布から第１の色情報を算出し、前記第１の色情報のＲ／Ｇ、Ｂ／Ｇ色座標に基づいて前記光源情報を取得することを特徴とする請求項３から９のいずれか１項記載のホワイトバランス制御装置。
11. 前記光源情報取得手段は、前記Ｒ／Ｇ、Ｂ／Ｇ色空間における基準点を中心として、前記基準点と前記第１の色情報を結ぶ線分を半径とする円内に分布する色情報の分布から算出される第２の色情報を光源検出値とすることを特徴とする請求項１０記載のホワイトバランス制御装置。
12. 前記光源情報取得手段は、前記第１又は第２の色情報の算出を色情報の加重平均により行うことを特徴とする請求項１０又は１１記載のホワイトバランス制御装置。
13. 請求項３から１２のいずれか１項記載のホワイトバランス制御装置を備えることを特徴とする撮像装置。

Images