JP3849216B2

JP3849216B2 - Imaging device

Info

Publication number: JP3849216B2
Application number: JP07811397A
Authority: JP
Inventors: 功松舟
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-02
Filing date: 1997-03-28
Publication date: 2006-11-22
Anticipated expiration: 2017-03-28
Also published as: JPH10276443A

Description

【０００１】
【発明の属する技術分野】
本発明はカラー撮像装置に関し、特にホワイトバランス動作に関するものである。
【０００２】
【従来の技術】
一般にカラー画像撮像装置では、ホワイトバランスという動作が行なわれる。これは、画面全体が白色となる基準被写体を撮影している状態で、撮影信号としてのＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくする調整動作である。
即ちホワイトバランスアンプとしてＲ信号、Ｇ信号、Ｂ信号のそれぞれに対するゲイン可変アンプを設け、各ゲイン可変アンプの利得調整を行なうことで、ホワイトバランスアンプの出力段階でのＲ信号、Ｇ信号、Ｂ信号の出力レベルが同等となるようにする。
【０００３】
そして、このようなホワイトバランス動作を自動化したオートホワイトバランス動作（以下、ＡＷＢ動作という）が知られている。
これは、基準被写体を撮影している状態でホワイトバランスアンプの出力としてのＲ信号、Ｇ信号、Ｂ信号を監視し、例えばＧ信号レベルに対してＲ信号及びＢ信号が同一レベルとなるようにＲ信号、Ｂ信号に対するゲイン可変アンプの利得をフィードバック調整するものである。
【０００４】
このＡＷＢ動作は、その撮像装置においてＡＷＢ機能を起動させた時だけ実行され、その後はＡＷＢ動作によるゲイン可変アンプの制御値が保持されるものであるが、被写体に追従して常時ホワイトバランス動作を行なう機能として、オートトレーシングホワイトバランス（以下、ＡＴＷ動作）という動作が開発されている。
【０００５】
このＡＴＷ動作としての基本動作はＡＷＢ動作と同様であるが、通常の撮影動作時には当然ながら全白色の基準被写体ではないため、常に全ての被写体に追従して動作させると、誤動作となる可能性が高い。例えば色のついた被写体が白になるように調整を行なってしまうこともある。
このため、予め自然界において現実的にホワイトバランスがとれるときのＲ信号ゲイン（即ちＲチャンネルのホワイトバランス制御値）とＢ信号ゲイン（即ちＢチャンネルのホワイトバランス制御値）の組み合わせを考え、その組み合わせの中に該当する場合だけＡＴＷ動作が実行されるようにしている。
【０００６】
ここで言う組み合わせを具体的に示すと、例えば図１２のＢ信号ゲインとＲ信号ゲインの座標上で斜線部となる領域となり、これをＡＴＷ制御領域と呼ぶこととする。
黒体放射カーブを撮像装置のホワイトバランスアンプの特性に合わせて、図１２のＢ信号ゲインとＲ信号ゲインの座標上に表わすと、図中破線で示すようになり、ＡＴＷ制御領域は一般的には、黒体放射カーブの近傍領域となる。
なお、図１２ではＢ信号ゲインとＲ信号ゲインのそれぞれを８ビットであらわし、座標中心でのゲイン値は（１２８，１２８）としている。
【０００７】
【発明が解決しようとする課題】
ところでＡＴＷ制御領域は、Ｂ信号ゲインとＲ信号ゲインにそれぞれの中間値（図１２でいうゲイン値１２８）を設定した状態で、ＸＹ色度図で規定された基準光源を撮影したとき、ホワイトバランスアンプ出力でＲ，Ｇ，Ｂ各チャンネルのレベルが等しくなるような場合に正しい効果が得られるように設定されている。
【０００８】
しかしながら現実にはそのような状態は稀であり、このため従来は、基準光源を撮影した状態でホワイトバランスアンプ前段の可変抵抗（例えば半固定ボリューム）を操作し、Ｒチャンネル信号レベルとＢチャンネル信号レベルがＧチャンネル信号レベルに等しくなるように調整を行なっていた。
【０００９】
このような調整は調整工程において作業者が手動で行なうことになるため、誤差が生じ易く、厳密な調整が困難であった。このため本来のＡＴＷ動作性能が発揮されないということもあった。また手動調整のために調整に手間と時間がかかり、工程の能率化を妨げていた。
さらに、調整後において何らかの原因で可変抵抗の設定がずれてしまったような場合は、再調整は困難であり、この場合も本来のＡＴＷ動作性能が発揮されないことになる。
【００１０】
【課題を解決するための手段】
本発明はこのような問題点に鑑みて、ＡＴＷ動作のためのＡＴＷ制御領域の設定及び補正を自動化し、工程の能率化とともにＡＴＷ動作性能の向上を実現することを目的とする。
【００１１】
このため、基準被写体の撮影を行なったときに得られるカラー撮像信号の少なくとも１つに対するホワイトバランスアンプのゲインを調整し、各カラー撮像信号の出力レベルが等しくなるようにするホワイトバランス調整動作を実行させることができるホワイトバランス制御手段を有し、このホワイトバランス制御手段は、カラー撮像信号から算出される、ホワイトバランスアンプに対するゲイン制御値を、設定された所定のホワイトバランス制御領域（ＡＴＷ制御領域）と比較し、その比較結果に応じてホワイトバランス調整動作を実行させるようにする。
特に、１又は複数のカラー撮像信号から算出されるホワイトバランスアンプに対するゲイン制御値を、設定された所定のホワイトバランス制御領域と比較し、ゲイン制御値がホワイトバランス制御領域内に該当する場合にのみ、そのゲイン制御値によりホワイトバランスアンプのゲインを制御するホワイトバランス調整動作を実行させる。
そして、ホワイトバランス制御領域は、可変操作を可能としたり、１回又は複数回の過去のホワイトバランス調整動作の際のゲイン調整値に応じて補正される用にする。
これにより、逐次必要に応じてホワイトバランス制御領域の調整を行なうことを可能とするとともに、過去の動作状況に応じた自動調整を可能とする。
【００１２】
またホワイトバランス制御手段は、基準被写体の撮影を行なったときに得られるカラー撮像信号の少なくとも１つに対するホワイトバランスアンプのゲインを制御し、各カラー撮像信号の出力レベルが等しくなるようにする第１のホワイトバランス調整動作（ＡＷＢ動作）の実行制御と、撮影時に、被写体のカラー撮像信号から算出されるゲイン制御値が、設定されたホワイトバランス制御領域（ＡＴＷ制御領域）内に該当する場合に、カラー撮像信号の少なくとも１つに対するホワイトバランスアンプのゲインを制御する第２のホワイトバランス調整動作（ＡＴＷ動作）の実行制御を行うようにする。
即ち、第１のホワイトバランス動作の結果から、ＡＴＷ動作としての効果を最大限に発揮できるホワイトバランス制御領域としてのオフセット量を算出し、ホワイトバランス制御領域をシフトさせる。これによって半固定抵抗等による調整作業を不要とした上でＡＴＷ動作が好適に実行できるようにする。
【００１３】
また、ホワイトバランス制御手段は、第１のホワイトバランス調整動作の際のゲイン調整値に応じて第２のホワイトバランス調整動作の実行基準となるホワイトバランス制御領域の補正を行なう。またこの補正は、複数回の第１のホワイトバランス調整動作によるゲイン調整値を記憶し、各ゲイン調整値の分布に応じて実行する。
例えば記憶したゲイン調整値の中から好適なサンプルを抽出して平均をとり、その平均値からホワイトバランス制御領域の補正値を得る。
即ち、ホワイトバランス制御領域の補正に学習機能を与える。
【００１４】
【発明の実施の形態】
以下、図１〜図８により本発明の撮像装置の実施の形態を説明する。
図１に撮像装置の内部構成を示す。
撮像素子としては、Ｒ，Ｇ，Ｂの３原色に対応してＣＣＤ素子部１Ｒ，１Ｇ，１Ｂが設けられている。各ＣＣＤ素子部１Ｒ，１Ｇ，１Ｂは、図示しないレンズ系から導入された撮影光が結像されるＣＣＤ基板平面上に所定の規則で配列され、２次元のイメージ領域を形成しているものである。
【００１５】
各ＣＣＤ素子部１Ｒ，１Ｇ，１Ｂからの赤信号Ｒ、緑信号Ｇ、青信号Ｂは、それぞれプリアンプ２Ｒ，２Ｇ，２Ｂで増幅された後、サンプルホールド／利得調整回路３Ｒ，３Ｇ，３Ｂにおいて、サンプル／ホールド処理され、さらに利得調整、フレア、プリニー補正等が行なわれる。
【００１６】
サンプルホールド／利得調整回路３Ｒ，３Ｇ，３Ｂの出力はそれぞれホワイトバランスアンプ５を構成するゲイン可変アンプ５Ｒ，５Ｇ，５Ｂに供給されるが、Ｒ信号については半固定抵抗４Ｒ、Ｂ信号については半固定抵抗４Ｂを介して供給される。
【００１７】
半固定抵抗４Ｒ、４Ｂは、いわゆるＡＴＷ動作のために、ゲイン可変アンプ５Ｒ，５ＢにおけるＲ信号ゲインとＧ信号ゲインが中間値とされた状態で、ＸＹ色度図で規定された基準光源を撮影したとき、ゲイン可変アンプ５Ｒ，５Ｇ，５Ｂの出力時点でＲ，Ｇ，Ｂ各チャンネルのレベルが等しくなるように調整するものであり、前述したように従来においてはこの半固定抵抗４Ｒ、４Ｂの調整の必要により各種問題が生じていた。
【００１８】
図１の構成では半固定抵抗４Ｒ、４Ｂが設けられているが、後述するＡＴＷ制御領域の補正動作により本例においてはＡＴＷ動作のために半固定抵抗４Ｒ、４Ｂを厳密に調整する必要はなく、従って半固定抵抗４Ｒ、４Ｂは或る程度大まかに調整するだけでよい。もしくは半固定抵抗４Ｒ、４Ｂは設けないようにしてもよいものである。
【００１９】
ホワイトバランスアンプ５では、ゲイン可変アンプ５Ｒ，５Ｂのゲインが調整されることで、ゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力時点でのＲ，Ｇ，Ｂ信号についてのホワイトバランスが調整される。
ゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力は、アンプ６Ｒ，６Ｂ，６Ｇを介してエンコーダ７に供給される。またゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力は、Ａ／Ｄ変換器１７を介してコントローラ１２にも供給される。このためコントローラ１２はゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力段階でのＲ，Ｇ，Ｂ各信号の信号レベルを検出できる。
【００２０】
エンコーダ７は、入力された赤信号Ｒ、緑信号Ｇ、青信号Ｂに対してガンマ補正、ニー補正などの処理を行ない、これらの処理が施された赤信号Ｒ、緑信号Ｇ、青信号Ｂに対するマトリクス処理により赤信号Ｒ、緑信号Ｇ、青信号Ｂから輝度信号Ｙ及び色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し、さらに例えばＮＴＳＣエンコード処理を行なってＮＴＳＣ方式のカラーコンポジット映像信号とし、これを端子８から撮影された映像信号として出力する。
【００２１】
また、撮影画像はビューファインダー１１でカメラマンが確認できるようにされるが、このためエンコーダ７からは、例えば輝度信号Ｙ及び色差信号Ｒ−Ｙ，Ｂ−Ｙの形態の映像信号が合成回路９を介してドライブ回路１０に供給され、ビューファインダー１１における撮影画像のモニタ表示出力を実行させる。
これにより撮像装置を使用するカメラマンは、ビューファインダー１１から撮影されている映像を確認することができる。
【００２２】
コントローラ１２はマイクロコンピュータによって形成され、操作部１６からの各種操作や動作プログラムに応じて装置全体に対しての各種動作制御を行なう。本例においてはコントローラ１２はホワイトバランス制御としてＡＷＢ動作、及びＡＴＷ動作に関する制御を行なう。
【００２３】
また、コントローラ１２はキャラクタジェネレータ１３に対してビューファインダー１１内に撮影モニタ画像に重畳して出力する各種キャラクタ映像を出力させることができる。キャラクタジェネレータ１３で発生されたキャラクタ映像は合成回路９によりエンコーダ７からのモニタ画像信号に重畳されてドライブ回路１０に供給されることで、ビューファインダー１１における撮影画像のモニタ表示とともにキャラクタ表示が実行される。
例えば動作状態表示やモード表示その他のカメラマンに対して、伝えるべき情報をキャラクタ表示により実行させることになる。
【００２４】
ホワイトバランス調整に関しては、コントローラ１２がゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力レベルとしてのＲ，Ｇ，Ｂ各信号の信号レベルを検出し、それに応じてゲイン可変アンプ５Ｒ，５Ｇのゲインを調整するフィードバック制御系が構成されている。つまりコントローラ１２はゲイン可変アンプ５Ｒ，５Ｇのゲイン制御値をＤ／Ａ変換器１５を介してゲイン可変アンプ５Ｒ，５Ｇに供給し、ゲイン可変アンプ５Ｒ，５Ｇのゲインを可変制御する。この制御系によりＡＷＢ動作及びＡＴＷ動作が実現される。
【００２５】
即ちＡＷＢ動作としては、画面全体が白となる基準被写体を撮影している状態でコントローラ１２がゲイン可変アンプ５Ｒ，５Ｂ，５Ｇの出力としてのＲ信号、Ｇ信号、Ｂ信号のレベルを監視する。そしてＧ信号レベルに対してＲ信号及びＢ信号が同一レベルとなるようなＲ信号、Ｂ信号に対するゲイン可変アンプ５Ｒ，５Ｂの利得を算出し、それをゲイン制御値をＤ／Ａ変換器１５を介してゲイン可変アンプ５Ｒ，５Ｇに供給することで、ホワイトバランスアンプ５の出力としてのＲ信号、Ｇ信号、Ｂ信号のレベルを同一レベルとする。
メモリ１４はコントローラ１２の処理に必要な各種データの格納が行なわれるほか、本例においてはこのようなＡＷＢ動作によるゲイン制御値を記憶しておく。
【００２６】
また被写体に追従して常時ホワイトバランス調整を行なう機能としてのＡＴＷ動作としては、基本的にＡＷＢ動作と同様のフィードバック制御行なうが、色のついた被写体などに対しても常に動作させることは適当ではないので、コントローラ１２は自然界において現実的にホワイトバランスがとれるときのＲ信号ゲイン（即ちゲイン可変アンプ５Ｒに対するゲイン制御値）とＢ信号ゲイン（即ちゲイン可変アンプ５Ｂに対するゲイン制御値）の組み合わせに基づいて、ＡＴＷ制御領域を設定している。例えば図４（ａ）のように黒体放射カーブを撮像装置のホワイトバランスアンプの特性に合わせて、Ｂ信号ゲインとＲ信号ゲインの座標上に表わすと、図中破線で示すようになり、ＡＴＷ制御領域は、斜線部で示す黒体放射カーブの近傍領域としている。
【００２７】
ＡＴＷ制御領域は、基本的にはＢ信号ゲインとＲ信号ゲインにそれぞれの中間値（図４（ａ）の８ビット表現におけるゲイン値１２８）を設定した状態で基準光源を撮影したとき、ホワイトバランスアンプ出力でＲ，Ｇ，Ｂ各チャンネルのレベルが等しくなるような場合に正しい効果が得られるように設定されるものであるため、ＡＴＷ制御領域は座標中心（１２８，１２８）を中心に黒体放射カーブに沿った領域となる。
【００２８】
このことから基本的にはＡＴＷ動作の本来の効果を得るためにはゲイン可変アンプ５Ｒ，５Ｂのゲイン値が１２８である必要があるが、実際には最初にＡＷＢ動作を行なった後の時点でゲイン可変アンプ５Ｒ，５Ｂのゲイン値が中間値１２８となっていることは稀であり、このため従来は半固定抵抗４Ｒ，４Ｂの調整が必要なものであったところ、本例ではＡＷＢ動作の結果に応じてＡＴＷ制御領域を補正することで、半固定抵抗４Ｒ，４Ｂの調整を不要（もしくは半固定抵抗４Ｒ，４Ｂそのものを不要）としたうえで、ＡＴＷ動作が適切に実行されるようにしている。
このような動作について説明していく。
【００２９】
撮像装置の製造工程の最終段階である調整工程において、まずＡＷＢ動作を実行させる。即ち基準光源を撮影した状態で上記のＡＷＢ動作を起動し、ゲイン可変アンプ５Ｒ，５Ｂのゲインを調整する。
このＡＷＢ動作が終った状態で、ホワイトバランスアンプ５の出力段階でのＲ，Ｇ，Ｂ各信号のレベルは等しくなる。
【００３０】
本例におけるＡＴＷ動作に関しては、ＡＷＢ動作の結果に応じてＡＴＷ制御領域が補正されるものであるが、このために、調整工程においてＡＷＢ動作を行った場合は、後のＡＴＷ動作において、ＡＴＷ制御領域の補正が実行されるようにする処理が必要となる。
このためにコントローラ１２は、ＡＷＢ動作が終った段階で、キャラクタジェネレータ１３を制御することにより、例えば図３のようなメニュー表示をビューファインダー１１において実行させる。この『ＡＴＷＡＤＪ』という表示が、ＡＴＷ動作を起動させる前段階で必要となるＡＷＢ動作の結果データの保持のための操作メニューである。
【００３１】
この『ＡＴＷＡＤＪ』という操作メニューが選択されると、その前のＡＷＢ動作で設定されたゲイン可変アンプ５Ｒ，５Ｂのゲイン値が、メニュー内に表示されるとともに、ゲインＲａｄｊ、Ｂａｄｊとしてメモリ１４に記憶される。
図３ではＲゲインは１３１、Ｂゲインは１２８とされているが、これはＡＷＢ動作によりＲゲインが中間値である１２８より３レベル上げられた状態に調整されており、一方、Ｂゲインについては中間値１２８でＯＫであったことを意味する。
このようにＡＷＢ調整結果としてのＲゲイン、Ｂゲインの値をメモリ１４に保持することで、その後のＡＴＷ動作においてＡＴＷ制御領域の補正機能が良好に働くことになる。
【００３２】
なお、調整工程におけるＡＷＢ動作の後に、『ＡＴＷＡＤＪ』という操作メニューが選択されることによりＡＷＢ結果によるゲインＲａｄｊ、Ｂａｄｊがメモリ１４に記憶されるようにしているが、例えばユーザー使用段階でＡＷＢ動作が行われた場合も、『ＡＴＷＡＤＪ』の選択により、そのときのＡＷＢ結果によるゲインＲａｄｊ、Ｂａｄｊがメモリ１４に記憶される（メモリ１４でのゲインＲａｄｊ、Ｂａｄｊの値が更新される）。
即ちＡＴＷ動作におけるＡＴＷ制御領域補正は、それより前の時点であって『ＡＴＷＡＤＪ』という操作メニューでＡＷＢ結果がメモリ１４に取り込まれたＡＷＢ動作に応じて、実行されることになる。
【００３３】
出荷前の調整工程やユーザーの操作などにより、少なくとも１回以上のＡＷＢ動作が行われ、そのＡＷＢ結果によるゲインＲａｄｊ、Ｂａｄｊがメモリ１４に記憶された状態において、本例におけるＡＴＷ動作は正確に機能されることになる。もちろん、ＡＴＷ動作は調整工程の際やユーザー使用時などにおいて任意の時点で起動させることができる。
【００３４】
以下、本例におけるＡＴＷ動作例について説明していく。
操作部１６に設けられているＡＴＷ起動スイッチが押されると、コントローラ１２はＡＴＷ動作を起動させる。つまり、コントローラ１２は図２の処理を開始し、まずステップF101として、Ａ／Ｄ変換器１７を介して各ゲイン可変アンプ５Ｒ，５Ｇ，５Ｂの出力段階でのＲ，Ｇ，Ｂ各信号を取り込み、そのレベルを検出する。
そしてＡＷＢ動作の場合と同様に、ステップF102でＲ，Ｇ，Ｂ各信号のレベルからゲイン可変アンプ５Ｒ，５Ｂのゲイン調整のための制御値Ｒ_GAIN，Ｂ_GAINを算出する。
【００３５】
ここで、ステップF103ではメモリ１４に記憶されているゲインＲａｄｊ、Ｂａｄｊのそれぞれについて、中間値からのオフセット分を算出し、それに応じて図４（ａ）のように設定されていたＡＴＷ制御領域を補正する。
この場合、ゲインＲａｄｊ＝１３１であり、Ｒゲインについての中間値１２８からのオフセット量は３である。一方、ゲインＢａｄｊ＝１２８であり、Ｂゲインについての中間値１２８からのオフセット量は０である。
このため、ＡＴＷ制御領域はＲ軸方向に３レベルだけシフトさせることになり、ＡＴＷ制御領域は図４（ｂ）のようになる。
【００３６】
このようにＡＴＷ制御領域を補正したら、ステップF104ではステップF102で算出した制御値Ｒ_GAIN，Ｂ_GAINの組み合わせが、補正後のＡＴＷ制御領域内に含まれるものであるか否かを判別する。
そして含まれなければ、そのときの制御値Ｒ_GAIN，Ｂ_GAINを算出した際の被写体はホワイトバランス調整に適した被写体ではないとされ、従ってゲイン可変アンプ５Ｒ，５Ｂのゲイン調整は行なわない。
一方、ＡＴＷ制御領域内に含まれていれば、ステップF105に進み、制御値Ｒ_GAIN，Ｂ_GAINによるゲイン可変アンプ５Ｒ，５Ｂのゲイン調整を実行する。
【００３７】
以上のような動作を行なう本例では、その際のＡＷＢ動作による調整値に応じてＡＴＷ制御領域が補正されるため、特に半固定抵抗４Ｒ，４Ｂによる調整を行なってゲイン可変アンプ５Ｒ，５Ｂのゲインを中間値にあわせこむようなことをしなくても、ＡＴＷ動作が正しく実行されることになる。
【００３８】
なお上記例ではＡＴＷ制御領域をＲゲイン軸方向にシフトさせた例を述べたが、ＡＷＢ動作においてＢゲインに中間値からのオフセットが加わった場合は、ＡＴＷ制御領域をそのオフセット分だけＢゲイン軸方向にシフトさせることはいうまでもない。もちろんＲゲイン軸方向とＢゲイン軸方向の両方にシフトさせる場合もある。
また、図２の処理例では、ステップF103の処理はＡＴＷ動作中においてＲ、Ｇ、Ｂ各チャンネルのビデオレベルが取り込まれる（ステップF101）毎に実行されるようにしているが、連続した１回のＡＴＷ動作中においてゲインＲａｄｊ、Ｂａｄｊの値が変更されることがないとすればステップF103の処理をステップF101よりも前のＡＴＷ起動時に実行し、その際にシフトさせた制御領域の範囲を記憶しておくようにして、ビデオレベル取込毎に実行されるループ処理（F101〜F105）からはずすようにしてもよい。
【００３９】
ところで、本例では手動によってＡＴＷ制御領域の変更を行なうこともできるようにされている。これにより例えば仮に基準光源そのものがずれているような場合に、その特性を色彩色度計で測定し、得られたＸ，Ｙの値をＲゲイン，Ｂゲインのオフセット量に変換して設定することが可能となる。もちろんそれ以外にも何らかの原因でＡＴＷ制御領域の設定が適当でなくなった場合に、簡単に最適状態に補正することが可能となる。
【００４０】
このための動作としては、例えば図３に示したようなメニュー表示において、使用者が操作部１６からの操作でＲゲイン値、Ｂゲイン値を変更できるようにする。
例えば図５（ａ）は使用者がＲゲイン値の変更操作を行ない、Ｒゲイン値を１３５とし、さらに続いて図５（ｂ）のように使用者がＢゲイン値の変更操作を行ない、Ｂゲイン値を１３０としたとする。
これに応じてコントローラ１２はゲインＲａｄｊ＝１３５、ゲインＢａｄｊ＝１３０としてメモリ１４に記憶する。
【００４１】
この後、操作部１６のＡＴＷ起動スイッチが押され、ＡＴＷ動作が起動される場合は、コントローラ１２は上述した図２の処理を開始することになるが、このときはステップF103のＡＴＷ制御領域の補正動作として、ゲインＲａｄｊ＝１３５、ゲインＢａｄｊ＝１３０についての中間値１２８からのオフセット分を算出し、それに応じてＡＴＷ制御領域をシフトさせることになる。つまりＡＴＷ制御領域は図６のように補正され、これに基づいてステップF104でＡＴＷ動作の実行が判断されることになる。
【００４２】
ところで以上の各動作は撮像装置の製造時や調整時、もしくはユーザー使用時において、ＡＷＢ動作の際の結果としての（もしくは手動調整結果としての）ゲインＲａｄｊ、ゲインＢａｄｊをメモリ１４に取り込むことで、ＡＴＷ動作時にそのゲインＲａｄｊ、ゲインＢａｄｊを用いたＡＴＷ制御領域の補正動作が行われるようにしているが、このような補正動作に関する処理を応用することで通常使用時のＡＴＷ動作（ＡＴＷ制御領域の補正動作）に学習機能を持たせることができる。
一般にはユーザーは、ＡＷＢ動作とＡＴＷ動作を併用することが考えられるので、コントローラ１２はＡＷＢ動作が起動されるたびに、その調整によるＲゲインＲａｄｊ、ＢゲインＢａｄｊをメモリ１４に記憶していくようにする。
そして例えば過去１０回のＡＷＢ動作におけるＲゲインＲａｄｊ、ＢゲインＢａｄｊの値を、（Ｒａｗｂ［１］，Ｂａｗｂ［１］）、（Ｒａｗｂ［２］，Ｂａｗｂ［２］）、（Ｒａｗｂ［３］，Ｂａｗｂ［３］）・・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）として蓄積するようにする。
【００４３】
なおここで説明に用いる（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）はゲインＲａｄｊ、ゲインＢａｄｊの値を保持するレジスタ（メモリ１４内の記憶領域もしくはアドレス）としてのイメージとする。即ち最新のＡＷＢ動作で得られたゲインＲａｄｊ、ゲインＢａｄｊの値は、レジスタ（Ｒａｗｂ［１］，Ｂａｗｂ［１］）に記憶されるとともに、それまでレジスタ（Ｒａｗｂ［１］，Ｂａｗｂ［１］）に保持されていた値は、レジスタ（Ｒａｗｂ［２］，Ｂａｗｂ［２］）にシフトされて保持される。このようなシフト記憶形態がとられることで、メモリ１４には、レジスタ（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）として、常に最新のＡＷＢ動作から数えて過去１０回のＡＷＢ動作におけるゲインＲａｄｊ、ゲインＢａｄｊの値が保持されることになる。
【００４４】
そしてＡＴＷ動作が起動された際は、コントローラ１２は図７の処理を実行する。なおこの図７の処理におけるステップF201,F202,F204,F205 の処理は図２のステップF101,F102,F104,F105 の処理と同様であるため説明を省略する。
この場合も、ステップF203でＡＴＷ制御領域の補正を行なうわけであるが、その補正動作としては、まずメモリ１４に記憶されている過去１０回のＡＷＢ動作にかかるＲゲインＲａｄｊ、ＢゲインＢａｄｊの値、即ち（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）を確認する。そして、各組み合わせの分布状態を確認し、サンプル値として適切な組み合わせを抽出する。そして抽出されたサンプル値を用いてＡＴＷ制御領域の補正のための値を得る。この補正値に基づいてＡＴＷ制御領域をＲゲイン軸方向及び／又はＢゲイン軸方向にシフトさせるものである。
【００４５】
ステップF203の処理をより詳細に示したものが図８のフローチャートである。この図８のフローチャートと、図９、図１０を参照しながら、ステップF203でのＡＴＷ制御領域の補正動作の具体例を説明していく。
【００４６】
図４（ａ）で前述したように、ＡＴＷ制御領域は、基本的にはＢ信号ゲインとＲ信号ゲインにそれぞれの中間値（８ビット表現におけるゲイン値１２８）を設定した状態で、ＸＹ色度図で規定された基準光源を撮影したとき、ホワイトバランスアンプ出力でＲ，Ｇ，Ｂ各チャンネルのレベルが等しくなるような場合に正しい効果が得られるように設定されるものである。
図４（ａ）と同様のＡＴＷ制御領域、即ち図７の動作に関して補正前のＡＴＷ制御領域を図９（ａ）に示すが、斜線部として示すＡＴＷ制御領域は座標中心（１２８，１２８）を中心に黒体放射カーブに沿った領域となる。
このような最初に設定されるＡＴＷ制御領域としては、撮影時の照明の色温度が３２００Ｋとし、その状態でＲ信号ゲイン、Ｂ信号ゲインの制御値の中心が（１２８，１２８）とされるとする。
【００４７】
実際に学習機能により図７のステップF203の動作が行われる際に、例えばその時点から過去１０回のＡＷＢ動作でのＲゲインＲａｄｊ、ＢゲインＢａｄｊの値（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）が、次のような値であったとする。
Ｓ１：（Ｒａｗｂ［１］，Ｂａｗｂ［１］）＝（１２７，１２７）
Ｓ２：（Ｒａｗｂ［２］，Ｂａｗｂ［２］）＝（１２９，１２６）
Ｓ３：（Ｒａｗｂ［３］，Ｂａｗｂ［３］）＝（１４４，１０３）
Ｓ４：（Ｒａｗｂ［４］，Ｂａｗｂ［４］）＝（２４１，２００）
Ｓ５：（Ｒａｗｂ［５］，Ｂａｗｂ［５］）＝（１２０，１３０）
Ｓ６：（Ｒａｗｂ［６］，Ｂａｗｂ［６］）＝（１２３，１３４）
Ｓ７：（Ｒａｗｂ［７］，Ｂａｗｂ［７］）＝（１４２，１１９）
Ｓ８：（Ｒａｗｂ［８］，Ｂａｗｂ［８］）＝（１０８，１１８）
Ｓ９：（Ｒａｗｂ［９］，Ｂａｗｂ［９］）＝（１２１，１４６）
Ｓ１０：（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）＝（１２７，１２９）
【００４８】
図１０は、図９（ａ）の座標中心近辺を拡大したものであるが、これらの過去１０回のＡＷＢ動作時の値Ｓ１〜Ｓ１０は、座標上では図１０に示すように分布することになる。
この分布状態から、明らかに色温度３２００Ｋとはかけ離れた照明条件においてＡＷＢ動作が実行されたケースが観測されるが、本例ではそのようなものを除外し、色温度３２００Ｋ前後の照明条件においてＡＷＢ動作が実行されたものを抽出する。色温度３２００Ｋ前後の照明条件下でのＡＷＢ動作に該当するものを、座標中心（１２８，１２８）から、Ｒゲイン軸及びＢゲイン軸方向にそれぞれ±８段階以内の領域と設定するとすると、それは図１０に破線で示すサンプル領域ＳＡとなる。
そしてＡＷＢ調整値として上記具体例のような場合、サンプル領域ＳＡに含まれるサンプルは、Ｓ１、Ｓ２、Ｓ５、Ｓ６、Ｓ１０となる。それ以外のＡＷＢ調整時でのサンプルであるＳ３、Ｓ４、Ｓ７、Ｓ８、Ｓ９は照明条件が大幅に異なるとしてサンプルから除外する。
【００４９】
そして抽出されたサンプルＳ１、Ｓ２、Ｓ５、Ｓ６、Ｓ１０についてのＲゲイン、Ｂゲインの平均値を求め、その平均値からＡＴＷ制御領域の補正値を得て、ＡＴＷ制御領域の補正を行うものである。
【００５０】
以上の動作は、図７のステップF203、即ち図８のステップF231〜F239の処理により実現される。
まずステップF231，F232で変数ｎ、変数ｍをそれぞれ「１」とする。
変数ｎは、サンプルＳ（ｎ）として、メモリ１４に記憶されている過去１０回のＡＷＢ動作におけるゲイン値（ＲゲインＲａｄｊ、ＢゲインＢａｄｊ）としてのサンプルＳ１〜Ｓ１０（即ち（Ｒａｗｂ［１］，Ｂａｗｂ［１］）〜（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］））を順番にピックアップするための処理変数である。また、変数ｍは、有効サンプルと判断されたサンプルを個別に保持するための変数である。
変数ｎ，ｍをセットしたら、ステップF233で１つのサンプルＳ（ｎ）をピックアップし、そのサンプルＳ（ｎ）がサンプル領域ＳＡに含まれるか否かを判断する。
【００５１】
ステップF233でサンプルＳ（ｎ）がサンプル領域ＳＡに含まれるとされた場合は、ステップF234，F235の処理が行われステップF234ではサンプルＳ（ｎ）として保持されているＲゲイン値、Ｂゲイン値（Ｒａｗｂ［ｎ］，Ｂａｗｂ［ｎ］）が、抽出サンプル値Ｒｓｐ（ｍ）、Ｂｓｐ（ｍ）としてセットされる。そしてステップF235では変数ｍがインクリメントされる。
一方、ステップF233でサンプルＳ（ｎ）がサンプル領域ＳＡに含まれない場合は、ステップF234，F235の処理がバイパスされる。そしてステップF236で変数ｎ＝１０と判断されるまで、ステップF237で変数ｎがインクリメントされながらステップF233〜F237の処理が繰り返される。
【００５２】
すなわちこのステップF233〜F237の処理は、過去１０回のサンプルＳ１〜Ｓ１０のそれぞれに対して、サンプル領域ＳＡ内に含まれるか否かを判別し、含まれるサンプルでのＲゲイン値、Ｂゲイン値（Ｒａｗｂ［ｎ］，Ｂａｗｂ［ｎ］）を有効サンプル値Ｒｓｐ（ｍ）、Ｂｓｐ（ｍ）として抽出していく処理である。
ステップF236で変数ｎが１０と判断されると、ステップF238で変数ｍがデクリメントされ、ステップF239に進む。
従ってステップF236で変数ｎが１０と判断されるのは、過去１０回のサンプルＳ１〜Ｓ１０のそれぞれについてのステップF233〜F237の処理が終了した時点であり、この時点で変数ｍの値は抽出された有効サンプル数より１大きい値となっていることに応じてステップF238で変数ｍをデクリメントすることで、処理がステップF239に進む時点で、Ｒゲイン及びＢゲインの有効サンプル値としてそれぞれｍ個の有効サンプル値Ｒｓｐ１〜Ｒｓｐ（ｍ）、Ｂｓｐ１〜Ｂｓｐ（ｍ）が得られていることになる。
【００５３】
サンプルＳ１〜Ｓ１０の値が上記例の場合であって、サンプル領域ＳＡが図１０のように設定されている場合、有効サンプル値Ｒｓｐ１〜Ｒｓｐ（ｍ）、Ｂｓｐ１〜Ｂｓｐ（ｍ）は次のようになる。
Ｒｓｐ１＝１２７、Ｂｓｐ１＝１２７・・・・・（Ｓ１）
Ｒｓｐ２＝１２９、Ｂｓｐ２＝１２６・・・・・（Ｓ２）
Ｒｓｐ３＝１２０、Ｂｓｐ３＝１３０・・・・・（Ｓ５）
Ｒｓｐ４＝１２３、Ｂｓｐ４＝１３４・・・・・（Ｓ６）
Ｒｓｐ５＝１２７、Ｂｓｐ５＝１２９・・・・・（Ｓ１０）
【００５４】
有効サンプル値が得られた後のステップF239の処理では、有効サンプル値Ｒｓｐ１〜Ｒｓｐ（ｍ）の平均値Ｒａｖと、有効サンプル値Ｂｓｐ１〜Ｂｓｐ（ｍ）の平均値Ｂａｖを求める。つまり、有効サンプル値Ｒｓｐ１〜Ｒｓｐ（ｍ）の和をサンプル数ｍで割って平均値Ｒａｖとし、また有効サンプル値Ｂｓｐ１〜Ｂｓｐ（ｍ）の和をサンプル数ｍで割って平均値Ｂａｖとする。
そしてステップF240では、平均値Ｒａｖ、Ｂａｖを用いてＲゲイン軸及びＢゲイン軸上でのＡＴＷ制御領域のシフト量を算出し、ＡＴＷ制御領域のシフトを行う。Ｒ軸シフト量は、平均値Ｒａｖ−１２８で求め、またＢ軸シフト量は、平均値Ｂａｖ−１２８で求める。
【００５５】
上記のようにサンプルＳ１、Ｓ２、Ｓ５、Ｓ６、Ｓ１０が抽出された場合でいえば、平均値Ｒａｖ、Ｂａｖは、
Ｒａｖ＝（１２７＋１２９＋１２０＋１２３＋１２７）／５＝１２５
Ｂａｖ＝（１２７＋１２６＋１３０＋１３４＋１２９）／５＝１２９
となる。
従って、Ｒ軸シフト量＝１２５−１２８＝３、Ｂ軸シフト量＝１２９−１２８＝１となり、つまり図９（ａ）のように設定されていたＡＴＷ制御領域は、Ｒゲイン方向に−３、Ｂゲイン方向に＋１だけシフトされ、図９（ｂ）のように中心値が（１２５，１２９）とされる領域に補正されることになる。
【００５６】
そしてこのようなＡＴＷ制御領域の補正を行なった後、図７のステップF204では、ステップF202で算出した制御値Ｒ_GAIN，Ｂ_GAINの組み合わせが、ＡＴＷ制御領域に該当するものであるかを判別し、ＡＴＷ動作の実行判断を行なうことになる。
【００５７】
通常、ＡＷＢ動作の多くは黒体軌跡に近い照明の元で白い被写体をうつした状態で起動されるものであるため、ＲゲインＲａｄｊ、ＢゲインＢａｄｊの組み合わせの分布は理想的なＡＴＷ制御範囲を形づくることになる。
そしてさらにその分布の中で、色温度３２００Ｋ前後という、基準となる図９（ａ）の最初のＡＴＷ制御範囲設定の際の照明条件に近い照明条件によるもののみを抽出し、その抽出された有効サンプルの平均値に基づいて逐次ＡＴＷ制御領域を補正していけば、その撮像装置の使用状況に応じて学習的に最適なＡＴＷ制御領域が設定されることになる。そして、このためＡＴＷ動作が的確に実行され、ＡＴＷ動作精度の向上、誤動作の防止をはかることができる。
【００５８】
なお、上記例ではサンプル抽出のためのサンプル領域ＳＡを、方形の領域と設定したが、このサンプル領域のサイズや形状により、動作精度や誤動作防止という性能をより向上させることも可能である。
サンプル領域ＳＡの形状としては、例えば円形もしくは楕円形の範囲を設定しることなどが考えられる。
【００５９】
また、図８の処理では特に有効サンプル数としての数の制限はしていないが、最低必要なサンプル数を規定するようにしてもよい。例えば最低サンプル数を５とし、有効サンプル数ｍが５に満たない場合はＡＴＷ制御領域の補正を行わないようにしてもよい。また、このように最低サンプル数を設定する場合は、その値を大きくするほど、補正精度の向上をはかることができる。さらに過去１０回のＡＷＢ動作に関するサンプルを対象としたが、例えば過去２０回分など、より多数回のＡＷＢ動作時でのサンプルを対象とし、より多くの有効サンプルを抽出できる可能性を高めることも考えられる。
【００６０】
なお、学習機能を与える場合の処理例としては、上述のように過去１０回のサンプルから有効サンプルを抽出し、その平均値に基づいてＡＴＷ制御領域を補正するという手法以外にも各種の手法が考えられる。
例えば図７のステップF203でＡＴＷ制御領域の補正を行なう際の処理として、上記例と同様の形態でメモリ１４に記憶されている過去１０回のＡＷＢ動作にかかるＲゲインＲａｄｊ、ＢゲインＢａｄｊの値、即ち（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）を確認したら、その各組み合わせのうち最も多くの組み合わせがＡＴＷ制御領域に含まれることになるようなオフセット値を算出し、そのオフセット値に基づいてＡＴＷ制御領域をＲゲイン軸方向及び／又はＢゲイン軸方向にシフトさせるようにするようにしてもよい。
【００６１】
この動作イメージを図１１に示す。図１１（ａ）のように或る状態のＡＴＷ制御領域が設定されている時点で、過去１０回分のＲゲインＲａｄｊ、ＢゲインＢａｄｊの組み合わせとしての（Ｒａｗｂ［１］，Ｂａｗｂ［１］）・・・・・・・・・（Ｒａｗｂ［１０］，Ｂａｗｂ［１０］）の値が図中『・』で示すように分布していたとする。
このとき、１０個の組み合わせのうちの最も多くがＡＴＷ制御領域に含まれることになるように、例えば図８（ｂ）のようにシフトさせる。
つまり、過去１０回分のＲゲインＲａｄｊ、ＢゲインＢａｄｊの組み合わせの分布の中心を、ＡＴＷ制御領域の中心になるようにＡＴＷ制御領域をシフトさせる処理を行うようにするものである。
【００６２】
そしてこのようなＡＴＷ制御領域の補正を行なった後、ステップF204で、上記例の場合と同様に、ステップF202で算出した制御値Ｒ_GAIN，Ｂ_GAINの組み合わせが、ＡＴＷ制御領域に該当するものであるかを判別し、ＡＴＷ動作の実行判断を行なう。
【００６３】
上述したように、ＡＷＢ動作の多くは黒体軌跡に近い照明の元で白い被写体をうつした状態で起動されるものであることから、ＲゲインＲａｄｊ、ＢゲインＢａｄｊの組み合わせの分布は理想的なＡＴＷ制御範囲を形づくることになる。
これに着目すれば、上記動作のように、統計的にＲゲインＲａｄｊ、ＢゲインＢａｄｊの組み合わせの最も多くがＡＴＷ制御領域の中央近くに集まるように逐次ＡＴＷ制御領域を補正していけば、その撮像装置の使用状況に応じて学習的に最適なＡＴＷ制御領域が設定されることになる。そして、このためＡＴＷ動作が的確に実行される。
【００６４】
【発明の効果】
以上説明したように本発明の撮像装置は、ホワイトバランス制御手段は、カラー撮像信号から算出されるホワイトバランスアンプに対するゲイン制御値を、設定された所定のホワイトバランス制御領域と比較し、その比較結果に応じてホワイトバランス調整動作を実行させるようにしている。
これにより、通常撮影時など任意の被写体を撮影している状況でも良好にホワイトバランス調整が実現できるという効果がある。
特に算出されたゲイン制御値がホワイトバランス制御領域内に該当する場合にのみ、そのゲイン制御値により、ホワイトバランス調整動作を実行させることで最適な動作が実現される。
【００６５】
またホワイトバランス制御領域は、黒体放射カーブに応じて設定されることでホワイトバランス調整動作実行判断に適したホワイトバランス制御領域を設定できる。
また操作手段からの可変操作に応じてホワイトバランス制御領域の補正を行なうことで、ユーザーによる状況に応じた適切な補正が可能となる。例えば基準光源その他の影響による不適切なホワイトバランス制御領域が設定されていても簡単に適正状態に修正できるという効果がある。
【００６６】
またホワイトバランス制御領域は、１回又は複数回の過去のホワイトバランス調整動作の際のゲイン調整値に応じて補正されることで、その撮像装置の各種特性や撮影状況などに応じてホワイトバランス制御領域が自動的に適切な状態に補正され、的確なホワイトバランス調整動作が実現される。
【００６７】
また本発明の撮像装置は、第１のホワイトバランス調整動作の際のゲイン調整値に応じて第２のホワイトバランス調整動作の実行基準となるホワイトバランス制御領域の補正を行なうようにしているため、第１のホワイトバランス調整動作時点のゲイン調整値をその中間値に合わせ込むということは不要であり、従って半固定抵抗などによる厳密な調整が困難でかつ時間のかかる調整作業は不要となる。このため調整工程の能率化が実現されるとともに、第２のホワイトバランス調整動作は最適な状態で実行できることになり、第２のホワイトバランス調整動作の精度を向上させることができるという効果がある。
【００６８】
さらに、ホワイトバランス制御手段は、複数回の第１のホワイトバランス調整動作によるゲイン調整値を記憶し、各ゲイン調整値の分布に応じてホワイトバランス制御領域の補正を行なうことができるように構成したため、その撮像装置の使用状況に応じて学習的に最適なＡＴＷ制御領域が設定されることになり、このため常時ＡＴＷ動作が的確に実行されるようにすることができる。
また、このようなＡＴＷ制御領域の補正時には、過去の各ゲイン調整値の中から、所定数値範囲内に該当するゲイン調整値を抽出し、その抽出されたゲイン調整値の平均値を用いて補正を行なうようにしたため、補正精度の向上及びそれに伴いＡＴＷ動作精度の向上を実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置のブロック図である。
【図２】実施の形態のＡＴＷ動作のフローチャートである。
【図３】実施の形態のＡＴＷ動作の際のメニュー表示の説明図である。
【図４】実施の形態のＡＴＷ動作で補正されるＡＴＷ制御領域の説明図である。
【図５】実施の形態のＡＴＷ制御領域の手動調整の際のメニュー表示の説明図である。
【図６】実施の形態の手動調整で補正されるＡＴＷ制御領域の説明図である。
【図７】実施の形態の学習機能を備えたＡＴＷ動作のフローチャートである。
【図８】実施の形態の学習機能を備えたＡＴＷ制御領域補正動作のフローチャートである。
【図９】実施の形態の学習機能を備えたＡＴＷ動作で補正されるＡＴＷ制御領域の説明図である。
【図１０】実施の形態の学習機能を備えたＡＴＷ動作での補正動作の説明図である。
【図１１】実施の形態の学習機能を備えたＡＴＷ動作での他の補正動作の説明図である。
【図１２】ＡＴＷ動作におけるＡＴＷ制御領域の説明図である。
【符号の説明】
１Ｒ，１Ｇ，１ＢＣＣＤ、３Ｒ，３Ｇ，３Ｂサンプルホールド／利得調整回路、５ホワイトバランスアンプ、５Ｒ，５Ｇ，５Ｂゲイン可変アンプ、７エンコーダ、９合成回路、１０ドライブ回路、１１ビューファインダー、１２コントローラ、１３キャラクタジェネレータ、１４メモリ、１５Ｄ／Ａ変換器、１６操作部、１７Ａ／Ｄ変換器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color imaging apparatus, and more particularly to a white balance operation.
[0002]
[Prior art]
In general, an operation called white balance is performed in a color image capturing apparatus. This is an adjustment operation in which the output levels of the R signal, G signal, and B signal as shooting signals are made equal in a state where the reference subject whose entire screen is white is shot.
That is, a variable gain amplifier for each of the R signal, G signal, and B signal is provided as a white balance amplifier, and the R signal, G signal, and B signal at the output stage of the white balance amplifier are adjusted by adjusting the gain of each gain variable amplifier. So that the output level is the same.
[0003]
An auto white balance operation (hereinafter referred to as an AWB operation) in which such a white balance operation is automated is known.
This is because the R signal, the G signal, and the B signal as the output of the white balance amplifier are monitored while the reference subject is being photographed, and the R signal and the B signal are at the same level with respect to the G signal level, for example. The gain of the variable gain amplifier for the R signal and B signal is feedback adjusted.
[0004]
This AWB operation is executed only when the AWB function is activated in the image pickup apparatus, and thereafter, the control value of the gain variable amplifier by the AWB operation is held, but the white balance operation is always performed following the subject. As a function to be performed, an operation called auto tracing white balance (hereinafter referred to as ATW operation) has been developed.
[0005]
The basic operation as the ATW operation is the same as that of the AWB operation. However, since it is not an all white reference subject during a normal photographing operation, there is a possibility of malfunction if the operation is always performed following all subjects. high. For example, adjustment may be performed so that a colored subject is white.
For this reason, a combination of an R signal gain (that is, an R channel white balance control value) and a B signal gain (that is, a B channel white balance control value) when white balance is realistically achieved in nature in advance is considered. The ATW operation is executed only when it falls within the range.
[0006]
Specifically, the combinations referred to here are, for example, regions that are shaded on the coordinates of the B signal gain and the R signal gain in FIG. 12, and this is referred to as an ATW control region.
When the black body radiation curve is represented on the coordinates of the B signal gain and the R signal gain in FIG. 12 in accordance with the characteristics of the white balance amplifier of the image pickup device, it becomes as shown by a broken line in FIG. Is a region near the blackbody radiation curve.
In FIG. 12, each of the B signal gain and the R signal gain is represented by 8 bits, and the gain value at the coordinate center is (128, 128).
[0007]
[Problems to be solved by the invention]
By the way, in the ATW control area, when the reference light source defined by the XY chromaticity diagram is photographed with the respective intermediate values (gain value 128 in FIG. 12) set for the B signal gain and the R signal gain, the white balance It is set so that the correct effect can be obtained when the levels of the R, G and B channels are equal at the amplifier output.
[0008]
However, in reality, such a state is rare. For this reason, conventionally, a variable resistor (for example, a semi-fixed volume) in front of the white balance amplifier is operated with the reference light source photographed, and the R channel signal level and the B channel signal are operated. Adjustment was made so that the level was equal to the G channel signal level.
[0009]
Since such adjustment is manually performed by the operator in the adjustment process, errors are likely to occur, and strict adjustment is difficult. For this reason, the original ATW operation performance may not be exhibited. In addition, manual adjustment takes time and labor to adjust, which hinders the efficiency of the process.
Further, if the setting of the variable resistor is shifted for some reason after the adjustment, readjustment is difficult, and in this case, the original ATW operation performance is not exhibited.
[0010]
[Means for Solving the Problems]
In view of such problems, it is an object of the present invention to automate the setting and correction of an ATW control area for an ATW operation, and to improve the ATW operation performance as well as the process efficiency.
[0011]
For this reason, the white balance amplifier gain is adjusted for at least one of the color imaging signals obtained when the reference subject is photographed, and the white balance adjustment operation is performed so that the output levels of the color imaging signals are equal. A white balance control means capable of generating a gain control value for the white balance amplifier, which is calculated from the color imaging signal, and is set to a predetermined white balance control area (ATW control area). And a white balance adjustment operation is executed according to the comparison result.
In particular, the gain control value for the white balance amplifier calculated from one or a plurality of color imaging signals is compared with a predetermined white balance control area, and only when the gain control value falls within the white balance control area Then, a white balance adjustment operation for controlling the gain of the white balance amplifier based on the gain control value is executed.
And The white balance control region is used for enabling variable operation or correcting the gain according to the gain adjustment value in the past white balance adjustment operation one or more times.
As a result, the white balance control area can be adjusted sequentially as necessary, and automatic adjustment according to past operating conditions is possible.
[0012]
The white balance control means controls the gain of the white balance amplifier for at least one of the color imaging signals obtained when the reference subject is photographed, so that the output levels of the color imaging signals are equal to each other. When the white balance adjustment operation (AWB operation) execution control and the gain control value calculated from the color imaging signal of the subject at the time of shooting fall within the set white balance control region (ATW control region), Execution control of the second white balance adjustment operation (ATW operation) for controlling the gain of the white balance amplifier for at least one of the color imaging signals is performed.
That is, from the result of the first white balance operation, an offset amount as a white balance control region capable of maximizing the effect as the ATW operation is calculated, and the white balance control region is shifted. As a result, the ATW operation can be suitably executed while eliminating the adjustment work using a semi-fixed resistor or the like.
[0013]
Further, the white balance control means corrects the white balance control region that is the execution reference of the second white balance adjustment operation in accordance with the gain adjustment value at the time of the first white balance adjustment operation. Further, this correction is performed according to the distribution of each gain adjustment value by storing the gain adjustment value by a plurality of first white balance adjustment operations.
For example, a suitable sample is extracted from the stored gain adjustment values and averaged, and a correction value for the white balance control region is obtained from the average value.
That is, a learning function is given to the correction of the white balance control area.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an imaging apparatus according to the present invention will be described with reference to FIGS.
FIG. 1 shows the internal configuration of the imaging apparatus.
As the imaging device, CCD element portions 1R, 1G, and 1B are provided corresponding to the three primary colors of R, G, and B. Each of the CCD element portions 1R, 1G, and 1B is arranged according to a predetermined rule on the plane of the CCD substrate on which imaging light introduced from a lens system (not shown) is formed to form a two-dimensional image region. is there.
[0015]
The red signal R, green signal G, and blue signal B from the CCD element units 1R, 1G, and 1B are amplified by the preamplifiers 2R, 2G, and 2B, respectively, and then sampled in the sample hold / gain adjustment circuits 3R, 3G, and 3B. / Hold processing, and gain adjustment, flare, pliny correction, etc. are performed.
[0016]
The outputs of the sample hold / gain adjustment circuits 3R, 3G, and 3B are respectively supplied to variable gain amplifiers 5R, 5G, and 5B constituting the white balance amplifier 5, but the R signal is a semi-fixed resistor 4R and the B signal is a half. It is supplied via the fixed resistor 4B.
[0017]
The semi-fixed resistors 4R and 4B capture the reference light source defined by the XY chromaticity diagram in a state where the R signal gain and the G signal gain in the gain variable amplifiers 5R and 5B are set to intermediate values for so-called ATW operation. When the gain variable amplifiers 5R, 5G, 5B are output, the levels of the R, G, B channels are adjusted to be equal to each other. As described above, conventionally, the semi-fixed resistors 4R, 4B Various problems occurred due to the necessity of adjustment.
[0018]
Although the semi-fixed resistors 4R and 4B are provided in the configuration of FIG. 1, it is not necessary to strictly adjust the semi-fixed resistors 4R and 4B for the ATW operation in this example due to the correction operation of the ATW control area described later. Therefore, the semi-fixed resistors 4R and 4B need only be roughly adjusted to some extent. Alternatively, the semi-fixed resistors 4R and 4B may not be provided.
[0019]
The white balance amplifier 5 adjusts the gains of the variable gain amplifiers 5R and 5B, thereby adjusting the white balance of the R, G, and B signals at the time of output of the variable gain amplifiers 5R, 5B, and 5G.
Outputs of the variable gain amplifiers 5R, 5B, and 5G are supplied to the encoder 7 via the amplifiers 6R, 6B, and 6G. The outputs of the variable gain amplifiers 5R, 5B, and 5G are also supplied to the controller 12 via the A / D converter 17. Therefore, the controller 12 can detect the signal levels of the R, G, and B signals at the output stage of the variable gain amplifiers 5R, 5B, and 5G.
[0020]
The encoder 7 performs processes such as gamma correction and knee correction on the input red signal R, green signal G, and blue signal B, and a matrix for the red signal R, green signal G, and blue signal B subjected to these processes. The luminance signal Y and the color difference signals RY and BY are generated from the red signal R, the green signal G, and the blue signal B by processing, and further, for example, NTSC encoding processing is performed to obtain an NTSC color composite video signal, which is a terminal 8 is output as a video signal photographed from 8.
[0021]
In addition, the photographer can check the photographed image with the viewfinder 11. For this reason, the video signal in the form of, for example, the luminance signal Y and the color difference signals RY and BY is sent from the encoder 7 to the combining circuit 9. To the drive circuit 10 to cause the viewfinder 11 to execute monitor display output of the captured image.
As a result, a cameraman who uses the imaging apparatus can check the video imaged from the viewfinder 11.
[0022]
The controller 12 is formed by a microcomputer and controls various operations for the entire apparatus in accordance with various operations and operation programs from the operation unit 16. In this example, the controller 12 performs control related to the AWB operation and the ATW operation as white balance control.
[0023]
In addition, the controller 12 can cause the character generator 13 to output various character images that are superimposed on the photographic monitor image and output in the viewfinder 11. The character video generated by the character generator 13 is superimposed on the monitor image signal from the encoder 7 by the synthesis circuit 9 and supplied to the drive circuit 10, whereby the character display is executed together with the monitor display of the captured image in the viewfinder 11. The
For example, information to be conveyed to a cameraman such as an operation state display, a mode display, or the like is executed by character display.
[0024]
For white balance adjustment, the controller 12 detects the signal levels of the R, G, B signals as the output levels of the variable gain amplifiers 5R, 5B, 5G, and adjusts the gains of the variable gain amplifiers 5R, 5G accordingly. A feedback control system is configured. That is, the controller 12 supplies the gain control values of the gain variable amplifiers 5R and 5G to the gain variable amplifiers 5R and 5G via the D / A converter 15, and variably controls the gains of the gain variable amplifiers 5R and 5G. An AWB operation and an ATW operation are realized by this control system.
[0025]
That is, as the AWB operation, the controller 12 monitors the levels of the R signal, the G signal, and the B signal as the outputs of the variable gain amplifiers 5R, 5B, and 5G in a state where the reference subject whose entire screen is white is being photographed. Then, the gains of the variable gain amplifiers 5R and 5B with respect to the R signal and the B signal are calculated so that the R signal and the B signal become the same level with respect to the G signal level, and the gain control value is converted to the D / A converter 15. Are supplied to the variable gain amplifiers 5R and 5G, so that the levels of the R signal, G signal, and B signal as the output of the white balance amplifier 5 are set to the same level.
The memory 14 stores various data necessary for the processing of the controller 12, and stores a gain control value by such an AWB operation in this example.
[0026]
In addition, the ATW operation as a function to always adjust the white balance following the subject is basically feedback control similar to the AWB operation, but it is not appropriate to always operate a colored subject or the like. Therefore, the controller 12 is based on the combination of the R signal gain (that is, the gain control value for the gain variable amplifier 5R) and the B signal gain (that is, the gain control value for the gain variable amplifier 5B) when white balance is realistically achieved in nature. Thus, an ATW control area is set. For example, as shown in FIG. 4A, when the black body radiation curve is represented on the coordinates of the B signal gain and the R signal gain in accordance with the characteristics of the white balance amplifier of the image pickup device, it becomes as indicated by a broken line in the figure. The control region is a region near the black body radiation curve indicated by the hatched portion.
[0027]
The ATW control area is basically white balance when the reference light source is photographed with an intermediate value (gain value 128 in the 8-bit representation of FIG. 4A) set for the B signal gain and the R signal gain. The ATW control area is set so that a correct effect can be obtained when the levels of the R, G, and B channels are equal at the amplifier output, so the ATW control area is a black body with the coordinate center (128, 128) as the center. It becomes the area along the radiation curve.
[0028]
Therefore, basically, in order to obtain the original effect of the ATW operation, the gain values of the variable gain amplifiers 5R and 5B need to be 128, but actually, at the time after the first AWB operation is performed. It is rare that the gain value of the variable gain amplifiers 5R and 5B is an intermediate value 128. For this reason, conventionally, adjustment of the semi-fixed resistors 4R and 4B is necessary. By correcting the ATW control area according to the result, the adjustment of the semi-fixed resistors 4R and 4B is unnecessary (or the semi-fixed resistors 4R and 4B themselves are not required), and the ATW operation is appropriately executed. ing.
Such an operation will be described.
[0029]
In the adjustment process, which is the final stage of the manufacturing process of the imaging device, an AWB operation is first executed. That is, the AWB operation is started in a state where the reference light source is photographed, and the gains of the variable gain amplifiers 5R and 5B are adjusted.
When the AWB operation is finished, the levels of the R, G, and B signals at the output stage of the white balance amplifier 5 become equal.
[0030]
Regarding the ATW operation in this example, the ATW control area is corrected according to the result of the AWB operation. For this reason, when the AWB operation is performed in the adjustment process, the ATW control is performed in the later ATW operation. It is necessary to perform a process for correcting the area.
For this purpose, the controller 12 controls the character generator 13 at the stage when the AWB operation is completed, thereby causing the viewfinder 11 to execute menu display as shown in FIG. The display “ATW ADJ” is an operation menu for holding the result data of the AWB operation that is required before the ATW operation is started.
[0031]
When the operation menu “ATW ADJ” is selected, the gain values of the variable gain amplifiers 5R and 5B set in the previous AWB operation are displayed in the menu and are also stored in the memory 14 as gains Radj and Badj. Remembered.
In FIG. 3, the R gain is 131 and the B gain is 128, but this is adjusted by the AWB operation so that the R gain is increased by three levels from 128, which is an intermediate value. It means that it was OK with the intermediate value 128.
Thus, by holding the R gain and B gain values as the AWB adjustment results in the memory 14, the correction function of the ATW control area works well in the subsequent ATW operation.
[0032]
Note that the gain Radj and Badj resulting from the AWB result are stored in the memory 14 by selecting the operation menu “ATW ADJ” after the AWB operation in the adjustment process. For example, in the user use stage, the AWB operation is performed. Also, when “ATW ADJ” is selected, gains Radj and Badj based on the AWB result at that time are stored in the memory 14 (the values of the gains Radj and Badj in the memory 14 are updated).
That is, the ATW control area correction in the ATW operation is executed in accordance with the AWB operation in which the AWB result is taken into the memory 14 at an earlier time point and the operation menu “ATW ADJ”.
[0033]
The ATW operation in the present example functions accurately in a state where the AWB operation is performed at least once by the adjustment process before the shipment or the user's operation and the gain Radj and Badj resulting from the AWB result are stored in the memory 14. Will be. Of course, the ATW operation can be started at an arbitrary time during the adjustment process or when used by the user.
[0034]
Hereinafter, an ATW operation example in this example will be described.
When an ATW activation switch provided in the operation unit 16 is pressed, the controller 12 activates the ATW operation. That is, the controller 12 starts the process of FIG. 2, and first takes in each R, G, B signal at the output stage of each gain variable amplifier 5R, 5G, 5B via the A / D converter 17 as step F101. , Detect its level.
As in the case of the AWB operation, the control value R for gain adjustment of the variable gain amplifiers 5R and 5B is determined from the levels of the R, G and B signals in step F102. _GAIN , B _GAIN Is calculated.
[0035]
Here, in step F103, an offset from the intermediate value is calculated for each of the gains Radj and Badj stored in the memory 14, and the ATW control area set as shown in FIG. to correct.
In this case, the gain Radj = 131, and the offset amount from the intermediate value 128 for the R gain is 3. On the other hand, the gain Badj = 128, and the offset amount from the intermediate value 128 for the B gain is zero.
For this reason, the ATW control area is shifted by three levels in the R-axis direction, and the ATW control area is as shown in FIG.
[0036]
After correcting the ATW control area in this way, in step F104, the control value R calculated in step F102. _GAIN , B _GAIN Is determined to be included in the corrected ATW control area.
If not included, the control value R at that time _GAIN , B _GAIN The subject at the time of calculating is not a subject suitable for white balance adjustment, and therefore, gain adjustment of the variable gain amplifiers 5R and 5B is not performed.
On the other hand, if it is included in the ATW control area, the process proceeds to step F105 and the control value R _GAIN , B _GAIN The gain adjustment of the variable gain amplifiers 5R and 5B is performed.
[0037]
In the present example in which the above operation is performed, the ATW control region is corrected in accordance with the adjustment value by the AWB operation at that time. Even if the gain is not adjusted to the intermediate value, the ATW operation is correctly executed.
[0038]
In the above example, the example in which the ATW control area is shifted in the R gain axis direction has been described. However, when an offset from the intermediate value is added to the B gain in the AWB operation, the ATW control area is increased by the B gain axis. Needless to say, the direction is shifted. Of course, there is a case where shifting is performed in both the R gain axis direction and the B gain axis direction.
In the processing example of FIG. 2, the process of step F103 is executed every time the video levels of the R, G, and B channels are captured during the ATW operation (step F101). If the values of the gain Radj and Badj are not changed during the ATW operation, the process of step F103 is executed when the ATW is started before step F101, and the range of the control area shifted at that time is stored. As described above, the loop processing (F101 to F105) executed every time the video level is taken may be removed.
[0039]
By the way, in this example, the ATW control area can be changed manually. Thus, for example, if the reference light source itself is deviated, its characteristics are measured with a chromaticity meter, and the obtained X and Y values are converted into R gain and B gain offset amounts and set. It becomes possible. Of course, when the setting of the ATW control area becomes unsuitable for some other reason, it is possible to easily correct the optimum state.
[0040]
As an operation for this, for example, in the menu display as shown in FIG. 3, the user can change the R gain value and the B gain value by an operation from the operation unit 16.
For example, in FIG. 5A, the user performs an operation of changing the R gain value to set the R gain value to 135, and then the user performs an operation of changing the B gain value as shown in FIG. Assume that the gain value is 130.
In response to this, the controller 12 stores the gain Radj = 135 and the gain Badj = 130 in the memory 14.
[0041]
Thereafter, when the ATW activation switch of the operation unit 16 is pressed and the ATW operation is activated, the controller 12 starts the process of FIG. 2 described above. As a correction operation, an offset from the intermediate value 128 for the gain Radj = 135 and the gain Badj = 130 is calculated, and the ATW control area is shifted accordingly. That is, the ATW control area is corrected as shown in FIG. 6, and based on this, the execution of the ATW operation is determined in step F104.
[0042]
By the way, each of the above operations is performed by fetching the gain Radj and the gain Badj as a result of the AWB operation (or as a result of manual adjustment) into the memory 14 at the time of manufacturing or adjustment of the image pickup apparatus or at the time of user use The ATW control area correction operation using the gain Radj and the gain Badj is performed during the ATW operation. By applying the processing related to such a correction operation, the ATW operation during normal use (the ATW control area (Correction operation) can have a learning function.
In general, since it is considered that the user uses both the AWB operation and the ATW operation, the controller 12 stores the R gain Radj and B gain Badj by the adjustment in the memory 14 every time the AWB operation is activated. To.
For example, the values of the R gain Radj and the B gain Badj in the past 10 AWB operations are set to (Rawb [1], Bawb [1]), (Rawb [2], Bawb [2]), (Rawb [3], Bawb [3])... (Rawb [10], Bawb [10]).
[0043]
Note that (Rawb [1], Bawb [1]) (Rawb [10], Bawb [10]) used in the description is a register (memory) that holds the values of the gain Radj and the gain Badj. 14 as a storage area or address). That is, the values of the gain Radj and the gain Badj obtained by the latest AWB operation are stored in the registers (Rawb [1], Bawb [1]) and until then the registers (Rawb [1], Bawb [1]). The values held in are shifted to the registers (Rawb [2], Bawb [2]) and held. By adopting such a shift storage form, the memory 14 has registers (Rawb [1], Bawb [1]) ... (Rawb [10], Bawb [10]) as The values of the gain Radj and the gain Badj in the past 10 AWB operations are always held from the latest AWB operation.
[0044]
When the ATW operation is activated, the controller 12 executes the process of FIG. Note that the processing in steps F201, F202, F204, and F205 in the processing in FIG. 7 is the same as the processing in steps F101, F102, F104, and F105 in FIG.
In this case as well, the ATW control area is corrected in step F203. As the correction operation, first, the values of the R gain Radj and B gain Badj for the past 10 AWB operations stored in the memory 14 are used. That is, (Rawb [1], Bawb [1]) ... (Rawb [10], Bawb [10]) is confirmed. Then, the distribution state of each combination is confirmed, and an appropriate combination is extracted as a sample value. Then, a value for correcting the ATW control area is obtained using the extracted sample value. Based on this correction value, the ATW control region is shifted in the R gain axis direction and / or the B gain axis direction.
[0045]
FIG. 8 is a flowchart showing the process of step F203 in more detail. A specific example of the correction operation of the ATW control area in step F203 will be described with reference to the flowchart of FIG. 8, and FIGS.
[0046]
As described above with reference to FIG. 4A, the ATW control area basically has an XY chromaticity in a state in which an intermediate value (gain value 128 in 8-bit representation) is set for each of the B signal gain and the R signal gain. When the reference light source defined in the figure is photographed, it is set so that a correct effect can be obtained when the levels of the R, G, B channels are equal in the white balance amplifier output.
FIG. 9A shows an ATW control area similar to FIG. 4A, that is, an ATW control area before correction with respect to the operation of FIG. 7, but the ATW control area shown as the hatched portion has a coordinate center (128, 128). It becomes the area along the black body radiation curve at the center.
As such an initially set ATW control area, the color temperature of the illumination at the time of photographing is 3200K, and the center of the control value of the R signal gain and the B signal gain is (128, 128) in that state. To do.
[0047]
When the operation of step F203 in FIG. 7 is actually performed by the learning function, for example, values of R gain Radj and B gain Badj in the past 10 AWB operations from that point (Rawb [1], Bawb [1]) ... (Rawb [10], Bawb [10]) are the following values.
S1: (Rawb [1], Bawb [1]) = (127, 127)
S2: (Rawb [2], Bawb [2]) = (129, 126)
S3: (Rawb [3], Bawb [3]) = (144,103)
S4: (Rawb [4], Bawb [4]) = (241,200)
S5: (Rawb [5], Bawb [5]) = (120, 130)
S6: (Rawb [6], Bawb [6]) = (123, 134)
S7: (Rawb [7], Bawb [7]) = (142,119)
S8: (Rawb [8], Bawb [8]) = (108, 118)
S9: (Rawb [9], Bawb [9]) = (121,146)
S10: (Rawb [10], Bawb [10]) = (127, 129)
[0048]
FIG. 10 is an enlarged view of the vicinity of the coordinate center of FIG. 9A, but the values S1 to S10 during the past 10 AWB operations are distributed as shown in FIG. Become.
From this distribution state, a case where the AWB operation is executed under an illumination condition that is clearly different from the color temperature of 3200K is observed. In this example, such an example is excluded, and the AWB operation is performed under an illumination condition around the color temperature of 3200K. Extract what the action was performed on. If the area corresponding to the AWB operation under the illumination condition of the color temperature around 3200K is set as an area within ± 8 steps from the coordinate center (128, 128) in the R gain axis and B gain axis directions, respectively, A sample area SA indicated by a broken line in FIG.
In the case of the above specific example as the AWB adjustment value, the samples included in the sample area SA are S1, S2, S5, S6, and S10. The other samples S3, S4, S7, S8, and S9 at the time of AWB adjustment are excluded from the samples because the illumination conditions are significantly different.
[0049]
Then, the average values of the R gain and the B gain for the extracted samples S1, S2, S5, S6, and S10 are obtained, the correction value of the ATW control area is obtained from the average value, and the ATW control area is corrected. is there.
[0050]
The above operation is realized by the processing of step F203 in FIG. 7, that is, steps F231 to F239 in FIG.
First, in steps F231 and F232, the variables n and m are set to “1”, respectively.
The variable n is represented by samples S1 to S10 (that is, (Rawb [1],) as gain values (R gain Radj, B gain Badj) in the past 10 AWB operations stored in the memory 14 as the sample S (n). Bawb [1]) to (Rawb [10], Bawb [10])) are processing variables for picking up in order. The variable m is a variable for individually holding samples determined to be valid samples.
When the variables n and m are set, one sample S (n) is picked up in step F233, and it is determined whether or not the sample S (n) is included in the sample area SA.
[0051]
If it is determined in step F233 that the sample S (n) is included in the sample area SA, the processing in steps F234 and F235 is performed, and the R gain value and the B gain value held as the sample S (n) in step F234. (Rawb [n], Bawb [n]) are set as the extracted sample values Rsp (m) and Bsp (m). In step F235, the variable m is incremented.
On the other hand, if the sample S (n) is not included in the sample area SA in step F233, the processes in steps F234 and F235 are bypassed. Until the variable n is determined to be 10 in step F236, the processes in steps F233 to F237 are repeated while the variable n is incremented in step F237.
[0052]
That is, in the processing of steps F233 to F237, it is determined whether or not each of the past 10 samples S1 to S10 is included in the sample area SA, and the R gain value and the B gain value in the included sample are determined. In this process, (Rawb [n], Bawb [n]) are extracted as effective sample values Rsp (m) and Bsp (m).
If the variable n is determined to be 10 in step F236, the variable m is decremented in step F238, and the process proceeds to step F239.
Accordingly, the variable n is determined to be 10 in step F236 when the processing of steps F233 to F237 for each of the past 10 samples S1 to S10 is completed. At this point, the value of the variable m is extracted. The variable m is decremented in step F238 according to the fact that the value is one larger than the number of valid samples, and when the process proceeds to step F239, m valid sample values for R gain and B gain are obtained. Effective sample values Rsp1 to Rsp (m) and Bsp1 to Bsp (m) are obtained.
[0053]
When the values of the samples S1 to S10 are in the above example and the sample area SA is set as shown in FIG. 10, the effective sample values Rsp1 to Rsp (m) and Bsp1 to Bsp (m) are as follows: become.
Rsp1 = 127, Bsp1 = 127 (S1)
Rsp2 = 129, Bsp2 = 126 (S2)
Rsp3 = 120, Bsp3 = 130 (S5)
Rsp4 = 123, Bsp4 = 134 (S6)
Rsp5 = 127, Bsp5 = 129 (S10)
[0054]
In the process of step F239 after the effective sample value is obtained, the average value Rav of the effective sample values Rsp1 to Rsp (m) and the average value Bav of the effective sample values Bsp1 to Bsp (m) are obtained. That is, the sum of the effective sample values Rsp1 to Rsp (m) is divided by the number of samples m to obtain the average value Rav, and the sum of the effective sample values Bsp1 to Bsp (m) is divided by the number of samples m to obtain the average value Bav.
In step F240, the average values Rav and Bav are used to calculate the shift amount of the ATW control area on the R gain axis and the B gain axis, and the ATW control area is shifted. The R-axis shift amount is obtained from the average value Rav-128, and the B-axis shift amount is obtained from the average value Bav-128.
[0055]
If the samples S1, S2, S5, S6, and S10 are extracted as described above, the average values Rav and Bav are
Rav = (127 + 129 + 120 + 123 + 127) / 5 = 125
Bav = (127 + 126 + 130 + 134 + 129) / 5 = 129
It becomes.
Therefore, the R-axis shift amount = 125−128 = 3 and the B-axis shift amount = 129−128 = 1, that is, the ATW control area set as shown in FIG. 9A is −3 in the R gain direction. It is shifted by +1 in the B gain direction, and is corrected to a region where the center value is (125, 129) as shown in FIG. 9B.
[0056]
After such correction of the ATW control area, in step F204 in FIG. 7, the control value R calculated in step F202 is obtained. _GAIN , B _GAIN It is determined whether or not the combination corresponds to the ATW control region, and execution of the ATW operation is determined.
[0057]
Normally, many AWB operations are started with a white subject under the illumination close to the black body locus, so the distribution of the combination of R gain Radj and B gain Badj has an ideal ATW control range. Will form.
Further, in the distribution, only those having a color temperature of about 3200 K, which is close to the illumination condition at the time of setting the first ATW control range in FIG. 9A as a reference, are extracted, and the extracted effective If the ATW control area is sequentially corrected based on the average value of the samples, an optimal ATW control area for learning is set according to the use state of the imaging apparatus. For this reason, the ATW operation is accurately executed, and the accuracy of the ATW operation can be improved and the malfunction can be prevented.
[0058]
In the above example, the sample area SA for sample extraction is set as a square area. However, the size and shape of the sample area can further improve the performance of operation accuracy and malfunction prevention.
As the shape of the sample area SA, for example, setting a circular or elliptical range is conceivable.
[0059]
In the process of FIG. 8, the number of effective samples is not particularly limited, but the minimum required number of samples may be defined. For example, when the minimum number of samples is 5, and the number m of effective samples is less than 5, the ATW control area may not be corrected. When the minimum number of samples is set in this way, the correction accuracy can be improved as the value is increased. Furthermore, although the samples related to the past 10 AWB operations were targeted, it is also possible to increase the possibility that more effective samples can be extracted by targeting samples in a larger number of AWB operations, such as the past 20 times. It is done.
[0060]
In addition, as a processing example in the case of giving a learning function, there are various methods other than the method of extracting effective samples from the past 10 samples and correcting the ATW control region based on the average value as described above. Conceivable.
For example, as processing when correcting the ATW control area in step F203 of FIG. 7, the values of the R gain Radj and B gain Badj related to the past 10 AWB operations stored in the memory 14 in the same manner as in the above example. That is, when (Rawb [1], Bawb [1])... (Rawb [10], Bawb [10]) is confirmed, the most combination among the combinations is the ATW control area. May be calculated, and the ATW control region may be shifted in the R gain axis direction and / or the B gain axis direction based on the offset value.
[0061]
An image of this operation is shown in FIG. As shown in FIG. 11A, when the ATW control area in a certain state is set, as a combination of R gain Radj and B gain Badj for the past 10 times (Rawb [1], Bawb [1]) ... (Rawb [10], Bawb [10]) values are distributed as indicated by “•” in the figure.
At this time, the shift is performed, for example, as shown in FIG. 8B so that the most of the 10 combinations are included in the ATW control area.
That is, the ATW control area is shifted so that the center of the distribution of the combination of the R gain Radj and the B gain Badj for the past 10 times becomes the center of the ATW control area.
[0062]
After such correction of the ATW control area, the control value R calculated in step F202 is calculated in step F204 as in the above example. _GAIN , B _GAIN Is determined to correspond to the ATW control region, and the execution of the ATW operation is determined.
[0063]
As described above, since most of the AWB operations are started in a state where a white object is depressed under illumination close to a black body locus, the distribution of combinations of R gain Radj and B gain Badj is ideal. An ATW control range will be formed.
If attention is paid to this, if the ATW control area is corrected so that the most combinations of R gain Radj and B gain Badj are statistically gathered near the center of the ATW control area as in the above operation, A learning-optimal ATW control area is set according to the usage state of the imaging apparatus. For this reason, the ATW operation is accurately executed.
[0064]
【The invention's effect】
As described above, in the image pickup apparatus of the present invention, the white balance control means compares the gain control value for the white balance amplifier calculated from the color image pickup signal with the predetermined white balance control region that has been set, and the comparison result. The white balance adjustment operation is executed according to the above.
As a result, there is an effect that the white balance adjustment can be satisfactorily realized even in a situation where an arbitrary subject is photographed such as during normal photographing.
In particular, only when the calculated gain control value falls within the white balance control region, an optimal operation is realized by executing the white balance adjustment operation with the gain control value.
[0065]
In addition, the white balance control region can be set according to the black body radiation curve, thereby setting a white balance control region suitable for white balance adjustment operation execution determination.
Further, by correcting the white balance control region in accordance with the variable operation from the operation means, it is possible to perform appropriate correction according to the situation by the user. For example, there is an effect that even if an inappropriate white balance control region due to the influence of the reference light source or the like is set, it can be easily corrected to an appropriate state.
[0066]
In addition, the white balance control area is corrected according to the gain adjustment value at the time of one or more past white balance adjustment operations, so that the white balance control is performed according to various characteristics of the image pickup apparatus and the shooting situation. The area is automatically corrected to an appropriate state, and an accurate white balance adjustment operation is realized.
[0067]
In addition, the image pickup apparatus of the present invention corrects the white balance control region that is the execution reference of the second white balance adjustment operation in accordance with the gain adjustment value in the first white balance adjustment operation. It is not necessary to adjust the gain adjustment value at the time of the first white balance adjustment operation to the intermediate value, and therefore, it is difficult to perform strict adjustment with a semi-fixed resistor or the like and time-consuming adjustment work is unnecessary. For this reason, the efficiency of the adjustment process is realized, and the second white balance adjustment operation can be executed in an optimal state, and the accuracy of the second white balance adjustment operation can be improved.
[0068]
Further, the white balance control means is configured to store the gain adjustment value by the first white balance adjustment operation a plurality of times and to correct the white balance control area according to the distribution of each gain adjustment value. Therefore, an optimal ATW control area for learning is set in accordance with the use state of the imaging apparatus, and therefore, the ATW operation can always be accurately performed.
Further, when correcting the ATW control area, a gain adjustment value corresponding to a predetermined numerical value range is extracted from each past gain adjustment value, and correction is performed using an average value of the extracted gain adjustment values. Therefore, the correction accuracy can be improved and the ATW operation accuracy can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart of an ATW operation according to the embodiment.
FIG. 3 is an explanatory diagram of a menu display during the ATW operation of the embodiment.
FIG. 4 is an explanatory diagram of an ATW control area corrected by the ATW operation of the embodiment.
FIG. 5 is an explanatory diagram of a menu display at the time of manual adjustment of an ATW control area according to the embodiment.
FIG. 6 is an explanatory diagram of an ATW control area corrected by manual adjustment according to the embodiment.
FIG. 7 is a flowchart of an ATW operation provided with a learning function according to the embodiment.
FIG. 8 is a flowchart of an ATW control area correction operation including the learning function according to the embodiment.
FIG. 9 is an explanatory diagram of an ATW control region that is corrected by an ATW operation having a learning function according to an embodiment.
FIG. 10 is an explanatory diagram of a correction operation in the ATW operation having the learning function according to the embodiment.
FIG. 11 is an explanatory diagram of another correction operation in the ATW operation having the learning function according to the embodiment.
FIG. 12 is an explanatory diagram of an ATW control area in an ATW operation.
[Explanation of symbols]
1R, 1G, 1B CCD, 3R, 3G, 3B sample hold / gain adjustment circuit, 5 white balance amplifier, 5R, 5G, 5B variable gain amplifier, 7 encoder, 9 synthesis circuit, 10 drive circuit, 11 viewfinder, 12 controller , 13 Character generator, 14 Memory, 15 D / A converter, 16 Operation unit, 17 A / D converter

Claims

Adjusting the gain of the white balance amplifier with respect to at least one of the color imaging signals obtained when the reference subject is photographed, and executing a white balance adjustment operation so that the output levels of the respective color imaging signals are equal. A white balance control means that can
In this white balance control means, the gain control value for the white balance amplifier calculated from the color imaging signal is corrected and set according to the gain adjustment value at the time of one or more past white balance adjustment operations. An imaging apparatus comprising: comparing with a predetermined white balance control region, and executing the white balance adjustment operation in accordance with a comparison result.

The gain control value for the white balance amplifier calculated from each color imaging signal is compared with a predetermined white balance control area that has been set, and only when the gain control value falls within the white balance control area The imaging apparatus according to claim 1, wherein a white balance adjustment operation for controlling a gain of the white balance amplifier based on a value is executed.

The imaging apparatus according to claim 1, wherein the white balance control region is set according to a black body radiation curve.

Operation means for performing a variable operation of the white balance control area is provided, and the white balance control means is configured to be able to correct the white balance control area in response to a variable operation from the operation means. The imaging apparatus according to claim 1, wherein:

The white balance control means controls the gain of the white balance amplifier with respect to at least one of the color image signals obtained when the reference subject is imaged, so that the output levels of the color image signals become equal. 1 execution control of white balance adjustment operation,
A second control unit configured to control a gain of the white balance amplifier for at least one of the color imaging signals when a gain control value calculated from the color imaging signal of the subject falls within a set white balance control region at the time of shooting; The imaging apparatus according to claim 1, wherein execution control of the white balance adjustment operation is performed.

The white balance control means is configured to correct a white balance control region that is an execution reference of the second white balance adjustment operation in accordance with a gain adjustment value at the time of the first white balance adjustment operation. The imaging apparatus according to claim 5 , wherein

The white balance control means is configured to store a gain adjustment value obtained by a plurality of times of the first white balance adjustment operation and to correct the white balance control region in accordance with the distribution of each gain adjustment value. The imaging apparatus according to claim 5 , wherein

The white balance control means extracts a gain adjustment value corresponding to a predetermined numerical value range from each stored gain adjustment value, and corrects the white balance control region using an average value of the extracted gain adjustment values. The imaging apparatus according to claim 7 , wherein:

The imaging apparatus according to claim 1, wherein the white balance control region is a region having an R signal gain as one axis and a B signal gain as the other axis.