JP5854716B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

デジタルカメラやデジタルビデオカメラ等の、撮像素子を用いる撮像装置においては、撮影によって得られた画像データの色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、マニュアルホワイトバランス制御とオートホワイトバランス制御とがある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を算出しておき、算出したホワイトバランス係数を画面全体に適用する制御である。オートホワイトバランス制御は、撮影した画像データから白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する制御である。

従来のオートホワイトバランス制御においては、ストロボ発光シーンにおいて画像データ内にストロボ光とは異なる光源が存在する場合、上記のように算出されたホワイトバランス係数を画面全体に適用してホワイトバランス制御を行う。そのため、各光源をともに適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、ストロボ発光シーンで環境光に電球色光源のような低色温度光源が存在する場合、ストロボ光が高色温度光源であるため、ストロボ光にホワイトバランスを合わせると低色温度光源にホワイトバランスが合わなくなってしまう。一方、低色温度光源にホワイトバランスを合わせた場合には、ストロボ光にホワイトバランスが合わなくなってしまう。また、両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行ったとしても、両方の光源にホワイトバランスが合わず、ストロボ光で照射されている領域は青みを帯び、低色温度光源で照射されている領域は赤味を帯びるような色味となってしまう。

これに対し、特許文献１には次のような技術が開示されている。即ち、特許文献１に開示される技術は、ストロボ発光時に撮影された画像データとストロボ非発光時に撮影された画像データとを、任意の被写体領域毎に比較してデータの比を求め、その比の値によりストロボ光の寄与度を判定する。そして、判定した寄与度に応じて被写体領域毎にホワイトバランス制御値を選択して、ホワイトバランス制御を行う。

特許第３５４０４８５号公報

従来の自動露出制御（ＡＥ）では、被写体輝度を測光して適正露出となるように露出制御を行っている。被写体輝度を正しく測光するためには光源の色味を補正する必要がある。しかし、露出の決定は撮影前であり、光源の色温度の決定は撮影後に実行することから、ＡＥによって測光する時点では撮影された画像データの色温度を取得することができない。従って、測光では仮に太陽光の色温度のホワイトバランス係数を用いて輝度を算出して露出制御を行う。その後、静止画撮影後に光源の色温度を正確に求め、測光時に仮に用いた太陽光のホワイトバランス係数との差分を、輝度補正係数として算出している。

このような色温度の変動による輝度補正を特に色温度補正と呼んでいる。従来は、撮影された画像データに対して画面全体に１つのホワイトバランス係数を適用していたが、領域毎に異なるホワイトバランス係数を適用する場合は色温度補正係数を一意に求めることができないという問題があった。

図９は、色温度と輝度との関係を示す図であり、測光時に用いられる太陽光の色温度が５２００Ｋであるとき、光源の色温度が変わることで輝度が変動する様子を示している。映像信号ＲＧＢから輝度Ｙを算出する際には、輝度構成比としてＲ：Ｇ：Ｂ＝３：６：１という比率をもって算出しており、光源の色温度を正しく補正しなければ正確な輝度を求めることができない。電球等の低色温度光源下とストロボ光等の高色温度光源下とでは、正しく光源色を補正しないと輝度が大きく異なるわけであるが、室内等において低色温度光源下でストロボ撮影を行うのは一般的な撮影シーンである。そのため、複数光源下における最適な輝度補正が必要とされていた。

そこで、本発明の目的は、露出制御のための測光時と撮影時との色温度の変動に伴う輝度成分の補正をより正確に行うことにある。

本発明の画像処理装置は、ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出手段と、前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを現像する現像手段と、前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出手段と、前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出手段と、前記合成比率算出手段により算出された前記合成比率に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とを混合する混合手段と、露出制御のための測光手段による測光時に撮影環境の光源色を補正するために使用されるホワイトバランス補正値と、前記混合手段により生成されたホワイトバランス補正値とに基づいて、色温度補正係数を算出する補正係数算出手段と、前記合成比率算出手段により算出された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成して第３の画像データを生成する合成手段と、前記補正係数算出手段により算出された前記色温度補正係数を用いて、前記合成手段により生成された前記第３の画像データの輝度成分を補正する補正手段とを有することを特徴とする。

本発明によれば、露出制御のための測光時と撮影時との色温度の変動に伴う輝度成分の補正をより正確に行うことが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 ストロボ発光時の第１のＷＢ補正値の算出処理を示すフローチャートである。 白検出の際に使用されるグラフを示す図である。 撮影制御を時系列に並べて示した図である。 静止画撮影駆動モードにおけるＷＢ補正値とＥＶＦ撮影駆動モードにおけるＷＢ補正値とを示す図である。 シーンの雰囲気を考慮して色味を残すように第２のＷＢ補正値を算出する方法を説明するための図である。 画像データの合成処理を示すフローチャートである。 照射比率を算出するための被写体領域の切り出しについて説明するための図である。 色温度と輝度との関係を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の構成を示す図である。なお、本実施形態に係る撮像装置は、画像処理装置の適用例となる構成である。図１において、１０１は、ＣＣＤやＣＭＯＳ等で構成される固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。

ＣＰＵ１１４は、画像データ全体が明るくなるようなシャッタ速度、絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。ＣＰＵ１１４によって計算された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量は制御回路１１３に出力され、各値に基づいてそれぞれ制御される。１０３はホワイトバランス（以下、ＷＢ）制御回路であり、メモリ１０２に記憶された画像データに基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像データに対してＷＢ補正を行う。なお、このＷＢ制御回路１０３によるＷＢ補正値の算出方法の詳細については後述する。

１０４は、ＷＢ制御回路１０３によりＷＢ補正された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色マトリックス回路である。１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路である。１０６は、ＬＰＦ回路１０５で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。一方、ＷＢ制御回路１０３によりＷＢ補正された画像データは、輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙとは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ（γ）補正回路１０８にて階調補正が施される。階調補正が施されたＲＧＢ信号は、色輝度変換回路１０９においてＹＵＶ信号に変換され、さらにＪＰＥＧ圧縮回路１１０にて圧縮されて、外部記録媒体又は内部記録媒体に画像データとして記録される。

次に、ＷＢ制御回路１０３におけるＷＢ補正値の算出方法について詳細に説明する。先ず、図２のフローチャートを参照しながら、本露光時（ストロボ発光時）のＷＢ補正値である第１のＷＢ補正値（第１のホワイトバランス補正値）の算出処理について説明する。なお、第１のＷＢ補正値は、ストロボ発光時に撮影された画像データ（以下、ストロボ発光時画像データ）に基づいて算出される補正値である。

ステップＳ２０１において、ＷＢ制御回路１０３は、メモリ１０２に記憶されたストロボ発光時画像データを読み出し、当該ストロボ発光時画像データを任意のｍ個のブロックに分割する。ステップＳ２０２において、ＷＢ制御回路１０３は、ブロック（１〜ｍ）毎に、画素値を色毎に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出し、次の式を用いて色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ＷＢ制御回路１０３は、図３に示すような座標軸を持つグラフを用いて白検出を行う。ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の色を撮影したときの色評価値を表す。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

ステップＳ２０３において、ＷＢ制御回路１０３は、ステップＳ２０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、図３に示す予め設定される白検出範囲３０１に含まれるか否かを判定する。白検出範囲３０１は、ストロボ光が既知の光源であるために検出範囲が限定されている。ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれる場合、処理はステップＳ２０４に移行する。一方、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれない場合、処理はステップＳ２０４をスキップして、ステップＳ２０５に移行する。

ステップＳ２０４において、ＷＢ制御回路１０３は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。なお、ステップＳ２０３及びＳ２０４の処理は、次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合にはＳｗ［ｉ］を１とし、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合にはＳｗ［ｉ］を０とする。これにより、ステップＳ２０３、Ｓ２０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。

ステップＳ２０５において、ＷＢ制御回路１０３は、全てのブロックについて上記処理を行ったか否かを判定する。未処理のブロックが存在する場合、処理はステップＳ２０２に戻って上記式を繰り返す。一方、全てのブロックについて処理を行った場合、処理はステップＳ２０６に移行する。

ステップＳ２０６において、ＷＢ制御回路１０３は、得られた色平均値の積分値（ＳｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１）から、次の式を用いて、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ１、ＷＢＣｏｌ＿Ｇ１、ＷＢＣｏｌ＿Ｂ１）を算出する。
ＷＢＣｏｌ＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏｌ＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏｌ＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４
なお、第１のＷＢ補正値としてストロボ光のＷＢ補正値を既知のものとして予め設定してもよい。

次に、ストロボ非発光時のＷＢ補正値である第２のＷＢ補正値（第２のホワイトバランス補正値）の算出処理について説明する。なお、第２のＷＢ補正値は、ストロボ非発光時に撮影された画像データ（以下、ストロボ非発光時画像データ）に基づいて算出される補正値である。図４は、撮影制御を時系列に並べて示した図である。図４に示すように、ＳＷ１の押下前には、ライブビュー画像データが定期的に撮影され、ＳＷ１の押下時には、ＡＦロックとＡＥロックとが行われる。ＳＷ２の押下後には、テスト発光と本露光とが行われるが、テスト発光前の「外光」と表記されている時間に露光され、撮影された画像データを、ここではストロボ非発光時画像データとする。なお、ストロボ非発光時画像データとしては、本露光後に露光され、撮影された撮影画像データを用いてもよい。

第２のＷＢ補正値の算出処理は、上述した第１のＷＢ補正値の算出処理と同様の方法によって行われる。但し、第１のＷＢ補正値の算出処理とは、図３の３０２に示すような外光用の白検出範囲で処理する点で異なる。これはストロボ光が既知の光源であるのに対し、外光は既知の光源ではないため、ストロボ発光時の白検出範囲３０１のように限定できないからである。外光用の白検出範囲３０２は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲３０２は撮影駆動モードによって別設定できるものとする。第２のＷＢ補正値は、撮像駆動モードが異なる場合にも適応でき、例えば、過去に算出されたＥＶＦ（Electronic View Finder）撮影駆動モードのＷＢ補正値を使用することができる。但し、撮影駆動モードにより分光差分が生じる場合、ＷＢ補正回路１０３はＷＢ補正値を補正する。図５は、静止画撮影駆動モードにおけるＷＢ補正値とＥＶＦ撮影駆動モードにおけるＷＢ補正値とを示す図である。過去に撮影されたＥＶＦ撮影駆動モードのＷＢ補正値を用いて、静止画撮影駆動モードのＷＢ補正値を算出する場合、図５に示すように、ＷＢ制御回路１０３は、ＥＶＦ撮影駆動モードのＷＢ補正値（ＥｖｆＣｘ，ＥｖｆＣｙ）５０１をΔＣｘ、ΔＣｙだけ補正する。これにより、静止画撮影駆動モードのＷＢ補正値（ＣａｐＣｘ，ＣａｐＣｙ）５０２が算出される。

ここでは、背景が電球色光源のような低色温度光源の場合に、シーンの雰囲気を考慮して色味を残すように第２のＷＢ補正値を算出してもよい。例えば図６に示すように、第２のＷＢ補正値の色温度が低い場合（例えば、入力のＴ１）、色味を残すように制御することにより（例えば、出力のＴ´１）、電球色光源の赤味を残すような画像データを生成することができる。なお、上述した第１のＷＢ補正値や第２のＷＢ補正値の算出処理は、補正値算出手段の処理例である。

次に、図７のフローチャートを参照しながら、画像データの合成処理について説明する。ステップＳ７００において、ＷＢ制御回路１０３は、上記第１のＷＢ補正値を用いてストロボ発光時画像データから画像データＹｕｖ１を現像する。ステップＳ７０１において、ＷＢ制御回路１０３は、上記第２のＷＢ補正値を用いてストロボ非発光時画像データから画像データＹｕｖ２を現像する。ステップＳ７０２において、ＷＢ制御回路１０３は、ストロボ発光時画像データ、ストロボ非発光時画像データ、画像データＹｕｖ１、画像データＹｕｖ２をそれぞれｎ個のブロックに分割する。なお、画像データＹｕｖ１は第１の画像データの例であり、画像データＹｕｖ２は第２の画像データの例である。

ステップＳ７０３において、ＷＢ制御回路１０３は、ストロボ非発光時画像データのブロック（１〜ｎ）毎に、画素値を色毎に加算平均して色平均値（Ｒ２［ｉ］，Ｇ２［ｉ］，Ｂ２［ｉ］）を算出し、各ブロックの輝度値ａ［ｉ］を算出する。各ブロックの輝度値ａ［ｉ］の算出式は次の式に示す通りである。ここで、算出された各ブロックの輝度値ａ［ｉ］を、各ブロックの外光の輝度成分（以下、外光成分）とする。

ステップＳ７０４において、ＷＢ制御回路１０３は、ストロボ非発光時画像データから各ブロックの輝度値ａ［ｉ］を算出する処理と同様に、ストロボ発光時画像データのブロック（１〜ｎ）毎に、画素値を色毎に加算平均して色平均値（Ｒ１［ｉ］，Ｇ１［ｉ］，Ｂ１［ｉ］）を算出し、各ブロックの輝度値ｂ［ｉ］を算出する。ＷＢ制御回路１０３は、次の式に示すように、算出した各ブロックの輝度値ｂ［ｉ］から、対応するストロボ非発光時画像データの各ブロックの輝度値ａ［ｉ］を引くことにより、ブロック毎のストロボ光の輝度成分（以下、ストロボ成分）ｃ［ｉ］を算出する。
ｃ［ｉ］＝ｂ［ｉ］−ａ［ｉ］
なお、ステップＳ７０３、Ｓ７０４は、成分算出手段の処理例である。

ステップＳ７０５において、ＷＢ制御回路１０３は、次の式により、それぞれ対応するブロック毎のストロボ成分ｃ［ｉ］と外光成分ａ［ｉ］との比率を基に、画像データＹｕｖ１と画像データＹｕｖ２とを合成する際のブロック毎のＭｉｘ率α［ｉ］を算出する。
α［ｉ］＝ｃ［ｉ］／（ａ［ｉ］＋ｃ［ｉ］）
なお、ステップＳ７０５は、合成比率算出手段の処理例である。

ステップＳ７０６において、ＷＢ制御回路１０３は、ステップＳ７０５で求めたブロック毎のＭｉｘ率α［ｉ］の和である画面全体のＭｉｘ率Ｓｕｍαを次の式によって求める。

ステップＳ７０７において、ＷＢ制御回路１０３は、Ｓｕｍαの値に応じて、上記第１のＷＢ補正値と上記第２のＷＢ補正値とを混合する。ここで、Ｓｕｍαはブロック毎のＭｉｘ率の和であり、Ｍｉｘ率α［ｉ］はストロボ成分の割合を示すものであるため、Ｓｕｍαを求めることで画面全体に占めるストロボ成分と外光成分との比率を取得することができる。ＷＢ制御回路１０３は、このストロボ成分と外光成分との比率を混合比率として用いて第１のＷＢ補正値と第２のＷＢ補正値とを混合することにより、画面全体のＷＢ補正値を決定する。ＷＢ制御回路１０３は、ここで求めたＷＢ補正値をＭｉｘ後ＷＢ補正値として記憶しておく。

なお、別の方法としてＳｕｍαを用いずにＭｉｘ後ＷＢ補正値を求める方法についても説明しておく。ＷＢ制御回路１０３は、図３の白検出範囲３０２で示した白検出範囲を被写体領域に適用し、被写体領域の色温度を検出する。そしてＷＢ制御回路１０３は、被写体領域の色温度をＭｉｘ後ＷＢ補正値として用いる。

ステップＳ７０８において、ＷＢ制御回路１０３は、色温度補正係数を算出する。ＡＥでは被写体輝度を測光して適正露出となるように露出制御を行っている。被写体輝度を正しく測光するためには光源の色味を補正する必要がある。しかし、露出の決定は撮影前であり、光源の色温度の決定は撮影後に実行することから、ＡＥによって測光する時点では撮影された画像データの色温度を取得することができない。従って、測光では仮に太陽光の色温度のＷＢ係数を用いて輝度を算出して露出制御される。その後、ＷＢ制御回路１０３は、静止画撮影後に光源の色温度を正確に求め、測光時に仮に用いた、撮影環境の光源色を補正するための太陽光のＷＢ係数との差分を、輝度補正係数として算出している。色温度補正とは色温度の変動による輝度補正のことを指し、色温度補正係数は色温度の変動による輝度補正係数のことである。ＷＢ制御回路１０３は、ステップＳ７０７で求めたＭｉｘ後ＷＢ補正値と測光時に用いた太陽光のＷＢ補正値とに基づいて色温度補正係数ｋを次の式によって算出する。
色温度補正係数ｋ＝Ｍｉｘ後ＷＢ補正値／太陽光のＷＢ補正値
なお、ステップＳ７０８は、補正係数算出手段の処理例である。

ステップＳ７０９において、ＷＢ制御回路１０３は、ブロック毎のＭｉｘ率α［ｉ］を用いて画像データＹｕｖ１と画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。合成画像データＹｕｖ３における色評価値（Ｙ３［ｉ］,ｕ３［ｉ］,ｖ３［ｉ］）は、画像データＹｕｖ１における色評価値（Ｙ１［ｉ］,ｕ１［ｉ］,ｖ１［ｉ］）と、画像データＹｕｖ２における色評価値（Ｙ２［ｉ］,ｕ２［ｉ］,ｖ２［ｉ］）とを用いて、次の式のように算出される。

ここで、ブロック境界部分の色味ずれを緩和するため、ステップＳ７０５で画素補間処理を行うことによりブロック毎のＭｉｘ率α［ｉ］から画素毎のＭｉｘ率α´［ｊ］を算出してもよい。例えば、ＷＢ制御回路１０３は、画素補間処理としてバイリニア補間を用い、ブロック毎のＭｉｘ率α［ｉ］から画素毎のＭｉｘ率α´［ｊ］を算出する。このとき、ステップＳ７０９において、ＷＢ制御回路１０３は、画素毎のＭｉｘ率α´［ｊ］を用いて、画像データＹｕｖ１と画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。なお、合成画像データＹｕｖ３は第３の画像データの例である。

合成画像データＹｕｖ３における色評価値（Ｙ３［ｊ］,ｕ３［ｊ］,ｖ３［ｊ］）は、画像データＹｕｖ１における色評価値（Ｙ１［ｊ］,ｕ１［ｊ］,ｖ１［ｊ］）と、画像データＹｕｖ２における色評価値（Ｙ２［ｊ］,ｕ２［ｊ］,ｖ２［ｊ］）とを用いて、次の式のように算出される。

また、ステップＳ７０９においては、ストロボ発光時画像データにおける各ブロックの輝度に応じて、ブロック毎に画像合成処理を行うか行わないかを判定することにより、処理を可変にしてもよい。即ち、当該ブロックの輝度が低い場合や高い場合、当該ブロックに対して合成処理を行わず、後述する通常のホワイトバランス制御によって算出されるＷＢ補正値を用いて画像データの現像処理が行われる。一方、当該ブロックの輝度がそれ以外の場合、上述した画像データの合成処理と同様の処理が行われる。

さらにステップＳ７０９においては、ＷＢ制御回路１０３は、次の式に示すように、ステップＳ７０８で算出した色温度補正係数ｋを輝度成分Ｙ３にのみ適用して輝度補正を行う。

次に、通常のホワイトバランス制御方法について詳細に説明する。先ず、ＷＢ制御回路１０３は、上述したＷＢ補正値の算出処理と同様に、第１、第２のＷＢ補正値を算出する。次に、ＷＢ制御回路１０３は、第１、第２のＷＢ補正値のＭｉｘ（加重加算）処理を行う。Ｍｉｘ（加重加算）処理では、被写体に照射されている外光とストロボ光の照射比率によって加重加算が行われる。

ここで、図８を参照しながら、照射比率を演算するための被写体領域の切り出しについて説明する。ＷＢ制御回路１０３は、テスト発光する前に撮影された画像データ８０１を取得し、このテスト発光前に撮影された画像データ８０１からｍ×ｎのマトリックスで構成される輝度ブロックａ８０２を算出する。次に、テスト発光する前と同じ条件でストロボのテスト発光が行われることにより、ＷＢ制御回路１０３は、テスト発光時に撮影された画像データ８０３を取得し、同様にｍ×ｎのマトリックスで構成される輝度ブロックｂ８０４を取得する。これら、輝度ブロックａ８０２及び輝度ブロックｂ８０４は、撮像装置に備えられるＲＡＭ等に一時的に格納される。なお、テスト発光前に撮影された画像データ８０１の背景画像とテスト発光時に撮影された画像データ８０３の背景画像とは略変化がないものとする。従って、この２つの輝度ブロックａ８０２と輝度ブロックｂ８０４との差分データは、ストロボのテスト発光時における被写体領域の反射光となり、当該差分データより被写体位置情報ｃ８０５を取得することができる。

ＷＢ制御回路１０３は、このように算出された被写体位置情報ｃ８０５から値が１の被写体位置ブロックを取得し、取得した被写体位置ブロックにおけるストロボ発光時の輝度値Ｙ１とストロボ非発光時の輝度値Ｙ２とを算出する。ここでストロボ発光時とストロボ非発光時との露光条件が異なる場合、ＷＢ制御回路１０３は、露光条件を揃えてＹ１、Ｙ２を算出する。ＷＢ制御回路１０３は、このように算出したＹ１、Ｙ２の比を被写体に照射された光量比として、第１のＷＢ補正値、第２のＷＢ補正値を用いて光量比によるＭｉｘ処理（加重加算）を行う。そして、ＷＢ制御回路１０３は、Ｍｉｘ処理によって得られたＷＢ補正値をＷＢ処理に使用するＷＢ補正値として決定し、画像データを現像し、最終画像データとする。

なお、本実施形態では、ブロック毎に色味を補正し、輝度成分の補正は画面全体に適用しているがこれに限定されるものではない。例えば、ブロック毎にＭｉｘ率α［ｉ］を用いて第１のＷＢ補正値と第２のＷＢ補正値とを混合し、ブロック毎にＭｉｘ後のＷＢ補正値を求めることにより、ブロック毎に色温度補正係数ｋを求めることが可能である。

本実施形態によれば、被写体と背景に異なった光源が照射されているような場合に被写体と背景をともに適正な色味とする場合において、露出制御のための測光時と撮影時との色温度の変動に伴う輝度信号の補正をより正確に行うことが可能となる。

本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、カメラヘッド等）から構成されるシステムを適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ等）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：個体撮像素子、１０２：メモリ、１０３：ＷＢ制御回路、１０４：色マトリックス回路、１０５：ＬＰＦ回路、１０６：ＣＳＵＰ回路、１０７：ＲＧＢ変換回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：Ｙ生成回路、１１２：エッジ強調回路、１１３：制御回路、１１４：ＣＰＵ

Claims (10)

1. ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出手段と、
   前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを現像する現像手段と、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出手段と、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された前記合成比率に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とを混合する混合手段と、
   露出制御のための測光手段による測光時に撮影環境の光源色を補正するために使用されるホワイトバランス補正値と、前記混合手段により生成されたホワイトバランス補正値とに基づいて、色温度補正係数を算出する補正係数算出手段と、
   前記合成比率算出手段により算出された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成して第３の画像データを生成する合成手段と、
   前記補正係数算出手段により算出された前記色温度補正係数を用いて、前記合成手段により生成された前記第３の画像データの輝度成分を補正する補正手段とを有することを特徴とする画像処理装置。
2. 前記合成比率算出手段は、ブロック毎の前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率をブロック毎に算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比率算出手段は、画素補間処理により、ブロック毎の合成比率から画素毎の合成比率を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、各ブロックの輝度値に応じて、該当するブロックの合成処理を実行するか否かを制御することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記補正値算出手段は、光源に対して任意の色味を残すように前記第２のホワイトバランス補正値を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記合成比率算出手段により算出された前記合成比率に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との混合比率を算出する第１の混合比率算出手段を更に有し、
   前記混合手段は、前記第１の混合比率算出手段により算出された前記混合比率に従って、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とを混合することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記第１の混合比率算出手段は、ブロック毎の前記合成比率を画面全体について加算することにより前記混合比率を算出することを特徴とする請求項６に記載の画像処理装置。
8. 被写体領域の色温度を検出することにより、検出された色温度を前記混合手段により生成されたホワイトバランス補正値の代わりとして使用することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 画像処理装置によって実行される画像処理方法であって、
   ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出ステップと、
   前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを現像する現像ステップと、
   前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出ステップと、
   前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出ステップと、
   前記合成比率算出ステップにより算出された前記合成比率に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とを混合する混合ステップと、
   露出制御のための測光手段による測光時に撮影環境の光源色を補正するために使用されるホワイトバランス補正値と、前記混合ステップにより生成されたホワイトバランス補正値とに基づいて、色温度補正係数を算出する補正係数算出ステップと、
   前記合成比率算出ステップにより算出された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成して第３の画像データを生成する合成ステップと、
   前記補正係数算出ステップにより算出された前記色温度補正係数を用いて、前記合成ステップにより生成された前記第３の画像データの輝度成分を補正する補正ステップとを有することを特徴とする画像処理方法。
10. ストロボ発光時に撮影された画像データに基づいて第１のホワイトバランス補正値を算出するとともに、ストロボ非発光時に撮影された画像データに基づいて第２のホワイトバランス補正値を算出する補正値算出ステップと、
    前記第１のホワイトバランス補正値に基づいて、前記ストロボ発光時に撮影された画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記ストロボ非発光時に撮影された画像データから第２の画像データを現像する現像ステップと、
    前記ストロボ非発光時に撮影された画像データの輝度値と前記ストロボ発光時に撮影された画像データの輝度値とに基づいて、外光の輝度成分とストロボ光の輝度成分とを算出する成分算出ステップと、
    前記外光の輝度成分と前記ストロボ光の輝度成分とに基づいて、前記第１の画像データと前記第２の画像データとの合成比率を算出する合成比率算出ステップと、
    前記合成比率算出ステップにより算出された前記合成比率に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とを混合する混合ステップと、
    露出制御のための測光手段による測光時に撮影環境の光源色を補正するために使用されるホワイトバランス補正値と、前記混合ステップにより生成されたホワイトバランス補正値とに基づいて、色温度補正係数を算出する補正係数算出ステップと、
    前記合成比率算出ステップにより算出された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成して第３の画像データを生成する合成ステップと、
    前記補正係数算出ステップにより算出された前記色温度補正係数を用いて、前記合成ステップにより生成された前記第３の画像データの輝度成分を補正する補正ステップとをコンピュータに実行させるためのプログラム。

Images