JP5665436B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、ホワイトバランス補正を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

一般に、デジタルカメラやデジタルビデオカメラなど、撮像素子を用いる撮像装置は、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。このホワイトバランス制御には、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用するマニュアルホワイトバランス制御がある。また、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御もある。

ここで、従来のオートホワイトバランス制御について説明する。撮像素子から出力されたアナログ信号はＡ／Ｄ変換によってデジタル信号に変換され、図３に示すように複数のブロックに分割される。各ブロックはＲ、Ｇ、Ｂの色画素で構成されており、ブロック毎に、例えば以下の式（１）により、色評価値（Cx[i]，Cy[i]）を求める。

そして、算出した色評価値（Cx[i]，Cy[i]）が予め設定した白検出範囲に含まれる場合は、そのブロックが白であると判定する。そして、そのブロックに含まれる色画素の積分値（SumR，SumG，SumB）を算出して、以下の式（２）によりホワイトバランス係数（WBCo＿R，WBCo＿G，WBCo＿B）を算出する。

しかしながら、このようなオートホワイトバランス制御の場合、ストロボ光を発光するシーンにおいて画像内にストロボ光と異なる光源が存在する場合であっても、上記算出したホワイトバランス係数を画面全体に適用してホワイトバランス制御を行う。このため、各光源を共に適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、高色温度光源であるストロボ光を発光しているシーンで、環境光に電球色光源のような低色温度光源が存在する場合、ストロボ光にホワイトバランスを合わせると、環境光の低色温度光源にホワイトバランスが合わなくなってしまう。一方、環境光の低色温度光源にホワイトバランスを合わせると、ストロボ光にホワイトバランスが合わなくなってしまう。また、両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行ったとしても、両方の光源にホワイトバランスが合わず、ストロボ光で照射されている領域は青みを帯び、低色温度光源で照射されている領域は赤味を帯びてしまう。

そこで、このような課題に対して、例えば特許文献１に記載の技術では、ストロボ発光画像とストロボ非発光画像とを、任意の被写体領域ごとに比較してデータの比を求め、求めた比の値によりストロボ光の寄与度を判定する。そして、寄与度に応じてストロボ発光して露光させたときの映像データに対して領域ごとにホワイトバランス制御値を選択して、ホワイトバランス制御を行っている。

特許第３５４０４８５号公報

しかしながら、上述の特許文献１に開示された従来技術では、ホワイトバランス制御値を各領域で可変させた後に現像処理を行うため、色の再現などその他の制御がホワイトバランス制御値に対して適正にならなくなってしまう場合がある。このため、適正な色味を十分に再現できない。

本発明は前述の問題点に鑑み、ストロボ光を発光するシーンで適正な色味とする画像を生成できるようにすることを目的としている。

本発明の画像処理装置は、ストロボ光を発光した時に撮影された第１の画像データから前記ストロボ光に対応したホワイトバランス補正値を算出する第１の算出手段と、前記ストロボ光が発光されていない間に撮影された第２の画像データから外光に対応したホワイトバランス補正値を算出する第２の算出手段と、前記第１の算出手段により算出された第１のホワイトバランス補正値を用いて前記第１の画像データを補正して第１の現像画像データを生成するとともに、前記第２の算出手段により算出された第２のホワイトバランス補正値を用いて前記第１の画像データを補正して第２の現像画像データを生成する補正手段と、前記第１の画像データと前記第２の画像データとを複数のブロックに分割する分割手段と、前記第１の画像データの輝度値と前記第２の画像データの輝度値とから前記分割手段によって分割された各ブロックのストロボ成分と外光成分とを算出し、前記算出した各ブロックのストロボ成分と外光成分とを基に、前記各ブロックの合成比率を算出する合成比率算出手段と、前記合成比率算出手段により算出された合成比率により、前記補正手段によって生成された第１の現像画像データと第２の現像画像データとを合成する合成手段とを有することを特徴とする。

本発明によれば、ストロボ光を発光したシーンであっても、主被写体と背景とを共に適正な色味とする画像を生成し、ユーザーに好ましい画像を提供することができる。

実施形態に係るデジタルカメラの構成例を示すブロック図である。 画像を合成する処理手順の一例を示すフローチャートである。 Ｒ、Ｇ、Ｂの色画素で構成されているブロックを示す図である。 白検出を行うための色評価値の関係の一例を示す特性図である。 第１のＷＢ補正値を決定する処理手順の一例を示すフローチャートである。 撮影制御を時系列に並べた状態を示す図である。 駆動モードにより分光差分が生じる場合の関係を示す特性図である。 ストロボ光の発光前後における輝度の差の一例を示す図である。 低色温度光源の場合の入力と出力との関係を示す特性図である。

以下に、本発明の好ましい画像処理装置の実施形態について、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、固体撮像素子１０１はＣＣＤやＣＭＯＳ等からなる撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が固体撮像素子１０１上で結像されると、画像データ（画像信号）を生成して、メモリ１０２に記憶される。

制御部１１４は、画像全体が明るくなるようなシャッター速度、絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。そして、制御部１１４により計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量の情報が撮像制御回路１１３に送られ、各値に基づいてそれぞれ制御される。ホワイトバランス（ＷＢ）制御部１０３は、メモリ１０２に記憶された画像信号に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部１０３の詳細な構成及びＷＢ補正値の算出方法については、後述する。

色マトリックス回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Chroma Supress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧するための回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は、輝度信号生成回路１１１にも出力される。輝度信号生成回路１１１は、入力された画像信号から輝度信号Ｙを生成する。エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正回路１０８は、変換されたＲＧＢ信号に対して階調補正を施す。その後、色輝度変換回路１０９は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換し、さらに圧縮回路１１０は、ＪＰＥＧ方式などにより圧縮して、外部または内部の記録媒体１１５に画像信号として記録する。

次に、ＷＢ制御部１０３によるＷＢ補正値の算出方法について詳細に述べる。図５は、ＷＢ制御部１０３が第１の算出手段として機能し、ストロボ光を発光したときの第１のホワイトバランス補正値（第１のＷＢ補正値）を算出する処理手順の一例を示すフローチャートである。ここで、第１のＷＢ補正値とは、ストロボ光に対応したホワイトバランス制御により算出される補正値である。

まず、ステップＳ５０１において、メモリ１０２に記憶された画像信号（第１の画像データ）を読み出し、その画面を任意のｍ個のブロックに分割する。そして、ステップＳ５０２において、ｍ個のブロック毎に、画素値を各色に加算平均して色平均値（R[i]，G[i]，B[i]）を算出する。そして、以下の式（３）を用いてさらに色評価値（Cx[i]，Cy[i]）を算出する。

次に、ステップＳ５０３において、白検出を行い、白検出範囲内であるか否かを判断する。ここで、白検出する方法について説明する。

図４は、白検出を行うための色評価値の関係を示す特性図である。
図４（ａ）において、ｘ座標（Cx）の負方向は、高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Cy）は光源の緑成分の度合いを示しており、負方向になるにつれGreen成分が大きくなり、つまり蛍光灯であることを示している。ステップＳ５０３では、ステップＳ５０２で算出したｉ番目のブロックの色評価値（Cx[i]，Cy[i]）が、図４（ａ）に示す、予め設定した白検出範囲４０１に含まれるかどうかを判断する。

図４（ａ）に示す白検出範囲４０１は、ストロボ光が光源であるため検出範囲が限定されている。算出した色評価値（Cx[i]，Cy[i]）がこの白検出範囲４０１に含まれる場合には（ステップＳ５０３／ＹＥＳ）、そのブロックが白色であると判断する。そこで、ステップＳ５０４において、そのブロックの色平均値（R[i]，G[i]，B[i]）を積算する。一方、白検出範囲４０１に含まれない場合には（ステップＳ５０３／ＮＯ）、そのブロックの色平均値を加算せずにステップＳ５０５に進む。このステップＳ５０４の処理では、以下の式（４）を用いて色平均値（R[i]，G[i]，B[i]）を積算する。

ここで、式（４）において、色評価値（Cx[i]，Cy[i]）が白検出範囲４０１に含まれる場合はSw[i]を１に設定し、含まれない場合にはSw[i]を０に設定する。これにより、色評価値（R[i]，G[i]，B[i]）加算を行うか、行わないかの処理を行っている。

次に、ステップＳ５０５において、すべてのブロックについて色検出範囲内か否かを判断する処理を行ったかどうかを判断する。この判断の結果、未処理のブロックがある場合はステップＳ５０２に戻り、すべてのブロックの処理が終了している場合は次のステップＳ５０６に進む。このように、すべてのブロックの処理が終了した段階で、式（４）に示す積分値（SumR1，SumG1，SumB1）が決定される。

次に、ステップＳ５０６において、得られた色評価値の積分値（SumR1，SumG1，SumB1）から、以下の式（５）を用いて、第１のＷＢ補正値（WBCol＿R1，WBCol＿G1，WBCol＿B1）を算出する。

また、第１のＷＢ補正値としてストロボ光のＷＢ補正値を既知のものとしてあらかじめ設定してもよい。

次に、第２のホワイトバランス補正値（第２のＷＢ補正値）の算出方法について説明する。第２のＷＢ補正値は、ストロボ光が発光されていない状態で撮影された画像データ（第２の画像データ）より算出する。図６は、撮影制御を時系列に並べた状態を示す図である。
図６において、シャッターボタンが半押しされる状態（以下、ＳＷ１）の前ではライブビュー画像を定期的に撮影し、ＳＷ１の状態でＡＦロックとＡＥロックとを行う。また、シャッターボタンが全押しされる状態（以下、ＳＷ２）になると、テスト発光と本露光とを行うが、テスト発光前に撮像される「外光」と表記されている時間に露光した画像データを、本実施形態ではストロボ光が発光されていない時の画像データとする。なお、ストロボ光が発光されていない時の画像データとして、本露光後に露光した撮影画像データを用いてもよい。

第２のＷＢ補正値の算出処理は、ＷＢ制御部１０３が第２の算出手段として機能することにより行われ、上述の第１のＷＢ補正値の算出手順と同様である。第１のＷＢ補正値を算出する場合と異なる点は、図４（ｂ）に示す白検出範囲４０２のように、外光用の白検出範囲を用いる点である。これはストロボ光が既知の光源であるのに対し、外光は既知の光源ではないため、ストロボ光を発光した時の白検出範囲４０１のように限定できないからである。

図４（ｂ）に示す白検出範囲４０２は、予め異なる光源下で白を撮影し、算出した色評価値を黒体放射軸に沿ってプロットしたものである。なお、この白検出範囲４０２は撮影モードによって異なるように設定できるものとする。第２のＷＢ補正値は、撮像駆動モードが異なる場合にも適応でき、例えば、過去に算出されたＥＶＦ（Electronic View Finder）のＷＢ補正値を用いてもよい。ただし、駆動モードにより分光差分が生じる場合は、図７に示すようにΔCx、ΔCyを補正して、第２のＷＢ補正値を算出するようにする。

また、背景が電球色光源のような低色温度光源の場合に、シーンの雰囲気を考慮し、色味を残すように第２のＷＢ補正値を算出してもよい。例えば、図９に示すような関係により、入力される画像と出力する画像とで色温度が異なるようにする。このように、第２のＷＢ補正値の色温度が低い場合に色味を残すように制御することにより、例えば、電球色光源の赤味を残すような画像を生成することができる。

続いて、画像合成処理について図２のフローチャートを参照しながら説明する。図２は、ＷＢ制御部１０３により画像を合成する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、図５に示した手順により算出された第１のＷＢ補正値と第２のＷＢ補正値との差分が所定値以下であるか否かを判断する。この判断の結果、差分が所定値以下である場合は画像合成処理を行わず、ステップＳ２１１において、通常のホワイトバランス制御を行う。なお、通常のホワイトバランス制御については後述する。

一方、ステップＳ２０１の判断の結果、差分が所定値を超えている場合は、ステップＳ２０２において、被写体に動きがあるか否かを判断する。このとき、被写体の検出方法としては公知の技術を用い、動きがあるか否かについては、ストロボ光を発光した時の画像データとストロボ光を発光していない時の画像データとを比較し、所定量以上の差があるか否かにより判断する。この判断の結果、被写体に動きがある場合は、ステップＳ２１１に進む。

一方、ステップＳ２０２の判断の結果、被写体に動きがない場合は、ステップＳ２０３において、デジタルカメラ１００と被写体との距離が所定値を超えているか否かを判断する。このとき、被写体までの距離は、焦点距離を用いてもよく、予め被写体までの距離として入力されている値をそのまま用いてもよい。この判断の結果、所定値を超えている場合は、ステップＳ２１１に進む。一方、ステップＳ２０３の判断の結果、所定値以下である場合は、画像合成処理を行うため、ステップＳ２０４に進む。

次に、ステップＳ２０４において、メモリ１０２に記憶されている画像信号（第１の画像データ）に対し、上記第１のＷＢ補正値を用いてホワイトバランス補正を行い、第１の現像画像データとして現像画像信号Yuv1を生成する。そして、ステップＳ２０５において、同様に、上記第２のＷＢ補正値を用いてホワイトバランス補正を行い、第２の現像画像データとして現像画像信号Yuv2を生成する。次に、ステップＳ２０６において、メモリ１０２に記憶されている画像信号（ストロボ発光画像及びストロボ非発光画像）、現像画像信号Yuv1、及び現像画像信号Yuv2をそれぞれｎ個のブロックに分割する。

次に、ステップＳ２０７において、メモリ１０２に記憶されているストロボ非発光画像から、ブロックごとに画素値を各色に加算平均して色平均値（R2[i]，G2[i]，B2[i]）を算出する。そして、以下の式（６）を用いて各ブロックの輝度値a[i]を算出する。ここで、このように算出した各ブロックの輝度値a[i]を各ブロックの外光成分とする。

次に、ステップＳ２０８において、輝度値a[i]を算出する処理と同様に、本露光時のストロボ発光画像から、ブロックごとに画素値を各色に加算平均して色平均値（R1[i]，G1[i]，B1[i]）を算出する。そして、以下の式（７）を用いて各ブロックの輝度値b[i]を算出する。

そして、さらに算出した各ブロックの輝度値b[i]から、対応するストロボ非発光画像の各ブロックの輝度値a[i]を引くことにより、ブロックごとのストロボ成分c[i]を算出する。

次に、ステップＳ２０９において、ＷＢ制御部１０３は合成比率算出手段として機能し、それぞれ対応するブロックごとのストロボ成分c[i]と、外光成分a[i]との比率を算出する。そして、以下の式（８）により現像画像信号Yuv1と現像画像信号Yuv2とを合成する際のブロックごとの合成比率α[i]を算出する。

次に、ステップＳ２１０において、ブロックごとの合成比率α[i]を用いて現像画像信号Yuv1と現像画像信号Yuv2とを合成し、合成画像信号Yuv3を生成する。合成画像信号Yuv3の色評価値（Y3[i]，u3[i]，v3[i]）を算出する際に、現像画像信号Yuv1の色評価値（Y1[i]，u1[i]，v1[i]）と現像画像信号Yuv2の色評価値（Y2[i]，u2[i]，v2[i]）とを用いる。すなわち、以下の式（９）により合成画像信号Yuv3の色評価値（Y3[i]，u3[i]，v3[i]）を算出する。

ここで、ブロックの境界部分に生じる色味ずれを緩和するために、ステップＳ２０９でさらに画素補間処理を行うことにより、ブロックごとの合成比率α[i]から画素ごとの合成比率α'[j]を算出してもよい。例えば、画素補間処理としてバイリニア補間を用い、ブロックごとの合成比率α[i]から画素ごとの合成比率α'[j]を算出する。このとき、ステップＳ２１０では、画素ごとの合成比率α'[j]を用いて現像画像信号Yuv1と現像画像信号Yuv2を合成し、合成画像信号Yuv3を生成する。合成画像信号Yuv3の色評価値（Y3[j]，u3[j]，v3[j]）、を算出する際に、現像画像信号Yuv1の色評価値（Y1[j]，u1[j]，v1[j]）と現像画像信号Yuv2の色評価値（Y2[j]，u2[j]，v2[j]）とを用いる。すなわち、以下の式（１０）により合成画像信号Yuv3の色評価値（Y3[j]，u3[j]，v3[j]）を算出する。

また、ステップＳ２１０では、本露光時のストロボ発光画像におけるブロックごとの輝度値に応じて、ブロックごとに画像合成処理を行うか否かを判断してブロックごとに処理を可変にしてもよい。この場合、当該ブロックの輝度値が低い場合もしくは高い場合に、当該ブロックに対して画像合成処理を行わず、後述する通常のホワイトバランス制御で算出するＷＢ補正値を用いて現像処理を行う。そして、当該ブロックの輝度値がそれ以外の場合には、前述した画像合成処理と同様の処理を行う。

次に、ステップＳ２１１において行われる通常のホワイトバランス制御について詳細に説明する。まず、図５に示したＷＢ補正値を算出する処理と同様に、第１のＷＢ補正値及び第２のＷＢ補正値を算出する。次に、ＷＢ制御部１０３は第３の算出手段として機能し、第１のＷＢ補正値と第２のＷＢ補正値とで加重加算を行う。この加重加算では、被写体に照射されている外光とストロボ光との照射比率によって加重加算を行う。

ここで、照射比率の算出方法について説明する。まず、図８に示すように、テスト発光する前の画像データを取得し、このテスト発光する前の画像データからｍ×ｎのマトリックスで構成される輝度ブロックａを算出する。次に、図６に示すタイミングでフラッシュのテスト発光を行い、テスト発光している時の画像データを取得する。そして、テスト発光前と同じ条件で、ｍ×ｎのマトリックスで構成される輝度ブロックｂを同様に取得する。なお、この輝度ブロックａ、ｂは、デジタルカメラ１００のメモリ１０２等に一時的に格納される。

また、被写体の背景は、テスト発光前の画像データと、テスト発光時の画像データとで略変化がないものとする。したがって、輝度ブロックａと輝度ブロックｂとの差分データは、フラッシュのテスト発光時における被写体領域の反射光によるものとなり、その差分データより被写体位置情報ｃを取得することができる。

このように算出された被写体位置情報ｃから、被写体位置に相当するブロックを取得し、取得したブロックにおける本露光時の輝度Ｙ１とストロボ非発光時の輝度Ｙ２とを算出する。ここで、本露光時とストロボ非発光時とで露光条件が異なる場合は、露光条件を揃えて輝度Ｙ１、Ｙ２を算出する。このように算出された輝度Ｙ１、Ｙ２の比を被写体に照射された光量比（混合比率）とし、第１のＷＢ補正値及び第２のＷＢ補正値をこの混合比率により加重加算した第３のホワイトバランス補正値を算出する。このように得られた第３のＷＢ補正値を、ＷＢ制御部１０３でＷＢ処理に使用するＷＢ補正値と決定し、現像して最終的な現像画像データ（第３の現像画像データ）とする。

また、前述した画像合成処理において現像画像信号はＹｕｖ形式を用いたが、例えば、画像形式としてＲＧＢ形式を用いることもできる。この場合、ステップＳ２１０において用いた式（９）では、色評価値（Y[i]，u[i]，v[i]）の代わりに色評価値（R[i]，G[i]，B[i]）を用い、合成画像信号RGB3の色評価値（R3[i]，G3[i]，B3[i]）を算出する。

以上のように本実施形態によれば、ストロボ光に対応してＷＢ処理を行った画像と、外光に対応してＷＢ処理を行った画像とを、ブロックごとの合成比率に基づいて合成するようにした。これにより、ストロボ光を発光したシーンであっても、主被写体と背景とを共に適正な色味とする画像を生成し、ユーザーに好ましい画像を提供することができる。

（その他の実施形態）
本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムを適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３ ＷＢ制御部
１０４ 制御部

Claims (10)

1. ストロボ光を発光した時に撮影された第１の画像データから前記ストロボ光に対応したホワイトバランス補正値を算出する第１の算出手段と、
   前記ストロボ光が発光されていない間に撮影された第２の画像データから外光に対応したホワイトバランス補正値を算出する第２の算出手段と、
   前記第１の算出手段により算出された第１のホワイトバランス補正値を用いて前記第１の画像データを補正して第１の現像画像データを生成するとともに、前記第２の算出手段により算出された第２のホワイトバランス補正値を用いて前記第１の画像データを補正して第２の現像画像データを生成する補正手段と、
   前記第１の画像データと前記第２の画像データとを複数のブロックに分割する分割手段と、
   前記第１の画像データの輝度値と前記第２の画像データの輝度値とから前記分割手段によって分割された各ブロックのストロボ成分と外光成分とを算出し、前記算出した各ブロックのストロボ成分と外光成分とを基に、前記各ブロックの合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された合成比率により、前記補正手段によって生成された第１の現像画像データと第２の現像画像データとを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記合成比率算出手段は、補間処理により画素ごとの合成比率を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、輝度値が所定の条件を満たすブロックに対して合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の算出手段は、光源に対して色味を残すように前記第２のホワイトバランス補正値を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記第２の算出手段は、撮像駆動モードに応じて前記第２のホワイトバランス補正値を補正することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との差分が所定値以下である場合に、前記第１の画像データに含まれる被写体に照射されたストロボ光と外光とからホワイトバランス補正値の混合比率を算出し、前記算出した混合比率に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とから第３のホワイトバランス補正値を算出する第３の算出手段をさらに有し、
   前記補正手段は、前記第１の現像画像データと第２の現像画像データとを合成した画像データの代わりとして、前記第３の算出手段によって算出された第３のホワイトバランス補正値を用いて第３の現像画像データを生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記第１の画像データに含まれる被写体が動いている場合に、前記被写体に照射されたストロボ光と外光とからホワイトバランス補正値の混合比率を算出し、前記算出した混合比率に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とから第３のホワイトバランス補正値を算出する第３の算出手段をさらに有し、
   前記補正手段は、前記第１の現像画像データと第２の現像画像データとを合成した画像データの代わりとして、前記第３の算出手段によって算出された第３のホワイトバランス補正値を用いて第３の現像画像データを生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記第１の画像データに含まれる被写体との距離が所定量よりも大きい場合に、前記被写体に照射されたストロボ光と外光とからホワイトバランス補正値の混合比率を算出し、前記算出した混合比率に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値とから第３のホワイトバランス補正値を算出する第３の算出手段をさらに有し、
   前記補正手段は、前記第１の現像画像データと第２の現像画像データとを合成した画像データの代わりとして、前記第３の算出手段によって算出された第３のホワイトバランス補正値を用いて第３の現像画像データを生成することを特徴とする請求項１に記載の画像処理装置。
9. ストロボ光を発光した時に撮影された第１の画像データから前記ストロボ光に対応したホワイトバランス補正値を算出する第１の算出工程と、
   前記ストロボ光が発光されていない間に撮影された第２の画像データから外光に対応したホワイトバランス補正値を算出する第２の算出工程と、
   前記第１の算出工程において算出された第１のホワイトバランス補正値を用いて前記第１の画像データを補正して第１の現像画像データを生成するとともに、前記第２の算出工程において算出された第２のホワイトバランス補正値を用いて前記第１の画像データを補正して第２の現像画像データを生成する補正工程と、
   前記第１の画像データと前記第２の画像データとを複数のブロックに分割する分割工程と、
   前記第１の画像データの輝度値と前記第２の画像データの輝度値とから前記分割工程において分割された各ブロックのストロボ成分と外光成分とを算出し、前記算出した各ブロックのストロボ成分と外光成分とを基に、前記各ブロックの合成比率を算出する合成比率算出工程と、
   前記合成比率算出工程において算出された合成比率により、前記補正工程において生成された第１の現像画像データと第２の現像画像データとを合成する合成工程とを有することを特徴とする画像処理方法。
10. ストロボ光を発光した時に撮影された第１の画像データから前記ストロボ光に対応したホワイトバランス補正値を算出する第１の算出工程と、
    前記ストロボ光が発光されていない間に撮影された第２の画像データから外光に対応したホワイトバランス補正値を算出する第２の算出工程と、
    前記第１の算出工程において算出された第１のホワイトバランス補正値を用いて前記第１の画像データを補正して第１の現像画像データを生成するとともに、前記第２の算出工程において算出された第２のホワイトバランス補正値を用いて前記第１の画像データを補正して第２の現像画像データを生成する補正工程と、
    前記第１の画像データと前記第２の画像データとを複数のブロックに分割する分割工程と、
    前記第１の画像データの輝度値と前記第２の画像データの輝度値とから前記分割工程において分割された各ブロックのストロボ成分と外光成分とを算出し、前記算出した各ブロックのストロボ成分と外光成分とを基に、前記各ブロックの合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率により、前記補正工程において生成された第１の現像画像データと第２の現像画像データとを合成する合成工程とをコンピュータに実行させることを特徴とするプログラム。

Images