JP4402710B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置に関するものである。

従来、主要被写体の輝度を測定し、被写体に露出が合うような露光を行う撮像装置が知られている。
また、被写体輝度分布情報を元に、画面全体に対して白とびや黒つぶれがなく、ダイナミックレンジが広くなるような露光調節と階調変換処理を行う撮像装置が知られている。
特開２０００−１８４２７２号公報 特開２００４−２２９０５４号公報 特許第３４７８７６９号公報

しかしながら、主要被写体の輝度を測定し、被写体に露出が合うように露光を調節する撮像装置では、輝度差の大きなシーンでは主要被写体以外の部分が白とびや黒つぶれとなる可能性があり、画面全体として不自然な画像となってしまうおそれがある。
また、露光調節と階調変換処理とを行う撮像装置においては、人物が被写体となるような場合には、被写体の明るさが過剰となる或いは不足する場合があり、人物の顔の表情がわからなくなってしまう等の問題がある。
このように、従来の撮像装置においては、撮影者が所望する画像を得ることができない場合があった。

本発明は、上記問題を解決するためになされたもので、白とびや黒つぶれが少なく、ダイナミックレンジが広く、かつ、主要な被写体を適正な明るさとすることで、撮影者の望む画質の画像を提供することのできる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、本撮影の前に取得された画像中の主要な被写体を前記画像の画像信号から検出する被写体検出手段と、前記被写体に関する輝度情報を前記画像信号から取得する被写体輝度情報取得手段と、前記画像中の複数の領域について、各領域の輝度分布を算出する輝度分布算出手段と、前記輝度分布に基づいて露光に関する目標輝度を決定する目標輝度算出手段と、前記目標輝度と前記被写体の輝度との差が基準範囲外の場合に前記目標輝度を補正する目標輝度補正手段と、前記目標輝度または前記目標輝度補正手段により補正が実施された場合には補正後の前記目標輝度に基づいて本撮影の露光条件を決定する露光条件決定手段とを具備し、前記目標輝度補正手段は、前記基準範囲を決定する基準範囲決定手段と、前記目標輝度と前記被写体の輝度との差を用いて前記補正量を決定する補正量決定手段とを有する撮像装置を提供する。

本発明は、本撮影の前に取得された画像信号を複数の領域に分割し、各分割領域の輝度分布を算出する輝度分布算出手段と、前記輝度分布に基づいて露光に関する目標輝度を決定する目標輝度算出手段と、前記画像信号中の主要な被写体を検出する被写体検出手段と、前記被写体に関する輝度情報を取得する被写体輝度情報取得手段と、前記画像信号の注目画素に対して注目画素の近傍領域の情報をもとに局所的な階調変換処理を行う画像処理手段と、前記局所的な階調変換処理後の画像信号を用いて前記被写体の輝度評価値を算出する輝度評価値算出手段と、前記輝度評価値と前記目標輝度との差分が所定範囲外であった場合に、前記所定範囲内となるように、前記目標輝度を補正する目標輝度補正手段と、補正後の前記目標輝度に基づいて本撮影における露光条件を決定する露光条件決定手段とを具備する撮像装置を提供する。

本発明によれば、白とびや黒つぶれが少なく、主要な被写体を適正な明るさとするので、撮影者が望む画質の画像を得ることが可能となる。

以下に、本発明に係る撮像装置の実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示したブロック図である。本実施形態に係る撮像装置１は、例えば、デジタルカメラであり、撮像部２と画像処理装置３とを備えている。撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、及びストロボ１５を備えている。
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像装置においては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。

レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせ、ズーム駆動等が行われる。ストロボ１５は、撮影制御部１０７の制御により、被写体に光を照射可能となっている。
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は撮影制御部２０によって駆動制御される。
シャッタ１１はスルー画像撮影時には常に開いた状態とされる。このとき、ＣＣＤ１２の露光量制御はＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という。）撮影時にはシャッタ１１によりＣＣＤ１２への露光量が制御される。

シャッタ１１の後方には二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では撮像素子としてＣＣＤを用いているが、これに限らずＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の二次元撮像素子を使用できることはいうまでもない。

ＣＣＤ制御部１３はＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という。）からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。

ＣＣＤ１２により取得されたアナログ信号の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、画像処理装置３に入力される。
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、第１画像処理部２５、顔検出部２６、第２画像処理部２７、及び第３画像処理部２８等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。

ボディＣＰＵ２２は、撮像装置１が備える各部の制御を行う。
輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
ＡＦ演算部２４は、画像信号を所定の領域に分割し、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。

第１画像処理部２５、第２画像処理部２７、及び第３画像処理部２８は、撮像部２により取得された画像信号に対してＯＢ減算、色補正、階調変換、白黒・カラーモード処理、スルー画像処理といった各種の画像処理を行う。
顔検出部２６は、画像信号を元に、顔検出に適したサイズの画像を作成し、例えば、特開２００６−２２７９９５号公報に開示されているような公知の技術を用いて、処理対象画像中から顔の部品に類似する特徴量を持つ部分を探索して顔候補領域を抽出し、顔候補領域の種々の情報を用いて、顔か否かの判断を行い、顔領域の位置と大きさを検出する。

ここで、より具体的な顔検出方法は、例えば、P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. of CVPR, 2001に開示されているような、Viola-Jonesの顔検出方法である。Viola-Jonesの顔検出方法は、Adaboostの学習によって選択された顔検出に最適な矩形フィルターを顔検出対象画像に照合させ、顔を検出する方法である。前記矩形フィルターをカスケード型に配することで処理を高速化している。また、上記検出処理時に各矩形フィルターとの照合結果を積算し規格化したものを評価値とし、上記処理により顔が検出された場合には、検出した顔の信頼度をあらわす指標として顔検出結果とともに出力する。本実施形態では、この指標を顔検出信頼性と記載し、検出した顔の確からしさを表す指標として、顔検出結果を使用するシーケンスで使用する。

また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）制御部３２、フラッシュメモリ制御部３３、操作検出部３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。

圧縮部３１は後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧで圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像装置１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２はこのフラッシュメモリ４２に記憶されたプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、第１画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。

撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、コンパクトフラッシュ（登録商標）、ＳＤメモリカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像装置本体に対して着脱可能とされている。

ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像装置本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置でも構わない。

操作部４７は、撮像装置１の撮影指示を示すレリーズを検出するスイッチや、モードダイヤル、パワースイッチ、コントロールダイヤル、再生釦、メニュー釦、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。

このような構成を備える撮像装置１において、ユーザによってパワースイッチ（図示略）がオンされると、以下に示す表示シーケンスがボディＣＰＵ２２によって実行され、ボディＣＰＵ２２からの制御により各部が作動する。以下、表示シーケンスの動作フローについて図２を参照して説明する。

〔表示シーケンス〕
まず、ユーザによって電源がオンされると、ユーザによって設定された階調モードの判別が行われる（図２のステップＳＡ１）。本実施形態では、階調モードとして、オート、オフ、マニュアルの３つのモードが選択可能とされている。
オートは、処理対象とされる画像信号の特徴に合わせて、たとえば画像の位置ごとに適切な階調変換特性曲線を選定し、選定した階調変換特性曲線を用いて階調変換を行うなどして、より処理対象画像に適した階調変換を自動で行うモードである（第１設定モード）。オフは、予め決定されている所定の階調変換特性曲線を用いて画像信号に対し画面一律に階調変換を行うモードである（第２設定モード）。マニュアルは、上記オートによって得られた画像信号に対して、更に、ユーザが操作部４７を操作することで微調整を行うことが可能なモードである。

次に、撮像部２によるスルー画像の撮影が行われ、画像信号が取得される（ステップＳＡ２）。この画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、変換後の画像信号（以下「スルー画像信号」という。）が画像処理装置３内に入力される。

次に、スルー画像信号に対して第１画像処理部２５、第２画像処理部２７、第３画像処理部２８により、色変換処理、強調処理、階調変換処理、圧縮、リサイズ等の処理が行われ（ステップＳＡ３）、処理後のスルー画像信号が表示モニタ４６に表示される（ステップＳＡ４）。なお、スルー画像信号に対しても、後述する局所的な階調変換処理を実施すれば、よりスチル撮影に近い画像を得ることができる。

続いて、顔検出部２６によりスルー画像信号が顔検出に適した画像に変換され、所定の領域毎に顔の特徴量とのマッチング比較が行われ、顔の位置と大きさが検出される（ステップＳＡ５）。この結果、顔が検出された場合には、検出結果がモニタ表示される。
なお、顔検出に使用するスルー画信号は、上記もろもろの処理の途中で、顔検出に適した画像を格納しておき、使用する。
次に、顔検出の結果が前回の検出結果と変化したか否かを判断する（ステップＳＡ６）。この結果、検出結果が変動していた場合、例えば、前回のスルー画像信号においては顔検出がされたのに、今回のスルー画像信号においては検出されなかった場合や、逆に、前回のスルー画像信号においては顔検出がされなかったのに今回のスルー画像信号において検出された場合や、顔の位置や大きさが変化した場合にはステップＳＡ７に進む。

ステップＳＡ７では、被写体の距離が前回のスルー画像信号のときと変動しているか否かを判定する。この距離の変動は、例えば、以前にオートフォーカスを行って取得したスルー画像信号における合焦エリアと今回得られたスルー画像信号の同エリアにおけるコントラストの差分を算出し、その差分が所定値以上であれば、被写体の距離が変動していると判断する。この結果、被写体の距離が変動していた場合には、ステップＳＡ８に進む。

ステップＳＡ８では、オートフォーカスを行う。具体的には、オートフォーカス用に撮影とレンズ駆動を複数回繰り返し、撮影により得られた信号を複数のエリアに分割（例えば、縦１０分割、横１５分割）し、エリア毎のコントラストを算出し、コントラスト値が最大となる位置にレンズ１０を駆動することで、被写体への合焦動作を行う。
分割したエリアのうち、どのエリアのコントラストを重視して、レンズ駆動を行うかは、公知のアルゴリズムにより決定される。例えば、本実施形態では、直前の顔検出の結果を用いて、顔が検出された場合には、顔の位置情報、大きさ情報を元に顔に近いエリアを重視し、顔検出が検出されなかった場合には最も至近のエリアを重視する。そして、レンズ駆動終了後に、各撮影時のコントラスト情報とそのときのレンズ位置、最終駆動終了時のレンズ位置情報を元に、現在の撮影距離と焦点距離ならびに、各エリアの被写体距離を算出する。そして、この撮影距離、焦点距離、被写体距離を被写体距離分布情報として所定のメモリに記憶するとともに、重視したエリア並びにそのエリアのコントラスト値についてもメモリに記憶する。この処理が終了すると、ステップＳＡ９に進む。

一方、上記ステップＳＡ６において顔検出の結果が前回と今回とで変化していなかった場合、或いは、ステップＳＡ７において距離変動がなかった場合には、ステップＳＡ９に進む。

ステップＳＡ９では、スルー画像信号を用いて、被写体の輝度分布を算出するとともに、上記顔検出結果を用いて、被写体エリア、被写体周囲エリアの輝度を算出する。続くステップＳＡ１０、ＳＡ１１では、ステップＳＡ９で得られた被写体の輝度分布情報をもとに、スルー画中のシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）をメモリに記憶し、次回のスルー画露出時に反映する。なお、顔輝度分布算出に使用するスルー画信号は、上記もろもろの処理の途中で、顔輝度分布算出に適した画像を格納しておき、使用する。
ステップＳＡ１２では、操作検出部３４で撮影者によりレリーズボタンが押されたかどうかを判定し、レリーズボタンが押された場合には、ステップＳＡ１３に進み、スチル撮影を実施する。
そして、スチル撮影が終了した場合、或いは、ステップＳＡ１２においてレリーズボタンが押されていない場合には、ステップＳＡ１に戻り、ユーザによって電源がオフされるまで上述の処理を繰り返し実行する。

なお、上記表示シーケンスにおいて、システム構成等の関係により、ステップＳＡ４以降の処理に時間がかかるような場合には、上記ステップＳＡ１からＳＡ３の処理を他の処理と並行に行うこととしてもよい。

〔スチル撮影〕
次に、上記表示シーケンスのステップＳＡ１３において行われるスチル撮影について図３を参照して説明する。図３は、スチル撮影のシーケンスを示した図である。
まず、図３のステップＳＢ１において、直前に得られたスルー画像信号を用いて顔検出が行われる。ステップＳＢ２では、プリ撮影が必要であるか否かが判断される。この判断は、スチル撮影の直前に得られたスルー画像信号において、輝度が下限輝度値を下回っている画素数と、輝度が上限輝度値を上回っている画素数とをそれぞれカウントし、黒つぶれしている画素数および白とびしている画素数をカウントする。そして、黒つぶれしている画素数が所定の閾値以下であり、かつ、白とびしている画素数が所定の閾値以下であった場合には、十分なダイナミックレンジのスルー画像信号が得られているため、プリ撮影の必要がないと判断する。一方、上記条件を満たしていない場合、つまりいずれかの画素数が閾値以上であった場合には、プリ撮影の必要があると判断する。

また、プリ撮影における露光量は以下の条件式で決定される。
例えば、白とびの画素数が所定の閾値以上であった場合には、露光量を直近のスルー画像撮影に比べて所定量小さく設定する。一方、黒つぶれの画素数が所定の閾値以上であった場合には、露光量を直近のスルー画像撮影に比べて所定量大きく設定する。なお、白とびの画素数と黒つぶれの画素数とがいずれもそれぞれの閾値以上であった場合には、白とびを優先し、露光量を前回に比べて所定量小さく設定する。
なお、上記白とびか黒つぶれかを判断するための下限輝度値、上限輝度値、所定量、並びに所定の各閾値は、撮像装置１の性能等に応じて適宜設定することが可能である。

ステップＳＢ３では、上記ステップＳＢ２においてプリ撮影が必要であると判定されたか否かを判別し、プリ撮影が必要である場合には、上記露光条件にてプリ撮影が実施される（ステップＳＢ４）。撮像部２にて取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル化された後、撮像処理装置３内の各部へ転送される。

ステップＳＢ５では、オートフォーカスが行われる。オートフォーカス処理については、上述した表示シーケンスにおけるステップＳＡ８と同様であるので、説明を省略する。
ステップＳＢ６では、ステップＳＢ４において求められた撮影距離、現在のレンズの焦点距離を用いて以下の（１）式により撮影倍率を計算する。
撮影倍率＝焦点距離／撮影距離 （１）

ステップＳＢ７では、被写体の輝度分布を算出するとともに、オートフォーカスの結果並びに顔検出の結果を用いて、被写体エリア及び被写体周囲エリアの輝度を算出する。なお、この輝度分布算出処理についての詳細は後述する。
ステップＳＢ８では、ステップＳＢ７にて得られた被写体の輝度分布情報をもとに露光条件を決定するための目標輝度を求め、続くステップＳＢ９において、目標輝度に基づいて本撮影でのシャッタ速度、絞り、ＩＳＯ感度を決定し、これらのＡＰＥＸ値（ａｖ，ｔｖ，ｓｖ）を記憶する（露光条件決定手段）。

続いて、ステップＳＢ１０において、ストロボの発光の必要性の有無を判断する。例えば、逆光時や低輝度時には、ストロボの発光が必要であると判断する。この結果、ストロボ発光が必要でないと判断された場合には、ステップＳＢ１１において、絞り１０ａ、シャッタ１１、ＣＣＤ１２を制御し、ステップＳＢ９にて決定した露光条件で、撮影を行う。撮像部２において取得された画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。

また、ステップＳＢ１０において、ストロボの発光が必要であると判断された場合には、ステップＳＢ１２においてストロボ発光と撮像を行うプリ露光を実施し、得られたＣＣＤ出力データを読み出して所定の処理を行う。続くステップＳＢ１３では、ステップＳＢ１２にて得られたＣＣＤ出力データを元にストロボ光照射時の被写体の輝度分布情報を作成し、その値に基づいてストロボ発光量を演算する。そして、ステップＳＢ１４において、絞り１０ａ、シャッタ１１、ストロボ１５、ＣＣＤ１２等を制御して、ステップＳＢ６にて決定された露光条件と、ステップＳＢ１３で得られた発光量で、ストロボ発光および撮影を行う。撮像部２にて得られた画像信号は、ＣＣＤインターフェイス２１においてデジタル信号に変換され、画像処理装置３内の各部に転送される。

続くステップＳＢ１５では、第１画像処理部２５にて、画像信号に対して公知のＯＢ減算、ホワイトバランス補正等の補正が実施され、処理後の画像信号が第２画像処理部２７に転送される。
ステップＳＢ１６では、第２画像処理部２７において、第１画像処理部２５から転送されてきた画像信号に対して階調変換処理が実施され、処理後の画像信号が第３画像処理部２８に転送される。なお、ここで行われる階調変換処理の詳細については後述する。

ステップＳＢ１７では、第３画像処理部２８において、第２画像処理部２７から転送されてきた画像信号に対して色補正、ノイズ補正、ＹＣ変換、圧縮等の種々の画像処理が実施される。続く、ステップＳＢ１８において、画像処理の終了した画像が記録媒体４３に記録され、ステップＳＢ１９において、画像処理の終了した画像がビデオ信号出力部３６等を介して表示モニタ４６に表示される。なお、ここでは、階調変換後に、色補正、ノイズ補正、ＹＣ変換、圧縮等の種々の画像処理が行われているがこれらの実施順序は、処理の速度や画質性能に応じて入れ替え可能である。

〔輝度分布算出処理〕
次に、上記スチル撮影シーケンスのステップＳＢ７において実行される輝度分布算出処理について図４を参照して詳しく説明する（被写体検出手段・被写体輝度情報取得手段・輝度分布算出手段）。図４は、輝度分布算出処理のシーケンスを示した図である。

まず、ステップＳＣ１において、画像信号を図５に示すように複数の分割エリア（本実施形態では、縦３０分割、横２０分割）に分割し、分割エリア毎の輝度の平均値を算出する。なお、この分割輝度算出処理についての詳細は後述する。
このようにして、各分割エリアの輝度平均値が得られると、続くステップＳＣ２において、顔検出がされたか否かを判定する。具体的には、図３のステップＳＢ１において、スチル撮影の直前に得られたスルー画像信号で顔検出がされたか否かを判定する。この結果、顔検出がされていた場合には、ステップＳＣ３に進む。

ステップＳＣ３では、検出された顔位置と大きさに基づいて顔エリアを特定し、この顔エリアの輝度平均値を算出する。続くステップＳＣ４では、ステップＳＣ３において算出した顔エリアの輝度平均値を被写体輝度ｂｖ＿ｏとする。例えば、図５に示されるように顔エリアが特定された場合、この顔エリアに属する７×７のエリアの輝度平均値が被写体輝度ｂｖ＿ｏとなる。

続いて、ステップＳＣ５では、ステップＳＣ３で特定した顔エリアの情報に基づいて被写体周囲エリアの輝度を算出する。この被写体周辺エリアは、顔エリアを左右上下にそれぞれ４エリア拡張したエリアとする。例えば、図５に示されるように顔エリアが特定された場合には、この顔エリアを囲むように１５×１５の被写体周囲エリア（顔エリアを除く）が特定される。このようにして、被写体周囲エリアを特定すると、被写体周囲エリアの輝度平均値を算出し、これを被写体周囲輝度ｂｖ＿ｎｅａｒとする。

次に、ステップＳＣ６において、顔エリアの面積を求め、続くステップＳＣ７において顔エリアと撮影エリアの面積割合を以下の（２）式を用いて算出する。
面積割合＝顔エリア面積／撮影エリア面積＊１００（％） （２）
例えば、図５に示される画像の場合、面積割合は以下のように求められる。
面積割合＝７×７×分割エリア一個の面積／（３０×２０×分割エリア一個の面積）
＝８．１％

他方、上記ステップＳＣ２において、顔検出がされなかったと判定された場合には、ステップＳＣ８に進み、被写体までの距離が計測可能か否かを判断する。換言すると、図３のステップＳＢ５においてオートフォーカス可能であったかを判定する。この結果、オートフォーカス可能だった場合には、測距可能であると判断し、ステップＳＣ９に進む。

ステップＳＣ９では、測距時に重視したエリアである測距点を特定し、続くステップＳＣ１０にて測距点近辺の所定の大きさのエリアを測距エリアとして特定し、ステップＳＣ１１にて測距エリアに属するエリアの輝度平均値を算出し、ステップＳＣ１２にて測距エリアの輝度平均値を被写体輝度ｂｖ＿ｏ及び被写体周囲輝度ｂｖ＿ｎｅａｒとする。
ここで、ｂｖ＿ｎｅａｒ＝ｂｖ＿ｏとする理由は、測距点情報によって被写体の位置についてはわかるが、被写体の大きさについては正確な情報が得られないことから、処理上問題のない輝度に設定するためである。図６は、測距点および測距エリアの一例を示した図である。

そして、続くステップＳＣ１３において、撮影エリアに対する測距エリア（被写体エリア）の面積割合を撮影倍率を用いて算出する。例えば、面積割合は以下の（３）式を用いて求められる。

面積割合＝測距エリア（被写体エリア）面積／撮影エリア面積 （３）
被写体エリア面積＝（被写体倍率×２００ｍｍ）^２
被写体倍率＝焦点距離／距離

他方、ステップＳＣ８において測距不可と判断した場合には、ステップＳＣ１４に進む。ステップＳＣ１４では、図７に示されるように撮影エリアの中央に所定の大きさの中央エリアを特定し、中央エリアの輝度平均値を算出する。本実施形態では、中央エリアを１３×１３のエリアで構成している。
ステップＳＣ１５では、中央エリアの輝度平均値を被写体輝度ｂｖ＿ｏ及び被写体周囲輝度ｂｖ＿ｎｅａｒとする。
そして、続くステップＳＣ１６において、撮影エリアに対する中央エリア（被写体エリア）の面積割合を算出する。この面積割合は上述した（２）式を用いて求められる。

このようにして、顔検出された場合、又は顔検出はされないが測距が可能であった場合、又は顔検出及び測距が不可能であった場合について、被写体輝度ｂｖ＿ｏ、被写体周囲輝度ｂｖ＿ｎｅａｒ、及び面積割合について算出すると、当該輝度分布算出処理を終了する。

次に、上述した輝度分布算出処理のステップＳＣ１において実行される分割輝度算出処理について図８を参照して具体的に説明する。
図８は、分割輝度算出処理のシーケンスを示した図である。
まず、ステップＳＤ１において、スチル撮影を行う直前に取得されたスルー画像信号の撮影エリアを格子状に分割し、複数の分割エリアに区分し、各分割エリアの輝度平均値を算出する。本実施形態においては、図５に示されるように撮影エリアを縦３０分割、横２０分割する。また、輝度平均値は、各分割エリアの階調変換前の画像信号のグリーンの出力信号の平均値とする。

続いて、ステップＳＤ２において、各分割エリアの画像信号のグリーンの出力信号のエリア平均値をプリ撮影時の露光条件を用いて演算し、ＡＰＥＸ単位での各分割エリアの輝度信号に変換する。
例えば、図５において分割エリア（ｉ，ｊ）の輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）は、以下の（４）式で与えられる。

ｄ＿ｂｖ＿ｓ（ｉ，ｊ）＝ｌｏｇ２（Ｇ（ｉ，ｊ）／ｒｅｆ） （４）

上記（４）式において、Ｇ（ｉ，ｊ）は分割エリア（ｉ，ｊ）でのグリーンの出力信号平均値である。ｒｅｆは、基準とされるグリーンの出力信号であり、所定の輝度の光源を、所定の絞り値、シャッタ速度、感度で撮影したときのグリーン出力平均値であり、あらかじめカメラごとに設定されている。

続く、ステップＳＤ３では、図３に示したスチル撮影シーケンスのステップＳＢ３においてプリ撮影を行ったか否かを判定する。プリ撮影がなかった場合には、ステップＳＤ２で得た輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）にスルー画像撮影時のＡＰＥＸ値を反映させ、最終的な各分割エリアの輝度信号を算出する（ステップＳＤ１０）。
即ち、プリ撮影がなかった場合には、スルー画像として十分なダイナミック画像が取得できているとみなせることから、上記ステップＳＤ２で得た輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）にスルー画像撮影時のＡＰＥＸ値を反映させることで、信頼性の高い輝度値を算出することが可能となる。各分割エリアの輝度信号は、以下の（５）式で得られる。
ｂｖ（ｉ，ｊ）
＝（ａｖ＿ｓ）＋（ｔｖ＿ｓ）−（ｓｖ＿ｓ）＋（ｄ＿ｂｖ＿ｓ（ｉ，ｊ）） （５）
上記（５）式において、（ａｖ＿ｓ）は絞り値、（ｔｖ＿ｓ）はシャッタ速度、（ｓｖ＿ｓ）は感度に相当するＡＰＥＸ値である。

一方、ステップＳＤ３において、プリ撮影が行われた場合には、上記輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）を算出したときのスルー画像は、白とびや黒つぶれが生じていたと判断でき、上記ｄ＿ｂｖ＿ｓ（ｉ，ｊ）は信頼性の高い値でないと判断できる。従って、この場合には、プリ撮影によって取得した画像信号の情報も用いて、上記ステップＳＤ２において得た輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）を補正或いは変更することにより、信頼性の高い輝度を算出する。

具体的には、ステップＳＤ４において、上述した図３のステップＳＢ４にて実施されたプリ撮影の画像信号の撮影エリアを格子状に分割し、複数の分割エリアに区分し、各分割エリアのグリーンの出力信号の輝度平均値を得る。続いて、ステップＳＤ５において、各分割エリアの輝度平均値をプリ撮影時の露光条件を用いて演算し、ＡＰＥＸ単位での各分割エリアの輝度信号に変換する。
例えば、図５において分割エリア（ｉ，ｊ）の輝度信号ｄ＿ｂｖ＿ｐ（ｉ，ｊ）は、上述したスルー画像のときと同様に求められる。

次に、ステップＳＤ６では、ステップＳＤ２において得られたスルー画像信号の輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）とステップＳＤ５にて得たプリ撮影時の画像信号の輝度信号ｄ＿ｂｖ＿ｐ（ｉ，ｊ）とを分割エリア毎に比較する。この結果、スルー画像信号の輝度信号ｄ＿ｂｖ＿ｓ（ｉ，ｊ）の絶対値がプリ撮影時の画像信号の輝度信号ｄ＿ｂｖ＿ｐ（ｉ，ｊ）の絶対値よりも大きかった場合には、ステップＳＤ７に進み、当該分割エリアのスルー画像信号の輝度信号をプリ撮影時の画像信号の輝度信号ｄ＿ｂｖ＿ｐ（ｉ，ｊ）に置き換える。つまり、このような分割エリアについては、プリ撮影時の輝度信号を採用する。更に、ステップＳＤ８において、スルー画像撮影時の絞り値、シャッタ速度、ＩＳＯ感度のＡＰＥＸ値（ａｖ＿ｓ）、（ｔｖ＿ｓ）、（ｓｖ＿ｓ）をプリ撮影時のこれらのＡＰＥＸ値（ａｖ＿ｐ）、（ｔｖ＿ｐ）、（ｓｖ＿ｐ）に置き換える。
一方、ステップＳＤ６において、上記条件を満たさなかった場合には、輝度信号の置き換えは行わず、ステップＳＤ９に進む。

ステップＳＤ９では、全ての分割エリアについて輝度信号の比較が終了したか否かを判定する。この結果、比較が終了していなければ、ステップＳＤ６に戻り未比較の各分割エリアについて上記ステップＳＤ６以降の処理を行う。一方、全ての分割エリアについて比較が終了した場合には、ステップＳＤ１０に進み、上記（５）式に従って各分割エリアの輝度信号を算出する。
このように、露光条件におけるＡＰＥＸ値を反映させることで、露光条件によらない定量化された被写体の輝度信号を得ることが可能となる。

上述したように、分割輝度算出処理が実行されることにより、プリ撮影が行われていた場合には、スルー画像信号とプリ撮影にて得られた画像信号との双方を比較してより適切な画像信号に基づいて各分割エリアの輝度信号を得ることが可能となる。これにより、輝度信号のダイナミックが広くなり、信頼性の高い輝度信号を得ることが可能となる。
また、このような信頼性の高い輝度信号を用いて、図４に示した輝度分布算出処理を行うことにより、信頼性の高い被写体輝度ｂｖ＿ｏ、被写体周囲輝度ｂｖ＿ｎｅａｒを得ることが可能となる。

〔測光演算処理〕
次に、図３に示したスチル撮影シーケンスのステップＳＢ８において実行される測光演算処理について詳しく説明する。この測光演算処理は、図９に示す目標輝度算出処理（目標輝度算出手段）と図１２に示す目標輝度補正処理（目標輝度補正手段）とから構成されている。目標輝度算出処理は、上述の分割輝度算出で得られたスルー輝度信号に基づいて、白とび黒つぶれしないようバランスをとり、露光条件を決定するための最適な目標輝度を決定する処理である。換言すると、本処理では、白とびや黒つぶれが発生しにくい目標輝度を決定する。
以下、目標輝度算出処理について図９〜図１１を参照して説明する。図９は、目標輝度算出処理のシーケンスを示した図である。

〔目標輝度算出処理〕
まず、ステップＳＥ１において、撮影エリア全体の輝度平均値ｂｖ＿ａｖｇを算出する。これは、上述した分割輝度算出処理（図８参照）のステップＳＤ１０において得られた各分割エリアの輝度信号の平均を算出することで得られる。
ステップＳＥ２では、ダイナミックレンジスレッシュを設定する。このダイナミックレンジスレッシュは、画像における白とびと黒つぶれとを判別するために利用される閾値である。本実施形態では、予め登録されている値を設定する。例えば、白とびを判別するための上限閾値ｄ＿ｔｈ＿ｈｉｇｈ、黒つぶれを判別するための下限閾値ｄ＿ｔｈ＿ｌｏｗは以下のように設定される。

ｄ＿ｔｈ＿ｈｉｇｈ＝１．５
ｄ＿ｔｈ＿ｌｏｗ＝−２．０

ステップＳＥ３では、上記上限閾値を用いて白とびしている（ハイライト輝度）画素数がカウントされる。具体的には、以下の（６）式を満たす分割エリアの数をカウントする。
ｂｖ（ｉ，ｊ）＞ｂｖ＿ａｖｇ＋ｄ＿ｔｈ＿ｈｉｇｈ （６）
（６）式において、輝度信号ｂｖ（ｉ，ｊ）は分割エリア（ｉ，ｊ）の輝度信号、ｂｖ＿ａｖｇは撮影エリア全体の輝度平均値、ｄ＿ｔｈ＿ｈｉｇｈは上限閾値である。

ステップＳＥ４では、上記下限閾値を用いて黒つぶれしている（ノイズ輝度）画素数がカウントされる。具体的には、以下の（７）式を満たす分割エリアの数をカウントする。
ｂｖ（ｉ，ｊ）＜ｂｖ＿ａｖｇ＋ｄ＿ｔｈ＿ｌｏｗ （７）

ステップＳＥ５では、上記ステップＳＥ３における白とびのカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１がゼロであるか否かを判定する。この結果、カウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１がゼロであった場合、つまり、白とびの分割エリアが存在していなかった場合には、ステップＳＥ６に進み、シフト値を−１に設定する。一方、カウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１がゼロでなかった場合、つまり、白とびの分割エリアが存在していた場合には、ステップＳＥ７に進み、シフト値を＋１に設定する。ここで、シフト値については、後述する。

ステップＳＥ８では、白とびを判定するための上限閾値に更にステップＳＥ６またはＳＥ７において設定されたシフト値ｓｈｉｆｔを加算することにより、新たな白とび判別閾値を設定し、この白とび判別閾値を用いて白とびの分割エリア数をカウントする。具体的には、以下の（８）式を満たす分割エリアの数をカウントする。
ｂｖ（ｉ，ｊ）＞ｂｖ＿ａｖｇ＋ｓｈｉｆｔ＋ｄ＿ｔｈ＿ｈｉｇｈ （８）

ステップＳＥ９では、黒つぶれを判定するための下限閾値ｄ＿ｔｈ＿ｌｏｗに更にステップＳＥ６またはＳＥ７において設定されたシフト値ｓｈｉｆｔを加算することにより、新たな黒つぶれ判別閾値を設定し、この黒つぶれ判別閾値を用いて黒つぶれの分割エリア数をカウントする。具体的には、以下の（９）式を満たす分割エリアの数をカウントする。
ｂｖ（ｉ，ｊ）＜ｂｖ＿ａｖｇ＋ｓｈｉｆｔ＋ｄ＿ｔｈ＿ｌｏｗ （９）

次に、ステップＳＥ１０では、ステップＳＥ３で得たカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１とステップＳＥ８で得たカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ２との差分の絶対値、並びに、ステップＳＥ４で得たカウント値ｃｏｕｎｔ＿ｄｌｏｗ１とステップＳＥ９で得たカウント値ｃｏｕｎｔ＿ｄｌｏｗ２との差分の絶対値がいずれも所定値（本実施形態では、「３」）未満であるかを判定する。

この結果、差分の絶対値がいずれも所定値未満であった場合には、ステップＳＥ１１に進み、シフト値ｓｈｉｆｔを現在設定されている値の２倍に設定し、ステップＳＥ１２並びにステップＳＥ１３において、このシフト値を用いた新たな白つぶれ判別閾値、新たな黒つぶれ判別閾値を設定し、再度、白つぶれの分割エリアの数並びに黒つぶれの分割エリアの数をカウントし、ステップＳＥ１４に進む。一方、差分の絶対値がいずれも所定値以上であった場合には、上記ステップＳＥ１１〜ＳＥ１３を行わずに、そのままステップＳＥ１４に進む。ステップＳＥ１４では、上記ステップＳＥ１からＳＥ１３において得られた結果を用いて、目標輝度ｂｖ＿ｐを算出する。ここで、目標輝度ｂｖ＿ｐは、白とびも黒つぶれも発生しにくい輝度である。

以下、ステップＳＥ１４にて行われる目標輝度の算出方法について図を参照して説明する。
まず、ステップＳＥ３、ＳＥ４、ＳＥ８、ＳＥ９において得られた各カウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１、ｃｏｕｎｔ＿ｄｌｏｗ１、ｃｏｕｎｔ＿ｄｈｉｇｈ２、ｃｏｕｎｔ＿ｄｌｏｗ２、及びステップＳＥ７またはＳＥ６において設定したシフト値ｓｈｉｆｔを用いて、図１０に示すようなグラフを作成する。

図１０において、横軸は輝度ｂｖ、縦軸はカウント値である。まず、撮影エリア全体の輝度平均値ｂｖ＿ａｖｇのライン上にカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１、ｃｏｕｎｔ＿ｄｌｏｗ１をとり、輝度平均値ｂｖ＿ａｖｇにシフトｓｈｉｆｔを加算したライン上にカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ２、ｃｏｕｎｔ＿ｄｌｏｗ２をとる。ここで、図１１は、シフト値ｓｈｉｆｔを１に設定した場合、つまり図９のステップＳＥ５において、白とびの分割エリアが存在していた場合のグラフを示している。なお、シフト値ｓｈｉｆｔを−１に設定した場合には、図１０において、ｂｖ＿ａｖｇ＋ｓｈｉｆｔのラインがｂｖ＿ａｖｇの左側にくることとなる。

次に、上記グラフにおいて白とびに関するカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１、ｃｏｕｎｔ＿ｄｈｉｇｈ２を直線で結ぶとともに、黒とびに関するカウント値ｃｏｕｎｔ＿ｄｌｏｗ１、ｃｏｕｎｔ＿ｄｌｏｗ２を直線で結ぶ。そして、ちょうどこの直線の交点がくる輝度を目標輝度ｂｖ＿ｐとして決定する。

このように、目標輝度ｂｖ＿ｐを決定することで、白とびの分割エリア数と黒つぶれの分割エリア数とのバランスがとれた目標輝度ｂｖ＿ｐを決定することが可能となる。
なお、図９のステップＳＥ１０において判断処理を設けているのは、例えば、図１１に示されるように、白とびに関するカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ１、ｃｏｕｎｔ＿ｄｈｉｇｈ２の差分及び黒とびに関するカウント値ｃｏｕｎｔ＿ｄｌｏｗ１、ｃｏｕｎｔ＿ｄｌｏｗ２の差分が小さかった場合には、交点を特定することが不可能であり、適切な目標輝度ｂｖ＿ｐを決定できなくなってしまう。このような場合には、図９のステップＳＥ１１〜ＳＥ１３の処理を行うことで、シフトｓｈｉｆｔを２倍に設定し、このときのカウント値ｃｏｕｎｔ＿ｄｈｉｇｈ３，ｃｏｕｎｔ＿ｄｌｏｗ３を用いることで、上述と同様に目標輝度ｂｖ＿ｐを決定する（図１１の破線参照）。

なお、上記目標輝度ｂｖ＿ｐの決定では、撮影エリア全体の輝度平均値ｂｖ＿ａｖｇに対して目標輝度ｂｖ＿ｐがあまりにもかけ離れてしまうのは好ましくないので、輝度平均値ｂｖ＿ａｖｇと目標輝度ｂｖ＿ｐとの差が所定値（本実施形態では、｜１．５｜）以上となった場合には目標輝度ｂｖ＿ｐの値を制限し、所定の範囲内としている。

上述した説明を演算式にて示すと以下の（１０）式となる。
ｂｖ＿ｐ＝ｂｖ＿ａｖｇ＋ｓｈｉｆｔ×（ｃｏｕｎｔ＿ｄｌｏｗ１−ｃｏｕｎｔ＿ｄｈｉｇｈ１）／（ｃｏｕｎｔ＿ｄｈｉｇｈ２−ｃｏｕｎｔ＿ｄｈｉｇｈ１−ｃｏｕｎｔ＿ｄｌｏｗ２＋ｃｏｕｎｔ＿ｄｌｏｗ１） （１０）
ただし、｜ｂｖ＿ｐ−ｂｖ＿ａｖｇ｜＞１．５の場合には、ｂｖ＿ｐ＝ｂｖ＿ａｖｇ＋１．５またはｂｖ＿ｐ＝ｂｖ＿ａｖｇ−１．５とする。

〔目標輝度補正処理〕
このようにして、目標輝度ｂｖ＿ｐを決定すると、続いて、上記目標輝度を補正する目標輝度補正処理（目標輝度補正手段）を実行する。この処理は、例えば、上述の目標輝度算出処理において決定した目標輝度ｂｖ＿ｐを被写体輝度ｂｖ＿ｏとの関係で補正するもので、目標輝度ｂｖ＿ｐと被写体輝度ｖｂ＿ｏとの輝度差が大きい場合には、被写体の条件に応じて目標輝度ｂｖ＿ｐを調整するものである。これにより、被写体輝度とのバランスがとれた目標輝度とすることが可能となる。

以下、目標輝度補正処理について図１２を参照して説明する。図１２は、目標輝度補正処理のシーケンスを示した図である。
まず、ステップＳＦ１、ＳＦ２において、目標輝度ｂｖ＿ｐの補正係数および補正上限値ｂｖ＿ｈｏｓ＿ｍａｘ、補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎを設定する。具体的には、図１３に示すような補正係数テーブルを予め保有しており、この補正係数テーブルを参照することにより、補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈおよび上下限値を設定する。図１３に示すように、本実施形態では、図３のステップＳＢ１において、顔が検出された場合には以下の（１１−１）、（１１−２）式に基づいて補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈを設定する。
ｋ＿ｌｏｗ＝０．８５×（ｆａｃｅ＿ｌ）／１００ （１１−１）
ｋ＿ｈｉｇｈ＝０．９×（ｆａｃｅ＿ｌ）／１００ （１１−２）
上記（１１−１）、（１１−２）式において、ｆａｃｅ＿ｌは顔検出の信頼性である。例えば、上述したViola-Jonesの顔検出方法において検出処理時に各矩形フィルターとの照合結果を積算し規格化した評価値を上記ｆａｃｅ＿ｌとして用いる。
また、同様に補正係数テーブルから、上限値ｂｖ＿ｈｏｓ＿ｍａｘを１．５、下限値ｂｖ＿ｈｏｓ＿ｍｉｎを−２と設定する。

また、顔検出は不可能であったが測距は可能であった場合には補正係数ｋ＿ｌｏｗを０．６、ｋ＿ｈｉｇｈを０．７に設定するとともに、上限値ｂｖ＿ｈｏｓ＿ｍａｘを１．０、下限値ｂｖ＿ｈｏｓ＿ｍｉｎを−０．７５と設定する。
顔検出も測距も不可能であった場合には、補正係数ｋ＿ｌｏｗを０．４、ｋ＿ｈｉｇｈを０．５に設定するとともに、上限値ｂｖ＿ｈｏｓ＿ｍａｘを０．５、下限値ｂｖ＿ｈｏｓ＿ｍｉｎを−０．５と設定する。ここで本実施形態では補正係数はｋ＿ｌｏｗ、ｋ＿ｈｉｇｈと二種類用い、後述のステップＳＦ５，ＳＦ７で選択使用している。

このように、被写体検出の信頼精度が高いほど補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈを高く設定することとしている。このように補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈを設定することで、被写体の検出精度の信頼性が高い場合には、この被写体輝度に応じた適切な補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈを設定することで最適な輝度の画像を取得することが可能となる。また、被写体の検出精度の信頼性が低い場合には、それなりの適度な補正係数ｋとすることで、最適な輝度とはいかないまでもある程度の輝度調整がとれた画像を取得することが可能となる。さらに、本実施形態では、補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈを用意し、後述のステップＳＦ４，ＳＦ６の判断結果に基づいて、被写体が目標輝度に比べて明るい場合と暗い場合に応じて使い分けている。この補正係数ｋ＿ｌｏｗ、ｋ＿ｈｉｇｈの値は、後の処理で行われる階調変換特性等を考慮して決定された値となっている。本実施形態では後の処理の階調変換特性が暗いものを明るくする傾向があるので、階調変換特性での変化（暗いものを明るくする）を見込んで、k＿ｌｏｗ＜ｋ＿ｈｉｇｈとし、被写体輝度が目標輝度よりも暗い場合には少し補正係数を小さくしている。

次に、ステップＳＦ３において、下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈを設定する（基準範囲設定手段）。この下限閾値および上限閾値は、目標輝度ｂｖ＿ｐと被写体輝度ｂｖ＿ｏとの差分がどの程度離れていた場合に上述した補正係数ｋを用いて目標輝度ｂｖ＿ｐを補正するかという閾値である。本実施形態では、下限閾値ｏ＿ｔｈ＿ｌｏｗを−１．０、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．５に設定する。
ここで、上記下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈは、撮像素子のダイナミックレンジやノイズ特性、後の処理で行われる階調変換特性等を考慮して決定された値となっている。また、一般的に露出の狙いの出力レベルに対して撮像素子のダイナミックレンジは明るい側が狭くなるため、上限閾値の絶対値は、下限閾値の絶対値よりも小さく設定することが好ましい。

次に、目標輝度と被写体輝度との差分が下限閾値ｏ＿ｔｈ＿ｌｏｗよりも小さいか否かを判定し、小さい場合には、補正量ｂｖ＿ｈｏｓを算出する際に考慮する変数ｔｈに下限閾値を設定し、補正量係数ｋにｋ＿ｌｏｗを設定し（ステップＳＦ５）、ステップＳＦ８に進む。一方、目標輝度と被写体輝度との差分が下限閾値以上であった場合には、該差分が上限閾値ｏ＿ｔｈ＿ｈｉｇｈよりも大きいかを判定する（ステップＳＦ６）。この結果、差分が上限閾値よりも大きければ、変数ｔｈに上限閾値を設定し、補正量係数ｋにｋ＿ｈｉｇｈを設定し（ステップＳＦ７）、ステップＳＦ８に進む。ステップＳＦ８では、以下の（１２）式を用いて目標輝度の補正量ｂｖ＿ｈｏｓを算出する（補正量決定手段）。
ｂｖ＿ｈｏｓ＝ｋ×（ｂｖ＿ｏ−ｂｖ＿ｐ−ｔｈ） （１２）
次に、上記補正量ｂｖ＿ｈｏｓが補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎと補正上限値ｂｖ＿ｈｏｓ＿ｍａｘとの間に属しているか否かを判定し（ステップＳＦ９、ＳＦ１１）、補正量が補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎよりも小さかった場合には、補正量ｂｖ＿ｈｏｓを補正下限値に設定し（ステップＳＦ１０）、また、補正量が補正上限値ｂｖ＿ｈｏｓ＿ｍａｘよりも大きかった場合には、補正量ｂｖ＿ｈｏｓを補正上限値に設定する（ステップＳＦ１２）。

一方、ステップＳＦ４、ＳＦ６において、目標輝度と被写体輝度との差分が下限閾値以上であり、かつ、上限閾値以下であった場合には、ステップＳＦ１３に進み、補正量ｂｖ＿ｈｏｓをゼロとする。つまり、この場合には、目標輝度ｖｂ＿ｐの補正を行わない。
そして、ステップＳＦ１４において、上述の処理において求められた補正量ｂｖ＿ｈｏｓを用いて目標輝度ｂｖ＿ｐを補正し、最終的な目標輝度ｂｖ＿ｐ´を得る。最終的な目標輝度ｂｖ＿ｐ´は以下の（１３）式で求められる。
ｂｖ＿ｐ´＝ｂｖ＿ｐ＋ｂｖ＿ｈｏｓ （１３）

図１４は、上述した目標輝度補正処理における補正量ｂｖ＿ｈｏｓと被写体輝度ｂｖ＿ｏとの差分（以下「輝度差」という。）の関係を示した図である。図１４において、横軸は輝度差、縦軸は補正量を示している。輝度差が下限閾値以上かつ上限閾値以下の場合には、補正量はゼロである。輝度差が下限閾値よりも小さい場合または上限閾値よりも大きい場合には、図１３を参照して決定される所定の補正係数ｋに応じた補正量とされ、補正下限値または補正上限値に達したところで一定とされる。ここで補正係数ｋは、輝度差が下限閾値よりも小さい場合または上限閾値よりも大きい場合で補正下限値または補正上限値に達しない場合の傾きを示している。輝度差が下限閾値よりも小さい場合と上限閾値よりも大きい場合で傾きを変えることで、被写体輝度ｂｖ＿ｏの重視度を変える働きをしている。

このようにして、最終的な目標輝度ｂｖ＿ｐ´が決定されると、図３に示した露光演算（ステップＳＢ９）において、上記目標輝度ｂｖ＿ｐ´が得られるように、本撮影でのシャッタ速度、絞り、ＩＳＯ感度が決定され、決定されたこれらの露光条件でスチル撮影（本撮影）が実施される（図３のステップＳＢ９〜ＳＢ１４参照）。

〔第２画像処理〕
次に、上述したように露光が調整されたスチル撮影にて得られた画像信号に対して第２画像処理部（画像処理手段）２７が実施する階調変換処理について説明する。この処理は、図３のステップＳＢ１６において実行される処理である。図１５は、第２画像処理のシーケンスを示した図である。この図に示されるように、階調変換処理では、まず、第１画像処理部２５（図１参照）によってＯＢ補正等が施された画像信号に対して第１階調変換処理が実施される（ステップＳＧ１）。この第１階調変換処理は、予め設定されている標準の階調変換特性曲線γ２（図１９参照）を用いて画像信号に一律な階調変換処理を実行する。第１階調変換処理後の画像信号は、所定のメモリ、例えば、図１の記録媒体４３に格納される。

次に、第２階調変換処理を実行する（ステップＳＧ２）。
〔第２階調変換処理〕
第２階調変換処理では、第１階調変換処理後の画像信号に対して、一律な階調変換処理を実行した後、更に、局所的な階調変換処理を実行する。以下、第２階調変換処理について、図１６を参照して簡単に説明する。図１６は、第２階調変換処理のシーケンスを示した図である。

まず、第２階調変換処理を行う際に使用されるパラメータの選択が行われる（ステップＳＨ１）。パラメータとしては、一律な階調変換に使用される階調変換特性曲線（以下「γ特性」という。）、後段の合成処理における合成比等の各種パラメータが選択される。これらのパラメータの選択処理についての詳細は後述する。

次に、パラメータ選択処理で決定されたγ特性を用いて、一律な階調変換処理が行われる（ステップＳＨ２）。次に、注目画素を中心とする上記パラメータ選択処理で決定された所定の大きさの局所領域を順次抽出し（ステップＳＨ３）、各局所領域のヒストグラムを作成する（ステップＳＨ４）。続いて、ヒストグラムを累積，正規化することで階調変換曲線を生成し（ステップＳＨ５）、この階調変換曲線に基づき、注目画素に対して階調変換処理を行う（ステップＳＨ６）。そして、全画素に対して階調変換処理が終了したか否かを判定し（ステップＳＨ７）、終了していなかった場合には次の注目画素に対して局所領域を抽出し、ステップＳＨ３以降の処理を繰り返し行う。また、全画素に対して局所的な階調変換処理が終了した場合には、最終的に得られた画像を第２画像信号としてメモリに格納し、当該第２階調変換処理を終了する。
ここで、上記ステップＳＨ３〜ＳＨ７が局所的な階調変換処理に相当する。

続いて、上記第１階調変換処理により得られた第１画像信号と第２階調変換処理により得られた第２画像信号とをパラメータ選択処理において選択された合成比で合成し、これを階調変換の最終的な画像信号として第３画像処理部２８（図１参照）に出力し、当該第２画像処理を終了する（図１５のステップＳＧ３）。

〔パラメータ選択処理〕
次に、図１６のステップＳＨ１において実施されるパラメータ選択処理について詳しく説明する。図１７〜図１８は、パラメータ選択処理のシーケンスを示した図である。
まず、一律な階調変換処理に用いるγ特性を図１９に示される複数のγ特性γ１〜γ４の中から選定する（ステップＳＪ1）。本実施形態では、γ１を選定する。ここで、γ特性は、γ１が最もコントラストが弱く暗い緩やかな特性を示し、γ２，３，４になるほど、コントラストの高く、かつ明るい絵が得られるような特性とされている。次に階調モードがオフか否かを判定する（図１７のステップＳＪ２）。これは図２のステップＳＡ１における判定結果を参照することで行われる。階調モードがオフであった場合には、合成比をゼロに設定し（ステップＳＪ３）、当該処理を終了する。

一方、階調モードがオフでなかった場合には、階調モードがマニュアルか否かを判定する（ステップＳＪ４）。この結果、マニュアルであった場合には、撮影者によって設定された合成比を読み出して設定し（ステップＳＪ５）、当該処理を終了する。
また、階調モードがマニュアルでなかった場合、即ち、階調モードがオートだった場合には、スチル撮影時の被写体やその周辺が暗すぎるか否かを判定する。具体的には、最終的な目標輝度ｂｖ＿ｐ´がゼロより小さく、かつ、露光補正量ｃｖが−２よりも大きいか否かを判定する（ステップＳＪ６）。ここで、露光補正量ｃｖは、撮影者が露出を変更したい場合に操作部４７（図１参照）から設定する情報である。この結果、上記条件を満たしていなかった場合、つまり撮影時の被写体やその周辺が暗くなかった場合にはステップＳＪ７に進む。

ステップＳＪ７では、画像信号の最大輝度と最小輝度との差分が所定値（本実施形態では４）よりも大きいか否かを判定し、所定値よりも大きければ合成比を５％に設定し（ステップＳＪ８）、小さければ撮影倍率が１０分の１よりも大きいか否かを判定する（ステップＳＪ９）。この結果、１０分の１よりも大きければ合成比を２０％に設定し（ステップＳＪ１０）、大きくなければＦ値がＦ２よりも小さいか否か、つまり画像の背景がぼけているか否かを判定する（ステップＳＪ１１）。Ｆ値がＦ２よりも小さい場合には合成比を２０％に設定し（ステップＳＪ１０）、小さくなければ、被写体エリアの面積割合が３０％以上か否かを判定する（ステップＳＪ１２）。この結果、３０％以上であった場合には、合成比を３５％に設定し（ステップＳＪ１３）、３０％よりも小さければ、ステップＳＪ１４に進む。

ステップＳＪ１４では、上記ステップＳＪ１において設定した一律な階調変換処理に用いられるγ特性を変更する。例えば、被写体エリアが比較的小さい場合（３０％未満）には、局所的な階調変換処理による効果が少ない。この様なシーンは、局所的な階調変換処理を行っても好ましい画像を得ることが難しい。このような場合、局所的な階調変換処理の前の一律な階調変換処理のγ特性を変更した後に局所的な階調変換処理を行うことにより、好ましい画質の画像を得ることが可能となる。ここで、この場合のγ特性の変更方法は撮影シーンを考慮してより適正なγを選択変更することが望ましい。さらに、以下のステップＳＪ１５で説明するように、合成比をあげることにより明るさを上げ、局所的な階調変換処理の効果を向上させることができる。

具体的には、図２０に示されるように、被写体輝度ｂｖ＿ｏと被写体周囲輝度ｂｖ＿ｎｅａｒとの差が所定値ｔｈ２以上であった場合にはγ２を、所定値ｔｈ１以上所定値ｔｈ２未満であった場合にはγ３を、所定値ｔｈ１未満であった場合にはγ４を選択する。γ特性については図１９に示した通りである。このように撮影シーンを考慮してより適正なγを選択変更する。

続いて、ステップＳＪ１５において、合成比を決定する。具体的には、図２１に示されるように、被写体輝度ｂｖ＿ｏと被写体周囲輝度ｂｖ＿ｎｅａｒとの差が−３以下であった場合には合成比を５５％に、−１以上であった場合には合成比を３５％に、−３と−１との間であった場合には、以下の（１４）式を用いて合成比を決定する。
合成比＝−（ｂｖ＿ｏ−ｂｖ＿ｎｅａｒ＋１）×１０＋３５ （１４）
このようにして合成比を決定すると、当該処理を終了する。

一方、上述したステップＳＪ６において、撮影時の被写体やその周辺が暗かった場合、つまり条件を満たしていた場合には、図１８のステップＳＪ１６に進む。ステップＳＪ１６では、スチル撮影時にストロボ発光したか否かを判定する。この結果、発光していた場合は合成比を決定するために必要となる係数ａを０．５に設定し（ステップＳＪ１７）、ステップＳＪ２１に進む。
一方、ステップＳＪ１６においてストロボ発光していた場合には、ストロボが未到達か否かを判定する（ステップＳＪ１８）。このストロボ未到達については、例えば、図３のステップＳＢ１３において発光量を演算するときに、フル発光しても光量が足りないと判断した場合には、ストロボ領域未到達という情報が発生するので、この情報が発生しているか否かを確認することにより判定される。この結果、ストロボ未到達であった場合には係数ａに１．５を設定して（ステップＳＪ１９）、ステップＳＪ２１に進む。一方、ストロボが到達していた場合には係数ａに１を設定し（ステップＳＪ２０）、ステップＳＪ２１に進む。

ステップＳＪ２１では、スチル撮影にて取得された画像信号における黒エリアの面積割合（黒つぶれしている面積が撮影画像に占める割合）を算出する。具体的には、まず、スチル撮影にて取得された画像信号を所定エリアに分割して複数の分割エリアとし、各分割エリアのＹ出力の平均値をそれぞれ算出する。続いて、Ｙ出力が所定の黒判定閾値ｄａｒｋ＿ｔｈよりも大きい分割エリアの数をカウントすることで、黒つぶれしている分割エリア数をカウントし、この分割エリア数を画像全体の分割エリア数で除算し、％単位とすることで、黒エリアの面積割合ｄａｒｋ＿ａｒｅａ（％）を算出する。
ここで、上記黒判定閾値ｄａｒｋ＿ｔｈは、ＩＳＯ感度、係数ａ、基準閾値ｒｅｆ、及び基準ＩＳＯ感度ｒｅｆ＿ｉｓｏに基づいて決定される。具体的には、以下の（１５）式で与えられる。
ｄａｒｋ＿ｔｈ＝ｉｓｏ×ａ×ｒｅｆ／ｒｅｆ＿ｉｓｏ （１５）

次に、ステップＳＪ２２において合成比を決定する。合成比は、上記黒エリアの面積割合ｄａｒｋ＿ａｒｅａを用いて以下の（１６）式で求められる。
合成比＝（１００−ｄａｒｋ＿ａｒｅａ）×３５／１００ （１６）

続いて、合成比が３５％か否かを判定し（ステップＳＪ２３）、３５％以内であれば当該処理を終了し、３５％であれば、ステップＳＪ７に戻り、それ以降の処理を実行する。
このように、低輝度した出撮影された場合であっても、合成比が高い場合には、黒い部分が少なく画像そのものは明るく局所的な階調変換処理の効果が望めそうな場合なので、ステップＳＪ７に戻り、顔やその他の条件に応じて合成比を再度求めることにより、更に好ましい明るさを持つ画像を得ることが可能となる。
なお、上述したステップＳＪ１６〜ＳＪ２３までの処理は、夜景等の暗い画像を対象とした処理であり、夜景等の場合には、例えば、０〜十数％の合成比が設定される。また、ステップＳＪ７〜ＳＪ１５までの処理は、明るい画像を対象とした処理である。

なお、上記パラメータ選択処理では、第２画像処理（図１５参照）における一律な階調変換処理にて用いられるγ特性と、合成処理にて採用される合成比を決定することとしたが、これらのパラメータに加えて、局所的な階調変換における局所の大きさを決定することとしてもよい。

このように、第２階調変換処理においては、準備処理として画像の位置に寄らない一律のγ曲線に従って一律の階調変換処理を行った後に、スチル撮影において取得した画像信号を局所領域に分割し、局所のヒストグラムが平滑化されるように再度、局所的な階調変換を行うので、輝度差の大きなシーンであっても、極端に白とびとりしたり、黒つぶれしたりすることのない自然な階調の画像を得ることができる。

以上説明してきたように、本実施形態に係る撮像装置によれば、スルー画像の輝度情報やプリ撮影の輝度情報を用いて露光条件を求めるための目標輝度を算出する。この場合において、目標輝度は、黒つぶれや白とびの状況を推定して設定されるので、この目標輝度を用いて露光条件を決定することにより、黒つぶれや白とびが少ない画像を得ることが可能となる。更に、目標輝度と被写体輝度との輝度差が所定の範囲（基準範囲）を超えていた場合には、この輝度差に基づいて目標輝度を補正するので、より最適な目標輝度を得ることが可能となる。
また、これらの目標輝度を演算する際に、後で実施される局所的な階調変換の効果を加味して、目標輝度を決定するので、背景と被写体の明るさを適正な値にすることができ、撮影者の望む画質の画像を提供することが可能となる。
また、本実施形態によれば、スチル撮影で取得された画像信号に対して、局所的な階調変換処理を行い、その際のパラメータ（局所的な階調変換の前処理の諧調曲線、合成率）を撮影シーンに関する情報（輝度分布、被写体輝度、被写体の大きさ、撮影Ｆ値、被写体倍率）に応じて決定する。従って、取得画像の特徴に応じた最適な階調変換処理を実施することが可能となる。
更に、目標輝度を演算する際に、後で実施される局所的な階調変換の効果を加味して、目標輝度を決定するので、背景と被写体の明るさを適正な値にすることができ、撮影者の望む画質の画像を提供することが可能となる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図を用いて説明する。
上述した第１の実施形態に係る撮像装置１においては、図３のステップＳＢ８の測光演算処理で実行される目標輝度補正処理（図１２参照）において、予め設定されている下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈを用いて目標輝度ｂｖ＿ｐを補正するか否かを判断していた（図１２のステップＳＦ３等参照）。本実施形態に係る撮像装置では、この下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈを階調モードに応じて変更する。
以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図２２は、図１２に示した目標輝度補正処理のステップＳＦ３において用いられる下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈを階調モードに応じて決定するための上下限閾値決定処理のシーケンスを示した図である。

まず、上限閾値ｏ＿ｔｈ＿ｈｉｇｈに初期値である０．５を設定し（ステップＳＬ１）、下限閾値ｏ＿ｔｈ＿ｌｏｗに初期値である−１．０を設定する。続いて、階調モードがオフか否かを判定し（ステップＳＬ３）、階調モードがオフであれば、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．３に変更し（ステップＳＬ４）、下限閾値ｏ＿ｔｈ＿ｌｏｗを−０．５に変更し（ステップＳＬ５）、当該処理を終了する。一方、ステップＳＬ３において、階調モードがオフでなかった場合には、階調モードがマニュアルか否かを判定し（ステップＳＬ６）、マニュアルであれば、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．４に変更し（ステップＳＬ７）、下限閾値ｏ＿ｔｈ＿ｌｏｗを−０．８に変更し（ステップＳＬ８）、当該処理を終了する。

一方、ステップＳＬ６において、階調モードがマニュアルでなかった場合には、上限閾値ｏ＿ｔｈ＿ｈｉｇｈおよび下限閾値ｏ＿ｔｈ＿ｌｏｗを初期値に設定したまま当該処理を終了する。
このようにして、各階調モードに応じた上限閾値ｏ＿ｔｈ＿ｈｉｇｈおよび下限閾値ｏ＿ｔｈ＿ｌｏｗが決定されると、これらの値を用いて上述した目標輝度補正処理（図１２参照）が実行される。

以上説明してきたように、本実施形態によれば、階調モードに応じて上限閾値ｏ＿ｔｈ＿ｈｉｇｈおよび下限閾値ｏ＿ｔｈ＿ｌｏｗを変更するので、第２画像処理において行われる階調変換処理を加味したより好ましい目標輝度を決定することが可能となる。
なお、階調モードがマニュアルであった場合には、ユーザによって設定された情報（例えば、第２画像処理における合成比、局所的な階調変換における局所領域の大きさ等）に基づいて上限閾値ｏ＿ｔｈ＿ｈｉｇｈおよび下限閾値ｏ＿ｔｈ＿ｌｏｗを変更することとしてもよい。この場合、合成比、局所的な階調変換における局所領域の大きさが大きくなると、上限閾値ｏ＿ｔｈ＿ｈｉｇｈの絶対値および下限閾値ｏ＿ｔｈ＿ｌｏｗの絶対値が初期値よりも大きくなるように変更することが好ましい。このようにすることで、ユーザ設定に従っても良好な画像を得ることが可能となる。
また、階調モードに応じて補正係数ｋ＿ｈｉｇｈ、ｋ＿ｌｏｗを変更するようにしてもよい。これにより、階調モードがオフの場合には、主要被写体を重視することで、階調モードオフであってもある程度良好な画像を得ることができる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図を用いて説明する。
本実施形態に係る撮像装置は、上記第２の実施形態と同様、下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈの設定方法が上記第１の実施形態と異なる。具体的には、スルー画像において顔検出が可能であった場合、顔検出は不可能であったが測距が可能であった場合、または顔検出並びに測距のいずれもできなかった場合の３つの場合に応じて、下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈを変更する。

図２３は、本実施形態に係る下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈの一例を示した図である。図２３において、縦軸は各閾値の値、横軸は撮影エリアに対する被写体エリアの面積割合を示している。図２３からわかるように、顔が検出された場合、並びに、顔は検出されなかったが測距が可能であった場合には、被写体エリアの面積割合が高くなるほど、下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈの絶対値が大きくなるように設定される。なお、いずれの場合も面積割合がある一定の値（例えば、３０％）以上の領域においては、一定の値に設定される。

本実施形態では、顔検出がされた場合であって、面積割合が０％のときに下限閾値ｏ＿ｔｈ＿ｌｏｗを−０．７、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．３に設定し、面積割合が３０％のとき下限閾値ｏ＿ｔｈ＿ｌｏｗを−１．５、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．８に設定する。また、この間の領域においては、線形的に変化させる。

また、顔が検出されなかった場合で測距が可能であった場合には、顔が検出された場合よりも絶対値を小さく設定する。本実施形態では、面積割合が０％のときに下限閾値ｏ＿ｔｈ＿ｌｏｗを−０．４、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．１に設定し、面積割合が３０％のとき下限閾値ｏ＿ｔｈ＿ｌｏｗを−０．９、上限閾値ｏ＿ｔｈ＿ｈｉｇｈを０．７に設定する。また、この間の領域においては、値を線形的に変化させる。

一方、顔も検出できず、かつ、測距もされなかった場合には、被写体エリアの面積割合にかかわらず、下限閾値ｏ＿ｔｈ＿ｌｏｗは−０．５、上限閾値ｏ＿ｔｈ＿ｈｉｇｈは０．３でそれぞれ一定とされる。
なお、被写体エリアの面積割合、顔検出が可能であったか否か等については、図４に示した輝度分布算出処理における各判定結果を用いればよい。

以上、説明してきたように、本実施形態においては、被写体の検出並びに測距の可否に応じて上下限閾値を設定するので、顔検出等が行われなかった場合であっても、第２画像処理において行われる階調変換処理を加味したより好ましい目標輝度を決定することが可能となる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について、図を用いて説明する。
上述した第１の実施形態に係る撮像装置１においては、図３のステップＳＢ８の測光演算処理で実行される目標輝度算出処理（図９参照）において、予め設定されている下限閾値ｄ＿ｔｈ＿ｌｏｗおよび上限閾値ｄ＿ｔｈ＿ｈｉｇｈを用いてハイライト輝度とノイズ輝度をカウントし、目標輝度ｂｖ＿ｐを算出していた（図９のステップＳＥ３等参照）。本実施形態に係る撮像装置では、この下限閾値ｄ＿ｔｈ＿ｌｏｗおよび上限閾値＿ｔｈ＿ｈｉｇｈをＩＳＯ感度に応じて変更する。以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図２４はＩＳＯ感度に対する下限閾値ｏ＿ｔｈ＿ｌｏｗおよび上限閾値ｏ＿ｔｈ＿ｈｉｇｈの値を数値化して表した表であり、図２５は図２４に示した表をグラフ化して示した図である。図２４および図２５に示されるように、下限閾値ｄ＿ｔｈ＿ｌｏｗはＩＳＯ感度が高くなるほど大きな値に設定され、上限閾値ｄ＿ｔｈ＿ｈｉｇｈはＩＳＯ感度にかかわらず１．０で一定とされる。

以上、説明してきたように、本実施形態においては、ＩＳＯ感度によって目標輝度算出処理の際の上下限閾値を設定するので、第２画像処理の効果が高くない高感度であってもより好ましい目標輝度を決定することが可能となる。

〔第５の実施形態〕
次に、本発明の第５の実施形態について、図を用いて説明する。
上述した第１の実施形態においては、スルー画像の輝度信号を用いて、図３に示されるような輝度分布算出処理、測光演算処理、露出演算処理を実施し、これらの処理結果に基づいてスチル撮影における露光条件や第２画像処理部２７（図１参照）による第２画像処理の各パラメータ等を決定していた。この場合スルー画撮像時には局所的な階調変換処理を実施しても、実施しなくてもよい。

本実施形態では、上述したスルー画像信号に局所的な階調変換処理を実施し、当該処理後のスルー画像信号を用いて露光条件や第２画像処理の各パラメータ等を決定する。
以下、本実施形態に係る撮像装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

まず、図３に示したスチル撮影シーケンスにおけるステップＳＢ１の顔検出を行う前に、スルー画像撮影において撮像部２で取得された画像信号に対して、第１画像処理、第２画像処理（一律な階調変換処理および局所的な階調変換処理）、第３画像処理等の処理を実行し、最終的なスルー画像を得、この画像およびスルー画像撮影時の露光条件（例えば、ＡＥ等）を記録媒体に記録する。そして、続く顔検出等の各種処理については、この最終的に得られたスルー画像を用いて行う。

例えば、本実施形態においては、測光演算処理（図３のステップＳＢ８）で行われる目標輝度補正処理（図１２参照）を図２６に示すようなシーケンスとしてもよい。なお、図２６に示したパラメータ選択処理において、上述した第１の実施形態に係る目標輝度補正処理（図１２）と同様の処理については、同一の符号を付し、説明を省略する。

まず、上述した第１の実施形態と同様に、図１２のステップＳＦ１〜ＳＦ８が実行されることにより、目標輝度の補正量ｂｖ＿ｈｏｓが決定されると（図２６のステップＳＭ１）、局所的な階調変換処理等が行われた最終的なスルー画像信号を用いて被写体エリアの明るさ平均値ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈを算出する（ステップＳＭ２）。スチル撮影を行う直前に取得されたスルー画像信号に対して階調変換等の画像処理を行った後の明るさ信号Ｙに対して、撮影エリアを格子状に分割し、複数の分割エリアに区分し、被写体エリアに相当する部分のＹ信号の平均値を算出し、明るさ平均値ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈとする。
次に、スルー画像撮影時の露光条件に相当するＡＰＥＸ値と目標輝度ｂｖ＿ｐとの差分ｄ＿ｂｖを算出する（ステップＳＭ３）。
ｄ＿ｂｖ
＝（ａｖ＿ｓ）＋（ｔｖ＿ｓ）−（ｓｖ＿ｓ）−ｂｖ＿ｐ（１７−１）
上記（１７−１）式において、（ａｖ＿ｓ）は絞り値、（ｔｖ＿ｓ）はシャッタ速度、（ｓｖ＿ｓ）は感度に相当するＡＰＥＸ値である。そして、ステップＳＭ２で得た被写体エリアの明るさ平均値ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈにステップＳＭ３で得た差分ｄ＿ｂｖを反映させることにより、最終的な明るさ推定値ｌｉｇｈｔ＿ｏを得る（ステップＳＭ４）。最終的な明るさ推定値ｌｉｇｈｔ＿ｏは、例えば、以下の（１７−２）式で与えられる。
ｌｉｇｈｔ＿ｏ＝ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈ＋ｇ（ｄ＿ｂｖ） （１７−２）
これにより、露光条件等の違いによらない定量的な被写体エリアの明るさ推定値が得られる。

続いて、ステップＳＭ４で得た明るさ推定値ｌｉｇｈｔ＿ｏを以下の（１８）を用いて輝度に変換し、輝度評価値を得る（ステップＳＭ５）。
ｂｖ＿ｌｉｇｈｔ＿ｏ＝ｈ（ｌｉｇｈｔ＿ｏ） （１８）

次に、輝度評価値ｂｖ＿ｌｉｇｈｔ＿ｏと目標輝度ｂｖ＿ｐとの差分が第２上限閾値ｌｉｇｈｔ＿ｔｈ＿ｈｉｇｈよりも大きい否かを判定し（ステップＳＭ６）、大きい場合には、補正量ｂｖ＿ｈｏｓ２を以下の（１９）式を用いて算出する（ステップＳＭ７）。

ｂｖ＿ｈｏｓ２
＝ｂｖ＿ｈｏｓ＋ｂｖ＿ｌｉｇｈｔ＿ｏ−ｂｖ＿ｐ−ｏ＿ｔｈ＿ｈｉｇｈ （１９）

一方、小さい場合には、輝度評価値ｂｖ＿ｌｉｇｈｔ＿ｏと目標輝度ｂｖ＿ｐとの差分が第２下限閾値ｌｉｇｈｔ＿ｔｈ＿ｌｏｗよりも小さい否かを判定し（ステップＳＭ８）、小さい場合には、補正量ｂｖ＿ｈｏｓ２を以下の（２０）式を用いて算出する（ステップＳＭ９）。
ｂｖ＿ｈｏｓ２
＝ｂｖ＿ｈｏｓ＋ｂｖ＿ｌｉｇｈｔ＿ｏ−ｂｖ＿ｐ−ｏ＿ｔｈ＿ｌｏｗ （２０）

なお、上記第２下限閾値ｌｉｇｈｔ＿ｔｈ＿ｌｏｗおよび第２上限閾値については予めフラッシュメモリ４２等（図１参照）に記録されており、これを読み出すことにより設定される。

一方、輝度評価値ｂｖ＿ｌｉｇｈｔ＿ｏと目標輝度ｂｖ＿ｐとの差分が第２下限閾値ｌｉｇｈｔ＿ｔｈ＿ｌｏｗ以上第２上限閾値ｌｉｇｈｔ＿ｔｈ＿ｈｉｇｈ以下であった場合には、ｂｖ＿ｈｏｓをｂｖ＿ｈｏｓ２に置き換える（ステップＳＭ１０）。

次に、補正量ｂｖ＿ｈｏｓ２が補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎと補正上限値ｂｖ＿ｈｏｓ＿ｍａｘとの間に属しているか否かを判定し（ステップＳＭ１１、ＳＭ１２）、補正量ｂｖ＿ｈｏｓ２が補正上限値ｂｖ＿ｈｏｓ＿ｍａｘよりも大きかった場合には、補正量ｂｖ＿ｈｏｓ２を補正上限値ｂｖ＿ｈｏｓ＿ｍａｘに設定し（ステップＳＭ１３）、補正量が補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎよりも小さかった場合には、補正量ｂｖ＿ｈｏｓ２を補正下限値ｂｖ＿ｈｏｓ＿ｍｉｎに設定する（ステップＳＭ１４）。

そして、ステップＳＭ１５において、上述の処理において求められた補正量ｂｖ＿ｈｏｓ２を用いて目標輝度ｂｖ＿ｐを補正し、最終的な目標輝度ｂｖ＿ｐ２´を算出し、当該処理を終了する。最終的な目標輝度ｂｖ＿ｐ２´は以下の（２０）式で求められる。
ｂｖ＿ｐ２´＝ｂｖ＿ｐ＋ｂｖ＿ｈｏｓ２ （２０）

また、本実施形態においては、第２画像処理の中で行われるパラメータ選択処理を図２７に示すようなシーケンスとしてもよい。なお、図２７に示したパラメータ選択処理において、上述した第１の実施形態に係るパラメータ選択処理（図１７参照）と同様の処理については、同一の符号を付し、説明を省略する。

ステップＳＪ１２において、被写体エリアの面積割合が３０％未満であると判定された場合には、ステップＳＮ１０´において合成比を２５％に設定し、当該処理を終了する。一方、被写体エリアの面積割合が３０％未満でないと判定された場合には、顔検出がされたか否かを判定する（ステップＳＮ３）。この結果、顔検出がされていなかった場合には合成比を３５％に設定し（ステップＳＮ４）、当該処理を終了する。一方、顔検出がされていた場合には、最終的なスルー画像における顔エリア（被写体エリア）の輝度推定処理を行う（ステップＳＮ５）。

輝度推定処理は、図２８に示されるように、まず、スチル撮影を行う直前に取得されたスルー画像信号に対して階調変換等の画像処理を行った後の明るさ信号Ｙに対して、撮影エリアを格子状に分割し、複数の分割エリアに区分し、被写体エリアに相当する部分のＹ信号の平均値を算出し、明るさ平均値ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈとする（ステップＳＰ１）。
続いて、スルー画像撮影時の露出条件とスチル画像撮影時の露出条件との違いに起因する輝度差ｄ＿ｅｖを以下の（２１−１）式を用いて算出する（ステップＳＰ２）。なお、このパラメータ選択処理が行われるときには、既にスチル撮影が行われた後となるので、スチル露出条件も確定していることとなる。
ｄ＿ｅｖ
＝（ａｖ＿ｓ）＋（ｔｖ＿ｓ）−（ｓｖ＿ｓ）−（ａｖ＿ｓｔｉｌｌ）＋（ｔｖ＿ｓｔｉｌｌ）−（ｓｖ＿ｓｔｉｌｌ） （２１−１）
上記（２１−１）式において、（ａｖ＿ｓ）はスルー画撮影時の絞り値、（ｔｖ＿ｓ）はスルー画撮影のシャッタ速度、（ｓｖ＿ｓ）はスルー画撮影の感度に相当するＡＰＥＸ値である。（ａｖ＿ｓｔｉｌｌ）はスチル画撮影時の絞り値、（ｔｖ＿ｓｔｉｌｌ）はスチル画撮影のシャッタ速度、（ｓｖ＿ｓｔｉｌｌ）はスチル画撮影の感度に相当するＡＰＥＸ値である。

次に、ステップＳＰ１において取得した被写体エリアの明るさ平均値ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈにステップＳＰ２において得た差分ｄ＿ｅｖを反映させることにより、最終的な明るさ推定値ｌｉｇｈｔ＿ｏを得る（ステップＳＰ３）。最終的な明るさ推定値ｌｉｇｈｔ＿ｏは、例えば、以下の（２１−２）式で与えられる。
ｌｉｇｈｔ＿ｏ＝ｌｉｇｈｔ＿ｏ＿ｔｈｒｏｕｇｈ＋ｆ（ｄ＿ｅｖ） （２１−２）

このようにして、輝度推定処理において被写体エリアの明るさ推定値ｌｉｇｈｔ＿ｏを得ると、図２７のステップＳＮ６に進む。ステップＳＮ６では、ステップＳＪ３（図１７参照）において設定した一律な階調変換処理で用いられるγ特性を変更する。
具体的には、図２９に示されるように、被写体エリアの明るさ推定値ｌｉｇｈｔ＿ｏが所定値ｔｈ２´以上であった場合にはγ２を、所定値ｔｈ１´以上所定値ｔｈ２´未満であった場合にはγ３を、所定値ｔｈ１´未満であった場合にはγ４を選択する。γ特性については図１９に示した通りである。

続いて、ステップＳＮ７において、合成比を決定する。具体的には、図３０に示されるように、被写体エリアの明るさ推定値ｌｉｇｈｔ＿ｏが所定値ｔｈ２´以上であった場合には３０％に、所定値ｔｈ１´以上所定値ｔｈ２´未満であった場合には４５％に、所定値ｔｈ１´未満であった場合には５０％に合成比を決定する。

以上説明してきたように、本実施形態に係る撮像装置によれば、種々の画像処理、特に、局所的な階調変換処理を実施した後のスルー画像を用いて露光条件または第２画像処理（図１５参照）における各種パラメータ等を決定するので、より信頼性の高いパラメータを決定することが可能となる。特に、局所的な階調変換処理は処理結果が予測しにくく、また、顔のエリア（被写体エリア）が小さい場合には、局所的な階調変換処理の影響を受けやすい。このような場合に、局所的な階調変換処理が実施された後の実際のスルー画像を用いてスチル撮影で得られた画像信号に対して行われる第２画像処理の各種パラメータを決定したり、露光条件の補正を行ったりすることで、処理後の画像を予測しやすく、信頼性の高いパラメータを選定することができ、より好ましい画質のスチル画像を取得することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述の実施形態では測光演算処理において計算により測光を行っていたが、これに代えて、センサ等を取り付け、センサにより測光を行うこととしてもよい。

本発明の第１の実施形態に係る撮像装置の全体概略構成を示した図である。 表示シーケンスを示した図である。 スチル撮影のシーケンスを示した図である。 輝度分布算出処理のシーケンスを示した図である。 被写体が顔である場合の顔エリアおよび被写体周辺エリアを説明するための図である。 被写体が顔以外であり、測距可能であった場合の測距エリアおよび被写体周辺エリアを説明するための図である。 被写体が顔以外であり、測距不可能であった場合の中央エリアおよび被写体周辺エリアを説明するための図である。 分割輝度算出処理のシーケンスを示した図である。 目標輝度算出処理のシーケンスを示した図である。 目標輝度の算出方法について説明するための説明図である。 目標輝度の算出方法について説明するための説明図である。 目標輝度補正処理のシーケンスを示した図である。 補正係数テーブルの一例を示した図である。 目標輝度補正処理における補正量と被写体輝度との差分の関係を示した図である。 第２画像処理のシーケンスを示した図である。 第２階調変換処理のシーケンスを示した図である。 パラメータ選択処理のシーケンスを示した図である。 パラメータ選択処理のシーケンスを示した図である。 階調変換特性曲線の一例を示した図である。 被写体輝度と被写体周囲輝度との差分と階調変換特性曲線との関係を示した図である。 写体輝度と被写体周囲輝度との差分と合成比との関係を示した図である。 本発明の第２の実施形態に係る上下限閾値決定シーケンスを示した図である。 本発明の第３の実施形態に係る下限閾値および上限閾値の設定方法の一例を示した図である。 本発明の第４の実施形態に係る下限閾値および上限閾値の設定方法の一例を示した図であり、ＩＳＯ感度に対する下限閾値および上限閾値の値を数値化して表した表である。 図２４に示した表をグラフ化して示した図である。 本発明の第５の実施形態に係る目標輝度補正処理のシーケンスを示した図である。 本発明の第５の実施形態に係るパラメータ選択処理のシーケンスを示した図である。 図２７に示したパラメータ選択処理で実施される輝度推定処理のシーケンスを示した図である。 輝度推定処理において用いられる被写体エリアの輝度平均値と階調変換特性曲線との関係を示した図である。 輝度推定処理において用いられる被写体エリアの輝度平均値と合成比との関係を示した図である。

符号の説明

１ 撮像装置
２ 撮像部
３ 画像処理装置
１０ レンズ
１１ シャッタ
１２ ＣＣＤ
１３ ＣＣＤ制御部
１４ レンズ駆動部
１５ ストロボ
２０ 撮影制御部
２１ ＣＣＤインターフェイス
２２ システムコントローラ
２３ 輝度算出部
２４ ＡＦ演算部
２５ 第１画像処理部
２６ 顔検出部
２７ 第２画像処理部
２８ 第３画像処理部
３０ データバス
４１ ＳＤＲＡＭ
４２ フラッシュメモリ
４３ 記録媒体
４７ 操作部
４６ 表示モニタ

Claims (13)

1. 本撮影の前に取得された画像中の主要な被写体を前記画像の画像信号から検出する被写体検出手段と、
   前記被写体に関する輝度情報を前記画像信号から取得する被写体輝度情報取得手段と、
   前記画像中の複数の領域について、各領域の輝度分布を算出する輝度分布算出手段と、
   前記輝度分布に基づいて露光に関する目標輝度を決定する目標輝度算出手段と、
   前記目標輝度と前記被写体の輝度との差が基準範囲外の場合に前記目標輝度を補正する目標輝度補正手段と、
   前記目標輝度または前記目標輝度補正手段により補正が実施された場合には補正後の前記目標輝度に基づいて本撮影の露光条件を決定する露光条件決定手段と
   を具備し、
   前記目標輝度補正手段は、
   前記基準範囲を決定する基準範囲決定手段と、
   前記目標輝度と前記被写体の輝度との差を用いて前記補正量を決定する補正量決定手段と
   を有する撮像装置。
2. 前記基準範囲は、前記目標輝度よりも高く設定される上限閾値と、該目標輝度よりも低く設定される下限閾値とで特定され、かつ、前記下限閾値の絶対値は前記上限閾値の絶対値よりも大きく設定されている請求項１に記載の撮像装置。
3. 前記基準範囲決定手段は、撮像素子の感度設定に応じて前記基準範囲を決定する請求項１または請求項２に記載の撮像装置。
4. 前記被写体検出手段は、主要な前記被写体の面積割合を算出する面積割合算出手段を有し、
   前記基準範囲算出手段は、前記面積割合に応じて前記基準範囲を決定する請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記被写体検出手段は、顔を検出する顔検出手段を有し、
   前記基準範囲算出手段は、前記顔検出手段の検出結果に応じて前記基準範囲を決定する請求項１から請求項４のいずれかに記載の撮像装置。
6. 前記被写体検出手段は、顔を検出する顔検出手段を有し、
   前記補正量決定手段は、前記顔検出手段の検出結果に応じて補正量を決定する請求項１から請求項５のいずれかに記載の撮像装置。
7. 前記画像の注目画素に対して注目画素の近傍領域についての前記画像信号に基づいて実施される局所的な階調変換処理を行う第１設定モードと、
   前記局所的な階調変換処理を行わない第２設定モードと
   を有し、
   前記基準範囲算出手段は、設定モードに応じて前記基準範囲を決定する請求項１から請求項５のいずれかに記載の撮像装置。
8. 前記画像の各画素に対して一律な階調変換特性曲線に従って一律な階調変換処理を行う第１階調変換処理と、前記画像の注目画素に対して注目画素の近傍領域についての前記画像信号に基づいて局所的な階調変換処理を行う第２階調変換処理の少なくとも何れか一方を行う画像処理手段を有し、
   前記基準範囲決定手段は、前記画像処理手段によって実施される階調変換処理に応じて前記基準範囲を決定する請求項１から請求項６のいずれかに記載の撮像装置。
9. 前記基準範囲決定手段は、前記局所的な階調変換処理が実施される場合には、前記局所的な階調変換処理が行われない場合に比べて前記基準範囲を広く設定する請求項７または請求項８に記載の撮像装置。
10. 前記画像処理手段は、前記一律な階調変換処理が実施された結果の第１画像と、前記局所的な階調変換処理が実施された結果の第２画像とを所定の合成比で合成する合成手段と、
    被写体エリアの輝度が所定の輝度範囲内となるように、前記合成比および前記一律な階調変換処理に用いられる階調変換特性曲線の少なくともいずれか一方を設定するパラメータ選択手段と
    を具備する請求項７から請求項９のいずれかに記載の撮像装置。
11. 前記画像信号は、前記撮像素子の出力信号に対して前記局所的な階調変換処理を実施した後の画像信号である請求項１から請求項１０のいずれかに記載の撮像装置。
12. 前記目標輝度補正手段は、前記画像における被写体エリアの輝度と前記目標輝度との差分に応じて、前記目標輝度を補正する請求項１１に記載の撮像装置。
13. 本撮影の前に取得された画像中の複数の領域についての前記画像の画像信号から輝度分布を算出する輝度分布算出手段と、
    前記輝度分布に基づいて露光に関する目標輝度を決定する目標輝度算出手段と、
    前記画像中の主要な被写体を前記画像信号から検出する被写体検出手段と、
    前記被写体に関する輝度情報を前記画像信号から取得する被写体輝度情報取得手段と、
    前記画像の注目画素に対して注目画素の近傍領域についての前記画像信号をもとに局所的な階調変換処理を行う画像処理手段と、
    前記局所的な階調変換処理後の画像信号を用いて前記被写体の輝度評価値を算出する輝度評価値算出手段と、
    前記輝度評価値と前記目標輝度との差分が所定範囲外であった場合に、前記所定範囲内となるように、前記目標輝度を補正する目標輝度補正手段と、
    補正後の前記目標輝度に基づいて本撮影における露光条件を決定する露光条件決定手段と
    を具備する撮像装置。

Images