JP6537326B2 - 撮像装置および撮像制御プログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に撮像素子を用いて位相差情報を得る撮像装置においてフラッシュ撮像を行う場合の撮像制御に関する。

被写体を照明するフラッシュ発光を伴う撮像であるフラッシュ撮像を行う際には、フラッシュ発光量（つまりは被写体への照射光量）を正確に制御することが求められる。このため、撮像時における本発光での発光量を演算する（すなわち調光制御を行う）ことを目的として、該本発光に先立ってプリ発光を行い、該プリ発光時の被写体からの反射光を測光することが多く行われている。このようなプリ発光を用いた本発光の調光を外光が明るいシーンでのフラッシュ撮像（いわゆる日中シンクロ撮像）等においても正確に行えるようにする方法が特許文献１にて開示されている。

特許文献１にて開示された方法では、ラインごとに電荷リセット／読出しタイミングが異なる撮像素子を用い、プリ発光時に撮像素子から最初に読み出すラインと最後に読み出すラインの露光期間の一部が時間的に重なるようにしている。この際、読み出しラインの間引き数を増やすことで、最初に読み出すラインの露光タイミングと最後に読み出すラインの露光タイミングとのずれを小さくしている。

また、撮像装置に用いられる撮像素子には、複数のマイクロレンズを有し、個々のマイクロレンズに対して複数の光電変換素子が設けられたものがある。この撮像素子を用いることで撮像光学系の焦点状態に応じた位相差を有する複数の信号（位相差像信号）を得ることができ、該位相差を用いたオートフォーカス（位相差ＡＦ）を行うことができる。そして、このような撮像素子を備えた撮像装置によりフラッシュ撮像を行う場合には、位相差ＡＦ用の情報を、適正輝度とすべき主被写体の領域を抽出する精度を向上させる等のため活用することができる。特許文献２には、一対の位相差像信号を用いて被写体画像の領域ごとの距離分布を取得し、この距離分布情報を用いてフラッシュ光の配光むらを低減する方法が開示されている。

特開２００７−２３５８９３号公報 特開２０１３−５９０８２号公報

しかしながら、プリ発光時に一対の位相差像信号を得るために、個々のマイクロレンズに対して設けられた複数の光電変換素子から信号を別々に読み出すと、これら光電変換素子からの信号読み出しに時間がかかる。この結果、１ラインあたりの信号読み出しに要する時間が長くなる。この問題に対して、特許文献１にて開示されているように、最初に読み出すラインと最後に読み出すラインの露光期間の一部が時間的に重なるようにラインの間引き数を増やすと、信号読み出しによって得られる画像の画素数が減少して測光精度が低下する。この結果、良好な調光制御が行えなくなる。

本発明は、フラッシュ撮像を行うシーンや状況に応じて撮像素子の駆動や調光制御を選択することで、プリ発光時に得られる位相差ＡＦ用の情報を活用しつつ、多様なシーンで良好な調光制御を行えるようにした撮像装置等を提供する。

本発明の一側面としての撮像装置は、１つのマイクロレンズに対して複数の光電変換素子が設けられた画素を複数有する撮像手段と、画素からの信号読み出しを、複数の光電変換素子からの信号を合成して読み出す第１の信号読み出しと、複数の光電変換素子のうち第１の光電変換素子の出力を読み出した後に第１の光電変換素子の出力と第２の光電変換素子の出力とを合成して読み出す第２の信号読み出しとで行うことが可能な読み出し手段と、撮像手段のうち被写界からの光を受光した少なくとも一部の画素領域から読み出された信号を用いて測光を行う測光手段と、被写界を照明する光を発する発光手段に第１の発光を行わせ、該第１の発光時における測光の結果に基づいて演算した発光量で発光手段に第２の発光を行わせる発光制御手段と、第１の発光時における測光の結果を得るための画素領域からの調光用信号読み出しを、第１の信号読み出しと第２の信号読み出しとに切り替える切り替え手段とを有することを特徴とする。

また、本発明の他の一側面としての撮像制御プログラムは、１つのマイクロレンズに対して複数の光電変換素子が設けられた画素を複数有する撮像手段を備えた撮像装置であって、画素からの信号読み出しを、複数の光電変換素子からの信号を合成して読み出す第１の信号読み出しと、複数の光電変換素子のうち第１の光電変換素子の出力を読み出した後に第１の光電変換素子の出力と第２の光電変換素子の出力とを合成して読み出す第２の信号読み出しとで行うことが可能な撮像装置のコンピュータに、撮像手段のうち被写界からの光を受光した少なくとも一部の画素領域から読み出された信号を用いて測光を行う処理と、被写界を照明する光を発する発光手段に第１の発光を行わせ、該第１の発光時における測光の結果に基づいて演算した発光量で発光手段に第２の発光を行わせる処理と、第１の発光時における測光の結果を得るための画素領域からの調光用信号読み出しを、第１の信号読み出しと第２の信号読み出しとに切り替える処理とを実行させるコンピュータプログラムであることを特徴とする。

本発明によれば、それぞれのマイクロレンズに対して複数の光電変換素子を含む画素が複数設けられた撮像装置において、プリ発光時の位相差ＡＦ用の情報を活用できるとともに、被写体を照明して行う様々な撮像において良好な調光制御を行うことができる。

本発明の実施例であるデジタルカメラの構成を示す図。 実施例のデジタルカメラで用いられるイメージセンサの平面図。 図２（ａ）に示したイメージセンサのＡ−Ａ′線およびＢ−Ｂ′線での断面図。 図２（ａ）に示したイメージセンサの回路構成を示す図。 実施例におけるフラッシュ撮像制御処理を示すフローチャート。 実施例におけるフラッシュ撮像動作のタイミングチャート。 実施例におけるプリ発光の反射率に基づく調光対象領域候補の抽出処理を示すフローチャート。 実施例における主被写体の抽出を説明する図。 実施例における焦点整合情報の演算例を示す図。 実施例における調光対象領域の抽出処理を示す図。 実施例のデジタルカメラにおける撮像部での信号読出し方法に応じた信号読み出し時間を説明する図。 実施例のデジタルカメラにおけるフラッシュ発光と撮像素子の露光とのシンクロ期間を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置としてのデジタルカメラ（以下、単にカメラという）１００の構成を示している。図１において、撮像レンズ（撮像光学系）１０３は、変倍レンズおよびフォーカスレンズを含む。シャッタ１０１は、シャッタ機能に加えて絞り機能を有する。

撮像部２２は、撮像レンズ１０３により形成された光学像としての被写体像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有する。撮像素子の詳細については後述する。また、撮像部２２は、撮像素子から出力されるアナログ電気信号をデジタル信号（以下、画像信号という）に変換するＡ／Ｄ変換機能を有する。撮像部２２は撮像手段として機能する。

バリア１０２は、撮像レンズ１０３の前面を覆って、撮像レンズ１０３、シャッタ１０１および撮像部２２を含む撮像系の汚れや破損を防止する。

フラッシュ発光部９０は、撮像時に発光することにより、低照度シーンや逆光シーンの撮像において被写界の輝度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像信号またはメモリ制御部１５からの画像信号に対して画素補間、縮小等のリサイズ処理および色変換処理等の画像処理を行って画像データを生成する。また、画像処理部２４は、撮像により得られた画像信号を用いて露光制御やＡＦ（オートフォーカス）制御のための演算処理を行う。システム制御部５０は、画像処理部２４での演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理およびＡＦ処理を行う。

画像処理部２４は、さらに撮像により得られた画像信号を用いた演算結果を用いて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

撮像部２２から出力された画像信号は、画像処理部２４およびメモリ制御部１５を介して、またはメモリ制御部１５のみを介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像信号や、画像処理部２４により生成された画像データを格納する。メモリ３２は、所定数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納された画像データをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示デバイスに画像を表示する。

撮像部２２で一度Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、該アナログ信号を表示部２８に逐次転送して画像として表示することで、ライブビュー画像を表示する電子ビューファインダが構成される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、フラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数やコンピュータプログラム等を記憶する。

システム制御部５０は、カメラ１００全体を制御するマイクロコンピュータである。システム制御部５０は、不揮発性メモリ５６に記憶されたコンピュータプログラムを実行することで、後述する各処理を行う。システム制御部５０は、読み出し手段、測光手段、発光制御手段および切り替え手段として機能する。さらに、システム制御部５０は、露光制御手段および焦点情報取得手段としても機能する。

システムメモリ５２は、ＲＡＭであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、はメモリ３２、Ｄ／Ａ変換器１３および表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替えスイッチ６０、第１シャッタスイッチ６２、第２シャッタスイッチ６４および操作部７０は、ユーザがシステム制御部５０に対して各種の動作の指示を入力するための操作手段である。

モード切替えスイッチ６０の操作に応じて、システム制御部５０は、その動作モードを、静止画撮像モード、動画撮像モードおよび再生モードのいずれかに切り替える。

第１シャッタスイッチ６２、シャッターボタン６１の第１ストローク操作（半押し操作）でオンとなり、ＳＷ１信号を発生する。ＳＷ１信号を受けたシステム制御部５０は、前述したＡＦ処理、ＡＥ処理、ＡＷＢ処理およびＥＦ処理等を含む撮像準備動作を開始する。

第２シャッタスイッチ６４は、シャッターボタン６１の第２ストローク装置（全押し装置）でオンとなり、ＳＷ２信号を発生する。ＳＷ２信号を受けたシステム制御部５０は、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部７０は、各種スイッチ、ダイヤルまたは表示部２８上のタッチパネル上のアイコン等を含み、これらの操作に応じた入力や設定を可能とする。

電源スイッチ７２は、ユーザによってカメラ１００の電源を投入したり遮断したりするために操作される。

電源制御部８０は、電源部４０への電池の装着の有無、電池の種類および電池残量の検出を行う。また、電源制御部８０は、記録媒体２００に対して、必要な電圧を必要な期間だけ供給する。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像により得られた画像データを記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

図２（ａ）〜（ｃ）には、撮像部２２に設けられた撮像素子１０の画素構造の例を示している。これらの図はいずれも、２行×２列の４つの画素（Ｒ，Ｇ１，Ｇ２，Ｂ）がベイヤ配列をなすように配置されている例を示しており、各画素に複数（２つ）の光電変換素子α，βが設けられている。また、図３（ａ），（ｂ）にはそれぞれ、図２（ａ）の画素構造のａ−ａ′線およびｂ−ｂ′線での断面を示している。撮像素子１０の複数の画素のうち各画素、すなわち光電変換素子α，βに対して１つのマイクロレンズ１３０が設けられている。マイクロレンズ１３０によって光電変換素子α，β上には互いに異なる視点から見たのと同等の一対の被写体像（Ａ像，Ｂ像）が形成される。図３（ａ），（ｂ）では、光電変換素子α，βの構成部分にそれぞれ添字α，βを付し、撮像素子１０において奇数行および偶数行の画素ライン（以下、単にラインという）を構成する画素の光電変換素子α，βの構成部分にそれぞれ、添字ｏ，ｅを付している。αを付した複数の光電変換素子（以下、光電変換素子群αという）によりＡ像を光電変換したＡ画像信号（第１の画像信号）が得られる。また、βを付した複数の光電変換素子群（以下、光電変換素子群βという）によりＢ像を光電変換したＢ画像信号（第２の画像信号）が得られる。

図３（ａ），（ｂ）において、１１７は基板内に形成されたｐ型ウェルであり、１２５はＰ型ウェル１１７と共に光電荷を発生および蓄積するｎ型領域である。１２１はｎ型領域１２５に蓄積された光電荷が転送されるフローティングディフュージョン部（以下、ＦＤ部という）であり、１２６はｎ型領域１２５に蓄積された光電荷をＦＤ部１２１に効率よく転送するために光電荷を収集する表面ｐ＋層である。１０３はＦＤ部１２１に光電荷を転送するための転送ゲートであり、１１８はゲート絶縁膜としてのＳｉＯ２膜である。１２９はベイヤ配列のカラーフィルタ（Ｒ，Ｇ１，Ｇ２，Ｂ）である。

なお、マイクロレンズ１３０は、撮像レンズ１０３の瞳とイメージセンサ１０の光電変換素子α，βとが共役な関係を与えるような形状および位置に形成されている。また、１０１は光電荷を発生するための模式的な領域を示している。

また、図３（ａ），（ｂ）において、１０４はリセットパルスΦＲ０に従ってＦＤ部１２１等をリセット電位（Ｖｄｄ）にリセットするリセット用ＭＯＳトランジスタである。１０５はＦＤ部１２１に転送された光電荷に基づく増幅信号を得るソースフォーロワアンプＭＯＳトランジスタである。１０６はソースフォーロワアンプＭＯＳトランジスタ１０５で得られた増幅信号を垂直出力線に読み出す水平選択スイッチＭＯＳトランジスタである。転送ゲート１０３は、制御パルスΦＴＸαｅ０，ΦＴＸαｏ０によって独立して制御可能に構成されている。

図４には、図２（ａ）に示した画素構造を有する撮像素子１０における回路構成を示している。図４において、１０７はソースフォーロワの負荷ＭＯＳトランジスタであり、１０８は暗出力転送ＭＯＳトランジスタである。１０９は明出力ＭＯＳトランジスタであり、１１０は暗出力蓄積容量ＣＴＮである。１１１は明出力蓄積容量ＣＴＳであり、１１２は水平転送ＭＯＳトランジスタである。１１３は水平出力線リセットＭＯＳトランジスタであり、１１４は差動出力アンプである。１１５は水平走査回路であり、１１６は垂直走査回路である。

図５のフローチャートには、本実施例においてシステム制御部５０が行う静止画撮像モードでのフラッシュ撮像制御処理の流れを示している。Ｓはステップ（処理）を意味する。本フラッシュ撮像制御処理は、システム制御部５０がコンピュータプログラムとしてのフラッシュ撮像制御プログラムに従って実行する。また、図６には、本処理によって制御されるフラッシュ撮像動作のタイミングチャートを示している。図６には、撮像部２２（撮像素子１０）の露光に関する動作（電荷リセットおよび信号読み出し）の流れも併せて示している。Ｂｎｎｎは図５中のステップＳｎｎｎに対応する動作を示している。

第１シャッタスイッチ６２からのＳＷ１信号に応じてＡＦ処理を行ったシステム制御部５０は、第２シャッタスイッチ６４からのＳＷ２信号が入力されることに応じて本処理を開始する。

Ｓ１０１では、システム制御部５０は、外光量を測光するためにフラッシュ発光部９０を発光させずに（非発光で）撮像部２２の露光を行う。

次に、Ｓ１０２では、システム制御部５０は、撮像部２２から、フラッシュ発光部９０の非発光時の測光結果を得るための画像信号の読み出しを行う。ここでは、図２（ａ），（ｂ）に示した光電変換素子群αにより得られるＡ画像信号と光電変換素子群βにより得られるＢ画像信号とを加算（合成）した画像信号であるＡ＋Ｂ画像信号を読み出す。ここでの画像信号の読み出しを読み出し（１）（ただし図では丸囲みの１と記す：以下同様）とする。

次に、Ｓ１２０では、システム制御部５０は、読み出し（１）により得られた画像信号をブロック積分し、該ブロック積分の結果に基づいてブロックごとの輝度レベルを算出（測光演算）する。そして、この測光演算の結果に基づいて、既知のアルゴリズムや線図に従ってフラッシュ発光部９０に第１の発光としてのプリ発光を行わせるとき（すなわち調光時）の露出を決定する。ここで決定される露出とは、発光量と発光時間（露出時間）である。

さらに、システム制御部５０は、決定した調光時露出（露光時間）に応じて、調光時の撮像部２２からの画像信号の読み出し方法（調光用信号読み出し）を切り替える（選択的に設定する）。

具体的には、プリ発光の露光時間が所定時間より短い（Ｓ１２０での測光結果が明るい）ときは、読み出し方法として第１の読み出し方法（第１の信号読み出し）を選択する。第１の読み出し方法は、Ｓ１０２と同様に、光電変換素子群αにより得られるＡ画像信号と光電変換素子群βにより得られるＢ画像信号とを加算（合成）した画像信号であるＡ＋Ｂ画像信号のみを読み出す方法であり、以下の説明では瞳合成読みという。

一方、システム制御部５０は、決定したプリ発光の露光時間が上記所定時間より長い（Ｓ１２０での測光結果が暗い）ときは、読み出し方法として第２の読み出し方法（第２の信号読み出し）を選択する。第２の読み出し方法では、Ａ画像信号を読み出した後に、Ａ＋Ｂ画像信号を読み出す方法であり、以下の説明では瞳分離読みという。この瞳分離読みを行う理由を、図１１および図１２を用いて説明する。

図１１（ａ）は、瞳分離読み時の撮像部２２の各ライン（画素領域）の読み出しタイミングを示している。図１１（ｂ）は、瞳合成読み時の撮像部２２の各ラインの読み出しタイミングを示している。撮像部２２から画像処理部２４またはメモリ制御部１５までの信号伝達レーン（配線）は変えられないため、画像信号をデジタル信号として転送するための時間はデジタル信号のビット数を変化させない限り一定である。したがって、瞳分離読みを行う場合には瞳合成読みを行う場合の２倍の時間を要する。このことは、フラッシュ発光部９０にプリ発光を行わせて撮像部２２の露光期間に光を照射させるときに次のように影響する。

図１２（ａ）にはプリ発光において瞳分離読みを行う場合のシンクロ期間を示す。また、図１２（ｂ）にはプリ発光において瞳合成読みを行う場合のシンクロ期間を示す。シンクロ期間とは、被写界でのフラッシュ発光部９０から発せられた光の反射光が撮像素子の全面が露光される期間である。この期間外で発光させると撮像素子の一部しか反射光により露光されないことになる。これらの図から分かるように、撮像部２２の露光時間が同じであるとき、瞳分離読み時はフラッシュ発光部９０の発光を露光期間にシンクロさせられる期間が瞳合成読みの場合よりも短くなる。このため、調光時の露光期間に応じて撮像部２２による画像信号の読み出し方法を切り替える。

図１１（ａ），（ｂ）では撮像部２２の全体（全ライン）で瞳分離読みか瞳合成読みかの選択が行われているように図示しているが、瞳分離読みと瞳合成読みをラインごとに切り替えることができる。瞳分離読みが必要なのはフラッシュ発光部９０からの光を適正輝度となるように照射する被写界領域のみであるため、既知のアルゴリズムによる被写体抽出・撮像シーケンスに入る前の時点での合焦情報を用いて、不要な領域を除外して瞳分離読みを行う。この場合には、プリ発光時に全ラインの瞳合成読みを行うことによる図１２（ｂ）に示したプリ発光におけるシンクロ期間を延ばす効果は限定的となる。

しかし、瞳分離読みを用いることによる後述する焦点整合情報を用いた調光対象領域抽出が適用可能なシーンを広げる効果が得られる。このため、被写界の照度や既知のアルゴリズムによる被写体抽出・撮像シーケンスに入る前の時点での合焦情報に従って瞳分離読みするライン決定を行う。

ここで、瞳分離読みと瞳合成読みを切り替えることができるのはラインごとではなくてもよく、例えばブロック積分を行うブロック（画素領域）ごとに切り替える等、撮像部２２の構成に応じた領域設定に従って切り替えてもよい。瞳分離読みと瞳合成読みを切り替えることができるラインやブロックは、撮像素子のうち少なくとも一部の画素領域であればよい。

また、システム制御部５０は、Ｓ１２０において算出したブロックごとの輝度レベルが所定輝度よりも高いときに瞳合成読みを選択し、該輝度レベルが該所定輝度よりも低いときに瞳分離読みを選択するようにしてもよい。

図５に戻り、Ｓ１０３では、システム制御部５０は、既知の発光量でフラッシュ発光部９０をプリ発光させて撮像部２２の露光を行う。そして、撮像部２２からの画像信号の読み出しを行う。

次に、Ｓ１０４では、システム制御部５０は、Ｓ１２０で決定された画像信号の読み出し方法が瞳分離読みであるか否かを判定する。瞳分離読みであるときはＳ１０５Ａに進む。

Ｓ１０５Ａでは、システム制御部５０は、Ｓ１０４にて撮像部２２からＡ画像信号（位相差信号）の読み出しを行い、続いてＳ１０５ＢでＡ＋Ｂ画像信号を読み出す。Ｓ１０４でのＡ画像信号の読み出しを読み出し（２）とし、Ｓ１０５でのＡ＋Ｂ画像信号の読み出しを読み出し（３）とする。

Ｓ１０４で瞳分離読みでないときは、システム制御部５０は、Ｓ１０５Ａを経ずにＳ１０５Ｂに進み、Ａ＋Ｂ画像信号の読み出しを行う。

次に、Ｓ１０６では、システム制御部５０は、Ｓ１０５での読み出し（３）により得られたＡ＋Ｂ画像信号をブロック積分し、その結果とＳ１２０で得られたブロック積分の結果とを用いてブロックごとの輝度レベルを算出（測光演算）する。

続いて、Ｓ１０７では、システム制御部５０は、フラッシュ発光部９０のプリ発光の反射率に基づく調光対象領域候補の抽出を行う。

図７のフローチャートには、このプリ発光の反射率に基づく調光対象領域候補の抽出処理の流れを示している。また、主被写体の抽出を説明するため、図８（ａ）には撮像画角に含まれる複数の被写体の例を示している。さらに、図８（ｂ）は、小ブロックごとに積分値（輝度値）を求めるためのブロックの例を示している。１つ１つの矩形の枠で囲まれた領域がブロックである。図７に示す抽出処理では、このブロックごとにブロック積分を行い、そのブロックごとのブロック積分の結果を演算に使用する。

図７のＳ２０１では、システム制御部５０は、図５のＳ１０２の読み出し（１）で得た画像信号とＳ１０５の読み出し（３）で得たＡ＋Ｂ画像信号のそれぞれに対して、図８（ｂ）に示したブロックごとにブロック積分を行う。そして、読み出し（１）で得た画像信号と読み出し（３）で得たＡ＋Ｂ画像信号間で対応するブロックごとにブロック積分結果の差（以下、ブロック輝度差という）を算出し、さらに全てのブロック輝度差の平均値（以下、平均輝度差という）を算出する。

次に、Ｓ２０２では、システム制御部５０は、Ｓ２０１で得た全ブロック輝度差のうち平均輝度差に所定の重みを掛けた値である輝度差閾値よりもブロック輝度差が大きいブロックを抽出する。

続いてＳ２０３では、システム制御部５０は、読み出し（１）で得た画像信号と読み出し（３）で得たＡ＋Ｂ画像信号間での対応ブロックごとにブロック積分結果の比（以下、ブロック輝度比という）を算出する。さらに、全てのブロック輝度比の平均値（以下、平均輝度比という）を算出する。

次に、Ｓ２０４では、システム制御部５０は、Ｓ２０３で得た全ブロック輝度比のうち平均輝度比に所定の重みを掛けた値である輝度比閾値よりもブロック輝度比が大きいブロックを抽出する。ここでの重みは、Ｓ２０２での重みと同じであってもよいし、異なっていてもよい。

次に、Ｓ２０５では、システム制御部５０は、Ｓ２０２で抽出されたブロックとＳ２０４で抽出されたブロックのうち重複する（つまりＳ２０２とＳ２０４の双方で抽出された）ブロックのまとまりを反射率優先の調光領域として抽出する。図８（ｃ）は、反射率優先の調光領域が４つ抽出された例を示している。こうして抽出された領域のそれぞれが、調光対象領域候補となる。

図５に戻り、Ｓ１０８において、システム制御部５０は、Ｓ１２０で決定された画像信号の読み出し方法が瞳分離読みか否かを判定する。瞳分離読みでないときはシステム制御部５０はＳ１０９Ｂに進む。一方、瞳分離読みであるときは、システム制御部５０はＳ１０９Ａに進み、読み出し（２）で得られたＡ画像信号と読み出し（３）で得られたＡ＋Ｂ画像信号とを用いて焦点整合情報（焦点状態に関する情報）の演算を行う。

図９には、焦点整合情報演算の例を示している。システム制御部５０は、まず、Ａ画像信号からＡ像を求めるとともに、Ａ＋Ｂ画像信号からＡ画像信号を差し引いた差（Ｂ画像信号）からＢ像を求める。ここで、Ａ像とＢ像は、Ａ画像信号とＢ画像信号をそれぞれ生成した光電変換素子群α，βへの入射光の撮像レンズ１０３での通過領域が異なるため、その影響を除去または軽減するための補正を行った画像信号である。

Ａ像とＢ像は焦点が合っている部分ではそれらのレベル差が小さくなる。Ａ像とＢ像の差分の絶対値を演算すると、焦点が合っていない部分の絶対値は大きくなり、焦点が合っている部分の絶対値は０付近となる。撮像シーケンスに入る前に第１シャッタスイッチ６２の操作（ＳＷ１信号）に応じてＡＦ処理を行っているので、このＡＦ処理によりユーザが撮像対象とする主被写体に焦点が合っている場合は、０付近より大きい絶対値は焦点が合っていない部分を示す情報となる。つまり、該絶対値が所定の閾値以上である部分は、焦点が合っていない非合焦部分となる。この非合焦部分を示す情報を、焦点整合情報として、フラッシュ発光部９０に本発光（第２の発光）を行わせるときの発光量（以下、本発光量という）の演算に用いる調光対象領域の抽出に用いる。

なお、焦点整合情報としては、Ａ像とＢ像の差分の絶対値でなくてもよい。例えば、Ａ像とＢ像の符号付の差分量を焦点整合情報としてもよいし、Ａ画像信号とＢ画像信号から距離（デフォーカス量）を求める既知の演算により生成した距離マップ情報を焦点整合情報としてもよい。以上のＳ１０９Ａの処理の後、システム制御部５０はＳ１０９Ｂに進む。

Ｓ１０９Ｂでは、システム制御部５０は、実際に調光演算に用いる調光対象領域を抽出し、さらにそれら調光対象領域の調光演算に対する寄与度を演算する。

図１０には、Ｓ１２０で決定された画像信号の読み出し方法が瞳分離読みのときに、Ｓ１０７で抽出された調光対象領域候補（複数の候補が抽出されたものとする）とＳ１０９で演算された焦点整合情報とから調光対象領域を抽出する演算の内容を示している。まず、システム制御部５０は、複数の調光対象領域候補と焦点整合情報の演算部分との対応付けるための演算（対応演算）を行う。そして、複数の調光対象領域候補のうち焦点整合情報で示された非合焦部分に該当する候補を調光対象領域から除外する。これにより、調光対象領域が抽出される。

次に、抽出された調光対象領域の調光演算に対する寄与度（重み）を、調光対象領域候補を抽出した際のプリ発光での反射率と撮像素子上（撮像画面内）の位置に応じて変化させる。具体的には、プリ発光での反射率が高い領域の寄与度を高める。また、撮像画面内の中心に近い領域の寄与度を高める。さらに、顔検出手段等の別の被写体検出手段による被写体領域の検出情報がある場合は、その被写体領域の寄与度を高くする。

先の調光対象領域の抽出において抽出される調光対象領域がなくなってしまう場合には、非合焦の調光対象領域候補を除外する際に用いる焦点整合情報にて非合焦とするＡ像とＢ像の差分の絶対値に対する閾値を高くして調光対象領域を再抽出する。それでも調光対象領域がなくなってしまう場合には、撮像画面内の中央部の寄与度を高くして、中央部から離れるにしたがって寄与度を低くする中央重点重み付けを用いる。

Ｓ１２０で決定された画像信号の読み出し方法が瞳分離読みでないときは、システム制御部５０は、反射率に基づく調光対象領域候補をそのまま調光対象領域とする。

図５に戻り、Ｓ１１０では、システム制御部５０は、Ｓ１０９Ｂで得た調光対象領域の輝度を本撮像時に適正輝度（目標輝度レベル）とするための本発光量を演算する。具体的には、以下の式を用いて本発光量ΔｈＥＦ１を演算する。

上記式において、ＤａｙＹは、読み出し（１）により得られたＡ＋Ｂ画像信号のうちＳ１０９Ｂ（図１０）で得られた調光対象領域の輝度レベルを、その調光対象領域の調光演算に対する寄与度に応じて重み付けして算出した輝度レベル情報である。また、ＰｒｅＹは、読み出し（２）で得られたＡ画像信号のうち調光対象領域の輝度レベルを、その調光対象領域の調光演算に対する寄与度に応じて重み付けして算出した輝度レベル情報である。また、ＲｅｆＹは目標輝度レベルである。

この式により得られるΔｈＥＦ１は、調光対象領域を適正露出にするために、プリ発光の発光量を基準として本発光をｍ段（２のｍ乗）の明るさで発光させればよいかを示す値である。

次に、Ｓ１１１では、システム制御部５０は、本撮像の準備を行う。具体的には、撮像部２２の駆動切り替えと本撮像時の露出設定を行う。さらに、Ｓ１０５ＡとＳ１０５Ｂでそれぞれ読み出したＡ画像信号とＡ＋Ｂ画像信号から一対の位相差信号（Ａ画像信号とＢ画像信号）を得て、一対の位相差信号に基づくＡＦ制御を行ってもよい。この場合は、該一対の位相差信号の位相差から算出されるデフォーカス量に基づいて、フォーカスレンズの駆動を行う。

次に、Ｓ１１２では、システム制御部５０は、撮像部２２の本撮像用の露光を行うとともに、フラッシュ発光部９０を先に算出したΔｈＥＦ１に基づく発光量で本発光させる。

次に、Ｓ１１３では、システム制御部５０は、シャッタ１０１を閉じて撮像部２２の露光を終了する。

次に、Ｓ１１４では、システム制御部５０は、撮像部２２から本撮像画像信号を読み出す。ここでの本撮像画像信号の読み出しを読み出し（４）とする。

続いて、Ｓ１１５では、システム制御部５０は、画像処理部２４に本撮像画像信号に対する画像処理を行わせる。ここでは、本撮像画像信号を複数の領域に分割し、読み出し（２），（３）で読み出した画像信号に対して行った測光演算の結果と、Ｓ１０９Ｂでの対応演算を経た焦点整合情報に基づいて、領域ごとの輝度補正とＷＢ調節を行う。具体的には、プリ発光の反射率とΔｈＥＦ１とから、領域ごとのフラッシュ光と外光との比率の情報を算出する。また、焦点整合情報に基づいて、距離が近い被写体に対するフラッシュ照明光の過照射量の情報を算出する。そして、これらの比率情報と過照射量に基づいて、領域ごとの輝度補正とＷＢ調節を行う。

こうして輝度補正およびＷＢ調節が行われた画像データは、画像処理部２４で現像・圧縮れ、不揮発性メモリ５６に出力されるとともに表示部２８にレビュー画像として表示される。以上で、フラッシュ撮像制御処理が終了する。

上記実施例では、フラッシュ発光部９０がカメラ１００に内蔵されている場合について説明した。しかし、フラッシュ発光部９０に相当する外付けフラッシュ装置（発光手段）が撮像装置に取り外し可能に装着される場合でも、上記実施例で説明したフラッシュ撮像制御処理を適用することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２２ 撮像部
５０システム制御部
９０ フラッシュ発光部

Claims (7)

1. １つのマイクロレンズに対して複数の光電変換素子が設けられた画素を複数有する撮像手段と、
   前記画素からの信号読み出しを、前記複数の光電変換素子からの信号を合成して読み出す第１の信号読み出しと、前記複数の光電変換素子のうち第１の光電変換素子の出力を読み出した後に前記第１の光電変換素子の出力と第２の光電変換素子の出力とを合成して読み出す第２の信号読み出しとで行うことが可能な読み出し手段と、
   前記撮像手段のうち被写界からの光を受光した少なくとも一部の画素領域から読み出された信号を用いて測光を行う測光手段と、
   前記被写界を照明する光を発する発光手段に第１の発光を行わせ、該第１の発光時における前記測光の結果に基づいて演算した発光量で前記発光手段に第２の発光を行わせる発光制御手段と、
   前記第１の発光時における前記測光の結果を得るための前記画素領域からの調光用信号読み出しを、前記第１の信号読み出しと前記第２の信号読み出しとに切り替える切り替え手段とを有することを特徴とする撮像装置。
2. 前記切り替え手段は、前記調光用信号読み出しを、複数の前記画素領域における画素領域ごとに前記第１の信号読み出しと前記第２の信号読み出しとに切り替えることを特徴とする特徴とする請求項１に記載の撮像装置。
3. 前記切り替え手段は、前記調光用信号読み出しを、前記第１の発光の前の前記発光手段の非発光時における前記測光の結果に基づいて、前記第１の信号読み出しと前記第２の信号読み出しとに切り替えることを特徴とする請求項１に記載の撮像装置。
4. 前記切り替え手段は、前記調光用信号読み出しを、前記発光手段の非発光時における前記測光の結果としての前記被写界の輝度が所定輝度よりも高いときは前記第１の信号読み出しに設定し、前記輝度が前記所定輝度より低いときは前記第２の信号読み出しに設定することを特徴とする請求項３に記載の撮像装置。
5. 前記発光手段の非発光時における前記測光の結果として、前記第１の発光時における前記撮像手段の露光時間を演算する露光制御手段を有しており、
   前記切り替え手段は、前記調光用信号読み出しを、前記露光時間が所定時間より短いときは前記第１の信号読み出しに設定し、前記露光時間が前記所定時間より長いときは前記第２の信号読み出しに設定することを特徴とする請求項３に記載の撮像装置。
6. 前記第１の光電変換素子から読み出した信号を用いて生成された第１の画像信号と前記第２の光電変換素子から読み出した信号を用いて生成された第２の画像信号とから、前記複数の画素領域での焦点状態に関する情報を取得する焦点情報取得手段を有しており、
   前記切り替え手段が前記調光用信号読み出しを前記第２の信号読み出しに設定したときは、前記焦点情報取得手段は、該第２の信号読み出しにより読み出された前記第１および第２の信号を用いて前記焦点状態に関する情報を取得することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. １つのマイクロレンズに対して複数の光電変換素子が設けられた画素を複数有する撮像手段を備えた撮像装置であって、前記画素からの信号読み出しを、前記複数の光電変換素子からの信号を合成して読み出す第１の信号読み出しと、前記複数の光電変換素子のうち第１の光電変換素子の出力を読み出した後に前記第１の光電変換素子の出力と第２の光電変換素子の出力とを合成して読み出す第２の信号読み出しとで行うことが可能な撮像装置のコンピュータに、
   前記撮像手段のうち被写界からの光を受光した少なくとも一部の画素領域から読み出された信号を用いて測光を行う処理と、
   前記被写界を照明する光を発する発光手段に第１の発光を行わせ、該第１の発光時における前記測光の結果に基づいて演算した発光量で前記発光手段に第２の発光を行わせる処理と、
   前記第１の発光時における前記測光の結果を得るための前記画素領域からの調光用信号読み出しを、前記第１の信号読み出しと前記第２の信号読み出しとに切り替える処理とを実行させるコンピュータプログラムであることを特徴とする撮像制御プログラム。