JP6600162B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特には自動焦点検出（ＡＦ）技術に関する。

近年の撮像装置には自動焦点検出（ＡＦ）機能が搭載されているが、ＡＦ機能が苦手とするシーンがある。そのため、ＡＦ機能が苦手とするシーン、例えば、星空シーンの撮影を行うモードが設定された場合には、ＡＦ機能を用いずに、あらかじめ決められた無限遠位置にフォーカスレンズを駆動する撮像装置が知られている（特許文献１）。
しかしながら、予め設定された無限遠位置にフォーカスレンズを駆動する構成では、経年変化や環境温度、カメラ姿勢の変化による無限遠位置のずれに対応できないため、合焦度の高い画像が得られない場合がある。

特開平４−１５６２９号公報 特開２０１４−２１９７号公報

特許文献２では、夜景のように点光源が支配的な被写体の場合、ＡＦに用いる画像を生成する際の画素加算数を通常よりも減らし、画素加算による周波数成分の変化を抑制してＡＦ精度を向上させることが提案されている。しかしながら、画素加算数を減らすと、暗部におけるランダムノイズの低減効果が低下するため、ランダムノイズがＡＦ精度に影響を与えやすくなるという問題がある。

本発明はこのような従来技術の課題の１つ以上を改善するためになされたものであり、輝度やコントラストの低いシーンでの焦点検出精度を改善した撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像素子から画像信号を取得する取得手段と、画像信号の、色成分間の強度差を補正するための係数を算出する算出手段と、画像信号から特定の周波数成分を抽出する抽出手段と、抽出された特定の周波数成分に基づいて焦点検出を行う焦点検出手段と、を有する撮像装置であって、第１の焦点検出モードにおいて、
上述の目的は、取得手段は、間引き処理が行われていない画像信号を撮像素子から読み出し、抽出手段は、算出手段が算出した係数を適用しないか、算出手段が算出した係数よりも色成分間の差の小さい係数を適用した画像信号から特定の周波数成分を抽出し、第２の焦点検出モードにおいて、取得手段は、間引き処理が行われた画像信号を撮像素子から取得し、抽出手段は、算出手段が算出した係数を適用した画像信号から特定の周波数成分を抽出する、ことを特徴とする撮像装置によって達成される。

このような構成により本発明によれば、輝度やコントラストの低いシーンでの焦点検出精度を改善した撮像装置およびその制御方法の提供することができる。

実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示す図 実施形態に係るデジタルカメラのＡＦ動作の概要を示すフローチャート 実施形態における第１読み出しモードを概要を説明するための図 実施形態における通常ピーク算出処理の詳細を説明するためのフローチャート 実施形態における星空ピーク算出処理の詳細を説明するためのフローチャート 実施形態における画素配列と焦点検出領域の例を示す図 実施形態でホワイトバランス係数の算出に用いる白検出範囲の例を示す図 図４のＳ２０４と図５のＳ３０４で用いるフィルタの差について説明するための模式図

以下、本発明の例示的な実施形態を添付の図面に基づいて詳細に説明する。以下の説明では、本発明を撮像装置の一例としてのデジタルカメラに適用した例について説明する。しかしながら、本発明は撮像機能を有する任意の装置や機器に適用可能であり、このような装置や機器としては例えば携帯電話機、パーソナルコンピュータ、タブレット端末、ゲーム機などがあるが、これらに限定されない。

（デジタルカメラの構成）
図１は、本発明の実施形態に係るデジタルカメラ１００の構成例を模式的に示した図である。撮影光学系１０１は、画角を変更するための変倍レンズとその駆動機構、焦点光学系であるフォーカスレンズ１０２とその駆動機構、絞りとその駆動機構を含む。撮影光学系１０１はデジタルカメラ１００から着脱可能な構成であってもよい。撮影光学系１０１からの入射光はＣＣＤもしくはＣＭＯＳイメージセンサである撮像素子１０３により電気信号（画像信号）に変換される。画像信号にはＡ／Ｄ変換などが行われた後、信号処理部１０５に入力される。信号処理部１０５は後述する処理によって輝度信号を生成する。

なお、本実施形態において撮像素子１０３には特定の繰り返しパターンを有するカラーフィルタ、具体的には、原色ベイヤーパターンのカラーフィルタが設けられているものとする。撮像素子１０３の各画素には、パターンを構成する色成分（赤、緑、青）のうちの１色に対応したカラーフィルタが割り当てられている。以下では、割り当てられているカラーフィルタの色を画素の色として説明したり、同じ色のカラーフィルタが割り当てられている画素を同色画素もしくは同じ色成分の画素と呼んだりすることがある。

強度検出部１０８（算出手段）は、色成分毎の信号強度を検出し、これを元に制御部１０７が信号処理部１０５での処理方法を制御する。例えばレリーズボタンを半押しされるなど、撮影準備動作の開始指示が入力されると、評価値演算部１０６は、輝度信号に基づいてコントラスト方式のＡＦに用いるＡＦ評価値を算出し始め、制御部１０７はＡＦ評価値に基づいて焦点検出を行う。また、制御部１０７は、信号処理部１０５の生成する輝度信号に基づいてＡＥ処理を行う。評価値演算部１０６と制御部１０７は焦点検出手段を構成する。

操作部１０４はユーザが設定や指示をデジタルカメラ１００に与えるための入力デバイス群であり、レリーズボタン、メニューボタン、方向キー、決定ボタン、電源スイッチ、タッチパネルなどが含まれる。操作部１０４の状態や操作は制御部１０７に入力され、制御部１０７は操作部１０４の状態や操作に応じた動作を実現するような制御を行う。

本実施形態では撮影モードを設定するためのモードダイヤル１０４１が操作部１０４に含まれている。後述するように、設定された撮影モードに応じて制御部１０７は信号処理部１０５や評価値演算部１０６の処理を変更する。また、本実施形態のデジタルカメラ１００は、撮影モードとして「星空撮影モード」を有している。

駆動制御部１０９は、予め定められた範囲でフォーカスレンズ１０２を駆動させながら評価値演算部１０６が算出するＡＦ評価値を取得し、ＡＦ評価値が最大になるフォーカスレンズ１０２の位置を検出し、フォーカスレンズ１０２を移動させる。フォーカスレンズ１０２の駆動制御が完了したのち、レリーズボタンが全押しされるなど、撮影動作の開始指示が入力されると、制御部１０７は撮像素子１０３による電荷蓄積時間や絞りの動作を制御して撮影動作を実行する。撮影された画像は例えば制御部１０７によって記録用の処理を適用し、例えばメモリカードのような不揮発性記録媒体に記録する。

タイミング信号生成回路（ＴＧ）１１１は、制御部１０７の設定する読み出しモードに従い、撮像素子１０３の水平および垂直読み出し回路などに与えるタイミング信号を生成する。ＴＧ１１１と制御部１０７は撮像素子１０３から画像信号を取得する取得手段を構成する。後述するように、本実施形態のデジタルカメラ１００は、撮影モードに応じて撮像素子１０３の読み出しモードを変更する。

なお、信号処理部１０５、評価値演算部１０６、制御部１０７、強度検出部１０８、および駆動制御部１０９は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサ（以下、ＣＰＵとよぶ）１１０がソフトウェアを実行して実現してもよい。あるいは、信号処理部１０５、評価値演算部１０６、制御部１０７、強度検出部１０８、および駆動制御部１０９の１つ以上がＡＳＩＣ、ＦＰＧＡ、ＣＰＬＤなどのハードウェア回路から構成されてもよい。以下では、少なくとも、各部を制御することによってデジタルカメラ１００の機能を実現する制御部１０７が、ＣＰＵ１１０がソフトウェアを実行することによって実現されるものとする。

（ＡＦ処理の概要）
図２は、本実施形態のデジタルカメラ１００が実施するＡＦ処理の動作を説明するためのフローチャートである。上述の通り、ＡＦ動作は、撮影準備動作の開始指示の入力に応じて開始される。

Ｓ１０１において、制御部１０７はモードダイヤル１０４１によって「星空撮影モード」が選択されているか否かを判定する。ここでは簡単のため、モードダイヤル１０４１が「星空撮影モード」か「通常モード」を選択可能であるものとするが、他の撮影モードを選択可能であってよい。

なお、本実施形態では、撮影モードがモードダイヤル１０４１の操作によって設定される場合について説明するが、スイッチ、ボタン、タッチパネル、音声コマンドなど、モードダイヤル１０４１以外を用いて設定されてもよい。また、撮影者による設定に限らず、たとえば公知の方法を用いたシーン判別結果に応じてデジタルカメラ１００が設定する構成であってもよい。例えば輝度のヒストグラムを用いて、星空シーンのような、暗い背景に点光源（高輝度の小被写体）が散在する領域が支配的なシーンであることを自動的に判別するように構成してもよい。

また、星空シーンは輝度やコントラストの低いシーンの代表例であり、必ずしも本発明が星空の撮影に限定されるものではない。基本的に、低輝度の背景に点状（小面積）の高輝度被写体が散在している領域が画面もしくは焦点検出領域の所定の割合以上（例えば半分以上）を占めるようなシーンにおいて本発明の効果は十分に得られる。星空シーン以外の例としては、夜景シーンがある。

制御部１０７（選択手段）は、Ｓ１０１で「星空撮影モード」が選択されていると判定された場合はＳ１０４へ、「星空撮影モード」が選択されていない、すなわち「通常モード」が選択されていると判定された場合はＳ１０２へ、処理を進める。通常モードでは第２の焦点検出モードで焦点検出を行い、星空撮影モードでは第１の焦点検出モードで焦点検出を行う。

まず、第２の焦点検出モードでの動作を説明する。
Ｓ１０２で制御部１０７は、撮像素子１０３の空間分解能より低い分解能を有する画像信号を取得する第１の読み出しモードで撮像素子１０３の読み出しを行うようにＴＧ１１１に設定する。第１の読み出しモードでは、撮像素子１０３の読み出し（水平）方向に隣接する同色画素を３画素ずつ加算する加算処理と、読み出し方向と直交する（垂直）方向には３行ごとに読み出す（１行読み出して２行飛ばす）間引き処理とを行う。第１の読み出しモードでは水平および垂直方向のそれぞれで読み出し画素数が１／３になるため、読み出し時間が短縮でき、フレームレートを高めることが可能となる。

図３は、撮像素子１０３の画素配列のうちの４行２０列分と、第１の読み出しモードで読み出される画素との関係を模式的に示している。第１の読み出しモードは１行読み出して２行飛ばす行間引きを行う。ここでは、３×Ｍ（Ｍ＝０以上の整数）行目が読み出し対象行であるものとする。従って、図３では０行目と３行目が読み出し対象行で、１行目と２行目が間引き対象行である。

また、水平方向には同色３画素の加算読み出しを行う、０行目を例にとれば、０，２，４列目のＧ（緑）画素の信号が、撮像素子１０３内で加算（平均）されて読み出される。また、同様に３，５，７列目の３つのＢ（青）画素の信号が加算読み出しされる。１列目のＢ（青）画素が加算対象とならないのは、加算される画素群の中心画素の位置が等間隔となるようにするためである。３行目におけるＲ（赤）画素とＧ（緑）画素の読み出しも０行目と同様であり、１列目のＧ画素は加算対象にならない。

Ｓ１０３で制御部１０７は、信号処理部１０５、評価値演算部１０６、駆動制御部１０９などを制御し、ＡＦ評価値がピークとなるフォーカスレンズ位置を求める通常ピーク算出処理を行う。通常ピーク算出処理の詳細については後述する。制御部１０７は、通常ピーク算出処理が終了したら処理をＳ１０６へ進める。

次に、第１の焦点検出モードでの動作を説明する。
Ｓ１０４で制御部１０７は、第２の読み出しモードで撮像素子１０３の読み出しを行うようにＴＧ１１１に設定する。第２の読み出しモードでは、撮像素子１０３の読み出し（水平）方向における画素の加算処理および、読み出し方向と直交する（垂直）方向での間引き処理を行わない。第２の読み出しモードでは、加算処理および間引き処理を行わないため、撮像素子１０３の空間分解能に等しい分解能を有する信号を読み出すことができる。

星のような点光源は、信号強度は強いが画像中に占めるサイズが小さいため、星空シーンや夜景シーンに対して画素の加算（平均）処理を適用すると、点光源の信号強度が著しく損われる場合がある。また、間引き処理によって星の像が読み出されない場合もある。また、暗い背景に点光源が散在する星空シーンや夜景シーンは高周波数帯域で強い信号強度を有するという特徴を有するが、画素加算処理や間引き処理によってこの特徴が変化し、コントラストＡＦの精度に影響を与える場合がある。これらの現象を回避するため、第２の読み出しモードでは、加算読み出しや間引きを行わない。

したがって本実施形態では「星空撮影モード」が選択されている場合、画素の加算や間引きを行わない第２の読み出しモードに設定することにより、星像の高空間周波数成分や強い信号強度をＡＦ処理に活用できるようにする。ただし、将来的に光学ズームの性能向上や撮像素子の画素ピッチが極小化することによって、点光源が結像する画素数が一定数より多くなる場合には、第２の読み出しモードで加算読み出しや間引きを行っても構わない。

Ｓ１０５で制御部１０７は、信号処理部１０５、評価値演算部１０６や駆動制御部１０９などを制御し、ＡＦ評価値がピークとなるフォーカスレンズ位置を求める星空ピーク算出処理を行う。星空ピーク算出処理の詳細については後述する。制御部１０７は、星空ピーク算出処理が終了したら処理をＳ１０６へ進める。

Ｓ１０６で制御部１０７は、Ｓ１０３またはＳ１０５で算出されたピーク位置に基づいて駆動制御部１０９を通じて最終合焦位置へフォーカスレンズ１０２を移動させ、ＡＦ処理を終了する。

（通常ピーク算出処理）
次に、図２のＳ１０３における通常ピーク算出処理の詳細について、図４のフローチャートを用いて説明する。
Ｓ２０１において制御部１０７は、駆動制御部１０９に、フォーカスレンズ１０２位置Ｐの初期値（駆動開始位置）を設定する。ここでは、ＡＦ処理の開始時（図２の処理の開始時）におけるフォーカスレンズ１０２の位置Ｐ１を初期値として設定するものとするが、特定の位置を初期値としてもよい。なお、ＡＦ処理時にフォーカスレンズ１０２は、所定の単位距離（またはスキャンステップ）ΔＰずつ駆動される。

Ｓ２０２では、撮像素子１０３における電荷蓄積と、信号の読み出しを行う。電荷蓄積期間はフレームレートや画像の輝度情報に基づいて制御部１０７が決定、制御する。通常ピーク算出処理が実行される際には第１の読み出しモードが設定されているため、ＴＧ１１１は、水平方向での加算読み出しと、垂直方向の間引き読み出しを行うための読み出し信号を生成して撮像素子１０３に供給する。読み出された信号（画像データ）は信号処理部１０５および強度検出部１０８へ入力される。

Ｓ２０３において強度検出部１０８は、Ｓ２０２で読み出された画像データのうち、予め設定された焦点検出領域に対応する画像データに基づいて各色成分の信号強度を検出し、色成分間の信号強度差を補正するための係数（ホワイトバランス係数）を算出する。そして、このホワイトバランス係数を用いて、信号処理部１０５において、Ｓ２０２で読み出された画像データに対して第１の変換処理を行う。第１の変換処理の詳細については、第２の変換処理の詳細と共に後述する。

Ｓ２０４において信号処理部１０５（抽出手段）は、変換処理後の画像データにバンドパスフィルタ（ＢＰＦ）処理を行う。具体的には信号処理部１０５は、画像データの行方向に、係数［１ ２ １］の空間ローパスフィルタを適用した後、さらに係数［１ −１］の空間ハイパス（微分）フィルタ処理を適用する。撮像素子１０３に原色ベイヤーパターンのカラーフィルタが設けられているとすると、この空間ハイパスフィルタ処理により、隣接する緑の画素と赤の画素の値の差、あるいは、隣接する緑の画素と青の画素の値の差を強調した値が得られる。なお、これらフィルタは単なる例示であって他の係数のフィルタを用いてもよい。また、被写体の周波数特性に応じて動的にフィルタを選択する構成であってもよい。信号処理部１０５は、各行についてバンドパスフィルタ処理後のピーク値を保存する。

Ｓ２０５で評価値演算部１０６は、Ｓ２０４で信号処理部１０５が保存した１フレーム分のピーク値を加算し、ＡＦ評価値を算出する。

Ｓ２０６で制御部１０７は、前回のフォーカスレンズ位置Ｐ（現在位置から単位距離ずれた位置）について算出された前評価値と、今回のフォーカス位置Ｐ（現在位置）について算出された現評価値とを比較する。そして、制御部１０７は、隣接評価値間の変化が増加から減少に転じ、かつ現評価値の前評価値からの減少量が所定値より大きい場合に、ピークが検出されたと判定し、処理をＳ２０８に進める。

一方、ピークが検出されていないと判定された場合、制御部１０７は処理をＳ２０７へ進める。Ｓ２０６が最初に実行される際には前評価値が存在しないため、制御部１０７は処理をＳ２０７へと進める。Ｓ２０７で制御部１０７は駆動制御部１０９を通じて、フォーカスレンズ１０２を、現在位置から単位距離ΔＰだけ至近側へ移動した位置（Ｐ＋ΔＰ）へ移動させ、処理をＳ２０２へ戻す。なお、初期位置からフォーカスレンズ１０２を駆動する方向は至近側に限らず、無限遠側でもよい。このように、Ｓ２０６でピークが検出されたと判定されるまで、フォーカスレンズ１０２を徐々に至近側へ移動しながらＡＦ評価値の算出と比較を繰り返し実行する。

Ｓ２０８で制御部１０７は、ピークが検出されたと判定した現評価値を含む所定数（例えば３〜４つ）の評価値を用いた補間演算により、単位距離ΔＰ未満の精度で評価値のピークに対応するフォーカスレンズ位置（ピーク位置）を決定し、処理を終了する。なお、補間演算の代わりに他の方法、例えばより多くの評価値に基づく多項式近似などを用いてもよい。

なお、ここではＳ２０６において、ピークが検出されたか否かを判定し、ピークが検出されたと判定された以降はフォーカスレンズ１０２の駆動を行わない構成について説明した。しかし、ピークが検出されたと判定された以降も、フォーカスレンズ１０２が駆動終了位置に達するまで、フォーカスレンズ１０２の駆動と評価値の算出を継続してもよい。

（星空ピーク算出処理）
次に、図２のＳ１０５における星空ピーク算出処理の詳細について、図５のフローチャートを用いて説明する。
Ｓ３０１において制御部１０７は、駆動制御部１０９に、フォーカスレンズ１０２位置Ｐの初期値（駆動開始位置）を設定する。ここでは、デジタルカメラ１００の製造工程で無限位置として調整された調整無限位置（Ｐ_ｉｎｆ）からフォーカスレンズ１０２を駆動する単位距離ΔＰの５倍分さらに無限方向に移動した位置を設定する。なお、調整無限位置の代わりに、調整無限位置を温度変化や姿勢変化について補正した推定無限位置など、他の位置を用いてもよい。

Ｓ３０２では、撮像素子１０３における電荷蓄積と、信号の読み出しを行う。電荷蓄積期間はフレームレートや画像の輝度情報に基づいて制御部１０７が決定、制御する。星空ピーク算出処理が実行される際には第２の読み出しモードが設定されているため、ＴＧ１１１は、水平方向での画素加算および垂直方向の間引きは行わない読み出し信号を生成して撮像素子１０３に供給する。読み出された信号（画像データ）は信号処理部１０５および強度検出部１０８へ入力される。

Ｓ３０３において強度検出部１０８は、Ｓ３０２で読み出された画像データのうち、予め設定された焦点検出領域に対応する画像データに基づいて各色成分の信号強度を検出し、各色成分に共通の係数を算出する。さらに、算出した係数を用いて、信号処理部１０５において、Ｓ３０２で読み出された画像データに対して第２の変換処理を行う。詳細については後述する。

Ｓ３０４において信号処理部１０５（抽出手段）は、変換処理後の画像データの同色画素を対象としたフィルタ処理を行う。具体的には信号処理部１０５は、画像データの行方向に係数［１ ０ −１］の空間ハイパス（微分）フィルタ処理を適用する。

通常ピーク算出処理のバンドパスフィルタ処理（Ｓ２０４）で適用する空間ハイパスフィルタは２係数であったが、星空ピーク算出処理では処理対象画素の係数として０を有する３係数のフィルタを用いている。本実施形態ではベイヤーパターンのカラーフィルタを有する撮像素子１０３を用いているため、水平方向と垂直方向において同色画素が２画素ごとに配置されている。したがって、係数［１ ０ −１］のフィルタを用いることで、処理対象画素の左右に隣接する２つの同色画素（同じ色成分の画素）の値の差が求められる。なお、このフィルタは単なる例示であって、同色画素を対象とする他の係数のフィルタを用いてもよい。さらに、ハイパスフィルタ処理を行う前に、同色画素を対象とするローパスフィルタを適用してバンドパスフィルタ処理としてもよい。また、被写体の周波数特性に応じて動的にフィルタを選択する構成であってもよい。信号処理部１０５は、各行についてフィルタ処理後のピーク値を保存する。

なお、単体でみると、星空ピーク算出処理で用いるハイパスフィルタの方が低周波成分を残す特性を有する。しかし、第２の読み出しモードでは水平方向の加算読み出しを行わずに読み出した画像データを対象としているため、加算読み出しを行う通常ピーク算出処理のバンドパスフィルタ処理より高周波帯域の信号を抽出できる。

Ｓ３０５で評価値演算部１０６は、Ｓ３０４で信号処理部１０５が保存した１フレーム分のピーク値を加算し、ＡＦ評価値を算出する。

Ｓ３０６で制御部１０７は、予め定められた数（ここでは一例として１１とする）のフォーカスレンズ位置に対して評価値を算出したか判定し、算出済みであれば処理をＳ３０８へ、算出済みでなければ処理をＳ３０７へ進める。

Ｓ３０７で制御部１０７は駆動制御部１０９を通じて、フォーカスレンズ１０２を、現在位置から単位距離ΔＰだけ至近側へ移動した位置（Ｐ＋ΔＰ）へ移動させ、処理をＳ３０２へ戻す。なお、初期位置からフォーカスレンズ１０２を駆動する方向は至近側に限らず、無限遠側でもよい。このように、Ｓ３０６で所定数のＡＦ評価値が算出されたと判定されるまで、フォーカスレンズ１０２を徐々に至近側へ移動しながらＡＦ評価値の算出を繰り返し実行する。

Ｓ３０８で制御部１０７は、最大の評価値を含む、連続して算出された所定数（例えば３〜４つ）の評価値とを用いた補間演算により、単位距離ΔＰ未満の精度で評価値のピークに対応するフォーカスレンズ位置（ピーク位置）を決定し、処理を終了する。なお、補間演算の代わりに他の方法、例えばより多くの評価値に基づく多項式近似などを用いてもよい。

（変換処理の詳細）
ここで、図４のＳ２０３および図５のＳ３０３において実施される、第１および第２の変換処理の詳細について説明する。
図６（ａ）は、撮像素子１０３における、予め定められた焦点検出領域Ｆとその近傍に対応する領域の画素配列を模式的に示している。上述の通り本実施形態において撮像素子１０３は図６（ｂ）に示す繰り返しパターンからなる原色ベイヤーパターンのカラーフィルタを有している。図６において、Ｒは赤、Ｇ１，Ｇ２は緑、Ｂは青を示している。以下ではＧ１とＧ２をまとめてＧという場合がある。

強度検出部１０８は、撮像素子１０３における、焦点検出領域Ｆに対応する領域から読み出された画像データの各色成分（Ｒ，Ｇ，Ｂ）の値（信号強度）に基づいてホワイトバランス係数を演算する。ホワイトバランス係数は、色成分間の信号強度を調整するためのゲイン（増幅率）である。

まず、第１および第２の変換処理に共通するホワイトバランス係数の演算処理について説明する。
強度検出部１０８は、撮像素子１０３から読み出される画像データを、図６（ｂ）に示す繰り返しパターンに対応する画素ブロック（以下、基本ブロック）を単位として取り扱う。強度検出部１０８は、基本ブロックの各々に対して、以下の数式１に基づいて色評価値Ｃｘ、Ｃｙを算出する。なお、数式１において、Ｒ、Ｇ１、Ｇ２、Ｂは基本ブロック内の対応する画素の値（信号強度）を表す。
（数式１）
C_x = ((R+G2)-(B+G1)) / Y_i
C_y = ((R+B)-(G1+G2)) / Y_i
Y_i = (R+G1+G2+B) / 4

図７は、横軸をＣｘ、縦軸をＣｙとした色空間を示す図である。図７では、予め高色温度から低色温度までの白色を撮影した画像から算出した色評価値Ｃｘ、Ｃｙから規定された白軸が示されている。ただし、実際の光源下における白色の色評価値には若干のばらつきが存在する。

例えば、太陽光などの高色温度の光源下における白色の色評価値は、領域Ａに示す範囲に分布する。一方、白色タングステンランプなどの低色温度の光源下における白色の色評価値は、領域Ｂに示す範囲に分布する。そのため、白軸を中心として幅を持たせた範囲を白検出範囲（白と判断すべき領域）としている。

強度検出部１０８は、基本ブロックのうち、算出された色評価値Ｃｘ、Ｃｙが図７の色空間における白検出範囲に含まれるものを白色ブロックと判定する。そして、強度検出部１０８は、焦点検出領域Ｆ内で白色ブロックと判定された基本ブロックを構成する画素値を色成分ごとに積分し、積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出する。そして、強度検出部１０８は、積分した画素数（＝白色ブロック数）Ｎから、以下の数式２に基づいて、白色ブロックの各色成分の平均値ＡｖｅＲ、ＡｖｅＧ１、ＡｖｅＧ２、ＡｖｅＢと、輝度の平均値ＡｖｅＹｉを算出する。
（数式２）
AveR ＝ SumR / N
AveG1 = SumG1 / N
AveG2 = SumG2 / N
AveB = SumB / N
AveY_i = (SumR + SumG1 + SumG2 + SumB) / 4*N

次に強度検出部１０８は、以下の数式３に基づいて、各色成分の信号強度Ｒ、Ｇ１、Ｇ２、Ｂに対応するホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂを算出する。
（数式３）
kWB_R = (AveY_i) / AveR
kWB_G1 = (AveY_i) / AveG1
kWB_G2 = (AveY_i) / AveG2
kWB_B = (AveY_i) / AveB

数式３から分かるように、各色成分のホワイトバランス係数ｋＷＢは、焦点検出領域Ｆ内に存在する白色ブロック内の全画素の平均信号強度AveY_iを、白色ブロック内の色成分の平均信号強度で除算した値である。そのため、白色ブロック内の信号強度が強い色成分ほど係数が小さく、信号強度が弱い色成分ほど係数が大きくなる。

信号処理部１０５において、ホワイトバランス係数ｋＷＢを対応する色成分の画素データの値に乗算することで、画像内の全画素の信号強度は白色を基準とした一様な値、すなわち、隣接画素間のばらつきの少ない輝度信号を生成することが可能となる。このように、第１の変換処理は、焦点検出領域内の画像データに基づいて算出したホワイトバランス係数を適用する処理である。

次に第２の変換処理について説明する。
第２の変換処理は、第１の変換処理と同様にして強度検出部１０８で算出したホワイトバランス係数から各色成分に共通の係数をさらに算出し、信号処理部１０５で適用する。つまり、星空撮影モードに設定されている場合、数式３で示された全てのホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂから、１つの係数をさらに算出し、画像データに適用する。

ここでは、ホワイトバランス係数ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂの平均値であるＡｖｅＷＢを、各色成分に共通な係数として算出するものとする。このように、色成分に依存しない係数とするのは、特に暗部領域における特定の色成分についてのノイズ成分が、ホワイトバランス係数の適用によって大きく増幅されることを抑制するためである。

星空や夜景においては、低輝度の背景領域（夜空）が多く含まれる。また、上述の通り、第１の変換処理で算出されるホワイトバランス係数は、白色ブロック内の信号強度が弱い色成分ほど大きくなる。したがって、値の小さな色成分が存在すると、その色成分を極めて大きなホワイトバランス係数で増幅することになり、ノイズ成分が不要に増幅されてしまう。ノイズ成分が増幅された画像を用いてコントラストＡＦを実施すると、増幅されたノイズによる偽エッジ成分がＡＦ評価値を高くし、ＡＦの精度を低下させる原因となる。この問題はコントラストＡＦに限らず、たとえば撮像面位相差ＡＦにおいても精度低下の原因となる。

画像内に低輝度領域が多く含まれていると考えられる場合には、各色成分の信号強度におけるノイズ成分の影響が大きくなっていると考えられる。加えて、水平方向における画素加算や垂直方向の間引きを行わなずに画像データを読み出した場合、読み出された画像データの低輝度領域には、画素加算や間引きを行うことで軽減されるランダムノイズの影響がそのまま残っているため、問題は大きくなる。

そのため、本実施形態では星空撮影モードが設定されている場合、色成分の信号強度に依存しない固定の係数を用いることで、上述した不要なノイズ成分の増幅を抑制し、ＡＦ精度の低下を抑制する。

なお、本実施形態においては典型例として第２の変換処理では色成分に共通した係数を用いる構成について説明した。しかし、第１の変換処理で算出される色成分ごとのホワイトバランス係数よりもばらつきが小さい係数を用いれば、ノイズ成分の増幅を抑制する効果は得られる。したがって、例えばｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂの最大値と最小値の差の絶対値をαとした場合、ＡｖｅＷＢ±β（ただしβ＜α／２）の範囲の値となるようにｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂを補正してもよい。また、ここでは第１の変換処理と同様に算出したホワイトバランス係数を用いて第２の変換処理で用いる係数を算出したが、この係数の算出は行わなくてもよい。この場合、予め定められた係数を適用したり、係数の適用を行わないようにしたりすることができる。

（フィルタの特性）
次に、通常ピーク算出処理と星空ピーク算出処理のフィルタ処理に用いるフィルタの違いとその効果について説明する。

図８は、星空撮影モードで星空を撮影して得られた画像の信号強度（画素値）と、合焦度合いとの関係とを模式的に示した図である。ここでは、Ｇ画素とＢ画素からなる画素行の２８画素分について、合焦近傍（図８（ａ））とデフォーカス状態（図８（ｂ））における信号強度（画素値）を示している。Ｇ０〜Ｇ１３がＧ画素、Ｂ０〜Ｂ１３がＢ画素であり、縦軸は画素値である。

この画素行には星が１つ写っており、合焦近傍（ほぼ合焦している状態）では、Ｂ５、Ｇ６、Ｂ６に結像している。デフォーカス状態（ぼけた状態）では像の輪郭がぼやけるため、合焦近傍よりも多くの画素（Ｂ４からＢ７）に像が拡がっている。典型的な実施形態では星空撮影モードで適用する係数を固定値とするため、Ｇ画素とＢ画素に同レベルの白色光が入射しても、カラーフィルタの色による透過率の差によって信号強度に差が生じる。この差は、デフォーカス状態におけるＧ画素（たとえばＧ５とＧ７）とＢ画素（たとえばＢ５とＢ６）の信号強度の差として現れている。

上述したように、星空ピーク算出処理と通常ピーク算出処理では、フィルタ処理で用いられるハイパスフィルタを異ならせている。具体的には、通常ピーク算出処理では［−１ １］の微分フィルタを、星空ピーク算出処理では［−１ ０ １］の微分フィルタを用いている。

［−１ １］の微分フィルタの適用は、異色の隣接画素値の差を求める演算に相当する。そのため、フィルタ処理で得られる値の最大絶対値はＢ５−Ｇ６間あるいはＧ６−Ｂ６間で得られる（図中のｍａｘ（Ｅｖ［−１ １］）。
一方［−１ ０ １］の微分フィルタの適用は、同色の隣接画素値の差を求める演算に相当するため、フィルタ処理で得られる値の最大絶対値Ｇ５−Ｇ６間あるいはＧ６−Ｇ７間で得られる（図中のｍａｘ（Ｅｖ［−１ ０ １］）。

図８（ａ）と図８（ｂ）とを比較すると、合焦近傍でもデフォーカス状態でもｍａｘ（Ｅｖ［−１ ０ １］）とｍａｘ（Ｅｖ［−１ １］）が得られる位置は変わらないが、大小関係が逆転することがわかる。
つまり、
合焦近傍では
ｍａｘ（Ｅｖ［−１ ０ １］）＞ｍａｘ（Ｅｖ［−１ １］）
デフォーカス状態では
ｍａｘ（Ｅｖ［−１ ０ １］）＜ｍａｘ（Ｅｖ［−１ １］）
となる。

前述の通り、ＡＦ評価値はフィルタ処理で得られる画素行ごとの最大絶対値の積算値である。そのため、合焦近傍では［−１ ０ １］微分フィルタを適用した方が、［−１ １］微分フィルタを適用するよりも大きなＡＦ評価値が得られる。一方、デフォーカス状態では［−１ ０ １］微分フィルタを適用するより［−１ １］微分フィルタを適用した方が大きなＡＦ評価値が得られる。

すなわち、第２の変換処理を行う場合のハイパスフィルタ処理に［−１ １］微分フィルタを用いると、［−１ ０ １］微分フィルタを用いる場合よりも合焦近傍でのＡＦ評価値が低く、デフォーカス状態でのＡＦ評価値が高くなる。換言すれば、［−１ １］微分フィルタを用いると、［−１ ０ １］微分フィルタを用いる場合よりも合焦状態の違いによるＡＦ評価値の差が小さくなる。

最終合焦位置を求めるピーク補間処理（Ｓ２０８，Ｓ３０８）の精度は、合焦状態の変化に対するＡＦ評価値の差の大きさ（急峻性）に依存する。そのため、［−１ ０ １］微分フィルタを用いることで、［−１ １］微分フィルタを用いるよりもピーク補間処理の精度を高めることができる。

以上説明したように、本実施形態のデジタルカメラは、加算や間引きを行わない、撮像素子の空間分解能に等しい分解能を有する画像信号に基づいて自動焦点検出を行う動作モードを有する。そして、この動作モードにおいては、自動焦点検出に用いる信号を、画像信号の色成分間の信号強度差を補正せずに生成するか、画像信号の特定の周波数成分を同色（同じ色成分の）画素の値の演算によって抽出して生成するか、の少なくとも一方を実行する。このような動作モードで自動焦点検出することにより、輝度やコントラストの低い被写体を撮影する際の焦点検出精度を改善することが可能になる。

（変形例）
上述の実施形態においては、コントラストＡＦを用いる場合について説明したが、異なる出射瞳に対応した１対の像信号の位相差からデフォーカス量と方向を検出する撮像面位相差方式のＡＦを用いる構成であってもよい。この場合、星空撮影モードにおいては、画像信号から１対の像信号を生成し、フィルタ処理を適用した後に像信号の位相差（相関）を検出する。そして、像信号の生成前にはホワイトバランス処理を行わないようにしたり、フィルタ処理に、同色の隣接画素を対象とする微分フィルタを用いるようにしたりすれば良い。

像面位相差ＡＦを実現するための撮像素子の構成、像信号の生成ならびにデフォーカス量の検出方法については例えば特開２００１−２５０９３１号公報に記載されるような公知のものを利用できるため、詳細についての説明は省略する。

（その他の実施形態）
本発明の例示的な実施形態について説明したが、本発明は説明した実施形態の構成に限定されず、様々な変形及び変更が可能である。特許請求の範囲に記載された範囲に含まれる変形ならびに変更は本発明に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ，１０１…撮影光学系，１０２…フォーカスレンズ，１０３…撮像素子，１０５…輝度処理部，１０６…評価値演算部

Claims (15)

1. 撮像素子から画像信号を取得する取得手段と、
   前記画像信号の、色成分間の強度差を補正するための係数を算出する算出手段と、
   画像信号から特定の周波数成分を抽出する抽出手段と、
   前記抽出された前記特定の周波数成分に基づいて焦点検出を行う焦点検出手段と、を有する撮像装置であって、
   第１の焦点検出モードにおいて、
   前記取得手段は、間引き処理が行われていない前記画像信号を前記撮像素子から読み出し、
   前記抽出手段は、前記算出手段が算出した係数を適用しないか、前記算出手段が算出した係数よりも色成分間の差の小さい係数を適用した前記画像信号から前記特定の周波数成分を抽出し、
   第２の焦点検出モードにおいて、
   前記取得手段は、間引き処理が行われた前記画像信号を前記撮像素子から取得し、
   前記抽出手段は、前記算出手段が算出した係数を適用した前記画像信号から前記特定の周波数成分を抽出する、
   ことを特徴とする撮像装置。
2. 前記第１の焦点検出モードにおいて、
   前記抽出手段が、前記算出手段が算出した係数を適用しないか、前記算出手段が算出した係数よりも色成分間の差の小さい係数を適用した前記画像信号に含まれる同じ色成分の画素の値を演算することにより、該画像信号から前記特定の周波数成分を抽出する、
   ことを特徴とする請求項１記載の撮像装置。
3. 第２の焦点検出モードにおいて、
   前記抽出手段が、前記算出手段が算出した係数を適用した前記画像信号に含まれる異なる色成分の画素の値を演算することにより、該画像信号から前記特定の周波数成分を抽出する、
   ことを特徴とする請求項１または請求項２記載の撮像装置。
4. 前記第１の焦点検出モードにおいて、前記算出手段は前記係数の算出を行わないことを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記第１の焦点検出モードにおいて、前記抽出手段は予め定められた、各色成分に共通の係数を適用した画像信号から前記特定の周波数成分を抽出することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記第１の焦点検出モードにおいて、
   前記算出手段は前記係数に基づいて各色成分に共通の係数を算出し、
   前記抽出手段は前記算出手段が算出した係数を適用した画像信号から前記特定の周波数成分を抽出することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
7. 前記第１の焦点検出モードにおいて、
   前記抽出手段が、該画像信号から前記特定の周波数成分を抽出することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記第２の焦点検出モードにおいて、
   前記抽出手段が、該画像信号から前記特定の周波数成分を抽出することを特徴とする請求項１から請求項３および請求項５のいずれか１項に記載の撮像装置。
9. 設定されている撮影モードに応じて、前記第１の焦点検出モードと前記第２の焦点検出モードの一方を選択する選択手段をさらに有することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
10. 前記撮影モードが、ユーザによって設定されたものであることを特徴とする請求項９記載の撮像装置。
11. 前記撮影モードが、シーン判別結果によって設定されたものであることを特徴とする請求項９記載の撮像装置。
12. 前記撮影モードが、低輝度の背景に点状の高輝度被写体が散在する領域が画面もしくは焦点検出領域の所定の割合以上を占めるシーンを撮影するための撮影モードであることを特徴とする請求項９から請求項１１のいずれか１項に記載の撮像装置。
13. 前記撮影モードが、星空シーンまたは夜景シーンを撮影するための撮影モードであることを特徴とする請求項９から請求項１２のいずれか１項に記載の撮像装置。
14. 取得手段が、撮像素子から画像信号を取得する取得工程と、
    算出手段が、前記画像信号の、色成分間の強度差を補正するための係数を算出する算出工程と、
    抽出手段が、画像信号から特定の周波数成分を抽出する抽出工程と、
    焦点検出手段が、前記抽出された前記特定の周波数成分に基づいて焦点検出を行う焦点検出工程と、を有する撮像装置の制御方法であって、
    第１の焦点検出モードにおいて、
    前記取得工程で前記取得手段は、間引き処理が行われていない前記画像信号を前記撮像素子から読み出し、
    前記抽出工程で前記抽出手段は、前記算出工程で算出された係数を適用しないか、前記算出工程で算出された係数よりも色成分間の差の小さい係数を適用した前記画像信号から前記特定の周波数成分を抽出し、
    第２の焦点検出モードにおいて、
    前記取得工程で前記取得手段は、間引き処理が行われた前記画像信号を前記撮像素子から読み出し、
    前記抽出工程で前記抽出手段は、前記算出工程で算出された係数を適用した前記画像信号から前記特定の周波数成分を抽出する、
    ことを特徴とする撮像装置の制御方法。
15. 撮像装置が有するコンピュータを、請求項１から請求項１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images