JP2016038414A - 焦点検出装置およびその制御方法、並びに撮像装置 - Google Patents

Abstract

【課題】離散的に配置された焦点検出画素の信号を用いて、精度の良いリフォーカス方式の焦点検出を行う。【解決手段】結像光学系の瞳領域の第１部分を通過する光束を受光する第１の画素と、瞳領域の第２部分を通過する光束を受光する第２の画素と、撮像画素とを有する撮像素子から、画素の信号を取得する。取得した信号に基づいて、第１の画素が配置されていない位置における第１の画素の信号と、第２の画素が配置されていない位置における第２の画素の信号とを推定する。推定した信号を含む第１の画素および第２の画素の信号に基づく１対の像信号のシフト加算信号に基づく評価値から、結像光学系のデフォーカス量を算出する。【選択図】図１５

Description

本発明は焦点検出装置およびその制御方法、並びに撮像装置に関する。

撮像装置の自動焦点検出の方法として、位相差検出方式（位相差ＡＦ）とコントラスト検出方式（コントラストＡＦ）の２つが広く用いられている。従来、位相差ＡＦには専用のＡＦセンサを用いていたが、近年はコントラストＡＦと同様、撮像素子から得られる信号を用いるものも実現されており、像面位相差ＡＦなどと呼ばれている。

像面位相差ＡＦに用いる１対の像信号を生成するために画素から読み出される信号は、特定の角度で入射した光束に対応している。その特性を利用し、異なる入射角度に対応する信号をシフト加算することで、仮想撮像面における画像信号（リフォーカス信号）を生成し、リフォーカス信号に基づくコントラストＡＦを行う技術が知られている（特許文献１）。また、像面位相差ＡＦに用いる１対の像信号（Ａ像、Ｂ像）を生成するための焦点検出画素が離散的に配置された、特許文献２に記載されるような撮像素子がある。

特開２０１３−２５２４６号公報 特許第３５９２１４７号公報

特許文献２のような焦点検出画素が離散的に配置された撮像素子を用いた撮像装置において特許文献１のようなコントラストＡＦを行うことは、先行技術文献を初めとする従来技術では考慮されていなかった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、離散的に配置された焦点検出画素を有する撮像素子を用いて、精度の良いリフォーカス方式の焦点検出を実現可能な焦点検出装置およびその制御方法、並びに撮像装置の提供を目的とする。

また、上述の目的は、受光する光束が、結像光学系の瞳領域の第１部分を通過する光束に制限される第１の画素と、受光する光束が、瞳領域の第１部分と異なる第２部分を通過する光束に制限される第２の画素と、第１および第２の画素と異なる撮像画素と、が配置された撮像素子から、画素の信号を取得する取得手段と、取得された信号に基づいて、第１の画素が配置されていない位置における第１の画素の信号と、第２の画素が配置されていない位置における第２の画素の信号とを推定する推定手段と、推定手段が推定した信号を含む第１の画素および第２の画素の信号に基づいて、１対の像信号を生成する生成手段と、１対の像信号のシフト加算信号に基づく評価値から、結像光学系の第１デフォーカス量を算出する第１焦点検出手段と、を有することを特徴とする焦点検出装置によって達成される。

このような構成により、本発明によれば、離散的に配置された焦点検出画素を有する撮像素子を用いて、精度の良いリフォーカス方式の焦点検出を実現することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの機能構成例を示す図 図１の撮像素子１０７における撮像画素と焦点検出画素の配置例を模式的に示す図 図２に示した撮像画素の構成を模式的に示した平面図および断面図 図３に示した画素構造と瞳分割との対応関係を示した概略説明図 （ａ）は実施形態の撮像素子と瞳分割との対応関係を示した図、（ｂ）は実施形態におけるデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の関係を示す図 実施形態における焦点検出画素の信号推定方法の例を示す図 実施形態における第１焦点検出および第２焦点検出のフローチャート 実施形態の第１焦点検出におけるシェーディング補正を説明するための図 実施形態で焦点検出信号に適用するフィルタの周波数特性の例を示す図 リフォーカス信号の生成原理を説明するための図 実施形態におけるリフォーカス信号の生成原理を説明するための図 実施形態おける第１焦点検出信号と第２焦点検出信号の例を示す図 実施形態におけるリフォーカス信号およびコントラスト評価値の例を示す図 実施形態におけるリフォーカス可能範囲について説明するための図 実施形態における焦点検出処理の例を示すフローチャート 実施形態における焦点検出処理の別の例を示すフローチャート

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。
なお、以下に説明する実施形態では、本発明に係る焦点検出装置をデジタルスチルカメラに適用した構成を説明するが、本発明に係る焦点検出装置はカメラ機能を有する任意の機器や装置に適用可能である。このような機器や装置の非限定的な例としては、携帯電話機、パーソナルコンピュータ、タブレット端末、メディアプレーヤ、ゲーム機、ナビゲーション装置、家電製品などを挙げることができる。

本実施形態では、特許文献２に記載されるような焦点検出画素が離散的に配置された撮像素子からの信号を用いて、特許文献１に記載されるようなリフォーカス信号を用いた焦点検出を行う焦点検出装置を考える。焦点検出画素を離散的に配置された撮像素子では、焦点検出画素位置の画素信号は通常の画像取得の際には周囲の撮像画素より補間あるいは補正して求める必要があるので、焦点検出画素の密度は低い方が記録画像の画質は良い。一方、リフォーカス信号の生成には、異なる部分瞳領域(視点)に対応する画素信号が必要であり、そのような画素の密度が低いと焦点検出の精度が低下する。

そこで本実施形態では、各焦点検出画素の近傍で当該焦点検出画素の瞳領域とは異なる瞳領域からの信号を推定し、推定された焦点検出信号を用いて焦点検出画素の配置密度よりも高い密度(分解能)でリフォーカス信号による焦点検出を可能とする。

●（第１実施形態）
［全体構成］
図１は、本実施形態に係るデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。
第１レンズ群１０１は撮影光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳイメージセンサとその周辺回路で構成され、結像光学系の結像面に配置される。本実施形態において、撮像素子１０７は、横方向にｍ（＞１）個、縦方向にｎ（＞１）個の複数の受光素子（画素）が２次元配列され、受光素子にベイヤー配列の原色カラーモザイクフィルタが形成された、２次元単板カラーイメージセンサである。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第３レンズ群１０５の少なくとも一方を光軸に沿って駆動して、ズーム（変倍）機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。

フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光駆動制御回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動することにより第３レンズ群１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。

［撮像素子］
図２は、撮像素子１０７における撮像画素と焦点検出画素の配置例を模式的に示す図であり、横６画素×縦６画素の領域を代表的に示している。本実施形態において、図２の左上の２×２の画素群２０１は、撮像素子１０７に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。ただし、左上のＲ（赤）の位置にはＧ（緑）の分光感度を有する焦点検出画素２０１Ｇｓが、右上と左下にはＧ（緑）の分光感度を有する撮像画素２０１Ｇが、右下にはＢ（青）の分光感度を有する撮像画素２０１Ｂが配置されている。焦点検出画素２０１Ｇｓは、水平方向において画素の中心（対応するマイクロレンズの光軸）から左側に偏倚（偏心）した受光部（光電変換部）Ｇｓ１を有する第１焦点検出画素である。

また、２列×２行の画素群２０２は、左上に配置される焦点検出画素２０２Ｇｓが、第１焦点検出画素の受光部Ｇｓ１とは水平方向に逆方向に偏倚した受光部Ｇｓ２を有する第２焦点検出画素である点で画素群２０１と異なる。撮像画素２０２Ｇおよび２０２Ｂは撮像画素２０１Ｇおよび２０１Ｂと同じである。

本実施形態では焦点検出画素２０１Ｇｓ、２０２ＧｓがG（緑）の分光感度を有する（緑のカラーフィルタを有する）ものとするが、両者が同じ分光感度を有すれば、カラーフィルタは他の色（透明を含む）であってもよいし、カラーフィルタが無くてもよい。

画素群２０１と２０２の間に存在する画素群２０３には焦点検出画素が配置されていない。従って、Ｒ（赤）の分光感度を有する撮像画素２０３Ｒが左上に、Ｇ（緑）の分光感度を有する撮像画素２０３Ｇが右上と左下に、Ｂ（青）の分光感度を有する撮像画素２０３Ｂが右下に配置されている。

本実施形態に係る撮像素子１０７は、画素群２０１〜２０３を組み合わせて配置した構成を有する。図２の例では、一番上の２行については画素群２０１と２０２とが水平方向に交互に配置され、次の２行については画素群２０３だけが水平方向に配置され、一番下の２行については画素群２０２と２０１とが水平方向に交互に配置されている。

図２に示した１つの撮像画素、第１焦点検出画素、第２焦点検出画素を、撮像素子 １０７の受光面側（＋ｚ側）から見た平面図を図３（ａ）〜（ｃ）に示し、図３（ａ）〜（ｃ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｄ）〜（ｆ）に示す。

図３（ｄ）〜（ｆ）に示すように、撮像画素、第１焦点検出画素、第２焦点検出画素は、受光部の面積および配置を除き、同様の構成を有するのが好ましい。すなわち、各画素には、入射光を集光するためのマイクロレンズ３０５と、入射光の波長を制限するカラーフィルタ３０６と、入射光量に応じた電荷を発生する光電変換部３０３（３０１，３０２）とが形成される。なお、上述の通り、焦点検出画素のカラーフィルタ３０６は省略してもよいし、緑色のカラーフィルタと異なる分光透過率としてもよい。

図３（ｂ）および（ｅ）に示すように、第１焦点検出画素Ｇｓ１では画素の中心に対して−ｘ方向に偏倚した光電変換部３０１が形成される。また、図３（ｃ）および（ｆ）に示すように、第２焦点検出画素Ｇｓ２では画素の中心に対してｘ方向に偏倚した光電変換部３０２が形成される。また、図３（ａ）および（ｄ）に示すように、撮像画像Ｒ／Ｇ／Ｂでは画素の中心に対して対称的な光電変換部３０３が形成される。

本実施形態では、第１焦点検出画素Ｇｓ１の光電変換部３０１および第２焦点検出画素Ｇｓ２の光電変換部３０２が、撮像画素Ｒ／Ｇ／Ｂの光電変換部３０３の約半分の面積であるものとして説明する。しかし、各焦点検出画素が、さらに面積が小さい複数の光電変換部をもつ複数の画素で構成されても良い。

画素に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１〜３０３で受光される。光電変換部３０１〜３０３では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ排出される。光電変換部３０１〜３０３のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図３に示した本実施形態の画素構造と瞳分割との対応関係を示した概略説明図を図４に示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

図４（ａ）において撮像画素Ｒ，Ｇ，Ｂの瞳領域５０３は、光電変換部３０３の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、撮像画素Ｒ，Ｇ，Ｂで受光可能な瞳領域を表している。

図４（ｂ）において第１焦点検出画素Ｇｓ１の第１瞳部分領域５０１は、重心が＋ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第１焦点検出画素Ｇｓ１で受光可能な瞳領域を表している。第１焦点検出画素Ｇｓ１の第１瞳部分領域５０１は、瞳面上で−Ｘ側に重心が偏心している。
図４（ｃ）において第２焦点検出画素Ｇｓ２の第２瞳部分領域５０２は、重心が−ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第２焦点検出画素Ｇｓ２で受光可能な瞳領域を表している。第２焦点検出画素Ｇｓ２の第２瞳部分領域５０２は、瞳面上で＋Ｘ側に重心が偏心している。

本発明の焦点検出画素である第１焦点検出画素Ｇｓ１と瞳分割との対応関係を示した概略図を図５（ａ）に示す。第１瞳部分領域５０１の瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射し、第１焦点検出画素Ｇｓ１で受光される。なお、本実施形態は、第１焦点検出画素Ｇｓ１と第２焦点検出画素Ｇｓ２とにより、瞳領域が水平方向に分割されているが、必要に応じて、垂直方向に瞳分割を行ってもよい。

このように、本実施形態の撮像素子１０７には、
・受光光束が結像光学系の第１瞳部分領域５０１を通過する光束に制限される第１焦点検出画素と、
・受光光束が第１瞳部分領域と異なる結像光学系の第２瞳部分領域５０２を通過する光束に制限される第２焦点検出画素と、
・受光光束に制限のない（結像光学系の瞳領域全体を通過する光束を受光する）撮像画素と、
が配列されている。ここで、撮像画素としては、第１及び第２焦点検出画素とは独立して瞳領域が設定されていてよく、結像光学系の瞳領域からの光束をどれだけ受光する構成にするかは特に限定されない。

本実施形態で、ＣＰＵ１２１は、複数の第１焦点検出画素Ｇｓ１で得られる信号から第１焦点信号を生成し、複数の第２焦点検出画素Ｇｓ２から得られる信号から第２焦点信号を生成して焦点検出を行う。このとき上述したように、撮像画素である撮像画素Ｒ，Ｇ，Ｂから得られる信号や、第１焦点検出画素Ｇｓ１および第２焦点検出画素Ｇｓ２から得られる信号を用いた補間演算を行い、焦点信号を形成するための信号数を増やして、焦点検出精度を向上させる。

［デフォーカス量と像ずれ量の関係］
以下、本実施形態の撮像素子により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。
図５（ｂ）に、デフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の概略関係図を示す。撮像面８００に撮像素子（不図示）が配置され、図４，図５（ａ）と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

そして、第１焦点検出画素Ｇｓ１の光電変換部３０１は第１瞳部分領域５０１からの光を受光し、第２焦点検出画素Ｇｓ２の光電変換部３０２は第２瞳部分領域５０２からの光を受光する。図５（ｂ）では、撮像素子の第１焦点検出画素Ｇｓ１を含む画素行ｙ１と第２焦点検出画素Ｇｓ２を含む画素行ｙ２を示している。

デフォーカス量ｄの大きさ｜ｄ｜は、被写体の結像位置から撮像面８００までの距離である。また、デフォーカス量ｄが負（ｄ＜０）の場合は、被写体の結像位置が撮像面８００より被写体側にある前ピン状態、正（ｄ＞０）の場合は、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を意味する。そして、被写体の結像位置が撮像面８００にある合焦状態で、デフォーカス量ｄの大きさは０となる。図５（ａ）で、被写体８０１は合焦状態（ｄ＝０）にあり、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、撮像面８００より被写体側の位置で一度集光する。そして、その後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、それを受光する複数の画素のそれぞれで第１焦点検出画素Ｇｓ１の光電変換部３０１（第２焦点検出画素Ｇｓ２の光電変換部３０２）により電気信号に変換される。そして、第１焦点検出画素Ｇｓ１群（第２焦点検出画素Ｇｓ２群）の信号から第１焦点検出信号（第２焦点検出信号）がＣＰＵ１２１により生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。

被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加していく。後ピン状態（ｄ＞０）の場合、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となることをのぞき、デフォーカス量の大きさ｜ｄ｜と被写体像のボケ幅、像ずれ量ｐとの関係は同様である。

［焦点検出］
本実施形態では、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係性を用いて、リフォーカス原理に基づく焦点検出（以後、リフォーカス方式と呼ぶ）の焦点検出を行う。また、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係性を用いた位相差方式の焦点検出を行う。
大デフォーカス状態から小デフォーカス状態まで焦点調節するために位相差方式の焦点検出結果を用い、小デフォーカス状態から最良合焦位置近傍まで焦点調節するためにリフォーカス方式の焦点検出を行う。

［焦点検出画素の信号推定］
本実施形態は、第１焦点検出画素Ｇｓ１が設けられている画素位置に対応する第２焦点検出画素Ｇｓ２の信号と、第２焦点検出画素Ｇｓ２が設けられている画素位置に対応する第１焦点検出画素Ｇｓ１の信号とを補間することを特徴とする。これにより、焦点検出信号を構成する信号点を、見かけ上増加することが可能になるため、焦点検出精度を高めることができる。換言すれば、所定の信号点数を実現するために必要な焦点検出画素の数、すなわち補間が必要な画素位置の数を減らすことができるため、撮影画像の画質低下を抑制できる。

また、同じ画素位置に対応する第１焦点検出画素Ｇｓ１と第２焦点検出画素Ｇｓ２の出力信号を用いることで、第１焦点検出画素Ｇｓ１と第２焦点検出画素Ｇｓ２の位置が異なることによる焦点検出精度の低下も抑制できる。
さらに、後述するように、焦点検出信号を用いて生成するリフォーカス信号に基づくコントラストＡＦの精度も向上させることができる。

第２焦点検出画素Ｇｓ２の位置に対応する第１焦点検出画素Ｇｓ１の信号は、例えば、その位置に対応する撮像画素の信号を補間により求めた後、第２焦点検出画素の信号を減算することにより求める（推定する）ことができる。第１焦点検出画素Ｇｓ１の位置に対応する第２焦点検出画素Ｇｓ２の信号も、第１焦点検出画素Ｇｓ１の位置に対応する撮像画素の信号から第１焦点検出画素Ｇｓ１の信号を減算することで求められる。これは、本実施形態において第１焦点検出画素Ｇｓ１と第２焦点検出画素Ｇｓ２の光電変換部の大きさが、撮像画素の光電変換部の半分であることに基づく。

図６は、この方法により、焦点検出画素の出力信号を周辺の画素情報を用いて生成する手順を概念的に示している。ここでは、図２に示したような、第１焦点検出画素Ｇｓ１と第２焦点検出画素Ｇｓ２が瞳分割方向にそれぞれ４画素周期で配置されている構成を示している。図６（ａ）において、第１焦点検出画素２０１Ｇｓ’、第２焦点検出画素２０２Ｇｓ’の信号は、それぞれの画素に瞳分割方向で隣接している第２焦点検出画素２０１Ｇ、２０２Ｇの信号を用い、下記の式に示すようにして求めることができる。

第１（第２）焦点検出画素の信号の他の推定方法としては、図６（ｂ）に示すように、近接した同種の焦点検出画素情報を用いる方法が考えられる。すなわち、第２焦点検出画素２０２Ｇｓの位置に対応する第１焦点検出画素２０１Ｇｓ’の信号を、瞳分割方向に隣接する２つの第１焦点検出画素２０１Ｇｓ＿ｌｅｆｔおよび２０１Ｇｓ＿ｒｉｇｈｔの信号を補間して求める。また、第１焦点検出画素２０１Ｇｓの位置に対応する第２焦点検出画素２０２Ｇｓ’の信号を、瞳分割方向に隣接する２つの第２焦点検出画素２０２Ｇｓ＿ｌｅｆｔおよび２０２Ｇｓ＿ｒｉｇｈｔの信号を補間して求める。補間方法が、隣接する同種の焦点検出値の平均値である場合の算出式を以下に示す。

なお、焦点検出画素の信号を推定する方法は、バイキュービック補間など、ここで説明したもの以外であってもよい。

［第１焦点検出（撮像面位相差検出方式）］
以下、本実施形態における撮像面位相差ＡＦについて説明する。
本実施形態の撮像面位相差ＡＦは、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて、信号の一致度を表す評価値である相関量を計算し、相関（信号の一致度）が高くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量が増加すると第１焦点検出信号と第２焦点検出信号間の像ずれ量が増加する関係性から、像ずれ量をデフォーカス量に変換する。

図７（ａ）は、本実施形態におけるデフォーカス量算出処理を説明するためのフローチャートである。
Ｓ１１０で、ＣＰＵ１２１は、撮像素子１０７の有効画素領域に対して焦点検出領域を設定する。焦点検出領域の大きさや場所については特に制限はなく、固定であっても動的に定められてもよい。ここでは焦点検出領域は矩形であるものとする。そしてＣＰＵ１２１は、焦点検出領域の瞳分割方向（本実施形態では、撮像素子１０７の水平方向）の範囲Ｗと、第１焦点検出信号と第２焦点検出信号を瞳分割方向に相対的にシフトさせて相関量を算出する際の第１シフト量ｓ１のシフト範囲Γ１を設定する。

ＣＰＵ１２１は、撮像素子駆動回路１２４を通じて、焦点検出領域（ＡＦ枠）に関連付けられた領域に含まれる複数の画素から信号を読み出す。なお、通常、焦点検出信号を生成するために画素を読み出す領域は、瞳分割方向において焦点検出領域よりも大きい。ＣＰＵ１２１は、読み出した信号のうち、第１焦点検出画素から得られる複数の信号から第１焦点検出信号を生成し、第２焦点検出画素から得られる複数の信号から第２焦点検出信号を生成する。

Ｓ１２０でＣＰＵ１２１は、画素加算処理後の第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理（光学補正処理）を行う。
ここで、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図８は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓとの差が像高の大きな（光軸から離れて位置する）画素における瞳分割に与える影響を模式的に示した図である。

図８（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合は、像高が小さい（光軸近くに位置する）画素および像高が大きい（光軸から離れて位置する）画素のいずれでも、第１瞳部分領域５０１により、結像光学系の射出瞳４００が、概ね半分に瞳分割される。

図８（ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い（Ｄ１＜Ｄｓ）場合を示している。この場合、像高が大きい周辺部の画素では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳とにずれが生じ、結像光学系の射出瞳４００が、平面図で示すように不均一に分割されてしまう。
図８（ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い（Ｄ１＞Ｄｓ）場合を示している。この場合も、Ｄ１＜Ｄｓの場合と同様、撮像素子の周辺部の画素では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳とにずれが生じ、結像光学系の射出瞳４００が不均一に分割されてしまう。

瞳分割が不均一になると、第１焦点検出画素と第２焦点検出画素で得られる信号強度に差が生じるため、第１焦点検出信号と第２焦点検出信号の強度が不均一となる（一方の強度が大きくなり、他方の強度が小さくなる）シェーディングが生じる。

Ｓ１２０でＣＰＵ１２１は、焦点検出領域の像高と、撮像レンズ（結像光学系）の絞り値（Ｆ値）と、射出瞳距離とに応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数を、それぞれ生成する。そして、ＣＰＵ１２１は、第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。焦点検出領域の像高は、焦点検出領域に含まれる画素位置の代表的な像高であってよく、例えば焦点検出領域の中心位置の像高であってよい。

第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）を基に、デフォーカス量を算出する際、上述のシェーディングが生じると、デフォーカス量の精度が低下する場合がある。そのため、本実施形態では、焦点検出信号にシェーディング補正を行うことで、精度の良いデフォーカス量の算出を実現する。

なお、シェーディングが生じる原因として、撮像素子１０７の設定瞳距離Ｄｓは変化せず、結像光学系の射出瞳距離Ｄ１が変化する場合を説明したが、結像光学系の射出瞳距離Ｄ１が変化せず、撮像素子１０７の設定瞳距離Ｄｓが変化する場合も同様である。撮像面位相差ＡＦでは、撮像素子１０７の設定瞳距離Ｄｓの変化に伴い、焦点検出画素（第１焦点検出画素および第２焦点検出画素）が受光する光束と、撮像画素が受光する光束が変化する。

図７（ａ）のＳ１３０でＣＰＵ１２１は、精度の良いデフォーカス量を算出するために、第１焦点検出信号と第２焦点検出信号に、特定の通過周波数帯域を有するバンドパスフィルタ処理を行い、信号の一致度を改善する。本フィルタ処理の通過帯域例を、図９の実線で示す。本実施形態では、位相差検出方式の第１焦点検出により、大デフォーカス状態での焦点検出を行う為、フィルタ処理の通過帯域は低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、第１焦点検出時のフィルタ処理の通過帯域を、図９の１点鎖線のように、より高周波帯域に調整しても良い。

なお、焦点検出画素の推定処理を行う場合、Ｓ１１０で第１および第２焦点検出画素の信号を読み出してから、Ｓ１４０での評価値算出を開始するまでの任意のタイミングで実施することができる。なお、第１焦点検出における焦点検出画素の推定処理の実施は必須でない。

次に、図７（ａ）のＳ１４０でＣＰＵ１２１は、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す第１評価値（相関量）を算出する。
フィルタ処理後の第１および第２の焦点検出信号のｋ番目のサンプルをそれぞれＧｓ１（ｋ）、Ｇｓ２（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。従って、番号ｋの範囲は１〜Ｗである。第１シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは、以下の式（５）により算出される。

第１シフト量ｓ１のシフト処理により、第１焦点検出信号のｋ番目のサンプルＧｓ１（ｋ）から、第２焦点検出信号の（ｋ−ｓ１）番目のサンプルＧｓ２（ｋ−ｓ１）を減算し、シフト減算信号を生成する。そしてＣＰＵ１２１は生成したシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内でｋの値を順次変えながら累積して、シフト量ｓに対する相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、焦点検出領域内の、焦点検出画素が配置された各画素ラインごとに算出された相関量を、第１シフト量ｓ１ごとに加算して相関量ＣＯＲ（ｓ１）を算出してもよい。

Ｓ１５０でＣＰＵ１２１は、相関量ＣＯＲ（ｓ１）から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）の絞り値と、射出瞳距離とに応じた変換係数Ｋ１を乗じたｐ１Ｋ１を第１検出デフォーカス量Ｄｅｆ１として算出する。

［第２焦点検出（リフォーカス方式）］
以下、本実施形態におけるリフォーカス方式のコントラストＡＦについて説明する。
コントラストＡＦでは、焦点面の異なる画像を得るために、フォーカスレンズを移動させて撮影するのが一般的である。それに対し、本実施形態では、焦点検出ラインごとにコントラスト評価値を算出する際、フォーカスレンズの異なる位置に対応する画像を、ある特定の合焦距離で撮影した画像からリフォーカス方式で生成する。具体的には、第１焦点検出信号と第２焦点検出信号のシフト加算信号（リフォーカス信号）を生成し、シフト加算信号のコントラスト評価値を算出し、コントラスト評価値から撮像信号のＭＴＦ(Modulation Transfer Function)ピーク位置を推定し、第２検出デフォーカス量を検出する。

第１焦点検出信号と第２焦点検出信号による１次元方向（水平方向）のリフォーカス処理の概略について、図１０を用いて説明する。図１０の撮像面８００は、図５に示した撮像面８００に対応している。図１０では、ｉ，ｊを１以上の整数として、撮像面８００に配置された撮像素子の水平方向ｉ番目の画素の第１焦点検出信号をＧｓ１（ｉ）、（ｉ＋１）番目の画素の第２焦点検出信号をＧｓ２（ｉ＋１）で模式的に表している。また、水平方向でｊ番目の撮像画素（ここではＧ画素）をＧ（ｊ）と表している。図２に示したように、本実施形態では、撮像素子１０７の水平方向において、第１焦点検出画素と第２焦点検出画素とが、１つの撮像画素を挟んで交互に繰り返し配置されている。

第１焦点検出信号Ｇｓ１（ｉ）は、（図５の第１瞳部分領域５０１に対応した）主光線角度θ_Gs1でｉ番目の焦点検出画素に入射した光束の受光信号である。第２焦点検出信号Ｇｓ２（ｉ+１）は、（図５の第２瞳部分領域５０２に対応した）主光線角度θ_Gs2で（ｉ+１）番目の焦点検出画素に入射した光束の受光信号である。

第１焦点検出信号Ｇｓ１（ｉ）と第２焦点検出信号Ｇｓ２（ｉ+１）は、光強度分布情報だけでなく、入射角度情報も有している。ここで、第１焦点検出信号Ｇｓ１（ｉ）を水平方向に＋１画素（右方向に１画素）シフト移動することは、第１焦点検出信号Ｇｓ１（ｉ）を角度θ_Gs1に沿って仮想結像面８００’まで平行移動させることに相当する。同様に、第２焦点検出信号Ｇｓ２（ｉ＋１）を水平方向に−１画素（左方向に１画素）シフト移動することは、第２焦点検出信号Ｇｓ２（ｉ＋１）角度θ_Gs2に沿って仮想結像面８００’まで平行移動させることに対応する。したがって、第１焦点検出信号Ｇｓ１（ｉ＋２ｎ）を＋１画素、第２焦点検出信号Ｇｓ２（ｉ＋２ｎ＋１）を−１画素シフトさせて加算することで、仮想結像面８００’におけるリフォーカス信号（撮像画素信号）を生成できる。ここで、ｎは０以上の整数である。

同様に、第１焦点検出信号Ｇｓ１（ｉ＋２ｎ）を＋３画素、第２焦点検出信号Ｇｓ２（ｉ＋２ｎ＋１）を−３画素画素シフトさせて加算することで、仮想結像面８１０’におけるリフォーカス信号（撮像画素信号）を生成できる。

ここでは、理解を容易にするため、図２に示した焦点検出画素の配置をそのまま利用して仮想撮像面におけるリフォーカス信号を生成する原理について説明した。次に、本実施形態の特徴である、推定された焦点検出信号を用いたリフォーカス信号の生成について、図１１を用いて説明する。

上述のように、本実施形態では、補間演算により、焦点検出画素位置のそれぞれについて、第１焦点検出信号と第２焦点検出信号とを取得することができる。そのため、１ライン当たりの第１焦点検出画素、第２焦点検出画素の密度を上げた場合と同等の効果を得ることが可能となる。その結果、図１１に示すように、生成できるリフォーカス信号の密度が高くなるほか、仮想結像面の間隔も狭くすることができる（図１０では設定できない仮想結像面８０１’が設定可能である）。従って、リフォーカス方式のコントラストＡＦである第２焦点検出の精度を向上することができる。なお、図１１においても、仮想結像面におけるリフォーカス信号を生成する原理は図１０で説明した通りであるため、説明を省略する。

図７（ｂ）は、本実施形態におけるカメラ１００が実施する第２焦点検出の動作を示すフローチャートである。
Ｓ２０５でＣＰＵ１２１は、撮像素子１０７の有効画素領域に対して焦点検出領域を設定する。また、ＣＰＵ１２１は、焦点検出領域の瞳分割方向の範囲Ｗと、第１焦点検出信号と第２焦点検出信号を瞳分割方向に相対的にシフトさせてコントラスト評価値を算出する際の第２シフト量ｓ２のシフト範囲Γ２を設定する。なお、焦点検出領域は基本的に第１焦点検出を行う焦点検出領域と同一であるため、Ｓ１１０で設定された焦点検出領域をそのまま用いても良い。この場合、シフト範囲Γ１，Γ２も同一とするか、独立して定めるかは任意である。

また、ＣＰＵ１２１は、読み出した画素のうち、瞳分割方向に並んだ複数の第１焦点検出画素から読み出された信号と、この複数の第１の焦点検出画素と対をなす第２焦点検出画素から読み出された信号とに基づいて上述した焦点検出画素の推定処理を実行する。図２のように焦点検出画素が配置されている場合、ＣＰＵ１２１は同一の画素ラインに存在する第１焦点検出画素と第２焦点検出画素から読み出された信号に基づいて推定処理を行う。

そしてＳ２１０でＣＰＵ１２１は、推定信号を含む複数の第１の焦点検出画素の信号から第１焦点検出信号を、推定信号を含む複数の第２の焦点検出画素の信号から第２焦点検出信号を、それぞれ生成する。なお、実際に読み出された信号（実信号）よりも多い数の信号を用いれば、推定信号と実信号からなる信号群の一部を用いて第１焦点検出信号と第２焦点検出信号を生成してもよい。ここでは、推定信号と実信号の全てを用いて第１焦点検出信号と第２焦点検出信号を生成するものとする。

Ｓ２２０でＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号にフィルタ処理を行う。本フィルタ処理の通過帯域例を、図９の破線および点線で示す。本発明では、リフォーカス方式のコントラストＡＦである第２焦点検出により、小デフォーカス状態から最良合焦位置近傍まで焦点検出を行う。したがって、フィルタ処理の通過帯域は、高周波帯域を含むように構成される。

必要に応じて、フィルタ係数［１，−２，１］を有するラプラシアン型（２階微分型）空間フィルタを適用し、図９の点線で示すようにフィルタ処理の通過帯域をより高周波帯域に構成しても良い。このフィルタ処理により、被写体信号のエッジ（高周波成分）を抽出することで、コントラストＡＦの焦点検出精度を一層向上させることができる。

Ｓ２３０でＣＰＵ１２１は、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を瞳分割方向で相対的にシフトさせて加算するシフト加算処理により、上述した仮想結像面における像信号（リフォーカス信号またはシフト加算信号とも呼ぶ）を生成する。さらに、生成されたリフォーカス信号から、第２評価値（コントラスト評価値）を算出する。

具体的には、フィルタ処理後の第１および第２の焦点検出信号のｋ番目のサンプルをそれぞれＧｓ１（ｋ）、Ｇｓ２（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。そして、第２シフト量ｓ２のシフト範囲をΓ２とすると、コントラスト評価値（第２評価値）ＲＦＣＯＮは、式（６）により算出される。

ＣＰＵ１２１は、第２シフト量ｓ２の瞳分割方向でのシフト処理により、第１焦点検出信号のｋ番目のサンプルＧｓ１（ｋ）と第２焦点検出信号の（ｋ−ｓ２）番目のサンプルＧｓ２（ｋ−ｓ２）を対応させて加算し、シフト加算信号を生成する。ＣＰＵ１２１はさらにシフト加算信号の絶対値を計算し、焦点検出領域Ｗの範囲での最大値を取り、コントラスト評価値ＲＦＣＯＮ（ｓ２）を算出する。必要に応じて、焦点検出領域内の、焦点検出画素が配置された各画素ラインごとに算出されたコントラスト評価値を、第２シフト量ｓ２ごとに加算してコントラスト評価値ＲＦＣＯＮ（ｓ２）を算出しても良い。

Ｓ２４０でＣＰＵ１２１は、コントラスト評価値に基づく第２検出デフォーカス量Ｄｅｆ２を算出する。まず、ＣＰＵ１２１は、加算コントラスト評価値からサブピクセル演算により、加算コントラスト評価値が最大値となる実数値（ＭＴＦピーク位置に対応）のシフト量をピークシフト量ｐ２として算出する。

なお、ここでのピークシフト量ｐ２は、図１１の結像面８００におけるシフト量ではなく、仮想結像面８００’でのシフト量になる。そのため、第１焦点検出画素Ｇｓ１（ｉ）と第２焦点検出画素Ｇｓ２（ｉ+１）とを仮想結像面８００’における同画素位置の信号とするためのシフト量Δを補正することにより、結像面８００におけるピークシフト量ｐ２’（＝ｐ２＋Δ）とする。

次に、ＣＰＵ１２１は、算出されたピークシフト量ｐ２’に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第２変換係数Ｋ２をかけて、第２検出デフォーカス量Ｄｅｆ２を算出する。変換係数は例えばテーブル形式や算出式の形で予め記憶しておくことができる。また、必要に応じて、第１変換係数Ｋ１と第２変換係数Ｋ２を同一の値としても良い。

このように、本実施形態では、第１焦点検出信号と第２焦点検出信号のシフト加算信号（リフォーカス信号）を生成し、シフト加算信号からコントラスト評価値を算出し、第２検出デフォーカス量を算出する。シフト加算信号に対応する光束と、撮像信号である撮像画素に対応する光束とは概ね一致するため、結像光学系の各収差（球面収差、非点収差、コマ収差など）のシフト加算信号への影響と、撮像信号への影響も、概ね一致する。

したがって、リフォーカス方式のコントラストＡＦにより算出される合焦位置（第２検出デフォーカス量Ｄｅｆ２が０となるフォーカスレンズ位置）と、撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）が、概ね一致し、高精度に焦点検出できる。

図１２（ａ）は、撮像信号の最良合焦位置における第１焦点検出信号（破線）と第２焦点検出信号（実線）の例を示す。また、図１２（ａ）の第１焦点検出信号（破線）と第２焦点検出信号（実線）のフィルタ処理後の例を図１２（ｂ）に示す。

また、図１２（ｂ）の第１焦点検出信号（破線）と第２焦点検出信号（実線）の、相対的なシフト量（−２，−１，０，１，２［画素]）に対応するシフト加算信号（リフォーカス信号）の例を図１３（ａ）に示す。図１３（ａ）から、シフト量に応じてシフト加算信号のピーク値が変化することがわかる。図１３（ｂ）は、図１３（ａ）の各シフト加算信号から算出されたコントラスト評価値（第２評価値）の例を示す。図１３（ｂ）にはさらに、サブサンプル演算により得られたピークシフト量ｐ２と、これをリフォーカス信号生成時のシフト量Δで補正したピークシフト量ｐ２’とを示している。ここで用いた第１焦点検出信号と第２焦点検出信号は撮像信号の最良合焦位置で得られた信号であるため、ピークシフト量ｐ２’＝０となるのが理想的である。図１３（ｂ）に示したように、ピークシフト量ｐ２’とシフト量０とのずれ量が小さく抑制されており、高精度に焦点検出できていることがわかる。

［リフォーカス可能範囲］
なお、リフォーカス信号を生成できる範囲（結像面と仮想結像面との距離）には限界があるため、リフォーカス方式のコントラストＡＦで高精度な焦点検出が可能なデフォーカス量の範囲も限定される。

本実施形態におけるリフォーカス可能範囲の概略説明図を図１４に示す。図５（ｂ）と同じ参照数字については説明を省略する。許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。本実施形態の焦点検出画素は、撮像画素に対し、受光部の大きさが水平方向に１／Ｎ_Ｈ（Ｎ_Ｈ＝２）、垂直方向にＮ_Ｖ（Ｎ_Ｖ＝１）である。そのため、焦点検出画素の受光部に対応する瞳部分領域の水平方向の実効絞り値Ｆ_０１は、Ｆ_０１＝Ｎ_ＨＦと暗くなる。

したがって、焦点検出信号の実効的な被写界深度は±Ｎ_ＨＦδとなり、撮像画素の実効的な被写界深度よりＮ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に拡大する。実効的な被写界深度±Ｎ_ＨＦδの範囲内では、焦点検出信号ごとに合焦した被写体像が取得されている。これは、第１および第２焦点検出信号のそれぞれに該当する。よって、この拡大した被写界深度の範囲では、図１０に示した主光線角度θ_Ｇｓ１（θ_Ｇｓ２）に沿って第１焦点検出信号（第２焦点検出信号）を平行移動するリフォーカス処理が可能である。よって、現在の結像面で得られる焦点検出信号を用いたリフォーカス処理によって実現可能な仮想結像面の範囲に対応する、撮像面からの調整デフォーカス量｜ｄ’｜は式（７）で表される。

このように、リフォーカス方式のコントラストＡＦによって高精度で焦点検出できるデフォーカス量の範囲は、概ね、式（７）の範囲に限定され、これは通常、位相差ＡＦで焦点検出可能なデフォーカス範囲以下である。したがって、本実施形態では、リフォーカス方式のコントラストＡＦ時の第２シフト量ｓ２の範囲を、位相差ＡＦ時の第１シフト量ｓ１の範囲以下となるように構成する。

そして本実施形態では、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節するために位相差ＡＦを用い、小デフォーカス状態から最良合焦位置近傍まで焦点調節するためにリフォーカス方式のコントラストＡＦを用いる。したがって、第２焦点検出のＳ２２０で適用するフィルタ処理の通過帯域が、第１焦点検出のＳ１３０で適用するフィルタ処理の通過帯域より高周波帯域を含むようにする。

本発明の撮像素子では、焦点検出画素が受光する光束と撮像画素が受光する光束とが異なり、結像光学系の各収差（球面収差、非点収差、コマ収差など）の焦点検出信号への影響と撮像信号への影響が異なる。この差異は、結像光学系の絞り値が小さい（開放に近い）ほど大きくなる。そのため、結像光学系の絞り値が小さい（開放に近い）場合、位相差ＡＦにより算出される検出合焦位置（第１検出デフォーカス量が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）との間に差が生じるおそれがある。つまり結像光学系の絞り値が所定値以下の場合に、位相差検出方式の第１焦点検出による焦点検出精度が低下するおそれがある。したがって、結像光学系の絞り値が所定絞り値以下の場合には、位相差ＡＦ（第１焦点検出）に加えて、リフォーカス方式のコントラストＡＦ（第２焦点検出）を実施することで、高精度な焦点検出が可能になる。

［焦点検出処理の処理フロー］
本実施形態における、位相差ＡＦとリフォーカス方式のコントラストＡＦとを組み合わせた焦点検出処理の全体的な動作の概略を図１５のフローチャートに示す。本実施形態では、結像光学系のデフォーカス量の絶対値が第１所定閾値以下になるまでは位相差ＡＦ（第１焦点検出）で検出したデフォーカス量Ｄｅｆ１に基づいてフォーカスレンズを駆動し、大デフォーカス状態から小デフォーカス状態までの焦点調節を行う。その後、結像光学系のデフォーカス量Ｄｅｆ１の絶対値が第１所定閾値以下になると、リフォーカス方式のコントラストＡＦ（第２焦点検出）で検出したデフォーカス量Ｄｅｆ２に基づいてフォーカスレンズを駆動する。デフォーカス量Ｄｅｆ２の絶対値が第２所定閾値（＜第１所定閾値）以下になるまで、デフォーカス量Ｄｅｆ２に基づいてフォーカスレンズを駆動することで、小デフォーカス状態から最良合焦位置近傍まで焦点調節を行う。なお、デフォーカス量が第１所定閾値以下になるまでに行う焦点検出は、位相差ＡＦで行わなくてもよい。

Ｓ１００でＣＰＵ１２１は、図７（ａ）に示した第１焦点検出（位相差ＡＦ）により第１検出デフォーカス量（Ｄｅｆ１）を検出する。Ｓ１０１でＣＰＵ１２１は検出した第１デフォーカス量Ｄｅｆ１の絶対値｜Ｄｅｆ１｜が所定値１より大きいかどうか判定し、大きい場合はＳ１０２で、第１検出デフォーカス量（Ｄｅｆ１）に応じてフォーカスレンズ１０５を駆動し、処理をＳ１００に戻す。

Ｓ１０１で第１デフォーカス量Ｄｅｆ１の絶対値｜Ｄｅｆ１｜が所定値１以下であれば、ＣＰＵ１２１は処理をＳ２００に進め、図７（ｂ）に示した第２焦点検出（リフォーカス方式のコントラストＡＦ）により第２検出デフォーカス量Ｄｅｆ２を検出する。Ｓ２０１でＣＰＵ１２１は第２デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が所定値２（＜所定値１）より大きいかどうか判定し、大きい場合はＳ２０１で、第２検出デフォーカス量Ｄｅｆ２に応じてフォーカスレンズ１０５を駆動し、処理をＳ２００に戻す。

Ｓ２０１で、第２検出デフォーカス量Ｄｅｆ２の絶対値｜Ｄｅｆ２｜が所定値２以下の場合、ＣＰＵ１２１は焦点検出処理を終了する。

［焦点検出処理の変形例］
なお、第１焦点検出と第２焦点検出とを並列処理することで、高速に焦点検出結果を得ることもできる。このような焦点検出処理について、図１６に示すフローチャートを用いて説明する。なお、図１６において図１５と同じ動作を行うステップには同じ参照数字を付し、重複する説明は省略する。

図１６のＳ１００でＣＰＵ１２１は、位相差検出方式による第１焦点検出により第１検出デフォーカス量Ｄｅｆ１を算出する。また、ＣＰＵ１２１は並列的に、Ｓ２００で、リフォーカス方式による第２焦点検出により第２検出デフォーカス量Ｄｅｆ２を算出する。

Ｓ３０１で、ＣＰＵ１２１は、第２検出デフォーカス量Ｄｅｆ２が算出されているかを判定する。ここでの判定は、第２検出デフォーカス量Ｄｅｆ２が、式（７）に示したリフォーカス方式のコントラストＡＦによって高精度で焦点検出できるデフォーカス量の範囲内かどうかの判定であってよい。

Ｓ３０１で、第２検出デフォーカス量Ｄｅｆ２が算出されていると判定されれば、ＣＰＵ１２１はＳ３０３で、第２検出デフォーカス量Ｄｅｆ２を第３検出デフォーカス量Ｄｅｆ３とする。一方、第２検出デフォーカス量Ｄｅｆ２が算出されていると判定されなければ、ＣＰＵ１２１はＳ３０２で、第１検出デフォーカス量Ｄｅｆ１を第３検出デフォーカス量Ｄｅｆ３とする。

Ｓ３０４でＣＰＵ１２１は第３デフォーカス量Ｄｅｆ３の絶対値｜Ｄｅｆ３｜が上述した所定値２より大きいかどうか判定し、大きい場合はＳ３０５で、第３検出デフォーカス量Ｄｅｆ３に応じてフォーカスレンズ１０５を駆動し、処理をＳ１００とＳ２００に戻す。第３デフォーカス量Ｄｅｆ３の絶対値｜Ｄｅｆ３｜が所定値２以下の場合、ＣＰＵ１２１は焦点検出処理を終了する。

以上説明したように、本実施形態によれば、離散的な位置に配置された焦点検出画素の信号に加え、推定された焦点検出画素の信号を用いて生成したリフォーカス信号を用いてリフォーカス方式の焦点検出を行うようにした。そのため、実際に存在する焦点検出画素の数よりも多い焦点検出信号を用いてリフォーカス信号を生成することができ、仮想撮像面をよりきめ細かく設定可能になるため、精度の良いリフォーカス方式の焦点検出を実現することができる。

また、焦点検出精度を向上させるために、欠陥画素として取り扱う焦点検出画素の密度を上げる必要がなくなるため、撮像画像の画質低下を抑制することができる。さらに、推定された焦点検出画素の信号を位相差検出方式の焦点検出に利用すれば、１対の焦点検出信号の類似度を向上させることができ、位相差検出方式の焦点検出の精度向上も実現することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、上述の実施形態においては、入射光束の角度が制限される（入射光束に対応する瞳領域が部分瞳領域である）画素として焦点検出画素を用いた構成について説明したが、本発明でリフォーカス信号の生成に用いる信号が焦点検出画素の信号である必要はない。

１００…カメラ、１０５…フォーカスレンズ、１０７…撮像素子、１２１…ＣＰＵ、１１２…シャッタアクチュエータ、１１４…フォーカスアクチュエータ、１１５…フラッシュ

Claims (16)

1. 受光する光束が、結像光学系の瞳領域の第１部分を通過する光束に制限される第１の画素と、受光する光束が、前記瞳領域の前記第１部分と異なる第２部分を通過する光束に制限される第２の画素と、前記第１及び第２の画素とは異なる撮像画素と、が配置された撮像素子から、画素の信号を取得する取得手段と、
   前記取得された信号に基づいて、前記第１の画素が配置されていない位置における前記第１の画素の信号と、前記第２の画素が配置されていない位置における前記第２の画素の信号とを推定する推定手段と、
   前記推定手段が推定した信号を含む前記第１の画素および前記第２の画素の信号に基づいて、１対の像信号を生成する生成手段と、
   前記１対の像信号のシフト加算信号に基づく評価値から、前記結像光学系の第１デフォーカス量を算出する第１焦点検出手段と、
   を有することを特徴とする焦点検出装置。
2. 前記推定手段が、前記第１の画素が配置されている位置における前記第２の画素の信号と、前記第２の画素が配置されている位置における前記第１の画素の信号とを推定することを特徴とする請求項１に記載の焦点検出装置。
3. 前記推定手段が、前記第１の画素が配置されている位置における前記第２の画素の信号を、前記第１の画素が配置されている位置の近傍の第２の画素を用いて補間し、前記第２の画素が配置されている位置における前記第１の画素の信号を、前記第２の画素が配置されている位置の近傍の第１の画素を用いて補間し推定することを特徴とする請求項２に記載の焦点検出装置。
4. 前記推定手段が、前記第１の画素が配置されている位置における前記第２の画素の信号を、当該第１の画素の信号と、当該位置の近傍の前記撮像画素の信号を用いて補間により得られる当該位置の撮像画素の信号とに基づいて推定することを特徴とする請求項１または２に記載の焦点検出装置。
5. 前記取得手段が、予め定められた範囲に含まれる画素の信号を取得し、
   前記生成手段が、前記予め定められた範囲に含まれる前記第１および第２の画素の数よりも多い信号に基づいて前記１対の像信号を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の焦点検出装置。
6. 前記第１焦点検出手段が、前記シフト加算のシフト量が異なる複数のシフト加算信号に基づく評価値から、評価値がピークとなるピークシフト量を算出し、前記ピークシフト量に基づいて前記第１デフォーカス量を算出することを特徴とする請求項１から５のいずれか１項に記載の焦点検出装置。
7. 前記シフト加算信号が、前記撮像素子の撮像面から、前記シフト加算のシフト量に対応した距離を有する仮想撮像面における像信号を表すリフォーカス信号であることを特徴とする請求項１から６のいずれか１項に記載の焦点検出装置。
8. 前記評価値がコントラスト評価値であることを特徴とする請求項１から７のいずれか１項に記載の焦点検出装置。
9. 前記第１の画素および前記第２の画素が焦点検出画素であり、
   前記取得手段が取得した画素の信号のうち、前記第１の画素の信号と、前記第２の画素の信号とに基づいて、位相差検出方式により前記結像光学系の第２デフォーカス量を算出する第２焦点検出手段をさらに有する、
   ことを特徴とする請求項１から８のいずれか１項に記載の焦点検出装置。
10. 受光する光束が、結像光学系の瞳領域の第１部分を通過する光束に制限される第１の画素と、受光する光束が、前記瞳領域の前記第１部分と異なる第２部分を通過する光束に制限される第２の画素と、前記第１及び第２の画素とは異なる撮像画素と、が配置された撮像素子と、
    請求項１から９のいずれか１項に記載の焦点検出装置と、
    前記焦点検出装置が検出したデフォーカス量に基づいて前記結像光学系の焦点を調節する調節手段と、
    を有することを特徴とする撮像装置。
11. 受光する光束が、結像光学系の瞳領域の第１部分を通過する光束に制限される第１の画素と、受光する光束が、前記瞳領域の前記第１部分と異なる第２部分を通過する光束に制限される第２の画素と、前記第１及び第２の画素とは異なる撮像画素と、が配置された撮像素子と、
    請求項９に記載の焦点検出装置と、
    前記第１デフォーカス量または前記第２デフォーカス量に基づいて前記結像光学系の焦点を調節する調節手段と、
    を有することを特徴とする撮像装置。
12. 前記撮像画素は前記第１及び第２の画素の受光する光束が通過する瞳領域を含む前記結像光学系の瞳領域を通過する光束を受光することを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記調節手段は、
    前記第２デフォーカス量が所定値以下になるまでは、前記第２デフォーカス量に基づいて前記結像光学系の焦点を調節し、
    前記第２デフォーカス量が所定値以下になると、前記第１デフォーカス量に基づいて前記結像光学系の焦点を調節する、
    ことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記調節手段は、
    前記第１デフォーカス量が得られている場合には、前記第１デフォーカス量に基づいて前記結像光学系の焦点を調節する、
    ことを特徴とする請求項１１または１２に記載の撮像装置。
15. 前記所定値が、前記焦点検出画素の信号の被写界深度に基づくことを特徴とする請求項１３または１４に記載の撮像装置。
16. 受光する光束が、結像光学系の瞳領域の第１部分を通過する光束に制限される第１の画素と、受光する光束が、前記瞳領域の前記第１部分と異なる第２部分を通過する光束に制限される第２の画素と、前記第１及び第２の画素とは異なる撮像画素と、が配置された撮像素子から、取得手段が画素の信号を取得する取得工程と、
    推定手段が、前記取得された信号に基づいて、前記第１の画素が配置されていない位置における前記第１の画素の信号と、前記第２の画素が配置されていない位置における前記第２の画素の信号とを推定する推定工程と、
    生成手段が、前記推定工程で推定された信号を含む前記第１の画素および前記第２の画素の信号に基づいて、１対の像信号を生成する生成工程と、
    第１焦点検出手段が、前記１対の像信号のシフト加算信号に基づく評価値から、前記結像光学系の第１デフォーカス量を算出する第１焦点検出工程と、
    を有することを特徴とする焦点検出装置の制御方法。

Images