JP5202289B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特には、２次元に構成された多数の光電変換素子で静止画及び／又は動画を撮像可能な撮像素子を用いた撮像装置に関する。

従来、撮像素子に位相差検出機能を付与し、専用のＡＦセンサを用いずに高速の位相差ＡＦを実現する技術が、特許文献１及び特許文献２に開示されている。

特許文献１では、撮像素子の一部の画素の受光部を２分割し、瞳分割機能を付与して焦点検出用画素として構成している。そして、所定の間隔で配置した焦点検出用画素を用いて位相差ＡＦを実現している。なお、焦点検出用画素では撮像できないため、欠陥画素として取り扱い、周辺の撮像画素情報を補間して対応する画像情報を生成している。

また、特許文献２には、焦点検出用画素における画像情報を、周辺の撮像画素情報を補間して生成する代わりに、焦点検出用画素が有する２つの受光部の出力を合算して生成することが開示されている。

しかしながら、特許文献１及び特許文献２における焦点検出用画素は、受光部が２分割されているため、受光効率が低下し、ダイナミックレンジやＳＮ比が低下する問題があった。

特許文献３には、撮像素子の一部の画素において、オンチップマイクロレンズの光軸に対して受光部の感度領域を反対の方向に偏心させた一対の画素を焦点検出用画素とする技術が開示されている。そして、このような焦点検出用画素対から得られる一対のＡＦ波形に基づいて、位相差式焦点検出を行なう。特許文献３においては、特許文献１と同様、焦点検出用画素の画像情報は、周辺の撮像画素情報を補間して生成している。

特開２０００−２９２６８６号公報 特開２００１−３０５４１５号公報 特開２０００−１５６８２３号公報

特許文献３では、焦点検出用画素における受光効率の低下を抑制することができるが、以下のような課題があった。
受光部の感度領域を反対方向に偏心させた焦点検出用画素対は、異なる画素で構成されるため、個々の画素は被写体像の異なる部位からの光束を受光する。そのため、焦点検出用画素対を構成する画素間の間隔に応じて位相がずれた像波形が得られることになる。このずれ量は一定でなく、被写体の模様によって変化するため補正が難しく、焦点検出誤差の原因となる。また、特許文献３では、焦点検出用画素対を構成する２つの画素が離れて配置されているので、焦点検出誤差の発生する確率が高くなる。

本発明は、このような従来技術の課題に鑑みなされたものであり、焦点検出用画素対を構成する画素が、被写体の異なる部位からの光束を受けることにより発生する焦点検出誤差を軽減可能な撮像装置を提供することを目的とする。

上述の目的は、被写体像を光電変換する複数の画素を備えた撮像素子であって、第１の焦点検出用画素と第２の焦点検出用画素から構成され、位相差検出により焦点検出を行うための焦点検出用画素対が複数の画素の中に複数、所定のピッチで分散して配置された撮像素子と、複数の焦点検出用画素対の第１の焦点検出用画素から得られる第１の像波形と、第２の焦点検出用画素から得られる第２の像波形との位相差から、被写体像を形成するレンズの焦点状態を検出する検出手段とを有する撮像装置であって、複数の焦点検出用画素対のうち、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１の焦点検出用画素と第２の焦点検出用画素の配置が入れ替わっており、検出手段は、配置の入れ替わった複数の焦点検出用画素対から得られる複数の第１および第２の像波形の位相差の平均値と、配置の入れ替わった複数の焦点検出用画素対から得られる複数の第１の像波形の加算像波形および複数の第２の像波形の加算像波形の位相差を求める位相差検出手段を有し、第１の像波形および第２の像波形を生成する信号に基づいて、被写体像に含まれるノイズが大きいと判断される場合には加算像波形の位相差を、被写体像に含まれるノイズが大きいと判断されない場合には位相差の平均値を用いて、レンズの焦点状態を検出することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、焦点検出用画素対を構成する画素が、被写体の異なる部位からの光束を受けることにより発生する焦点検出誤差を軽減可能な撮像装置が実現できる。

以下、図面を参照して本発明の例示的かつ好適な実施形態について詳細に説明する。
〔第１の実施形態〕
図１は本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示す図である。
第１レンズ群１０１は撮影光学系（結像光学系）の先端に配置され、光軸方向に移動可能に保持される。シャッタ１０２は、静止画撮影時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮影時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸方向に移動可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸方向に移動可能である。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮影画像に発生する偽色やモアレを軽減する。撮像素子１０７は例えばＣＭＯＳイメージセンサとその周辺回路で構成される。本実施形態において、撮像素子１０７は、横方向にｍ個、縦方向にｎ個の受光素子が２次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーイメージセンサである。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１及び／又は第３レンズ群１０３を光軸方向に駆動する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、所定の開口径で、かつ所定の開閉タイミングでシャッタ１０２を駆動する。

フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸方向に駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンのマスク像を被写界に投影し、暗所での撮影時や低コントラストの被写体に対する焦点検出を支援する。

ＣＰＵ１２１は、デジタルカメラ全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されたプログラムを実行して、各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、デジタルカメラの機能を実現する。

フラッシュ制御回路１２２は、撮影動作時にてフラッシュ１１５を点灯制御する。補助光制御回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。

フォーカス駆動回路１２６、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ群１３２に含まれるズーム操作スイッチの押下によって撮影者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、デジタルカメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮影画像を記録する。

図２は本実施形態における撮像素子１０７の回路構成例を概略的に示す図である。
図２では、撮像素子１０７が有する多数の画素のうち、２列×４行の画素３０−１１〜３０−４２について示している。本実施形態においては、撮像素子１０７が、有効画素として横３０００画素×縦２０００画素（合計６００万画素）を有し、画素ピッチが２μm、撮像画面サイズが横６ｍｍ×縦４ｍｍであるものとする。

図２において、各画素は、ＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換部１と、フォトゲート２と、転送スイッチＭＯＳトランジスタ３とを有している。また、リセット用ＭＯＳトランジスタ４と、ソースフォロワアンプＭＯＳトランジスタ５と、水平選択スイッチＭＯＳトランジスタ６とが、垂直方向の画素対ごとに設けられている。また、ソースフォロワの負荷ＣＭＯＳトランジスタ７は、制御パルスΦＬにより、垂直出力線をリセットする。暗出力転送ＭＯＳトランジスタ８、明出力転送ＭＯＳトランジスタ９、暗出力蓄積容量ＣTN１０、明出力蓄積容量ＣTS１１は、制御パルスΦＴN及びΦＴSに従って、暗電圧及び明電圧を蓄積する。

さらに、撮像素子１０７は、水平転送ＭＯＳトランジスタ１２と、水平出力線リセットＭＯＳトランジスタ１３と、差動増幅器１４と、水平走査回路１５と、垂直走査回路１６を有している。

図３は、垂直方向の２画素（例えば画素３０−１１及び３０−２１）の断面図と、周辺回路とを示す図である。
図３において、１７はＰ型ウェル、１８はゲート酸化膜、１９はフォトゲート２の一層目ポリＳｉ、２０はフォトゲート２の二層目ポリＳｉ、２１はｎ+ フローティングディフュージョン部（ＦＤ）である。ＦＤ２１は別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。図３の構成は、図２における２つの転送スイッチＭＯＳトランジスタ３のドレインとＦＤ２１を共通化して微細化とＦＤ２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ２１を接続しても良い。

次に、図４のタイミングチャートを用い、撮像素子１０７の動作を説明する。なお、図４は、全画素独立出力時のタイミングチャートである。
まず垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして負荷ＣＭＯＳトランジスタ７を導通させ、垂直出力線をリセットする。また制御パルスφＲ0,φＰＧ00,φＰＧe0をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をハイとしておく。

時刻ｔ0において、制御パルスφＳ0をハイとし、水平選択スイッチＭＯＳトランジスタ６を導通させ、第１，第２ラインの画素部を選択する。次に、時刻（ｔ0＋Ｔ0）に制御パルスφＲ0をローとし、ＦＤ２１のリセットを止めてフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとする。そして、時刻ｔ1からＴ1の期間制御パルスφＴNをハイとし、ＦＤ２１の暗電圧をソースフォロワ動作で暗出力蓄積容量ＣTN１０に出力させる。

次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ00をハイとして転送スイッチＭＯＳトランジスタ３を導通した後、時刻ｔ2からＴ2の期間において制御パルスφＰＧ00をローとする。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

時刻ｔ2から（ｔ2＋Ｔ2）の間に光電変換部１からの電荷がＦＤ２１に転送されることにより、ＦＤ２１の電位が光量に応じて変化する。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、時刻ｔ3からＴ3の期間、制御パルスφＴs をハイとしてＦＤ２１の電位を明出力蓄積容量ＣTS１１に出力する。この時点で第１ラインの画素の暗出力と明出力はそれぞれ暗出力蓄積容量ＣTN１０及び明出力蓄積容量ＣTS１１に蓄積される。

時刻ｔ4に制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットする。そして、水平転送期間において水平走査回路１５の走査タイミング信号により暗出力蓄積容量ＣTN１０と明出力蓄積容量ＣTS１１から水平出力線に画素の暗出力と明出力が出力される。この時、差動増幅器１４によって暗出力と明出力の差動出力ＶOUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。

また画素３０ー１２、３０ー２２の光電荷は画素３０ー１１、３０ー２１の光電荷と同時に夫々の暗出力蓄積容量ＣTN１０と明出力蓄積容量ＣTS１１に蓄積される。この画素３０ー１２、３０ー２２の暗出力と明出力は、水平走査回路１５からのタイミングパルスを１画素分遅らせて水平出力線に読み出し、差動増幅器１４から出力する。

本実施形態では、差動出力ＶOUTを撮像素子１０７内で行う構成を示しているが、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

明出力蓄積容量ＣTS１１に明出力を出力した後、制御パルスφＲ0をハイとしてリセット用ＭＯＳトランジスタ４を導通しＦＤ２１を電源ＶDDにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。

第２ラインの読み出しは、制御パルスφＴＸe0，制御パルスφＰＧe0を同様に駆動させ、制御パルスφＴN、φＴSに夫々ハイパルスを供給して、暗出力蓄積容量ＣTN１０と明出力蓄積容量ＣTS１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１，第２ラインの読み出しを夫々独立して行うことができる。

この後、垂直走査回路を走査させ、同様に第（２ｎ＋１），第（２ｎ＋２）（ｎ＝１，２，…）の読み出しを行えば全画素独立出力が行える。即ち、ｎ＝１の場合は、まず制御パルスφＳ1をハイとし、次に次にφＲ1をローとし、続いて制御パルスφＴN、φＴＸ01をハイとする。そして、制御パルスφＰＧ01をロー、制御パルスφＴSをハイ、制御パルスφＨＣを一時ハイとして画素３０ー３１，３０ー３２の画素信号を読み出す。続いて、制御パルスφＴＸe1，φＰＧe1及び上記と同様に制御パルスを印加して、画素３０ー４１，３０ー４２の画素信号を読み出す。

図５ないし図７は、撮像用画素と焦点検出用画素（ＡＦ画素）の構造を説明する図である。
本実施形態の撮像素子１０７は、２行×２列の４画素の対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列を採用している。また、ベイヤー配列の画素の一部として、後述する構造の焦点検出用画素が所定の規則に従って分散配置される。

図５に、本実施形態における撮像用画素の配置と構造の例を示す。
図５（ａ）は２行×２列の撮像用画素の平面図である。上述の通り、ベイヤー配列では対角方向に２つのＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこのような２行×２列の配列が撮像素子１０７の全体にわたって繰り返される。

図５（ｂ）は、図５（ａ）のＡ−Ａ断面と、撮影光学系からの光路を示す図である。
ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは画素の光電変換部を模式的に示したもの、ＣＬはＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影撮像光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について図示したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図６は、本実施形態において、撮影レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素（ＡＦ画素）の配置と構造の例を示す。
図６（ａ）は、焦点検出用画素対を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方で緑色以外の色の画素、具体的にはＲ画素もしくはＢ画素は、色情報を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に焦点検出用画素対ＳＨＡ及びＳＨＢを配置している。

図６（ｂ）は、図６（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮影光学系からの光路を示す図である。
マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタＣＦＷが配置される。また、一対の画素で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。すなわち、焦点検出用画素対を構成する第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの開口は、互いに異なる方向に偏倚している。

具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは水平方向右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、焦点検出用画素ＳＨＢの開口部ＯＰＨＢは水平方向左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出用画素画素ＳＨＡで取得した輝度波形をＡ像波形（第１の像波形）とする。また、水平方向に規則的に配列した複数の焦点検出用画素画素ＳＨＢで取得した輝度波形をＢ像波形（第２の像波形）とする。これらＡ像波形とＢ像波形の相対位置を検出することで、水平方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

なお、焦点検出用画素対ＳＨＡ及びＳＨＢを用いることで、その配列方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能だが、配列方向に直交する方向にのみ輝度分布を有する被写体である横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影レンズの垂直方向（縦方向）にも瞳分割を行なう焦点検出用画素も設けている。

図７は、本実施形態において、撮影レンズの垂直方向（縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す。
図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素位置に焦点検出用画素対ＳＶＣ及びＳＶＤを配置している。

図７（ｂ）は、図７（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮影光学系からの光路を示す図である。
図６（ｂ）との比較から分かるように、図７（ｂ）の画素は瞳分離方向が縦方向になっていること以外、焦点検出用画素の構造は共通である。すなわち、焦点検出用画素ＳＶＣの開口部ＯＰＶＣは垂直方向下側に偏倚しているため、撮影レンズＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、焦点検出用画素ＳＶＤの開口部ＯＰＶＤは垂直方向上側に偏倚しているため、撮影レンズＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。

垂直方向に規則的に配列した複数の焦点検出用画素画素ＳＶＣで取得した被写体像をＣ像波形とする。また、垂直方向に規則的に配列した複数の焦点検出用画素画素ＳＶＤで取得した被写体像をＤ像波形とする。これらＣ像波形とＤ像波形の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

以下、焦点検出用画素ＳＨＡ又はＳＶＣを第１のＡＦ画素、焦点検出用画素ＳＨＢ又はＳＶＤを第２のＡＦ画素と呼ぶことがある。

図８は、第１の実施形態における瞳分割を概念的に説明する図である。
図８において、ＯＢＪは被写体、ＩＭＧは被写体ＯＢＪの光学像である。
図５で説明したように、撮像用画素は撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図８の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ，ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ，ＥＰＶＣ及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素ＳＨＡ，ＳＨＢ，ＳＶＣ及びＳＶＤが、撮像素子１０７の全体に渡って規則的に分布するように配置することで、撮像領域全域で焦点検出することが可能になる。

図９は、本実施形態のデジタルカメラにおいて、焦点検出時に取得した画像と焦点検出領域の例を模式的に説明する図である。
図９において、撮像素子１０７の撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。

本実施形態の撮像素子は、水平方向に輝度分布を有する被写体の焦点検出を行うための第１の焦点検出用画素対ＳＨＡ及びＳＨＢと、垂直方向に輝度分布を有する被写体の焦点検出を行うための第２の焦点検出用画素対ＳＶＣ及びＳＶＤを有する。第１の焦点検出用画素対及び第２の焦点検出用画素対は、均等な密度で撮像素子１０７の全体に分散して配置されている。

第１の焦点検出用画素対ＳＨＡ及びＳＨＢと、第２の焦点検出用画素対ＳＶＣ及びＳＶＤの配置方法の詳細については後述する。水平方向の位相差検出には、第１の焦点検出用画素対ＳＨＡ及びＳＨＢから得られる一対の画像信号を使用する。また、垂直方向の位相差検出には、第２の焦点検出用画素対ＳＶＣ及びＳＶＤから得られる一対の画像信号を使用する。そのため、本明細書において、第１の焦点検出用画素対を水平方向の位相差検出用画素対、第２の焦点検出用画素対を垂直方向の位相差検出用画素対とも呼ぶ。よって、第１及び第２の焦点検出用画素対を含む領域を設定することにより、撮像領域の任意位置において水平方向及び垂直方向の位相差検出のための焦点検出領域が設定可能である。

図９に示す例では、画面中央に人物の顔が存在している。例えば画像処理回路１２５において撮像画像に対して公知の顔認識技術を適用し、顔の存在が検出された場合には、顔領域を中心に焦点検出領域を設定することができる。

具体的には、図９に示すように、顔領域を中心として、水平方向の位相差検出のための焦点検出領域ＡＦＡＲｈ(x1, y1)と、垂直方向の位相差検出のための焦点検出領域ＡＦＡＲｖ(x3, y3)を設定することができる。なお、添え字のｈは水平方向を表わし、(x1, y1)及び(x3, y3)は焦点検出領域の左上隅の画素座標値を表わす。また、ここで焦点検出領域ＡＦＡＲｈ(x1, y1)には第１の焦点検出用画素対ＳＨＡ及びＳＨＢが３０対、焦点検出領域ＡＦＡＲｖ(x3, y3)には第２の焦点検出用画素対ＳＶＣ及びＳＶＤが３０対含まれているものとする。

そして、焦点検出領域ＡＦＡＲｈ(x1, y1)に含まれる３０個の第１のＡＦ画素ＳＨＡで得られた画像信号を水平方向に連結した位相差検出用のＡ像波形をＡＦＳＩＧｈ(A1)とする。また、同様にして３０個の第２のＡＦ画素ＳＨＢで得られた画像信号を水平方向に連結した位相差検出用のＢ像波形がＡＦＳＩＧｈ(B1)とする。

そして、Ａ像波形ＡＦＳＩＧｈ(A1)とＢ像波形ＡＦＳＩＧｈ(B1)の水平方向の位相差を公知の相関演算によって計算することで、水平方向における焦点ずれ量（デフォーカス量）を求めることができる。

焦点検出領域ＡＦＡＲｖ(x3, y3)についても同様にして、３０個の焦点検出用画素ＳＶＣとＳＶＤから得たＣ像波形ＡＦＳＩＧv(C3)とＤ像波形ＡＦＳＩＧv(D3)を求め、さらに垂直方向における焦点ずれ量を求める。
そして、２つの焦点検出領域ＡＦＡＲｈ(x1, y1)及びＡＦＡＲｖ(x3, y3)で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。

一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち水平方向に輝度分布を有しているため、水平方向の位相差検出に適した被写体と判断し、水平方向の位相差検出のための焦点検出領域ＡＦＡＲｈ(x2, y2)を設定する。また、画面右側の山並みの稜線部は、横線成分が主体、すなわち縦方向の輝度分布が主体であるため、垂直方向の位相差検出のための焦点検出領域ＡＦＡＲｖ(x4, y4)を設定する。

このように、本実施形態においては、水平方向及び垂直方向の位相差検出のための焦点検出領域を画面（撮像素子）の任意領域に設定可能なため、被写体の画面内位置や輝度分布の方向性が様々であっても、適切な焦点検出を行うことができる。

図１０は、本実施形態における焦点検出用画素対の配列規則の例を説明するための図である。図１０では、説明及び理解を容易にするため、第１の焦点検出用画素対ＳＨＡ及びＳＨＢの配置のみを示している。

撮像用画素を、所定の大きさの正方形領域を１ブロックとしてグループ化し、各正方形領域内に、第１の焦点検出用画素対ＳＨＡ及びＳＨＢを一対ずつ配置していく。正方形領域の一辺の長さをBLK（単位：pixel）とすると、１ブロックはBLK [pixel]×BLK [pixel]の画素を含む正方形領域となる。第１の実施形態では、BLK=8 [pixel]とし、一辺の長さが8 [pixel]の正方形領域をブロックとする。

図１０において、各ブロックの左下角の画素のアドレスを（０,０）とし、水平方向右に１画素移動するたびにアドレスの第２項を１増やし、垂直方向上に１画素移動するたびにアドレスの第１項を１増やすアドレスを定義する。この定義に従うと、本実施形態では、第１のＡＦ画素ＳＨＡを各ブロックの画素（１,０）に、第２のＡＦ画素ＳＨＢを画素（０,１）にそれぞれ配置する。

従来技術の課題として説明したように、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢは異なる位置に配置されるため、受光する像波形にはずれが生じる。このずれの量は、１つの焦点検出用画素対を構成する第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢとの距離に比例するため、焦点検出用画素対のピッチよりも短い距離を持つように近接させて配置することが望ましい。そこで、第１の実施形態では、第１のＡＦ画素ＳＨＡ及び第２のＡＦ画素ＳＨＢの距離が最も短くなるよう、隣接配置する。なお、後述するように、第２の焦点検出用画素対を構成する第１のＡＦ画素ＳＶＣ及び第２のＡＦ画素ＳＶＤについても同様の理由から隣接配置する。

ここで、水平方向の位相差を検出する第１の焦点検出用画素対ＳＨＡ，ＳＨＢは、図６を参照して説明した通り、撮影レンズＴＬの射出瞳ＥＰを水平方向に分割した領域瞳ＥＰＨＡ，ＥＰＨＢを透過した光束だけを受光する。

そのため、第１の焦点検出用画素対ＳＨＡ及びＳＨＢをそのまま撮像用画素としても使用すると、画質に悪影響を及ぼす恐れがある。従って、焦点検出用画素の画像情報を生成するには、周辺の撮像用画素で得られた画像信号から補間するなどの対策が必要になる。

上述のように、Ｇ画素の出力は、輝度情報に寄与する割合が大きいため、Ｂ画素やＲ画素の出力に比べて画質に与える影響が大きい。
従って、本実施形態においては、第１のＡＦ画素ＳＨＡ及び第２のＡＦ画素ＳＨＢを隣接させながら、画質に与える影響を抑制するため、対角方向に隣接するＲ画素とＢ画素の位置に、第１のＡＦ画素ＳＨＡ及び第２のＡＦ画素ＳＨＢを配置する。なお、後述するように、第２の焦点検出用画素対を構成する第１のＡＦ画素ＳＶＣ及び第２のＡＦ画素ＳＶＤについても同様の理由から、対角方向に隣接するＲ画素やＢ画素の位置に配置する。

水平方向に隣接するブロックでは、同じアドレスに第１のＡＦ画素ＳＨＡ及び第２のＡＦ画素ＳＨＢを配置する。これにより、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢのそれぞれは、水平方向にBLK [pixel]のピッチで分布する。そして、ピッチ BLK [pixel]で分布した複数の焦点検出用画素ＳＨＡから得られる信号を水平方向に連結して、水平方向の位相差を演算するための一方の像信号（Ａ像波形）とする。また、Ａ像波形の生成に用いた複数の第１のＡＦ画素ＳＨＡと焦点検出用画素対を形成する複数の第２のＡＦ画素ＳＨＢから得られる信号を水平方向に連結して、水平方向の位相差を演算するための他方の像信号（Ｂ像波形）とする。

図８を参照して説明したように、Ａ像波形とＢ像波形は、撮影レンズＴＬの射出瞳ＥＰの異なる領域瞳ＥＰＨＡ，ＥＰＨＢを透過した光束によって形成されている。そのため、撮影レンズの焦点状態に応じて、Ａ像波形とＢ像波形の位相差が変わる。そこで、この位相差を算出し、撮影レンズの焦点状態を検出するのが、本実施形態における焦点検出の原理である。

図１１及び図１２を参照して、第１の焦点検出用画素対ＳＨＡ，ＳＨＢが、異なる画素で構成されることにより生じるＡ像波形とＢ像波形のずれについて説明する。
図１１に、アドレス（１,０）に焦点検出用の第１のＡＦ画素ＳＨＡを、アドレス（０，１）に焦点検出用の第２のＡＦ画素ＳＨＢを配置したブロックが、水平方向にブロック１からブロック５まで、５個並んでいる状態を示す。

今、幅が2*BLK [pixel]の白い縦線部２０３を挟んで黒地部２０２が存在する模様を有する被写体２０１が、ピントの合った状態で撮像素子１０７の撮像面上に結像している場合を考える。ピントが合っているので、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢから得られるＡ像波形とＢ像波形との位相差は無く、同一となるべきである。

図１１において、（１）は、白い縦線部２０３が、ブロック２の左端からブロック３の右端にかけて位置している場合を示している。この場合、各ブロックの第１のＡＦ画素ＳＨＡ(a1)〜ＳＨＡ(a5)に着目した場合、ブロック１では黒、ブロック２では白、ブロック３では白、ブロック４では黒、ブロック５では黒となる。同様に、第２のＡＦ画素ＳＨＢ(b1)〜ＳＨＢ(b5)に着目した場合にも、ブロック１では黒、ブロック２では白、ブロック３では白、ブロック４では黒、ブロック５では黒となる。

図１２の（１）に、図１１の（１）の状態で得られるＡ像波形とＢ像波形を示す。
図１２において、ブロック１〜５における第１のＡＦ画素ＳＨＡ(a1)〜ＳＨＡ(a5)から得られる信号がa1〜a5である。同様に、ブロック１〜５の第２のＡＦ画素ＳＨＢ(b1)〜ＳＨＢ(b5)から得られる信号がb1〜b5である。図１２の（１）に示すように、図１１の（１）の状態で得られるＡ像波形とＢ像波形は一致し、焦点状態も合焦と正しく判定される。

次に、図１１の（２）は、（１）と同じ模様が、１画素分右に移動した状態を示している。すなわち、白い縦線部２０３が、ブロック２の焦点検出用画素対ＳＨＡとＳＨＢの境界線から、ブロック３の焦点検出用画素対ＳＨＡとＳＨＢの境界線にかけて位置している場合を示している。

この場合、第１のＡＦ画素ＳＨＡに着目した場合、ブロック１では黒、ブロック２では黒、ブロック３では白、ブロック４では白、ブロック５では黒となる。一方、第２のＡＦ画素ＳＨＢに着目した場合には、ブロック１では黒、ブロック２では白、ブロック３では白、ブロック４では黒、ブロック５では黒となる。つまりブロック２とブロック４において、第１及び第２のＡＦ画素ＳＨＡとＳＨＢとで、異なる模様を見ていることになってしまう。

図１２の（２）に、図１１の（２）の状態で得られるＡ像波形とＢ像波形を示す。この状態では、Ａ像波形とＢ像波形は１ピッチ分の位相差を有してしまう。従って、実際にはピントが合った状態であるにも関わらず、Ａ像波形とＢ像波形が位相差を有するので、ピントが合っていないという判定がなされてしまう。つまり、焦点状態が正しく判定されない。

次に、（１）と同じ模様がさらに右へ１画素分移動した状態を示すて図１１の（３）では、ブロック２の焦点検出用画素ＳＨＡ，ＳＨＢが共に黒、ブロック４の焦点検出用画素ＳＨＡ，ＳＨＢが共に白となる。これにより、得られるＡ像波形及びＢ像波形も、図１２の（３）に示すように一致する。

以降、（１）に対して模様が８画素右に移動した状態を示す図１１の（９）及び図１２の（９）まで、どのブロックにおいても第１及び第２のＡＦ画素ＳＨＡとＳＨＢとが模様の同じ色に対応するので、Ａ像波形及びＢ像波形は一致する。

第１の実施形態では、一対で用いられる焦点検出用画素ＳＨＡとＳＨＢとを隣接させて配置し、可能な限り両者の距離を短くしている。このような配置により、合焦状態であるにもかかわらずＡ像波形とＢ像波形とが異なってしまうのは、図１１の（２）に示すような、被写体像のエッジが第１及び第２のＡＦ画素ＳＨＡとＳＨＢの境界に位置する場合だけになる。

図１１の例では、第１の焦点検出用画素対を構成する第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢを隣接配置し、かつ第１の焦点検出用画素対の水平方向のピッチを8 [pixel]としている。従って、被写体像のエッジが第１及び第２のＡＦ画素ＳＨＡとＳＨＢの境界に位置する確率は、ほぼ１／８と考えられる。

一方、上述の特許文献３に開示されているように、異種の焦点検出用画素（ＳＨＡ，ＳＨＢに相当）が、同種の焦点検出画素（例えばＳＨＡ）のピッチの半分のピッチで配置されているとする。この場合、同じブロック内の焦点検出用画素ＳＨＡ，ＳＨＢが異なる模様のところを見てしまう確率は、ほぼ１／２と非常に高くなる。

図１１及び図１２の例では理解及び説明を容易にするため、単純な被写体像を例示したが、一般的な被写体像はエッジを多数有する場合が多い。そのため、第１及び第２のＡＦ画素ＳＨＡとＳＨＢが同じ模様のところを見ているブロックと、異なる模様のところを見ているブロックが混在し、これらの割合で検出誤差の大きさが決まる。本実施形態では、焦点検出用画素対を構成する第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢを隣接させて配置し、それらが異なる模様のところを見てしまう可能性を抑制し、焦点検出誤差を軽減している。

次に、本実施形態における、水平方向の位相差検出用である第１の焦点検出用画素対の垂直方向における配置方法について説明する。
図１３は、本実施形態における第１の焦点検出用画素対ＳＨＡ，ＳＨＢの配置例を、縦４ブロック、横４ブロックの１６ブロックについて示す図である。
また、図１４は、図１３に示すように配置した焦点検出用画素対に対し、図１１と同様に模様をずらしながら適用した場合に得られるＡ像波形及びＢ像波形を示す。

ここでは、一番上のブロック行に配置された第１の焦点検出用画素対ＳＨＡ，ＳＨＢの集合を水平第１ライン、２番目のブロック行の第１の焦点検出用画素対ＳＨＡ，ＳＨＢの集合を水平第２ラインとし、以降同様に、水平第３ライン、水平第４ラインとよぶ。

水平第１ラインでは、各ブロックにおいて、第１の焦点検出用画素対のうち、第１のＡＦ画素ＳＨＡをアドレス（１，０）に、第２のＡＦ画素ＳＨＢをアドレス（０，１）に配置する。そのため、図１１の（２）で説明したように、被写体像のエッジが焦点検出用画素ＳＨＡとＳＨＢの境界に位置する場合、図１４の水平第１ライン（２）に示すように、Ａ像波形に対してＢ像波形が左側にずれる。

一方、本実施形態において、水平第２ラインでは、ブロック内における第１及び第２のＡＦ画素の配置を、水平第１ライン及び水平第３ラインでの配置と逆転させる。すなわち、第１のＡＦ画素ＳＨＡをアドレス（０，１）に、第２のＡＦ画素ＳＨＢをアドレス（１，０）に入れ替えて配置する。

より一般的に述べれば、焦点検出用画素対を構成する第１及び第２のＡＦ画素の水平方向における位置が等しく、瞳分割方向（位相差検出の方向）と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。

これにより、被写体像のエッジが焦点検出用画素ＳＨＡとＳＨＢの境界に位置する場合、図１４の水平第２ライン（２）に示すように、Ａ像波形に対して右側にずれたＢ像波形が得られる。

水平第１ラインと水平第２ラインにおいて、焦点検出用画素ＳＨＡとＳＨＢの水平方向における位置は等しい。従って、被写体のエッジ位置が水平第１ライン及び水平第２ラインとで同一であれば、Ａ像波形とＢ像波形の位相ずれは、水平第１ライン及び水平第２ラインで同時に発生する。しかも、そのずれ量は等しく、方向が逆向きとなる。

そこで本実施形態では、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形を用いて位相差検出する。これにより、焦点検出誤差を打ち消し合うことができる。なお、平均した像波形を用いて位相差検出する代わりに、隣接する２つのラインの各々で得られた位相差検出結果を平均しても同様の効果が得られ、どちらの構成を採用してもよい。本明細書では、説明を簡単にするため、これら２つの等価構成の一方のみを記載することがあるが、記載されていない構成を取りうることは自明である。

以後、水平第３ライン、水平第５ライン、・・・では、水平第１ラインと同様に、また水平第４ライン、水平第６ライン、・・・では、水平第２ラインと同様に、第１及び第２のＡＦ画素ＳＨＡ，ＳＨＢを配置する。

すなわち、水平第３ラインでは、水平方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出するための第１の焦点検出用画素対のうち、ＳＨＡを（１,０）にＳＨＢを（０,１）に配置する。一方、水平第４ラインでは、画素ＳＨＡと画素ＳＨＢの配置を入れ替え、画素ＳＨＡを（１,０）に配置し、画素ＳＨＢを（０,１）に配置する。そして水平第３ラインと水平第４ラインの検出結果を平均することで、焦点検出誤差を打ち消し合うようにしている。

そして、本実施形態の撮像装置では、最終的に水平第１〜第４ラインの検出結果を平均する。これにより、Ａ像用画素（第１のＡＦ画素）とＢ像用画素（第２のＡＦ画素）を異なる画素で構成することにより発生する焦点検出誤差を、軽減することができる。

また、本実施形態の撮像装置は、水平第１〜第４ラインの像信号を加算して一つの像信号を生成し、その加算像波形を用いた焦点検出結果も算出する。加算像波形を求める複数ラインの数に制限はないが、焦点検出用画素の配置が等しいラインが同数ずつ含まれることが好ましい。
図１４に示すように、水平第１〜第４ラインから得られたＡ像信号ａ１〜ａ５とＢ像信号ｂ１〜ｂ５を、それぞれ画素単位で出力を加算する。図１４の画素加算後という列が、加算後の像信号である。すると、得られるＡ像波形ａ１〜ａ５とＢ像波形ｂ１〜ｂ５は、図１４の「画素加算後」（２）に示す通り、被写体像のエッジが焦点検出用画素ＳＨＡとＳＨＢの境界に位置する場合でも、Ａ像波形とＢ像波形の位相ずれは生じない。

このように、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対ラインの、位相差検出の方向における位置が等しい焦点検出用画素の出力を加算することでも、焦点検出用画素対を異なる画素で構成することによる焦点検出誤差を軽減可能である。

このように、本実施形態の撮像装置では、隣接するラインの位相差検出結果を平均した結果と、隣接するラインの加算像波形による位相差検出結果の、二種類の位相差検出結果が得られることになる。

焦点検出しようとする被写体が低輝度被写体であった場合には、水平第１ライン〜水平第４ラインから得られる像信号の出力レベルは非常に小さくなる。そのため、ノイズと被写体のコントラストパターンとを識別しにくくなり、Ａ像波形とＢ像波形の位相差検出が困難となる。

従って、低輝度被写体に対しては、隣接するラインで検出された同種の像信号を加算し、ノイズの影響を軽減した加算像波形を用いて位相差検出することが有効である。一方、加算像波形による位相差検出は、位相差検出方向と垂直な方向のコントラストパターンの影響を受けやすいという特性を有する。

図２３〜２５を用いて、加算像波形による位相差検出の特性について説明する。
図２３は、水平方向の位相差検出を行うための第１の焦点検出用画素対ＳＨＡ，ＳＨＢが図１３に示したように配置されている場合に、図１１に示した被写体の白い縦線部２０３が垂直方向にコントラストパターンを有する場合を示している。

すなわち、図２３においては、黒地部２０２に、幅が２＊ＢＬＫ [pixel]の白い縦線部（白部）２０３と、グレーの縦線部（グレー部）２０４の模様を有した被写体２０１が、ピントが合った状態で撮像面上に結像しているものとする。そして、水平第１ライン〜第３ラインまではグレー部２０４に対応しており、水平第４ラインは白部２０３が対応しているものとする。また、黒地部２０２と、白部２０３及びグレー部２０４との左側の境界はブロック２の第１の焦点検出用画素対ＳＨＡとＳＨＢの境界部に、右側の境界はブロック４の第１の焦点検出用画素対ＳＨＡとＳＨＢの境界部に位置しているものとする。

図２４は、図２３のような模様の被写体像から第１の焦点検出用画素対ＳＨＡ，ＳＨＢで得られるＡＢ像波形を示す図である。
図２３において、水平第１ラインおよび第３ラインでは、
第１のＡＦ画素ＳＨＡ 第２のＡＦ画素ＳＨＢ
ブロック１ 黒 黒
ブロック２ 黒 グレー
ブロック３ グレー グレー
ブロック４ グレー 黒
ブロック５ 黒 黒
となる。

また、水平第２ラインでは、
第１のＡＦ画素ＳＨＡ 第２のＡＦ画素ＳＨＢ
ブロック１ 黒 黒
ブロック２ グレー 黒
ブロック３ グレー グレー
ブロック４ 黒 グレー
ブロック５ 黒 黒
となる。

また、水平第４ラインでは、
第１のＡＦ画素ＳＨＡ 第２のＡＦ画素ＳＨＢ
ブロック１ 黒 黒
ブロック２ 白 黒
ブロック３ 白 白
ブロック４ 黒 白
ブロック５ 黒 黒
となる。

図２４（１）に示すように、水平第１ラインでは、Ａ像とＢ像は１ピッチ分だけずれた波形となる。
図２４（２）に示すように、水平第２ラインでは、Ａ像とＢ像は、水平第１ラインと逆方向に１ピッチ分だけずれた波形となる。
図２４（３）に示すように、水平第３ラインでは、Ａ像とＢ像は、水平第１ラインと同じ方向に１ピッチ分だけずれた波形となる。
また、水平第４ラインでは、図２４（４）に示すようなＡ像波形およびＢ像波形が得られる。

図２５は、図２４で示した水平第１〜第４ラインのＡ像波形とＢ像波形をそれぞれ加算して得られる加算像波形を示す。
グレー部２０４よりも白部２０３の方が高輝度であるため、白部２０３に対応する水平第４ラインで得られる像信号の出力が、グレー部２０４に対応する他のラインの像信号の出力に比べて大きくなる。その結果、加算像波形における水平第４ラインの像信号の影響が相対的に大きくなり、Ａ像波形の重心がａ１側に、Ｂ像波形の重心がｂ５側に偏ったようになる。このような加算像波形に基づいて位相差検出すると、Ａ像に対してＢ像が左側にずれているという誤検出が生じる。

このように、加算像波形を用いた位相差検出は、低輝度被写体等、像波形の信号レベルが小さい被写体に対する位相差検出結果におけるノイズの影響を軽減できるという長所を有する。その一方で、加算像波形を用いた位相差検出は、位相差検出方向と垂直な方向にコントラストパターンを有する被写体に対して、位相差を誤検出してしまうという短所を有する。

そこで本実施形態の撮像装置では、隣接する２ラインで得られた位相差検出結果の平均と、隣接ラインの像信号を加算して得られる像信号（加算像波形）を用いた位相差検出結果の両方を求め、適切な結果を選択して使用する。これにより、焦点検出用画素対を異なる画素で構成することにより発生する焦点検出誤差を軽減することができる。

なお、位相差検出結果の選択方法としては、被写体が低輝度被写体であれば加算像波形による位相差検出結果を用い、低輝度被写体でなければ隣接する２ラインで得られた位相差検出結果の平均を用いることができる。被写体が低輝度被写体か否かは、例えば像信号の出力レベルに基づいて判定することができる。選択動作（相関演算）の詳細については図２６に示すフローチャートを用いて後述する。

図１３では説明を分かりやすくするため、４ブロック×４ブロックの領域だけ抜き出して描いた。図１３に示す配置規則を撮像素子１０７の全領域について適用することで、焦点検出用画素対を異なる画素で構成することによる焦点検出誤差を、撮像領域の任意の場所において軽減可能である。
以上、本実施形態における水平方向の位相差検出用画素対（第１の焦点検出用画素対）ＳＨＡ，ＳＨＢの配置について説明した。

次に、図１５を用いて、水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢに加え、垂直方向の位相差検出用画素対ＳＶＣ，ＳＶＤを配置する際の規則について説明する。
上述の通り、各焦点検出用画素ＳＨＡ，ＳＨＢ，ＳＶＣ，ＳＶＤは、撮影レンズＴＬの射出瞳ＥＰのうち、左右上下の領域瞳ＥＰＨＡ，ＥＰＨＢ，ＥＰＶＣ，ＥＰＶＤを透過した光束だけを受光する。従って、焦点検出用画素をそのまま撮影用画素としても利用すると、画質に悪影響を与えてしまう。そのため、焦点検出用画素における画像情報は、その周囲の撮影用画素からの出力を用いて補間して生成するといった処理が必要となる。

焦点検出用画素ＳＨＡ，ＳＨＢ，ＳＶＣ，ＳＶＤの分布が不均一な場合、補間生成される画素が一部の領域に多く含まれたり、補間に用いる情報量が不足したりする場合が生じ、画質に悪影響を与える可能性がある。そこで、垂直方向の位相差を検出するための第２の焦点検出用画素対ＳＶＣ，ＳＶＤは、垂直方向、水平方向とも、隣接する２つの水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢの中間に位置するように配置する。

本実施形態では、水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢが水平方向にも垂直方向にも等しいピッチ（8 [pixel]）で正方配置されている。この場合、垂直方向の位相差検出用画素対ＳＶＣ，ＳＶＤは、水平方向、垂直方向とも半ピッチずれて正方配置され、全体として千鳥配置となる。

図１５に示すように、第１の焦点検出用画素対の第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢを各ブロックのアドレス（１，０）、（０，１）に配置したとする。この場合、第２の焦点検出用画素対の第１及び第２のＡＦ画素ＳＶＣ，ＳＶＤは各ブロックのアドレス（５，４）、（４，５）に配置する。これにより、焦点検出用画素が偏在することによる画質劣化を軽減することが可能である。

なお、水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢは、被写体像のエッジが画素対の境界に位置した場合の像信号のずれを相殺するため、水平ライン毎に第１及び第２のＡＦ画素の位置を入れ替えて配置していた。これと同様の理由により、垂直方向の位相差検出用画素対ＳＶＣ，ＳＶＤでは、垂直ラインごとに第１及び第２のＡＦ画素の位置を入れ替えて配置する。

つまり、第１の焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向（水平方向）における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。また、第２の焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向（垂直方向）における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。

図１５において、垂直第１ラインでは、各ブロックにおいて、第２の焦点検出用画素対における第１のＡＦ画素ＳＶＣを（５，４）に配置し、第２のＡＦ画素ＳＶＤを（４，５）に配置する。そのため、図１１、図１２を用いて水平方向の位相差検出用画素ＳＨＡ，ＳＨＢについて説明したように、被写体像のエッジが画素ＳＶＣとＳＶＤの境界に位置する場合には、Ｃ像波形に対してＤ像波形が上側にずれることになる。

一方、垂直第２ラインでは、各ブロックにおいて、第２の焦点検出用画素対における第１のＡＦ画素ＳＶＣを（４，５）に配置し、第２のＡＦ画素ＳＶＤを（５，４）に配置する。第１のＡＦ画素ＳＶＣと第２のＡＦ画素ＳＶＤの配置が入れ替わっているので、被写体像のエッジが画素ＳＶＣとＳＶＤの境界に位置する場合には、Ｃ像波形に対してＤ像波形が下側にずれることになる。

垂直第１ラインと垂直第２ラインにおいて、焦点検出用画素ＳＶＣとＳＶＤの垂直方向における位置は等しい。従って、被写体のエッジ位置が垂直第１ライン及び垂直第２ラインとで同一であれば、Ｃ像波形とＤ像波形の位相ずれは、垂直第１ライン及び垂直第２ラインで同時に発生する。しかも、そのずれ量は等しく、方向が逆向きとなる。これは、図１４を用いて水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢについて説明したのと同じ原理である。

上述の通り、本実施形態では、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

以後、垂直第３ライン、垂直第５ライン、・・・では、垂直第１ラインと同様に、また垂直第４ライン、垂直第６ライン、・・・では、垂直第２ラインと同様に、第１及び第２のＡＦ画素ＳＶＣ，ＳＶＤを配置する。
なお、Ｃ像波形及びＤ像波形についても、Ａ像波形及びＢ像波形と同様に平均して位相差検出してもよい。また、隣接する２つの垂直ラインで得られた位相差検出結果を平均してもよい。

このようにして、水平方向の位相差検出用画素対ＳＨＡ，ＳＨＢと垂直方向の位相差検出用画素対ＳＶＣ，ＳＶＤを配置する。そして、隣接する２ラインで得られた位相差検出結果の平均と、隣接ラインの像信号を加算して得られる像信号（加算像波形）を用いた位相差検出結果の両方を求め、被写体の輝度に応じていずれかの検出結果を選択することにより、
・焦点検出用画素対の偏在による画質劣化の軽減、
・一対の焦点検出用画素を異なる画素で構成することによる焦点検出誤差の軽減、
を両立することができる。
なお、上述の通り、位相差検出結果の平均の代わりに、平均した像波形に基づく位相差検出結果を用いてもよい。

図１６〜図１８は、本実施形態におけるデジタルカメラの焦点調節及び撮影動作を説明するためのフローチャートである。
図１６は、本実施形態に係るデジタルカメラの全体的な動作を説明するためのフローチャートである。

撮影者が操作スイッチ群１３２の電源スイッチをオン操作すると、Ｓ１０３においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。

Ｓ１０５でＣＰＵ１２１は撮像素子駆動回路１２４を通じて撮像素子１０７の撮像動作を開始する。また、画像処理回路１２５によって撮像画像を処理し、表示用（記録用よりも低解像度）の画像を生成する。画像処理回路１２５はさらに、表示用画像から人物の顔を検出する。

Ｓ１０７でＣＰＵ１２１は、画像処理回路１２５が生成する表示用の画像を表示器１３１に逐次出力して、表示器１３１をＥＶＦとして機能させる。撮影者は表示器１３１に表示される画像を見ながら、撮影時の構図決定を行なう。

Ｓ１０９で、ＣＰＵ１２１は、画像処理回路１２５から、顔検出結果と、顔が検出されていれば顔領域に関する情報を取得する。そして、顔が検出されている場合には、Ｓ１１１からＳ１１３に移行し、ＣＰＵ１２１は焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、顔領域に焦点検出領域を設定するＡＦモードを指す。

一方、表示用画像から顔が検出されなかった場合、Ｓ１１１からＳ１１５に移行し、ＣＰＵ１２１は焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を複数の領域（例えば縦３、横５の１５領域）に分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から推定される主被写体の存在する分割領域を最終的な焦点検出領域とするモードを指す。

Ｓ１１３あるいはＳ１１５でＡＦモードを決定したら、ＣＰＵ１２１は、Ｓ１１７で焦点検出領域を決定する。Ｓ１２１では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１０５に戻り、撮像素子駆動からＳ１１７の焦点検出領域の決定を繰り返し実行する。

Ｓ１２１でＣＰＵ１２１は操作スイッチ群１３２の撮影準備スイッチの状態を検出し、オンであればＳ１３１へ、オンでなければＳ１０５へ処理を移す。撮影準備スイッチは、例えばレリーズボタンが半押しされるとオンするスイッチであって良い。

図１７は、Ｓ１３１で行う焦点検出処理の詳細を説明するためのフローチャートである。
Ｓ１３３において、ＣＰＵ１２１は、予め記憶された配置情報に基づき、Ｓ１１７で決定した焦点検出領域に含まれる焦点検出用画素を撮像素子駆動回路１２４を介して読み出す。

Ｓ１３７でＣＰＵ１２１は、第１の焦点検出用画素対及び第２の焦点検出用画素対について、それぞれ第１のＡＦ画素群及び第２のＡＦ画素群から読み出した信号を結合して、図９、図１２、及び図１４で示したような位相差検出用の像波形対を生成する。具体的には、図９に示したＡＦＳＩＧｈ(A1)とＡＦＳＩＧｈ(B1)、あるいはＡＦＳＩＧｖ(C3)とＡＦＳＩＧｖ(D3)等の対の信号を生成する。

Ｓ２００でＣＰＵ１２１は位相差検出用の像波形対の相関演算を行ない、像波形の位相差を計算する。この相関演算の詳細については、図２６を用いて後述する。
Ｓ１４１でＣＰＵ１２１は、相関演算結果の信頼性を判定する。ここで信頼性とは、像波形対の一致度（波形の類似度）を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い像波形対に基づく位相差を優先的に使用する。
Ｓ１４３でＣＰＵ１２１は、信頼性の高い像波形対から求められた位相差に基づいて最終的な焦点ずれ量を演算し、焦点検出処理を終了する。

図１６に戻り、Ｓ１５１でＣＰＵ１２１は、焦点検出処理で計算した焦点ずれ量が許容値以下か（合焦と判定可能か）否かを判断する。焦点ずれ量が許容値より大きい場合、ＣＰＵ１２１は非合焦と判断し、Ｓ１５３でフォーカス駆動回路１２６を通じてフォーカスレンズ（第３のレンズ群）１０５を所定方向に所定量駆動する。そして、Ｓ１５１で合焦と判定されるまでＳ１３１及びＳ１５３の処理を繰り返し実行する。
そしてＳ１５１にて合焦状態に達したと判定されると、ＣＰＵ１２１はＳ１５５にて表示器１３１に合焦表示を行ない、Ｓ１５７に移行する。

Ｓ１５７でＣＰＵ１２１は、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１５７にて撮影待機状態を維持する。Ｓ１５７で撮影開始スイッチがオン操作されるとＳ１６１に移行し、撮影処理を実行する。撮影開始スイッチは、例えばレリーズボタンが全押しされるとオンするスイッチであって良い。

図２６は、図１６における相関演算ステップ（Ｓ２００）の詳細の一例を示すフローチャートである。
Ｓ２０１でＣＰＵ１２１は、水平第１〜第４ラインで得られた同種の像信号を加算し、加算像波形を生成する。

Ｓ２０２でＣＰＵ１２１は、水平第１〜第４ラインの各々で得られたＡ像波形およびＢ像波形と、Ｓ２０１で生成した加算像波形の５組の像波形についてそれぞれ相関演算を行ない、５つの位相差を検出する。

Ｓ２０３でＣＰＵ１２１は、水平第１〜第４ラインの信号レベルに基づいて被写体輝度を検出する。具体的には、ＣＰＵ１２１は水平第１〜第４ラインの全焦点検出用画素出力値の平均値を被写体輝度として算出する。

Ｓ２０４でＣＰＵ１２１は、Ｓ２０３で算出した被写体輝度が予め定めた閾値より低い場合には低輝度被写体と判定し、閾値以上の場合には低輝度被写体でないと判定する。Ｓ２０４で低輝度被写体と判定された場合、ＣＰＵ１２１は、Ｓ２０２で検出した５つの位相差のうち、加算像波形から検出した位相差を最終的な位相差検出結果として設定する（Ｓ２０７）。

一方、Ｓ２０３で低輝度被写体でないと判定された場合、ＣＰＵ１２１は、Ｓ２０２で検出した５つの位相差のうち、水平第１〜第４ラインの各々における位相差検出結果を平均する（Ｓ２０５）。そしてＣＰＵ１２１は、Ｓ２０５で得られた位相差検出結果の平均値を検出結果として設定する（Ｓ２０６）。

なお、Ｓ２０２において、水平第１〜第４ラインの各々で得られたＡ像波形を平均した平均Ａ像波形と、水平第１〜第４ラインの各々で得られたＢ像波形を平均した平均Ｂ像波形とを算出し、平均Ａ像波形と平均Ｂ像波形とから位相差を検出してもよい。すなわち、Ｓ２０２でＣＰＵ１２１は、加算像波形の位相差と、平均像波形の位相差を検出する。そして、Ｓ２０３で低輝度被写体でないと判定された場合、ＣＰＵ１２１は、Ｓ２０５を行わずに、Ｓ２０６で、平均Ａ像波形と平均Ｂ像波形とから検出した位相差を最終的な位相差検出結果として設定する。

Ｓ２０３とＳ２０４で、ＣＰＵ１２１は、水平第１〜４ラインの全焦点検出用画素出力値の平均値に基づいて被写体輝度を推定し、その被写体輝度が予め定めた閾値より高いか低いかによって、水平第１〜第４ラインの各々における位相差検出結果を平均するか（Ｓ２０５）、加算像波形から検出した位相差を最終的な位相差検出結果として設定するか（Ｓ２０７）を判定していた。このように、焦点検出用画素出力で被写体輝度を推定することで、被写体輝度を測定するための別センサが不要で、焦点検出に用いる信号のレベルを直接的に測定することが可能になる。

なお、Ｓ２０３において、水平第１〜第４ラインの全撮像用画素出力値の平均値を被写体輝度としても良い。図６に示したように、焦点検出用画素よりも撮像用画素の方がより多くの光を受光できるため、より低輝度まで被写体輝度の推定を行なうことが可能となる。
また、Ｓ２０３において、水平第１〜第４ラインの焦点検出用画素と撮像用画素を含めた全画素出力値の平均値を被写体輝度としても良い。

さらに、被写体輝度を測定するための別センサを設け、Ｓ２０３において、そのセンサ出力が予め定めた閾値より高いか低いかによって、水平第１〜第４ラインの各々における位相差検出結果を平均するか（Ｓ２０５）、加算像波形から検出した位相差を最終的な位相差検出結果として設定するか（Ｓ２０７）を判定してもよい。撮像素子１０７から得られる画素出力は、プレビュー画像表示（Ｓ１０７）の撮影条件に応じて変わる。そのため、画素出力に撮影条件を加味して被写体輝度を推定する必要がある。そこで、別センサからの出力を用いることで、プレビュー画像表示（Ｓ１０７）の撮影条件の制約を受けることなく、被写体輝度を推定することが可能となる。

また、Ｓ２０３において、水平第１〜第４ラインの焦点検出用画素出力値に含まれるノイズ量を算出してもよい。具体的には、焦点検出用画素の隣接画素出力値の絶対和もしくは二乗和をノイズ量として算出する。そしてＳ２０４で、そのノイズ量が予め定めた閾値より高いか低いかによって、水平第１〜第４ラインの各々における位相差検出結果を平均するか（Ｓ２０５）、加算像波形から検出した位相差を最終的な位相差検出結果として設定するか（Ｓ２０７）を判定する。焦点検出誤差の要因となるノイズ量に応じて判定することで、焦点検出誤差を軽減することが可能となる。

図１８はＳ１６１で行う撮影処理の詳細を説明するためのフローチャートである。
Ｓ１６３でＣＰＵ１２１はシャッタ駆動回路１２８を通じてシャッタ１０２の開口量と開閉タイミングを制御し、露光処理を行う。なお、特に説明しなかったが、一般的に行われているように、焦点検出処理と並行して自動露出制御処理も行われ、絞り値及びシャッタースピードが決定されているものとする。

Ｓ１６５でＣＰＵ１２１は、撮像素子駆動回路１２４を介して記録用画像生成のための画像読み出し、すなわち全画素の読み出しを行なう。
Ｓ１６７でＣＰＵ１２１は、画像処理回路１２５を用い、読み出した画像信号の欠損画素補間を行なう。ここで、欠損画素には、撮像素子１０７の製造時に生じた欠陥画素と、焦点検出用画素が含まれる。上述の通り、焦点検出用画素にはＲＧＢのカラーフィルタが設けられておらず、また射出瞳の一部からしか受光しないので、通常の欠陥画素と同様、周囲の撮像用画素の情報から補間により画像信号を生成する。

Ｓ１６９でＣＰＵ１２１は、画像処理回路１２５により、色補間、画像のγ補正、エッジ強調等の所謂現像処理と、設定に応じて符号化等の画像処理を行う。
Ｓ１７１において、ＣＰＵ１２１は、記録媒体１３３に撮影画像を記録する。
Ｓ１７３でＣＰＵ１２１は、表示器１３１に撮影済み画像を表示し、撮影処理を終了する。

以上説明したように、本実施形態によれば、撮像素子に含まれる画素の一部として、瞳分割機能を有する焦点検出用画素対を所定ピッチで配置する際に、画素対を形成する画素の間隔が画素対のピッチよりも短くなる様に配置する。これにより、焦点検出誤差の発生確率を低下させることができる。さらに、隣接するＲ画素とＢ画素に画素対を配置することで、Ｇ画素に配置した場合と比較して画質に対する影響も抑制することができる。

また、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１の焦点検出用画素と第２の焦点検出用画素の配置が入れ替わるように配置する。そして、隣接する偶数ラインで得られる位相差検出結果の平均値もしくは、隣接する偶数ラインで得られる像信号を加算した加算像波形の位相差検出結果の両方を求める。

そして、被写体像のノイズが大きいと判断される場合には加算像波形の位相差検出結果を、被写体像のノイズが大きいと判断されない場合には位相差検出結果の平均値を、当該隣接する偶数ラインにおける最終的な位相差検出結果として設定する。
ノイズの大小は例えば被写体輝度に基づいて判断することができ、具体的には、隣接する偶数ラインで検出した被写体輝度が予め定めた閾値未満であればノイズが大きいと判断することができる。

これにより、低輝度被写体などにおいて、ノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、被写体像のノイズが大きくない場合は、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。本実施形態に係る撮像装置は、撮像素子１０７における焦点検出用画素の配置を除き、第１の実施形態と同様であるので、以下、本実施形態に特徴的な焦点検出用画素の配置についてのみ説明する。

図１９は、本発明の第２の実施形態における焦点検出用画素対の配置例を、縦４ブロック、横４ブロックの１６ブロックについて示す図である。
第１の実施形態では、水平方向の位相差を検出するための第１の焦点検出用画素対ＳＨＡ，ＳＨＢと、垂直方向の位相差を検出するための第２の焦点検出用画素対ＳＶＣ，ＳＶＤは、それぞれ正方配置されていた。そして、第１の焦点検出用画素対ＳＨＡ，ＳＨＢと、第２の焦点検出用画素対ＳＶＣ，ＳＶＤは、水平及び垂直方向とも互いに半ピッチずらして配置することで、全体として千鳥配置になるようにしていた。

本実施形態では、位相差検出の方向が等しい複数の焦点検出用画素対を位相差検出の方向に等しいピッチで配置したラインを、位相差検出の方向と直交する方向に複数配置する。そして、位相差検出の方向と直交する方向に隣接するラインの焦点検出用画素対が位相差検出の方向に半ピッチずれるように配置する。具体的には例えば、複数の第１の焦点検出用画素対ＳＨＡ，ＳＨＢを水平方向に等ピッチで配置した水平ラインを、水平ライン毎に水平方向に半ピッチずらしながら垂直方向に配置することを特徴とする。これにより、垂直方向に隣接する２つの水平ラインを合わせると、第１の焦点検出用画素対の水平方向のピッチが半分になり、水平方向における像波形の解像度を向上させることができる。

一番上のブロック行に配置された第１の焦点検出用画素対ＳＨＡ，ＳＨＢの集合を水平第１ライン、２番目のブロック行の第１の焦点検出用画素対ＳＨＡ，ＳＨＢの集合を水平第２ラインとし、以降同様に、水平第３ライン、水平第４ライン、・・・とする。これは第１の実施形態において説明した図１５と同様である。

水平第１ラインでは、第１の実施形態と同様、各ブロックにおいて、第１の焦点検出用画素対のうち、第１のＡＦ画素ＳＨＡをアドレス（１，０）に、第２のＡＦ画素ＳＨＢをアドレス（０，１）に配置する。

次に水平第２ラインでは、各ブロックにおいて、第１の焦点検出用画素対のうち、第１のＡＦ画素ＳＨＡをアドレス（１，４）に、第２のＡＦ画素ＳＨＢをアドレス（０，５）に配置する。つまり、水平第２ラインでは、水平第１ラインに対して、水平方向に半ピッチ分だけずらした位置に第１の焦点検出用画素対ＳＨＡ，ＳＨＢを配置する。

そして、水平第１ラインにおけるＡＦ画素と水平第２ラインにおけるＡＦ画素とで得られる信号の両方を用いることで、水平方向の解像度が２倍向上したのと等価の像波形を得ることができる。

水平第３ラインと水平第１ラインに配置される第１の焦点検出用画素対は、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向（水平方向）における位置が等しく、かつ位相差検出の方向と直交する方向に隣接している。ここでは、第１および第２のＡＦ画素を隣接配置した例を示しているが、第１の実施形態において説明したように、第１および第２のＡＦ画素の間隔は、第１の焦点検出用画素対のピッチよりも短ければよい。

そのため、第１の実施形態における水平第２ラインと同様、各ブロックにおいて、第１の焦点検出用画素対のうち、第１のＡＦ画素ＳＨＡをアドレス（０，１）に、第２のＡＦ画素ＳＨＢをアドレス（１，０）に配置する。つまり、水平第１ラインに対して、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの配置を入れ替える。

同様に、水平第４ラインと水平第２ラインに配置される第１の焦点検出用画素対は、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向（水平方向）における位置が等しく、かつ位相差検出の方向と直交する方向に隣接している。

そのため、水平第４ラインでは、各ブロックにおいて、第１の焦点検出用画素対のうち、第１のＡＦ画素ＳＨＡをアドレス（０，５）に、第２のＡＦ画素ＳＨＢをアドレス（１，４）に配置する。つまり、水平第２ラインに対して、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの配置を入れ替える。

本実施形態では、水平第１ラインと水平第３ラインにおいて、第１の焦点検出用画素対ＳＨＡとＳＨＢの水平方向における位置は等しい。従って、被写体のエッジ位置が水平第１ライン及び水平第３ラインとで同一であれば、Ａ像波形とＢ像波形の位相ずれは、水平第１ライン及び水平第３ラインで同時に発生する。しかも、そのずれ量は等しく、方向が逆向きとなる。また、水平第２ラインと水平第４ラインについても同様の関係が成立する。

そこで本実施形態では、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形の位相差を検出する。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。また、第１の実施形態と同様、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく配置された隣接する２つのラインの各々で得られた位相差検出結果を平均してもよい。

また、第１の実施形態と同様、隣接する複数ラインの像波形を加算した加算像波形を求め、加算像波形の位相差も検出する。加算像波形を求める複数ラインには、焦点検出用画素の配置が等しいラインが同数ずつ含まれることが好ましい。
本実施形態では、第１の実施形態と同様、水平第１〜第４ラインと同様の組み合わせを有する隣接４ラインについて加算像波形を求めるものとする。

さらに、本実施形態では、水平第１ライン、水平第３ラインに対して、水平第２ライン、水平第４ラインにおける第１の焦点検出用画素対の位置を半ピッチ分ずらして配置（千鳥配置）することにより、水平方向の解像度向上を実現している。

一方、垂直方向の位相差を検出するための第２の焦点検出用画素対ＳＶＣ，ＳＶＤは、第１の実施形態と同様の正方配置としている。これは、第２の焦点検出用画素対ＳＶＣ，ＳＶＤについても位相差検出の方向に直交する方向（水平方向）に隣接する焦点検出用画素対を位相差検出の方向（垂直方向）に半ピッチずつずらして配置すると、焦点検出用画素が偏在する箇所ができるためである。

第１の実施形態で説明したように、焦点検出用画素ＳＨＡ，ＳＨＢ，ＳＶＣ，ＳＶＤが偏在する箇所があると、補間処理に必要が周辺画素の数が少なくなり、画質に悪影響を与える可能性がある。そのため、本実施形態では、第１の焦点検出用画素対ＳＨＡ，ＳＨＢについては水平ライン毎に半ピッチずらしながら配置する一方、第２の焦点検出用画素対ＳＶＣ，ＳＶＤについては正方配置する。これにより、水平方向の解像度向上と、焦点検出用画素の偏在による画質劣化の発生の抑制を実現している。

なお、本実施形態においても、第２の焦点検出用画素対ＳＶＣ，ＳＶＤについて、垂直ラインごとに第１及び第２のＡＦ画素の位置を入れ替えて配置する。つまり、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向（垂直方向）における位置が等しく、位相差検出の方向と直交する方向（水平方向）に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。

図１９に示すように、第１の実施形態と同様、垂直第１ラインでは、各ブロックにおいて、第２の焦点検出用画素対における第１のＡＦ画素ＳＶＣを（５，４）に配置し、第２のＡＦ画素ＳＶＤを（４，５）に配置する。

一方、垂直第２ラインでは、各ブロックにおいて、第２の焦点検出用画素対における第１のＡＦ画素ＳＶＣを（４，５）に配置し、第２のＡＦ画素ＳＶＤを（５，４）に配置する。つまり、垂直第１ラインに対して、第１のＡＦ画素ＳＶＣと第２のＡＦ画素ＳＶＤの配置を入れ替える。

そして、本実施形態でも、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形の位相差を検出する。あるいは、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく配置された隣接する２つのラインの各々で得られた位相差検出結果を平均してもよい。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

また、第１の実施形態と同様、隣接する複数ラインの像波形を加算した加算像波形を求め、加算像波形の位相差も検出する。本実施形態についても、第１の実施形態において図１４を用いて説明した原理と同じ原理により、加算像信波形を用いて位相差検出することで、低輝度被写体に対する位相差検出誤差を軽減することができる。

本実施形態の撮像装置においても、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、低輝度被写体以外においては、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

このようにして焦点検出用画素対を配置した撮像素子１０７を用いた撮像装置の焦点調節動作及び撮影動作は、第１の実施形態と同じでよいため、説明を省略する。

以上説明したように、第２の実施形態では、第１の実施形態と同様、位相差検出の方向が等しい複数の焦点検出用画素対を位相差検出の方向に等しいピッチで配置したラインを、位相差検出の方向と直交する方向に複数配置する。それに加え、一方の焦点検出用画素対については、位相差検出の方向と直交する方向に隣接するラインの焦点検出用画素対が位相差検出の方向に半ピッチずれるように配置する。つまり、他方の焦点検出用画素対は正方配置のままであるが、一方の焦点検出用画素対は千鳥配置する。

これにより、第１の実施形態の効果に加え、一方の焦点検出用画素対で得る像波形の解像度を向上させることが可能になり、より精度の良い焦点検出を行うことができる。
また、一方の焦点検出用画素対のみ千鳥配置することで、焦点検出用画素の偏在による撮影画像の画質劣化を抑制することができる。

また、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体等、ノイズが大きくなる場合においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、ノイズが大きくないと判断される場合には、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

なお、本実施形態では水平方向の位相差検出を行う焦点検出用画素対のピッチを変更する例を説明したが、垂直方向の位相差検出を行う焦点検出用画素対のピッチを変更してもよい。

〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。本実施形態に係る撮像装置は、撮像素子１０７における焦点検出用画素の配置を除き、第１の実施形態と同様であるので、以下、本実施形態に特徴的な焦点検出用画素の配置についてのみ説明する。

図２０は、本発明の第３の実施形態における焦点検出用画素対の配置例を、縦４ブロック、横４ブロックの１６ブロックについて示す図である。
第１及び第２の実施形態では、ベイヤー配列を有するカラーフィルタを適用した撮像素子を対象としていた。すなわち、２×２の４画素を１単位として、対角２画素にＧ（緑色）の分光感度を有する画素を、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した撮像素子を対象としていた。第３の実施形態では、より高解像度の輝度情報取得を目的として、Ｇ（緑色）の分光感度を有する画素の割合を増やした画素配列を採用した撮像素子を対象とした場合の焦点検出用画素対の配置に関する。

まず、本実施形態の撮像素子１０７が有するカラーフィルタについて説明する。４×４の１６画素を１単位として、Ｇ画素が１２画素、Ｒ画素とＢ画素がそれぞれ２画素ずつ存在する。具体的には、４×４の１６画素内において、左下角の画素のアドレスを（０，０）とし、水平方向右に移動するたびにアドレスの第２項を一つ増やし、垂直方向上に移動するたびにアドレスの第１項を一つ増やすアドレスを定義する。このアドレス規則に基づいて表現すると、Ｒ画素を（３，０）と（１，２）に、Ｂ画素を（１，０）と（３，２）に配置し、残りの１２画素全てにＧ画素を配置した構成を有する。

先に説明したベイヤー配列では、全画素のうち５０％がＧ画素であるが、本実施形態の配列では７５％がＧ画素である。上述のように、Ｇ画素の出力は、輝度情報に寄与する割合が大きいため、Ｂ画素やＲ画素の出力に比べて、画質に与える影響が大きい。そこで本実施形態では、Ｇ画素の割合を増やし、より高解像度の輝度情報取得を実現している。

図２０において、垂直方向一番上のブロック行に設けられる複数の第１の焦点検出用画素対ＳＨＡ，ＳＨＢを水平第１ラインと呼ぶ。また上から２番目を水平第２ライン、３番目を水平第３ライン、４番目を水平第４ラインとする。また、水平方向一番左のブロック列に設けられる複数の第２の焦点検出用画素対ＳＶＣ，ＳＨＤを垂直第１ライン、左から２番目を垂直第２ライン、３番目を垂直第３ライン、４番目を垂直第４ラインとする。

撮像用画素は、第１及び第２の実施形態と同様、所定の大きさの正方領域を１ブロックとし、各ブロックに第１の焦点検出用画素対ＳＨＡ，ＳＨＢと、第２の焦点検出用画素対ＳＶＣ，ＳＶＤを１組ずつ配置していく。本実施形態でも、第１及び第２の実施形態と同様、８×８画素の正方領域を１ブロックとする。

また、ブロック内の画素位置を示すアドレスとして、左下角の画素のアドレスを（０，０）とし、水平方向右に移動するたびにアドレスの第２項を一つ増やし、垂直方向上に移動するたびにアドレスの第１項を一つ増やすアドレスを定義する。

このアドレスを用いて、まず、水平方向の位相差を検出するための第１の焦点検出用画素対ＳＨＡ，ＳＨＢの配置規則について説明する。水平第１ラインでは、第１の焦点検出用画素対の第１のＡＦ画素ＳＨＡをアドレス（３，０）に、第２のＡＦ画素ＳＨＢをアドレス（１，０）に配置する。

上述の通り、焦点検出用画素ＳＨＡ，ＳＨＢは、画質の劣化を抑制するために、Ｂ画素やＲ画素の位置に配置する。また、第１の焦点検出用画素対ＳＨＡ，ＳＨＢは水平方向のコントラストパターンに基づいて焦点検出を行なうため、水平方向における位置はできる限り一致させるのが望ましい。さらに、上述したように、焦点検出用画素対を構成する第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢとの間隔は短い方ことが好ましい。

そこで、これらの条件をできるだけ満足するよう、第３の実施形態では、第１及び第２のＡＦ画素ＳＨＡとＳＨＢを垂直に配置して水平方向の位置を一致させ、かつＢ画素を避けながら隣接させる。そして、このような配置により、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが異なる画素であることにより発生する焦点検出誤差を軽減している。

水平第１ラインの各ブロックに設けた第１の焦点検出用画素対の第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢの水平方向の位置は一致している。そのため、水平方向のみにコントラストパターンがある被写体像（例えば縦線など）については、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢは常に同じ模様の部位を見ていることになる。従って、異なる画素で得られる像波形を用いて焦点検出することを要因とする焦点検出誤差は発生しない。

しかしながら、水平方向のみならず垂直方向にもコントラストパターンがある被写体像については、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢは垂直方向に２画素分離れた部位を見るので、焦点検出誤差が若干生じる恐れがある。特に、斜め４５°に傾いた線を撮像した場合、この焦点検出誤差が大きくなるおそれがある。

そこで、本実施形態においても第１の実施形態や第２の実施形態同様、水平第２ラインでは、水平第１ラインに対して第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの配置を入れ替える。すなわち、水平第２ラインでは、水平方向の位相差検出用の第１の焦点検出用画素対における第１のＡＦ画素ＳＨＡをアドレス（１，０）に、第２のＡＦ画素ＳＨＢをアドレス（３，０）に配置する。そして、水平第１ラインから得られる像波形と水平２ラインから得られる像波形を平均または加算して最終的な１組の像波形を生成することで、焦点検出誤差を打ち消し合うようにしている。

このように、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。そして、隣接する２つの焦点検出用画素対から得られる像波形を平均した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

水平方向のみにコントラストパターンがある被写体（例えば縦線など）については、水平第１ライン、水平第２ラインともに、焦点検出用画素ＳＨＡとＳＨＢを異なる画素で構成することによる焦点検出誤差は発生しない。

しかし例えば斜め４５°に傾いた線を撮影した場合には、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが垂直方向に離間した異なる画素であることによる焦点検出誤差が発生する。しかし、この場合でも、斜め４５°線のエッジは、水平第１ラインと水平第２ラインの焦点検出用画素対ＳＨＡとＳＨＢの境界に同時にかかるため、ＡＢ像波形の位相ずれは同時に発生する。しかもそのずれ量は等しく、方向が逆向きとなる。

そこで第３の実施形態においても、位相差検出の方向と直交する方向に隣接するライン同士の、像波形を平均又は加算することで、焦点検出誤差を打ち消し合うようにしている。これにより、Ａ像波形を生成する第１のＡＦ画素とＢ像波形を生成する第２のＡＦ画素が異なる画素であることにより発生する焦点検出誤差を、軽減することができる。

水平第３ラインは、水平第１ラインと同じアドレスに第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢを配置する。水平第４ラインは、水平第２ラインと同じアドレスに第１及び第２のＡＦ画素ＳＨＡ，ＳＨＢを配置する。水平第３ラインと水平第４ラインについても、水平第１ラインと水平第２ラインの関係と同様に、焦点検出用画素ＳＨＡとＳＨＢの位置が入れ替わっている。そのため、両ラインから得られた像波形を平均して最終的な像波形として位相差検出することで、焦点検出誤差を軽減することができる。あるいは両ラインで得られた位相差検出結果を平均してもよい。

次に、本実施形態における、垂直方向の位相差を検出するための第２の焦点検出用画素対ＶＣ，ＳＶＤの配置規則について説明する。
垂直第１ラインでは、第２の焦点検出用画素対の第１のＡＦ画素ＳＶＣをアドレス（５，４）に、第２のＡＦ画素ＳＶＤをアドレス（５，６）に配置する。これら焦点検出用画素ＳＶＣ，ＳＶＤは、画質の劣化を抑制するために、Ｂ画素やＲ画素のアドレスに配置する。また、第２の焦点検出用画素対ＳＶＣ，ＳＶＤは垂直方向のコントラストパターンに基づいて焦点検出を行なうため、垂直方向における位置はできる限り一致させるのが望ましい。さらに、上述したように、焦点検出用画素対を構成する第１のＡＦ画素ＳＶＣと第２のＡＦ画素ＳＶＤとの間隔は短い方ことが好ましい。

そこで、これらの条件をできるだけ満足するよう、第３の実施形態では、第２の焦点検出用画素対の第１及び第２のＡＦ画素ＳＶＣとＳＶＤを水平に配置して垂直方向の位置を一致させ、かつＢ画素を避けながら隣接させる。このような配置により、第１及び第２のＡＦ画素ＳＶＣ及びＳＶＤが異なる画素であることにより発生する焦点検出誤差を軽減している。

また、水平第１ラインと水平第２ラインの関係同様、垂直方向のみにコントラストパターンがある被写体（例えば横線）については、異なる画素で得られる像波形を用いて焦点検出することを要因とする焦点検出誤差は発生しない。しかし、例えば斜め４５°線を撮像した場合などには焦点検出誤差を生じる恐れがある。

そこで、第１及び第２の実施形態と同様、垂直第２ラインでは、垂直第１ラインに対して、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの配置を入れ替える。すなわち、垂直第２ラインでは、垂直方向の位相差検出用の第１の焦点検出用画素対における第１のＡＦ画素ＳＶＣを（５，６）に配置し、第２のＡＦ画素ＳＶＤを（５，４）に配置する。そして、垂直第１ラインから得られる像波形と垂直第２ラインから得られる像波形した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

また、第１の実施形態と同様、隣接する複数ラインの像波形を加算した加算像波形を求め、加算像波形の位相差も検出する。本実施形態についても、第１の実施形態において図１４を用いて説明した原理と同じ原理により、加算像信波形を用いて位相差検出することで、低輝度被写体に対する位相差検出誤差を軽減することができる。

本実施形態の撮像装置においても、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、低輝度被写体以外においては、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

また、第１の焦点検出用画素対と第２の焦点検出用画素対はいずれも水平方向、垂直方向とも同じピッチで正方配置するとともに、第１の焦点検出用画素対群と第２の焦点検出用画素対群とを縦横方向半ピッチずらして配置している。

具体的には、第１の焦点検出用画素対ＳＨＡ，ＳＨＢをアドレス（１，０）、（３，０）に配置した場合には、第２の焦点検出用画素対ＶＣ，ＳＶＤはアドレス（５，６）、（５，４）に配置する。これにより、焦点検出用画素が偏在することによる画質劣化を軽減することが可能である。

このようにして焦点検出用画素対を配置した撮像素子１０７を用いた撮像装置の焦点調節動作及び撮影動作は、第１の実施形態と同じでよいため、説明を省略する。

以上説明したように、第３の実施形態においても、撮像素子に含まれる画素の一部に瞳分割機能を有する焦点検出用画素対を配置する際に、画素対を形成する画素をＧ画素を避けて最も近接する様に配置する。これにより、より高解像度の輝度情報取得を目的としてＧ画素の比率を増やした画素配列を有する撮像素子を用いる場合であっても、画質の低下を抑制しながら、焦点検出誤差の発生確率を低下させることができる。

また、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。そして、隣接する２つの焦点検出用画素対から得られる像波形を平均した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

また、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、低輝度被写体以外においては、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について説明する。本実施形態に係る撮像装置は、撮像素子１０７における焦点検出用画素の配置を除き、第１の実施形態と同様であるので、以下、本実施形態に特徴的な焦点検出用画素の配置についてのみ説明する。

図２１は、本発明の第４の実施形態における焦点検出用画素対の配置例を、縦４ブロック、横４ブロックの１６ブロックについて示す図である。
第１及び第２の実施形態では、焦点検出用画素対を構成する第１及び第２のＡＦ画素は、常に−４５°の角度で隣接するように配置されていた。これに対し、第４の実施形態では、２ライン単位で、第１及び第２のＡＦ画素の並ぶ角度が変化するように焦点検出用画素対を配置することを特徴とする。

図２１を参照して、第１の焦点検出用画素対ＳＨＡ，ＳＨＢの配置規則について説明する。水平第１ラインでは、第１のＡＦ画素ＳＨＡをアドレス（１，０）に、第２のＡＦ画素ＳＨＢをアドレス（０，１）に配置する。そして、水平第２ラインでは、第１の実施形態や第２の実施形態と同様に、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢの配置を入れ替える。すなわち、第１のＡＦ画素ＳＨＡをアドレス（０，１）に、第２のＡＦ画素ＳＨＢをアドレス（１，０）に配置する。

そして、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

また、第１の実施形態と同様、隣接する複数ラインの像波形を加算した加算像波形を求め、加算像波形の位相差も検出する。本実施形態についても、第１の実施形態において図１４を用いて説明した原理と同じ原理により、加算像信波形を用いて位相差検出することで、低輝度被写体に対する位相差検出誤差を軽減することができる。

本実施形態の撮像装置においても、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、低輝度被写体以外においては、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

次に水平第３ラインでは、第１のＡＦ画素ＳＨＡをアドレス（２，１）に、第２のＡＦ画素ＳＨＢを（１，０）に配置する。つまり、水平第１ラインの配置を水平方向に反転した配置としている。これにより、水平第１ラインと水平第３ラインとで第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢの並ぶ角度が直交する。

なお、本実施形態においてもＧ画素には焦点検出用画素を配置しないようにしている。そのため、水平第３ラインは水平第１ラインと比較して、ブロックに対して１画素上にずれている。従って、本実施形態においては、第１の焦点検出用画素対の垂直方向のピッチは一定ではない。

水平第１ラインでは、−４５°の方向に第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが並んでいる。従って、４５°方向にコントラストパターンを有する被写体（例えば―４５°に傾いた線）に対しては、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが異なる画素であることによる焦点検出誤差は発生しない。しかし、−４５°方向にコントラストパターンを有する被写体（例えば４５°に傾いた線）に対しては、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが異なる画素であることによる焦点検出誤差はもっとも発生しやすくなる。

一方、水平第２ラインでは、４５°方向に第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが並んでいる。そのため、水平第１ラインと逆に、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢが異なる画素であることによる焦点検出誤差は、−４５°方向にコントラストパターンを有する被写体に対しては発生しない。しかし、４５°方向にコントラストパターンを有する被写体に対しては発生するおそれが最も高い。

つまり、水平第１ラインで焦点検出誤差が大きくなりやすい状況において、水平第３ラインでは焦点検出誤差は発生しにくい状況にある。また、逆に水平第３ラインで焦点検出誤差が大きくなりやすい状況において、水平第１ラインでは焦点検出誤差が発生しにくい状況にある。

そこで、撮像用画素から得られた被写体像の情報に基づいて、水平第１ラインと水平第３ラインのうち、焦点検出誤差が少ないと判断されるラインで得られる像波形を用いて焦点検出を行うことにより、焦点検出誤差を軽減することができる。

水平第４ラインについても同様に、水平第２ラインに対して、第１及び第２のＡＦ画素ＳＨＡ及びＳＨＢの並ぶ角度が直交するよう、第１のＡＦ画素ＳＨＡをアドレス（１，０）に、第２のＡＦ画素ＳＨＢを（２，１）に配置する。そして、撮像用画素から得られた被写体像の情報に基づいて、水平第２ラインと水平第４ラインのうち、焦点検出誤差が少ないと判断されるラインで得られる像波形を用いて焦点検出を行うことにより、焦点検出誤差を軽減することができる。

垂直方向の位相差検出用画素については、第１の実施形態や第２の実施形態と同様に、正方配置とする。
すなわち、垂直第１ライン及び垂直第３ラインでは、各ブロックにおいて、第２の焦点検出用画素対の第１のＡＦ画素ＳＶＣをアドレス（５，４）に配置し、第２のＡＦ画素ＳＶＤをアドレス（４，５）に配置する。

一方、垂直第２ライン及び垂直第４ラインでは、各ブロックにおいて、第１のＡＦ画素ＳＶＣをアドレス（４，５）に、第２のＡＦ画素ＳＶＤをアドレス（５，４）に配置する。つまり、垂直第１ライン及び垂直第３ラインに対して、第１のＡＦ画素ＳＶＣと第２のＡＦ画素ＳＶＤの配置を入れ替える。これにより、一対の焦点検出用画素を異なる画素で構成することにより発生する焦点検出誤差を、軽減することができる。

このようにして焦点検出用画素対を配置した撮像素子１０７を用いた撮像装置の焦点調節動作及び撮影動作は、位相差検出用の像波形を生成するＳ１３７（図１７）の動作以外は第１の実施形態と同じでよい。

位相差検出用の像波形を生成する際、ＣＰＵ１２１は、画像処理回路１２５を用いて撮像用画素から得られた被写体像の情報に基づいて、エッジの方向を検出する。そして、そのエッジが交差するラインのうち、第１及び第２のＡＦ画素の並ぶ方向が互いに直交するラインの組を検出する。そして、このラインの組のうち、エッジの方向と画素の並ぶ方向とが９０°に近いラインから得られる像波形を用いて位相差検出用の像波形を生成する。あるいは、ラインの組を検出せずに、単にエッジの方向に対して十分な信頼性を有すると考えられるラインから得られる像波形を用いるようにしてもよい。

以上説明したように、第４の実施形態では、第１の実施形態における焦点検出用画素配置において、第１及び第２のＡＦ画素の並ぶ方向が互いに直交したラインを設ける。そして、被写体像の情報に基づいてより信頼性が高いと判定されるラインで得られる像波形を用いて焦点検出を行うことにより、さらに焦点検出誤差の発生を抑制することができる。

〔第５の実施形態〕
次に、本発明の第５の実施形態について説明する。第１乃至第４の実施形態では、四角形状の画素が水平及び垂直方向に並んだ構成の撮像素子であった。これに対し、第５の実施形態では、八角形状の撮像用画素を４５度方向に傾けて配列した、いわゆるハニカム配列の撮像素子を用いる点が特徴である。

図２２は、本実施形態の撮像素子１０７における焦点検出用画素の配置例を示す図である。
本実施形態の撮像素子１０７では、４５度方向に傾いた２×２の４画素を一単位として、上下に２画素にＧ（緑色）の分光感度を有する画素を配置し、左右にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置している。

図２２においては、縦５ [pixel]×横１０[pixel]の領域をブロックとする。そして、各ブロックに、水平方向の位相差を検出するための第１の焦点検出用画素対ＳＨＡ，ＳＨＢと、垂直方向の位相差を検出するための第２の焦点検出用画素対ＳＶＣ，ＳＶＤの合計４画素を配置していく。

垂直方向一番上のブロック行の複数の第１の焦点検出用画素対ＳＨＡ，ＳＨＢを水平第１ライン、上から２番目を水平第２ライン、３番目を水平第３ライン、４番目を水平第４ラインとする。また、水平方向一番左のブロック列の複数の第２の焦点検出用画素対ＳＶＣ，ＳＨＤを垂直第１ライン、左から２番目を垂直第２ライン、３番目を垂直第３ライン、４番目を垂直第４ラインとする。

第１の焦点検出用画素対ＳＨＡ，ＳＨＢの配置規則について説明する。水平第１ライン及び水平第３ラインでは、第１のＡＦ画素ＳＨＡをアドレス（１，０）に配置し、第２のＡＦ画素ＳＨＢをアドレス（０，０）に配置する。

そして、水平第２及び４ラインでは、第１の実施形態や第２の実施形態と同様に、第１のＡＦ画素ＳＨＡと第２のＡＦ画素ＳＨＢの配置を入れ替える。すなわち、第１のＡＦ画素ＳＨＡをアドレス（０，０）に配置し、第２のＡＦ画素ＳＨＢをアドレス（１，０）に配置する。

焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対から得られる２組の像波形を平均した像波形の位相差を検出する。または、隣接する２ラインの各々で得られた位相差検出結果を平均して用いる。これにより、被写体像のエッジがＡＦ画素の境界に位置する際の像波形のずれを相殺することができ、焦点検出誤差の発生確率をさらに抑制することができる。

また、第１の実施形態と同様、隣接する複数ラインの像波形を加算した加算像波形を求め、加算像波形の位相差も検出する。本実施形態についても、第１の実施形態において図１４を用いて説明した原理と同じ原理により、加算像信波形を用いて位相差検出することで、低輝度被写体に対する位相差検出誤差を軽減することができる。

本実施形態の撮像装置においても、隣接する複数のラインの各々から得られる位相差検出結果の平均値と、加算像波形から検出した位相差の両方を算出し、低輝度被写体であれば加算像波形から検出した位相差を選択する。
これにより、低輝度被写体においてはノイズが位相差検出結果に与える影響を低減して精度の良い位相差検出結果を得ることができる。また、低輝度被写体以外においては、位相差検出方向に垂直な方向のコントラストパターンが存在する被写体に対する位相差検出誤差を抑制することができる。

このように、本実施形態においても、第１及び第２のＡＦ画素が隣接するように配置する。また、水平方向の位相差を検出するための第１の焦点検出用画素対の第１のＡＦ画素ＳＨＡ及び第２のＡＦ画素ＳＨＢを、水平方向における位置が等しくなるように配置する。さらには、Ｇ画素を避け、Ｒ画素及びＢ画素に配置する。

垂直方向の位相差を検出用するための第２の焦点検出用画素対ＳＶＣ，ＳＶＤについても、同様に説明する。垂直第１ライン及び垂直第３ラインでは、第１のＡＦ画素ＳＶＣをアドレス（３，４）に、第２のＡＦ画素ＳＶＤを（３，６）に配置する。そして、垂直第２ライン及び垂直第４ラインでは、第１及び第２のＡＦ画素の配置を入れ替える。すなわち、第１のＡＦ画素ＳＶＣをアドレス（３，６）に、第２のＡＦ画素ＳＶＤをアドレス（３，４）に配置する。

そして、水平第１ライン及び水平第３ラインから得られた像波形と、水平第２ライン及び水平第４ラインから得られた像波形を平均又は加算して、最終的に位相差検出に用いる像波形を生成する。

また、垂直第１ライン及び垂直第３ラインから得られた像波形と、垂直第２ライン及び垂直第４ラインから得られた像波形を平均又は加算して、最終的に位相差検出に用いる像波形を生成する。

このようにして焦点検出用画素対を配置した撮像素子１０７を用いた撮像装置の焦点調節動作及び撮影動作は、第１の実施形態と同じでよいため、説明を省略する。
以上説明したように、ハニカム配列を有する撮像素子に対しても本発明は適用可能であり、第１の実施形態と同様の効果を得ることができる。

すなわち、撮像素子に含まれる画素の一部に瞳分割機能を有する焦点検出用画素対を配置する際に、画素対を形成する画素を隣接する様に配置することで、焦点検出誤差の発生確率を低下させることができる。さらに、隣接するＲ画素とＢ画素に画素対を配置することで、Ｇ画素に配置した場合と比較して画質に対する影響も抑制することができる。

また、焦点検出用画素対を構成する第１及び第２のＡＦ画素の位相差検出の方向における位置が等しく、位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、第１及び第２のＡＦ画素が入れ替わるように配置する。そして、隣接する２つの焦点検出用画素対から得られる像波形を平均又は加算して用いることにより、さらに焦点検出誤差の発生確率を抑制することができる。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示す図である。 本発明の第１の実施形態における撮像素子の回路構成例を概略的に示す図である。 本発明の第１の実施形態における撮像素子の垂直方向の２画素の断面図と、周辺回路とを示す図である。 本発明の第１の実施形態における撮像素子の駆動タイミングチャートである。 本発明の第１の実施形態における撮像素子における撮像用画素の配置と構造の例を示す図である。 本発明の第１の実施形態において、撮影レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素（ＡＦ画素）の配置と構造の例を示す。 本発明の第１の実施形態において、撮影レンズの垂直方向（縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造の例を示す。 本発明の第１の実施形態における瞳分割を概念的に説明する図である。 本発明の第１の実施形態のデジタルカメラにおいて、焦点検出時に取得した画像と焦点検出領域の例を模式的に説明する図である。 本発明の第１の実施形態における焦点検出用画素対の配列規則の例を説明するための図である。 第１の焦点検出用画素対ＳＨＡ，ＳＨＢが、異なる画素で構成されることにより生じるＡ像波形とＢ像波形のずれについて説明する図である。 第１の焦点検出用画素対ＳＨＡ，ＳＨＢが、異なる画素で構成されることにより生じるＡ像波形とＢ像波形のずれについて説明する図である。 本発明の第１の実施形態における第１の焦点検出用画素対ＳＨＡ，ＳＨＢの配置例を、縦４ブロック、横４ブロックの１６ブロックについて示す図である。 図１３に示すように配置した焦点検出用画素対に対し、図１１と同様に模様をずらしながら適用した場合に得られるＡ像波形及びＢ像波形を示す図である。 本発明の第１の実施形態の撮像素子における、焦点検出用画素の配置規則について説明する図である。 本発明の第１の実施形態に係るデジタルカメラの全体的な動作を説明するためのフローチャートである。 本発明の第１の実施形態に係るデジタルカメラにおける焦点検出処理の詳細を説明するためのフローチャートである。 本発明の第１の実施形態に係るデジタルカメラにおける撮像処理の詳細を説明するためのフローチャートである。 本発明の第２の実施形態の撮像素子における、焦点検出用画素の配置規則について説明する図である。 本発明の第３の実施形態の撮像素子における、焦点検出用画素の配置規則について説明する図である。 本発明の第４の実施形態の撮像素子における、焦点検出用画素の配置規則について説明する図である。 本発明の第５の実施形態の撮像素子における、焦点検出用画素の配置規則について説明する図である。 位相差検出方向と垂直な方向にコントラストパターンが存在する模様を有する被写体が結蔵した状態の例を示す図である。 図２３のような模様の被写体像から第１の焦点検出用画素対ＳＨＡ，ＳＨＢで得られるＡＢ像波形を示す図である。 図２４で示した水平第１〜第４ラインのＡ像波形とＢ像波形をそれぞれ加算して得られる加算像波形を示す図である。 図１６における相関演算ステップの詳細の一例を示すフローチャートである。

Claims (8)

1. 被写体像を光電変換する複数の画素を備えた撮像素子であって、第１の焦点検出用画素と第２の焦点検出用画素から構成され、位相差検出により焦点検出を行うための焦点検出用画素対が前記複数の画素の中に複数、所定のピッチで分散して配置された撮像素子と、
   複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の像波形と、前記第２の焦点検出用画素から得られる第２の像波形との位相差から、前記被写体像を形成するレンズの焦点状態を検出する検出手段とを有する撮像装置であって、
   前記複数の焦点検出用画素対のうち、前記位相差検出の方向と直交する方向に隣接する２つの焦点検出用画素対では、前記第１の焦点検出用画素と前記第２の焦点検出用画素の配置が入れ替わっており、
   前記検出手段は、
   前記配置の入れ替わった複数の焦点検出用画素対から得られる複数の前記第１および前記第２の像波形の位相差の平均値と、
   前記配置の入れ替わった複数の焦点検出用画素対から得られる複数の前記第１の像波形の加算像波形および複数の前記第２の像波形の加算像波形の位相差を求める位相差検出手段を有し、
   前記第１の像波形および前記第２の像波形を生成する信号に基づいて、前記被写体像に含まれるノイズが大きいと判断される場合には前記加算像波形の位相差を、前記被写体像に含まれるノイズが大きいと判断されない場合には前記位相差の平均値を用いて、前記レンズの焦点状態を検出することを特徴とする撮像装置。
2. 前記検出手段は、前記第１の像波形および前記第２の像波形を生成する信号に基づいて前記被写体像の輝度が予め定めた閾値よりも低いと判断される場合には前記加算像波形の位相差を、前記被写体像の輝度が前記閾値以上と判断される場合には前記位相差の平均値を用いて、前記レンズの焦点状態を検出することを特徴とする請求項１記載の撮像装置。
3. 前記位相差検出手段は、前記第１および前記第２の像波形の各対の位相差を平均することにより前記位相差の平均値を求めることを特徴とする請求項１記載の撮像装置。
4. 前記位相差検出手段は、前記複数の前記第１および前記第２の像波形のうち、同種の像波形を平均した平均像波形の位相差を求めることにより前記位相差の平均値を求めることを特徴とする請求項１記載の撮像装置。
5. 前記検出手段が、前記被写体像の輝度を、前記第１および第２の像波形の信号レベルに基づいて算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記焦点検出用画素対を構成する第１の焦点検出用画素と第２の焦点検出用画素とが、前記位相差検出の方向に前記所定のピッチよりも狭い間隔で配置されることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 少なくとも緑色を含む複数の色が規則的に配置され、画素単位で前記撮像素子に入射する光の波長を制限するカラーフィルタを有し、
   前記焦点検出用画素対を構成する前記第１の焦点検出用画素と前記第２の焦点検出用画素が、前記カラーフィルタの緑色以外が配置される複数の画素の中で隣接するように配置されることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 前記複数の焦点検出用画素対は、
   前記撮像素子の水平方向に開口が偏倚した第１の焦点検出用画素と第２の焦点検出用画素からなる第１の焦点検出用画素対と、
   前記撮像素子の垂直方向に開口が偏倚した第１の焦点検出用画素と第２の焦点検出用画素からなる第２の焦点検出用画素対との少なくとも一方を含むことを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。