JP6338436B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関するものである。

従来、撮像装置の自動焦点検出及び自動焦点調節において、撮影レンズを通過した光束を用いる一般的な方式として、コントラスト検出方式が知られている。この方式は撮像素子を焦点検出用センサとして用いるもので、撮像素子の出力信号を評価して、そのコントラスト情報が最大となるように撮影レンズの位置を動かすことで焦点調節が可能となる。

しかしながら、撮影レンズを動かしてはコントラスト情報を評価する必要があるとともに、その評価結果としてコントラストが最大であったことが分かった後に、再度コントラスト最大の位置に撮影レンズを移動させるため、時間を要する。従って、高速な動作は困難であった。

このような欠点を改善するために撮像素子に位相差検出機能を組み込むことで、撮像素子を焦点検出素子として用いながら、なおかつ撮影レンズのピントずれ量を直接求めることを可能とする技術が提案されている。

例えば特許文献１では、撮像素子の一部の受光素子に、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を持たせている。これらの画素を撮像素子中に所定の間隔で配置させることで位相差検出機能を実現している。

また、例えば特許文献２では、撮像素子の一つのマイクロレンズに対応する各画素にＡ画素、Ｂ画素という複数の光電変換素子を設け、Ａ画素出力とＡ＋Ｂ画素出力を読み出している。この２つの出力を減算処理することでＢ画素出力を求め、位相差検出機能を実現している。

特開２０１０−２１９９５８号公報 特開２０１３−１０６１９４号公報

特許文献１の実施例中には、いわゆるローリングシャッタ駆動におけるリセットラインを通常画素行と位相差検出画素を含む行とでそれぞれ独立に走査する案が開示されている。この場合、位相差検出画素を含む行において、同一行内に配置された位相差検出画素と通常画素とで、撮像素子内部での信号の読み出し方法は変わらない。

位相差検出画素は撮像信号としては使用できないため、通常画像を取得する目的では欠陥画素として扱われ、周辺画素から補間処理を行う必要があり、位相差検出画素の配置割合を極端に大きくすることは困難である。そのため、位相差検出画素を含まない場合と同じ読み出し回路構成で実現可能ではあるが、位相差検出のための分解能は低くなる。

一方で上述の特許文献２に開示された従来技術では、すべての画素を複数の光電変換素子で形成することで、すべての画素が位相差検出素子として利用可能となるため、水平方向の分解能も向上する。しかしながら、すべての画素の複数の光電変換素子からＡ＋Ｂ信号とＡ信号を読み出すために、撮像素子はＡ＋Ｂ画素とＡ画素をそれぞれ読み出すための読み出し回路が必要となる。特に、撮像素子内で比較的大きな面積を必要とする保持容量を２倍必要とすること、また制御線も複雑となることから、撮像素子周辺部の回路面積の増大が懸念される。

また、特許文献２に示すように、すべての撮像素子の撮像画素が複数の光電変換素子手段から形成される撮像素子では、周辺読み出し回路における回路構成が複雑となり、とくに保持容量といった面積的に比較的大きな回路素子が必要となる。

さらにシステム全体としてＡ＋Ｂ信号からＡ信号を減算しＢ信号を算出する仕組みが必要であり、回路規模の大きさ、コストが課題であった。また、Ａ＋Ｂ信号とＡ（またはＢ）信号を読み出すためには、単純に画素数が２倍になったことと等価であるため、読み出し時間が２倍必要となる。このように、列回路への書き込み時間が増加し、水平転送時間が単純に２倍となるため、高速読み出しが困難となる課題が生じる。

なお、すべての画素からＡ＋Ｂ信号と、Ａ信号の両方を読み出すことをせず、特定の行のみＡ＋Ｂ信号と、Ａ信号の両方を読み出そうとすると、特定行のみ水平転送時間が長くなる。しかしながら、特定行のみ水平同期の周期を変えることはシステムとしての負荷が非常に大きい。

本発明は上記問題点を鑑みてなされたものであり、撮像素子の回路規模、コスト及び読み出し時間を増大することなく、画像の画質を落とさずに、位相差検出に十分な精度で必要な画素信号を読み出すことを目的とする。

上記目的を達成するために、本発明の撮像装置は、各々が第１の光電変換部及び第２の光電変換部を有する複数の画素部が行列状に配列された画素領域と、前記画素領域から読み出した信号を保持するための列毎に配置された保持手段とを含む撮像素子と、複数行ずつ間引きながら、前記第１の光電変換部及び前記第２の光電変換部の信号を画素部毎に合成して前記保持手段に読み出す第１の駆動方法と、前記間引かれた複数行毎にいずれかの行で前記第１の光電変換部から信号を前記保持手段に読み出し、前記間引かれた複数行毎の別の行で前記第２の光電変換部から信号を前記保持手段に読み出す第２の駆動方法とにより前記撮像素子を駆動する駆動手段とを有し、前記駆動手段は、前記撮像素子から１フレーム分の信号を読み出して位相差検出を行う場合に、前記第１の駆動方法による第１の走査と前記第２の駆動方法による第２の走査とを連続して行い、前記撮像素子を駆動する。

撮像素子の回路規模、コスト及び読み出し時間を増大することなく、画像の画質を落とさずに、位相差検出に十分な精度で必要な画素信号を読み出すことができる。

本発明の実施形態における撮像装置の構成を示すブロック図。 本実施形態における撮像装置の概略構成を示す側断面図。 本実施形態におけるＤＳＰ内部の機能を示すブロック図。 本実施形態における撮像素子の回路図。 本実施形態における撮像素子の単位画素の回路図。 本実施形態における撮像素子の単位画素の平面図。 第１の実施形態における位相差検出を行わない場合の撮像素子の駆動を示すタイミングチャート。 第１の実施形態における撮像素子の読み出し方法を説明するための模式図。 第１の実施形態における位相差検出を行う場合の撮像素子の駆動を示すタイミングチャート。 第１の実施形態における撮像装置の撮影動作を示すフローチャート。 第１の実施形態における静止画撮影処理を示すフローチャート。 第１の実施形態における動画撮影処理を示すフローチャート。 第２の実施形態における撮像素子の読み出し方法を説明するための模式図。 任意の画素毎にＡ画素、Ｂ画素を切り替えることが可能な撮像素子の単位画素の回路図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の第１の実施形態にかかる撮像装置のブロック図である。撮像素子１０１は、ＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路を内蔵している。アナログフロントエンド（ＡＦＥ）１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、また、ダークオフセットレベルをクランプする機能を有している。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０３は、ＡＦＥ１０２から出力されたデータ信号に対して、各種の補正処理、現像処理、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＡＭ１０７上の画像データに対して各種の補正処理を行うことも可能である。更に、ＤＳＰ１０３は、撮像素子１０１で発生する各種ノイズの補正処理、欠陥画素の検出及び欠陥画素と位相差検出用画素からの出力の補正処理、位相差検出用画素の周辺画素に対する補正処理等を行う。また、ＤＳＰ１０３は、位相差検出用画素からの出力を用いてオートフォーカス情報を算出する演算処理も行う。なお、これらの処理についての詳細は後述する。

また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリに対するアクセス処理、記録媒体１０８への画像データの書き込み処理、表示部１１４に対する各種データの表示処理等を行う。なお、本第１の実施形態ではアナログ出力のＣＭＯＳ型撮像素子１０１とＡＦＥ１０２の組み合わせからなる例を示しているが、デジタル出力タイプのＣＭＯＳ型撮像素子を用い、ＤＳＰ１０３に直接接続するものであっても構わない。

タイミング発生回路１０４は、ＣＰＵ１０５の制御の下、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働して、撮像素子１０１の各種読出しモードに対応したタイミング信号を生成する。

ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御、並びに測光、焦点調節等のカメラ機能の制御を行う。焦点調節では、撮像素子１０１とは別に構成された位相差ＡＦを行うための不図示の撮像素子の出力を用いたＡＦや、撮像素子１０１に組み込まれた位相差検出用画素の出力を用いて演算されるオートフォーカス情報を用いたＡＦ等を行うことができる。

ＣＰＵ１０５には、電源スイッチ１０９、第１段目のシャッタスイッチＳＷ１（１１０）、第２段目のシャッタスイッチＳＷ２（１１１）、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３等の各種スイッチが接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。

ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行するプログラム、及び各種の補正用データ等を記憶しており、一般的にはフラッシュメモリにより構成されている。ＲＡＭ１０７は、ＲＯＭ１０６よりも高速にアクセスできるように構成されている。ＲＡＭ１０７は、ワークエリアとして利用され、ＤＳＰ１０３により処理される画像データ等を一時的に記憶する。記録媒体１０８としては、例えば撮影された画像データを保存するメモリカード等が用いられ、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。ＬＣＤ等により構成される表示部１１４は、撮像装置の情報を表示したり、撮影した画像を再生表示したり、或いは動画像データを表示するために用いられる。

電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。不図示のレリーズボタンを操作することにより第１段目のシャッタスイッチＳＷ１（１１０）がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。更に、第２段目のシャッタスイッチＳＷ２（１１１）がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書込む一連の撮像動作が開始される。モードダイアル１１２は、撮像装置の各種の動作モードを設定するために用いられる。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために用いられる。

図２は図１に示す撮像装置の概略構成を示す側断面図である。この撮像装置においては静止画を撮影する光学ファインダー使用時の状態と、動画撮影あるいはライブビュー使用時のミラーアップ、シャッタ開状態がある。光学ファインダー使用時の状態を図２（ａ）に、動画撮影及びライブビュー時のミラーアップ、シャッタ開状態を図２（ｂ）に示す。

図２に示すように、第１の実施形態における撮像装置は、主に、カメラ本体２０１と、その前面に装着された撮影レンズ２０２とからなる。撮影レンズ２０２は交換可能であり、カメラ本体２０１と撮影レンズ２０２はマウント接点群２０３を介して電気的に接続される。

撮影レンズ２０２には、絞り２０４、焦点調整用レンズ群２０５等が配置されており、いずれもレンズ制御部２０６により制御される。

カメラ本体２０１は、ハーフミラーであるメインミラー２０７を有し、図２（ａ）に示す光学ファインダー使用時の状態では、撮影光路上に斜設されて撮影レンズ２０２からの光をファインダー光学系へ反射する。反射光はピント板２１１に投影され、撮影者は光路変更用のペンタプリズム２１２、接眼レンズ群２１３を介して、ピント板２１１に投影された被写体像を確認することができる。

一方、メインミラー２０７を透過した一部の光はサブミラー２０８を介してＡＦユニット２０９に入射する。ＡＦユニット２０９は位相差検出方式のＡＦセンサである。位相差ＡＦについては詳細な説明は省略するが、この検出結果を基に、撮影レンズ２０２の焦点調整用レンズ群２０５を制御することでＡＦ動作を行う。

不図示のレリーズボタンに連動し、半押しでオンするＳＷ１（１１０）によりＡＥやＡＦ等の撮影準備動作が行われる。全押しでオンするＳＷ２（１１１）がＯＮすると、図２（ｂ）に示すように、メインミラー２０７及びサブミラー２０８が光路から退避するよう動作し、その後フォーカルプレーンシャッタ２１０が所定時間開いて、撮像素子１０１が露光されることとなる。なお、フォーカルプレーンシャッタ２１０は図２（ａ）に示すように通常閉状態であり、撮影時のみ指定された秒時の露光を行うよう開動作を行う。

また、モードダイアル１１２によりモードが切り替えられ、例えばライブビュー状態になると、ＳＷ２がＯＮした時の静止画撮影時と同様に、図２（ｂ）に示すように、メインミラー２０７及びサブミラー２０８が光路から退避し、その状態が保持される。さらにフォーカルプレーンシャッタ２１０も開状態を保持し、撮像素子１０１が常時露光された状態となる。そして、撮像素子１０１から得られた信号を表示部１１４に表示することでライブビューモードが実現される。また、この状態で動画像を記録することで、動画モードに対応できる。

この場合、サブミラー２０８も光路から退避しているため、ＡＦユニット２０９へ被写体像が入射しないため、ＡＦユニット２０９を用いた位相差ＡＦは不可能となる。またメインミラー２０７も光路から退避しているため、光学ファインダーを用いて被写体像を確認することもできない。

次に図３を参照して、ＤＳＰ１０３の構成について説明する。ＤＳＰ１０３は先に説明した画像処理の基本となる現像部１００１、圧縮部１００２のほかにメモリ制御部１００３、記録媒体制御部１００４、ＬＣＤ表示制御部１００５がある。さらに、後述する位相差検出用画素の出力からオートフォーカス情報を算出するＡＦ部１００６、算出したオートフォーカス情報をＣＰＵ１０５に送信したり、全般的にＣＰＵ１０５と双方向の通信を行う通信制御部１００７がある。

また、画像生成を行う際に撮像素子１０１が有する理想状態からの感度や、ダークレベルの誤差をデジタル的に補正するための画像補正部１００８、更に、ＡＦ用補正部１００９を有する。ＡＦ用補正部１００９は、位相差検出用画素の出力からオートフォーカス情報を算出するために、ＡＦ部１００６にデータを送出する前に、光学条件の補正をデジタル的に行う。光学条件の補正としては、例えば、位相差検出用画素の理想状態からの感度や、ダークレベルの誤差の補正や、撮影時の撮影レンズ２０２の焦点距離や絞り値などの補正を含む。

次に、撮像素子１０１の画素構造について説明する。図４は本第１の実施形態における撮像素子１０１の構成の一例を示す等価回路図である。画素領域には複数の光電変換部を含む単位画素が、水平及び垂直方向に等間隔で行列状に配列されている。

ここで単位画素の構成について説明する。図５は撮像素子１０１の第ｎ行目の単位画素の構成を説明するための等価回路図、図６は単位画素の平面図である。図５及び図６において、光電変換部５０１（第１の光電変換部）及び、光電変換部５０２（第２の光電変換部）はフォトダイオードにより構成される。光電変換部５０１及び５０２は単位画素上部に配置された一つのマイクロレンズ６０１に対応する領域内部に２つに分割されて配置されており、便宜的に光電変換部５０１をＡ画素、光電変換部５０２をＢ画素と呼ぶこととする。マイクロレンズ６０１は点線で示した画素ピッチに接するように形成されている。

マイクロレンズ６０１に対してオフセットして配置されていることから、Ａ画素とＢ画素は分割された瞳領域を透過した被写体像を光電変換することとなり、Ａ画素出力、Ｂ画素出力を読み出すことで位相差検出が可能となり、焦点検出動作が可能となる。即ち、Ａ画素及びＢ画素が位相差検出用画素である。

光電変換部５０１及び５０２で発生した電荷は、それぞれ転送トランジスタ５０７、５０８を介してフローティングディフュージョン（ＦＤ）部５０３に転送される。ＦＤ部５０３は増幅トランジスタ５０４のゲートに接続され、画素アンプを構成すると共に、電荷電圧変換部としても機能する。

各転送トランジスタ５０７、５０８は垂直走査回路５２０から制御線５１２に出力される制御信号φＴＸＡ＿ｎ、及び、制御線５１３に出力される制御信号φＴＸＢ＿ｎにより制御される。転送トランジスタ５０７、５０８は、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎがＨのときオン、Ｌのときオフとなる。なお、各制御信号におけるｎは行を示しており、例えば、制御信号φＴＸＡ＿ｎは、第ｎ行目の単位画素に対して出力する制御信号φＴＸＡであることを表している。

また垂直走査回路５２０より出力される制御線５１１に出力される制御信号φＲＥＳ＿ｎをＨとすることで、リセットトランジスタ５０５がオンとなり、ＦＤ部５０３をリセットすることができる。また、制御信号φＴＸＡ＿ｎ及びφＴＸＢ＿ｎがＨの期間の光電変換部５０１、５０２の電荷をリセットすることができる。

垂直走査回路５２０より出力される制御線５１０に出力される制御信号φＳＥＬ＿ｎがＨになると、選択トランジスタ５０６がオンとなり、増幅トランジスタ５０４の出力が垂直出力線５０９に現れる。垂直出力線５０９には不図示の定電流源が接続され、この垂直出力線５０９に接続された列ごとの増幅トランジスタ５０４とからソースフォロワ回路を構成することとなる。

図４は、上述した単位画素が水平方向に４画素、垂直方向に２画素配置された場合を示す模式図である。なお、実際の撮像素子では、このような画素が数十万から数千万画素程度、配置されている。図４では各単位画素のマイクロレンズ６０１と、その下のＡ画素、Ｂ画素を模式的に示している。各単位画素は列毎に垂直出力線５０９に接続されている。

垂直出力線５０９は各列に用意された列アンプ４０１に接続する。この列アンプ４０１は各垂直出力線５０９の出力に入力容量Ｃ０と帰還容量Ｃfにより定まる所定のゲインを乗じて、後段のフォロワ４０４に出力する。フォロワ４０４はこの出力をアナログスイッチ４０５または４０６を介して、ノイズ成分保持容量ＣＴｋＮまたは信号成分保持容量ＣＴｋＳに出力する。なお、ｋは、図４に示す例では列を表し、k＝１〜４である。アナログスイッチ４０５、４０６は制御信号φＴＳ４０９またはφＴＮ４１０により制御される。

列毎に第ｎ行目の画素のノイズ成分と信号成分を保持した保持容量ＣＴｋＮ、ＣＴｋＳは、不図示の水平走査回路によって出力アンプ４１１の入力に順次接続される。例えば保持容量ＣＴ１Ｎ、ＣＴ１Ｓが出力アンプ４１１に接続されると、出力アンプ４１１は１列目の電圧の差分に対して所定ゲインを乗じて撮像素子１０１の外部へ出力する。水平走査回路により次の時刻に保持容量ＣＴ３Ｎ、ＣＴ３Ｓが出力アンプ４１１に接続され、これを１行の列数分だけ繰り返し一行分の水平走査動作を終える。この動作を撮像素子１０１の特定行の選択動作を順次垂直方向に進めることで、撮像素子１０１の所定の画素の出力を得ることが可能となる。

また、このときに各単位画素のＡ画素とＢ画素の両方の出力を同時に転送すると、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。

特許文献２の撮像素子とは異なり、第１の実施形態の列回路ではＡ＋Ｂ信号またはＡ信号、またはＢ信号のいずれかを読み出すための１対の保持容量ＣＴｋＮ、ＣＴｋＳしか必要としない。すなわち、第１の実施形態の列回路においては、列回路は、位相差検出のために光電変換素子を分離しない、位相差検出を行わない通常の撮像素子のものと同じ回路構成である。

●位相差検出を伴わない場合
まず、位相差検出を行わない場合の動作（第３の駆動方法）について、図７に示すタイミングチャートに従って説明する。図７において、時刻ｔ１で水平同期信号ＨＤが入力されると、所定時間後の時刻ｔ２に第ｎ行目の画素群を選択するφＳＥＬ＿ｎがＨとなり、第ｎ行目の画素の選択トランジスタ５０６がＯＮとなる。これにより、増幅トランジスタ５０４の入力に応じた信号が、垂直出力線５０９に現れる。

同時に第ｎ行目の画素のリセット信号φＲＥＳ＿ｎがＨとなり、第ｎ行目の画素のリセットトランジスタ５０５をオンする。その後、所定時間後の時刻ｔ３でリセット信号φＲＥＳ＿ｎをＬとし、リセット動作を解除する。すると垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。

時刻ｔ３で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１により増幅された信号が、ノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ４で制御信号φＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ５で第ｎ行目の画素のＡ画素及びＢ画素それぞれの転送トランジスタ５０７、５０８をオンにすべく、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎをＨとする。この動作によりＡ画素及びＢ画素の信号電荷が、共にＦＤ部５０３へ転送される。

所定時間後の時刻ｔ６で制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎをＬにして転送トランジスタ５０７、５０８をオフにし、更に、制御信号φＴＳがＨになる。これにより、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１により増幅された信号が、信号成分保持容量ＣＴｋＳに現れる。そして、時刻ｔ７で制御信号φＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまでで第ｎ行目の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分を所定ゲインを乗じて出力することで第ｎ行目のＡ画素＋Ｂ画素の信号（合成信号）の読み出しを完了する。位相差検出が不要な場合はこれまで説明した読み出し動作を行うことで実現できる。

上述した駆動方法の概念を図８（ａ）に示す。図８（ａ）において、撮像素子１０１の画素部を示す図である。図中の斜め斜線部は遮光されたオプティカルブラック部（ＯＢ部）を示している。先に説明したように、位相差検出を行わない場合には、画素部を構成するすべての画素から、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。

●位相差検出を伴う場合
次に位相差検出動作を行う場合の動作について説明する。第１の実施形態で位相差検出動作を行う場合には、垂直方向に所定行数（複数行）ずつ間引きながら、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。そして、全面（第１の領域）を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は先に読み出さなかった行のみを再度走査する垂直方向走査を行う。１度目の走査時は対象行の画素から合成信号を読み出し、２度目の走査時には対象行の画素のＡ画素またはＢ画素から信号（位相差検出用信号）を読み出す。そして、読み出した位相差検出用信号を用いて位相差検出を行う。このような読み出し方法は動画モード時に好適であるため、第１の実施形態でも動画モードでの適用を想定して説明する。

垂直方向の間引き読み出しを行う場合の読み出し行の模式図を図８（ｂ）に示す。図８（ｂ）において、太枠で囲まれた行が読み出し対象行であり、太枠になっていない部分は読み出し時に間引かれる行である。図８（ｂ）に示す例では、Ｖ１行目のＡ画素及びＢ画素から合成信号を読み出した後、垂直走査回路５２０は３行後のＶ２行目から合成信号を読み出す。引き続き同じ間引き率でＶ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７行から合成信号を読み出す。ここまでの読み出しを、以下、第１の走査方法（第１の駆動方法）と呼ぶ。第１の走査方法により読み出される行は、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することとなり、同じ間引き率で読み出したＶ１〜Ｖ７行目の合成信号から、画像データを生成することが可能となる。

なお、第１の実施形態では水平方向には間引きせずに読み出しを行っているため、水平方向と垂直方向の読み出し画素数が異なり、画像の縦横比が異なってしまう。しかしながら後段で縦横比の変換を行ってもよいし、水平方向も同じ比率で一般的な間引き読み出し、あるいは加算間引き読み出しを行ってもよく、任意の方法で縦横比の変換が可能である。

Ｖ７行目まで第１の走査方法で読み出した後、垂直走査回路５２０はＶ８行目まで戻り、Ｖ８行目に含まれる画素のうち、Ａ画素から位相差検出用信号を読み出す。その後、Ｖ８行の次の行であるＶ９行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後すでに第１の走査方法で読み出しているＶ４行目をスキップし、Ｖ１０行目のＡ画素及び次のＶ１１行目のＢ画素を読み出す。同様にすでに第１の走査方法で読み出しているＶ５行目をスキップし、Ｖ１２行目及び次のＶ１３行目を読み出す。Ｖ８以降の駆動方法をここでは第２の走査方法（第２の駆動方法）と呼ぶ。このように、第２の走査方法では、２行連続で読み出す行の組の内、最初に読み出す行ではＡ画素の信号のみを読み出し、後で読み出す行ではＢ画素の信号のみを読み出す。なお、第２の走査方法で読み出す領域（第２の領域）は、焦点状態を検出するために予め設定された焦点検出領域を含む、第１の走査方法で読み出す領域（第１の領域）よりも狭い領域である。焦点検出領域は、不図示の操作部によりユーザが所望の領域を指定しても良いし、被写体検出等による公知の方法により自動的に設定しても良いし、あるいは、固定の領域であっても良い。第２の走査方法では焦点検出用信号を読み出すことが目的であるため、第２の領域は焦点検出領域を含む最も狭い領域とすることが好ましい。

こうして読み出した順序に従って処理される順序に画素配置を並べ替えると、図８（ｃ）に示す模式図のようになる。先に説明したように、Ｖ１〜Ｖ７行目は第１の走査方法によりＡ画素及びＢ画素から合成信号を読み出しているため、この出力を用いて通常の画像生成が可能である。Ｖ８〜Ｖ１３行目は第２の走査方法によりＡ画素またはＢ画素から焦点検出用信号を読み出しているため、この２行毎に得られるペアのＡ画素出力とＢ画素出力を用いて位相差検出が可能である。

この場合の位相差検出の方法としては、撮像素子１０１がベイヤー配列のカラーフィルタが形成されている場合、２行連続で読み出す行の組のうち、最初にＡ画素から読み出す行のＧ画素信号と、後でＢ画素から読み出す行のＧ画素信号の相関を算出する。

次に、第１の走査方法による駆動について図９に示すタイミングチャートを参照して説明する。ここでは、第１の走査方法で読み出す最終行のＶ７行目からの読み出し動作について説明する。図９において、時刻ｔ１で水平同期信号ＨＤが入力されると、所定時間後の時刻ｔ２にＶ７行目の画素群を選択するφＳＥＬ＿Ｖ７がＨとなり、Ｖ７行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ７行目の画素のリセット信号φＲＥＳ＿Ｖ７がＨとなり、Ｖ７行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ３でリセット信号φＲＥＳ＿Ｖ７をＬとし、リセット動作を解除する。すると垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ３で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ４で制御信号φＴＮ４１０をＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ５でＶ７行目のＡ画素及びＢ画素それぞれの転送トランジスタ５０７、５０８をオンにすべく、制御信号φＴＸＡ＿Ｖ７、φＴＸＢ＿Ｖ７をＨとする。この動作によりＡ画素及びＢ画素の信号電荷がともにＦＤ部５０３に転送される。さらに所定時間後の時刻ｔ６で転送トランジスタ５０７、５０８をオフにすると、Ａ画素及びＢ画素の信号電荷がともにＦＤ部５０３にホールドされる。さらに時刻ｔ６で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ７で制御信号φＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ７行目の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分を所定ゲインを乗じて出力することでＶ７行目の合成信号の読み出しを完了する。ここではＶ７行目の動作を説明したがＶ１〜Ｖ６行での動作も同様である。

次に時刻ｔ９で次の水平同期信号ＨＤ信号が入力すると、それまで第Ｖ７行目を選択していたφＳＥＬ＿Ｖ７がＬとなる。そして所定時間後の時刻ｔ１０にＶ８行目の画素群を選択するφＳＥＬ＿Ｖ８がＨとなり、Ｖ８行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ８行目の画素のリセット信号φＲＥＳ＿Ｖ８がＨとなり、Ｖ８行目の画素のリセットトランジスタ５０５をオンする。

その後、所定時間後の時刻ｔ１１でリセット信号φＲＥＳ＿Ｖ８をＬとし、リセット動作を解除する。すると、垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ１１で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ１２で制御信号φＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ１３でＶ８行目の画素のＡ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＡ＿Ｖ８をＨ、φＴＸＢ＿Ｖ８をＬとする。この動作によりＡ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに所定時間後の時刻ｔ１４で転送トランジスタ５０７をオフにすると、この動作によりＡ画素のみの信号電荷がＦＤ部５０３にホールドされることとなる。さらに時刻ｔ１４で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ（４０１）で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ１５で制御信号φＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ８行の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分を所定ゲインを乗じて出力することでＶ８行目のＡ画素のみの信号読み出しを完了する。

次に時刻ｔ１７で次の水平同期信号ＨＤ信号が入力すると、それまでＶ８行目を選択していたφＳＥＬ＿Ｖ８がＬとなる。そして所定時間後の時刻ｔ１８にＶ９行目の画素群を選択するφＳＥＬ＿Ｖ９がＨとなり、Ｖ９行目の画素の選択トランジスタ５０６がＯＮとなる。これにより増幅トランジスタ５０４の入力に応じた信号が垂直出力線５０９に現れる。同時にＶ９行目の画素のリセット信号φＲＥＳ＿Ｖ９がＨとなり、Ｖ９行目の画素のリセットトランジスタ５０５をオンする。その後、所定時間後の時刻ｔ１９でリセット信号φＲＥＳ＿Ｖ９をＬとし、リセット動作を解除する。すると垂直出力線５０９にはリセット解除した状態での信号レベルが現れる。時刻ｔ１９で同時に制御信号φＴＮがＨとなり、リセット解除時の垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号がノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ２０でφＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされることとなる。

次に時刻ｔ２１でＶ９行目の画素のＢ画素のみの転送トランジスタ５０７をオンにすべく、制御信号φＴＸＡ＿Ｖ９をＬ、φＴＸＢ＿Ｖ９をＨとする。さらに所定時間後の時刻ｔ２２で制御信号φＴＸＢ＿Ｖ９をＬにし、転送トランジスタ５０７をオフにすると、この動作によりＢ画素のみの信号電荷がＦＤ部５０３へ転送される。さらに時刻ｔ２２で制御信号φＴＳがＨになると、信号電荷に応じた垂直出力線５０９の信号レベルが列アンプ４０１で増幅された信号が信号成分保持容量ＣＴｋＳに現れる。時刻ｔ２３で制御信号φＴＳをLにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされることとなる。

ここまででＶ９行目の各画素のリセット解除直後の出力が各列のノイズ成分保持容量ＣＴｋＮに、信号電荷に応じた出力が各列の信号成分保持容量ＣＴｋＳに保持されたことになる。この後、不図示の水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号成分保持容量ＣＴｋＳを順次出力アンプ４１１に接続し、この差分を所定ゲインを乗じて出力することでＶ９行目のＢ画素のみの信号読み出しを完了する。

以下同様にＶ１０行目はＡ画素の信号のみを読み出し、Ｖ１１行目はＢ画素の信号のみを読み出す動作を繰り返すことで、所望の読み出し動作が完了する。

●撮影動作
次に、本第１の実施形態における撮像装置の撮影動作の概要を図１０のフローチャートに基づいて説明する。ＣＰＵ１０５は、電源スイッチ１０９がオンされると（Ｓ１１）、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する（Ｓ１２）。その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ、ＣＰＵ１０５は、その旨の警告メッセージを表示部１１４に表示して（Ｓ１７）、Ｓ１１に戻り、電源スイッチ１０９が再度オンされるのを待つ。

撮影に必要な電気エネルギーがバッテリに残存していれば、ＣＰＵ１０５は、記録媒体１０８をチェックする（Ｓ１３）。このチェックは、所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されているか否かを判断することにより行う。所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されていない場合は、ＣＰＵ１０５は、その旨の警告メッセージを表示部１１４に表示して（Ｓ１７）、Ｓ１１に戻る。

所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されている場合は、ＣＰＵ１０５は、モードダイアル１１２により設定された撮影モードが静止画撮影モード、動画撮影モードの何れであるかを判別する（Ｓ１４）。そして、ＣＰＵ１０５は、静止画撮影モードが設定されていれば、静止画撮影処理を行い（Ｓ１５）、動画撮影モードが設定されていれば、動画撮影処理を行う（Ｓ１６）。

ここで、Ｓ１５で行われる静止画撮影の詳細について、図１１のフローチャートを参照して説明する。静止画撮影処理では、ＣＰＵ１０５は、まず、シャッタスイッチＳＷ１がオンされるのを待つ（Ｓ２１）。シャッタスイッチＳＷ１がオンされると、ＣＰＵ１０５は、不図示の測光制御部からの測光情報を用いて、撮影レンズ２０２の絞り２０４の絞りとシャッタ速度を決定する測光処理を行う。更に、ＡＦユニット２０９からの焦点検出情報を用いて、撮影レンズ２０２の焦点調整用レンズ群２０５を被写体位置に合わせる焦点調節処理を行う（Ｓ２２）。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされたか否かを判別する（Ｓ２３）。その結果、シャッタスイッチＳＷ２がオンされていなければ、ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続しているか否かを判別する（Ｓ２４）。シャッタスイッチＳＷ１のオン状態が継続していれば、Ｓ２３に戻って、シャッタスイッチＳＷ２がオンされたか否かを判別する。一方、シャッタスイッチＳＷ１のオン状態が継続していなければ、Ｓ２１に戻って、シャッタスイッチＳＷ１が再度オンされるのを待つ。

Ｓ２３にて、シャッタスイッチＳＷ２がオンされたと判別された場合は、ＣＰＵ１０５は、撮影処理を実行する（Ｓ２５）。静止画の撮影時には、上述した位相差検出を伴わない駆動方法により、図８（ａ）に示すように撮像素子１０１の全領域からＡ画素とＢ画素の合成信号を読み出す。これにより画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。

次に、ＣＰＵ１０５は、ＤＳＰ１０３に得られた合成信号（画像データ）に対する現像処理を実行させる（Ｓ２６）。更にＣＰＵ１０５は、ＤＳＰ１０３に現像処理が施された画像データに圧縮処理を実行させて、その圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納させる（Ｓ２７）。次に、ＣＰＵ１０５は、ＤＳＰ１０３によりＲＡＭ１０７に格納されている画像データの読み出しと、記録媒体１０８への記録処理を実行させる（Ｓ２８）。

そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（Ｓ２９）。電源スイッチ１０９がオンのままであればＳ２１へ戻り、ＣＰＵ１０５は次の撮影に備える。一方、電源スイッチ１０９がオフされていれば、図６のＳ１１に戻り、電源スイッチが再度オンされるのを待つ。

次に、Ｓ１６で行われる動画撮影処理の詳細について、図１２のフローチャートを参照して説明する。なお、第１の実施形態では、動画撮影モードになると、シャッタ２１０を開き、撮像素子１０１から読み出される画像データを現像して表示部１１４上に表示し続けるモニタ動作を行う。また、シャッタスイッチＳＷ２がオンしている間は、動画データを記録媒体１０８に記録し続けるものとする。動画撮影モードから抜け出るには、モードダイアル１１２の設定を動画撮影モード以外に変更するか、電源スイッチ１０９をオフする。

まず、ＣＰＵ１０５は、モードダイアル１１２により選択された動画撮影モードに設定され（Ｓ３１）、メインミラー２０７、サブミラー２０８、フォーカルプレーンシャッタ２１０の開動作を行う（Ｓ３２）。これにより、図２（ｂ）に示すように、撮像素子１０１に常時被写体像が入射するようになる。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされているか否かを判別する（Ｓ３３）。シャッタスイッチＳＷ２がオンされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作を開始する（Ｓ３５）。一方、シャッタスイッチＳＷ２がオフされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作が現在実行されていれば、その記録動作を停止する（Ｓ３４）。このように、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされている間は、動画像データの記録処理を継続し、シャッタスイッチＳＷ２がオフされた時点で動画像データの記録処理を停止する。ただし、シャッタスイッチＳＷ２がオフされなくても、所定時間が経過した時点や、記録媒体１０８の残容量が少なくなった時点で、記録動作を停止するように制御してもよい。

Ｓ３４またはＳ３５の後、ＣＰＵ１０５は、表示部１１４への画像データのモニタ表示を繰り返すモニタ動作を行うべく、露出調整を行う（Ｓ３６）。この露出調整では、直前に撮影した画像データから露光量を判断し、適切な露光量となるように、撮影レンズ２０２の絞り２０４やＡＦＥ１０２内部のゲインを設定する。ただし、最初の動画撮影時には直前のデータが存在しないため、レンズの絞り２０４やＡＦＥ１０２内部のゲインとしては、初期値が設定される。

次に、Ｓ３７において、ＣＰＵ１０５は撮影処理を行う。動画撮影モードでは、上述した位相差検出を伴う駆動を行う。まず、撮像素子１０１上の画素を、そして図８（ｂ）及び（ｃ）で説明したように、第１の走査方法で垂直方向に３行毎に１行読み出す。第１の走査方法による走査終了後、位相差検出用信号を得るために、第２の走査方法による読み出しを行う。なお、第２の走査方法で読み出しを行う行（第２の領域）は、ＡＦを行う焦点検出領域に応じて指定される。

第２の走査方法により読み出した位相差検出用信号は、ＤＳＰ１０３内のＡＦ用補正部１００９に転送される。そして、このうちのベイヤー配列のＧフィルタが配置された画素信号のみを選択して、画素毎の補正や、撮影時の光学条件に対応する補正が行われる。

その後、その補正結果をＡＦ部１００６に転送し、異なる瞳領域から形成された２種類の画素出力であるＡ画素系列とＢ画素系列の信号を基に、ここで既知の相関演算等を用いて位相差検出結果を算出し、焦点検出動作を行う。その算出結果をＣＰＵ１０５が受け取り、撮影レンズ２０２内の焦点調整用レンズ群２０５の位置制御を行うことで、オートフォーカス制御を行う（Ｓ３８）。

一方、撮像素子１０１中の第１の走査方法で得られる合成信号に対して、画像補正部１００８で撮像素子１０１が有する理想状態からの感度や、ダークレベルの誤差をデジタル的に補正する。更に、現像部１００１で撮像素子１０１の欠陥画素の補正処理を行い、さらに現像処理（Ｓ３９）、圧縮部１００２での圧縮処理（Ｓ４０）を行う。この際に、シャッタスイッチＳＷ２がオン状態で動画記録中であれば、圧縮した画像信号を記録媒体１０８に記録する。そして、これらの処理結果を、ＬＣＤ表示制御部１００５を用いて表示部１１４に表示する（Ｓ４１）。上述の動作を表示に必要なフレームレートで繰り返すことで、動画用の動作が可能となる。

次に、ＣＰＵ１０５は、電源スイッチ１０９がオフされているかの判断を行い（Ｓ４２）、オフされていれば動画終了処理を行って（Ｓ４４）、図１２のＳ１１にリターンする。一方、電源スイッチ１０９がオン状態のままであれば（Ｓ４２）、ＣＰＵ１０５は、モードダイアル１１２をチェックする（Ｓ４３）。モードダイアル１１２が動画撮影モードのままであれば、Ｓ３３に戻り、モードダイアル１１２が静止画モードに切り替えられていれば、動画終了処理を行って（Ｓ４５）、図１０のＳ１４にリターンする。

Ｓ４４、Ｓ４５の動画終了処理では、現在記録動作中であれば記録動作の停止、撮像素子１０１の駆動停止、ＤＳＰ１０３の処理の停止を行う。更に、フォーカルプレーンシャッタ２１０を閉じるとともにメインミラー２０７、サブミラー２０８をダウンする。

このように動画撮影モード時には、第１の走査方法で垂直方向に間引きながら読み出した合成信号を用いて動画像を生成するとともに、後半の第２の走査方法で読み出した位相差検出用信号を用いて位相差を算出することが可能となる。そして、動画撮影が行われている間、第１の走査方法と第２の走査方法が交互に繰り返されることにより、動画像の画像データとしての品質を保持したまま、撮像素子の出力のみを用いたオートフォーカス制御を実現することができる。

また、このように画像データが、画像生成用の合成信号、位相差検出用信号の順序で出力されることから、その処理内容、補正処理も時間で分離できる。そのため、読み出した信号から位相差検出用信号を分離して、一方は現像処理、一方は位相差検出演算のためＡＦ部に振り分けるといった処理を行ったり、画像データ生成のために位相差検出用信号を補正したりする処理が不要となる。このため、大幅な処理の効率化が可能となる。

また、第１の実施形態における動画撮影モード時の撮像素子の読み出し方では、動画像用の合成信号の読み出し時に、位相差検出用信号を読み出さないように制御している。そのため、動画像の画像データを得る際に、位相差検出用信号により生じる画質の低下について懸念する必要が無い。更に、位相差検出動作も垂直走査回路の操作方法の切り替えにより、任意の領域での検出が可能になる。

また、本第１の実施形態では、動画撮影モード時には前半の第１の走査方法で合成信号を読み出して動画像を生成し、後半の第２の走査方法で位相差検出用信号を読み出してオートフォーカス情報を算出するように説明している。しかしながら本発明はこれに限るものではなく、前半に第２の走査方法で位相差検出用信号を読み出してオートフォーカス情報を算出し、その後、第１の走査方法で合成信号を読み出して動画像を生成してもよい。この場合にはオートフォーカス情報が先に検出できるため、より早くレンズの駆動ができるというメリットがある。これは、垂直走査回路５２０による走査順序を変更するだけであるので、容易に実現することができる。また、ＣＰＵ１０５からどちらの駆動方法から行うかを、例えばフレーム毎に設定し切り替えることも可能である。

上記の通り本第１の実施形態によれば、複数の光電変換部を有する画素部を有し、垂直走査回路内のロジック回路の機能追加で、読み出し行ごとにＡ＋Ｂ画素の出力を読み出すか、Ａ画素またはＢ画素のいずれかを読み出すか切り替え可能とする。これにより、回路規模を大きくせずに、画像の画質を落とすこと無く、位相差検出に十分な精度で必要な画素信号を読み出すことが可能となる。

また必要な領域のみ位相差検出用の画素信号を読み出すため、すべての画素の合成信号と、位相差検出用信号を読み出す必要が無く、読み出し時間が大幅に短縮され、読み出し動作の高速化を実現することができる。

また特定行のみ、すべての画素の画像用信号と、位相差検出用信号を読み出す必要が無いため、特定行のみ水平走査期間が変化するような複雑な制御を行う必要が無く、従来システムからの対応が容易である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態においては第２の走査方法で２行連続で読み出し、先に読み出す行のＧフィルタ画素出力のＡ画素信号と、次行のＧフィルタ画素出力のＢ画素信号を用いて位相差検出を行うものとして説明した。これに対し、本第２の実施形態では、まず、４行ずつ間引きながら画像データ用の合成信号を読み出し、次に、間引いた４行を連続で読み出す。その際に、先に読み出す２行はＡ画素から信号を読み出し、次の２行はＢ画素から信号を読み出すように撮像素子を駆動し、ベイヤーフィルタ配置のすべての画素情報を用いて位相差検出を行う。このときの読み出した画像の概念を図１３（ａ）および（ｂ）に示す。

なお、合成信号を読み出すための駆動制御及び位相差検出用信号を読み出すための駆動制御は第１の実施形態で説明したものと同様であり、垂直走査回路により自由に切り替えることができる。

図１３（ａ）は、本第２の実施形態における位相差検出を伴う場合の読み出し行の模式図を示している。図１３（ａ）の中で太枠で囲まれた行が読み出し対象行であり、太枠になっていない部分は読み出し時に間引かれる行である。すなわちＶ１行目を読み出した後、垂直走査回路５２０は３行後のＶ２行目を読み出す。引き続き同じ間引き率でＶ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７、Ｖ８、Ｖ９行目の読み出しを行う。ここまでを第３の走査方法（第１の駆動方法）と呼ぶ。

Ｖ９行目まで第３の走査方法で読み出した後、垂直走査回路５２０はＶ１０行目まで戻り、Ｖ１０行目を読み出した後、続けてＶ１１、Ｖ１２、Ｖ１３行目を読み出す。その後、すでに第３の走査方法で読み出しているＶ５行目をスキップし、Ｖ１４〜Ｖ１７行目を読み出す。その後、同様にすでに第３の走査方法で読み出しているＶ６行目をスキップし、Ｖ１８〜Ｖ２１行目を読み出す。その後すでに第３の走査方法で読み出しているＶ７行目をスキップしＶ２２〜Ｖ２５行目を読み出す。Ｖ１０行目以降の駆動方法を、第４の走査方法（第２の駆動方法）と呼ぶ。

次にそれぞれの読み出し行ごとの画素読み出しについて説明する。第３の走査方法では、先に説明したように各行のＡ画素及びＢ画素から合成信号を読み出すようにする。第３の走査方法で読み出される行は、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することとなる。そのため、第３の走査方法で読み出したＶ１〜Ｖ９行目の合成信号から、画像データを生成することが可能である。

なお、第２の実施形態では水平方向には間引きせずに読み出しを行っているため、水平方向と垂直方向の読み出し画素数が異なり、画像の縦横比が異なってしまう。しかしながら後段の縦横比の変換を行ってもよいし、水平方向も同じ比率で一般的な間引き読み出し、あるいは加算間引き読み出しを行ってもよく、任意の方法で縦横比の変換が可能である。

次に第４の走査方法で４行連続で読み出す行の組のうち、先に読み出す２行は画素信号のうちＡ画素のみ読み出し、後で読み出す２行は画素信号のうちＢ画素のみ読み出す。このようにして読み出した順序に従って、処理される順序に画素配置を並べ替えると図１３（ｂ）に示す模式図のようになる。

先に説明したように、Ｖ１〜Ｖ９行目は第１の走査方法によりＡ画素及びＢ画素の合成信号を読み出しており、この出力を用いて通常の画像生成が可能である。一方、Ｖ１０〜Ｖ２５行目は第４の走査方法によりＡ画素のみを読み出す連続した２行と、Ｂ画素を読み出す隣接する連続した２行からなる。この２行ペア同志のＡ画素出力とＢ画素出力を用いることで位相差検出が可能である。この場合の位相差検出の方法としては、Ａ画素信号、Ｂ画素信号のいずれにもベイヤーフィルタ配置のすべての画素情報が含まれているので、これらの色情報をすべてを用いて位相差検出を行うことが可能となる。

もちろんこれ以外の対応も垂直走査回路５２０の設定変更だけで可能であり、第３の走査方法における垂直方向の間引き率を１／５としながら、第４の走査方法を第１の実施形態と同様に連続した２画素をＡ画素を読む行と、Ｂ画素を読む行にしてもよい。

上記の通り、本第２の実施形態によれば、上述した第１の実施形態の効果に加え、第４の走査方法により読み出したすべての画素信号を位相差検出に使用することができる。このように、垂直走査回路５２０の設定次第で、画像生成に使用する行の設定、位相差検出に使用する行の設定は非常に自由度が高く、画像の品質、位相差検出の精度、検出領域、合わせた読み出し速度（フレームレート）等に応じて任意の設定が可能である。

＜変形例＞
上述した第１及び第２の実施形態のほかにも自由な展開が可能であり、位相差検出を実行するときの画像生成用領域の画像の画質、位相差検出の精度等に応じて自由に設定することが可能となる。

また、撮像素子の画素はカラーフィルタを除いて同様の構成を有するので、垂直走査回路５２０の構成次第で、位相差検出を行う読み出し行を任意に選択することが可能となる。

また、上述した実施形態では水平方向の読み出し方法については言及していないが、水平方向を間引きしたり、同色の加算、加算平均処理を行っても本実施形態における発明を適用することができる。

また、上述した実施形態では、垂直方向に全行読み出す静止画時の適用については言及していないが、全行読み出す中で特定行のみをＡ画素信号のみ、また別の特定行をＢ画素信号のみ読み出し、位相差検出を行うこともできる。ただしこの場合には画像生成に使用する領域の画像データをＡ画素、Ｂ画素として兼用することになる。また、この場合、Ａ画素、Ｂ画素出力は、本来の画像用の出力に対して情報量が欠落しているため、画像生成時に該当画素に対して何らかの補正処理を行うことが必要となる。このような補正処理を行うことで静止画読み出し時にも適用可能である。

また本実施形態の説明の中では必ず画像生成用の第１の駆動方法と位相差検出用の第２の駆動方法をセットで動作する説明を行っている。しかしながら、これに限られるものではなく、位相差検出が不要な場合は第１の駆動方法のみを繰り返し行うことが可能である。また、一方で画像信号が不要で位相差検出のみを行う必要がある場合には、第２の駆動方法のみを繰り返すよう動作させることも容易に実現可能である（ＡＦ専用の読み出しを行う場合）。

各読み出しモードごとの垂直走査回路における転送スイッチの制御を、行ごとにＡ＋Ｂ画素を読み出すのか、Ａ画素のみを読み出すのか、Ｂ画素のみ読み出すのかを排他的にいずれか一つを選択可能とする。

さらにはここまでの実施形態では、行ごとにＡ画素のみ、Ｂ画素のみに出力するものとして説明してきたが、これに限定されるものではなく、対象行の画素ごとにＡ画素、Ｂ画素を切り替えることも可能である。これは撮像素子の転送信号と、画素毎の転送スイッチの接続関係で決めることができる。

ここまでの実施形態では、図５で説明したように第ｎ行におけるφＴＸＡ＿ｎはすべての画素においてＡ画素（５０１）用の転送トランジスタ５０７に接続され、φＴＸＢ_ｎはすべての画素においてＢ画素（５０２）用の転送スイッチ５０８に接続されている。

この接続関係を同一行の中においても入れ替えることで、任意の画素毎にＡ画素、Ｂ画素を切り替えることが可能となる。
この様子を図１４に示す。図１４において撮像素子１０１の第ｎ行と第ｎ＋１行を模式的に示している。第ｎ行および第ｎ＋１行とも、φＰＴＸＡのみ有効とする動作モードを仮定する。従来であれば第ｎ行、ｎ＋１行ともＡ画素出力が選択され出力されるケースであるが、図１４に示すように画素毎にφＰＴＸＡ、φＰＴＸＢと、各画素の転送トランジスタとの配線を切り替える。これにより、φＰＴＸＡが有効の場合にＡ画素用の転送トランジスタのゲート端子に接続されていればＡ画素出力が転送されるし、Ｂ画素用の転送トランジスタに接続されていれば、Ｂ画素出力が転送される。もちろんφＰＴＸＡとφＰＴＸＢが同時に有効になる場合には、従来と変わらずＡ＋Ｂの合成結果が得られることに変わりがない。

このように画素毎の配線切り替えを実施することで、ＡＦの要求仕様に対してさらに自由度の高い画素の選択が可能となる。

１０１：撮像素子、１０３：ＤＳＰ、１０４：タイミング発生回路、１０５：ＣＰＵ、１１３：モードダイアル、５０１、５０２；光電変換部、６０１：マイクロレンズ、１００１：現像部、１００２：圧縮部、１００６：ＡＦ部、１００８：画像補正部、１００９：ＡＦ用補正部、ＣＴｋＳ：信号成分保持容量、ＣＴｋＮ：ノイズ成分保持容量

Claims (11)

1. 各々が第１の光電変換部及び第２の光電変換部を有する複数の画素部が行列状に配列された画素領域と、前記画素領域から読み出した信号を保持するための列毎に配置された保持手段とを含む撮像素子と、
   複数行ずつ間引きながら、前記第１の光電変換部及び前記第２の光電変換部の信号を画素部毎に合成して前記保持手段に読み出す第１の駆動方法と、前記間引かれた複数行毎にいずれかの行で前記第１の光電変換部から信号を前記保持手段に読み出し、前記間引かれた複数行毎の別の行で前記第２の光電変換部から信号を前記保持手段に読み出す第２の駆動方法とにより前記撮像素子を駆動する駆動手段と
   を有し、
   前記駆動手段は、前記撮像素子から１フレーム分の信号を読み出して位相差検出を行う場合に、前記第１の駆動方法による第１の走査と前記第２の駆動方法による第２の走査とを連続して行い、前記撮像素子を駆動することを特徴とする撮像装置。
2. 前記第１の駆動方法により読み出された信号に基づいて、画像データを生成する生成手段と、
   前記第２の駆動方法により読み出された信号に基づいて、焦点状態を検出する焦点検出手段と
   を更に有することを特徴とする請求項１に記載の撮像装置。
3. 静止画撮影モードと動画撮影モードとを有し、
   前記静止画撮影モードが選択されている場合に、前記生成手段は前記第２の駆動方法で読み出された信号を補正し、該補正した信号を用いて画像データを生成することを特徴とする請求項２に記載の撮像装置。
4. 前記駆動手段は、前記生成手段により生成する画像データによる画像の画質、位相差検出の精度の少なくともいずれかに応じて、前記複数行の行数を決定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記複数行は２行であって、前記第２の駆動方法では、前記２行のうち、先に走査する１行で前記第１の光電変換部から信号を前記保持手段に読み出し、後に走査する１行で第２の光電変換部から信号を前記保持手段に読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記複数行は４行であって、前記第２の駆動方法では、前記４行のうち、先に走査する２行で前記第１の光電変換部から信号を前記保持手段に読み出し、後に走査する２行で第２の光電変換部から信号を前記保持手段に読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 静止画撮影モードと動画撮影モードとを有し、
   前記駆動手段は、前記静止画撮影モードが選択されている場合に、前記画素部から間引かずに、前記第１の光電変換部及び前記第２の光電変換部の信号を画素部毎に合成して前記保持手段に読み出す第３の駆動方法により前記撮像素子を制御し、前記動画撮影モードが選択されている場合に、前記第１の駆動方法と前記第２の駆動方法を交互に繰り返すことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の駆動方法では前記画素領域の予め決められた第１の領域から信号を読み出し、前記第２の駆動方法では、前記第１の領域よりも狭い第２の領域から信号を読み出すことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 焦点検出領域を設定する設定手段を更に有し、
   前記第２の領域は、前記焦点検出領域を含むことを特徴とする請求項８に記載の撮像装置。
10. 前記撮像素子は、ベイヤー配列のカラーフィルタにより覆われていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 各々が第１の光電変換部及び第２の光電変換部を有する複数の画素部が行列状に配列された画素領域と、前記画素領域から読み出した信号を保持するための列毎に配置された保持手段とを含む撮像素子を有する撮像装置の制御方法であって、
    複数行ずつ間引きながら、前記第１の光電変換部及び前記第２の光電変換部の信号を画素部毎に合成して前記保持手段に読み出す第１の駆動方法と、前記間引かれた複数行毎にいずれかの行で前記第１の光電変換部から信号を前記保持手段に読み出し、前記間引かれた複数行毎の別の行で前記第２の光電変換部から信号を前記保持手段に読み出す第２の駆動方法とにより前記撮像素子を駆動する駆動工程を有し、
    前記駆動工程では、前記撮像素子から１フレーム分の信号を読み出して位相差検出を行う場合に、前記第１の駆動方法による第１の走査と前記第２の駆動方法による第２の走査とを連続して行い、前記撮像素子を駆動することを特徴とする撮像装置の制御方法。

Images