JP7047858B2 - 撮像装置及び撮像方法 - Google Patents

Description

本開示は、撮像装置及び撮像方法に関する。

近年では、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラが普及している。デジタルスチルカメラは静止画像を撮像するものであり、デジタルビデオカメラは動画像を撮像するものであるが、動画像を撮像可能なデジタルスチルカメラや静止画像を撮像可能なデジタルビデオカメラも存在する。なお、以降では、デジタルスチルカメラとデジタルビデオカメラとを特に区別しない場合には、単に「デジタルカメラ」と記載する場合がある。また、以降では、静止画像と動画像を特に区別しない場合には、単に「画像」と記載する場合がある。

上記のようなデジタルカメラは、例えば、特許文献１に開示されるように、自動的に焦点調整を行うオートフォーカス処理の機能を有する場合が少なくない。オートフォーカス処理では、例えば、デジタルカメラと被写体との距離を測定し、測定された距離に基づいてレンズを駆動させることで焦点が適切に調整されて、ピントの合った（合焦した）画像を取得することが可能になる。

特開２０１３－２２３０５４号公報

上記のオートフォーカス処理においては、距離の測定から、結果反映（例えばレンズの駆動の完了）までにかかる時間（レイテンシ）を小さくすることが望まれていた。

そこで、本開示では、オートフォーカスにかかるレイテンシを小さくすることが可能な、新規かつ改良された撮像装置及び撮像方法を提案する。

本開示によれば、画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、前記通常画素から読み出された本線画素信号が記録されるフレームメモリと、前記フレームメモリに記録された前記本線画素信号と、前記焦点検出画素から読み出された焦点画素信号と、が独立して入力される入力部と、前記本線画素信号の入力中に、前記焦点画素信号に基づくフォーカスレンズの駆動指示を行うレンズ駆動指示部と、を備える撮像装置が提供される。

また、本開示によれば、画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイを有する撮像装置が実行する撮像方法であって、前記通常画素から読み出された本線画素信号がフレームメモリに記録されることと、前記フレームメモリに記録された前記本線画素信号と、前記焦点検出画素から読み出された焦点画素信号と、が独立して入力されることと、前記本線画素信号の入力中に、前記焦点画素信号に基づくフォーカスレンズの駆動指示を行うことと、を含む、撮像方法が提供される。

以上説明したように本開示によれば、オートフォーカスにかかるレイテンシを小さくすることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態にかかる撮像装置の利用シーンを示す説明図である。 同実施形態の比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。 同実施形態の比較例に係る撮像装置を用いた連続撮影におけるオートフォーカス処理の流れについて説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の構成の一例を示す説明図である。 同実施形態に係るイメージセンサが備える画素アレイ部の画素配置の一例を説明するための説明図である。 同実施形態に係る位相差画素の例を示す説明図である。 同実施形態に係るイメージセンサの一部の構成例を示すブロック図である。 同実施形態に係るイメージセンサのチップの構成の一例について説明するための説明図である。 同実施形態に係る動作例１を説明するための概略的なタイムチャートである。 同実施形態に係る動作例２を説明するための概略的なタイムチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．はじめに＞＞
＜１－１．背景＞
＜１－２．概要＞
＜＜２．構成＞＞
＜２－１．撮像装置の構成＞
＜２－２．イメージセンサの構成＞
＜＜３．動作例＞
＜３－１．動作例１＞
＜３－２．動作例２＞
＜＜４．変形例＞＞
＜４－１．変形例１＞
＜４－２．変形例２＞
＜＜５．むすび＞＞

＜＜１．はじめに＞＞
＜１－１．背景＞
本開示の一実施形態にかかる撮像装置についての説明にあたり、図面を参照しながら本開示の一実施形態に係る撮像装置の創作に至った背景を説明する。

図１は、本開示の一実施形態にかかる撮像装置１の利用シーンを示す説明図である。図１に示す撮像装置１は、例えばデジタルカメラである。図１に示すように、撮像装置１は、焦点調整用のフォーカスレンズ１１を備え、フォーカスレンズ１１は被写体と撮像装置１との距離に応じて駆動制御されて自動的に焦点調整（オートフォーカス、ＡＦ）が行われる。

ここで、図２、３を参照して、従来の撮像装置の一例におけるオートフォーカス処理を比較例として説明する。図２は、比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。

図２に示すイメージセンサ８００は、比較例に係る撮像装置に設けられ、被写体を撮像して撮像画像のデジタルデータを得る撮像素子である。イメージセンサ８００は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子であってもよい。イメージセンサ８００は、複数の画素が行列（アレイ）状に配置された画素アレイ部８１１を有する。なお、一般的にイメージセンサ８００は、画素アレイ部８１１以外の回路も含むが、図２に示す例では、説明をわかりやすくするために、当該画素アレイ部８１１以外の回路の図示を省略している。

また、画像処理ＬＳＩ９００は、画素アレイ部８１１の各画素からの画素信号に基づき供給される画素信号（画像信号）に対して、所謂画像処理を施すＬＳＩ（Large Scale Integration）である。画像処理としては、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびＹＣ変換等が挙げられる。画像処理部９１０は、画像処理ＬＳＩ９００ａにより実現される画像処理機能を模式的に示している。なお、画像処理ＬＳＩ９００は、画像処理以外の他の機能を実行するための構成を含んでもよいが、図２に示す例では、説明をわかりやすくするために、画像処理部９１０以外の構成の図示を省略している。

また、参照符号ｎ０は、イメージセンサ８００と画像処理ＬＳＩ９００との間の信号の流れ（ストリーム）を模式的に示している。

すなわち、図２に示した比較例に係る撮像装置では、イメージセンサ８００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画素信号を生成する。そして、イメージセンサ８００は、生成した画素信号をストリームｎ０として、画像処理ＬＳＩ９００の画像処理部９１０に出力する。

画像処理ＬＳＩ９００は、ストリームｎ０として、イメージセンサ８００から出力された画素信号を取得し、取得した画素信号に対して画像処理を施して被写体と撮像装置との距離（被写体距離）を測定する。比較例に係る撮像装置は、測定された被写体距離に基づいて当該撮像装置が備えるフォーカスレンズを駆動制御することで焦点調整（オートフォーカス）を行う。例えば、比較例に係る撮像装置は、像面位相差方式によりオートフォーカスを実行してもよい。すなわち、比較例に係る画素アレイ部８１１は、位相差方式により焦点調整を行うための位相差画素を含み、画像処理部９１０は当該位相差画素にかかる画素信号（焦点画素信号）に基づいて被写体距離を測定し、当該被写体距離に基づいてフォーカスレンズが駆動制御される。

次に、図３を参照して、図２に示した撮像装置において、イメージセンサ８００により被写体の画像が露光（撮像）され、露光された画像を示す画素信号が画像処理ＬＳＩ９００に読出され、レンズ駆動制御が完了するまでの処理の流れの一例について説明する。図３は、比較例に係る撮像装置を用いた連続撮影におけるオートフォーカス処理の流れについて説明するための説明図であり、比較例に係る撮像装置が電子的に各画素の露光期間を制御する場合の概略的なタイムチャートの一例を示している。

図３において、横軸は時間方向を示しており、画素・出力制御における縦軸は画素アレイ部８１１の行方向を示している。また、参照符号ｄ９１０、ｄ９１１、ｄ９１２、及びｄ９１３は、画素アレイ部８１１の各画素の露光期間を模式的に示している。なお、露光期間ｄ９１０は、露光期間ｄ９１１以前に撮像された画像の露光期間を示しているものとする。

ここで、比較例に係る撮像装置においてオートフォーカスが実行される際の一連の処理の流れについて、露光期間ｄ９１１に着目して説明する。まず、参照符号ｄ９０１に示すように、各画素に蓄積された画素信号のリセットが行単位で逐次実行され、各画素のリセットが完了すると、速やかに光が当該画素に入射し、当該画素の露光が開始される。その後、参照符号ｄ９２１に示すように、各画素の露光が終了すると、速やかに当該画素からの画素信号の読出しと、画像処理部９１０への出力が開始される。すなわち、各画素について、参照符号ｄ９０１とｄ９２１との間の期間Ｔ９２が、当該画素における露光時間に相当し、参照符号ｄ９２１の開始から終了までの期間Ｔ９３が全画素の読出しと出力にかかる時間に相当する。上記のように、図３に示す例では、行単位で、各画素の露光開始及び終了のタイミング、及び各画素の読出し・出力のタイミングが異なる。

全画素から画素信号が画像処理部９１０へ出力されると、画像処理部９１０は、図３の参照符号ｄ９５１が示す期間において、位相差画素に対応する焦点画素信号に基づいて位相差検波（検出）を行うことで、被写体距離を測定（測距）する。続いて、図３の参照符号ｄ９６１が示す期間において、測定された被写体距離と、露光期間ｄ９１１におけるレンズ位置とに基づいてレンズ駆動量を算出するＡＦ演算が行われる。さらに、図３の参照符号ｄ９７１が示す期間において、比較例に係る撮像装置が備えるフォーカスレンズの駆動制御が行われる。その結果、図３に示す露光期間ｄ９１１における撮像に基づいて実行されるオートフォーカスが反映されるのは、図３に示す露光期間ｄ９１３における撮像である。すなわち、図３の例において、測距のための露光開始から、オートフォーカスが反映されるまでに必要な時間（レイテンシ）は、撮影間隔Ｔ９１の２倍の時間である。

図１に示したように、撮像装置を用いて、スポーツシーン等における動きのある被写体を撮影する場合、オートフォーカスにかかるレイテンシが重要となる。例えば、測距のための露光から、フォーカスレンズの駆動制御が完了するまでに、被写体が動き、被写体と撮像装置との距離が変化してしまうと、焦点の合わない画像が取得されてしまう場合がある。したがって、オートフォーカスにかかるレイテンシは、小さいことが望ましい。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、オートフォーカスにかかるレイテンシを小さくすることが可能である。以下、このような効果を有する本実施形態に係る撮像装置の概要について説明する。

＜１－２．概要＞
図４は、本開示の実施形態に係る撮像装置の概要について説明するための説明図である。なお、図４は、本実施形態に係る撮像装置１（撮像制御装置）の概略的な構成について、イメージセンサ１００と画像処理ＬＳＩ２００とに着目して示しており、その他の構成については図示を省略している。

図４に示すように、本実施形態に係るイメージセンサ１００は、フレームメモリ１９０を含む点で、図２に示した比較例に係るイメージセンサ８００と異なる。参照符号ｎ１及びｎ２は、イメージセンサ１００と画像処理ＬＳＩ２００との間の信号の流れ（ストリーム）を模式的に示している。

また、本実施形態に係る撮像装置１は、図２、図３を参照して説明した比較例と同様に、像面位相差方式によりオートフォーカスを実行し、電子的に各画素の露光期間を制御する。すなわち、図４に示す本実施形態に係るイメージセンサ１００が有する画素アレイ部１１１は、位相差方式により焦点調整を行うための位相差画素（焦点検出画素）と、画像生成に用いられる通常画素を含み、各画素の露光期間は電子的に制御される。

図４に示す本実施形態に係る撮像装置において、イメージセンサ１００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する（読出しを行う）。このとき、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素のうち、少なくとも位相差画素からの焦点画像信号を読出し、ストリームｎ１として画像処理ＬＳＩ２００に出力する。

また、イメージセンサ１００は、画素アレイ部１１１を構成する複数の画素のうち、少なくとも通常画素からの本線画素信号を読出し、フレームメモリ１９０に一時的に記録する。そして、イメージセンサ１００は、フレームメモリ１９０に記録された本線画素信号をストリームｎ２として画像処理ＬＳＩ２００に出力する。

このような構成より、イメージセンサ１００は、例えば、位相差画素からの焦点画像信号をストリームｎ１とし、通常画素からの本線画素信号（画像）をストリームｎ２として、各画素信号を互いに独立して画像処理ＬＳＩ２００に出力することが可能となる。なお、上記では位相差画素からの焦点画像信号をストリームｎ１として出力する例を説明したが、本技術はかかる例に限定されない。例えば、画像生成に用いられる通常画素のうち一部から読出される画素信号をストリームｎ１として出力することも可能であり、そのような例については変形例として後述する。

なお、イメージセンサ１００は、例えば全画素からの画素信号をフレームメモリ１９０に一時的に保持させることが可能なため、ストリームｎ１とストリームｎ２とを、必ずしも同じタイミングで並列に画像処理ＬＳＩ２００に出力する必要はない。すなわち、イメージセンサ１００は、ストリームｎ１の出力後にストリームｎ２を出力することも可能である。もちろん、イメージセンサ１００は、ストリームｎ１とストリームｎ２とを並列に画像処理ＬＳＩ２００に出力してもよいことは言うまでもない。

そのため、例えば、画像処理ＬＳＩ２００は、イメージセンサ１００から本線画素信号（ストリームｎ２）より先行して出力される焦点画素信号（ストリームｎ１）に基づいて位相差検波処理を行うことが可能である。かかる構成により、本実施形態に係る撮像装置１は、オートフォーカスにかかるレイテンシを小さくすることが出来る。

また、他の一例として、画像処理ＬＳＩ２００は、イメージセンサ１００からストリームｎ１として先行して出力される焦点画素信号に基づいた位相差検波処理と並行して、ストリームｎ２として出力される本線画素信号の取得を実行することが可能である。

なお、イメージセンサ１００と、画像処理ＬＳＩ２００とは、必ずしも同一筐体内に設けられている必要はない。その場合には、イメージセンサ１００が設けられた装置が、「撮像制御装置」の一例に相当する。

以上、図４を参照しながら、本実施形態に係る撮像装置１の概要について説明した。続いて、以降では、本実施形態に係る撮像装置１の構成と動作について、さらに詳しく順次に説明する。

＜＜２．構成＞＞
以下では、まず本実施形態に係る撮像装置１の構成例について図５を参照して説明した後、撮像装置１が備えるイメージセンサ１００の構成例について図６～９を参照して説明する。

＜２－１．撮像装置の構成＞
図５は、本実施形態に係る撮像装置１の構成の一例を示す説明図であり、前述したイメージセンサ１００と画像処理ＬＳＩ２００とを同一筐体内に設けた場合の一例を示している。図５に示される撮像装置１は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図５に示すように撮像装置１は、フォーカスレンズ１１（以下、単にレンズと呼ぶ場合がある）、イメージセンサ１００、駆動制御部１２、操作部１３、画像処理部２１０、コーデック処理部１４、記録部１５、及び表示部１６を有する。

フォーカスレンズ１１は、駆動制御部１２によって制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、イメージセンサ１００に供給する。

イメージセンサ１００は、被写体を撮像するイメージセンサであり、駆動制御部１２に制御されて、入射光を光電変換し、各画素の画素値をＡ／Ｄ変換することにより、画素信号を読出し、出力する。ここで、上述したように、イメージセンサ１００は、焦点調整に用いられる位相差画素（焦点検出画素）からの焦点画素信号の読出しと、画像生成に用いられる通常画素からの本線画素信号の読出しと、を独立して行う。また、イメージセンサ１００は、焦点画素信号と、本線画素信号とを、互いに独立して画像処理部２１０に出力する。

駆動制御部１２は、操作部１３により入力されたユーザの操作入力に対応する信号に基づいて、フォーカスレンズ１１、イメージセンサ１００、画像処理部２１０、コーデック処理部１４、記録部１５、及び表示部１６の駆動を制御し、各部に撮像に関する処理を行わせる。特に、駆動制御部１２は、イメージセンサ１００から画像処理部２１０への本線画素信号の入力中にレンズ駆動が行われるように、当該本線画素信号に先行して入力された焦点画素信号に基づくレンズ駆動指示を行うレンズ駆動指示部としての機能を有する。例えば、駆動制御部１２は、画像処理部２１０が焦点画素信号に基づいて行った位相差検波の結果を受け取り、ＡＦ演算によりレンズ駆動量を算出し、レンズ駆動指示を行う。なお、画像処理部２１０がレンズ駆動指示部として、レンズ駆動指示を行ってもよい。

操作部１３は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を駆動制御部１２に供給する。

画像処理部２１０は、イメージセンサ１００から画素信号を受け取り、画像処理を行う。例えば、画像処理部２１０は、イメージセンサ１００から出力される焦点画素信号と、本線画素信号が、互いに独立して入力される入力部としての機能を有する。また、画像処理部２１０は、焦点画素信号に基づいて位相差検波を行い、位相差検波の結果を駆動制御部１２に提供する。また、画像処理部２１０は、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびＹＣ変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。また、画像処理部２１０は、画像処理を施した画像信号をコーデック処理部１４及び表示部１６に供給する。

コーデック処理部１４は、画像処理部２１０からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部１５に供給する。

記録部１５は、コーデック処理部１４から供給される画像データを記録する。記録部１５に記録された画像データは、必要に応じて画像処理部２１０に読出されることで、表示部１６に供給され、対応する画像が表示される。

表示部１６は、例えば、液晶ディスプレイ等として構成され、画像処理部２１０からの画像信号に基づいて、被写体の画像を表示する。

＜２－２．イメージセンサの構成＞
以上、本実施形態に係る撮像装置１の構成例について図５を参照して説明した。続いて、撮像装置１が備えるイメージセンサ１００の構成例について図６～９を参照して説明する。

（画素配置）
まず、図６を参照して、図４を参照して説明した本実施形態に係るイメージセンサ１００が備える画素アレイ部１１１の画素配置の一例について、特に画素アレイ部１１１が有する位相差画素の配置に着目して説明する。図６は、本実施形態に係るイメージセンサ１００が備える画素アレイ部１１１の画素配置の一例を説明するための説明図である。画素アレイ部１１１には、赤、青、緑の通常画素の他、図６にＡ，Ｂとして示す位置に焦点調整に用いられる位相差画素１２１ａ、１２１ｂが周期的に配置される。

図７は、本実施形態に係る位相差画素の例を示す説明図である。画素アレイ部１１１に配置される位相差画素１２１ａ、１２１ｂは、例えば、図７上段に示すように左開口画素１２１ａ、右開口画素１２１ｂであってもよい。図７に示すように、左開口画素１２１ａ、及び右開口画素１２１ｂは、オンチップレンズ１２１１ａ、１２１１ｂが斜光メタル１２１２ａ、１２１２ｂによって覆われている。また、左開口画素１２１ａが有する斜光メタル１２１２ａの左側には左開口部１２１３ａが設けられ、左開口画素１２１ａは左開口部１２１３ａの領域に入射した光のみ受光可能である。同様に、右開口画素１２１ｂが有する斜光メタル１２１２ｂの右側には右開口部１２１３ｂ、が設けられ、右開口画素１２１ｂは右開口部１２１３ｂの領域に入射した光のみ受光可能である。したがって、左開口画素１２１ａと右開口画素１２１ｂとでは、それぞれ撮影レンズの異なる光路を通った光束が受光される。

上記の左開口画素１２１ａと右開口画素１２１ｂを１組のペア画素として、画像処理部２１０が当該ペア画素に対応する焦点画素信号における２つの像のズレ具合を評価することで、位相差検波処理が行われる。

なお、上記では、画素アレイ部１１１に配置される位相差画素が左開口画素と右開口画素によるペア画素である例を説明したが、本技術はかかる例に限定されない。例えば、図７の中段に示すように、画素アレイ部１１１に配置される位相差画素は、上開口画素１２１ｃと下開口画素１２１ｄによるペア画素であってもよい。上開口画素１２１ｃ、及び下開口画素１２１ｄは、上記の左開口画素１２１ａ、及び右開口画素１２１ｂと同様に、オンチップレンズ１２１１ｃ、１２１１ｄと、斜光メタル１２１２ｃ、１２１２ｄと、上開口部１２１３ｃ、下開口部１２１３ｄとを備える。

また、画素アレイ部１１１に配置される位相差画素は、フォトダイオード分割画素であってもよい。この場合、例えば、図７の下段左に示す左右フォトダイオード分割画素１２１ｅ、または図７の下段右に示す上下フォトダイオード分割画素１２１ｆのうちいずれか一種類が位相差画素として配置されればよい。左右フォトダイオード分割画素１２１ｅは、一つのオンチップレンズ１２１１ｅに対して、独立に受光可能な２つのフォトダイオード（左フォトダイオード１２１４ａ、右フォトダイオード１２１４ｂ）を備える。また、同様に上下フォトダイオード分割画素１２１ｆは、一つのオンチップレンズ１２１１ｆに対して、独立に受光可能な２つのフォトダイオード（上フォトダイオード１２１４ｃ、下フォトダイオード１２１４ｄ）を備える。画像処理部２１０は、上記いずれかのフォトダイオード分割画素に対応する焦点画素信号における２つの像のズレ具合を評価することで、位相差検波処理を行うことが可能である。

（読出し・出力に係る構成）
以上、本実施形態に係るイメージセンサ１００が備える画素アレイ部１１１の画素配置の一例について説明した。続いて、図８を参照して、イメージセンサ１００における読出し・出力に係る構成の一例について、特に、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで画素信号を読み出して、出力する構成に着目して説明する。

図８は、本実施形態に係るイメージセンサ１００の一部の構成例を示すブロック図である。図８に示されるイメージセンサ１００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

図８に示されるように、イメージセンサ１００は、制御部１０１、画素アレイ部１１１、選択部１１２、Ａ／Ｄ変換部（ＡＤＣ（Analog Digital Converter））１１３、及び定電流回路部１１４を有する。

制御部１０１は、イメージセンサ１００の各部を制御し、画像データ（画素信号）の読出し等に関する処理を実行させる。特に、本実施形態に係る制御部１０１は、焦点調整に用いられる位相差画素（焦点検出画素）からの焦点画素信号の読出しと、画像生成に用いられる通常画素からの本線画素信号の読出しとが、独立して行われるよう画素を制御する。

なお、焦点画素信号の読出しと、本線画素信号の読出しとが、独立して行われる、とは、焦点画素信号の読出しと、本線画素信号の読出しとが、互いに制限を受けることなく行われることを意味する。例えば、焦点画素信号の読出しと、本線画素信号の読出しとが、異なる期間に行われる場合や、各画素信号の読出しの開始タイミングが異なるが読出し期間が重複する場合、各画素信号が並列して読出される場合等も上記に含まれる。

また、本実施形態に係る制御部１０１は、焦点検出画素の露光と画像生成に用いられる画素の露光をそれぞれ制御する露光制御部としての機能を有する。例えば、制御部１０１は、露光制御部としての機能を発揮し、位相差画素（焦点検出画素）の露光時間と、通常画素の露光時間とが異なるように、位相差画素の露光と通常画素の露光を制御してもよい。例えば、制御部１０１は、位相差画素の露光時間が、通常画素の露光時間より長くなるように、位相差画素の露光と通常画素の露光を制御してもよい。かかる構成によれば、通常画素よりも受光領域が狭い位相差画素であっても、より多くの光を受光することが可能となり、例えば、暗い領域でのＡＦ精度が向上するという効果がある。また、制御部１０１は、位相差画素の露光時間が、通常画素の露光時間より短くなるように、位相差画素の露光と通常画素の露光を制御してもよい。かかる構成によれば、高輝度な被写体に対してＡＦを行う場合に、画素値のオーバーフローによるＡＦ精度への影響が低減されるという効果がある。

画素アレイ部１１１は、図６、７を参照して説明したように、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷をアナログ画素信号として出力する。

画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。例えば、画素１２１は図６、７を参照して説明した焦点調整に用いられる位相差画素であり、画素１２２は画像生成に用いられる通常画素であってもよい。図８の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図８に示される例以外であってもよい。

一般的な画素アレイには、カラム（列）毎に、アナログ画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）毎に、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図８の例の場合、画素１２１の回路は、第１の出力線（ＶＳＬ１）に接続され、画素１２２の回路は、第２の出力線（ＶＳＬ２）に接続される。

なお、図８においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。

選択部１１２は、画素アレイ部１１１の各出力線をＡＤＣ１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とＡＤＣ１１３との接続を制御する。つまり、画素アレイ部１１１から読出されたアナログ画素信号は、この選択部１１２を介してＡＤＣ１１３に供給される。

選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択ＳＷ）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ＯＮ）状態になると、第１の出力線（ＶＳＬ１）と第２の出力線（ＶＳＬ２）が接続され、オフ（ＯＦＦ）状態になると切断される。

詳細については後述するが、イメージセンサ１００においては、各出力線に対してＡＤＣが１つずつ設けられている（カラムＡＤＣ）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのＡＤＣに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのＡＤＣに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する。

詳細については後述するが、このようにスイッチ１３１がアナログ画素信号の出力先とするＡＤＣの数を制御することにより、イメージセンサ１００は、そのＡＤＣの数に応じてより多様な画素信号を画像処理ＬＳＩ２００に出力することができる。つまり、イメージセンサ１００は、より多様なデータ出力を実現することができる。

スイッチ１３２は、画素１２１に対応する第１の出力線（ＶＳＬ１）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３２がオン（ＯＮ）状態になると、第１の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

スイッチ１３３は、画素１２２に対応する第２の出力線（ＶＳＬ２）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３３がオン（ＯＮ）状態になると、第２の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１～スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を制御することができる。

なお、スイッチ１３２やスイッチ１３３（いずれか一方もしくは両方）を省略し、各出力線と、その出力線に対応するＡＤＣとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図８においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラム毎に、図８に示されるのと同様の構成（スイッチ１３１～スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。

ＡＤＣ１１３は、画素アレイ部１１１から各出力線を介して供給されるアナログ画素信号を、それぞれＡ／Ｄ変換し、画素信号（デジタルデータ）として出力する。ＡＤＣ１１３は、画素アレイ部１１１からの出力線毎のＡＤＣ（カラムＡＤＣ）を有する。つまり、ＡＤＣ１１３は、複数のカラムＡＤＣを有する。１出力線に対応するカラムＡＤＣは、比較器、Ｄ／Ａ変換器（ＤＡＣ（Digital Analog Converter））、およびカウンタを有するシングルスロープ型のＡＤＣである。

比較器は、ＤＡＣ出力とアナログ画素信号の信号値とを比較する。カウンタは、アナログ画素信号とＤＡＣ出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、ＤＡＣ出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をＤＡＴＡ１およびＤＡＴＡ２よりイメージセンサ１００の外部に出力する。

カウンタは、次のＡ／Ｄ変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。

ＡＤＣ１１３は、各カラムに対して２系統のカラムＡＤＣを有する。例えば、第１の出力線（ＶＳＬ１）に対して、比較器１４１（ＣＯＭＰ１）、ＤＡＣ１４２（ＤＡＣ１）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、比較器１５１（ＣＯＭＰ２）、ＤＡＣ１５２（ＤＡＣ２）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ＡＤＣ１１３は、他のカラムの出力線に対しても同様の構成を有する。

ただし、これらの構成の内、ＤＡＣは、共通化することができる。ＤＡＣの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のＤＡＣが共通化される。図８の例の場合、各カラムの第１の出力線（ＶＳＬ１）に対応するＤＡＣがＤＡＣ１４２として共通化され、各カラムの第２の出力線（ＶＳＬ２）に対応するＤＡＣがＤＡＣ１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。

定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、ＭＯＳ（Metal Oxide Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図８においては、説明の便宜上、第１の出力線（ＶＳＬ１）に対して、ＭＯＳトランジスタ１６１（ＬＯＡＤ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）が設けられている。

制御部１０１は、例えばユーザ等の外部から要求を受け付けて読出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読出しモードに応じて、カラムＡＤＣの駆動を制御したりする。さらに、制御部１０１は、カラムＡＤＣ以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。

つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図８に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が３系統以上設けられるようにしてもよい。また、図８に示した、ＡＤＣ１３２から出力される画素信号の並列数や、ＡＤＣ１３２自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。

次に、本実施形態に係るイメージセンサ１００のチップの構成について、図９を参照して説明する。図９は、本実施形態に係るイメージセンサ１００のチップの構成の一例について説明するための説明図である。図８を参照しながら説明したように、各カラムに対して複数のＡＤＣを設けると、チップサイズが増大し、コストが増大する場合がある。そのため、本実施形態に係るイメージセンサ１００では、図９に示すように、チップを積層化してもよい。

図９に示す例において、イメージセンサ１００は、画素アレイ部１１１が主に形成される画素チップ１００－１と、出力回路１８０、周辺回路、およびＡＤＣ１１３等が形成される周辺回路チップ１００－２、およびパッド（ＰＡＤ）との複数チップにより構成される。画素チップ１００－１の画素アレイ部１１１の出力線とドライブ線は、貫通ビア（ＶＩＡ）を介して周辺回路チップ１００－２の回路と接続されている。なお、図４に示したフレームメモリ１９０は、例えば、出力回路１８０や周辺回路の中に設ければよい。出力回路１８０は、上記により読出された焦点画素信号と、本線画素信号とを、互いに独立して出力する出力部として機能する。

上記のような構成とすることにより、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、複数チップ化することにより、各チップをそれぞれ最適化することができる。例えば、画素チップにおいては、配線層による光学的な反射による量子効率の低下を防ぐためにより少ない配線層で低背化を実現し、周辺回路チップにおいては、配線間カップリング対策など最適化を可能にするために配線層の多層化を実現することができる。例えば、周辺回路チップの配線層を、画素チップの配線層よりも多層化することもできる。

なお、裏面照射型のイメージセンサの場合、配線層による光学的な反射は生じないが、不要な配線層数の増大を抑制することにより、配線工程数の増大等を抑制し、コストの削減を実現することができる。

また、周辺回路チップエリアが、画素チップエリアと同等なチップ面積を有するため、トータルの積層チップの面積を増加させることなく周辺回路領域に複数のＡＤＣの搭載が可能になる。

なお、本技術を適用した撮像制御装置（撮像装置）は、上述した構成に限らず、他の構成であってもよいことは言うまでもない。

以上のようにして、本実施形態に係るイメージセンサ１００は、図示しない光学系素子を介した入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで画素信号を生成し、生成した各画素信号を、図８に示すＤＡＴＡ１およびＤＡＴＡ２より読出す。そして、出力回路１８０は、例えば、ＤＡＴＡ１及びＤＡＴＡ２のうち、いずれか（ここでは、ＤＡＴＡ１とする）から出力される焦点画素信号を図４に示すストリームｎ１として画像処理ＬＳＩ２００に出力する。

また、イメージセンサ１００は、ＤＡＴＡ２より読出された本線画素信号をフレームメモリ１９０に一時的に記録する。そして、イメージセンサ１００は、フレームメモリ１９０に記録された本線画素信号を逐次読出し、出力回路１８０は、フレームメモリ１９０から読出された本線画素信号をストリームｎ２として画像処理ＬＳＩ２００に出力する。なお、フレームメモリ１９０への画素信号の入出力、及び出力回路１８０からの画素信号の出力に係る制御の主体は特に限定されない。例えば、前述した制御部１０１が当該制御を行ってもよいし、当該制御部１０１とは別に制御部が設けられてもよい。また、イメージセンサ１００の外部（例えば画像処理ＬＳＩ２００など）に備えられた制御部からの制御に応じて、当該制御が行われてもよい。

また、画素アレイ部１１１を構成する各画素で取得された画素信号を一時的に保持可能であれば、フレームメモリ１９０を設ける位置や、当該フレームメモリ１９０の数は特に限定されない。例えば、フレームメモリ１９０の数を複数設けることで、当該複数のフレームメモリ１９０それぞれに対する画素信号の入出力を並列して実行することが可能となる。そのため、フレームメモリ１９０への画素信号の入出力に係る速度に依存した処理速度の低下を緩和することが可能となる。

また、他の一例として、画素アレイ部１１１を構成する各画素の画素回路上に、当該画素で取得された画素信号を一時的に保持するためのキャッシュを設けてもよい。このような構成により、各画素とフレームメモリ１９０との間の画素信号の入出力に係る処理や、フレームメモリ１９０からの各画素信号の読出しに係る処理の実行タイミングを、より柔軟に制御することが可能となる。また、各画素回路から画素信号をフレームメモリ１９０に書き込むためのピン数が増加するため、当該画素回路と当該フレームメモリ１９０との間のバスの帯域をより広くすることも可能となる。

＜＜３．動作例＞
以上、図５～９を参照しながら本実施形態に係る撮像装置１、及び撮像装置１が備えるイメージセンサ１００の構成例について説明した。続いて、以下では本実施形態に係る撮像装置１の動作例として、１回の焦点調整のために焦点画素信号の読出しと出力が１回ずつ行われる例と、１回の焦点調整のために焦点画素信号の読出しと出力が複数回行われる例について図１０、１１を参照して順次説明する。

＜３－１．動作例１＞
図１０は、本実施形態に係る撮像装置１において、１回の焦点調整のために焦点画素信号の読出しと出力が１回ずつ行われる動作例１を説明するための概略的なタイムチャートである。

図１０は、各画素での露光・読出し処理に係る画素制御と、出力回路１８０から画像処理ＬＳＩ２００への画素信号の伝送処理に係る出力制御と、画素信号に基づく焦点調整処理に係る位相差検波、ＡＦ演算、及びレンズ駆動制御と、の関係を示している。なお、画素制御１と出力制御１は画像生成に用いられる通常画素に係る画素制御と出力制御であり、画素制御２と出力制御２は、焦点調整に用いられる位相差画素に係る画素制御と出力制御である。また、図１０において横軸は時間方向を示している。また、画素制御１、画素制御２、出力制御１、出力制御２における縦軸は、対象となる画素信号の出力元である画素の行方向の位置を示している。

図１０に示す期間Ｔ１１は、本実施形態に係るイメージセンサ１００における撮影間隔を示している。期間Ｔ１２は、本実施形態に係る通常画素の露光時間を、期間Ｔ１３は本実施形態に係る位相差画素の露光時間を示している。本実施形態において、通常画素の露光時間である期間Ｔ１２と位相差画素の露光時間である期間Ｔ１３は異なってもよい。例えば、制御部１０１は、露光制御部としての機能を発揮し、位相差画素（焦点検出画素）の露光時間である期間Ｔ１３が、通常画素の露光時間である期間Ｔ１２よりも長くなるように、位相差画素の露光と通常画素の露光を制御してもよい。かかる構成によれば、前述したように、暗い領域でのＡＦ精度が向上するという効果がある。

また、参照符号ｄ２１０～ｄ２１２は、露光期間ｄ１１０～ｄ１１２のそれぞれにおいて、イメージセンサ１００が通常画素から読出してフレームメモリ１９０に記録した本線画素信号を、出力回路１８０が出力する出力処理を示している。また、参照符号ｄ２２１、ｄ２２２は、露光期間ｄ１２１、ｄ１２２のそれぞれにおいて、イメージセンサ１００が位相差画素から読出した焦点画素信号を、出力回路１８０が出力する出力処理を示している。なお、出力処理ｄ２１０～ｄ２１２では、出力回路１８０は本線画素信号を図４に示すストリームｎ２として出力し、出力処理ｄ２２１、ｄ２２２では、出力回路１８０は焦点画素信号を図４に示すストリームｎ１として出力する。

また、参照符号ｄ３１１，ｄ３１２は、出力処理ｄ２２１、ｄ２２２において焦点画素信号が入力された（出力回路１８０の出力を受け取った）画像処理部２１０が被写体距離を測定（測距）する位相差検波処理を示している。また、参照符号ｄ３２１、ｄ３２２は、位相差検波処理ｄ２２１，ｄ２２２において測定された被写体距離と、露光期間ｄ１２１、ｄ１２２におけるレンズ位置と、に基づいて駆動制御部１２がレンズ駆動量を算出するＡＦ演算処理を示している。また、参照符号ｄ３３１、ｄ３３２は、ＡＦ演算処理ｄ３２１、ｄ３２２において算出されたレンズ駆動量に基づいて、駆動制御部１２がレンズ駆動指示を行ってからレンズ駆動が完了するまでのレンズ駆動処理を示している。なお、以下では、位相差検波処理、ＡＦ演算処理、及びレンズ駆動処理、を合わせてＡＦに係る一連の処理と呼ぶ場合がある。

図１０に示すように、露光期間ｄ１１０～ｄ１１２における通常画素の露光と本線画素信号の読出し（フレームメモリ１９０への記録）終了後に、フレームメモリ１９０から読出された本線画素信号の出力処理ｄ２１０～ｄ２１２が行われる。一方、露光期間ｄ１２１、ｄ１２２における位相差画素の露光と焦点画素信号の読出し終了後に、読出された焦点画素信号の出力処理ｄ２２１、ｄ２２２が行われる。

ここで、本実施形態においては、通常画素の数に比べ、焦点調整に用いられる位相差画素の数は少なく、また、焦点画素信号はフレームメモリ１９０を経由せずに出力されるため、出力処理ｄ２２１、ｄ２２２の方が出力処理ｄ２１０～ｄ２１２に比べて処理時間が小さい。したがって、例えば、位相差画素のＡ／Ｄ変換（読出し）と出力処理ｄ２２１の直後に、通常画素のＡ／Ｄ変換とフレームメモリ１９０への記録が行われることで、レンズ駆動処理ｄ３３１が通常画素の入出力中（出力処理ｄ２１１）に完了する。すなわち、ＡＦに係る一連の処理ｄ３１１、ｄ３２１、ｄ３３１を通常画素の露光期間ｄ１１２の開始までに完了することが可能である。したがって、図１０に示す本動作例において、測距のための露光開始から、オートフォーカスが反映されるまでに必要な時間（レイテンシ）は、撮影間隔Ｔ１１と位相差画素の露光期間ｄ１２１の合計以下である。位相差画素の露光期間ｄ１２１は、撮影間隔に比べて小さいため、図３を参照して説明した比較例と比べ、本動作例はオートフォーカスにかかるレイテンシを小さくすることが可能である。

なお、図１０の例では、レンズ駆動処理ｄ３３１が位相差画素の露光期間ｄ１２２の開始までに完了する例を示しているが、本動作例はかかる例に限定されない。例えば、レンズ駆動処理ｄ３３１が位相差画素の露光期間ｄ１２２の開始までに完了していなかった場合、露光期間ｄ１２２におけるレンズの平均位置や中央位置等が代表的なレンズ位置として用いられて、ＡＦ演算処理ｄ３２２が行われてもよい。

＜３－２．動作例２＞
以上、本実施形態に係る撮像装置１の動作例として、１回の焦点調整のために焦点画素信号の読出しと出力が１回ずつ行われる動作例１について図１０を参照して説明した。続いて、１回の焦点調整のために焦点画素信号の読出しと出力が複数回行われる動作例２図１１を参照して説明する。図１１は、本実施形態に係る撮像装置１において、１回の焦点調整のために焦点画素信号の読出しと出力が複数回行われる動作例２を説明するための概略的なタイムチャートである。

図１１は、各画素での露光・読出し処理に係る画素制御と、出力回路１８０から画像処理ＬＳＩ２００への画素信号の伝送処理に係る出力制御と、画素信号に基づく焦点調整処理に係る位相差検波、ＡＦ演算、及びレンズ駆動制御と、の関係を示している。なお、図１０と同様、図１１における画素制御１と出力制御１は画像生成に用いられる通常画素に係る画素制御と出力制御であり、画素制御２と出力制御２は、焦点調整に用いられる位相差画素に係る画素制御と出力制御である。また、図１０と同様、図１１において横軸は時間方向を示している。また、図１０と同様、図１１において、画素制御１、画素制御２、出力制御１、出力制御２における縦軸は、対象となる画素信号の出力元である画素の行方向の位置を示している。

図１１に示す参照符号Ｔ２１及びＴ２２は、本実施形態に係るイメージセンサ１００における垂直同期信号の一例を示している。また、参照符号ｔ１、ｔ２は、撮影処理が開始される時刻であり、期間Ｔ２１は時刻ｔ１からｔ２までの撮影間隔（通常画素の露光が行われる間隔）である。例えば、撮影間隔である期間Ｔ２１は約１／２０［ｓ］であり、対応するフレームレートは約２０［ｆｐｓ］である。また、期間Ｔ２２は約１／１２０［ｓ］であり、対応するフレームレートは約１２０［ｆｐｓ］である。

また、図１１に示す参照符号ｄ１５１、ｄ１５２は、図１０を参照して説明した露光期間ｄ１１１、ｄ１１２と同様である。また、参照符号ｄ２５０～ｄ２５２は、図１０を参照して説明した出力処理ｄ２１０～ｄ２１２と同様である。なお、出力処理ｄ２１０は、露光期間ｄ１１１より以前に行われた通常画素の露光・読出しに対応する出力処理を示している。

また、図１１に示す参照符号ｄ１６１～ｄ１６５は、図１０を参照して説明した露光期間ｄ１２１、ｄ１２２と同様であるが、図１１に示す例では、１回の焦点調整のために複数回の露光と読出し（露光期間）が複数回行われる。また、参照符号ｄ２６１～ｄ２６５は、図１０を参照して説明した出力処理ｄ２２１、ｄ２２２と同様であるが、図１１に示す例では、１回の焦点調整のために複数回の出力処理が行われる。

また、図１１に示す参照符号ｄ３５１～ｄ３５５は、図１０を参照して説明した位相差検波処理ｄ３１１、ｄ３１２と同様であるが、図１１に示す例では、露光期間ｄ１６１～ｄ１６５に対応して、１回の焦点調整のために複数回の位相差検波処理が行われる。同様に、参照符号ｄ３６１～ｄ３６５は、図１０を参照して説明したＡＦ演算処理ｄ３２１、ｄ３２２と同様であるが、図１１に示す例では、１回の焦点調整のために複数回のＡＦ演算処理が行われる。

また、図１１に示す参照符号ｄ３７１、ｄ３７２は、図１０を参照して説明したレンズ駆動処理ｄ３３１と同様である。ただし、図１１に示す例では、１回のレンズ駆動処理（例えばレンズ駆動処理ｄ３７１）に対し、ＡＦ演算処理ｄ３６１～ｄ３６４による４回分のＡＦ演算の結果が入力される。本動作例では、駆動制御部１２は、レンズ駆動中であっても、ＡＦ演算処理を行う度に、最新のＡＦ演算結果を用いてレンズ駆動指示を行うことで、より高精度にレンズ駆動制御を行うことが可能となる。その結果、オートフォーカスの精度が向上する。

また、図１１に示すレンズ駆動処理ｄ３７１に係る焦点調整に着目すると、ＡＦ演算処理ｄ３６４から、レンズ駆動処理ｄ３７１が完了するまでの時間は、図１０に示すＡＦ演算処理ｄ３２１からレンズ駆動処理ｄ３３１が完了するまでの時間よりも小さい。これは、図１１の例において、ＡＦ演算処理ｄ３６４の結果を用いてレンズ駆動する場合、直前のＡＦ演算処理であるＡＦ演算処理ｄ３６３の結果が既にレンズ駆動処理に入力・反映されているため、必要なレンズ駆動量が小さくなりやすいためである。ここで、測距のための露光期間ｄ１６４の開始から、オートフォーカスが反映された露光期間ｄ１５２の開始時間までを、オートフォーカスにかかるレイテンシと捉えることが可能である。したがって、本動作例は、よりオートフォーカスにかかるレイテンシを小さくすることが可能である。

上記のように、図１１に示す本動作例では、本線画素信号が一回出力される期間中に、焦点画素信号が複数回出力される。本実施形態に係るイメージセンサ１００がフレームメモリ１９０を備え、フレームメモリ１９０が本線画素信号を記録可能であるため、上記のように、フレームメモリ１９０から読出された本線画素信号の入出力中に位相差画素の露光処理や出力処理が可能となる。したがって、１回の焦点調整のために、複数回の焦点画素信号の出力処理、位相差検波処理、ＡＦ演算処理が可能となり、オートフォーカスに係るレイテンシを小さくすることが可能であると共に、オートフォーカスの精度が向上する。

なお、図１１に示すように露光期間ｄ１６２、ｄ１６３、ｄ１６４とレンズ駆動処理ｄ３７１の期間が重複するため、前述したように、各露光期間における代表的なレンズ位置が用いられて、ＡＦ演算処理ｄ３６２、ｄ３６３、ｄ３６４が行われてもよい。

＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

＜４－１．変形例１＞
上記実施形態では、焦点調整に用いられる焦点検出画素が、位相差方式により焦点調整を行うための位相差画素である例を説明したが、本技術は上記の例に限定されない。例えば、焦点検出画素は、画像のコントラストが高くなるレンズ位置を合焦位置とするコントラスト方式により焦点調整を行うための画素であってもよい。焦点調整として、コントラスト方式が用いられる場合、焦点検出画素は、画像生成にも利用可能な通常画素であってもよい。この場合、後述する変形例２と同様に、通常画素の一部の画素、または一部のラインが、上記以外の画素とは独立して制御されてもよい。また、焦点調整方式として、上記の位相差方式とコントラスト方式の２つの方式を組み合わせたハイブリッド方式が用いられる場合であっても、本技術は適用可能である。

＜４－２．変形例２＞
上記実施形態では、制御部が、画素アレイ部に予め配置された焦点検出画素からの焦点画素信号の読出しと、画像生成用の通常画素からの本線画素信号の読出しとが、独立して行われるように画素を制御する例を説明したが本技術は上記に限定されない。本技術では、任意の画素が独立して（先行して）読出されてもよい。

例えば、先行して読出される画素は焦点検出画素に限定されず、通常画素のうち、一部の画素、または一部のラインからの読出しと出力が先行して行われ、上記以外の画素がフレームメモリに記録された後に読出されて出力されるよう制御することも可能である。上記制御を行うことで、例えば、一部の画素から先行して出力される画素信号に基づいて、画像処理ＬＳＩが画像の解析を行ったり、表示部が低解像度のプレビュー画像（所謂スルー画）を表示したりしてもよい。かかる構成によれば、全ての画素を読出してから画像の解析やプレビュー画像の表示を行う場合に比べて、撮影から解析や表示の処理が行われるまでの時間を短縮することが可能である。

また、任意の画素を独立して読出し可能であるため、先行して読み出される画素が、焦点調整に用いられる焦点検出画素である場合において、焦点検出画素の配置は、予め定められている必要はない。例えば、焦点検出画素は、画像処理に基づいて特定されてもよい。この場合、制御部は画像処理に基づいて特定される焦点検出画素からの焦点画素信号の読出しと、本線画素信号の読出しとが、独立して行われるよう画素を制御する。また、画像処理は、例えば、画像処理ＬＳＩが備える画像処理部によって行われ、画像処理結果を受け取ったイメージセンサが焦点検出画素を特定してもよい。かかる構成によれば、画像処理に基づいて特定される、必要な焦点検出画素のみ先行して読出し・出力を行えばよいため、焦点画素信号の読出しと出力に係る処理時間をより短縮することが可能な場合がある。また、かかる構成によれば、ユーザの目的に応じた画像処理の結果に基づいて焦点検出画素を特定することで、撮像装置による撮影範囲の内、ユーザの望む領域に合焦した状態で撮影を行うことが可能である。

例えば、上記の画像処理は、被写体追跡処理を含み、上記の画像処理に基づいて特定される焦点検出画素は、被写体追跡処理により特定される被写体領域（焦点調整用の検波枠）に対応する画素であってもよい。かかる構成によれば、撮像装置による撮影範囲の内、特定の被写体に合焦した状態で撮影を行うことが可能である。

例えば、上記の画像処理は、物体検出処理を含み、上記の画像処理に基づいて特定される焦点検出画素は、物体検出処理により特定される物体領域（焦点調整用の検波枠）に対応する画素であってもよい。検出される物体としては、例えば人物、顔、車、などであってもよい。かかる構成によれば、撮像装置による撮影範囲の内、特定の物体に合焦した状態で撮影を行うことが可能である。

＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、焦点調整に用いられる焦点検出画素からの焦点画素信号を、通常画素からの本線画素信号に対して先行して読出し、出力することで、オートフォーカスにかかるレイテンシを小さくすることが可能である。また、本実施形態に係るイメージセンサは、フレームメモリを備えることで、本線画素信号を一回出力する期間に、焦点画素信号を複数回出力することが可能であり、オートフォーカスに係る精度を高めると共に、レイテンシをさらに小さくすることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像装置が電子的に各画素の露光期間を制御する例を説明したが、本技術はかかる例に限定されない。例えば、機械式の先幕及び後幕を用いた所謂フォーカルプレーンシャッターを備え、先幕と後幕の移動により各画素の露光期間を制御する撮像装置に本技術が適用されてもよい。

また、上記実施形態では、通常画素の画素制御（露光と読出しが行われる露光期間）の直前に位相差画素の画素制御が行われる例を説明したが、本技術はかかる例に限定されない。例えば、図１０の例において、通常画素の画素制御（露光期間ｄ１１１）の直前に位相差画素の画素制御（露光期間ｄ１２１）が行われているが、通常画素の画素制御の後に位相差画素の画素制御が行われてもよい。特に、通常画素の画素制御の後に行われる位相差画素の画素制御に基づくレンズ駆動処理を、当該通常画素の画素制御の次に行われる通常画素の画素制御以前に完了することが可能な場合、オートフォーカスにかかるレイテンシが、より小さくなり得る。

また、上記実施形態の動作例における各処理は、必ずしもタイムチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の動作例における各処理は、タイムチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、
前記通常画素から読み出された本線画素信号が記録されるフレームメモリと、
前記フレームメモリに記録された前記本線画素信号と、前記焦点検出画素から読み出された焦点画素信号と、が独立して入力される入力部と、
前記本線画素信号の入力中に、前記焦点画素信号に基づくフォーカスレンズの駆動指示を行うレンズ駆動指示部と、
を備える撮像装置。
（２）
前記焦点画素信号は、前記本線画素信号が一回出力される期間中に、複数回出力される、（１）に記載の撮像装置。
（３）
前記フレームメモリに記録された前記本線画素信号を出力する出力部をさらに備える、（１）または（２）に記載の撮像装置。
（４）
前記焦点検出画素の露光と前記画像生成に用いられる画素の露光をそれぞれ制御する露光制御部をさらに備える、（１）～（３）のいずれか一項に記載の撮像装置。
（５）
前記露光制御部は、前記焦点検出画素の露光時間と前記画像生成に用いられる画素の露光時間とが異なるように、前記焦点検出画素の露光と前記画像生成に用いられる画素の露光を制御する、（４）に記載の撮像装置。
（６）
前記露光制御部は、前記焦点検出画素の露光時間が前記画像生成に用いられる画素の露光時間より長くなるように、前記焦点検出画素の露光と前記画像生成に用いられる画素の露光を制御する、（５）に記載の撮像装置。
（７）
画像処理に基づいて特定される前記焦点検出画素からの前記焦点画素信号の読出しと、前記本線画素信号の読出しとが、独立して行われるよう画素を制御する制御部をさらに備える、（１）～（６）のいずれか一項に記載の撮像装置。
（８）
前記画像処理は、被写体追跡処理を含み、前記画像処理に基づいて特定される前記焦点検出画素は、前記被写体追跡処理により特定される被写体領域に対応する画素である、（７）に記載の撮像装置。
（９）
前記画像処理は、物体検出処理を含み、前記画像処理に基づいて特定される前記焦点検出画素は、前記物体検出処理により特定される物体領域に対応する画素である、（７）または（８）に記載の撮像装置。
（１０）
前記焦点検出画素は、位相差方式により焦点調整を行うための画素である、（１）～（９）のいずれか一項に記載の撮像装置。
（１１）
前記制御部は１つの画素から２以上の同一の画素信号の読出しが行われるよう制御する（７）に記載の撮像装置。
（１２）
画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイを有する撮像装置が実行する撮像方法であって、
前記通常画素から読み出された本線画素信号がフレームメモリに記録されることと、
前記フレームメモリに記録された前記本線画素信号と、前記焦点検出画素から読み出された焦点画素信号と、が独立して入力されることと、
前記本線画素信号の入力中に、前記焦点画素信号に基づくフォーカスレンズの駆動指示を行うことと、
を含む、撮像方法。

１ 撮像装置
１１ フォーカスレンズ
１２ 駆動制御部
１３ 操作部
１４ コーデック処理部
１５ 記録部
１６ 表示部
１００ イメージセンサ
１００－１ 画素チップ
１００－２ 周辺回路チップ
１０１ 制御部
１１１ 画素アレイ部
１８０ 出力回路
１９０ フレームメモリ
２１０ 画像処理部

Claims (13)

1. 画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、
   フレームメモリと、
   所定の撮影間隔で示される期間内に露光され、前記通常画素から読み出され、前記フレームメモリに記録された本線画素信号と、前記期間内に露光され、前記焦点検出画素から読み出され、前記フレームメモリに記録されていない焦点画素信号と、を出力する出力部と、を備えるイメージセンサーと、
   前記出力部から出力された前記本線画素信号と前記出力部から出力された前記焦点画素信号が入力され、入力された前記焦点画素信号に基づいて被写体距離の測定を行う画像処理部と、
   前記画像処理部への前記本線画素信号の入力終了までに、前記被写体距離に基づいてフォーカスレンズを駆動させる駆動制御部と、
   を備える撮像装置。
2. 画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、
   フレームメモリと、
   所定の撮影間隔で示される期間内に露光され、前記通常画素から読み出され、前記フレームメモリに記録された本線画素信号と、前記期間内に露光され、前記焦点検出画素から読み出され、前記フレームメモリに記録されていない焦点画素信号と、を出力する出力部と、を備えるイメージセンサーと、
   前記出力部から出力された前記本線画素信号と前記出力部から出力された前記焦点画素信号が入力され、入力された前記焦点画素信号に基づいて被写体距離の測定を行う画像処理部と、
   前記画像処理部への前記本線画素信号の入力終了までに、前記被写体距離に基づくフォーカスレンズの駆動指示を行う駆動制御部と、
   を備える、撮像装置。
3. 前記焦点画素信号は、前記本線画素信号が一回出力される期間中に、複数回出力される、請求項１または２に記載の撮像装置。
4. 前記焦点検出画素の露光と前記画像生成に用いられる画素の露光をそれぞれ制御する露光制御部をさらに備える、請求項１～３のいずれか一項に記載の撮像装置。
5. 前記露光制御部は、前記焦点検出画素の露光時間と前記画像生成に用いられる画素の露光時間とが異なるように、前記焦点検出画素の露光と前記画像生成に用いられる画素の露光を制御する、請求項４に記載の撮像装置。
6. 前記露光制御部は、前記焦点検出画素の露光時間が前記画像生成に用いられる画素の露光時間より長くなるように、前記焦点検出画素の露光と前記画像生成に用いられる画素の露光を制御する、請求項５に記載の撮像装置。
7. 画像処理に基づいて特定される前記焦点検出画素からの前記焦点画素信号の読出しと、前記本線画素信号の読出しとが、独立して行われるよう画素を制御する制御部をさらに備える、請求項１～６のいずれか一項に記載の撮像装置。
8. 前記画像処理部は、被写体追跡処理を含む画像処理を行い、
   前記画像処理に基づいて特定される前記焦点検出画素は、前記被写体追跡処理により特定される被写体領域に対応する画素である、請求項６に記載の撮像装置。
9. 前記画像処理は、物体検出処理を含み、前記画像処理に基づいて特定される前記焦点検出画素は、前記物体検出処理により特定される物体領域に対応する画素である、請求項７または８に記載の撮像装置。
10. 前記焦点検出画素は、位相差方式により焦点調整を行うための画素である、請求項１～９のいずれか一項に記載の撮像装置。
11. 前記制御部は１つの画素から２以上の同一の画素信号の読出しが行われるよう制御する請求項７に記載の撮像装置。
12. 画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、フレームメモリと、所定の撮影間隔で示される期間内に露光され、前記通常画素から読み出され、前記フレームメモリに記録された本線画素信号と、前記期間内に露光され、前記焦点検出画素から読み出され、前記フレームメモリに記録されていない焦点画素信号と、を出力する出力部と、を備えるイメージセンサーと、を有する撮像装置が実行する撮像方法であって、
    所定の撮影間隔で示される期間内に露光され、前記通常画素から読み出された本線画素信号と、前記期間内に露光され、前記焦点検出画素から読み出された焦点画素信号と、を出力することと、
    出力された前記本線画素信号と出力された前記焦点画素信号が入力され、入力された前記焦点画素信号に基づいて被写体距離の測定を行うことと、
    前記本線画素信号の入力終了までに、前記被写体距離に基づいてフォーカスレンズを駆動させることと、
    を含む、撮像方法。
13. 画像生成に用いられる通常画素と焦点調整に用いられる焦点検出画素を含む画素アレイと、フレームメモリと、所定の撮影間隔で示される期間内に露光され、前記通常画素から読み出され、前記フレームメモリに記録された本線画素信号と、前記期間内に露光され、前記焦点検出画素から読み出され、前記フレームメモリに記録されていない焦点画素信号と、を出力する出力部と、を備えるイメージセンサーと、を有する撮像装置が実行する撮像方法であって、
    出力された前記本線画素信号と出力された前記焦点画素信号が入力され、入力された前記焦点画素信号に基づいて被写体距離の測定を行うことと、
    前記本線画素信号の入力終了までに、前記被写体距離に基づくフォーカスレンズの駆動指示を行うことと、
    を含む、撮像方法。

Images