JP4867552B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関する。

撮像用画素と焦点検出用画素とを有する撮像素子により被写体像の撮像を行う撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００２−０７６３１７号公報

しかしながら、上述した従来の撮像装置では、撮像用画素の画像信号を表示装置に表示しながら焦点検出用画素の画像信号により焦点検出を行うと、快適な画像表示のための短周期のリフレッシュ動作と、低輝度被写体に対する焦点検出とを両立させるのが困難であるという問題がある。

請求項１の発明は、光学系による光束を複数の画素により光電変換して蓄積するとともに、該蓄積した信号を出力する撮像素子と、撮像素子から周期的に信号を読み出す読み出し手段と、読み出し手段より読み出された信号に基づく表示を行う表示手段と、読み出し手段により読み出された信号を読み出しごとに記憶する記憶手段と、読み出し手段により新たに読み出された信号のレベルが焦点検出に必要な閾値に達しているかを判定する判定手段と、判定手段により閾値に達していないと判定された場合は、読み出し手段により読み出された信号と記憶手段に記憶されている信号とを前記閾値に達するまで累積的に加算する加算手段と、読み出し手段により信号が新たに読み出されるたびに、判定手段により信号のレベルが前記閾値に達していると判定された場合は、読み出し手段により新たに読み出された信号に基づいて光学系の焦点調節状態を検出し、また判定手段により信号のレベルが前記閾値に達していないと判定された場合は、加算手段により加算された信号に基づいて光学系の焦点調節状態を検出する焦点検出手段とを備える。

本発明によれば、高品質なファインダー画像表示を維持しながら確実に焦点検出を行うことができる。

本願発明の一実施の形態による撮像装置をデジタルスチルカメラに適用した例を説明する。図１は一実施の形態の構成を示す。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２はマウント部２０４によりカメラボディ２０３に装着される。

交換レンズ２０２はレンズ駆動制御装置２０６、ズーミング用レンズ２０８、レンズ２０９、フォーカシング用レンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６は、マイクロコンピューターとメモリなどの周辺部品から成り、フォーカシング用レンズ２１０と絞り２１１の駆動制御、絞り２１１、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の状態検出、後述するボディ駆動制御装置２１４に対するレンズ情報の送信とカメラ情報の受信などを行う。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には後述する画素が二次元状に配列されており、交換レンズ２０２の予定結像面に配置されて交換レンズ２０２により結像される被写体像を撮像する。なお、詳細を後述するが撮像素子２１２の所定の焦点検出位置には焦点検出用画素が配列される。

ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成され、撮像素子２１２からの画像信号の読み出し、画像信号の補正、交換レンズ２０２の焦点調節状態の検出、レンズ駆動制御装置２０６からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、ディジタルスチルカメラ全体の動作制御などを行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６は、マウント部２０４の電気接点部２１３を介して通信を行い、各種情報の授受を行う。

液晶表示素子駆動回路２１５は、液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）の液晶表示素子２１６を駆動する。撮影者は接眼レンズ２１７を介して液晶表示素子２１６に表示された像を観察することができる。メモリカード２１９はカメラボディ２０３に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。

交換レンズ２０２を通過して撮像素子２１２上に形成された被写体像は、撮像素子２１２により光電変換され、その出力はボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、撮像素子２１２上の焦点検出画素の出力データに基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力に基づいて生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、液晶表示素子２１６に画像を表示させる。

カメラボディ２０３には不図示の操作部材（シャッターボタン、焦点検出位置の設定部材など）が設けられており、これらの操作部材からの操作状態信号をボディ駆動制御装置２１４が検出し、検出結果に応じた動作（撮像動作、焦点検出位置の設定動作、画像処理動作）の制御を行う。

レンズ駆動制御装置２０６はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、レンズ２０８、２１０の位置と絞り２１１の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動する。

図２は、一実施の形態の撮影画面上の焦点検出位置、すなわち後述する焦点検出画素列が焦点検出の際に撮影画面上で被写体像をサンプリングする領域（焦点検出エリア）を示す。この一実施の形態では、撮影画面１００の中央に焦点検出エリア１０１が配置される。長方形で示す焦点検出エリア１０１の長手方向に焦点検出画素が直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の上述した焦点検出エリア１０１近傍を拡大したものである。図において、縦横（画素の行と列）は図２の撮影画面１００の縦横に対応している。撮像素子２１２は撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１２、３１３から構成され、焦点検出エリア１０１には焦点検出画素３１２、３１３が交互に水平方向に配列されている。焦点検出画素３１２、３１３は、撮像画素３１０のＢとＧが配置されるべき行に直線的に配置されている。

図４に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、不図示の色フィルタから構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性となっている。撮像素子２１２には、このような各色フィルタを備えた撮像画素３１０がベイヤー配列されている。

図５は焦点検出画素３１２、３１３の構成を示す。図５(ｂ)に示すように、焦点検出画素３１２はマイクロレンズ１０と光電変換部１２から構成される。光電変換部１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、図５(ａ)に示すように、焦点検出画素３１３はマイクロレンズ１０と光電変換部１３から構成される。光電変換部１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２と１３はマイクロレンズ１０を重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１２と焦点検出画素３１３は、水平方向すなわち光電変換部１２と１３の並び方向に交互に配置される。

焦点検出画素３１２、３１３には光量をかせぐために色フィルタが配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光特性とを総合した分光特性（図７参照）、すなわち、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

撮像用画素３１０の光電変換部１１は、マイクロレンズ１０により最も明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１２、３１３の光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。

図８は撮像画素３１０の断面図である。撮像画素３１０は、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、色フィルター（不図示）はマイクロレンズ１０と光電変換部１１の中間に配置される。

図９は焦点検出画素３１２、３１３の断面図である。図９(ａ)は焦点検出画素３１２の断面を示し、焦点検出画素３１２は光電変換部１２の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２が前方に投影される。光電変換部１２は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１２はマイクロレンズ１０の光軸の片側に配置される。

図９(ｂ)は焦点検出画素３１３の断面を示し、焦点検出画素３１３は光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１３はマイクロレンズ１０の光軸の片側で、かつ光電変換部１２の反対側に配置される。

図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｃはマイクロレンズ、１２ａ、１２ｂ、１３ａ、１３ｂは光電変換部、３１２ａ、３１２ｂ、３１３ａ、３１３ｂは画素、７２，７３、８２，８３は光束である。

また、９２はマイクロレンズ１０ａ、１０ｃにより投影された光電変換部１２ａ、１２ｂの領域であり、以下では測距瞳と呼ぶ。９３はマイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１３ａ、１３ｂの領域であり、以下では測距瞳と呼ぶ。なお、図ではわかりやすくするために測距瞳９２、９３を楕円領域で示しているが、実際は光電変換部の形状が拡大投影された形状となる。

図１０では、隣接する４画素（画素３１２ａ、３１２ｂ、３１３ａ、３１３ｂ）を模式的に例示するが、その他の画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。なお、焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ１０ａ〜１０ｄは交換レンズの予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１２ａ、１２ｂ、１３ａ、１３ｂの形状が、マイクロレンズ１０ａ〜１０ｄから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素における光電変換部の投影方向が決定されている。

光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向う光束７２によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｃに向う光束８２によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ｂに向う光束７３によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９２を通過し、マイクロレンズ１０ｄに向う光束８３によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。

上述したような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。

さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。なお、上述した説明では測距瞳は絞り開口によって制限されていない状態として説明を行ったが、実際には測距瞳は絞り開口によって制限された形状と大きさになる。

図１１は、瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図である。図１１(ａ)において、光学系の射出瞳面９０において測距瞳９２、９３に分割され、像を形成する光束は測距瞳９２を通過する光束７２と、測距瞳９３を通過する光束７３に分割される。このような構成により、例えば光軸９１上にあり図１１の紙面に垂直な方向の線パターン（黒地に白線）を光学系により結像させた場合、合焦面Ｐ０においては測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図１１(ｃ)に示すように光軸９１上の同じ位置に高コントラストな線像パターンを形成する。

一方、合焦面Ｐ０より前方の面Ｐ１においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図１１(ｂ)に示すように異なる位置にぼけた線像パターンを形成する。また、合焦面Ｐ０より後方の面Ｐ２においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図１１(ｄ)に示すように図１１(ｂ)とは反対方向の異なる位置にぼけた線像パターンを形成する。したがって、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とにより形成される２つの像を分離して検出し、２つの像の相対的な位置関係（像ズレ量）を算出することにより、２つの像を検出した面における光学系の焦点調節状態（デフォーカス量）を検出できるわけである。

図１２は撮像画素と射出瞳の関係を示す図である。なお、図１０に示す要素と同様な要素に対しては同一の符号を付して説明を省略する。７０はマイクロレンズ、７１は撮像画素の光電変換部、８１は撮像光束である。また、９４はマイクロレンズ７０により投影された光電変換部７１の領域である。なお、図１２では光軸９１上にある撮像画素（マイクロレンズ７０と光電変換部７１からなる）を模式的に例示したが、その他の撮像画素においても光電変換部はそれぞれ領域９４から各マイクロレンズに到来する光束を受光する。

マイクロレンズ７０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ７０によりその背後に配置された光電変換部７１の形状がマイクロレンズ７０から投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は領域９４を形成する。

光電変換部７１は領域９４を通過し、マイクロレンズ７０に向う焦点検出光束８１によりマイクロレンズ７０上に形成される像の強度に対応した信号を出力する。上述したような撮像画素を二次元状に多数配置し、各画素の光電変換部に基づいて画像情報が得られる。なお、上述した説明では領域９４は絞り開口によって制限されていない状態として説明したが、実際には領域９４は絞り開口によって制限された形状と大きさになる。

図１３は射出瞳面における投影関係を示す正面図である。焦点検出画素から光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳９２，９３は、撮像画素から光電変換部をマイクロレンズにより射出瞳面９０に投影した領域９４の内部に包含される。なお、実際には、撮像画素および焦点検出画素の光電変換部が受光する光束は、領域９４および測距瞳９２，９３を交換レンズの絞り開口で絞り込んだ領域を通過する光束となる。一様輝度の被写体を光学系を介して撮像画素と焦点検出画素の光電変換部で撮像させると、同一露光時間では撮像画素の信号レベルが焦点検出画素の信号レベルより大きくなる。

図１４は、図１に示すデジタルスチルカメラ（撮像装置）のボディ内部の詳細な構成を示す図である。図１に示すボディ駆動制御装置２１４は、撮像素子２１２の駆動制御を行う撮像素子駆動制御回路２１４ａ、撮像素子２１２が出力する画像信号を画像データにＡＤ変換するＡＤ変換回路２１４ｂ、画像データを一時的に保持する内部メモリ２１４ｃ、カメラボディの全体的な動作制御およびレンズ駆動制御装置２０６との通信および焦点検出演算を行うボディＣＰＵ２１４ｄから構成される。

撮像素子駆動制御回路２１４ａは、撮像素子２１２の露光時間の制御、画像信号の読出し制御を行うとともに、画像信号の読出しに同期させてＡＤ変換回路２１４ｂを動作させ、内部メモリ２１４ｃに画像データを格納させる。また、液晶表示素子駆動回路２１５を制御して内部メモリ２１４ｃに周期的に格納される画像データを液晶表示素子２１６に表示させ、その表示を周期的にリフレッシュさせる。撮像素子駆動制御回路２１４ａはボディＣＰＵ２１４ｄに対し、内部メモリ２１４ｃに画像データが格納されるタイミング信号および焦点検出画素の画像データの有効または無効を指定する情報を送る。なお、焦点検出画素の画像データの有効または無効の判定は、焦点検出画素において所定の蓄積時間で蓄積した画像データを有効と判定する。

ボディＣＰＵ２１４ｄは撮像素子駆動制御回路２１４ａに対し、撮像素子２１２を周期的に動作させるか、単発的に動作させるかなどの動作制御情報、撮像素子２１２の撮像画素および焦点検出画素の露光時間に関する情報（不図示の測光センサーの出力に応じて決定される）を送る。撮像素子駆動制御回路２１４ａはそれらの情報を受け、撮像素子２１２の動作形態を変更して画像信号の読出しを行うとともに、撮像画素および焦点検出画素の露光時間および画像信号の増幅度を制御する。

ボディＣＰＵ２１４ｄは、内部メモリ２１４ｃに格納された焦点検出画素の画像データが有効である場合にはこれを読み出し、後述する焦点検出演算を行って焦点検出を行う。また、シャッターレリーズ部材（不図示）が操作されると、撮像素子駆動制御回路２１４ａを制御して撮像素子２１２に撮像動作を行わせ、画像データを内部メモリ２１４ｃに取り込ませるとともに、この画像データに対して補正やフォーマット変換を施してメモリーカード２１９に格納させる。

撮像素子駆動制御回路２１４ａは、ボディＣＰＵ２１４ｄの制御にしたがって、シャッターレリーズがなされていない期間は、撮像素子２１２を周期動作（例えば３０画面／秒または６０画面／秒）させて電気的にファインダー表示するとともに、撮像時は撮像素子２１２を単発動作させて撮像動作を行わせる。したがって、非撮像時においてボディＣＰＵ２１４ｄは内部メモリ２１４ｃに有効な焦点検出画素の画像データが格納されるのを待って焦点検出動作を行うとともに、ファインダー表示は周期的にリフレッシュされることになる。

図１５は、図１に示すデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ボディＣＰＵ２１４ｄはカメラの電源が投入されるとこの動作を繰り返し実行する。ステップ１００で電源がオンされるとステップ１１０へ進み、撮像素子駆動制御回路２１４ａに対し指令を出し、撮像素子２１２に周期動作を開始させる。

続くステップ１２０では、測光センサー（不図示）により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになるような絞り値、あるいは操作部材（不図示）によりユーザーが手動で設定した撮影絞り値に応じた絞り制御情報をレンズ駆動制御装置２０６へ送り、絞り開口径を撮影絞り値に設定する。また、撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて撮像画素と焦点検出画素の露光時間および信号増幅度を更新し、更新された情報を撮像素子駆動制御回路２１４ａへ送る。なお、電源オン直後は最新動作時の画像データのレベル（平均値）がないので、予め定められたレベル値を用いる。

ステップ１３０で、最新の焦点検出画素の画素データが内部メモリ２１４ｃに格納された旨の通知が撮像素子駆動制御回路２１４ａから発せされるのを待機する。ステップ１４０において内部メモリ２１４ｃから焦点検出画素の画像データを読み出し、加算処理（詳細後述）を行う。ステップ１５０で加算された画像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。

ステップ１６０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを調べる。合焦近傍でないと判定された場合はステップ１７０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１２０へ戻り、上記動作を繰り返す。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近の間でスキャン駆動させ、ステップ１２０へ戻って上記動作を繰り返す。

一方、合焦近傍であると判定した場合はステップ１８０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合は、ステップ１２０へ戻って上記動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップ１９０へ進み、レンズ駆動制御装置２０６へ絞り制御情報を送信し、交換レンズ２０２の絞り値を撮影絞り値にする。撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて、撮像画素と焦点検出画素で同一の露光時間および信号増幅度を決定し、決定された情報を撮像素子駆動制御回路２１４ａへ送る。

ステップ２００において、絞り制御が終了した時点で撮像素子２１２に単発の撮像動作を行わせ、内部メモリ２１４ｃから撮像素子２１２の撮像画素および全ての焦点検出画素から画像データを読み出す。ステップ２１０では焦点検出画素列の各画素位置の画素データを焦点検出画素のデータおよび周囲の撮像画素のデータに基づいて補間する。ステップ２２０では撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に保存し、ステップ１１０へ戻って上記動作を繰り返す。

図１５のステップ１５０における焦点検出動作の詳細を説明する。焦点検出画素列から出力される一対のデータ列（α１〜αＭ、β１〜βＭ：Ｍはデータ数）に対し、（１）式に示すような高周波カットフィルタ処理を施し、第１データ列、第２データ列（Ａ１〜ＡＮ、Ｂ１〜ＢＮ）を生成する。これにより、データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などは、この処理を省略することもできる。
Ａｎ＝αn＋２・αn+1＋αn+2、
Ｂｎ＝βn＋２・βn+1＋βn+2 ・・・（１）
（１）式において、ｎ＝１〜Ｎである。

データ列Ａｎ、Ｂｎに対し（２）式に示す相関演算を行い、相関量Ｃ(ｋ)を演算する。
Ｃ(ｋ)＝Σ｜Ａn−Ｂn+k｜ ・・・（２）
（２）式において、Σ演算はｎについて累積される。ｎのとる範囲はずらし量ｋに応じてＡn、Ｂn+kのデータが存在する範囲に限定される。ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

（２）式の演算結果は、図１６(ａ)に示すように、一対のデータの相関が高いシフト量（図１６(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(ｋ)が極小（小さいほど相関度が高い）になる。（３）〜（６）式による３点内挿の手法を用い、連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（３）
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜ ・・・（４）
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２ ・・・（５）
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝ ・・・（６）

（３）式で算出されたずらし量ｘの信頼性があるかどうかは、次のようにして判定される。図１６(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。

図１６(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(ｋ)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

（２）式の相関演算の代わりに次式に示す相関演算式を行い、相関量Ｃ(ｋ)を演算してもよい。
Ｃ(ｋ)＝Σ｜Ａn・Ｂn+1+k−Ａn+1・Ｂn+k｜ ・・・（７）
（７）式において、Σ演算はｎについて累積される。ｎのとる範囲はずらし量ｋに応じてＡn、Ａn+1、Ｂn+k、Ｂn+1+kのデータが存在する範囲に限定される。

算出されたずらし量ｘの信頼性があると判定された場合は、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（８）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（８）
（８）式において、ＰＹは検出ピッチ（焦点検出画素のピッチ）であり、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。一対の測距瞳を通過する光束の重心の開き角の大きさは交換レンズの絞り開口の大きさ（絞り値）に応じて変化するので、レンズ情報に応じて決定される。また、一対のデータ系列がぴったり合致した場合（Ｘ＝０）は、実際にはデータ列が検出ピッチの半分だけずれた状態となるので、（３）式で求めたシフト量ｘはデータピッチの半分だけオフセットされて像ズレ量Ｘに換算されて（８）式に適用される。

次に、一実施の形態の撮像素子の構成および動作について詳細に説明する。図１７は撮像素子２１２の動作フロー概念図である。簡単のため撮像素子２１２は４画素×４画素（４行４列）とし、焦点検出画素は２画素が３行目の２列目と３列目に配置されるものとして説明する。図は周期動作時の動作フローである。撮像素子２１２はＣＭＯＳイメージセンサーで、撮像画素からの画像信号の読出しはローリングシャッター方式で行われる。各行において、撮像画素の光電変換部の電荷蓄積（露光）とそれに続く読出しがシーケンシャルに交互に行われる。撮像画素の画像信号の読出しは１行目、２行目、３行目、４行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。

読み出された撮像画素の画像データはＥＶＦ表示に利用される。また、読み出された焦点検出画素の画像データは内部メモリ２１４ｃに過去複数回の読出し分記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。

このような動作シーケンスを行うことにより、ＥＶＦのリフレッシュ周期を一定に保ちながら、確実に焦点検出を行うことが可能になる。なお、撮像画素については、低輝度時の電荷蓄積時間は読出し周期が維持できるまでの時間で制限し、不足分は画像信号の増幅度を調整することによりカバーする。

図１８は撮像素子２１２の回路構成を示す図である。図１７に示す動作フローに対応した４画素×４画素の撮像素子の回路構成であり、２個の焦点検出画素３１２、３１３が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。信号保持部５０２は１行分の画素の画像信号を一時的保持するバッファであり、垂直信号線５０１に出力されている画像信号を垂直走査回路５０３が発する制御信号ΦＨにしたがってラッチする。

撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積は、蓄積制御回路５０４が発する制御信号（ΦＲ１〜ΦＲ４）により行ごとに独立に制御される。撮像画素３１０および焦点検出画素３１２、３１３からの画像信号の出力は、垂直走査回路５０３が発する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号により選択された画素の画像信号は、垂直信号線５０１に出力される。信号保持部５０２に保持された画像信号は、水平走査回路５０５が発する制御信号（ΦＶ１〜ΦＶ４）により順次出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅されて外部に出力される。

図１９は、図１８に示す撮像画素および焦点検出画素の詳細な回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤに蓄積された電荷は、浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。ＦＤ部はリセットＭＯＳトランジスタ５１０を介して電源電圧Ｖｄｄに接続されており、制御信号ΦＲｎ（ΦＲ１〜ΦＲ４、ΦＲａ）によりリセットＭＯＳトランジスタ５１０がオンすると、ＦＤおよびＰＤに溜まった電荷がクリアされリセット状態になる。

ＡＭＰの出力は行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されており、制御信号ΦＳｎ（ΦＳ１〜ΦＳ４）により行選択ＭＯＳトランジスタ５１２がオンすると、ＡＭＰの出力が垂直出力線５０１に出力される。なお、図１９に示す回路構成においては、画像信号の読み出しにより画像信号が破壊される破壊読み出しとなっている。

図２０は、図１８に示す撮像素子２１２の動作タイミングチャートである。１行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨにより垂直信号線５０１に出力された１行目の画像信号は、信号保持部５０２に一時的に保持される。信号保持部５０２に保持された１行目の撮像画素３１０の画像信号は、水平走査回路５０５から順次発せられる制御信号ΦＶ１〜ΦＶ４にしたがって出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅された外部に出力される。

１行目の撮像画素３１０の画像信号の信号保持部５０２への転送が終了した時点で、蓄積制御回路５０４より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、１行目の撮像画素３１０の次の電荷蓄積が開始される。１行目の撮像画素３１０の画像信号の出力回路５０６からの出力が終了した時点で、２行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。以下、同様にして２行目の撮像画素３１０の画像信号の保持および撮像画素３１０のリセット、画像信号の出力が行われる。

続いて３行目の撮像画素３１０と焦点検出画素３１２、３１３の画像信号の保持および撮像画素のリセット、撮像画素３１０と焦点検出画素３１２、３１３の画像信号の出力が行われる。続いて４行目の撮像画素３１０の画像信号の保持および撮像画素のリセット、撮像画素３１０の画像信号の出力が行われる。その後再び１行目に戻り、上記動作が繰り返される。

１行目の撮像画素３１０の画像信号の電荷保持タイミングから、次回の１行目の撮像画素３１０の画像信号の電荷保持タイミングまでの周期Ｔｓは、一定に制御される。撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）は、画素のリセットタイミングから画像信号の保持タイミングまでの時間となる。制御信号ΦＲ１〜ΦＲ４のパルス幅を変更することによって、撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）を調整することが可能である。

図２１により画像データの加算処理を説明する。図２１において、上部に画像信号の読出しの時間経過を示す。画像信号の読出しは所定周期Ｔｓで繰り返し行われ、読み出された最新の画像データにより表示がリフレッシュされる。ｎは最新の読出しサイクルを表し、ｎ−１は前回の読出しサイクル、ｎ−２は前々回の読出しサイクルを表す。各回に読み出された画像信号は内部メモリ２１４ｃ（図１４参照）にスタックして記憶される。画像信号の読出しｎ回目に読み出された焦点検出画素の画像信号は、焦点検出画素信号ｎとして記憶される。焦点検出画素信号ｎが内部メモリ２１４ｃに格納された時点において、加算処理が起動する。

図２２を参照して加算処理の様子を説明する。（１）まず、最新の焦点検出画素信号ｎの最大値Ｐをしきい値Ｐｔｈと比較し、これを超えている場合は焦点検出画素信号ｎをそのまま加算画素信号ｎとして採用する。（２）超えていない場合は、前回の焦点検出画素信号ｎ−１と加算し、加算した画素信号の最大値Ｐをしきい値Ｐｔｈと比較し、これを超えている場合は加算画素信号を加算画素信号ｎとして採用する。（３）超えていない場合はさらに前々回の焦点検出画素信号ｎ−２と加算し、加算した画素信号の最大値Ｐをしきい値Ｐｔｈと比較し、これを超えている場合は加算画素信号を加算画素信号ｎとして採用する。（４）上記加算処理を、加算した画素信号の最大値Ｐがしきい値Ｐｔｈを越えるまで繰り返す。なお、所定回数加算しても加算した画素信号の最大値がしきい値Ｐｔｈを越えない場合は加算処理を打ち切り、加算画素信号を加算画素信号ｎとして採用する。

《一実施の形態の変形例》
図２３は変形例の撮像画素および焦点検出画素の詳細な回路図である。図１９に示す撮像画素および焦点検出画素の回路構成では、ＰＤがＦＤに直結しているため、電荷蓄積の終了タイミングが制御信号ΦＳｎによって規定されるが、図２３に示すように、ＰＤとＦＤの間にスイッチ５１３を設けることによって、電荷蓄積の終了タイミングを制御信号ΦＳｎと独立に制御することができる。なお、他の基本構成は図１９に示す回路と同様である。図２３に示す撮像画素および焦点検出画素では、ＰＤとＦＤの間に転送ＭＯＳトランジスタ５１３が配置されており、制御信号ΦＴｎにより転送ＭＯＳトランジスタ５１３がオンすると、ＰＤの蓄積電荷がＦＤへ転送される。

図２４は変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。図３に示す撮像素子２１２では、焦点検出画素が図５(ａ)、(ｂ)に示す一対の焦点検出画素３１２、３１３から構成されていた。これに対し図２４に示す撮像素子２１２Ａでは、焦点検出画素が１つのマイクロレンズのもとに一対の光電変換部を備えた画素構造を有する。図２４は撮像素子２１２Ａ上のひとつの焦点検出エリア近傍を拡大した図であり、縦横は図２に示す撮像画面の縦横と対応している。この変形例の撮像素子２１２Ａは、撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１１から構成される。

図２５に焦点検出画素３１１の構成を示す。焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３から構成される。光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。また、図２６に焦点検出画素３１１の断面形状を示す。焦点検出用画素３１１では、焦点検出用の光電変換部１２、１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２、１３が前方に投影される。光電変換部１２、１３は半導体回路基板２９上に形成される。

図２７は、図２５、図２６に示す焦点検出画素３１１を用いた瞳分割方式の焦点検出方法を説明する図である。なお、基本原理は図１０に示す一対の焦点検出画素３１２、３１３を用いた瞳分割方式の焦点検出方法と同様である。また、図２７では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５２、５３からなる）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６２、６３からなる）とを模式的に例示するが、その他の焦点検出画素においても一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳９２，９３の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によりその背後に配置された一対の光電変換部５２、５３の形状が、マイクロレンズ５０、６０から投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。光軸９１から離間して配置されたマイクロレンズ６０によりその背後に配置された一対の光電変換部６２、６３の形状が、投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように各画素の投影方向が決定されている。

光電変換部５２は測距瞳９２を通過し、マイクロレンズ５０に向う焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部５３は測距瞳９３を通過し、マイクロレンズ５０に向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部６２は測距瞳９２を通過し、マイクロレンズ６０に向う焦点検出光束８２によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。光電変換部６３は測距瞳９３を通過し、マイクロレンズ６０に向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。

上記のような焦点検出画素３１１を直線状に多数配置し、各画素の一対の光電変換部１２、１３の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。

図２８は、偏光フィルタを用いた瞳分割方式の焦点検出方法を説明する図である。上述した一実施の形態とその変形例では、瞳分割方式としてマイクロレンズを用いた例を説明したが、偏光フィルタを用いて瞳分割方式の焦点検出を行うことができる。図２８では隣接する４画素を模式的に例示している。図２８において、６９０は偏光フィルタ保持枠であり、偏光フィルタ以外の部分は遮光されている。この偏光フィルタ保持枠６９０は交換レンズの絞り近傍に配置される。６９２は偏光フィルタであり、この偏光フィルタ６９２の位置および形状により測距瞳を構成する。６９３も偏光フィルタであり、この変更フィルタ６９３の位置および形状により測距瞳を構成する。偏光フィルタ６９３は偏光フィルタ６９２と偏光方向が直交するように構成される。９１は交換レンズの光軸である。６２１は偏光フィルタであり、偏光方向が偏光フィルタ６９２と一致している。６２２も偏光フィルタであり、偏光方向が偏光フィルタ６９３と一致している。６１１、６１２は光電変換部、６３１、６３２は画素、６７２，６７３、６８２，６８３は光束である。

画素６３１において、光電変換部６１１は、偏光フィルタ６２１の作用により、偏光フィルタ６９２によって形成された測距瞳を通過する光束を受光し、光束６７２または６８２によりに形成される像の強度に対応した信号を出力する。また、画素６３２において、光電変換部６１２は、偏光フィルタ６２２の作用により、偏光フィルタ６９３によって形成された測距瞳を通過する光束を受光し、光束６７３または６８３によりに形成される像の強度に対応した信号を出力する。

上記のような偏光フィルタを用いた画素６３１，６３２を２次元状に配置し、各画素の光電変換部の出力を測距瞳に対応した出力グループにまとめることによって、各測距瞳を各々通過する焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報を得ることができる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。

図２９は撮像画面上における焦点検出エリアの他の配置例を示した図である。焦点検出エリアの数および位置は図２に示す配置に限定されない。図２９は焦点検出画素列が焦点検出の際に、撮像画面上で像をサンプリングする領域、焦点検出エリアと焦点検出位置の例を示している。撮像画面１００上の５カ所に焦点検出エリア１０２〜１０６が配置される。長方形で示した焦点検出エリアの長手方向に焦点検出画素が直線的に配列される。ユーザーが操作部材（不図示）により複数の焦点検出エリアから構図に応じて１つの焦点検出エリアをマニュアルで選択したり、すべての焦点検出エリアを同時に選択し、得られる複数の焦点検出結果より最適なものを自動的に選択する。

すべての焦点検出エリアを同時に動作させる場合は、周期的に画像データを撮像素子から読み出すとともに、ＥＶＦに画面を周期的にリフレッシュして表示させながら、各焦点検出エリアに属する焦点検出画素の画像データを焦点検出エリアごとにスタック記憶していく。最新の画像データが格納されるたびに、焦点検出エリアごとに独立に図２１で説明した加算処理を適用することによって、焦点検出エリアごとに焦点検出演算に適した加算画像データを生成し、各加算画像データに対して焦点検出演算処理を行い、各焦点検出エリアのデフォーカス量を算出する。得られた複数のデフォーカス量に基づいて所望のアルゴリズム（平均、最至近など）で最終的なデフォーカス量を決定する。このようにすれば、各焦点検出エリアの輝度に大きな相違があっても、表示用に所定の周期で画像信号を破壊読出ししながら、各焦点検出エリアの焦点検出に用いる画像データのレベルを適切なレベルに維持することができ、すべての焦点検出エリアにおいて確実に焦点検出を行うことができる。

図３０は変形例の撮像素子２１２Ｂの詳細な構成を示す正面図である。なお、図３０は撮像素子２１２Ｂの一部の領域を拡大して示し、縦横は図２に示す撮像画面の縦横に対応している。図３に示す撮像素子２１２では、焦点検出画素３１２、３１３に色フィルタが設けられず、撮像画素３１０の配列の中の一部に撮像画素３１０の代わりに配置されている。これに対し図３０に示す撮像素子２１２Ｂでは、撮像素子２１２Ｂを構成する画素はすべて色フィルタを備えた焦点検出画素から構成される。

撮像素子２１２Ｂは、緑色の色フィルタを備えた一対の焦点検出画素３２２、３２３と、青色の色フィルタを備えた一対の焦点検出画素３３２、３３３と、赤色の色フィルタを備えた一対の焦点検出画素３４２、３４３とが図のように配列されて構成される。色フィルタのみ注目するとベイヤー配列となっており、焦点検出画素の画像信号を表示用に直接用いることができる。同色の色フィルタを備えた一対の画像信号に基づいて、色ごとに焦点検出を行うことが可能になる。上記構成においては、焦点検出エリアの位置、数を自由に設定することが可能になる。

図３１は撮像素子の変形例の回路構成を示す概念図である。図１８に示す撮像素子の回路構成概念図ではＣＭＯＳの回路構成例を示し、画像信号はローリングシャッター方式で読み出されている。これに対し図３１に示す撮像素子の回路構成概念図では、ＣＣＤの回路構成例を示し、画像信号は全画素同時露光方式で読み出される。図３１において、撮像素子は４画素×４画素のレイアウトになっており、焦点検出画素３１２、３１３は２画素が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。撮像画素３１０と焦点検出画素３１２、３１３は制御回路５５１の制御のもとに全画素同一タイミングで電荷蓄積され、蓄積された電荷は全画素同時に垂直レジスタ５５２に転送される。

垂直レジスタ５５２に転送された電荷は１行ごとに水平レジスタ５５３に転送される。水平レジスタ５５３に転送された１行分の画像信号は水平レジスタ５５３により出力回路５５４に転送され、外部出力される。１行分の水平レジスタ５５３の転送が終了すると、垂直レジスタ５５２が水平レジスタ方向に１行分転送され、水平レジスタ５５３は転送された１行分の画像信号を外部出力する。以上の動作を繰り返して４行分の画像信号を外部へ出力する。

図３２は、図３１に示す撮像素子の周期動作時の動作フローである。全画素において、電荷蓄積と垂直レジスタ５５２への転送は同時に行われる。いったん蓄積された電荷を垂直レジスタ５５２へ転送すると次回の電荷蓄積が可能になる。画像信号の読出し（外部出力）は４行目、３行目、２行目、１行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。読み出された撮像画素３１０の画像データは、ＥＶＦの表示に利用される。また、焦点検出画素３１２、３１３の画像データは、過去複数回の読出し分とともに内部メモリに記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。

図３３は変形例の撮像装置の構成を示す。図１に示す撮像装置では、撮像素子２１１を焦点検出用と撮像用に兼用した例を示したが、この変形例の撮像装置では、図３３に示すように撮像専用の撮像素子２１２を設け、本発明に係わる撮像素子２１１は焦点検出と電子ビューファインダー表示用に用いる。図３３において、カメラボディ２０３には撮影光束を分離するハーフミラー２２１が配置され、透過側に撮像専用の撮像素子２１２が配置され、反射側に焦点検出兼電子ビューファインダー表示用の撮像素子２１１が配置される。撮影前は撮像素子２１１の出力に応じて、焦点検出および電子ビューファインダー表示が行われる。レリーズ時は撮像専用の撮像素子２１２の出力に応じた画像データが生成される。

なお、ハーフミラー２２１を全反射ミラーとし、撮影時は撮影光路から退避するようにしてもよい。このような構成においては、本発明に係わる画像処理は電子ビューファインダーの表示用のみに使用される。なお、撮像素子２１１と撮像素子２１２の配置を逆にして、反射側に撮像専用の撮像素子２１２を配置し、透過側に焦点検出兼電子ビューファインダー表示用の撮像素子２１１を配置してもよい。

撮像素子をＣＭＯＳイメージセンサで構成した場合には、ローリングシャッタ読出し方式に起因した焦点検出画素の電荷蓄積タイミングの誤差によって、移動被写体に対する焦点検出や手ぶれ時の焦点検出の際に誤差が生ずる可能性があったが、撮像素子をＣＣＤイメージセンサで構成した場合には、焦点検出画素の電荷蓄積の同時性が保証されるので、ＣＭＯＳイメージセンサで生じていたような焦点検出誤差をなくすことができる。

図３および図２４に示す撮像素子では、焦点検出エリアに焦点検出画素を隙間なく配列した例を示したが、数画素おきに焦点検出画素を配置してもよい。焦点検出画素のピッチが大きくなることによって、焦点検出精度は多少低下するが、焦点検出画素の密度が低くなるので、画像補間後の画像品質が向上する。

図３および図２４の撮像素子では、撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）を採用してもよい。この場合には、焦点検出画素をシアンとマゼンタ（出力誤差が比較的目立たない青成分を含む）が配置されるべき画素位置に配置する。

図３および図２４に示す撮像素子では、焦点検出画素に色フィルタを設置しない例を示したが、撮像画素と同色の色フィルタの内、ひとつのフィルタ（たとえば緑フィルタ）を備えるようにした場合でも本発明を適用することができる。

図１５に示すフローチャートでは、補正した画像データをメモリーカード２１９に保存する例を示したが、補正した画像データを電子ビューファインダーやボディの背面に設けられた不図示の背面モニター画面に表示するようにしてもよい。

上述した一実施の形態とその変形例では、ＥＶＦ表示中は撮像素子の撮像画素の画像信号を周期的に全画素読出する例を示したが、ＥＶＦ表示中は撮像画素の一部を間引き読出し、撮像時のみ全画素読出しするようにしてもよい。

本願発明は、カメラボディに交換レンズを装着するデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラやビデオカメラにも適用できる。また、携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも適用できる。さらに、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。

焦点検出画素の画像信号の加算方法は図２２に示す加算方法に限定されない。同一輝度に対する撮像画素の画像信号レベルと焦点検出画素の画像信号レベルの比は絞り値に応じた一定の値となるので、所定周期で読み出した焦点検出画素の周囲にある撮像画素の画像信号のレベルと絞り値に応じて焦点検出画素の画像信号の加算回数を決定することができる。

以上説明したように、一実施の形態によれば、高品質なファインダー画像表示を維持しながら確実に焦点検出を行うことができる。また、焦点検出エリアごとに被写体輝度が異なる場合でも、すべての焦点検出エリアにおいて高品質なファインダー画像表示を維持しながら確実に焦点検出を行うことができる。

一実施の形態の構成を示す図 一実施の形態の撮影画面上の焦点検出位置を示す図 撮像素子の詳細な構成を示す正面図 撮像画素の構成を示す図 焦点検出画素の構成を示す図 緑画素、赤画素および青画素の分光特性を示す図 焦点検出画素の分光特性を示す図 撮像画素の断面図 焦点検出画素の断面図 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図 瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図 撮像画素と射出瞳の関係を示す図 射出瞳面における投影関係を示す正面図 図１に示すデジタルスチルカメラ（撮像装置）のボディ内部の詳細な構成を示す図 図１に示すデジタルスチルカメラ（撮像装置）の動作を示すフローチャート 焦点検出演算方法を説明する図 撮像素子の動作フロー概念図 撮像素子の回路構成を示す図 図１８に示す撮像画素および焦点検出画素の詳細な回路図 図１８に示す撮像素子２１２の動作タイミングチャート 画像データの加算処理を説明する図 画像データの加算処理の様子を説明する図 変形例の撮像画素および焦点検出画素の詳細な回路図 変形例の撮像素子の詳細な構成を示す正面図 図２４に示す撮像素子に用いる焦点検出画素の構成を示す図 図２４に示す撮像素子に用いる焦点検出画素の断面形状を示す図 図２５、図２６に示す焦点検出画素を用いた瞳分割方式の焦点検出方法を説明する図 偏光フィルタを用いた瞳分割方式の焦点検出方法を説明する図 撮像画面上における焦点検出エリアの他の配置例を示した図 変形例の撮像素子の詳細な構成を示す正面図 撮像素子の変形例の回路構成を示す概念図 図３１に示す撮像素子の周期動作時の動作フロー 変形例の撮像装置の構成を示す図

符号の説明

２０２ 交換レンズ
２１２ 撮像素子
２１４ ボディ駆動制御回路
２１４ａ 撮像素子駆動制御回路
２１４ｄ ボディＣＰＵ
２１４ｃ 内部メモリ
２１５ 液晶表示素子駆動回路
２１６ 液晶表示素子

Claims (10)

1. 光学系による光束を複数の画素により光電変換して蓄積するとともに、該蓄積した信号を出力する撮像素子と、
   前記撮像素子から周期的に前記信号を読み出す読み出し手段と、
   前記読み出し手段より読み出された前記信号に基づく表示を行う表示手段と、
   前記読み出し手段により読み出された前記信号を読み出しごとに記憶する記憶手段と、
   前記読み出し手段により新たに読み出された前記信号のレベルが焦点検出に必要な閾値に達しているかを判定する判定手段と、
   前記判定手段により閾値に達していないと判定された場合は、前記読み出し手段により読み出された前記信号と前記記憶手段に記憶されている信号とを前記閾値に達するまで累積的に加算する加算手段と、
   前記読み出し手段により前記信号が新たに読み出されるたびに、前記判定手段により前記信号のレベルが前記閾値に達していると判定された場合は、前記読み出し手段により新たに読み出された前記信号に基づいて前記光学系の焦点調節状態を検出し、また前記判定手段により前記信号のレベルが前記閾値に達していないと判定された場合は、前記加算手段により加算された信号に基づいて前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記加算手段は、前記記憶手段に記憶されている信号を新しい順に加算し、この加算値を前記閾値と比較し、前記閾値に達していなければ、前記閾値に達するまで前記加算、比較を繰り返すことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記記憶手段に記憶する前記信号は、前記撮像素子の一部の画素から出力された信号であることを特徴とする撮像装置。
4. 請求項３に記載の撮像素子において、
   前記一部の画素は他の画素と異なる光電変換部を有することを特徴とする撮像装置。
5. 請求項３または請求項４に記載の撮像装置において、
   前記一部の画素は他の画素と分光特性が異なることを特徴とする撮像装置。
6. 請求項３〜５のいずれか１項に記載の撮像装置において、
   前記一部の画素は、該画素で得られる信号に基づいて前記光学系の焦点調節状態を検出する焦点検出用画素であり、
   前記撮像素子は、前記光学系による画面内に設定される焦点検出エリアに対応して複数の前記焦点検出用画素が配列され、該焦点検出用画素の配列の周りに前記他の画素が配置されることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記焦点検出エリアは前記画面内の複数の位置に設定され、
   前記撮像素子は、複数の前記焦点検出エリアのそれぞれに対応して複数の前記焦点検出用画素からなる画素列を備え、
   前記加算手段は、前記焦点検出用画素の画素列ごとに独立して前記信号の加算を行うことを特徴とする撮像装置。
8. 請求項６または請求項７に記載の撮像装置において、
   前記加算手段は、前記焦点検出用画素の画素列の周りの前記他の画素の信号レベルと絞り値に応じて前記焦点検出用画素の画素列の信号の加算数を決定することを特徴とする撮像装置。
9. 請求項３〜８のいずれか１項に記載の撮像装置において、
   前記撮像素子の前記一部の画素は、前記光学系の射出瞳上の一対の領域を通過する光束を受光することを特徴とする撮像装置。
10. 請求項１〜９のいずれか１項に記載の撮像装置において、前記撮像素子のすべての画素を同一の蓄積時間に制御する制御手段を備えることを特徴とする撮像装置。
    

Images