JP6765860B2 - 撮像素子、撮像装置、および撮像信号処理方法 - Google Patents

Description

本発明は、複数の画素部を有する撮像素子および該撮像素子を用いた撮像装置と撮像信号処理方法に関する。

撮像装置において、１回の撮影で取得可能な画像のダイナミックレンジよりも見かけ上、広ダイナミックレンジな画像（以下、ＨＤＲ画像ともいう）を生成する処理がある。撮像素子を構成する、開口率の異なる画素を規則的に配置してＨＤＲ画像を生成する技術が開示されている（特許文献１）。また、１回の撮影で異なる視点の画像を取得可能な撮像装置の構成では、異なる瞳領域を通過した光束により形成された一対の被写体像を取得可能である。取得された一対の被写体像から相関演算により焦点検出を行う技術が開示されている（特許文献２）。また、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を用いて、ＨＤＲ画像を生成する技術が開示されている（特許文献３）。

特開２００３−１７９８１９号公報 特開２０１３−０７２９０６号公報 特開２０１５−１４４４１６号公報

特許文献２に開示の装置は、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を利用して焦点検出を行うが、ＨＤＲ画像を生成する処理については言及されていない。また、特許文献３に開示の装置では、マイクロレンズに対する画素の開口率がそれぞれ異なる画素の組み合わせによりＨＤＲ画像が生成される。この方式の場合、光線が大きく遮られる画素や白飛びするような信号を用いて位相差検出が行われると、位相差検出の精度が低下する可能性がある。

本発明の目的は、複数の画素部から信号を取得して複数の信号処理を行うことが可能な撮像素子および撮像装置を提供することである。

本発明の一実施形態の撮像素子は、複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子であって、前記画素部が有する第１および第２の光電変換部に対し、画素信号の出力条件を設定する設定手段と、前記第１および第２の光電変換部の信号から画像信号を生成する第１の信号処理と、前記第１および第２の光電変換部の信号を用いて一対の信号を生成する第２の信号処理とを実行する信号処理手段と、前記第１の光電変換部の信号を取得して露出値を算出する算出手段と、を備える。前記設定手段は、前記算出手段により算出された露出値を取得して前記画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定する。

本発明によれば、複数の画素部から信号を取得して複数の信号処理を行うことが可能な撮像素子および撮像装置を提供することができる。

本発明の第１の実施例に係る撮像装置の構成を示すブロック図である。 図１の映像信号処理部と位相差信号処理部の構成を示すブロック図である。 本発明の実施形態に係る撮像素子の構成を示すブロック図である。 本発明の実施形態に係る撮像素子の画素構成と配列を示す図である。 射出瞳と撮像素子の受光との関係を示す模式図である。 第１の実施例に係る撮像素子の信号読み出しを示す模式図である。 本発明の実施形態に係る撮像素子の回路構成図である。 本発明の実施形態に係るＨＤＲ処理の説明図である。 第１の実施例に係る露出差補正処理の説明図である。 第１の実施例に係る処理例を示すフローチャートである。 本発明の第２の実施例に係る撮像装置の構成を示すブロック図である。 図１１の映像信号処理部の構成を示すブロック図である。 第２の実施例に係る撮像素子の信号読み出しを示す模式図である。 第２の実施例に係る処理例を示すフローチャートである。 第２の実施例の変形例に係る撮像素子の信号読み出しを示す模式図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各実施形態の撮像装置は動画機能付き電子スチルカメラやビデオカメラ等に適用可能である。
（実施形態の概要）
まず、本発明の実施形態に係る撮像素子および撮像装置、撮像信号処理方法の概要を説明してから、各実施例を詳細に説明する。本発明は、画素部が複数の光電変換部を有する撮像素子と、該撮像素子を備える撮像装置に適用可能である。各画素部は、画素信号の出力条件の設定が可能な第１および第２の光電変換部を有する。画素信号の出力条件とは、例えば画素のＩＳＯ感度、露光時間、光学絞り、ゲインアンプの増幅度等の各条件や、複数の条件を組み合わせた条件であり、露出設定値については任意に変更可能である。

本発明の実施形態に係る撮像素子および撮像装置は、複数の画素部から信号を取得して、複数の信号処理を行うことが可能である。第１の信号処理は、例えば広ダイナミックレンジな画像信号の生成処理であり、第２の信号処理は、例えば焦点検出処理である。

第１の実施例では、画素部が有する第１および第２の光電変換部の信号から映像信号を生成するＨＤＲ処理を行い、第１および第２の光電変換部の信号を補正して焦点検出処理を行う。また第２の実施例では、信号選択部によって第１および第２の光電変換部の信号から、ＨＤＲ処理に用いる第１の信号と、焦点検出に用いる第２の信号をそれぞれ選択する処理を説明する。これらの信号処理は、撮影された１つのフレーム画像の画素信号に基づいて並列に実行される。つまり、それぞれの処理が複数のフレームに跨って実行される場合に問題となる、動き量の大きい被写体の画像ブレの発生を防止し、または画像ブレを低減することができる。

また、撮像素子の制御モードについては、焦点検出演算のみを行う第１の制御モードと、焦点検出演算およびＨＤＲ処理を行う第２の制御モードがある。制御部は制御モードの切り替えによって、撮像部から取得される信号に対する信号処理の内容を変更する。例えば、第１の制御モードで位相差検出方式の焦点検出演算が行われる場合、画素部内の複数の光電変換部がそれぞれ出力する視差を有する画像（視差画像）信号から位相差が検出される。第１の光電変換部の出力からＡ像信号が取得され、第２の光電変換部の出力からＢ像信号が取得される場合、Ａ像信号およびＢ像信号に対する相関演算が行われ、演算結果から焦点ずれ量が算出される。また第２の制御モードでは、１回の撮像動作で取得される画像、つまり１フレームの画像信号に対する位相差検出方式の演算およびＨＤＲ処理が実行される。なお、本発明の実施形態としては位相差検出方式に限定されない。シフト加算によるリフォーカス処理に基づく焦点検出処理やコントラスト検出処理、あるいは複数の検出方式を組み合せた併用方式への適用が可能である。

画素部の構成に関して、第１および第２の実施例では瞳分割方向である水平方向に２分割された光電変換部を例示して説明する。本発明の実施形態としては、さらに分割数を増やして４、６、９等とする実施例がある。また光電変換部の形状が矩形に限定されることはなく、六角形等の多角形に設計する実施例にも本発明を適用可能である。

（第１の実施例）
本発明の第１の実施例では、図１から図１０を参照し、ＨＤＲ撮像を行いつつ、位相差検出を行うことが可能な撮像素子および撮像装置について説明する。
図１を参照して、撮像装置の構成を説明する。光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズを備える。フォーカス機構部１０１１は焦点調節を行うフォーカスレンズと、フォーカス制御回路により構成される。ズーム機構部１０１２は、撮像光学系の結像倍率を変更するズームレンズと、ズーム制御回路により構成される。絞り機構部１０１３は撮像素子１０２に入射される光量を調整する。シャッタ機構部１０１４は露出制御にしたがってシャッタ時間を調整する。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４は、制御部１０７からの制御信号に基づいて駆動される。

撮像素子１０２は、結像された被写体からの光を受光して光電変換する。ＸＹ読み出し方式のＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等が用いられ、異なる瞳面に対応する信号をそれぞれ読み出し可能な画素部と、アナログ・デジタル（ＡＤ）コンバータにより構成される。撮像素子１０２は、制御部１０７からの制御信号に応じて露光や信号読み出しやリセット等の撮像動作が実施され、撮像信号を出力する。

映像信号処理部１０４は、制御部１０７の制御下で各種の信号処理を行う。映像信号処理部１０４の詳細については、図２（Ａ）を用いて後述する。圧縮伸長部１０５は、制御部１０７の制御下で動作し、映像信号処理部１０４からの画像信号に対して、所定の方式の静止画像データフォーマットで圧縮符号化処理を行う。例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式等がある。また圧縮伸長部１０５は、画像記録部１１１から制御部１０７を介して供給された静止画像の符号化データを伸長復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式等により動画像の圧縮符号化／伸長復号化処理が実行可能である。

位相差信号処理部１０６は、撮像素子１０２からの異なる瞳面に対応する画素信号（位相差信号）を取得し、位相差検出処理を行う。位相差信号処理部１０６については、図２（Ｂ）を用いて後述する。位相差信号処理部１０６が算出した位相差検出信号は制御部１０７へ送られる。

制御部１０７は撮像装置の各部を統括的に制御する。制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。制御部１０７はＲＯＭ等に記憶されたプログラムを実行して各種の処理を行う。例えば、制御部１０７は位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出する。制御部１０７は、算出したデフォーカス量から合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へ駆動制御信号を送る。フォーカス機構部１０１１は制御部１０７からの駆動制御信号に従って、ＡＦ（自動焦点調節）機構を駆動させて目標位置までフォーカスレンズを移動させる。

発光部１０８は、映像信号処理部１０４が行うＡＥ（自動露出）処理によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する装置である。発光部１０８はキセノン管を用いたストロボ装置やＬＥＤ発光装置等である。操作部１０９は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル、タッチパネル等から構成される。操作部１０９は、ユーザによる入力操作に応じた指示信号を制御部１０７に出力する。

画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスおよび該デバイスに対するインタフェース回路等を備える。画像表示部１１０は、制御部１０７により供給された画像信号から表示デバイスに表示させるための画像信号を生成して表示デバイスに出力し、画面に画像を表示させる。

画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープ等の記録媒体を備える。画像記録部１１１は、圧縮伸長部１０５により符号化された画像データファイルを制御部１０７から取得して記録媒体に記録する。また画像記録部１１１は、制御部１０７からの制御信号に基づき、指定されたデータを記録媒体から読み出して制御部１０７に出力する。

次に図２（Ａ）を参照して、映像信号処理部１０４の構成を説明する。映像信号処理部１０４は、撮像素子１０２から画素信号を取得して、撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理、ＨＤＲ処理やホワイトバランス調整処理、ガンマ処理、色補正処理等の信号処理を施して映像信号を出力する。また、映像信号処理部１０４は、撮像素子１０２の露出制御のために各領域の明るさを検出し、適正な露出を算出するＡＥ（自動露出）処理も行う。この例では、映像信号処理部１０４には、ＡＥ処理部１０４１、ＨＤＲ信号処理部１０４２、ホワイトバランス調整処理部１０４３、色補正処理部１０４４が設けられている。ＨＤＲ信号処理部１０４２は、露出差のある複数の信号（例えばＡ像信号とＢ像信号）を合成してダイナミックレンジが拡大された画像信号の生成処理を行う。ＨＤＲ信号処理部１０４２が実行するＨＤＲ処理については後述する。信号処理後の画像信号は、圧縮伸長部１０５と制御部１０７へ出力される。

図２（Ｂ）は位相差信号処理部１０６の構成例を示す。位相差信号処理部１０６は、撮像素子１０２からの異なる瞳面に対応する画素信号（位相差信号）を取得し、位相差信号を用いて位相差検出処理を行う。これにより、位相差検出信号が取得される。ただし、本実施例では異なる瞳面に対応する画素信号は露出差が発生するように撮像設定が行われる。このため、露出差補正処理部１０６１は、撮像素子１０２から得た位相差信号に対して、異なる瞳面に対応する画素信号同士の露出差を補正する処理を実行する。露出差補正処理部１０６１が行う露出差補正処理については後述する。異なる瞳面に対応する画素信号同士の露出差が補正された信号は位相差検出処理部１０６２に送られ、位相差検出処理が行われる。

図３を参照して、本実施例における撮像素子１０２の構成を説明する。撮像素子１０２は、例えばシリコン（Si）を用いた半導体基板に、複数の画素部２０１が行列状に配列された画素アレイ部２０２と、その周辺回路部から構成される。周辺回路部は、垂直駆動回路２０３、カラム信号処理回路２０４、水平駆動回路２０５、タイミング制御回路２０６等を含む。

画素部２０１は、光電変換部としてのフォトダイオードと、複数の画素トランジスタを備える。画素部２０１の詳細については、図４、図７を用いて後述する。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタ等のＭＯＳ（金属酸化膜半導体）トランジスタである。

垂直駆動回路２０３は、例えばシフトレジスタによって構成される。垂直駆動回路２０３は画素駆動配線２０８を選択し、選択された画素駆動配線２０８に画素部２０１を駆動するためのパルスを供給し、行単位で画素部２０１を駆動する。垂直駆動回路２０３は、画素アレイ部２０２上の各画素部２０１を行単位で順次垂直方向に選択走査する。各画素部２０１の光電変換部において入射光量に応じて生成された信号電荷に基づく画素信号は、垂直信号線２０７を通してカラム信号処理回路２０４に供給される。

カラム信号処理回路２０４は、画素部２０１の列ごとに配置されており、１行分の画素部２０１から出力される画素信号に対し、画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路２０４は、画素固有の固定パターンノイズを除去するためのＣＤＳ処理および垂直信号線２０７を通して出力された画素部２０１の画素信号の増幅処理とＡＤ変換等の信号処理を行う。ＣＤＳは、“Correlated Double Sampling”（相関２重サンプリング)の略号である。

水平駆動回路２０５は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０４の各々を順番に選択する。各カラム信号処理回路２０４からの画素信号は水平信号線２０９に出力される。タイミング制御回路２０６は、入力クロック信号と動作モード等を指令するデータを、制御部１０７から受け取る。タイミング制御回路２０６は垂直同期信号、水平同期信号およびマスタクロック信号に基づいて、垂直駆動回路２０３、カラム信号処理回路２０４および水平駆動回路２０５等の動作の基準となるクロック信号や制御信号を生成する。

図４を参照して、撮像素子１０２の画素部２０１の構成および配列について説明する。図４（Ａ）は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を受光する光電変換部２０１Ｌ、２０１Ｒの構成例を示す概略図である。光電変換部２０１Ｌ、２０１Ｒは、フォトダイオード２１１、２１２をそれぞれ備える。Ｌは正面から見て左側に配置されることを意味し、Ｒは正面から見て右側に配置されることを意味する。以下、フォトダイオードを「ＰＤ」と略記する。

光電変換部２０１Ｌは撮像光学系の瞳領域の一部（第１の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｒは、第１の瞳部分領域とは異なる瞳領域の一部（第２の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｌと光電変換部２０１Ｒは、１つのマイクロレンズ２１０下に構成され、それぞれＰＤ２１１、ＰＤ２１２を１つずつ有する。転送トランジスタ２１３、２１４は、対応するＰＤ２１１とＰＤ２１２の各信号を読み出す。フローティングディフュージョン（ＦＤ）部２１５、２１６はＰＤ２１１、ＰＤ２１２の信号をそれぞれ一時的に蓄積する部分である。撮像光学系の異なる瞳部分領域を通過した光から光電変換される信号をＰＤ２１１とＰＤ２１２がそれぞれ読み出すこと以外、２つの光電変換部の構成は同じである。

光電変換部２０１Ｌと２０１Ｒから取得される画素信号は、それぞれ垂直信号線２０７、カラム信号処理回路２０４を通り（図３）、水平駆動回路２０５によって行単位で随時水平信号線２０９へ読み出される。各画素部は、図示した構成要素以外にも後述する複数の構成要素を備えるが、それらは本願発明の説明において重要でないので省略する。

図４（Ｂ）は撮像素子１０２内における画素配列を概略的に示す平面図である。２次元の画像を提供するために、図４（Ａ）に示す構成をもつ複数の画素部は、所定の方向に沿って２次元アレイ状に配列される。所定の方向とは水平および垂直方向である。行３０５に含まれる画素部３０１、３０２、３０３、３０４を例にして説明すると、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図４（Ａ）のＰＤ２１１に対応する。ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図４（Ａ）のＰＤ２１２に対応する。図４（Ｂ）に示す画素配列を有する撮像素子１０２における受光の様子について、図５を用いて説明する。

図５は、撮影レンズの射出瞳から出た光束が撮像素子１０２に入射する様子を示す概念図である。画素部の断面部４０１には、マイクロレンズ２１０、カラーフィルタ４０３、およびＰＤ２１１、ＰＤ２１２を示す。射出瞳４０６には、撮影レンズの射出瞳の一部領域４０７、４０８を示しており、これらの領域は、受光する各ＰＤから見たときの瞳部分領域である。中央のマイクロレンズ２１０を有する画素部に対して、射出瞳４０６から出た光束の中心である光軸４０９を、一点鎖線で示す。光線４１０、４１１は、瞳部分領域４０７を通過する光の最外周の光線であり、光線４１２、４１３は瞳部分領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出射した光は、光軸４０９を中心として撮像素子１０２に入射される。図５からわかるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして上側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１２に入射する。また、光軸４０９を境にして下側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１１に入射する。つまり、ＰＤ２１１とＰＤ２１２はそれぞれ、撮影レンズの射出瞳４０６の異なる瞳部分領域４０８、４０７を通過した光を受光する。

図４（Ｂ）を参照すると、例えば行３０５に含まれる画素部３０１の場合、ＰＤ３０１Ｌは、光軸４０９を挟んで一方の射出瞳（部分領域）から出る光束を受光するＰＤ２１１に対応する。ＰＤ３０２Ｌ、３０３Ｌ、３０４Ｌについても同様である。ＰＤ３０１Ｌ等から得られる像をＡ像とし、その画像信号をＡ像信号と呼ぶ。また、ＰＤ３０１Ｒは、光軸４０９を挟んで他方の射出瞳（部分領域）から出る光束を受光するＰＤ２１２に対応する。ＰＤ３０２Ｒ、３０３Ｒ、３０４Ｒについても同様である。ＰＤ３０１Ｒ等から得られる像をＢ像とし、その画像信号をＢ像信号と呼ぶ。

このように射出瞳４０６に対して光軸４０９を中心にして等分で瞳部分領域４０８、４０７に分割して、ＰＤ２１１、ＰＤ２１２の受光が行われることにより、ＰＤ２１１とＰＤ２１２とで出力信号に位相差が生じる。つまり、焦点状態の変化により瞳部分領域４０８、４０７にそれぞれ対応するＡ像信号とＢ像信号の出力に関し、画素部２０１のアドレス間隔に変化（位相差）が現れる。このアドレス間隔を検出（位相差検出）することで、デフォーカス量が算出される。ＰＤ２１１、ＰＤ２１２は光軸４０９に対して等分に分割された配置である。つまり、射出瞳４０６に対して偏芯していないため、光学鏡筒１０１内の構成部品等によって一部光線が遮られたとしても、Ａ像もしくはＢ像の信号欠損（シェーディング）に対して対処しやすいという利点がある。

図４で説明した画素構成と画素配列を有する撮像素子により取得される画像信号について、図６を用いて説明する。図６は、図４（Ｂ）で示した画素配列に対して光電変換部２０１Ｌ，２０１Ｒの画素信号を読み出す位置を示した模式図である。後述するＨＤＲ処理を実施するために、Ａ像信号とＢ像信号の出力レベルに差が発生するように撮影が行われる。Ａ像で示す第１の列は、各画素部における光電変換部２０１Ｌの領域を示しており、ＰＤ２１１が存在する左側の列である。この列の光電変換部は画素信号としてＡ像信号を出力する。一方、Ｂ像で示す第２の列は、各画素部における光電変換部２０１Ｒの領域を示しており、ＰＤ２１２が存在する右側の列である。この列の光電変換部は画素信号としてＢ像信号を出力する。

光電変換部２０１Ｌ、２０１Ｒに露出差を発生させる場合に、各光電変換部の信号出力条件は異なる条件に設定される。例えば、光電変換部の露光時間がＡ像とＢ像とで別々に設定される。あるいは、Ａ像とＢ像の各出力に対してカラム信号処理回路２０４は増幅処理にて別々の増倍度を設定する。またはＡ像とＢ像とで、露光時間および増倍度（増幅度）もしくは感度等の他の条件を異なる設定にして、露出差を発生させても構わない。

本実施例においては、露光時間を長秒蓄積として撮像した画素を高露出画素とし、露光時間を短秒蓄積として撮像した画素を低露出画素として説明する。図６では、斜線のハッチング線を付して示す光電変換部を低露出画素とし、縦線のハッチング線を付して示す光電変換部を高露出画素として説明する。なお、本実施例ではＡ像信号を低露出画素から読み出し、Ｂ像信号を高露出画素から読み出すものとして説明する。これに限らず、Ａ像信号を高露出画素から読み出し、Ｂ像信号を低露出画素から読み出す実施形態でも構わない。図６は第ｎ行から第ｎ＋３行に含まれる画素部を例示している。画素信号を読み出さない光電変換部については白抜きにしてハッチングを掛けない状態で示すとともに、ベイヤー配列の赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（ＢＬ）の文字に対して取り消し線を引いて示している。

図６の例では、ｎ行目とｎ＋３行目が読み出し行（映像行）であり、ｎ＋１行目とｎ＋２行目は非読み出し行である。ｎ行目においてＡ像列の光電変換部は、ＲフィルタとＧｒフィルタにそれぞれ対応する低露出の画素信号を出力し、Ｂ像列の光電変換部は、ＲフィルタとＧｒフィルタにそれぞれ対応する高露出の画素信号を出力する。ｎ＋１行目とｎ＋２行目の各画素部は信号読み出しが行われない。ｎ＋３行目においてＡ像列の光電変換部は、ＧｂフィルタとＢＬフィルタにそれぞれ対応する低露出の画素信号を出力し、Ｂ像列の光電変換部は、ＧｂフィルタとＢＬフィルタにそれぞれ対応する高露出の画素信号を出力する。つまり、映像信号としては２行を間引いて撮像素子が駆動される。なお、本実施例では動画撮影等に最適な駆動として行間引きの駆動方法を説明するが、行間引き動作を行わず、全行の読み出し動作を行っても構わない。

このようにＡ像信号とＢ像信号とに露出差をつけて読み出された画素信号は、撮像素子１０２から映像信号処理部１０４内のＨＤＲ信号処理部１０４２と、位相差信号処理部１０６内の露出差補正処理部１０６１へとそれぞれ送出される。各処理部にて後述するＨＤＲ処理と露出差補正処理が実行される。

次に図７を参照して、本実施例における撮像素子１０２の回路構成と基本的動作について説明する。図７は、図３および図４に示す構成を有する画素部の回路構成を示す等価回路図である。光電変換部２０１Ｌと２０１Ｒは同様の回路構成であるため、光電変換部２０１Ｌのみを説明する。光電変換部２０１Ｌは、ＰＤ２１１と複数のトランジスタを備える。転送トランジスタ２１３、増幅トランジスタ６１０、選択トランジスタ６１１、およびリセットトランジスタ６１２は、いずれもｎチャネルＭＯＳＦＥＴ（ＭＯＳ Field-Effect Transistor）である。

転送トランジスタ２１３、選択トランジスタ６１１、リセットトランジスタ６１２の各ゲートには、転送信号６１３、行選択信号６１４、リセット制御信号６１５の信号線がそれぞれ接続されている。画素駆動配線２０８は、転送信号６１３、行選択信号６１４、リセット制御信号６１５を各トランジスタのゲートに供給する配線を含む。これらの信号は、水平方向に延在する画素部、つまり同一行に含まれる画素部を同時に駆動するための信号である。これによりライン順次動作型のローリングシャッタ動作や、全行同時動作型のグローバルシャッタ動作を制御することが可能である。また、転送信号６１３は光電変換部２０１Ｌと２０１Ｒとで別々に制御される信号であり、光電変換部ごとに異なる露光時間を設定可能である。さらに、選択トランジスタ６１１のソースには垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源６１６を介して接地されている。

ＰＤ２１１は、光電変換により生成された電荷を蓄積する素子である。ＰＤ２１１は、そのＰ側が接地され、Ｎ側が転送トランジスタ２１３のソースに接続されている。転送信号６１３により転送トランジスタ２１３がＯＮすると、ＰＤ２１１の電荷がＦＤ部２１５に転送される。ＦＤ部２１５には寄生容量Ｃ６１があり、当該部分に電荷が蓄積される。増幅トランジスタ６１０はドレインに電源電圧Ｖｄｄが印加され、ゲートはＦＤ部２１５に接続されている。増幅トランジスタ６１０は、ＦＤ部２１５の電圧を増幅して出力する。選択トランジスタ６１１は、信号を読み出す画素部を行単位で選択する。選択トランジスタ６１１は、ドレインが増幅トランジスタ６１０のソースに接続され、ソースが垂直信号線２０７に接続されている。行選択信号６１４によって選択トランジスタ６１１がＯＮしたときに、増幅トランジスタ６１０と定電流源６１６とがソースフォロア回路を構成するので、ＦＤ部２１５の電圧に対応する電圧が垂直信号線２０７に出力される。リセットトランジスタ６１２はドレインに電源電圧Ｖｄｄが印加され、ソースがＦＤ部２１５に接続されている。リセットトランジスタ６１２は、ＦＤ部２１５の電圧を電源電圧Ｖｄｄにリセットする。

図８を参照して、ダイナミックレンジ拡大処理を説明する。図８は、ダイナミックレンジ拡大処理における入射光量（Ｘ軸参照）と信号量（Ｙ軸参照）との関係を示す図である。横軸であるＸ軸には、入射光量Ｘｊ（ｊ＝０，１〜３）を例示し、縦軸であるＹ軸には、信号量Ｙｋ（ｋ＝１〜３）を例示する。Ｙ１はノイズレベルを示し、Ｙ２は飽和信号量のレベルを示しており、これらは低露出画素の信号量から算定可能である。

高露出画素では、入射光量がＸ２となった時点で飽和信号量Ｙ２に到達し、低露出画素では、入射光量がＸ３となった時点で飽和信号量Ｙ２に到達する。一方、受光により得られる信号量がＹ１以下である場合には、ノイズレベルに相当するため、その画素信号は利用することができない。よって、高露出画素のダイナミックレンジは、入射光量がＸ０からＸ２までの範囲となり、低露出画素のダイナミックレンジは、入射光量がＸ１からＸ３までの範囲となる。

例えば、低露出画素と高露出画素の露出比として、「低露出画素：高露出画素＝１：３」に設定した場合を想定する。画素部２０１の入射光量をＫ１、Ｋ２、Ｋ３の３通りで示し、「Ｋ１＜Ｋ２＜Ｋ３」とする。ＨＤＲ信号処理部１０４２は、入射光量Ｋ１の画素部２０１について下記式（１）により、ダイナミックレンジ拡大処理後の画素信号を求める。
ＨＤＲ処理後の画素信号＝高露出画素信号×１＋低露出画素信号×０ ・・・（１）
また、ＨＤＲ信号処理部１０４２は、入射光量Ｋ２の画素部２０１について下記式（２）により、ダイナミックレンジ拡大処理後の画素信号を求める。
ＨＤＲ処理後の画素信号＝高露出画素信号×（１-α）＋低露出画素信号×α×３ ・・・（２）
式（２）中に示すαは合成比率を表す（０≦α≦１）。
さらに、ＨＤＲ信号処理部１０４２は、入射光量Ｋ３の画素部２０１について下記式（３）により、ダイナミックレンジ拡大処理後の画素信号を求める。
ＨＤＲ処理後の画素信号＝高露出画素信号×０＋低露出画素信号×３ ・・・（３）

以上のように、ＨＤＲ信号処理部１０４２は、画素アレイ部２０２の各画素部２０１の信号量（入射光量）に応じて、式（１）から（３）を用いてＨＤＲ処理後の画素信号を算出する。本例では、入射光量Ｋ１、Ｋ２、Ｋ３の場合を説明したが、４種類以上の入射光量に対応する式から、それぞれダイナミックレンジ拡大処理後の画素信号を算出可能である。ＨＤＲ信号処理部１０４２は１回の撮影で露出差があるＡ像信号とＢ像信号を取得し、Ａ像信号とＢ像信号を合成することで、信号量の範囲がＹ１からＹ３までに拡大された広ダイナミックレンジ画像を生成する。つまり、拡大後のダイナミックレンジはＸ０からＸ３までの範囲となる。

次に図９を参照して、露出差補正処理について説明する。図９は、露出差補正処理における入射光量と信号量との関係を示す図である。横軸（Ｘ軸）および縦軸（Ｙ軸）については図８と同じ設定である。低露出画素と高露出画素の露出比を、「低露出画素：高露出画素＝１：３」に設定した場合を説明する。
露出差補正処理部１０６１は、入射光量Ｋ１の高露出画素と低露出画素それぞれに対して、下記式（４）により、露出差補正後の高露出画素信号および低露出画素信号を求める。
露出差補正後の高露出画素信号＝高露出画素信号×（２＋β）／３
露出差補正後の低露出画素信号＝低露出画素信号×（２−β）
・・・（４）
式（４）中に示すβは露出差補正に用いる調整係数であり、β値は予め決定された正の実数である。

また、露出差補正処理部１０６１は、入射光量Ｋ２の高露出画素と低露出画素それぞれに対して、下記式（５）により、露出差補正後の高露出画素信号および低露出画素信号を求める。
露出差補正後の高露出画素信号＝高露出画素信号×２／３
露出差補正後の低露出画素信号＝低露出画素信号×２
・・・（５）

さらに、露出差補正処理部１０６１は、入射光量Ｋ３の高露出画素と低露出画素それぞれに対して、下記式（６）により、露出差補正後の高露出画素信号および低露出画素信号を求める。
露出差補正後の高露出画素信号＝高露出画素信号×（２−γ）／３
露出差補正後の低露出画素信号＝低露出画素信号×（２＋γ）
・・・（６）
式（６）中に示すγは露出差補正に用いる調整係数であり、γ値は予め決定された正の実数である。

以上のように、露出差補正処理部１０６１は、画素アレイ部２０２の各画素部２０１の信号量（入射光量）に応じて、式（４）から（６）を用いて露出差補正後の高露出画素信号および低露出画素信号を求める。本例では、入射光量Ｋ１、Ｋ２、Ｋ３の場合を説明したが、４種類以上の入射光量に対応する式から、露出差補正後の高露出画素信号および低露出画素信号を算出してもよい。高露出画素および低露出画素の信号は、図９に２点鎖線ｇで示すように、同レベルの画素信号に補正される。Ａ像信号とＢ像信号との露出差が補正されて信号レベルが同一になるので、位相差検出処理部１０６２での位相差検出処理が可能となる。

図１０のフローチャートを参照して、本実施例の処理について説明する。撮影が開始すると、Ｓ１００１で制御部１０７は所定の撮影条件に設定する。次にＳ１００２ではＳ１００１で設定された撮影条件にしたがって、制御部１０７の制御下で撮像素子１０２が駆動される。ＨＤＲ処理と位相差検出処理とを両立させる撮影動作が行われ、露光後の画素信号が取得される。露光後の画素信号は、映像信号処理部１０４と位相差信号処理部１０６へと送られ、それぞれ信号処理される。１回の撮影で取得される１フレームの画素信号からＨＤＲ信号処理と位相差検出処理が同時に行われる。すなわち、Ｓ１００３およびＳ１００４に示す処理と、Ｓ１００５およびＳ１００６に示す処理が並列処理として実行される。

Ｓ１００３、Ｓ１００４の処理は映像信号処理部１０４が実行する。Ｓ１００３では画素信号から映像信号処理部１０４内のＡＥ処理部１０４１がＡＥ値を算出する。ＡＥ処理の後、Ｓ１００４でＨＤＲ信号処理部１０４２は、撮像素子１０２から取得した画素信号に対して、本実施例で説明したＨＤＲ処理を実行する。

一方、Ｓ１００５、Ｓ１００６の処理は位相差信号処理部１０６が実行する。Ｓ１００５では画素信号から位相差信号処理部１０６内の露出差補正処理部１０６１が、本実施例で説明した露出差補正処理を行う。Ｓ１００６で位相差検出処理部１０６２は、Ｓ１００５で露出差補正処理が行われた信号、つまり異なる瞳部分領域にそれぞれ対応するＡ像信号、Ｂ像信号を用いて位相差検出を行う。具体的には、位相差検出処理部１０６２は、２像を相対的にシフトしながら相関演算を行い、相関演算結果から像ずれ量を検出し、デフォーカス量に換算する公知の位相差検出を行う。位相差検出処理部１０６２は、ＲＧＢ信号から輝度信号に変換した後でゲイン補正を行い、Ａ像信号とＢ像信号の出力レベルを調整してから位相差検出を行う。出力レベルの調整には、Ａ像信号をＢ像信号に合わせる第１の調整処理と、逆にＢ像信号をＡ像信号に合わせる第２の調整処理とがある。短時間の露出条件（低露出）の光電変換部の出力からＡ像信号を取得し、長時間の露出条件（高露出）の光電変換部の出力からＢ像信号を取得する場合、Ａ像信号の方が、ノイズ成分が少ない。よって、Ａ像信号（輝度信号）のレベルを補正して、Ｂ像信号のレベルに合わせる方がノイズ低減に有利である。また、各光電変換部に対し、被写体の明るさに応じて、露光時間やゲイン値等の露出条件を変更する処理が行われる。撮影状態（画像全体または被写体領域の明るさやＡＥ値等）に応じて、第１の調整処理と第２の調整処理を選択することが可能である。

Ｓ１００４およびＳ１００６の処理が終了した後にＳ１００７へと遷移する。制御部１０７は、撮影を終了するか否かを判断する。制御部１０７は撮影を終了すると判断した場合、待機状態へと遷移する。一方、制御部１０７は撮影を続行すると判断した場合、Ｓ１００１へ処理を戻す。Ｓ１００３で得られたＡＥ値から撮影条件が再設定されて撮影を継続する。
本実施例では、１つのマイクロレンズに複数の光電変換部が対応する瞳分割画素を有する構成の撮像素子を用いて、ＨＤＲ画像を生成しつつ、位相差検出が可能である。すなわち、１回の撮影動作で、ＨＤＲ処理を施した映像信号および撮像面位相差検出信号を同時に取得できる。また、同一行の画素部から画素信号を取得し、補正された信号を用いて位相差検出を行うことにより、垂直方向の読み出し段差が生じない。つまり、異なる行の画素部が有する光電変換部からそれぞれ信号を取得して位相差検出を行う場合には、検出位置のずれが生じるが、本実施形態ではこのような位置ずれは発生しないので検出精度が高い。

各画素部が水平および垂直方向にそれぞれ２分割された４つの光電変換部を有する実施例の場合には、各光電変換部に対して、画素信号の出力条件をすべて異なる設定にすることができる。換言すれば、位相差検出のために、画素部内の２つの光電変換部に対する出力条件を同じ設定にする必要がない。よって、露出比を大きくとり、ダイナミックレンジをさらに拡大することが可能である。

（第２の実施例）
図１１から図１４を参照して、本発明の第２の実施例について説明する。本実施例において、第１の実施例の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略して主に相違点を説明する。

図１１に示す撮像装置は、撮像素子１０２と映像信号処理部１０４との間に信号選択部１０３を備える。信号選択部１０３はメモリ機能を有し、制御部１０７の制御下で撮像素子１０２からの撮像信号を取得し、映像処理用の画像信号と位相差処理用の位相差画素信号とを振り分ける機能を有する。

図１２は、映像信号処理部１０４の構成例を示すブロック図である。映像信号処理部１０４は、ＡＥ処理部１０４１、ＨＤＲ信号処理部１０４２、ホワイトバランス調整処理部１０４３、色補正処理部１０４４を備える。映像信号処理部１０４は、信号選択部１０３から映像処理用の信号を取得し、ＡＥ処理、ＨＤＲ処理、ホワイトバランス調整処理、色補正処理等を行う。

位相差信号処理部１０６は、信号選択部１０３から位相差画素信号を取得して位相差検出処理を行い、位相差検出信号を出力する。位相差検出信号は、位相差情報（デフォーカス量、フォーカス位置情報）を含む。位相差信号処理部１０６が出力した位相差検出信号は制御部１０７へ送られる。制御部１０７は位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出する。算出されたデフォーカス量から合焦状態を得るために必要なフォーカスレンズの駆動量が算出され、フォーカス機構部１０１１により、目標位置へフォーカスレンズが移動することで、ＡＦ制御動作が行われる。

図１３は、図４（Ｂ）で示した画素配列に対して光電変換部２０１Ｌ，２０１Ｒの画素信号を読み出す位置を示した模式図である。
ＨＤＲ処理のために、Ａ像信号とＢ像信号の露出差が発生するように撮影が実施される。本実施形態では、位相差検出用の信号読み出しとして、ＨＤＲ撮像行とは別行でＡ像信号またはＢ像信号のみを読み出す処理が行われることを特徴とする。図１３は、第ｎ行から第ｎ＋１１行の各画素部を例示する。ＨＤＲ撮像行は、ＨＤＲ処理に用いる画素信号を取得可能な行であり、図１３ではｎ，ｎ＋３，ｎ＋６，ｎ＋９の各行に示す。また、位相差検出用の信号の読み出し行を、図１３ではｎ＋２，ｎ＋５，ｎ＋８，ｎ＋１１の各行に示す。以下、露光時間を長秒蓄積として撮像する画素を高露出画素とし、露光時間を短秒蓄積として撮像する画素を低露出画素として説明する。図１３にて斜線のハッチング線を付して示す光電変換部を低露出画素とし、縦線のハッチング線を付して示す光電変換部を高露出画素とする。また、画素信号を読み出さない光電変換部については白抜きにしてハッチングを掛けない状態で示すとともに、ベイヤー配列の赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（ＢＬ）の文字に対して取り消し線を引いて示している。

図１３のｎ行目、ｎ＋６行目の画素部は、図６のｎ行目の画素部と同じ露出条件に設定され、Ａ像列が低露出画素で、Ｂ像列が高露出画素に設定される。同様に、図１３のｎ＋３行目、ｎ＋９行目の画素部は、図６のｎ＋３行目の画素部と同じ露出条件に設定され、Ａ像列が低露出画素で、Ｂ像列が高露出画素に設定される。図１３のｎ＋１行目、ｎ＋４行目、ｎ＋７行目、ｎ＋１０行目は非読み出し行である。

このように、ＨＤＲ撮像行はｎ行目、ｎ＋３行目、ｎ＋６行目、ｎ＋９行目であり、映像信号としては２行を間引いて撮像素子が駆動される。なお別の実施形態として、Ａ像信号を高露出画素から読み出し、Ｂ像信号を低露出画素から読み出しても構わない。Ａ像信号とＢ像信号に露出差をつけて読み出されたＨＤＲ処理用の信号は、撮像素子１０２から信号選択部１０３を通じてＨＤＲ信号処理部１０４２へと送出され、ＨＤＲ処理が行われる。

一方、位相差検出用の信号の読み出し行は、ＨＤＲ撮像行で読み出される行同士の間に位置する。図１３では、ｎ＋２行目、ｎ＋５行目、ｎ＋８行目、ｎ＋１１行目において位相差検出用の画素信号の読み出しが行われる。本実施形態では、これらの行の画素部でＢ像信号のみを読み出す処理が行われる。例えば、ｎ＋２行目の画素部では、Ｒフィルタに対応するＢ像列の光電変換部から信号が読み出され、Ｇｒフィルタに対応するＢ像列の光電変換部から信号が読み出される。ｎ＋５行目の画素部では、Ｇｂフィルタに対応するＢ像列の光電変換部から信号が読み出され、ＢＬフィルタに対応するＢ像列の光電変換部から信号が読み出される。このとき、Ｂ像信号は２行上のＨＤＲ撮像行（同色行）のＡ像信号と同一の露光比となるように設定されて読み出される。例えば、ｎ行目のＡ像列のＲフィルタに対応する光電変換部と、ｎ＋２行目のＢ像列のＲフィルタに対応する光電変換部とは、信号の出力条件が同じ設定であっていずれも低露出画素として設定される。同様に、ｎ＋３行目のＡ像列のＧｂフィルタに対応する光電変換部と、ｎ＋５行目のＢ像列のＧｂフィルタに対応する光電変換部とは、信号の出力条件が同じ設定であっていずれも低露出画素として設定される。

図１３では、ｎ＋２行目のＢ像列の光電変換部に対して、画素信号の出力条件をｎ行目のＡ像列の光電変換部と同じ設定にする例を説明した。これは、適正露出に近い方の列の光電変換部に合わせた出力条件に設定することで、露出値が過大になった場合に光電変換部の出力レベルが飽和するのを回避するためである。信号読み出しの変形例としては、ｎ行目のＢ像列の光電変換部とｎ＋２行目のＡ像列の光電変換部から取得して位相差検出を行う例がある。この場合、ｎ行目のＢ像列の光電変換部とｎ＋２行目のＡ像列の光電変換部は、画素信号の出力条件が同じ設定である。ｎ＋３行とｎ＋５行目、ｎ＋６行目とｎ＋８行目、ｎ＋９行目とｎ＋１１行目についても同様である。撮影状態やＡＥ値等に応じて、信号読み出しの方法を適宜に変更することが可能である。

また、別の変形例として異なる行の画素部の光電変換部から取得した信号から演算した信号を用いて位相差検出を行う例がある。ｎ行目およびｎ＋２行目の画素部の各光電変換部の出力条件を、Ａ像列で１Ｒに設定し、Ｂ像列で２Ｒに設定する場合を想定する。１Ｒと２Ｒは露光比に対応し、数字の示すとおり、Ａ像列とＢ像列の各光電変換部の露光比を１：２とする。
Ａ像 Ｂ像
ｎ行目 １Ｒ ２Ｒ
ｎ＋２行目 １Ｒ （読み出さない）
ｎ行目とｎ＋２行目でＡ像列の光電変換部から１Ｒの信号を読み出して、１Ｒ同士を加算した２Ｒの信号と、ｎ行目のＢ像列の光電変換部から２Ｒの信号を読み出し、同じ出力レベルの信号を用いて位相差検出が行われる。このように、異なる行の画素部がそれぞれ有する光電変換部から取得した複数の信号を組み合わせて演算した信号を用いることができる。演算には、加算、減算、平均値演算や重み付け演算等がある。

制御部１０７は、位相差画素信号の読み出し行の画素部および露出条件を、ＡＥ処理部１０４１が算出した前フレームのＡＥ処理の算出結果から判断して決定する。制御部１０７は現在のフレームで位相差検出を行う際に適切な露出条件を判断することで、読み出し行と使用する光電変換部の選択および露出条件を決定する。決定された露出条件に基づき、位相差画素信号の読み出し行においてＡ像信号またはＢ像信号を読み出す動作が行われる。本実施例では位相差画素信号の読み出し行にてＢ像信号が取得される。ＨＤＲ撮像行において画素部の露出条件が設定され、Ａ像およびＢ像の信号処理が行われる。Ａ像列の光電変換部とＢ像列の光電変換部との露光比は所定値に設定される。その際、位相差画素信号の読み出し行での光電変換部と、当該光電変換部と露光状態が逆の位相関係となる位置の光電変換部とは、露出条件が同じ設定値に設定される。本実施例ではＨＤＲ撮像行のＡ像列と、位相差画素信号の読み出し行のＢ像列とで、それぞれ対をなす光電変換部同士の露出条件が同じ設定である。

位相差信号処理部１０６は、ＨＤＲ撮像行のＡ像信号と位相差画素信号の読み出し行のＢ像信号から位相差検出処理を行い、位相差検出信号を生成する。そのために、信号選択部１０３はＨＤＲ撮像行のＡ像信号と位相差画素信号の読み出し行のＢ像信号とを選択して位相差信号処理部１０６へ送る。画素部２０１に対し、上から下へと各行から画素信号を順次読み出すことで、１フレーム分の信号が撮像素子１０２から出力される。信号選択部１０３は、ＨＤＲ処理用の画素信号と位相差検出用の位相差画素信号とを振り分けて、それぞれ映像信号処理部１０４と位相差信号処理部１０６へ同時に出力する。

このように位相差画素信号の読み出し行において、映像信号処理部１０４内のＡＥ処理部１０４１による情報を用いて位相差検出に適切な露出条件が決定される。よって、信号の白飛びやＳ／Ｎ比（信号対ノイズ比）の低い露出条件を回避しやすくすることができる。また、Ａ像またはＢ像の信号のみを読み出すことで、読み出さない画素列のカラム信号処理回路２０４は休止状態にすることができる。つまり、回路部のスリープが可能となり、垂直駆動回路２０３や水平駆動回路２０５を余計に動作させる必要が無くなるため、省電力効果が得られる。したがって本実施形態によれば、ＨＤＲ処理と位相差検出とを両立させ、かつ省電力化に寄与する。

図１４のフローチャートを参照して、本実施例における処理を説明する。撮影が開始すると、Ｓ１４０１で制御部１０７は所定の撮影条件に設定する。次にＳ１４０２ではＳ１４０１で設定された撮影条件にしたがって、制御部１０７の制御下で撮像素子１０２が駆動される。ＨＤＲ処理と位相差検出とを両立させる撮影動作が行われる。Ｓ１４０３で信号選択部１０３は、Ｓ１４０２で取得された撮影後の画素信号から映像処理用の画素信号と位相差画素信号とを振り分ける。分離された映像処理用の画素信号はＳ１４０４にて映像信号処理部１０４が処理する。また、分離された位相差画素信号はＳ１４０６にて位相差信号処理部１０６が処理する。１回の撮影で取得される１フレームの画像信号からＨＤＲ信号処理と位相差検出処理が同時に行われる。すなわち、Ｓ１４０４およびＳ１４０５に示す処理と、Ｓ１４０６に示す処理は並列処理として実行される。

Ｓ１４０４でＡＥ処理部１０４１は、Ｓ１４０３で振り分けられた画素信号からＡＥ値を算出する。Ｓ１４０５でＨＤＲ信号処理部１０４２はＨＤＲ処理を実行する。一方、Ｓ１４０６で位相差信号処理部１０６は、Ｓ１４０３で振り分けられた位相差画素信号を用いて位相差検出を行う。

Ｓ１４０５およびＳ１４０６の処理が終了した後にＳ１４０７へと遷移する。制御部１０７は、撮影を終了するか否かを判断する。制御部１０７は撮影を終了すると判断した場合、待機状態へと遷移する。一方、制御部１０７は撮影を続行すると判断した場合、Ｓ１４０１へ処理を戻す。Ｓ１４０４で得られたＡＥ値から撮影条件が再設定されて撮影を継続する。
本実施例の動作により、１回の撮影でＨＤＲ処理と位相差検出処理を同時に両立させることができる。

［変形例］
図１５を参照して、第２の実施例の変形例に係る撮像装置について説明する。図１５は変形例において光電変換部２０１Ｌ、２０１Ｒの画素信号を読み出す位置を示した模式図である。図１５では、斜線、縦線、および横線のハッチング線によって、光電変換部２０１Ｌ、２０１Ｒの露出状態の相違を表現している。

本変形例では、位相差画素信号の読み出し行においてＡ像信号およびＢ像信号を共に読み出すことに特徴がある。例えば、図１５にて位相差画素信号の読み出し行はｎ＋２行目、ｎ＋５行目、ｎ＋８行目、ｎ＋１１行目である。これらの行において、Ａ像列の光電変換部とＢ像列の光電変換部とは、露出条件が同じ設定となっている。なお、ＨＤＲ撮像行については、図１３と同じである。つまり、ＨＤＲ撮像行では低露出画素と高露出画素が同一行で読み出される。位相差画素信号の読み出し行ではＡ像、Ｂ像共に同一の露出設定で画素信号が同一行で読み出される。

本変形例では、同一行で位相差検出用にＡ像信号およびＢ像信号を読み出すことにより、Ａ像とＢ像との垂直方向での読み出し段差が無くなる。よって、斜線形状の被写体等の撮影において、Ａ像とＢ像との位相差検出誤差が発生するのを防ぎ、または誤差を低減できる。

図１５において、位相差画素信号の読み出し行ではＡＥ処理部１０４１が算出したＡＥ値に基づいて、位相差検出処理に適した露出設定が行われる。この場合、ＨＤＲ撮像行とは異なる露出設定値が使用される。このことを、図１５では、Ａ像列およびＢ像列の各光電変換部に、横線のハッチング線を付すことによって示している。

本変形例では、位相差画素信号の読み出し行において、Ａ像、Ｂ像共に同一行で信号が読み出され、かつ、ＨＤＲ撮像行とは異なる露出条件が設定される。よって、ＨＤＲ撮像信号を取得しつつ、位相差検出精度の向上および位相差信号処理に適した位相差画素信号を取得できる。

各画素部が水平および垂直方向にそれぞれ２分割された４つの光電変換部を有する実施例の場合には、各光電変換部に対して、画素信号の出力条件を異なる設定にすることができる。例えば、１つの画素部内でＡ像列の第１の光電変換部およびＢ像列の第４の光電変換部に対して、出力条件が１Ｒに設定され、Ａ像列の第３の光電変換部およびＢ像列の第２の光電変換部に対して、出力条件が２Ｒに設定される。
Ａ像 Ｂ像
（１）１Ｒ （２）２Ｒ
（３）２Ｒ （４）１Ｒ
（１）から（４）はひとつの画素部内の第１ないし第４の光電変換部をそれぞれ表す。１Ｒの信号同士、または２Ｒの信号同士から位相差検出が可能である。

第１および第２の実施例によれば、各マイクロレンズに対して複数の光電変換部が対応する撮像素子および該撮像素子を用いる撮像装置において、１回の撮影で得られるフレーム画像に基づき、複数の信号処理を実行できる。つまり、広ダイナミックレンジな画像信号の生成処理と、焦点検出処理を同時に実行することができる。なお第１および第２の実施例では、撮像素子１０２に対して映像信号処理部１０４と位相差信号処理部１０６が撮像装置内に設けられた構成例を説明したが、これらの信号処理部の機能の少なくとも一部を撮像素子内に設けた構成でもよい。この場合、例えば、撮像素子には多数の画素部を行列状に配列した画素アレイ部（撮像部）と、各画素部の信号を処理する信号処理部が集積回路チップ上に実装される。例えば、積層型撮像素子の場合、撮像素子は信号処理部を構成する第１の集積回路チップ上に撮像部を構成する第２の集積回路チップが積層された構成である。このとき、第１の集積回路チップ上に構成される信号処理部として、焦点検出用には２像の相関演算を行う相関演算部と相関演算結果から像ずれ量を算出する算出部を備えるとよい。これにより、撮像素子１０２からの出力としては像ずれ量（あるいはデフォーカス量）やその分布を出力すればよいので、センサの製造コストを下げたり、後段の画像処理部の帯域を確保することができる。またこのとき、ＨＤＲ処理用には撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理部とＨＤＲ合成を行う合成処理部を備えるとよい。これにより、撮像素子１０２からの出力としては合成後の１フレーム分の画像信号が出力されるので、上記と同様の効果がある上に、画質を決める重要な処理を、より高精度な解析や処理が可能であろう後段の画像処理部に任せることができる。もちろん上記に限らず、焦点検出用、ＨＤＲ処理用に他の処理の一部あるいは全部を撮像素子１０２内の信号処理部に設けてもよい。また、信号処理部の具体的な構成例としては、ＨＤＲ処理にてビットレンジ伸長処理を行う第１の信号処理と、位相差検出を行う第２の信号処理を並列に実行する１つの信号処理部を設けてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 撮像素子
１０３ 信号選択部
１０４ 映像信号処理部
１０４１ ＡＥ処理部
１０４２ ＨＤＲ信号処理部
１０６ 位相差信号処理部
１０６１ 露出差補正処理部
１０６２ 位相差検出処理部
１０７ 制御部

Claims (26)

1. 複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子であって、
   前記画素部が有する第１および第２の光電変換部に対し、画素信号の出力条件を設定する設定手段と、
   前記第１および第２の光電変換部の信号から画像信号を生成する第１の信号処理と、前記第１および第２の光電変換部の信号を用いて一対の信号を生成する第２の信号処理とを実行する信号処理手段と、
   前記第１の光電変換部の信号を取得して露出値を算出する算出手段と、を備え、
   前記設定手段は、前記算出手段により算出された露出値を取得して前記画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像素子。
2. 前記設定手段は、前記第１および第２の光電変換部に対し、露光時間および信号の増幅度および感度のうちの１つ以上を異なる値に設定することを特徴とする請求項１に記載の撮像素子。
3. 前記信号処理手段は前記第１の信号処理にて、画像信号のダイナミックレンジ拡大処理を行うことを特徴とする請求項１または請求項２に記載の撮像素子。
4. 前記信号処理手段は前記第２の信号処理にて、焦点検出として位相差検出の信号処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記信号処理手段は前記第２の信号処理にて、前記第１の光電変換部の信号と前記第２の光電変換部の信号との露出差を補正し、補正された信号を用いて信号処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記第１および第２の信号処理は並列に実行されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子であって、
   前記画素部が有する第１および第２の光電変換部の信号から、画像信号の生成に用いる第１の信号と、焦点検出に用いる第２の信号をそれぞれ選択する信号選択手段と、
   前記信号選択手段から前記第１の信号を取得して画像信号を生成する第１の信号処理と、前記信号選択手段から前記第２の信号を取得して焦点検出を行う第２の信号処理とを実行する信号処理手段と、
   複数の画素部がそれぞれ有する前記第１および第２の光電変換部に対して、画素信号の出力条件を行ごとに設定する設定手段と、
   前記信号選択手段から前記第１の信号を取得して露出値を算出する算出手段と、を備え、
   前記信号処理手段は、撮像されたフレーム画像に係る前記第１および第２の光電変換部の信号から前記信号選択手段によって振り分けられた信号をそれぞれ用いて前記第１および第２の信号処理を行い、
   前記設定手段は、前記第１の信号を取得する第１の行の画素部に対して、前記第１および第２の光電変換部の出力条件を異なる設定とし、前記第１の行とは異なる行であって、前記第２の信号を取得する第２の行の画素部に対して、前記第１および第２の光電変換部の出力条件を同じ設定とし、
   前記設定手段は、前記算出手段により算出された露出値を取得して前記第１および第２の行の画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像素子。
8. 前記第１および第２の光電変換部の信号の読み出しを行単位で切り替える制御を行う制御手段を備えることを特徴とする請求項７に記載の撮像素子。
9. 前記制御手段は、前記第１の信号を前記第１および第２の光電変換部から読み出す第１の行と、前記第１の行とは異なる行であって、前記第２の信号を前記第１の光電変換部または前記第２の光電変換部から読み出す第２の行とを設定することを特徴とする請求項８に記載の撮像素子。
10. 前記制御手段は、前記算出手段により算出された露出値を取得して、前記第２の行にて前記第１の光電変換部の信号を読み出すか、または前記第２の光電変換部の信号を読み出すかを決定することを特徴とする請求項９に記載の撮像素子。
11. 前記信号処理手段は前記第１の信号処理にて、画素信号の出力条件が異なる前記第１および第２の光電変換部の信号を取得してダイナミックレンジ拡大処理を行うことを特徴とする請求項７乃至１０のいずれか１項に記載の撮像素子。
12. 前記信号処理手段は前記第２の信号処理にて、画素信号の出力条件が同じである前記第１および第２の光電変換部の信号を取得して位相差検出の信号処理を行うことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像素子。
13. 前記設定手段は、前記第１および第２の光電変換部に対し、露光時間および信号の増幅度および感度のうちの１つ以上を異なる値に設定することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像素子。
14. 前記設定手段は、前記算出手段により算出された露出値を取得して前記画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする請求項１０に記載の撮像素子。
15. 前記設定手段は、前記第１の行の画素部が有する前記第１および第２の光電変換部を、異なる出力条件に設定することを特徴とする請求項９または請求項１０に記載の撮像素子。
16. 前記設定手段は、前記第１の行の画素部が有する前記第１の光電変換部および前記第２の行の画素部が有する前記第２の光電変換部、または、前記第１の行の画素部が有する前記第２の光電変換部および前記第２の行の画素部が有する前記第１の光電変換部に対し、同じ出力条件に設定することを特徴とする請求項９に記載の撮像素子。
17. 前記信号処理手段は前記第２の信号処理にて、前記第１の行の画素部が有する前記第１の光電変換部の信号および前記第２の行の画素部が有する前記第２の光電変換部の信号、または、前記第１の行の画素部が有する前記第２の光電変換部の信号および前記第２の行の画素部が有する前記第１の光電変換部の信号を用いて焦点検出を行うことを特徴とする請求項１６に記載の撮像素子。
18. 前記信号処理手段は前記第１の信号処理にて、前記第１の行の画素部から取得した信号を用いて画像信号のダイナミックレンジ拡大処理を行うことを特徴とする請求項７に記載の撮像素子。
19. 前記信号処理手段は前記第２の信号処理にて、前記第２の行の画素部から取得した信号を用いて焦点検出を行うことを特徴とする請求項７または請求項１８に記載の撮像素子。
20. 前記画素部は、マイクロレンズと、該マイクロレンズに対応する前記第１および第２の光電変換部を有し、前記第１および第２の光電変換部は撮像光学系の異なる瞳部分領域をそれぞれ通過する光を受光して信号を出力することを特徴とする請求項１乃至１９のいずれか１項に記載の撮像素子。
21. 複数の画素部を有する撮像素子と、前記画素部から信号を取得して複数の信号処理を行う撮像装置であって、
    前記画素部が有する第１および第２の光電変換部に対し、画素信号の出力条件を設定する設定手段と、
    前記第１および第２の光電変換部の信号から画像信号を生成する第１の信号処理と、前記第１および第２の光電変換部の信号を用いて一対の信号を生成する第２の信号処理とを実行する信号処理手段と、
    前記第１の光電変換部の信号を取得して露出値を算出する算出手段と、を備え、
    前記設定手段は、前記算出手段により算出された露出値を取得して前記画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像装置。
22. 複数の画素部を有する撮像素子と、前記画素部から信号を取得して複数の信号処理を行う撮像装置であって、
    前記画素部が有する第１および第２の光電変換部の信号から、画像信号の生成に用いる第１の信号と、焦点検出に用いる第２の信号をそれぞれ選択する信号選択手段と、
    前記信号選択手段から前記第１の信号を取得して画像信号を生成する第１の信号処理と、前記信号選択手段から前記第２の信号を取得して焦点検出を行う第２の信号処理とを実行する信号処理手段と、
    複数の画素部がそれぞれ有する前記第１および第２の光電変換部に対して、画素信号の出力条件を行ごとに設定する設定手段と、
    前記信号選択手段から前記第１の信号を取得して露出値を算出する算出手段と、を備え、
    前記信号処理手段は、撮像されたフレーム画像に係る前記第１および第２の光電変換部の信号から前記信号選択手段によって振り分けられた信号をそれぞれ用いて前記第１および第２の信号処理を行い、
    前記設定手段は、前記第１の信号を取得する第１の行の画素部に対して、前記第１および第２の光電変換部の出力条件を異なる設定とし、前記第１の行とは異なる行であって、前記第２の信号を取得する第２の行の画素部に対して、前記第１および第２の光電変換部の出力条件を同じ設定とし、
    前記設定手段は、前記算出手段により算出された露出値を取得して前記第１および第２の行の画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像装置。
23. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    設定手段が前記画素部の有する第１および第２の光電変換部に対し、画素信号の出力条件を設定する工程と、
    前記信号処理手段が、前記第１および第２の光電変換部の信号から画像信号を生成する第１の信号処理と、前記第１および第２の光電変換部の信号を用いて一対の信号を生成する第２の信号処理とを行う工程と、
    算出手段が、前記第１の光電変換部の信号を取得して露出値を算出する工程と、を有し、
    前記設定手段は、前記算出手段により算出された露出値を取得して前記画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像信号処理方法。
24. 複数の画素部から信号を取得して、信号処理手段により複数の信号処理を行う撮像信号処理方法であって、
    信号選択手段が、前記画素部の有する第１および第２の光電変換部の信号から、画像信号の生成に用いる第１の信号と、焦点検出に用いる第２の信号をそれぞれ選択する工程と、
    前記信号処理手段が、前記信号選択手段から前記第１の信号を取得して画像信号を生成する第１の信号処理と、前記信号選択手段から前記第２の信号を取得して焦点検出を行う第２の信号処理とを実行する工程と、
    設定手段が、複数の画素部がそれぞれ有する前記第１および第２の光電変換部に対して、画素信号の出力条件を行ごとに設定する工程と、
    算出手段が、前記信号選択手段から前記第１の信号を取得して露出値を算出する工程と、を有し、
    前記信号処理手段は、撮像されたフレーム画像に係る前記第１および第２の光電変換部の信号から前記信号選択手段によって振り分けられた信号をそれぞれ用いて前記第１および第２の信号処理を行い、
    前記設定手段は、前記第１の信号を取得する第１の行の画素部に対して、前記第１および第２の光電変換部の出力条件を異なる設定とし、前記第１の行とは異なる行であって、前記第２の信号を取得する第２の行の画素部に対して、前記第１および第２の光電変換部の出力条件を同じ設定とし、
    前記設定手段は、前記算出手段により算出された露出値を取得して前記第１および第２の行の画素部がそれぞれ有する前記第１および第２の光電変換部の出力条件を設定することを特徴とする撮像信号処理方法。
25. 前記信号処理手段は、焦点検出を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。
26. 前記撮像素子は、前記信号処理手段を構成する第１の集積回路チップ上に、撮像部を構成する第２の集積回路チップが積層された積層型撮像素子であることを特徴とする請求項１乃至２０のいずれか１項に記載の撮像素子。
    

Images