JP6458343B2

JP6458343B2 - Imaging device

Info

Publication number: JP6458343B2
Application number: JP2014036663A
Authority: JP
Inventors: 寛信村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2019-01-30
Anticipated expiration: 2034-02-27
Also published as: JP2015162562A

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus .

可視光（ＲＧＢ）を光電変換する光電変換部を有する半導体基板の上方に、赤外光を吸収して光電変換する光電変換膜が配置され、可視光画像の撮影と赤外光画像の撮影とを同時に行えるように構成された撮像素子が知られている（特許文献１参照）。 A photoelectric conversion film that absorbs infrared light and performs photoelectric conversion is disposed above a semiconductor substrate having a photoelectric conversion unit that photoelectrically converts visible light (RGB), and captures a visible light image and an infrared light image. There is known an image pickup device configured to be able to simultaneously perform (see Patent Document 1).

特開２０１２−１６９６７６号公報JP 2012-169676 A

上記従来技術では、瞳分割位相差方式による焦点検出を行うことはできなかった。 In the above prior art, focus detection by the pupil division phase difference method cannot be performed.

請求項１に記載の撮像装置は、光学系を透過して入射した光のうち赤外光を光電変換して電荷を生成する第１光電変換部と、前記第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部と、前記第１光電変換部で生成された電荷に基づく第１信号および前記第２光電変換部で生成された電荷に基づく第２信号の少なくとも一方を出力する出力部と、を有する撮像素子と、前記第１信号および前記第２信号の少なくとも一方に基づいて、前記光学系による像が前記撮像素子に合焦する合焦位置の検出を行う検出部と、を備え、前記検出部は、前記第１信号に基づいて前記合焦位置が検出できないと、前記第２信号に基づいて前記合焦位置の検出を行うとともに、前記撮像素子は、マイクロレンズを有し前記マイクロレンズを透過した光のうち赤外光を光電変換して電荷を生成する複数の前記第１光電変換部と、前記マイクロレンズと複数の前記第１光電変換部を透過した光を光電変換して電荷を生成する複数の前記第２光電変換部を有し、複数の前記第１光電変換部は第１方向に配置され、複数の前記第２光電変換部は前記第１方向と交差する第２方向に配置される。 The imaging apparatus according to claim 1, a first photoelectric conversion unit that photoelectrically converts infrared light among light incident through the optical system to generate charges, and light that has passed through the first photoelectric conversion unit. A second photoelectric conversion unit that generates a charge by photoelectrically converting the first signal based on the charge generated by the first photoelectric conversion unit and a second signal based on the charge generated by the second photoelectric conversion unit. Based on at least one of the first signal and the second signal, detection of a focus position at which an image by the optical system is focused on the image sensor is provided. comprising a detection unit for performing, wherein the detection unit is configured when the first signal to the focus position based can not be detected, the second row of detection of the focusing position based on the signal Utotomoni, the imaging device Has a microlens and the microlens Among the light that has passed, the plurality of first photoelectric conversion units that photoelectrically convert infrared light to generate charges, and the light that has passed through the microlenses and the plurality of first photoelectric conversion units are photoelectrically converted to generate charges. A plurality of second photoelectric conversion units to be generated; the plurality of first photoelectric conversion units are arranged in a first direction; and the plurality of second photoelectric conversion units are arranged in a second direction intersecting the first direction. Be placed.

本発明によれば、赤外光を用いた瞳分割位相差方式の焦点検出を行うことができ、且つ可視光画像を撮像することができる。 ADVANTAGE OF THE INVENTION According to this invention, the focus detection of a pupil division | segmentation phase difference system using infrared light can be performed, and a visible light image can be imaged.

デジタルカメラの構成例を説明するブロック図である。It is a block diagram explaining the structural example of a digital camera. 撮像部の概要を説明する図である。It is a figure explaining the outline | summary of an imaging part. （ａ）はカラーフィルターの配置例を説明する図であり、（ｂ）は第２撮像素子の各画素の出力を説明する図であり、（ｃ）は第１撮像素子の各画素の出力を説明する図である。(A) is a figure explaining the example of arrangement | positioning of a color filter, (b) is a figure explaining the output of each pixel of a 2nd image sensor, (c) is the output of each pixel of a 1st image sensor. It is a figure explaining. 第１の実施の形態において、（ａ）は撮像部の半導体レイアウトの一例を説明する図であり、（ｂ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｃ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図である。In the first embodiment, (a) is a diagram for explaining an example of a semiconductor layout of an imaging unit, (b) is a cross-sectional view when the imaging unit is cut along a cutting line AB, and (c) ) Is a cross-sectional view when the imaging unit is cut along a cutting line CD. （ａ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｂ）は第２撮像素子における切断線Ａ−Ｂの画素位置を説明する図である。(A) is sectional drawing when an imaging part is cut | disconnected by cutting line AB, (b) is a figure explaining the pixel position of cutting line AB in a 2nd image pick-up element. （ａ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図であり、（ｂ）は第２撮像素子における切断線Ｃ−Ｄの画素位置を説明する図である。(A) is sectional drawing when an imaging part is cut | disconnected by the cutting line CD, (b) is a figure explaining the pixel position of the cutting line CD in a 2nd image pick-up element. 図６（ａ）の一部を拡大した図である。It is the figure which expanded a part of Fig.6 (a). 撮像部における１つの画素の回路構成を例示する図である。It is a figure which illustrates the circuit structure of one pixel in an imaging part. 焦点検出処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a focus detection process. 撮影処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of imaging | photography process. 第２の実施の形態において、（ａ）は撮像部の半導体レイアウトの一例を説明する図であり、（ｂ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｃ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図である。In 2nd Embodiment, (a) is a figure explaining an example of the semiconductor layout of an imaging part, (b) is sectional drawing when an imaging part is cut | disconnected by the cutting line AB, (c) ) Is a cross-sectional view when the imaging unit is cut along a cutting line CD. 変形例による撮像部を切断線Ｃ−Ｄで切断したときの断面図である。It is sectional drawing when the imaging part by a modification is cut | disconnected by the cutting line CD. 変形例による撮像部の概要を説明する図である。It is a figure explaining the outline | summary of the imaging part by a modification.

（第１の実施の形態）
図１は、本発明の第１の実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮影光学系１０、制御部１１、撮像部１２、操作部１３、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。 (First embodiment)
FIG. 1 is a diagram illustrating the configuration of a digital camera 1 according to the first embodiment of the invention. The digital camera 1 includes a photographing optical system 10, a control unit 11, an imaging unit 12, an operation unit 13, a liquid crystal monitor 15, and a buffer memory 16. In addition, a memory card 17 is attached to the digital camera 1.

撮影光学系１０は、複数のレンズにより構成され、撮像部１２の撮像面に被写体像を結像させる。撮影光学系１０を構成する複数のレンズには、ピント位置を調節するために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。 The photographing optical system 10 is composed of a plurality of lenses, and forms a subject image on the imaging surface of the imaging unit 12. The plurality of lenses constituting the photographing optical system 10 include a focus lens that is driven in the optical axis direction in order to adjust the focus position. The focus lens is driven in the optical axis direction by a lens driving unit (not shown).

制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１１は、焦点検出部１１ａと、画像生成部１１ｂとを機能的に有する。これらの各機能部は、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。 The control unit 11 includes a microprocessor and its peripheral circuits, and performs various controls of the digital camera 1 by executing a control program stored in a ROM (not shown). The control unit 11 functionally includes a focus detection unit 11a and an image generation unit 11b. Each of these functional units is implemented in software by the control program described above. Each of these functional units can also be configured by an electronic circuit.

焦点検出部１１ａは、撮像部１２からの出力信号に基づき、撮影光学系１０の焦点調節状態を検出する。画像生成部１１ｂは、撮像部１２からの出力信号に基づき、カラー画像信号を生成する。 The focus detection unit 11 a detects the focus adjustment state of the photographing optical system 10 based on the output signal from the imaging unit 12. The image generation unit 11b generates a color image signal based on the output signal from the imaging unit 12.

撮影光学系１０によって撮像部１２上に結像された被写体像は、撮像部１２によって光電変換される。撮像部１２からの出力信号は、不図示のＡ／Ｄ変換部でデジタル画像信号に変換され、バッファメモリ１６に格納される。 The subject image formed on the imaging unit 12 by the imaging optical system 10 is photoelectrically converted by the imaging unit 12. An output signal from the imaging unit 12 is converted into a digital image signal by an A / D conversion unit (not shown) and stored in the buffer memory 16.

バッファメモリ１６に格納されたデジタル画像信号は、各種の画像処理が行われた後、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。 The digital image signal stored in the buffer memory 16 is displayed on the liquid crystal monitor 15 or stored in the memory card 17 after various image processing is performed. The memory card 17 is composed of a non-volatile flash memory or the like and is detachable from the digital camera 1.

操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。 The operation unit 13 includes various operation buttons such as a release button, a mode switching button, and a power button, and is operated by a photographer. The operation unit 13 outputs an operation signal corresponding to the operation of each operation button by the photographer to the control unit 11.

＜撮像部の説明＞
図２は、本実施形態に係る撮像部１２の概要を示す図である。なお、図２では、撮像部１２の光入射側を上側とした状態を示している。このため、以下の説明では、撮像部１２の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像部１２は、第１撮像素子３１と、第１撮像素子３１の光入射側（上側）で同一光路上に配置された第２撮像素子３２とを有する。第２撮像素子３２は、赤外光を吸収（光電変換）する有機光電膜で構成される。第２撮像素子３２で吸収（光電変換）されなかった可視光は、第２撮像素子３２を透過して第１撮像素子３１に入射し、第１撮像素子３１で光電変換される。第１撮像素子３１は、フォトダイオードにより光電変換を行う。第２撮像素子３２と第１撮像素子３１とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば第２撮像素子３２の１行１列目の画素は、第１撮像素子３１の１行１列目の画素に対応する。 <Description of imaging unit>
FIG. 2 is a diagram illustrating an overview of the imaging unit 12 according to the present embodiment. FIG. 2 shows a state where the light incident side of the imaging unit 12 is the upper side. Therefore, in the following description, the direction on the light incident side of the imaging unit 12 is “upper” or “upper”, and the direction opposite to the light incident side is “lower” or “lower”. The imaging unit 12 includes a first imaging element 31 and a second imaging element 32 disposed on the same optical path on the light incident side (upper side) of the first imaging element 31. The second imaging element 32 is configured by an organic photoelectric film that absorbs infrared light (photoelectric conversion). Visible light that has not been absorbed (photoelectrically converted) by the second image sensor 32 passes through the second image sensor 32 and enters the first image sensor 31, and is photoelectrically converted by the first image sensor 31. The first image sensor 31 performs photoelectric conversion using a photodiode. The second image sensor 32 and the first image sensor 31 are formed on the same semiconductor substrate, and each pixel position corresponds to one to one. For example, the pixel in the first row and the first column of the second image sensor 32 corresponds to the pixel in the first row and the first column of the first image sensor 31.

図３（ａ）は、第２撮像素子３２の上方に設けられるカラーフィルターＣＦの配置を示す。図３（ｂ）は、第２撮像素子３２の各画素の出力を示す。図３（ｃ）は、第１撮像素子３１の各画素の出力を示す。図３（ａ）〜（ｃ）において、横方向をｘ軸、縦方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。 FIG. 3A shows the arrangement of the color filter CF provided above the second image sensor 32. FIG. 3B shows the output of each pixel of the second image sensor 32. FIG. 3C shows the output of each pixel of the first image sensor 31. 3A to 3C, the horizontal direction is the x axis, the vertical direction is the y axis, and the coordinates of the pixel P are represented as P (x, y).

第２撮像素子３２の上方には、図３（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色をそれぞれ透過するカラーフィルターＣＦがいわゆるベイヤ配列で設けられている。このカラーフィルターＣＦは、ＲＧＢいずれかの光のほか、赤外光も透過するように構成されている。なお、カラーフィルターＣＦの上方には赤外フィルターは設けられていない。具体的には、画素Ｐ（１，１）の上方に配置されたカラーフィルターＣＦ（１，１）は、Ｇの光と赤外光とを透過する。このため、第２撮像素子の画素Ｐ（１，１）にはＧの光と赤外光が入射される。同様に、画素Ｐ（２，１）の上方に配置されたカラーフィルターＣＦ（２，１）は、Ｂの光と赤外光とを透過する。このため、第２撮像素子の画素Ｐ（２，１）にはＢの光と赤外光が入射される。 Above the second image sensor 32, as shown in FIG. 3A, a color filter CF that transmits red (R), green (G), and blue (B) is provided in a so-called Bayer array. It has been. The color filter CF is configured to transmit infrared light in addition to any of RGB light. Note that no infrared filter is provided above the color filter CF. Specifically, the color filter CF (1, 1) disposed above the pixel P (1, 1) transmits G light and infrared light. For this reason, G light and infrared light are incident on the pixel P (1,1) of the second image sensor. Similarly, the color filter CF (2, 1) disposed above the pixel P (2, 1) transmits B light and infrared light. For this reason, B light and infrared light are incident on the pixel P (2, 1) of the second image sensor.

図３（ｂ）に示す第２撮像素子３２では、各画素Ｐを、赤外光を光電変換する有機光電膜としている。そのため、各画素Ｐで赤外光が吸収され、可視光が透過される。たとえば、赤外光およびＧの光が入射される画素Ｐ（１，１）は、赤外光（ＩＲ）を光電変換してＧの光を透過する。同様に、赤外光およびＢの光が入射される画素Ｐ（２，１）は、赤外光（ＩＲ）を光電変換してＢの光を透過する。赤外光およびＲの光が入射される画素Ｐ（１，２）は、赤外光（ＩＲ）を光電変換してＲの光を透過する。また、詳しくは後述するが、第２撮像素子３２の各画素Ｐは、瞳分割位相差方式に対応する焦点検出用画素で構成される。 In the second image sensor 32 shown in FIG. 3B, each pixel P is an organic photoelectric film that photoelectrically converts infrared light. Therefore, each pixel P absorbs infrared light and transmits visible light. For example, the pixel P (1, 1) to which infrared light and G light are incident photoelectrically converts infrared light (IR) and transmits G light. Similarly, the pixel P (2,1) to which the infrared light and B light are incident photoelectrically converts the infrared light (IR) and transmits the B light. The pixels P (1, 2) on which the infrared light and R light are incident photoelectrically convert the infrared light (IR) and transmit the R light. Further, as will be described in detail later, each pixel P of the second image sensor 32 is composed of focus detection pixels corresponding to the pupil division phase difference method.

図３（ｃ）に示す第１撮像素子３１では、各画素Ｐにおいて、第２撮像素子３２を透過する可視光を光電変換する。第１撮像素子３１において、たとえばＧの光が入射される画素Ｐ（１，１）ではＧ成分の画像信号が得られる。同様に、Ｂの光が入射される画素Ｐ（２，１）ではＢ成分の画像信号、Ｒの光が入射される画素Ｐ（１，２）ではＲ成分の画像信号がそれぞれ得られる。 In the first image sensor 31 shown in FIG. 3C, the visible light transmitted through the second image sensor 32 is photoelectrically converted in each pixel P. In the first image sensor 31, for example, an image signal of the G component is obtained at the pixel P (1, 1) on which G light is incident. Similarly, a B component image signal is obtained at the pixel P (2,1) where the B light is incident, and an R component image signal is obtained at the pixel P (1,2) where the R light is incident.

このように、本実施形態に係る撮像部１２では、有機光電膜で構成される第２撮像素子３２が第１撮像素子３１に対して赤外フィルターの役割を果たす。したがって、従来のデジタルカメラにおいて撮像素子の手前に設置していた赤外フィルターを省略することができる。 As described above, in the imaging unit 12 according to the present embodiment, the second imaging element 32 formed of an organic photoelectric film serves as an infrared filter with respect to the first imaging element 31. Therefore, the infrared filter installed in front of the image sensor in the conventional digital camera can be omitted.

また、本実施形態に係る撮像部１２では、第１撮像素子３１に撮像用画素を配置し、第２撮像素子３２に焦点検出用画素を全面に均等に配置している。したがって、撮像用画素の一部に焦点検出用画素を配置する従来技術のように複雑な画素補間処理を行う必要がなく、第２撮像素子３２からは赤外光による焦点検出用信号、第１撮像素子３１からは可視光によるカラー（ＲＧＢ）画像信号をそれぞれ独立して得ることができる。なお、撮像部１２では、第１撮像素子３１と第２撮像素子３２とがそれぞれ独立に駆動できるように構成されているので、自由度の高い蓄積時間制御が可能となっている。 Further, in the imaging unit 12 according to the present embodiment, imaging pixels are arranged on the first imaging element 31 and focus detection pixels are arranged uniformly on the entire surface of the second imaging element 32. Therefore, it is not necessary to perform complicated pixel interpolation processing as in the prior art in which focus detection pixels are arranged in a part of the image pickup pixels, and the focus detection signal from the second image pickup element 32, the first A color (RGB) image signal by visible light can be obtained independently from the image sensor 31. Note that the imaging unit 12 is configured such that the first imaging element 31 and the second imaging element 32 can be independently driven, so that accumulation time control with a high degree of freedom is possible.

図４（ａ）は、撮像部１２の半導体レイアウトの一例である。尚、図４（ａ）は、先に説明した図３の各画素Ｐ（１，１）から画素Ｐ（２，２）に対応する。図４（ｂ）および図５（ａ）は、図４（ａ）の画素Ｐ（１，１）および画素（２，１）を水平方向に切断線Ａ−Ｂで切断したときの断面図である。また、図５（ｂ）は、第２撮像素子３２における切断線Ａ−Ｂの画素位置がわかり易いように描いた図である。切断線Ａ−Ｂは、光電変換部ＰＣ＿Ａ（１，１）およびＰＣ＿Ａ（２，１）の部分を切断する。図４（ｃ）および図６（ａ）は、図４（ａ）の画素Ｐ（２，１）および画素（２，２）を垂直方向に切断線Ｃ−Ｄで切断したときの断面図である。また、図６（ｂ）は、第２撮像素子３２における切断線Ｃ−Ｄの画素位置がわかり易いように描いた図である。切断線Ｃ−Ｄは、光電変換部ＰＣ＿Ａ（２，１），ＰＣ＿Ｂ（２，１），ＰＣ＿Ａ（２，２）およびＰＣ＿Ｂ（２，２）の部分を切断する。図７は、図６（ａ）の一部を拡大した図である。 FIG. 4A is an example of a semiconductor layout of the imaging unit 12. 4A corresponds to each pixel P (1,1) to pixel P (2,2) in FIG. 3 described above. 4B and 5A are cross-sectional views when the pixel P (1,1) and the pixel (2,1) of FIG. 4A are cut along the cutting line AB in the horizontal direction. is there. FIG. 5B is a diagram depicting the pixel position of the cutting line AB in the second image sensor 32 so that it can be easily understood. The cutting line AB cuts portions of the photoelectric conversion units PC_A (1, 1) and PC_A (2, 1). 4C and 6A are cross-sectional views when the pixel P (2,1) and the pixel (2,2) of FIG. 4A are cut along the cutting line CD in the vertical direction. is there. FIG. 6B is a diagram depicting the pixel position of the cutting line CD in the second image sensor 32 so that it can be easily understood. The cutting line CD cuts the photoelectric conversion units PC_A (2,1), PC_B (2,1), PC_A (2,2), and PC_B (2,2). FIG. 7 is an enlarged view of a part of FIG.

図５に示すように、第１撮像素子３１は、いわゆる表面照射型の撮像素子であり、半導体基板５０の表面側に入射した光をフォトダイオードＰＤにより光電変換し、半導体基板５０の表面側に形成された配線層５１を介して光電変換信号を出力する。有機光電膜を用いた第２撮像素子３２は、第１撮像素子３１の上記表面側に積層配置される。また、第２撮像素子３２の上方（すなわち第１撮像素子３１とは反対側）には、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイが積層配置されている。第１撮像素子３１および第２撮像素子３２の各画素は、マイクロレンズＭＬの各々に対応して設けられている。また、第２撮像素子３２の各画素と各マイクロレンズＭＬとの間には、上述したカラーフィルターＣＦが配置されている。 As shown in FIG. 5, the first image sensor 31 is a so-called surface-illuminated image sensor, and photoelectrically converts light incident on the surface side of the semiconductor substrate 50 by the photodiode PD so that the light is incident on the surface side of the semiconductor substrate 50. A photoelectric conversion signal is output through the formed wiring layer 51. The second image sensor 32 using the organic photoelectric film is stacked on the surface side of the first image sensor 31. A microlens array in which a plurality of microlenses ML are two-dimensionally arranged is stacked above the second imaging element 32 (that is, on the side opposite to the first imaging element 31). Each pixel of the first image sensor 31 and the second image sensor 32 is provided corresponding to each microlens ML. In addition, the above-described color filter CF is disposed between each pixel of the second image sensor 32 and each microlens ML.

第２撮像素子３２から出力される光電変換信号は、配線層５１を介して信号出力端５２から取り出される。信号出力端５２の両側は分離層５３，５４が配置されている。また、分離層５３，５４を隔ててフォトダイオードＰＤ（１，１）およびＰＤ（２，１）が配置されている。第１撮像素子３１の各画素Ｐは、撮像用画素であり、１つの撮像用画素に対して１つのフォトダイオードＰＤが設けられている。なお、図４〜図６では、配線層５１は３層構造になっているが２層構造であってもよい。 The photoelectric conversion signal output from the second image sensor 32 is taken out from the signal output end 52 via the wiring layer 51. Separation layers 53 and 54 are disposed on both sides of the signal output end 52. Further, the photodiodes PD (1,1) and PD (2,1) are arranged with the separation layers 53 and 54 therebetween. Each pixel P of the first imaging element 31 is an imaging pixel, and one photodiode PD is provided for one imaging pixel. 4 to 6, the wiring layer 51 has a three-layer structure, but may have a two-layer structure.

また、図６に示すように、第２撮像素子３２の各画素Ｐは、焦点検出用画素であり、１つの画素Ｐが図中縦方向に２分割され、１つの画素Ｐにつき２つの光電変換部ＰＣ＿ＡおよびＰＣ＿Ｂが設けられている。たとえば、画素Ｐ（２，１）には、光電変換部ＰＣ＿Ａ（２，１）と光電変換部ＰＣ＿Ｂ（２，１）が設けられている。具体的には、図７に示すように、画素Ｐ（２，１）では、共通電極ｕと部分電極ｄ＿Ａ（２，１）との間に有機光電膜ｍを挟んで光電変換部ＰＣ＿Ａ（２，１）が構成される。また、共通電極ｕと部分電極ｄ＿Ｂ（２，１）との間に有機光電膜ｍを挟んで光電変換部ＰＣ＿Ｂ（２，１）が構成される。なお、共通電極ｕはマイクロレンズＭＬ側に配置され、部分電極ｄ＿Ａ，ｄ＿Ｂは第１撮像素子３１側に配置される。また、共通電極ｕと部分電極ｄ＿Ａ，ｄ＿Ｂは透明電極である。部分電極ｄ＿Ａ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中上側に設けられ、部分電極ｄ＿Ｂ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中下側に設けられる。部分電極ｄ＿Ａ（２，１）と部分電極ｄ＿Ｂ（２，１）とは、互いに接しないように、それぞれマイクロレンズＭＬ（２，１）の中心Ｏ（２，１）から若干の間隔をおいて設けられる。他の画素Ｐについても同様に構成される。 Further, as shown in FIG. 6, each pixel P of the second image sensor 32 is a focus detection pixel, and one pixel P is divided into two in the vertical direction in the figure, and two photoelectric conversions per one pixel P are performed. Parts PC_A and PC_B are provided. For example, the pixel P (2, 1) is provided with a photoelectric conversion unit PC_A (2, 1) and a photoelectric conversion unit PC_B (2, 1). Specifically, as shown in FIG. 7, in the pixel P (2,1), the photoelectric conversion unit PC_A (2) with the organic photoelectric film m sandwiched between the common electrode u and the partial electrode d_A (2,1). , 1) is configured. In addition, the photoelectric conversion unit PC_B (2, 1) is configured by sandwiching the organic photoelectric film m between the common electrode u and the partial electrode d_B (2, 1). The common electrode u is disposed on the microlens ML side, and the partial electrodes d_A and d_B are disposed on the first imaging element 31 side. The common electrode u and the partial electrodes d_A and d_B are transparent electrodes. The partial electrode d_A (2,1) is provided on the upper side in the drawing with respect to the center O (2,1) of the microlens ML (2,1), and the partial electrode d_B (2,1) is provided on the microlens ML ( 2,1) with respect to the center O (2,1). The partial electrode d_A (2,1) and the partial electrode d_B (2,1) are spaced apart from the center O (2,1) of the microlens ML (2,1) so as not to contact each other. Provided. The other pixels P are similarly configured.

第２撮像素子３２の各画素Ｐは、光電変換部ＰＣ＿Ａと光電変換部ＰＣ＿Ｂとにより撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する。ここで、図５（ａ）の配線層５１は、図６（ａ）において、配線層５１Ａと配線層５１Ｂとに対応する。配線層５１Ａは有機光電膜の光電変換部ＰＣ＿Ａ（２，１）の信号を信号出力端５２Ａに出力し、配線層５１Ｂは有機光電膜の光電変換部ＰＣ＿Ｂ（２，１）の信号を信号出力端５２Ｂに出力する。図５（ａ）の配線層５１では、配線層５１Ａと配線層５１Ｂとが重なっているため１つしか見えていない。 Each pixel P of the second image sensor 32 receives a pair of light beams that have passed through a pair of pupil regions of the imaging optical system 10 by the photoelectric conversion unit PC_A and the photoelectric conversion unit PC_B, respectively, and images by the pupil division phase difference method. A focus detection signal for detecting the focus adjustment state of the optical system 10 is output. Here, the wiring layer 51 in FIG. 5A corresponds to the wiring layer 51A and the wiring layer 51B in FIG. 6A. The wiring layer 51A outputs the signal of the photoelectric conversion unit PC_A (2, 1) of the organic photoelectric film to the signal output terminal 52A, and the wiring layer 51B outputs the signal of the photoelectric conversion unit PC_B (2, 1) of the organic photoelectric film. Output to the end 52B. In the wiring layer 51 of FIG. 5A, only one is visible because the wiring layer 51A and the wiring layer 51B overlap.

第１撮像素子３１および第２撮像素子３２の同じ位置の画素Ｐは、同一のマイクロレンズＭＬから入射する被写体光を受光する。たとえば、図５に示すように、画素Ｐ（１，１）に対応するマイクロレンズＭＬ（１，１）から入射された被写体光のうち、赤外光およびＧの光はカラーフィルターＣＦ（１，１）を透過し、ＲおよびＢの光はカラーフィルターＣＦ（１，１）により遮蔽される。第２撮像素子３２において、画素Ｐ（１，１）の光電変換部を構成する有機光電膜による光電変換部ＰＣ＿Ａ（１，１）および光電変換部ＰＣ＿Ｂ（１，１）は、カラーフィルターＣＦ（１，１）を透過した赤外光を光電変換し、Ｇの光を透過する。第１撮像素子３１において、画素Ｐ（１，１）を構成するフォトダイオードＰＤ（１，１）は、光電変換部ＰＣ（１，１）を透過したＧの光を受光して光電変換する。 The pixels P at the same positions of the first image sensor 31 and the second image sensor 32 receive subject light incident from the same microlens ML. For example, as shown in FIG. 5, among the subject light incident from the microlens ML (1, 1) corresponding to the pixel P (1, 1), infrared light and G light are color filters CF (1, 1). 1) is transmitted, and R and B light is shielded by the color filter CF (1, 1). In the second image sensor 32, the photoelectric conversion unit PC_A (1,1) and the photoelectric conversion unit PC_B (1,1) by the organic photoelectric film constituting the photoelectric conversion unit of the pixel P (1,1) are color filters CF ( 1,1) is subjected to photoelectric conversion, and G light is transmitted. In the first image sensor 31, the photodiode PD (1, 1) constituting the pixel P (1, 1) receives G light transmitted through the photoelectric conversion unit PC (1, 1) and performs photoelectric conversion.

また、図５に示すように、第２撮像素子３２と第１撮像素子３１との間には、第１撮像素子３１の隣接する画素間の境界部分（信号出力端５２および分離層５３，５４）の上に、配線層５１を内部に含む平坦化層５５が形成されている。さらに、第２撮像素子３２と第１撮像素子３１との間には、第１撮像素子３１の各画素ＰのフォトダイオードＰＤの上に、平坦化層５５よりも高屈折率の材料で構成された光導波路５６が形成されている。光導波路５６は、第２撮像素子３２の各画素Ｐを透過した可視光を、光導波路５６と平坦化層５５との境界面５７で全反射させ、第１撮像素子３１の各画素ＰのフォトダイオードＰＤに導光する。また、光導波路５６の第２撮像素子３２側の寸法は、第１撮像素子３１側（フォトダイオードＰＤ側）の寸法よりも大きくなっている。以上のような構成により、第２撮像素子３２の各画素を透過した光束同士でクロストークが発生して、第１撮像素子３１の１つの画素に第２撮像素子３２の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第２撮像素子３２および第１撮像素子３１の同じ位置の画素が、同一のマイクロレンズＭＬからの入射光を受光することができる。 Further, as shown in FIG. 5, between the second image sensor 32 and the first image sensor 31, the boundary portion between the adjacent pixels of the first image sensor 31 (the signal output end 52 and the separation layers 53 and 54). ), A planarization layer 55 including the wiring layer 51 therein is formed. Further, the second image sensor 32 and the first image sensor 31 are made of a material having a higher refractive index than the planarizing layer 55 on the photodiode PD of each pixel P of the first image sensor 31. An optical waveguide 56 is formed. The optical waveguide 56 totally reflects the visible light transmitted through each pixel P of the second image sensor 32 at the boundary surface 57 between the optical waveguide 56 and the planarization layer 55, and the photo of each pixel P of the first image sensor 31. The light is guided to the diode PD. Further, the dimension of the optical waveguide 56 on the second imaging element 32 side is larger than the dimension on the first imaging element 31 side (photodiode PD side). With the configuration described above, crosstalk occurs between the light beams transmitted through the pixels of the second image sensor 32, and a plurality of pixels of the second image sensor 32 pass through one pixel of the first image sensor 31. It is possible to prevent the light beam from entering. That is, the pixels at the same position of the second image sensor 32 and the first image sensor 31 can receive incident light from the same microlens ML.

図８は、撮像部１２における１つの画素Ｐ（ｘ，ｙ）の回路構成を例示する図である。画素Ｐ（ｘ，ｙ）は、第１撮像素子３１を構成するための回路として、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲと、出力トランジスタＳＦと、選択トランジスタＳＥＬとを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦは選択トランジスタＳＥＬを介して電流源ＰＷとソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴとして垂直信号線ＶＬＩＮＥに出力する。なお、リセットトランジスタＲは、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。 FIG. 8 is a diagram illustrating a circuit configuration of one pixel P (x, y) in the imaging unit 12. The pixel P (x, y) includes a photodiode PD, a transfer transistor Tx, a reset transistor R, an output transistor SF, and a selection transistor SEL as a circuit for configuring the first imaging element 31. The photodiode PD accumulates charges according to the amount of incident light. The transfer transistor Tx transfers the charge accumulated in the photodiode PD to the floating diffusion region (FD portion) on the output transistor SF side. The output transistor SF forms a current source PW and a source follower via the selection transistor SEL, and outputs an electric signal corresponding to the electric charge accumulated in the FD section as an output signal OUT to the vertical signal line VLINE. The reset transistor R resets the charge in the FD portion to the power supply voltage Vcc.

また、画素Ｐ（ｘ，ｙ）は、第２撮像素子３２を構成するための回路として、有機光電膜による光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂと、リセットトランジスタＲ＿Ａ，Ｒ＿Ｂと、出力トランジスタＳＦ＿Ａ，ＳＦ＿Ｂと、選択トランジスタＳＥＬ＿Ａ，ＳＥＬ＿Ｂとを有する。有機光電膜による光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂは、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ＿Ａ，ＳＥＬ＿Ｂを介して電流源ＰＷ＿ＡおよびＰＷ＿Ｂとそれぞれソースホロワを構成する出力トランジスタＳＦ＿Ａ，ＳＦ＿Ｂを介して出力信号ＯＵＴ＿Ａ，ＯＵＴ＿Ｂとして垂直信号線ＶＬＩＮＥ＿Ａ，ＶＬＩＮＥ＿Ｂにそれぞれ出力する。なお、リセットトランジスタＲ＿Ａ，Ｒ＿Ｂは、光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂの出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳ＿ＦＥＴで構成される。 The pixel P (x, y) includes, as a circuit for configuring the second imaging element 32, photoelectric conversion units PC_A and PC_B using organic photoelectric films, reset transistors R_A and R_B, output transistors SF_A and SF_B, It has selection transistors SEL_A and SEL_B. Photoelectric conversion units PC_A and PC_B using organic photoelectric films convert non-transmitted light into electrical signals according to the amount of light, and output transistors SF_A and SF_B that form source followers with current sources PW_A and PW_B via selection transistors SEL_A and SEL_B, respectively. Are output to the vertical signal lines VLINE_A and VLINE_B as output signals OUT_A and OUT_B, respectively. Note that the reset transistors R_A and R_B reset the output signals of the photoelectric conversion units PC_A and PC_B to the reference voltage Vref. Further, a high voltage Vpc is applied for the operation of the organic photoelectric film. Each transistor is composed of a MOS_FET.

ここで、第１撮像素子３１に係る回路の動作について説明する。まず、選択信号φＳＥＬが”Ｈｉｇｈ”になると、選択トランジスタＳＥＬがオンする。次に、リセット信号φＲが”Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴもリセットレベルになる。そして、リセット信号φＲが”Ｌｏｗ”になった後、転送信号φＴｘが”Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、出力信号ＯＵＴが電荷量に応じて変化し始め、安定する。そして、転送信号φＴｘが”Ｌｏｗ”になり、画素から垂直信号線ＶＬＩＮＥに読み出される出力信号ＯＵＴの信号レベルが確定する。そして、垂直信号線ＶＬＩＮＥに読み出された各画素の出力信号ＯＵＴは、不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第１撮像素子３１の各画素から信号が読み出される。 Here, the operation of the circuit relating to the first image sensor 31 will be described. First, when the selection signal φSEL becomes “High”, the selection transistor SEL is turned on. Next, when the reset signal φR becomes “High”, the FD section resets the power supply voltage Vcc, and the output signal OUT also becomes the reset level. Then, after the reset signal φR becomes “Low”, the transfer signal φTx becomes “High”, the charge accumulated in the photodiode PD is transferred to the FD portion, and the output signal OUT changes according to the amount of charge. Start and stabilize. Then, the transfer signal φTx becomes “Low”, and the signal level of the output signal OUT read from the pixel to the vertical signal line VLINE is determined. The output signal OUT of each pixel read to the vertical signal line VLINE is temporarily held for each row in a horizontal output circuit (not shown) and then output from the imaging unit 12. In this way, a signal is read from each pixel of the first image sensor 31 of the imaging unit 12.

また、第２撮像素子３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ＿Ａ（またはφＳＥＬ＿Ｂ）が”Ｈｉｇｈ”になると、選択トランジスタＳＥＬ＿Ａ（またはＳＥＬ＿Ｂ）がオンする。次にリセット信号φＲ＿Ａ（またはφＲ＿Ｂ）が”Ｈｉｇｈ”になり、出力信号ＯＵＴ＿Ａ（またはφＯＵＴ＿Ｂ）もリセットレベルになる。そして、リセット信号φＲ＿Ａ（またはφＲ＿Ｂ）が”Ｌｏｗ”になった直後から有機光電膜による光電変換部ＰＣ＿Ａ（またはＰＣ＿Ｂ）の電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ＿Ａ（または出力信号ＯＵＴ＿Ｂ）が変化する。そして、出力信号ＯＵＴ＿Ａ（または出力信号ＯＵＴ＿Ｂ）が不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第２撮像素子３２の各画素から信号が読み出される。 The operation of the circuit relating to the second image sensor 32 will be described. First, when the selection signal φSEL_A (or φSEL_B) becomes “High”, the selection transistor SEL_A (or SEL_B) is turned on. Next, the reset signal φR_A (or φR_B) becomes “High”, and the output signal OUT_A (or φOUT_B) also becomes the reset level. Then, immediately after the reset signal φR_A (or φR_B) becomes “Low”, the charge accumulation of the photoelectric conversion unit PC_A (or PC_B) by the organic photoelectric film is started, and the output signal OUT_A (or the output signal OUT_B) according to the amount of charge. ) Changes. The output signal OUT_A (or the output signal OUT_B) is temporarily held for each row in a horizontal output circuit (not shown), and then output from the imaging unit 12. In this way, a signal is read from each pixel of the second image sensor 32 of the imaging unit 12.

＜焦点検出処理＞
次に、制御部１１により実行される焦点検出処理の流れを、図９に示すフローチャートを用いて説明する。図９に示す焦点検出処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを半押しする操作など）が行われると、制御部１１は、図９に示す焦点検出処理を開始する。 <Focus detection processing>
Next, the flow of the focus detection process executed by the control unit 11 will be described using the flowchart shown in FIG. The focus detection process illustrated in FIG. 9 is included in a control program executed by the control unit 11. When a predetermined focus detection operation (for example, an operation of pressing the release button halfway) is performed by the photographer, the control unit 11 starts a focus detection process illustrated in FIG.

まず、ステップＳ１で撮像部１２に被写体像を撮像させる。これにより、第１撮像素子３１および第２撮像素子３２のそれぞれから光電変換信号が出力される。 First, in step S1, the imaging unit 12 is caused to capture a subject image. Thereby, a photoelectric conversion signal is output from each of the first image sensor 31 and the second image sensor 32.

ステップＳ２において、焦点検出部１１ａは、第２撮像素子３２から出力された赤外光による焦点検出信号に基づいて、瞳分割位相差方式による焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出する。なお、瞳分割位相差方式による焦点検出処理については周知技術であるため、詳細な説明は省略する。 In step S 2, the focus detection unit 11 a performs focus detection processing by the pupil division phase difference method based on the focus detection signal by infrared light output from the second image sensor 32, and adjusts the focus of the imaging optical system 10. A defocus amount indicating the state is calculated. Since focus detection processing by the pupil division phase difference method is a well-known technique, detailed description thereof is omitted.

ステップＳ３において、制御部１１は、ステップＳ２の焦点検出処理によってデフォーカス量が算出できたか、すなわち焦点検出できたかを判定する。焦点検出できた場合には、制御部１１は、ステップＳ３を肯定判定してステップＳ４へ進む。一方、焦点検出できなかった場合には、制御部１１は、ステップＳ３を否定判定してステップＳ６へ進む。 In step S3, the control unit 11 determines whether the defocus amount has been calculated by the focus detection process in step S2, that is, whether the focus has been detected. If the focus can be detected, the control unit 11 makes a positive determination in step S3 and proceeds to step S4. On the other hand, if the focus cannot be detected, the control unit 11 makes a negative determination in step S3 and proceeds to step S6.

ステップＳ４において、焦点検出部１１ａは、ステップＳ２で算出されたデフォーカス量に基づいて、不図示のレンズ駆動部を制御して、撮影光学系１０のフォーカスレンズを駆動させ、合焦位置へ移動させる。 In step S4, the focus detection unit 11a controls a lens driving unit (not shown) based on the defocus amount calculated in step S2, drives the focus lens of the photographing optical system 10, and moves to the in-focus position. Let

ステップＳ５において、制御部１１は、焦点検出処理の終了が指示されたか否かを判定する。焦点検出処理の終了が指示された場合にはステップＳ５を肯定判定して、制御部１１は、焦点検出処理を終了する。一方、焦点検出処理の終了が指示されていない場合にはステップＳ５を否定判定して、制御部１１は、ステップＳ１に戻る。 In step S5, the control unit 11 determines whether or not an instruction to end the focus detection process is given. When the end of the focus detection process is instructed, step S5 is affirmed and the control unit 11 ends the focus detection process. On the other hand, when the end of the focus detection process is not instructed, the determination in step S5 is negative, and the control unit 11 returns to step S1.

ステップＳ３が否定判定された場合に進むステップＳ６において、焦点検出部１１ａは、第２撮像素子３２の各画素Ｐにおいて、隣接する２つの光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂから出力される光電変換信号を加算して、１つの画素Ｐにつき１つの信号を生成する。これにより、第２撮像素子３２で撮像された赤外光画像を取得することができる。 In step S6 that proceeds when a negative determination is made in step S3, the focus detection unit 11a adds the photoelectric conversion signals output from the two adjacent photoelectric conversion units PC_A and PC_B in each pixel P of the second image sensor 32. Thus, one signal is generated for each pixel P. Thereby, the infrared light image imaged with the 2nd image sensor 32 is acquirable.

ステップＳ７において、焦点検出部１１ａは、ステップＳ６で取得した赤外光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部１１ａは、取得した赤外光画像に基づいて、焦点評価値（コントラスト値）を演算する。なお、コントラスト方式を簡単に説明すると、フォーカスレンズを駆動させながら周期的に被写体像を撮像し、フォーカスレンズの位置ごとの被写体像のコントラスト量を調べ、コントラスト量が極大となるフォーカスレンズの位置を合焦位置として特定する方式である。 In step S7, the focus detection unit 11a performs a focus detection process by a contrast method based on the infrared light image acquired in step S6. Specifically, the focus detection unit 11a calculates a focus evaluation value (contrast value) based on the acquired infrared light image. To briefly explain the contrast method, the subject lens is picked up periodically while driving the focus lens, the contrast amount of the subject image is examined for each focus lens position, and the position of the focus lens where the contrast amount is maximized is determined. This is a method for specifying the in-focus position.

ステップＳ８において、焦点検出部１１ａは、ステップＳ７で演算した焦点評価値に基づいてフォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部１１は、ステップＳ８を肯定判定して、ステップＳ５へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合、または、赤外光信号による焦点検出を行えないと判定された場合には、制御部１１は、ステップＳ８を否定判定して、ステップＳ９へ進む。 In step S8, the focus detection unit 11a determines whether the focus lens is in the focused position, that is, whether the focus is detected, based on the focus evaluation value calculated in step S7. If it is determined that the focus lens is in the in-focus position, the control unit 11 makes a positive determination in step S8 and proceeds to step S5. On the other hand, if it is determined that the focus lens is not in the in-focus position, or if it is determined that focus detection cannot be performed using an infrared light signal, the control unit 11 makes a negative determination in step S8 and performs step Proceed to S9.

ステップＳ９において、焦点検出部１１ａは赤外光信号による焦点検出が可能か否かを判定する。赤外光信号で焦点検出できない、もしくは精度が足りない、もしくは可視光での焦点検出が必要であると判定された場合には、制御部１１は、ステップＳ９を否定判定してステップＳ１１へ進む。一方、赤外光信号による焦点検出が可能であると判定された場合には、制御部１１は、ステップＳ９を肯定判定してステップＳ１０へ進む。 In step S9, the focus detection unit 11a determines whether focus detection using an infrared light signal is possible. When it is determined that the focus cannot be detected with the infrared light signal, or the accuracy is insufficient, or the focus detection with visible light is necessary, the control unit 11 makes a negative determination in step S9 and proceeds to step S11. . On the other hand, if it is determined that focus detection using an infrared light signal is possible, the control unit 11 makes an affirmative determination in step S9 and proceeds to step S10.

ステップＳ１０において、焦点検出部１１ａは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップＳ６に戻る。すなわち、焦点検出部１１ａは、ステップＳ６〜Ｓ１０を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。 In step S10, the focus detection unit 11a controls a lens driving unit (not shown) to drive the focus lens by a predetermined amount in a predetermined direction in order to search for a focus position by a so-called hill climbing operation, and then proceeds to step S6. Return. That is, the focus detection unit 11a repeats steps S6 to S10 to search for the position of the focus lens where the focus evaluation value is maximized, that is, the focus position, and drives the focus lens to the focus position.

ステップＳ９が否定判定された場合に進むステップＳ１１において、焦点検出部１１ａは、第１撮像素子３１で撮像された可視光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部１１ａは、取得した可視光画像に基づいて、焦点評価値（コントラスト値）を演算する。 In step S 11 that proceeds when a negative determination is made in step S 9, the focus detection unit 11 a performs focus detection processing by a contrast method based on the visible light image captured by the first image sensor 31. Specifically, the focus detection unit 11a calculates a focus evaluation value (contrast value) based on the acquired visible light image.

ステップＳ１２において、焦点検出部１１ａは、ステップＳ１１で演算した焦点評価値に基づいて、フォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部１１は、ステップＳ１２を肯定判定して、ステップＳ５へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合には、制御部１１は、ステップＳ１２を否定判定して、ステップＳ１３へ進む。 In step S12, the focus detection unit 11a determines whether the focus lens is in the focused position, that is, whether the focus is detected, based on the focus evaluation value calculated in step S11. If it is determined that the focus lens is in the in-focus position, the control unit 11 makes a positive determination in step S12 and proceeds to step S5. On the other hand, if it is determined that the focus lens is not at the in-focus position, the control unit 11 makes a negative determination in step S12 and proceeds to step S13.

ステップＳ１３において、焦点検出部１１ａは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップＳ１１に戻る。すなわち、焦点検出部１１ａは、ステップＳ１１〜Ｓ１３を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。 In step S13, the focus detection unit 11a controls a lens driving unit (not shown) to drive the focus lens by a predetermined amount in a predetermined direction in order to search for a focus position by a so-called hill-climbing operation, and then proceeds to step S11. Return. In other words, the focus detection unit 11a repeats steps S11 to S13, searches for the position of the focus lens where the focus evaluation value is maximized, that is, the focus position, and drives the focus lens to the focus position.

このように、本実施形態のデジタルカメラ１では、撮像部１２からの出力信号に基づいて以下の３種類の焦点検出処理を行うことができ、以下の３種類の焦点検出処理を適宜使い分けることができる。
（１）第２撮像素子３２からの赤外光信号に基づく瞳分割位相差方式による焦点検出処理
（２）第２撮像素子３２からの赤外光信号に基づくコントラスト方式による焦点検出処理
（３）第１撮像素子３１からの可視光信号に基づくコントラスト方式による焦点検出処理 Thus, in the digital camera 1 of the present embodiment, the following three types of focus detection processing can be performed based on the output signal from the imaging unit 12, and the following three types of focus detection processing can be used appropriately. it can.
(1) Focus detection process based on the pupil division phase difference method based on the infrared light signal from the second image sensor 32 (2) Focus detection process based on the contrast method based on the infrared light signal from the second image sensor 32 (3) Focus detection processing by a contrast method based on a visible light signal from the first image sensor 31

＜撮影処理＞
図１０は、制御部１１が実行する撮影処理の流れを説明するフローチャートである。制御部１１は、メインスイッチがオン操作されると、撮像部１２に所定のフレームレートで光電変換を開始させ、画像信号に基づくスルー画像を液晶モニタ１５に逐次再生表示させると共に、図１０に例示した処理を実行するプログラムを起動する。なお、スルー画像は、撮影指示前に取得するモニタ用の画像である。 <Shooting process>
FIG. 10 is a flowchart for explaining the flow of imaging processing executed by the control unit 11. When the main switch is turned on, the control unit 11 causes the imaging unit 12 to start photoelectric conversion at a predetermined frame rate, and sequentially reproduces and displays a through image based on the image signal on the liquid crystal monitor 15, as illustrated in FIG. 10. Start the program that executes the process. Note that the through image is a monitor image acquired before an imaging instruction.

図１０のステップＳ２１において、制御部１１は、撮影指示が行われたか否かを判定する。制御部１１は、レリーズボタンが押下操作されると、ステップＳ２１を肯定判定してステップＳ２２へ進む。制御部１１は、レリーズボタンが押下操作されない場合には、ステップＳ２１を否定判定してステップＳ２８へ進む。 In step S 21 of FIG. 10, the control unit 11 determines whether a shooting instruction has been issued. When the release button is pressed, the control unit 11 makes a positive determination in step S21 and proceeds to step S22. If the release button is not pressed, the control unit 11 makes a negative determination in step S21 and proceeds to step S28.

ステップＳ２８において、制御部１１は、タイムアップか否かを判定する。制御部１１は、所定時間（たとえば、５秒）を計時した場合にステップＳ２８を肯定判定して図９による処理を終了する。制御部１１は、計時時間が所定時間に満たない場合には、ステップＳ２８を否定判定してステップＳ２１へ戻る。 In step S28, the control unit 11 determines whether the time is up. The control unit 11 makes an affirmative decision in step S28 when a predetermined time (for example, 5 seconds) is counted, and ends the process of FIG. If the timed time is less than the predetermined time, the control unit 11 makes a negative determination in step S28 and returns to step S21.

ステップＳ２２において、制御部１１は、ＡＥ処理およびＡＦ処理を行う。ＡＥ処理では、上記スルー画像用の画像信号のレベルに基づいて露出演算を行い、適正露出が得られるように絞り値ＡＶとシャッター速度ＴＶを決定する。ＡＦ処理は、設定されている焦点検出エリアに含まれる画素列からの出力信号列に基づいて、上述した焦点検出処理を行ってフォーカス調節をする。制御部１１は、以上のＡＥ、ＡＦ処理を行うとステップＳ２３へ進む。 In step S22, the control unit 11 performs AE processing and AF processing. In the AE process, an exposure calculation is performed based on the level of the image signal for the through image, and an aperture value AV and a shutter speed TV are determined so that an appropriate exposure can be obtained. In the AF process, the focus adjustment is performed by performing the above-described focus detection process based on the output signal string from the pixel string included in the set focus detection area. When the control unit 11 performs the above AE and AF processes, the process proceeds to step S23.

ステップＳ２３において、制御部１１は撮影処理を行ってステップＳ２４へ進む。具体的には、上記ＡＶに基づいて不図示の絞りを制御し、上記ＴＶに基づく蓄積時間で撮像部１２に記録用の光電変換を行わせる。 In step S23, the control unit 11 performs a photographing process and proceeds to step S24. Specifically, a diaphragm (not shown) is controlled based on the AV, and the imaging unit 12 performs photoelectric conversion for recording in the accumulation time based on the TV.

ステップＳ２４において、制御部１１の画像生成部１１ｂは、第１撮像素子３１からの出力信号を用いて画像信号を生成する。上述したように第１撮像素子３１からはいわゆるベイヤ配列の画像信号を取得することができるので、画像生成部１１ｂは、公知の色補間処理を用いて第１撮像素子３１の出力信号からＲＧＢ３色のカラー画像信号を生成することができる。さらに画像生成部１１ｂは、生成したカラー画像信号に対して所定の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を行う。 In step S 24, the image generation unit 11 b of the control unit 11 generates an image signal using the output signal from the first image sensor 31. As described above, since a so-called Bayer array image signal can be acquired from the first image sensor 31, the image generation unit 11b uses a known color interpolation process to output RGB three colors from the output signal of the first image sensor 31. Color image signals can be generated. Further, the image generation unit 11b performs predetermined image processing (gradation conversion processing, contour enhancement processing, white balance adjustment processing, etc.) on the generated color image signal.

ステップＳ２５において、制御部１１は、ステップＳ２４の画像処理後の撮影画像を液晶モニタ１５に表示させて、ステップＳ２６へ進む。 In step S25, the control unit 11 displays the captured image after the image processing in step S24 on the liquid crystal monitor 15, and proceeds to step S26.

ステップＳ２６において、制御部１１は、ステップＳ２４の画像処理後の撮影画像を記録するための画像ファイルを生成し、ステップＳ２７へ進む。 In step S26, the control unit 11 generates an image file for recording the captured image after the image processing in step S24, and proceeds to step S27.

ステップＳ２７において、制御部１１は、ステップＳ２６で生成した画像ファイルをメモリカード１７に記録して、撮影処理を終了する。 In step S27, the control unit 11 records the image file generated in step S26 on the memory card 17, and ends the photographing process.

以上説明した実施形態によれば、次の作用効果が得られる。
デジタルカメラ１の撮像部１２は、半導体基板５０の表面側に入射した光を光電変換して光電変換信号を生成し、半導体基板５０の表面側に形成された配線層５１を介して光電変換信号を出力する第１撮像素子３１を備える。また、撮像部１２は、第１撮像素子３１の半導体基板５０の表面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層５１を介して光電変換信号を出力する第２撮像素子３２を備える。また、撮像部１２は、第２撮像素子３２の第１撮像素子３１とは反対側に積層配置され、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイを備える。第１撮像素子３１は、マイクロレンズＭＬの各々に対応して設けられた撮像用画素を複数有する。第２撮像素子３２は、マイクロレンズＭＬの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。第２撮像素子３２と第１撮像素子３１との間には、第２撮像素子３２の焦点検出用画素を透過した可視光を第１撮像素子３１の撮像用画素に導光する光導波路５６が形成されている。このような構成により、第２撮像素子３２からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。赤外光により焦点検出を行うので、暗視野、低輝度時にも焦点検出精度を高めることができる。さらに、第２撮像素子３２の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第１撮像素子３１により可視光画像を適切に撮像することができる。 According to the embodiment described above, the following operational effects can be obtained.
The imaging unit 12 of the digital camera 1 photoelectrically converts light incident on the surface side of the semiconductor substrate 50 to generate a photoelectric conversion signal, and the photoelectric conversion signal via the wiring layer 51 formed on the surface side of the semiconductor substrate 50. Is provided. The imaging unit 12 is stacked on the surface side of the semiconductor substrate 50 of the first imaging element 31 and photoelectrically converts infrared light using an organic photoelectric film that absorbs infrared light and transmits visible light. A second imaging element 32 that generates a conversion signal and outputs a photoelectric conversion signal via the wiring layer 51 is provided. In addition, the imaging unit 12 includes a microlens array in which the second imaging element 32 is stacked on the opposite side of the first imaging element 31 and a plurality of microlenses ML are two-dimensionally arranged. The first imaging element 31 has a plurality of imaging pixels provided corresponding to each of the microlenses ML. The second imaging element 32 has a plurality of focus detection pixels provided corresponding to each of the microlenses ML. The focus detection pixel is a focus detection pixel that outputs a focus detection signal for detecting the focus adjustment state of the photographing optical system 10 by the pupil division phase difference method. Between the second image sensor 32 and the first image sensor 31, there is an optical waveguide 56 that guides visible light transmitted through the focus detection pixels of the second image sensor 32 to the image pixels of the first image sensor 31. Is formed. With such a configuration, it is possible to perform focus detection by the pupil division phase difference method with high speed and high accuracy based on the focus detection signal of the infrared light from the second image sensor 32. Since focus detection is performed using infrared light, focus detection accuracy can be increased even in dark fields and low luminance. Furthermore, it is possible to prevent crosstalk from occurring between the light fluxes transmitted through the focus detection pixels of the second image sensor 32, and a visible light image can be appropriately captured by the first image sensor 31.

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。以下の説明では、第２の実施形態における撮像部１１２について、第１の実施形態と異なっている点を主に説明し、第１の実施形態と同様の構成については説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In the following description, the imaging unit 112 in the second embodiment will be described mainly with respect to differences from the first embodiment, and the description of the same configuration as in the first embodiment will be omitted.

図１１を用いて第２の実施の形態による撮像部１１２の構成について説明する。図１１（ａ）は、撮像部１１２の半導体レイアウトの一例である。尚、図１１（ａ）は、先に説明した図３の各画素Ｐ（１，１）から画素Ｐ（２，２）に対応する。図１１（ｂ）は、図１１（ａ）の画素Ｐ（１，１）および画素（２，１）を水平方向に切断線Ａ−Ｂで切断したときの断面図である。図１１（ｃ）は、図１１（ａ）の画素Ｐ（２，１）および画素（２，２）を垂直方向に切断線Ｃ−Ｄで切断したときの断面図である。 The configuration of the imaging unit 112 according to the second embodiment will be described with reference to FIG. FIG. 11A is an example of a semiconductor layout of the imaging unit 112. FIG. 11A corresponds to each pixel P (1,1) to pixel P (2,2) in FIG. 3 described above. FIG. 11B is a cross-sectional view of the pixel P (1,1) and the pixel (2,1) in FIG. 11A when cut in the horizontal direction along the cutting line AB. FIG. 11C is a cross-sectional view of the pixel P (2,1) and the pixel (2,2) of FIG. 11A cut along the cutting line CD in the vertical direction.

第１の実施の形態と異なり、第２の実施の形態における第１撮像素子１３１は、いわゆる裏面照射型の撮像素子である。したがって第１撮像素子１３１は、半導体基板１５０の裏面側に入射した光をフォトダイオードＰＤにより光電変換して光電変換信号を生成し、半導体基板１５０の表面側に形成された配線層１５１を介して上記光電変換信号を出力する。第１の実施の形態と同様の有機光電膜を用いた第２撮像素子１３２は、第１撮像素子１３１の上記裏面側に積層配置される。第１の実施の形態と同様に、第２撮像素子１３２の上方（すなわち第１撮像素子１３１とは反対側）には、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイが積層配置されている。また、第２撮像素子１３２の各画素と各マイクロレンズＭＬとの間には、第１の実施の形態と同様に、カラーフィルターＣＦが配置されている。 Unlike the first embodiment, the first image sensor 131 in the second embodiment is a so-called back-illuminated image sensor. Therefore, the first image sensor 131 photoelectrically converts light incident on the back surface side of the semiconductor substrate 150 by the photodiode PD to generate a photoelectric conversion signal, and passes through the wiring layer 151 formed on the front surface side of the semiconductor substrate 150. The photoelectric conversion signal is output. A second image sensor 132 using an organic photoelectric film similar to that of the first embodiment is stacked on the back side of the first image sensor 131. Similar to the first embodiment, a microlens array in which a plurality of microlenses ML are two-dimensionally arranged is stacked above the second imaging element 132 (that is, on the side opposite to the first imaging element 131). Has been placed. In addition, a color filter CF is disposed between each pixel of the second image sensor 132 and each microlens ML, as in the first embodiment.

第１撮像素子１３１の半導体基板１５０には、第２撮像素子１３２と配線層１５１とを接続するための貫通ビア（シリコン貫通電極（TSV：Through Silicon Via））１５２が形成されている。第２撮像素子１３２から出力される光電変換信号は、貫通ビア１５２を介して配線層１５１から出力される。貫通ビア１５２は、第２撮像素子１３２の各画素Ｐの各光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂ（部分電極ｄ＿Ａ，ｄ＿Ｂ）ごとに設けられている。 A through via (through silicon via (TSV)) 152 for connecting the second image sensor 132 and the wiring layer 151 is formed in the semiconductor substrate 150 of the first image sensor 131. The photoelectric conversion signal output from the second image sensor 132 is output from the wiring layer 151 through the through via 152. The through via 152 is provided for each photoelectric conversion unit PC_A, PC_B (partial electrode d_A, d_B) of each pixel P of the second imaging element 132.

第２の実施の形態の撮像部１１２では、第１撮像素子１３１を裏面照射型で構成したので、第１の実施の形態と異なり、第２撮像素子１３２と第１撮像素子１３１の受光面との間に配線層が設けられていない。したがって、第２の実施の形態では、第１の実施形態と比べて第２撮像素子１３２と第１撮像素子１３１の受光面との間の距離を短くできるので、第２撮像素子１３２の各画素を透過した光束同士でクロストークが発生して、第１撮像素子３１の１つの画素に第２撮像素子１３２の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第２撮像素子１３２および第１撮像素子１３１の同じ位置の画素が、同一のマイクロレンズＭＬからの入射光を受光することができる。 In the imaging unit 112 of the second embodiment, since the first imaging element 131 is configured as a back-illuminated type, unlike the first embodiment, the second imaging element 132 and the light receiving surfaces of the first imaging element 131 There is no wiring layer between them. Therefore, in the second embodiment, since the distance between the second image sensor 132 and the light receiving surface of the first image sensor 131 can be shortened compared to the first embodiment, each pixel of the second image sensor 132 can be reduced. It is possible to prevent crosstalk from occurring between the light fluxes that have passed through the first imaging element 31 and prevent the light fluxes that have passed through the plurality of pixels of the second imaging element 132 from entering one pixel of the first imaging element 31. That is, the pixels at the same position of the second image sensor 132 and the first image sensor 131 can receive incident light from the same microlens ML.

以上説明した実施形態によれば、次の作用効果が得られる。
撮像部１１２は、半導体基板１５０の裏面側に入射した光を光電変換して光電変換信号を生成し、半導体基板１５０の表面側に形成された配線層１５１を介して光電変換信号を出力する裏面照射型の第１撮像素子１３１を備える。また、撮像部１１２は、第１撮像素子１３１の半導体基板１５０の裏面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層１５１を介して光電変換信号を出力する第２撮像素子１３２を備える。また、撮像部１１２は、第２撮像素子１３２の第１撮像素子１３１とは反対側に積層配置され、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイを備える。第１撮像素子１３１は、マイクロレンズＭＬの各々に対応して設けられた撮像用画素を複数有する。第２撮像素子１３２は、マイクロレンズＭＬの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。このような構成により、第２撮像素子３２からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。さらに、第２撮像素子３２の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第１撮像素子３１により可視光画像を適切に撮像することができる。 According to the embodiment described above, the following operational effects can be obtained.
The imaging unit 112 photoelectrically converts light incident on the back surface side of the semiconductor substrate 150 to generate a photoelectric conversion signal, and outputs the photoelectric conversion signal via the wiring layer 151 formed on the front surface side of the semiconductor substrate 150. An irradiation-type first imaging element 131 is provided. The imaging unit 112 is stacked on the back side of the semiconductor substrate 150 of the first imaging element 131 and photoelectrically converts infrared light using an organic photoelectric film that absorbs infrared light and transmits visible light. A second imaging element 132 that generates a conversion signal and outputs a photoelectric conversion signal via the wiring layer 151 is provided. The imaging unit 112 includes a microlens array in which the second imaging element 132 is stacked on the opposite side of the first imaging element 131 and a plurality of microlenses ML are two-dimensionally arranged. The first imaging element 131 has a plurality of imaging pixels provided corresponding to each of the microlenses ML. The second imaging element 132 has a plurality of focus detection pixels provided corresponding to each of the microlenses ML. The focus detection pixel is a focus detection pixel that outputs a focus detection signal for detecting the focus adjustment state of the photographing optical system 10 by the pupil division phase difference method. With such a configuration, it is possible to perform focus detection by the pupil division phase difference method with high speed and high accuracy based on the focus detection signal of the infrared light from the second image sensor 32. Furthermore, it is possible to prevent crosstalk from occurring between the light fluxes transmitted through the focus detection pixels of the second image sensor 32, and a visible light image can be appropriately captured by the first image sensor 31.

（変形例１）
上述した実施の形態では、第２撮像素子３２の焦点検出用画素の各々が２つの光電変換部ＰＣ＿ＡおよびＰＣ＿Ｂを有し、光電変換部ＰＣ＿Ａが撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束のうちの一方を受光し、光電変換部ＰＣ＿Ｂが、上記一対の光束のうちの他方を受光する例について説明した。 (Modification 1)
In the embodiment described above, each of the focus detection pixels of the second image sensor 32 has two photoelectric conversion units PC_A and PC_B, and the photoelectric conversion unit PC_A has passed through a pair of pupil regions of the imaging optical system 10, respectively. The example in which one of the pair of light beams is received and the photoelectric conversion unit PC_B receives the other of the pair of light beams has been described.

しかしながら、焦点検出用画素は上記のような構成に限らなくてよく、たとえば、図１２に示すように、光電変換部ＰＣ＿Ａのみを有する焦点検出用画素と、光電変換部ＰＣ＿Ｂのみを有する焦点検出用画素が交互に配置されているようにしてもよい。たとえば、画素Ｐ（２，１）は、共通電極ｕと部分電極ｄ＿Ａ（２，１）との間に有機光電膜ｍを挟んで構成された光電変換部ＰＣ＿Ａ（２，１）のみを有する。部分電極ｄ＿Ａ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中上側に設けられる。また、画素Ｐ（２，２）は、共通電極ｕと部分電極ｄ＿Ｂ（２，２）との間に有機光電膜ｍを挟んで構成された光電変換部ＰＣ＿Ｂ（２，２）のみを有する。部分電極ｄ＿Ｂ（２，２）は、マイクロレンズＭＬ（２，２）の中心Ｏ（２，２）に対して図中下側に設けられる。図１２に示す構成では、部分電極ｄ＿Ａおよび部分電極ｄ＿ＢをそれぞれマイクロレンズＭＬの中心Ｏから間隔を空けずに設けることができるので、上述した実施の形態の構成（図７）と比べて、光電変換部ＰＣ＿Ａおよび光電変換部ＰＣ＿Ｂの面積を広くすることができる。 However, the focus detection pixel is not limited to the above configuration. For example, as shown in FIG. 12, the focus detection pixel having only the photoelectric conversion unit PC_A and the focus detection pixel having only the photoelectric conversion unit PC_B. The pixels may be arranged alternately. For example, the pixel P (2,1) has only the photoelectric conversion unit PC_A (2,1) configured by sandwiching the organic photoelectric film m between the common electrode u and the partial electrode d_A (2,1). The partial electrode d_A (2, 1) is provided on the upper side in the drawing with respect to the center O (2, 1) of the microlens ML (2, 1). Further, the pixel P (2, 2) has only the photoelectric conversion unit PC_B (2, 2) configured by sandwiching the organic photoelectric film m between the common electrode u and the partial electrode d_B (2, 2). The partial electrode d_B (2, 2) is provided on the lower side in the drawing with respect to the center O (2, 2) of the microlens ML (2, 2). In the configuration shown in FIG. 12, since the partial electrode d_A and the partial electrode d_B can be provided without being spaced from the center O of the microlens ML, the photoelectric conversion is performed in comparison with the configuration of the above-described embodiment (FIG. 7). The areas of the conversion unit PC_A and the photoelectric conversion unit PC_B can be increased.

なお、第２撮像素子３２において、各焦点検出用画素における瞳分割方向は、上述した方向に限らなくてよく、縦方向、横方向、斜め方向のいずれであってもよいし、様々な方向の焦点検出用画素が混在するようにしてもよい。 In the second image sensor 32, the pupil division direction in each focus detection pixel is not limited to the above-described direction, and may be any of the vertical direction, the horizontal direction, and the diagonal direction, and may be in various directions. Focus detection pixels may be mixed.

（変形例２）
上述した第２の実施の形態による撮像部１１２において、第１撮像素子１３１についても、瞳分割位相差方式の焦点検出を行えるようにしてもよい。すなわち、第１撮像素子１３１の各画素Ｐに２つのフォトダイオードＰＤ＿ＡおよびＰＤ＿Ｂを設け、２つのフォトダイオードＰＤ＿ＡおよびＰＤ＿Ｂが撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光するように構成してもよい。第１撮像素子１３１には赤外光がカットされた光束が入射されるため、可視光での瞳分割位相差方式の焦点検出を行うことができる。また、この場合、たとえば、図１３に示すように、第２撮像素子１３２においては各焦点検出用画素の瞳分割方向を縦方向とし、第１撮像素子１３１においては各焦点検出用画素の瞳分割方向を横方向とするなど、第２撮像素子１３２と第１撮像素子１３１とで瞳分割方向を変えるようにしてもよい。こうすることにより、たとえば、瞳分割方向が縦方向である方が焦点検出しやすい被写体の場合には第２撮像素子１３２からの出力信号を用いて焦点検出を行うことができる。一方、瞳分割方向が横方向である方が焦点検出しやすい被写体の場合には第１撮像素子１３１からの出力信号を用いて焦点検出を行うことができる。このように、第１撮像素子１３１と第２撮像素子１３２を適宜使い分けることができ、焦点検出精度を高めることができる。また、第１撮像素子１３１において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよいし、第２撮像素子１３２において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよい。 (Modification 2)
In the imaging unit 112 according to the second embodiment described above, the pupil detection phase difference type focus detection may be performed for the first imaging element 131 as well. That is, two photodiodes PD_A and PD_B are provided in each pixel P of the first image sensor 131, and the two photodiodes PD_A and PD_B respectively receive a pair of light beams that have passed through a pair of pupil regions of the imaging optical system 10, respectively. You may comprise as follows. Since the light beam from which the infrared light is cut is incident on the first image sensor 131, the pupil division phase difference type focus detection with visible light can be performed. In this case, for example, as shown in FIG. 13, in the second image sensor 132, the pupil division direction of each focus detection pixel is the vertical direction, and in the first image sensor 131, the pupil division of each focus detection pixel is set. The pupil division direction may be changed between the second image sensor 132 and the first image sensor 131, for example, the direction is the horizontal direction. In this way, for example, in the case of a subject whose focus is easier to detect when the pupil division direction is the vertical direction, focus detection can be performed using the output signal from the second image sensor 132. On the other hand, when the subject is easier to detect the focus when the pupil division direction is the horizontal direction, focus detection can be performed using the output signal from the first image sensor 131. As described above, the first image sensor 131 and the second image sensor 132 can be properly used, and the focus detection accuracy can be increased. Further, in the first image sensor 131, focus detection pixels whose pupil division direction is vertical and horizontal focus detection pixels may be mixed, and in the second image sensor 132, the pupil division direction is vertical. These focus detection pixels and horizontal focus detection pixels may be mixed.

（変形例３）
上述した実施の形態のデジタルカメラ１に、赤外線投光器を設けるようにしてもよい。赤外線投光器により赤外線を投光することにより、上述した赤外光による焦点検出処理においてさらに焦点検出精度を高めることができる。赤外線投光器は一様な赤外光を照射してもよいし、照射する赤外光にパターンを持たせてもよい。照射する赤外光にパターンを持たせる場合は、焦点検出を補助するような投影像としてもよいし、グリッド状に配置した多点像を投影してもよい。グリッド状に配置した多点像を投影する場合は、投影されたグリッドの歪量を演算することで、距離検出を行うこともできる。 (Modification 3)
You may make it provide the infrared projector in the digital camera 1 of embodiment mentioned above. By projecting infrared rays with an infrared projector, the focus detection accuracy can be further increased in the above-described focus detection processing using infrared light. The infrared projector may emit uniform infrared light, or the infrared light to be irradiated may have a pattern. When the infrared light to be irradiated has a pattern, it may be a projection image that assists in focus detection, or a multi-point image arranged in a grid shape may be projected. When projecting a multipoint image arranged in a grid, distance detection can be performed by calculating the amount of distortion of the projected grid.

（変形例４）
上述した実施の形態では、第２撮像素子３２の各焦点検出用画素において隣接する光電変換部同士の光電変換信号を加算することで赤外光画像を取得し、コントラスト方式による焦点検出に用いる例について説明したが、赤外光画像をこの他の用途に用いてもよい。たとえば、第１撮像素子３１により撮像された可視光画像と第２撮像素子３２により撮像された赤外光画像とを比較して、可視光画像上ではヘッドライトなどの強い光によって隠れた人物を赤外光画像上で検出するようにしてもよい。また、赤外光は波長が長く物体の最表面よりも深部の像が得られるため、人間の顔を撮影した赤外光画像に基づいて人間の肌の内部を解析して、たとえば、肌の内部に隠れたしみなどの検出を行うこともできる。 (Modification 4)
In the above-described embodiment, an example in which an infrared light image is acquired by adding photoelectric conversion signals between adjacent photoelectric conversion units in each focus detection pixel of the second image sensor 32 and used for focus detection by a contrast method. However, infrared light images may be used for other purposes. For example, a visible light image captured by the first image sensor 31 is compared with an infrared light image captured by the second image sensor 32, and a person hidden by strong light such as a headlight is displayed on the visible light image. You may make it detect on an infrared-light image. In addition, since infrared light has a long wavelength and an image deeper than the outermost surface of an object is obtained, the inside of human skin is analyzed based on an infrared light image obtained by photographing a human face, for example, It can also detect stains hidden inside.

（変形例５）
上述した実施の形態では、カラーフィルターの配置をベイヤ配列として、第１撮像素子３１からベイヤ配列の画像信号を得られる例について説明したが、カラーフィルターの配置をこの他の配置としてもよい。また、Ｒ、Ｇ、Ｂの光をそれぞれ透過するカラーフィルターを配置する例について説明したが、これに限らなくてよく、たとえば、Ｃｙ、Ｍｇ、Ｙｅの光をそれぞれ透過するカラーフィルターを配置するようにしてもよい。 (Modification 5)
In the above-described embodiment, an example in which the color filter arrangement is a Bayer array and an image signal of the Bayer array can be obtained from the first image sensor 31 has been described, but the color filter arrangement may be another arrangement. Further, the example in which the color filters that respectively transmit R, G, and B light have been described has been described. However, the present invention is not limited to this. For example, color filters that respectively transmit Cy, Mg, and Ye light may be disposed. It may be.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。各実施形態および変形例は、適宜組合せてもよい。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Each embodiment and modification may be combined as appropriate. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１…デジタルカメラ、１０…撮影光学系、１１…制御部、１１ａ…焦点検出部、１１ｂ…画像生成部、１２，１１２…撮像部、３１，１３１…第１撮像素子、３２，１３２…第２撮像素子 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 10 ... Imaging optical system, 11 ... Control part, 11a ... Focus detection part, 11b ... Image generation part, 12, 112 ... Imaging part, 31, 131 ... 1st image sensor, 32, 132 ... 2nd Image sensor

Claims

A first photoelectric conversion unit that photoelectrically converts infrared light out of incident light that has passed through the optical system and generates charges by photoelectrically converting light that has passed through the first photoelectric conversion unit. An output unit that outputs at least one of a first signal based on the charge generated by the first photoelectric conversion unit and a second signal based on the charge generated by the second photoelectric conversion unit; An image sensor having
A detection unit that detects a focus position at which an image by the optical system is focused on the image sensor based on at least one of the first signal and the second signal;
Wherein the detection unit, wherein when the focus position can not be detected on the basis of the first signal, detects a line Utotomoni of the focus position on the basis of the second signal,
The imaging device has a microlens and is infrared among light transmitted through the microlens.
A plurality of the first photoelectric conversion units that photoelectrically convert light to generate charges, and a plurality of the second photoelectric conversion units that generate charges by photoelectrically converting light transmitted through the microlenses and the plurality of first photoelectric conversion units. An imaging apparatus having a photoelectric conversion unit, wherein the plurality of first photoelectric conversion units are arranged in a first direction, and the plurality of second photoelectric conversion units are arranged in a second direction intersecting the first direction .

The imaging device according to claim 1,
If the focus position cannot be detected based on the first signal, the detection unit detects the focus position based on a contrast of an image generated based on the second signal.

The imaging device according to claim 1 or 2,
The detection unit is an imaging apparatus that detects the in-focus position by a phase difference method based on the first signal.

The imaging device according to any one of claims 1 to 3,
The detection unit detects the in-focus position based on the contrast of an image generated based on the first signal when the in-focus position cannot be detected by a phase difference method based on the first signal. apparatus.

In the imaging device according to any one of claims 1 to 4,
A control unit for controlling a charge accumulation time of each of the first photoelectric conversion unit and the second photoelectric conversion unit;
An imaging apparatus provided.