JP2011243862A - 撮像デバイス及び撮像装置 - Google Patents

Abstract

【課題】光源から投射された光を利用して被写体までの距離を取得する距離画像センサ、及び光源から投射された光により生体を検出する生体検出センサの機能を、ＲＧＢ等の画像及び近赤外光画像を取得する１つの撮像デバイスを用いて実現する。
【解決手段】本発明の撮像デバイスは、光学フィルタ３２、可視光センサ（２つの層３８と３９で形成される可視光センサ）と近赤外光センサ（２つの層３６と３７で形成される非可視光センサ）を光の進入方向に配置し、可視光画像と近赤外光画像を分離して出力する出力部４０を有する。そのため、各画像間の画像ズレがなく、かつ解像度の欠損もなく、距離測定や生体検出の機能を高解像度撮像が可能な１つの撮像デバイスを用いて実現することが可能となる。
【選択図】図６

Description

本発明は、距離画像センサと生体検出センサの機能を、ＲＧＢ等の撮影（可視光）画像及び近赤外光画像を取得する１つの撮像デバイスを用いて実現する撮像装置と、その撮像デバイスに関する。

例えば体を使ったモーション認識やジェスチャー認識の用途のために、画像に距離情報を付加した距離画像カメラが提案されている。距離測定方式としては、光源から近赤外光を発光し、被写体によって反射された光の遅れ時間を計測して距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式が一般的である。
ＴＯＦ方式では距離画像センサは近赤外光を検出するセンサであり、ＴＯＦ方式の距離画像カメラの多くは近赤外光による明暗画像と距離画像を出力するものになっている。

しかし、例えばセキュリティ用途や画像合成等の用途によっては、可視光のカラー画像との合成が求められ、その場合は距離画像カメラとカラー画像用カメラの２カメラ構成となっている。
２カメラ構成の場合、視点が異なるため、被写体の位置によっては２カメラ間の視差により２つの画像に位置ずれが生じる、２カメラ間でフレーム同期制御が必要になる、ズームを行いたい場合に２カメラ間で視野の同期制御が必要になり複雑な構成になる、といった短所がある。
距離画像とカラー画像を一体の撮像デバイスで撮像することで、前記の問題を解消することができる。従来から、距離画像とカラー画像を一体の撮像デバイスで撮像する手法が提案されている（例えば特許文献１，２参照）。

特許文献１には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光検出用と近赤外光（ＮＩＲ）検出用の２つの撮像デバイスを使用する方法と、ＲＧＢとＮＩＲを１つの撮像デバイスで検出する方法が挙げられている。

特許文献２に記載の方法は、撮像デバイスのカラーフィルタでベイヤー配列と呼ばれる赤（Ｒ）、緑（Ｇ）、緑（Ｇ）、青（Ｂ）の並び内で、Ｇの１つを近赤外（ＮＩＲ）に置き換えてＲ，Ｇ，Ｂ，ＮＩＲを検出する。

一方、画像の中から人の皮膚部のみを検出する方法が提案されている（例えば、特許文献３参照）。
特許文献３に記載の方法により、生体（例えば人の皮膚部のみ）を検出する画像を抽出することが可能である。
得られた生体画像は平面画像であり、かつ近赤外光による明暗画像になる。

特表２００７−５２６４５３号公報 特開２００８−８７００号公報 特許第２８２３５６４号

上記特許文献１に記載された、２つの撮像デバイスを使用する方法は、ＲＧＢとＮＩＲの波長を分光するプリズムが撮像レンズと撮像デバイスの間に存在するため、撮像レンズの焦点距離を短くすることに制約がある。その結果、画角を広げることが困難である。
特許文献１に記載された、１つの撮像デバイスを使用する他の方法を採用するならば、画角拡大の困難さは解消される。この方法で使用される撮像デバイスは、ＲＧＢの可視光画素の間に、ＮＩＲの画素がちりばめられているものである。
そのため、この撮像デバイスから取得された画像においてはＲＧＢ画像や距離測定画像の各々に対し十分な解像度が得られない、また被写体の同一箇所に対し距離測定画素（ＮＩＲ画素）とＲＧＢ画素とが同じ位置の情報を取得できないという不利益を伴う。

上記特許文献２に記載された方法においても同様な不利益がある。特許文献２に記載された方法においては、繰り返し色配列の複数画素内で緑（Ｇ）の画素を１つ減らすことにより、本来同じ画素数を持った原色系撮像デバイスが出し得るＲＧＢ画像より解像度が低いという不利益がある。
また、被写体の同一箇所に対し距離測定画素がＲＧＢ画素と同じ位置で情報を取得できないため、ＲＧＢ画像と異なる画像の位置で距離を計測せざるを得ない。

上記特許文献３に記載された生体画像を取得可能な方法において、仮に距離情報を付加することができれば、例えば、人の顔や手を立体画像として取り込むことが可能になる。また、生体画像にカラー画像を合成することで、色情報も付加することが可能である。
しかし、特許文献３に記載の方法は、上記特許文献１と同様に、画角を広げることが困難である。
また、上記特許文献１，２と同様に、画角を広げた場合でも距離測定画素が撮像デバイス内に占める割合がある程度高い。そのため、ＲＧＢ画像や距離測定画像の各々に対し十分な解像度が得られない、また距離測定画素（ＮＩＲ画素）がＲＧＢ画素と同じ位置の情報を取得できないという不利益がある。

同一被写体を同じ画角で別々に撮像したＮＩＲ画像とＲＧＢカラー画像とを用いて、生体画像の抽出は可能である。この場合、ＮＩＲ画像で生体検出し、検出された生体部分と同じ画素アドレス範囲のＲＧＢ画像の部分を抽出すればよい。
しかし、同一被写体を同じ画角で撮像しても得られた２つの画像に多少なりともずれがあるのが常であるから、この画像のずれが生体画像の誤差成分となり、生体画像の高精度な抽出は困難である。

本発明は、それぞれの解像度が高く、また画像内位置の対応がとりやすいため距離の測定や生体検出が容易な可視光画像と近赤外光画像を別々に出力可能な構成を有する撮像デバイスを提供するものである。また、本発明は、かかる構成の撮像デバイスを用いて、通常のＲＧＢ等の画像取得とともに、距離測定と生体検出の少なくとも一方の処理が可能な撮像装置（例えば、カメラシステム）を提供するものである。

本発明の一形態に係る撮像デバイスは、画像光が入射する側に光学フィルタが配設された画素アレイを備え、前記画素アレイの画素が、第１フィルタ領域、可視光センサ部および非可視光センサ部を有する。
前記第１フィルタ領域は、原色系または補色系の複数色のうち、少なくとも１色に対応した波長の可視光、および、可視光より波長が長い非可視光を透過する。
前記可視光センサ部は、前記第１フィルタ領域からの前記可視光に主感度を有する。
前記非可視光センサ部は、前記可視光センサ部よりも前記画像光が進入する側から遠い位置に形成され、前記第１フィルタ領域からの前記非可視光に主感度を有する。

本発明では、出力部が前記画素アレイの画素ごとに設けられ、または、出力信号線に共通接続された複数の画素で共有して設けられている。出力部は、前記可視光センサ部の光電変換により発生する可視光画像の信号と、前記非可視光センサ部の光電変換により発生する非可視光画像の信号とを分離して出力する。
本発明では好適に、前記出力部は、複数の電荷蓄積部と、前記非可視光センサ部の発生電荷を前記複数の電荷蓄積部に振り分けるスイッチと、を有する。

このような構成によれば、可視光センサ部と非可視光センサ部とが同一画素に設けられている。このため、可視光センサ部の光電変換により画素データが発生した可視光画像と、非可視光センサ部の光電変換により画素データが発生した非可視光画像との各画素データが位置的に対応する。出力部が画素ごとに、あるいは、出力信号線に共通接続された複数画素に共有されて設けられている。したがって、画素データが位置的に対応する可視光画像と非可視光画像を分離して出力することが可能である。このとき、画素ごとに可視光センサ部を有する場合、可視光画像の解像度、言い換えると１フレーム画像に含まれる画素データ密度は最大となることから、画像品質が損なわれない。

一方、非可視光画像の各画素データは、可視光画像の画素データより通常、電荷量として少ない。特に距離測定や生体検出の場合、被写体に非可視光を当てて、その反射により散乱された反射光（戻り光）を受光する。このため、これらの用途だと、１画素分の非可視光センサ部から得られる非可視光画素のデータ量（電荷量）は可視光画素のデータ量より桁違いに小さいことがある。

本発明で好ましい形態では、複数の電荷蓄積部を出力部に有し、その電荷の入力をスイッチで制御する構成を有することから、複数画素分の非可視光データを１つにまとめる（合成する）ことができる。合成後の非可視光データは、非可視光画像の一部であるが、データ量が増大しているためノイズに埋もれることなく撮像デバイス内の処理部に入力され、または処理のために外部に排出可能である。

この出力部の望ましい構成は、距離測定や生体検出のためにも有用である。
例えば、ＴＯＦ方式の距離測定の場合、被写体に非可視光を一定時間だけ被写体にパルス照射し、非可視光の戻り光が撮像デバイスに入射され、一定の決まった受光時間を経て可視光センサ部から検出信号として出力される。例えば、出射パルスの出射時を基準に検出信号が得られるまでの遅延を検出する。具体的には、例えば、非可視光の出射パルス長に対応する検出信号のパルス持続時間の途中でパルス信号電荷を２分し、その２分した信号電荷量の比から遅延時間を求める方法がある。
複数の電荷蓄積部とその振り分けのためのスイッチとを有する出力部の構成は、この方法の実施に適合している。

また、生体検出の場合、一方は人の皮膚で主に反射され他方は主に吸収される異なる波長領域をもつ２つの非可視光を被写体に当てる。なお、この２つの非可視光は、その非可視光領域の短波長側の一部が可視光領域に重なることは許容される。
そして、それぞれの非可視光の戻り光を同一の撮像デバイスで受光する。このとき、２つの非可視光に対応する２つの戻り光を光電変換して得られた２つの検出信号を分離するのに、複数の電荷蓄積部とその振り分けのためのスイッチとを有する出力部の構成を好適に利用できる。

本発明の他の一形態に係る撮像装置は、画像光が入射する側に光学フィルタが配設された画素アレイを備える撮像デバイスと、発光部、レンズ、制御部および信号処理部を有する。
前記発光部は、可視光の波長領域より長波長側に単一または互いに異なる複数の波長領域をもつ少なくとも１つの非可視光を発光して投射し、投射光の一部が被写体で反射した戻り光が前記撮像デバイスに到達するように仕向けられている。
前記レンズは、前記戻り光を前記撮像デバイスに結像させる。
前記制御部は、前記発光部の発光タイミング等を制御する。
前記信号処理部は、前記撮像デバイスから出力される可視光画像の信号を処理する。

本発明では、撮像装置内の撮像デバイスが、上記した本発明の一形態に係る撮像デバイスと同様に構成されている。そのため、可視光画像を処理して出力する以外に、前述した距離測定や生体検出のための処理が可能である。
より詳細には、前記信号処理部は前記可視光画像の信号を信号処理する。また、前記信号処理部と前記制御部は、前記撮像デバイスの受光時間と近赤外光の発光を制御し、得られた前記非可視光画像の信号に基づいて、前記被写体までの距離を測定する演算処理と前記被写体の肌の画像を検出する生体検出の処理との少なくとも一方を実行する。

本発明によれば、それぞれの解像度が高く、また画像内位置の対応がとりやすいため距離の測定や生体検出が容易な可視光画像と近赤外光画像を別々に出力可能な構成を有する撮像デバイスを提供することができる。また、本発明によれば、かかる構成の撮像デバイスを用いて、通常のＲＧＢ等の画像取得とともに、距離測定と生体検出の少なくとも一方の処理が可能な撮像装置（例えば、カメラシステム）を提供することができる。

第１〜第１１の実施形態に関わる、距離測定と生体検出の両方が可能な構成例を含む撮像装置の構成図である。 撮像デバイスの画素アレイにおける断面構成を模式的に示す図である。 （Ａ）は、原色系光学フィルタの基本的な色配列を示す図である。（Ｂ）は、第１の実施形態における原色系光学フィルタの色および波長透過特性の配列を示す図である。 基板深部側からＲＧＢの３つのセンサ部の縦積みを実現する多重拡散層構造の模式図である。 一般的な半導体基板材であるシリコン内の光吸収長対波長を表すグラフである。 第１の実施形態に関わる撮像デバイスの、より詳細な模式断面図である。 距離測定のタイミングを示すためのパルス波形を含む測定手法の説明図である。 補色系光学フィルタの基本的な色配列と、第２の実施形態における補色系光学フィルタの色および波長透過特性の配列とを示す図である。 第２の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第３の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第４の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第５の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第６の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第６の実施形態において、４つの画素につき電荷蓄積部を共通で使用する場合の配線図である。 データ補間方法の説明に用いた画素配列図である。 補間手法の説明図である。 補間手法の説明図である。 補間手法の説明図である。 補間手法の説明図である。 第７の実施形態において、４つの画素につき電荷蓄積部を共通で使用する場合の配線図である。 第９の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第９の実施形態において、４つの画素につき電荷蓄積部を共通で使用する場合の配線図である。 第１０の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第１０の実施形態において、４つの画素につき電荷蓄積部を共通で使用する場合の配線図である。 第１１の実施形態に関わる撮像デバイスの画素アレイにおける模式断面図である。 第１１の実施形態において、４つの画素につき電荷蓄積部を共通で使用する場合の配線図である。

本発明の実施形態を、図面を参照して以下の順に説明する。
１．第１の実施の形態：原色系色配置の画素でセンサ部を基板深さ方向で２層配置した実施形態である。
２．第２の実施の形態：補色系色配置の画素でセンサ部を基板深さ方向で３層配置した実施形態である。
３．第３の実施の形態：単一画素に全ての色のセンサ部を有する実施形態である。
４．第４の実施の形態：補色系色配置の画素でセンサ部を基板深さ方向で２層配置した実施形態である。
５．第５の実施の形態：原色系色配置の画素でセンサ部を基板深さ方向で４層配置した実施形態である。
６．第６の実施の形態：電荷蓄積部を専用と共用に分けてＮＩＲ画素データの混合を行う実施形態である。
７．第７の実施の形態：第６の実施形態の撮像デバイスを補色系に変更しセンサ部を３層配置とした実施形態である。
８．第８の実施の形態：第７の実施形態からセンサ部を２層配置に変更した実施形態である。
９．第９の実施の形態：画素共通のＮＩＲセンサ部を有する実施形態である。
１０．第１０の実施の形態：画素共通のＮＩＲセンサ部を有する他の実施形態である。
１１．第１１の実施の形態：画素共通のＮＩＲセンサ部を有する他の実施形態である。

＜１．第１の実施の形態＞
［撮像装置の構成］
図１に、距離測定と生体検出の両方が可能な構成例を含む撮像装置の構成図を示す。
図１に図解する撮像装置１は、ゲーム機等の民生用電子機器、車載センサ機器あるいは計測機などの産業用電子機器等に用いることができる。
撮像装置１は、被写体１００との距離を測定するための第１の発光部２Ａと、第１の発光部２Ａとの反射光量差を検出するための第２の発光部２Ｂとを有する。詳細は後述するが、第１および第２の発光部２Ａ，２Ｂは、互いに異なる波長領域の非可視光を被写体１００に向けて出射し、そのときの反射光量差は、第１の発光部２Ａと第２の発光部２Ｂの両方を用いた生体検出時に取得される。被写体１００との距離を測定するためには、第１の発光部２Ａと第２の発光部２Ｂの少なくとも一方から非可視光を照射すればよいため、ここでは一例として第１の発光部２Ａを用いる。
本発明の明細書中、非可視光というとき可視光の波長領域より長波長側の非可視光に限定される。非可視光は、可視光の波長領域に対し長波長側に近接した近赤外（ＮＩＲ）光、赤外（ＩＲ）光、ＮＩＲ光を主体としてＩＲ領域を一部含む光の何れでもよいが、以下、非可視光がＮＩＲ光とする。

撮像装置１は、第１および第２の発光部２Ａ，２Ｂからの近赤外光（ＮＩＲ光）が被写体１００で反射したときの戻り光を受光する撮像デバイス３と、被写体１００と撮像デバイス３間に配設され、戻り光の像を撮像デバイス３に結像させるレンズ４とを有する。
撮像装置１は、さらに、撮像デバイス３の出力信号を処理する信号処理部５と制御部６を有する。制御部６は、第１および第２の発光部２Ａ，２Ｂ、撮像デバイス３および信号処理部５を統括制御し、場合によってはレンズ４を含む光学系を統括制御する。
具体的に、制御部６は、第１の発光部２Ａ（および第２の発光部２Ｂ：生体検出の場合）の発光タイミング、撮像デバイス３の電子シャッタ及びスイッチ４３（後述）のタイミング等を制御する。信号処理部５は、撮像デバイス３による出力データから、ＲＧＢ等の可視光画像の処理（ノイズ除去や色補正等）を行うほか、画像距離測定や生体検出の処理を実行可能な構成である。

第１の発光部２Ａは、例えば発光ダイオード（ＬＥＤ）等の発光部材２１とそれを発光させるためのドライバ回路２２を含んで構成されている。
第１の発光部２Ａの発光部材２１は非可視光、例えば近赤外光を発光し、近赤外光の発光部材２１への発光方向は被写体１００に向けられている。
第２の発光部２Ｂも、第１の発光部２Ａと同様に発光部材２１とそれを発光させるためのドライバ回路２２を含んで構成されている。第２の発光部２Ｂにおける発光部材２１の波長も主として近赤外光であり、発光部材２１の発光方向は被写体１００に向けられている。但し、第１の発光部２Ａからの近赤外光と、第２の発光部２Ｂからの近赤外光は異なる波長領域の光である。

人間の眼の色や明るさに対する感度特性は、可視光領域に感度をもつ。可視光領域は定義が様々であるが、一般には、７００乃至７５０ｎｍ付近（例えば７８０ｎｍ）を上限とし、４００ｎｍ弱（例えば３８０ｎｍ）を下限とする電磁波の波長領域である。可視光領域に隣接した赤外領域を近赤外領域といい、この領域は、７００乃至８００ｎｍの下限から、１．５乃至３μｍ（例えば２．５μｍ）の上限までの電磁波の波長領域である。ただし、人間の目は約７００ｎｍより長波長側では殆ど感度を有さない。

ところで、生体（代表的には人の皮膚）の反射率は光の波長が７５０〜８００ｎｍ近辺で大きくなり、９７０ｎｍで小さくなると言われる。最も好ましい光の波長としては、第１の発光部２Ａの波長が８００ｎｍ近辺（近赤外光の下限付近）、第２の発光部２Ｂの波長が９７０ｎｍ近辺となる。
ただし、生体を検出するためには、認識可能なレベルまで反射光量の差がつけばよいので、その範囲で波長の差をつけられれば、第１，第２の発光部２Ｂからの光の波長は、この限りではない。
第１の発光部２Ａの波長領域と第２の発光部２Ｂの波長領域は重ならないほうが望ましいが、ＬＥＤの発光波長はある幅を有するため、２つの波長領域が一部重なることは許容される。
第１および第２の発光部２Ａ，２Ｂが発光する２つの非可視光は、可視光の波長定義によっては、その非可視光領域の短波長側の一部が可視光領域に重なることは許容される。例えば、可視光の長波長側境界を８００ｎｍと定義した場合、第１の発光部２Ａの波長が８００ｎｍ近辺とすると、その波長範囲は短波長側の一部が可視光領域と重なることになる。一方、可視光の長波長側境界を７５０ｎｍ近辺と定義した場合は、第１の発光部２Ａの波長範囲が可視光領域と重なることは通常ない。

撮像レンズ４は、カメラやカムコーダ等で使用される一般的なものであり、撮像デバイス３のサイズや画角等の仕様により選択されるものである。レンズ４は、望ましくは、制御部６の制御により被写体１００との距離に応じて焦点調整機能を有する光学系の一部品として配置されている。

［撮像デバイスの構成］
図２に、撮像デバイス３の画素アレイにおける断面構成を模式的に示す。
ＲＧＢ画像等の撮影画像（本明細書では可視光画像と呼ぶ）を高解像度で発生させるための撮像デバイス３は、図２に示すように、光の入射側からマイクロレンズアレイ３１、光学フィルタ３２、画素回路層３３、フォトセンサを半導体基板３５に形成したものである。
フォトセンサと画素回路の一部は半導体基板３５の活性領域（例えば複数のウエル）を利用して形成されている。画素回路層３３は、半導体基板３５に形成される基板トランジスタなどの回路素子以外の配置領域であり、例えば、誘電膜を介して積層された導電層を利用してキャパシタ等の受動素子が画素回路層３３に配置される。フォトセンサと画素回路の基板トランジスタ等とは素子分離またはチャネルストッパ領域により電気的干渉が防止される。なお、ＴＦＴなどから一部のトランジスタを画素回路層３３内に形成することは可能である。

撮像レンズ４で集光された光は、マイクロレンズアレイ３１によって画素ごとにさらに集光されて、光学フィルタ３２を透過してフォトセンサに入射される。光学フィルタ３２は、マイクロレンズアレイ３１で集光された光が透過する波長選択性をもつフィルタ部と、フィルタ部間で光を遮断する部分（いわゆるブラックマトリクス）とで区分される。光遮断部は必須ではないが、混色や外光の混入防止のためには、これを有することが望ましい。
波長選択された光は、画素回路層３３の配線や導電層などにより光を遮断しないように設けられた画素開口を通ることで損失を受けずにフォトセンサに入射され、そこで光電変換される。光電変換により発生した電荷（受光電荷あるいは光電荷という）は、フォトセンサ内で一定時間蓄積された後、画素回路の出力部を経由して画像データとして画素アレイから排出される。撮像デバイス３における画素アレイ以外の周辺領域には出力処理（ノイズ抑圧や信号変換）のための処理回路が配置される場合もあり、その場合、周辺回路における出力処理を経てから画素データが図１の信号処理部５に出力される。

マイクロレンズアレイ３１は、フォトセンサへの集光効率を向上させるためのものである。
本発明では図２に示す構成部品の中で、光学フィルタ３２、フォトセンサ３４に特徴があり、以下に詳述する。

光学フィルタ３２は、基本的な色配列に関しては、例えば図３（Ａ）に示すように、一般的な撮像デバイス３の原色系カラーフィルタであるベイヤー配列と呼ばれる色配列となっている。ベイヤー配列では、赤（Ｒ）、緑（Ｇ）、緑（Ｇ）、青（Ｂ）の並びで、各色を透過させるフィルタ部が配列されている。
各色のフィルタ部の各フィルタ部は、各々が対応する１色の透過に加えて、近赤外（ＮＩＲ）の波長も透過する特性になっている。各フィルタ部はＲ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲの透過特性をもつ。
図３（Ｂ）に示す光学フィルタ配列は、Ｒ＋ＮＩＲ、Ｇ＋ＮＩＲ、Ｂ＋ＮＩＲにより示す表記によって、各色の可視光透過特性に加えて近赤外波長の透過特性をもつことを示している。第１実施形態では、図３（Ｂ）の配列をもつ光学フィルタ３２が用いられる。

光学フィルタ３２の特性を実現する手法としては、酸化金属膜等からなる複数の高屈折率膜を低屈折率の光透過膜を間に介在させて幾層にも重ねる手法が例示できる。このときの高屈折率膜の種類（例えば酸化金属膜の材質）や層数、低屈折率膜の種類（例えば光透過膜の材質）や厚さを制御することにより所望の波長選択特性の多層膜を実現できる。

図２に示すフォトセンサ３４は、基板表面に近いＲＧＢの可視光を検出する可視光センサ部と、可視光センサ部よりも光の入射方向において遠い位置（基板深部側）に形成されたＮＩＲを検出する非可視光センサ部（以下、ＮＩＲセンサ部と呼ぶ）との２つのセンサ部の縦積み構造になっている。

可視光センサ部は、検出波長が長いセンサ部ほど基板深部側に位置する可視光センサ部を実現するために、複数の色に対応した検出波長に応じた複数の層として、Ｎ型とＰ型の半導体層の多層構造となっている。
言い換えると、３色あるいは４色の可視光を光電変換する可視光センサ部は、異なる波長域に主感度を有する３つまたは４つのセンサ部を、波長が長い波長域に対応したセンサ部ほど画像光が進入する光学フィルタ３２の側から遠い位置に配置して構成している。

なお、本実施形態における撮像デバイス３はＲＧＢの原色系であるため３色の可視光を受光するが、後述する他の実施形態のように、例えば補色系の場合、４色の可視光を受光する。また、原色系でもＲＧＢに加えて白（Ｗ）の受光画素をもつ４色配列の場合もある。

図３（Ｂ）に示す色配列の場合は、可視光センサ部は３色に主感度をもつ３つのセンサ部の縦積み構造を採る。
図４は、基板深部側から順にＲＧＢに対応した３つのセンサ部（ＰＮ接合をもつフォトダイオード）の縦積みを実現する多重拡散層構造の模式図である。また、図５は、一般的な半導体基板材であるシリコン内の光吸収長対波長を表すグラフである。

図４に示す多重拡散層で実現した３つのセンサ部の縦積み構造は、図５のシリコンの光学特性を利用したものである。
図５に示されるように、シリコン表面（基板表面）側では、短波長側の光吸収係数が高く、逆に基板深部側では長波長側の光吸収係数が高くなる。これは、シリコン基板への入射光の波長が大きくなればなるほど、その光は吸収される前により深くシリコン内に入り込むことに起因する。よって、フォトダイオードを半導体基板内部の表面付近に形成した場合、長波長光に対して短波長光の吸収係数が相対的に高く、短波長光の方が表面付近でキャリアに変換される割合が高いため、短波長光に対する感度が相対的に高くなる。

４００〜４９０ｎｍの波長をもつ青色光は、その大部分が約０．２〜０．５μｍの深さでシリコン基板に吸収される。このため、図４に示すように最も浅いｎ型層３９と次に深いｐ型ウェル３８とによって、青（Ｂ）の波長に主感度をもつフォトダイオード（センサ部）が、図４の例では基板表面から０．２μｍ程度の深さを中心に形成されている。
一方、６００〜７５０ｎｍと最も波長が長い赤色光は、その大部分が約２．０〜７．５μｍの深さでシリコンに吸収される。このため、図４に示すように最も深いｎ型ウェル３７とｐ型の半導体基板３５とによって、赤（Ｒ）の波長に主感度をもつ他のフォトダイオード（センサ部）が、図４の例では基板表面から２．８μｍ程度の深さを中心に形成されている。
５００〜５６０ｎｍと青と赤の間の波長をもつ緑色光は、その大部分が約０．８〜１．５μｍの深さでシリコンに吸収される。そのため、図４の例では、ｐ型ウェル３８とｎ型ウェル３７によって、緑（Ｇ）の波長に主感度をもつ他のフォトダイオード（センサ部）が、図４の例では基板表面から０．８μｍの深さを中心に形成されている。
図４の各センサ部中心（ｐｎ接合面）の深さは一例であり、青（Ｂ）センサ部は０．２〜０．５μｍ、緑（Ｇ）センサ部は０．８〜１．５μｍ、赤（Ｒ）センサ部は２．０〜７．５μｍの各深さ範囲内で任意に設定される。

一方、８００〜９００ｎｍの波長の近赤外光は３０μｍ以下程度の深さでシリコン基板に吸収される。そのため、図４には図示していないが、ｎ型ウェル３７より更に深いｐ型ウェルを設けることで近赤外光センサ部が形成される。

図６に、第１の実施形態に関わる撮像デバイス３の、より詳細な模式断面図を示す。図６は図２の構成をさらに詳細表示した図であり、両図に共通な構成は同一符号で示す。
図６に示す断面は、図３（Ｂ）に示す光学フィルタ配列において、Ａ−Ａ線の断面に相当する。
図６に示されるように、近赤外光（ＮＩＲ）のセンサ部を図４の構成に付加するために、半導体基板３５に画素に共通なｐ型ウェル３６が形成されている。

フィルタ部（Ｒ＋ＮＩＲ）を透過した光を受光する画素のフォトセンサ３４Ｒは、画素に共通なｐ型ウェル３６の内部に形成されている。
最も深い１層目のｎ型ウェル３７が、第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。３層目のｎ型層３９Ｒは、赤色光に強く感度をもつ深さ（表面から２．０〜７．５μｍ程度）に形成されている。２層目のｐ型ウェル３８Ｒは、上記１層目と３層目の深さ方向の間に形成されている。
ｐ型ウェル３６と１層目のｎ型ウェル３７によるｐｎ接合位置にＮＩＲ検出のための非可視光センサ部が形成され、２層目のｐ型ウェル３８Ｒと３層目のｎ型層３９Ｒによるｐｎ接合位置にＲ検出のための可視光線センサ部が形成されている。

本例では信号電荷（受光電荷）が電子であるため、各センサ部のｎ型層が電荷蓄積層となる。よって、ｎ型ウェル３７からＮＩＲ画像（非可視光画像）を構成するＮＩＲ画素データが出力される。また、ｎ型層３９Ｒから可視光画像のＲ画素成分のデータが出力される。

このように、フィルタ部（Ｒ＋ＮＩＲ）を透過したＲとＮＩＲの光は、フォトセンサ３４Ｒの深さによって分光され、画素回路層３３に形成された出力部によって分離されて出力される。

フィルタ部（Ｇ＋ＮＩＲ）を透過した光を受光するフォトセンサ３４Ｇにおいて、１層目のｎ型ウェル３７はフォトセンサ３４Ｒと同じである。ただし、２層目のｐ型ウェル３８Ｇと３層目のｎ型層３９Ｇの深さが緑（Ｇ）の感度範囲に両者の境界（ｐｎ接合）が位置するように形成される。
具体的には、３層目のｎ型層３９Ｇが緑色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されており、２層目のｐ型ウェル３８Ｇは１層目と３層目の間の深さに形成されている。
ｎ型層３９Ｇから可視光画像のＧ画素成分のデータが出力され、ｎ型ウェル３７から非可視光画像のＮＩＲ画素データが出力される。
このように、フィルタ部（Ｇ＋ＮＩＲ）を透過したＧとＮＩＲの光は、フォトセンサ３４Ｇの深さによって分光され、画素回路層３３に形成された出力部によって分離されて出力される。

フィルタ部（Ｂ＋ＮＩＲ）を透過した光を受光するフォトセンサ３４Ｂにおいて、１層目のｎ型ウェル３７はフォトセンサ３４Ｒ、３４Ｇと同じである。ただし、２層目のｐ型ウェル３８Ｂと３層目のｎ型層３９Ｂの深さが青（Ｂ）の感度範囲に両者の境界（ｐｎ接合）が位置するように形成される。
具体的には、３層目のｎ型層３９Ｂが青色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されており、２層目のｐ型ウェル３８Ｂは１層目と３層目の間の深さに形成されている。
ｎ型層３９Ｂから可視光画像のＢ画素成分のデータが出力され、ｎ型ウェル３７から非可視光画像のＮＩＲ画素データが出力される。
このように、フィルタ部（Ｂ＋ＮＩＲ）を透過したＢとＮＩＲの光は、フォトセンサ３４Ｂの深さによって分光され、画素回路層３３に形成された出力部によって分離されて出力される。

［出力部］
本例の場合、各画素ごとに出力部４０が設けられている。
出力部４０は、複数の電荷蓄積部４１と、ｎ型ウェル３７からの受光電荷の出力先を複数の電荷蓄積部４１の何れかに切り替えるスイッチ４３とを有する。出力部４０に出力回路４２を含む。出力回路４２は、セレクタの機能を基本として、必要に応じて増幅やリセットの機能を併せもつ。１つの出力回路４２に対し、ｎ型層３９Ｒ，３９Ｇ，３９Ｂの何れかの可視光画素データと、電荷蓄積部４１の少なくとも１つからのＮＩＲ画素データとが入力可能となっている。出力回路４２は、基本的には、これらの画素データを選択して出力するセレクタの一種である。
出力部４０は、図１の制御部６からの制御信号を不図示の外部端子を介して入力するか、または、制御部６によって統括制御される撮像デバイス３の内部の制御回路によって制御信号が与えられる。これにより、スイッチ切り替え、電荷蓄積制御および出力選択制御が実行される。

出力部４０から可視光画素データが出力される場合、不図示の出力信号線（垂直信号線ともいう）から撮像デバイス３内の周辺回路を経て、可視光画素データが順次出力され、図１の信号処理部５に送られる。信号処理部５は、ノイズ除去や色補正等の必要な信号処理を行って可視光画像（本例ではＲＧＢ画像）を生成する。
一方、出力部４０から非可視光データ（ＮＩＲ画素データ）が出力されると、これを明暗画像の構成データとして利用してもよいが、本例では距離検出や生体検出にＮＩＲ画素データを利用する。この検出処理は図１の信号処理部５により行われる。

なお、撮像デバイス３がＣＣＤであるか、あるいはＣＭＯＳイメージセンサであるかといったデバイスの種類によっては、出力部４０の構成や配置箇所が異なることがある。
例えば、ＣＭＯＳイメージセンサの場合、画素回路と呼ばれ信号電荷のリセットと増幅読み出しの動作を行う回路が画素ごとに設けられる。そのため、画素ごとの画素回路内に、出力部４０を形成することが可能である。その場合、画素回路の規模が大きくなるが、電荷蓄積部４１は、例えば２つの導電層間に誘電体膜を挟むキャパシタ等で構成されるため、基板トランジスタ回路の上層に積層される。また、出力回路４２も複数のスイッチ程度で構成可能である。よって、ＣＭＯＳイメージセンサの場合、画素サイズを大きくしなくとも出力部４０を実装可能である。

一方、ＣＣＤの場合は、垂直電荷転送のための垂直レジスタと受光部で画素面積のほとんどが占められ、スイッチの類は、読み出しゲートと呼ばれるトランジスタが画素ごとに設けられる。そのためトランジスタの付加はＣＭＯＳイメージセンサほど容易でない。
ただし、読み出しゲートや垂直ＣＣＤを広く覆う遮光膜上にＴＦＴによってトランジスタ回路を形成することが可能である。また、裏面照射型の撮像デバイスでは、マイクロレンズアレイやカラーフィルタが基板裏面に貼られ、基板裏面から光を受光し、表面側から排出可能となっている。そのため、表面側に比較的大きな回路を形成しても、そのことが画素サイズの拡大要因になりにくい。
よって、撮像デバイス３がＣＣＤの場合でも出力部４０の実装が可能である。

なお、撮像デバイス３の種類によらず、複数の画素で出力部４０を共用する構成も可能である。例えば、１本の出力信号線に共通接続される画素ならば、複数の画素に対して出力部４０への入力を切り替えるスイッチをさらに付加することで出力部４０の共用が可能である。

［距離測定手法］
被写体までの距離測定について説明する。
光を投射し、被写体１００からの反射光を検出し、その遅れ時間を計測するＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）を利用した距離測定方式は、既にいくつか提案されている。

本発明の実施形態では、以下の方式が採用可能である。
図１に示すように、第１の発光部２Ａから被写体１００に向け、非可視（ここではＮＩＲ）のパルス光を発光する。
被写体１００からの反射光（戻り光）を撮像デバイス３にて受光し、内部の非可視光（ＮＩＲ）のセンサ部にて、戻り光が光電変換され電荷が発生する。発生した電荷は、パルス光の発光と同期して交互に作動するスイッチ４３により、第１，第２の電荷蓄積部４１，４１へと振り分けられ、出力回路４２から画素外部の出力信号線やレジスタ等で転送される。
このとき第１，第２の電荷蓄積部に振り分けられる電荷の配分比から、被写体１００までの距離を求める。その際、パルス状の照射光に対応して被写体での反射光がセンサ部に入射されない期間を存在させる。この期間はセンサ部で光電変換される光は被写体の背景光や周りからのノイズ光であるため、この期間の発生電荷をスイッチ４３を作動させることで第３の電荷蓄積部４１へ転送する。この背景光の電荷は、検出電荷とは識別可能に外部の信号処理部５まで送られ、信号処理部５によって背景光除去のための処理に使用される。
背景光やノイズのみの期間以外が距離測定期間となる。

図７に、具体的なパルス波形に対する距離測定タイミングの設定例を示す。
図７（Ａ）に発光パルスを示し、発光パルスに時間的に遅れた受光パルス、即ち光電変換により発生した信号のパルス（以下、受光パルスという）を図７（Ｂ）に示す。
図７（Ａ）に示す発光パルスは、ここでは１パルスのみ示すが、実際には発光パルスが周期的に被写体に向けて繰り返し発光される。被写体で反射して発生した戻り光が撮像デバイスで受光される。このときの受光開始点は、対応する発光パルスの発行開始点より時間的に遅れる。この発光開始から受光開始までの時間差が被写体の距離におおよそ比例するため、この時間差が検出対象である。

時間差測定のために、本例では距離測定期間を設定する。ここでは、受光開始から受光終了までの受光パルスの持続時間を距離測定期間とする。距離測定期間は確実に受光パルスが持続している期間であればよいため、受光パルスの持続期間内であれば、任意に設定可能である。
ＣＰＵ等の制御部は、この距離測定期間内のあるタイミングで図６に示すスイッチ４３を切り替えて、それより前の受光パルス部分のＡ電荷と、それより後の受光パルス部分のＢ電荷との２つに、受光パルスの電荷を振り分ける。振り分けられたＡ電荷とＢ電荷は図６に示す異なる２つの電荷蓄積部４１，４１で蓄積され、互いに識別が可能なように、例えば異なるタイミングで出力信号線を通して電圧値として読み出される。

読み出されたＡ電荷とＢ電荷（電荷量に比例した２つの電圧値）は、図１に示す信号処理部５に入力され、両電荷（両電圧値）の比が計算される。そして、この計算の結果から、検出対象である上記時間差、つまり発光開始から受光開始までの時間差におおよそ比例した被写体までの距離が信号処理部５にて算出される。

なお、本発明の距離測定方法について、その方法は上記したものに限定されない。非可視光（ＮＩＲ）センサ部より後段のスイッチ４３や電荷蓄積部４１、配線、信号処理部５等を変更することにより、他の方法でも実現可能である。
また、この距離測定は、ＲＧＢのセンサ部と別のセンサ部を使用しているため、ＲＧＢ画像の取得と距離測定を同時に並行して行うことができる。さらに、距離測定をＲＧＢ画像と対応させた画素アドレスのデータを用いて行うことができるため、測定結果と被写体との対応関係が取りやすい。例えば、被写体の画像位置（画素アドレス範囲）と距離測定の戻り光が検出された画素アドレスが大きく異なる場合は、エラーとして測定結果を無効化することが可能である。

［生体検出手法］
つぎに、人の皮膚等の生体検出方法について説明する。
図１において、第１の発光部２Ａから被写体１００に向け、第１の波長領域をもつ非可視光（第１ＮＩＲ光）が投射される。
被写体１００からの反射光（戻り光）を撮像デバイス３にて受光し、内部の非可視光（ＮＩＲ）センサ部にて光電変換される。
第２の発光部２Ｂからは、第１の波長領域とは異なる波長領域の非可視光（第２ＮＩＲ光）が投射される。
被写体１００からの反射光（戻り光）は、同様にして撮像デバイス３にて光電変換される。
第１の発光部２Ａによる投射と第２の発光部２Ｂによる投射は交互になされるように制御される。また非可視光（ＮＩＲ）センサ部の出力を複数の電荷蓄積部４１に対して振り分けるスイッチ４３が、第１および第２の発光部２Ａ，２Ｂによる投射と同期して開閉される。その結果、第１の発光部２Ａからの反射光は第１の電荷蓄積部４１へ、第２の発光部２Ｂからの反射光は他の第２の電荷蓄積部４１へ入力されて蓄積される。

それぞれの検出信号は、配線を介して信号処理部５に取り込まれる。第１の発光部２Ａから出射された第１ＮＩＲ光の反射光により発生したＮＩＲ画素データから第１の非可視光画像が取得される。第２の発光部２Ｂから出射された第２ＮＩＲ光の反射光により発生したＮＩＲ画素データから第２の非可視光画像が取得される。
第１および第２の非可視光画像は、同じ対象を同じ画角で同じ時間だけ撮像した画像であるため、照射光の波長が同じならば画像内の各アドレスにおけるデータ量は基本的に同じとなる。

ここでは２つの照射光の波長が人の肌で反射率の差が大きくなるように選択されている。このため、第１の非可視光画像と第２の非可視光画像において各アドレスの画素データ間で差分を取ると、人の肌の画像箇所だけ、この差分が増大し、その増大箇所を閾値判定することで生体検出を行う。
その際、第１の発光部２Ａと第２の発光部２Ｂの照射光の波長差による非可視光（ＮＩＲ）センサ部の感度差を補正した後、両者の差を演算する。この生体検出では、ＲＧＢのセンサ部と別のセンサ部を使用しているため、ＲＧＢ画像の取得と生体検出を同時に並行して行うことができる。
生体検出の結果は、ＲＧＢ画像（可視光画像）から人の肌部分を抜き取る処理等に用いられる。
本実施形態の撮像デバイス３においては、可視光センサ部と非可視光センサ部がデバイス内で光の入射方向に並んで（基板深部方向に重ねて）配設されている。そのため、ＲＧＢ画像のアドレスと非可視光画像のアドレスが同じならば、被写体１００の同じ点を撮像したものであることが保証される。そのため、生体検出の精度が高く、肌画像の抽出が正確に行える。

［近赤外光画像（明暗画像）］
つぎに近赤外光画像について説明する。
各画素の非可視光（ＮＩＲ）センサ部は、近赤外光（ＮＩＲ）を検出するものであり、非可視光（ＮＩＲ）センサ部からの検出信号は、通常の近赤外光画像（ＮＩＲ画像）として利用してもよい。
ＮＩＲ画像は、一般的なＣＣＤやＣＭＯＳイメージセンサと同様、フレームごとに出力部（画素回路または垂直・水平転送レジスタ等）を経由して外部に出力され、図１の信号処理部５にて必要な処理が施される。

夜間等のように近赤外光が少ない場合は、第１，第２の発光部２Ａ，２Ｂの一方または両方により被写体１００を照らす。この近赤外光画像の取得は、ＲＧＢ画像の取得時とは別のフォトセンサ（フォトセンサ内のセンサ部）を使用しているため、ＲＧＢ画像の取得と近赤外光画像の取得を同時に並行して行うことができる。
距離測定、生体検出、ＲＧＢ画像、近赤外光画像を取得する際、ＲＧＢセンサ部を使用するＲＧＢ画像の取得と、ＮＩＲセンサ部を使用する距離測定、生体検出、近赤外光画像取得の３動作の１つは同時に実行することが可能である。ＮＩＲセンサ部を使用する上記３動作のうち複数を実行するためには、これを時系列で順番に行う必要がある。

＜２．第２の実施形態＞
本発明の第２の実施形態について説明する。
第１の実施形態と異なるのは、撮像デバイス３の光学フィルタ３２とフォトセンサ３４の構造である。
第１の実施形態では撮像デバイス３のカラーフィルタとして、赤、緑、青の原色系のもの（図３（Ｂ））を用いた。第２の実施形態では、シアン（Ｃｙ＝Ｂ＋Ｇ）、マゼンタ（Ｍｇ＝Ｂ＋Ｒ）、黄（Ｙｅ＝Ｇ＋Ｒ）、緑（Ｇ）の補色系カラーフィルタ（図８（Ａ））に、ＮＩＲ波長を透過する機能を付加したもの（図８（Ｂ））を用いる。

図８（Ｂ）に示す光学フィルタ３２において、各色のフィルタ部は、各々の色の透過に加えて近赤外（ＮＩＲ）の波長も透過する特性になっている。各フィルタ部は、シアン（Ｃｙ）をＢ＋Ｇ＋ＮＩＲ（以下、Ｃｙ＋ＮＩＲ）と表記する。また、マゼンタ（Ｍｇ）をＢ＋Ｒ＋ＮＩＲ（以下、Ｍｇ＋ＮＩＲ）と表記し、黄（Ｙｅ）をＧ＋Ｒ＋ＮＩＲ（以下、Ｙｅ＋ＮＩＲ）と表記し、緑（Ｇ）をＧ＋ＮＩＲと表記する。各フィルタ部は、それぞれの光の透過特性をもつ。
Ｃｙ、Ｍｇ、Ｙｅ、Ｇの補色系カラーフィルタについては、その基本は既に広く一般的に使用されているもの（図８（Ａ））である。この基本構成にＮＩＲの透過特性を付加して図８（Ｂ）のフィルタを形成する方法は、前述した原色系フィルタと同様な多層膜構造の方法で実現可能である。

図９に、デバイス断面の模式図を示す。
第２の実施形態のフォトセンサも表面に近いＲＧＢの可視光を検出する層と、深い位置に形成されたＮＩＲを検出する層で構成される。
Ｃｙ、Ｍｇ、ＹｅについてはそれぞれＲＧＢの可視光が２色ずつ混ざっている。そのため、このフォトセンサは、ＲＧＢの２色をそれぞれ検出するｎ型の層が２層必要となり、その間を分離するｐ型のバッファ層ＰＢが追加されている。
第２の実施形態の構造も、光の波長によってシリコン基板へ入り込む深さが異なることを利用したものである。

フィルタ部（Ｃｙ＋ＮＩＲ）を透過した光を受光するフォトセンサは、最表面側の３層目のｎ型層３９Ｂが青色光に強く感度をもつ深さ（表面から０．２〜０．５μｍ程度）に形成されている。２層目のｎ型層が緑色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されている。一番深い１層目のセンサ部のｎ型層（ｎ型ウェル３７）は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。

フィルタ部（Ｃｙ＋ＮＩＲ）を透過したＢとＧとＮＩＲの光は、センサ部の深さによって分光され、Ｂが第３層のｎ型層３９Ｂ、Ｇが２層目のｎ型層、ＮＩＲが第１層のｎ型ウェル３７で蓄積され可視光または非可視光の画素データとして分離して出力される。

フィルタ部（Ｍｇ＋ＮＩＲ）を透過した光を受光するフォトセンサは、３層目のｎ型層３９Ｂが青色光に強く感度をもつ深さ（表面から０．２〜０．５μｍ程度）に形成されている。２層目のｎ型層が赤色光に強く感度をもつ深さ（表面から２．０〜７．５μｍ程度）に形成されている。一番深い１層目のｎ型層（ｎ型ウェル３７）は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
光学フィルタ（Ｍｇ＋ＮＩＲ）を透過したＢとＲとＮＩＲの光は、センサ部の深さによって分光され、Ｂが第３層のｎ型層３９Ｒ、Ｒが第２層のｎ型層、ＮＩＲが第１層のｎ型ウェル３７で蓄積され可視光または非可視光の画素データとして出力される。

フィルタ部（Ｙｅ＋ＮＩＲ）を透過した光を受光するフォトセンサは、３層目のｎ型層３９Ｇが緑色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されている。２層目のｎ型層は赤色光に強く感度をもつ深さ（表面から２．０〜７．５μｍ程度）に形成されている。１層目のｎ型層（ｎ型ウェル３７）は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｙｅ＋ＮＩＲ）を透過したＧとＲとＮＩＲの光は、フォトセンサの深さによって分光され、Ｇが第３層のｎ型層３９Ｇ、Ｒが第２層のｎ型層、ＮＩＲが第１層のｎ型ウェル３７で蓄積され可視光または非可視光の画素データとして分離されて出力される。

フィルタ部（Ｇ＋ＮＩＲ）を透過した光を受光するフォトセンサは、２層目のセンサ部は緑色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されている。１層目のセンサ部は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｇ＋ＮＩＲ）を透過したＧとＮＩＲの光は、センサ部の深さによって分光され、画素回路層３３に形成された出力部によって分離されて出力される。
これに関しては、第１の実施形態のＧ＋ＮＩＲ部（図６）と同じ構造である。

各センサ部の深さについては一例であり、各光の分光特性と検出光量が使用上問題とならない範囲で変更が可能である。
各画素のフィルタ部からはＲＧＢの２色が混合された光がフォトセンサに入射される。この入射光をＲＧＢに分離してセンサ部で検出し、それらの同じ色の原色信号同士（例えばＲはＲ同士）を足し算することによりＲＧＢ信号に変換し、通常のＲＧＢのカラー画像として利用される。
ＮＩＲセンサ部からの検出信号の扱い、即ち、明暗画像として用いるか、距離測定と生体検出の少なくとも一方の処理に用いるかは第１の実施形態と同様に任意である。また、これらの処理自体は第１の実施形態で説明した手法を用いることができる。

第２の実施形態は、第１の実施形態と比較して、ＲＧＢの光量が２倍に増えるという利点と、３層構造になる分、製造工程が増えるという不利な点がある。

＜３．第３の実施形態＞
本発明の第３の実施形態について説明する。
図１０に、撮像デバイス３の画素アレイにおける断面構成を模式的に示す。
第１，第２の実施形態と異なるのは、撮像デバイス３の光学フィルタ３２とフォトセンサ３４の構造である。
第３の実施形態では撮像デバイス３に原色系や補色系といった光学フィルタが存在しない。受光した全波長の光がフォトセンサ内に入り込み、センサ部の深さによる分光でＲ、Ｇ、Ｂ、ＮＩＲを検出する。

第３の実施形態のフォトセンサは全ての画素で同じ４層構造のセンサ部（ｎ型層に電荷蓄積するｐｎ接合ダイオード）を有している。第２の実施形態と同様に、ｎ型層の間にはｐ型のバッファ層ＰＢが介在する。
４層目のセンサ部のｐｎ接合は青色光に強く感度をもつ深さ（表面から０．２〜０．５μｍ程度）に形成されている。３層目のセンサ部のｐｎ接合は緑色光に強く感度をもつ深さ（表面から０．８〜１．５μｍ程度）に形成されている。２層目のセンサ部ｐｎ接合は赤色光に強く感度をもつ深さ（表面から２．０〜７．５μｍ程度）に形成されている。１層目のセンサ部のｐｎ接合は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。

各センサ部のｐｎ接合深さについては一例であり、各光の分光特性と検出光量が使用上問題とならない範囲で変更が可能である。
各画素にＲ、Ｇ、Ｂ、ＮＩＲが混合された光が入射され、この光をフォトセンサ３４で分離して各々のセンサ部から出力する。ＲＧＢの各画素データは、通常のＲＧＢのカラー画像として利用される。
ＮＩＲセンサ部からの検出信号の扱い、即ち、明暗画像として用いるか、距離測定と生体検出の少なくとも一方の処理に用いるかは第１の実施形態と同様に任意である。また、これらの処理自体は第１の実施形態で説明した手法を用いることができる。

第３の実施形態は、他の実施形態と比較して、ＲＧＢの光量が増える、光学フィルタ３２が不要という利点がある一方で、４層構造になる分、製造工程が増えるという不利な点がある。

＜４．第４の実施形態＞
本発明の第４の実施形態について説明する。
図１１に、撮像デバイス３の画素アレイにおける断面構成を模式的に示す。
第１の実施形態（図６）と異なるのは、撮像デバイス３の光学フィルタ３２とフォトセンサ３４の構造である。
光学フィルタ３２は一般的な撮像デバイス３のカラーフィルタであるＲＧＢ透過フィルタのうち、少なくともＧとＢに関しては近赤外（ＮＩＲ）の波長も透過する特性を加えたものを使用する。

第４の実施形態では、Ｒの画素に関しては、フォトセンサによるＮＩＲの検出をしないので、光学フィルタ３２のＮＩＲ透過機能は必須ではない。よって第４の実施形態の光学フィルタ３２は、ＲＧＢフィルタの基本構成がＲのみ透過（ＩＲは遮断）、Ｇ＋ＮＩＲを透過、Ｂ＋ＮＩＲを透過の特性をもつ。

第４の実施形態はＮＩＲセンサ部を第１〜第３の実施形態と比較して、深さを浅く設定することを特徴とする。
第１〜第３の実施形態では、ＮＩＲセンサ部の形成深さを３０μｍ以下程度としていたが、第４の実施形態では製造工程を容易にするようにＮＩＲセンサ部の深さを１０μｍ以下の程度とする。
ＮＩＲセンサ部の深さを浅くする場合、第１の実施形態のままだと、Ｒ検出用のセンサ部とＮＩＲセンサ部が近接または同じ深さに形成されることになる。そのため、ＮＩＲセンサ部とＲセンサ部を深さ方向の層構造で形成することが困難になる。

その解決策として、赤を透過するフィルタ部をもつ画素ではＮＩＲセンサ部を形成せず、ＮＩＲの検出を行わない。ＮＩＲの検出を行わない画素では、周辺の画素のＮＩＲ検出値から平均化しデータ補間してＮＩＲ画素データを生成する。あるいは、ＲＧＧＢの４画素を１点として、解像度を落として使用する。
またＮＩＲの検出深さを浅くすることの不利な点として、当然ＮＩＲ波長の光の感度低下が生じる。その分は、第１および第２の発光部２Ａ，２Ｂの投射光量を増すことで対処が可能になる。

フィルタ部（Ｒ）を透過した光を受光するフォトセンサ３４Ｒは、１層目のセンサ部を構成するｎ型ウェル３７が赤色光に強く感度をもつ深さ（表面から２．０〜７．５μｍ程度）に形成されている。第１層のセンサ部によりＲの検出が行われる。
フィルタ部（Ｇ＋ＮＩＲ）を透過した光を受光するフォトセンサ３４Ｇと、フィルタ部（Ｂ＋ＮＩＲ）を透過した光を受光するフォトセンサ３４Ｂは、図６の場合と同じように形成されている。

各センサ部の深さについては一例であり、各光の分光特性と検出光量が使用上問題とならない範囲で変更が可能である。また、ＣＣＤやＣＭＯＳイメージセンサへの適用、距離測定、生体検出、近赤外光画像として使用されることでも第１の実施形態と同じである。この点は、上記第２および第３の実施形態と共通する。

＜５．第５の実施形態＞
本発明の第５の実施形態について説明する。
図１２に、撮像デバイス３の画素アレイにおける断面構成を模式的に示す。
第５の実施形態（図１２）が第２の実施形態（図９）と異なるのは、撮像デバイス３のフォトセンサの構造である。
カラーフィルタは補色系カラーフィルタを用い、第２の実施形態と同様にシアン（Ｃｙ）はＣｙ＋ＮＩＲ（Ｂ＋Ｇ＋ＮＩＲ）、マゼンタ（Ｍｇ）はＭｇ＋ＮＩＲ（Ｂ＋Ｒ＋ＮＩＲ）、黄（Ｙｅ）はＹｅ＋ＮＩＲ（Ｇ＋Ｒ＋ＮＩＲ）、緑（Ｇ）はＧ＋ＮＩＲの透過特性をもつ。

図１２に示すフォトセンサの構造が第２の実施形態（図９）と異なるのは、可視光Ｃｙ、Ｍｇ、Ｙｅ、Ｇの各々を１層のｎ型層で検出する点である。表面に近いＣｙ、Ｍｇ、Ｙｅ、Ｇの可視光を検出する層と、深い位置に形成されたＮＩＲを検出する層で構成され、合計２層の電荷蓄積層（ｎ型層）構造になっている。一般的な撮像デバイス３でも、Ｃｙ、Ｍｇ、Ｙｅ、Ｇは１層のフォトセンサで検出しており、実績がある方法である。

フィルタ部（Ｃｙ＋ＮＩＲ）を透過した光を受光するフォトセンサは、２層目のセンサ部は可視光に強く感度をもつ深さ（１０μｍ以下程度）に形成されている。１層目のセンサ部は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｃｙ＋ＮＩＲ）を透過したＣｙとＮＩＲの光は、フォトセンサの深さによって分光され、それぞれＣｙが第２層目の可視光センサ部、ＮＩＲが第１層目のＮＩＲセンサ部から検出される。

フィルタ部（Ｍｇ＋ＮＩＲ）を透過した光を受光するフォトセンサは、２層目のセンサ部は可視光に強く感度をもつ深さ（１０μｍ以下程度）に形成されている。１層目のセンサ部は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｍｇ＋ＮＩＲ）を透過したＭｇとＮＩＲの光は、フォトセンサの深さによって分光され、それぞれＭｇが第２層センサ部、ＮＩＲが第１層のＮＩＲセンサ部から検出される。

フィルタ部（Ｙｅ＋ＮＩＲ）を透過した光を受光するフォトセンサは、１層目のセンサ部は可視光に強く感度をもつ深さ（１０μｍ以下程度）に形成されている。２層目のセンサ部は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｙｅ＋ＮＩＲ）を透過したＹｅとＮＩＲの光は、フォトセンサの深さによって分光され、それぞれＹｅが第２層目の可視光センサ部、ＮＩＲが第１層目のＮＩＲセンサ部から検出される。

フィルタ部（Ｇ＋ＮＩＲ）を透過した光を受光するフォトセンサは、２層目のセンサ部は可視光に強く感度をもつ深さ（１０μｍ以下程度）に形成されている。１層目のセンサ部は第１の発光部２Ａ（図１）の発光波長（近赤外光）に強く感度をもつ深さ（表面から３０μｍ以下程度）に形成されている。
フィルタ部（Ｇ＋ＮＩＲ）を透過したＧとＮＩＲの光は、フォトセンサの深さによって分光され、画素回路層３３に形成された出力部によって分離されて出力される。

各センサ部の深さについては一例であり、各光の分光特性と検出光量が使用上問題とならない範囲で変更が可能である。
各画素のＣｙ、Ｍｇ、Ｙｅ、Ｇの画素データをセンサ部の出力から検出し、それらを演算することによりＲＧＢ信号に変換し、通常のＲＧＢのカラー画像として利用される。演算方法は一般的な補色系カラーフィルタを用いた撮像装置と同様である。
ＮＩＲセンサ部からの検出信号の扱い、即ち、明暗画像として用いるか、距離測定と生体検出の少なくとも一方の処理に用いるかは第１の実施形態と同様に任意である。また、これらの処理自体は第１の実施形態で説明した手法を用いることができる。

第２の実施形態と比較して、フォトセンサが３層から２層になり製造が簡単になるといる利点と、可視光がＣｙ、Ｍｇ、Ｙｅ、Ｇで検出されるので、検出後にＲＧＢに分光するための演算が必要という不利な点がある。

＜６．第６の実施形態＞
図１３に、撮像デバイス３の画素アレイにおける断面構成を模式的に示す。
第６の実施形態（図１３）が第１の実施形態（図６）と異なるのは、出力部４０の構成である。例えば色配列のＲＧＢの３画素に共通の共通電荷蓄積部４１Ｃが付加されている。既存の電荷蓄積部を本実施形態では、専用電荷蓄積部４１Ｘと呼ぶ。
この構成の変更に対応して、図１３のスイッチ４３は切片を４つの接点に切り替えるスイッチとして構成されている。
専用電荷蓄積部４１Ｘは、近赤外画像、生体検出、距離測定で使用され、共通電荷蓄積部４１Ｃは距離測定で使用される。例えば、距離測定時に、距離測定が十分可能な光量をフォトセンサで受光している場合、専用電荷蓄積部４１Ｘを使用し、一画素だけの光量では足りない場合は共通電荷蓄積部４１Ｃを使用する。

図１４に、電荷蓄積部を共通で使用する場合の配線図を示す。
図１４の場合、距離画像の画素サイズはＲＧＢ画像やＮＩＲ画像に対して４倍の面積に増え、その分受光する光量も増やすことができる。
一方、ＲＧＢ画像やＮＩＲ画像に対して、距離画像の解像度は１／４倍に落ちる。ＲＧＢ画像に対する距離データの欠損部は、周辺距離画像の平均値により補間して使用する。補間の方法については後述する。

距離測定や生体検出を行い、ＲＧＢ画像や近赤外光画像を取得する際、ＲＧＢ用フォトセンサを使用するＲＧＢ画像の取得と、ＮＩＲセンサ部を使用する距離測定、生体検出、近赤外光画像の３動作の１つは同時に実行することが可能である。ＮＩＲセンサ部を使用する上記３動作の複数を行うためには、時系列で順番に動作させる必要がある。

［データ補間方法］
次に距離画像のデータ補間方法について説明する。
共通電荷蓄積部４１Ｃを使用して距離測定を行う場合、ＲＧＢ画像、ＮＩＲ画像、生体検出画像に対して、距離画像の解像度が低くなる。距離画像の解像度が低くなる分は、複数のエリアの平均値を計算して補間する。

図１５に示す画素配列を例に挙げる。図１６〜図１９は補間手法の説明図である。
距離測定画像は反射光検出であるため画素ごとのデータ量が少ないため、ここでは２×２のデータ単位に合成される。この合成は、図１４の構成を用いると簡単に行える。

図１６のように、ＲＧＢ画像、ＮＩＲ画像、生体検出画像のエリア１と距離測定エリア（ＮＩＲ＿１）が一致している場合は、エリア１の距離データはＮＩＲ＿１の測定値になる。
図１７のように、ＲＧＢ画像、ＮＩＲ画像、生体検出画像のエリア２と一致した距離測定エリアがなく、２つの距離測定エリア（ＮＩＲ＿１とＮＩＲ＿３）にまたがっている場合は、２つの距離測定エリアの出力を平均した平均値を距離データとして与える。エリア２の距離データは距離データ（ＮＩＲ＿１＋ＮＩＲ＿３）の半分になる。

図１８の場合も、図１７と同様であり、エリア３の距離データは距離データ（ＮＩＲ＿１＋ＮＩＲ＿２）の半分になり、これをエリア３の距離データとする。
図１９のように、ＲＧＢ画像、ＮＩＲ画像、生体検出画像のエリア２と一致した距離測定エリアがなく、４つの距離測定エリア（ＮＩＲ＿１〜４）にまたがっている場合は、４つの距離測定エリアの出力を平均した平均値を距離データとする。エリア４の距離データは距離データ（ＮＩＲ＿１＋ＮＩＲ＿２＋ＮＩＲ＿３＋ＮＩＲ＿４）の１／４であり、これがエリア４の距離データとなる。
以上のやり方で、距離データの欠損部に関して、データ補間を行う。

＜７．第７の実施形態＞
本発明の第７の実施形態について説明する。
第７の実施形態が第６の実施形態と異なるのは、撮像デバイスの光学フィルタとフォトセンサ構造である。第６の実施形態（図１３、図１４）では撮像デバイス３のカラーフィルタ３２に赤、緑、青の原色系のものを用いた。
これに対し、第７の実施形態では、図８（Ａ）の補色系カラーフィルタを基本として、図８（Ｂ）のように近赤外（ＮＩＲ）の波長も透過する特性も与えたものを用いる。
フォトセンサ３４の構成は図８（Ｂ）と同じであり、画素回路層３３の構成は図１３と同じである。

図２０に、４つの画素につき電荷蓄積部を共通で使用する場合の第７の実施形態に関わる配線図を示す。
図９を用いて既に述べたように、シアン（Ｃｙ）のフィルタ部はＢ＋Ｇ＋ＮＩＲの透過特性をもち、この特性をもつ画素からは、図２０に示すようにＢ，Ｇ，ＮＩＲの各画素データが分離して出力される。また、マゼンタ（Ｍｇ）のフィルタ部はＢ＋Ｒ＋ＮＩＲの透過特性をもつため、その特性をもつ画素からはＢ，Ｒ，ＮＩＲの各画素データが分離して出力される。同様に、黄（Ｙｅ）のフィルタ部はＧ＋Ｒ＋ＮＩＲ、緑（Ｇ）のフィルタ部はＧ＋ＮＩＲの透過特性をもつため、それぞれの画素からはＧ，Ｒ，ＮＩＲの画素データと、Ｇ，ＮＩＲの画素データが分離して出力される。
このような色ごとの受光とそのセンサ構造については図９の説明で述べたので省略する。

本実施形態においても、第６の実施形態と同様に、各画素の混合されたＲ、Ｇ、Ｂを各々ＲＧＢ分離して出力するフォトセンサから取得する。それらの同じ色の信号（例えば、ＲはＲ同士）を足し算することによりＲＧＢ信号に変換し、通常のＲＧＢのカラー画像として利用される。
ＮＩＲフォトセンサからの検出信号の扱いは、第１および第６の実施形態と同様である。また、補間手法も、図１５から図１９に示すものとフィルタ特性を表す符号が混色系対応とすれば、これらの図をそのまま用いることができ、手法自体も同じであるため、ここでの説明を省略する。
第７の実施形態は、第６の実施形態と比較して、ＲＧＢの光量が２倍に増えるという利点と、３層構造になる分、製造工程が増えるという不利な点がある。

＜８．第８の実施形態＞
本発明の第８の実施形態について説明する。
第７の実施形態と異なるのは、撮像デバイスのフォトセンサ構造である。
カラーフィルタは補色系カラーフィルタを用い、第７の実施形態と同様にシアン（Ｃｙ）はＣｙ＋ＮＩＲ（Ｂ＋Ｇ＋ＮＩＲ）、マゼンタ（Ｍｇ）はＭｇ＋ＮＩＲ（Ｂ＋Ｒ＋ＮＩＲ）、黄（Ｙｅ）はＹｅ＋ＮＩＲ（Ｇ＋Ｒ＋ＮＩＲ）、緑（Ｇ）はＧ＋ＮＩＲの透過特性をもつ。
フォトセンサ構造で第７の実施形態と異なるのは、可視光を１層で検出する点である。表面に近いＣｙ、Ｍｇ、Ｙｅ、Ｇの可視光を検出する層と、深い位置に形成されたＮＩＲを検出する層で構成され、合計２層の電荷蓄積層（ｎ型層）構造になっている。この検出構造は、図１２を用いて既に説明したことから、ここでの図示を省略する。
一般的な撮像デバイスでも、Ｃｙ、Ｍｇ、Ｙｅ、Ｇは１層のフォトセンサで検出しており、実績がある方法である。

各画素のＣｙ、Ｍｇ、Ｙｅ、Ｇをフォトセンサから検出し、それらを演算することによりＲＧＢ信号に変換し、通常のＲＧＢのカラー画像として利用される。演算方法は一般的な補色系カラーフィルタを用いた撮像装置と同様である。
ＮＩＲフォトセンサからの検出信号の扱いは、実施形態１と同様である。第７の実施形態と比較して、フォトセンサが３層から２層になり製造が簡単になるという利点と、可視光がＣｙ、Ｍｇ、Ｙｅ、Ｇで検出されるので、検出後にＲＧＢに分光するための演算が必要という不利な点がある。

＜９．第９〜第１１の実施形態＞
以下の３つの実施形態は、第６〜第８の実施形態の変形に関する。この変形は、図６、図９、図１２に示す他の実施形態への適用も可能である。
図２１に、第９の実施形態に関わる撮像デバイス３の画素アレイにおける断面構成を模式的に示す。図２２には、４つの画素につき電荷蓄積部を共通で使用する場合の配線図を示す。以下、図２１および図２２を用いて主に第９の実施形態で、この変形の内容を説明する。
本発明の第９の実施形態が第６の実施形態および図６に関わる第１の実施形態と異なるのは、撮像デバイスのフォトセンサ構造である。カラーフィルタは原色系カラーフィルタを用い、第１の実施形態と同様に赤（Ｒ）はＲ＋ＮＩＲ、緑（Ｇ）はＧ＋ＮＩＲ、青（Ｂ）はＢ＋ＮＩＲの透過特性をもつ。

フォトセンサ構造での相違点は、ＮＩＲフォトセンサの構造である。第６の実施形態等では、各画素に１つずつＮＩＲ用検出用フォトセンサが配置され電荷蓄積部４１にて複数のＮＩＲフォトセンサから電荷を集める構造を有する。
これに対し、第９の実施形態では、図２１に示すように、第６の実施形態では複数の画素でＮＩＲフォトセンサ自体が一体化され、複数の画素にまたがって面積の大きなＮＩＲフォトセンサが形成されている。具体的には、符号７１で示す第１層目のｎ型層が、３画素共通な大きな面積で形成されている。
この点以外のフォトセンサ構造と、光学フィルタの構成（波長透過特性）に変更はない。

各画素の第２層のセンサ部は、既出の実施形態と同様に、赤、緑、青（ＲＧＢ）を検出するものであり、第２層のセンサ部（ｎ型層）からの検出信号は、通常のカラー画像（ＲＧＢ画像）として利用される。
ＲＧＧＢの４画素で共通の大面積の第１層のセンサ部は、ＮＩＲを検出するものであり、第１層のセンサ部からの検出信号は、距離測定と生体検出と近赤外光画像に利用される。

前述したように、ＮＩＲフォトセンサは複数のＲＧＢの複数の画素にわたって配置されており、ＲＧＢの複数の画素を透過してきたＮＩＲ光を検出する。
第１層のセンサ部には、各画素共通に使用する複数の共通電荷蓄積部４１Ｃがスイッチ４３を介して接続されている。このスイッチ４３を制御することで、第１層のセンサ部（厳密には大面積のｎ型ウェル３７）から出力される電荷を複数の電荷蓄積部へ移すことが可能になっている（図２２参照）。
第９の実施形態では、第６の実施形態と比較して、フォトセンサが電荷蓄積部を含む出力部４０の構成が簡素化される利点と、ＮＩＲ画像、生体検出の解像度が下がる、ＲＧＢ画像に対してデータ補間が必須になる等の不利な点がある。

図２３と図２４に、第１０の実施形態に関わり、図２１と図２２に対応した模式断面図と配線図を示す。
第１０の実施形態では、図２１と同様に、ｎ型ウェル３７（第１層のセンサ部のｎ型層であるｎ型ウェル３７）が４画素共通に広い面積で形成されている以外は、フォトセンサ構造が第７の実施形態および図９と同じ構成となっている。画素回路層３３の構成は、第９の実施形態と同様である。
また、効果および利点と不利な点も、第９の実施形態と同様である。

図２５と図２６に、第１１の実施形態に関わり、図２１と図２２に対応した模式断面図と配線図を示す。
第１１の実施形態では、図２１と同様に、ｎ型ウェル３７（第１層のセンサ部のｎ型層であるｎ型ウェル３７）が４画素共通に広い面積で形成されている以外は、フォトセンサ構造が第８の実施形態および図１２と同じ構成となっている。画素回路層３３の構成は、第９の実施形態と同様である。また、効果および利点と不利な点も、第９の実施形態と同様である。

なお、以上の第９〜第１１の実施形態のように、第１層のＮＩＲセンサ部の面積を大面積とすることは、ＲＧＧＢやＣｙＹｅＭｇＧ等の色配列の基本単位（本例では４画素）に限定する必要はない。この色配列の基本単位の複数倍の大きさまでＮＩＲセンサ部の大きさを拡張してＮＩＲ光の検出単位を構成してもよい。

以上の第１〜第１１に関わる実施形態により、距離画像センサ、生体検出センサ、ＲＧＢ画像、近赤外光画像を１つのカメラシステムで実現が可能になる。また、そのための撮像デバイスを新たに提供できる。

この発明は、一般的なＲＧＢ画像や近赤外光画像のビデオカメラやデジタルカメラ、インターネットに繋げるＷｅｂカメラにも適用できる。また、モーション認識やジェスチャー認識といった動作を利用したパーソナルコンピュータやゲームのコントローラ分野でも利用が可能である。
他にも人の顔や手を認識したセキュリティ判別の分野でも利用が可能である。その他、障害物の認識や、物体認識の用途でロボット・生産設備の分野でも利用が可能である。

以上の第１から第１１の実施形態によれば、以下の効果が得られる。
以前より、距離測定と近赤外光画像、生体検出と近赤外光画像の各々を１つの撮像デバイスで両立するものは存在する。

しかし、用途によっては（例えばモーション認識、ジェスチャー認識、物や人の顔や手の３Ｄ画像認識等）、距離測定とＲＧＢ画像、生体検出とＲＧＢ画像、生体検出と距離測定、生体検出と距離測定とＲＧＢ画像が必要とされることがある。この場合、ＲＧＢカメラとのそれらの２カメラ構成でしか実現できない。
２カメラ構成の場合、視点が異なるため、被写体の位置によりカメラ間の位置ずれが生じる、２カメラのフレーム同期が必要になる、ズームを行いたい場合にカメラの同期制御が必要になり複雑な構成になる、等の問題が生じる。
２カメラ構成の場合、視点が異なるため、被写体の位置によっては２カメラ間の視差により２つの画像に位置ずれが生じる、２カメラ間でフレーム同期制御が必要になる、ズームを行いたい場合に２カメラ間で視野の同期制御が必要になり複雑な構成になる、等の問題が生じる。
本発明の第１から第１１の実施形態では、撮像デバイスを１つで実現することで前記問題が解消される。

次に、取得した情報の処理例について説明する。
距離測定結果とＲＧＢ画像を取得し、距離情報によってＲＧＢ画像の画素を選択することで、例えば画素単位で視点のずれがない被写体のみの抽出が可能である。
生体検出とＲＧＢ画像を取得し、生物体の検出情報によってＲＧＢ画像の画素を選択することで、例えば顔や手のみのカラー画像抽出が可能である。
生体検出と距離測定を取得し、生体検出画像に距離情報を加えることで、顔や手の３次元情報の抽出が可能である。
生体検出と距離測定とＲＧＢ画像を取得し、生物体の検出情報によってＲＧＢ画像の画素を選択し、距離情報を加えることで、顔や手の３次元カラー情報の抽出が可能である。

本発明が考案される以前にも、ＲＧＢ画像と近赤外光画像を両立する技術自体は存在していた。
１つは赤外光カットフィルタを機構的に出し入れして切り替えるタイプで、カムコーダ等で広く適用されている。
もう１つは、赤外光カットフィルタの切り替えは不要な方法である。この方法では、Ｒ＋ＮＩＲ，Ｇ＋ＮＩＲ，Ｂ＋ＮＩＲ，ＮＩＲの光学フィルタで画像を取得する。Ｒ＋ＮＩＲ，Ｇ＋ＮＩＲ，Ｂ＋ＮＩＲの検出結果からＮＩＲ成分を削除してＲＧＢ信号を取得し、同時にＮＩＲフィルタの画素からＮＩＲ信号を取得する。

このうち後者は、カラーフィルタのベイヤー配列からＧを１つ除くことにより、解像度が落ちるという不利な点がある。
本発明の適用により、赤外光カットフィルタを機構的に切り替える必要がなく、解像度も落ちない、ＲＧＢ画像と近赤外光画像の両立が可能になる。
また、本発明の適用により、距離画像センサを含む撮像デバイスの画素小型化で問題となる、距離測定の際の光量不足に対し、発光光量を増やすことなく、面積が１／４の画素小型化に対応する手法、撮像デバイス、撮像装置が提供可能になる。

１…撮像装置、２…発光部、２Ａ，２Ｂ…第１および第２の発光部、３…撮像デバイス、４…レンズ、５…信号処理部、６…制御部、３２…光学フィルタ、３３…画素回路層、３４…フォトセンサ、３５…半導体基板、３６、３７…ｎ型層（ｎ型ウェル等）、４０…出力部、４１…電荷蓄積部、４１Ｃ…共通電荷蓄積部、４１Ｘ…専用電荷蓄積部、４２…出力回路、４３…スイッチ。

Claims (21)

1. 画像光が入射する側に光学フィルタが配設された画素アレイを備え、
   前記画素アレイの画素が、
   原色系または補色系の複数色のうち、少なくとも１色に対応した波長の可視光、および、可視光より波長が長い非可視光を透過する第１フィルタ領域と、
   前記第１フィルタ領域からの前記可視光に主感度を有する可視光センサ部と、
   前記可視光センサ部よりも前記画像光が進入する側から遠い位置に形成され、前記第１フィルタ領域からの前記非可視光に主感度を有する非可視光センサ部と、
   を有し、
   前記可視光センサ部の光電変換により発生する可視光画像の信号と前記非可視光センサ部の光電変換により発生する非可視光画像の信号とを分離して出力する出力部が、前記画素アレイの画素ごとに設けられ、または、出力信号線に共通接続された複数の画素で共有して設けられている
   撮像デバイス。
2. 前記出力部は、
   複数の電荷蓄積部と、
   前記非可視光センサ部の発生電荷を前記複数の電荷蓄積部に振り分けるスイッチと、
   を有する請求項１に記載の撮像デバイス。
3. 前記電荷蓄積部が各出力部内にＮ×Ｍ個（Ｎ，Ｍはそれぞれ２以上の整数）設けられ、
   前記スイッチを制御して、前記非可視光画像の画素配列におけるＮ行、Ｍ列分の受光電荷をまとめて検出単位として出力する制御を行う制御回路、または、該制御の信号を外部から入力して前記スイッチに印加するための端子を有する
   請求項２に記載の撮像デバイス。
4. 前記非可視光センサ部は、前記可視光センサ部の画素配列におけるＮ行、Ｍ列分（ＮとＭはそれぞれ２以上の整数）の大きさを有する
   請求項１に記載の撮像デバイス。
5. 前記出力部は、
   複数の電荷蓄積部と、
   前記非可視光センサ部の発生電荷を前記複数の電荷蓄積部に振り分けるスイッチと、
   を有し、
   前記スイッチを制御して、前記非可視光画像の画素配列のＮ行、Ｍ列分の大きさの前記非可視光センサ部の受光電荷をさらに複数にまとめて検出単位として出力する制御を行う制御回路、または、該制御の信号を外部から入力して前記スイッチに印加するための端子を
   さらに有する請求項４に記載の撮像デバイス。
6. 前記複数の電荷蓄積部は、
   複数の前記非可視光センサ部との接続が前記スイッチによって制御され、該スイッチを介して前記複数の非可視光センサ部の全てから受光電荷の供給を受ける２以上の共通電荷蓄積部と、
   前記複数の非可視光センサ部の何れか１つとの接続が他の前記スイッチによって制御され、対応するスイッチを介して対応する非可視光センサ部から受光電荷の供給を受ける２以上の専用電荷蓄積部と、
   を含む請求項３または５に記載の撮像デバイス。
7. 前記第１フィルタ領域が複数色の可視光を透過可能に構成され、
   前記複数色の可視光を光電変換する前記可視光センサ部は、異なる波長域に主感度を有する複数のセンサ部を、波長が長い波長域に対応したセンサ部ほど前記画像光が進入する側から遠い位置に配置して構成している
   請求項１〜５の何れかに記載の撮像デバイス。
8. 前記第１フィルタ領域が原色系または補色系の３色あるいは４色の可視光を透過可能に構成され、
   前記３色あるいは４色の可視光を光電変換する前記可視光センサ部は、異なる波長域に主感度を有する３つまたは４つのセンサ部を、波長が長い波長域に対応したセンサ部ほど前記画像光が進入する側から遠い位置に配置して構成している
   請求項７に記載の撮像デバイス。
9. 前記複数色の可視光を光電変換する前記可視光センサ部は、前記複数色の可視光に対応した可視光域に感度を有する単一のセンサ部である
   請求項１〜５の何れかに記載の撮像デバイス。
10. 前記光学フィルタは、原色系の複数色で最も波長が長い色、または、補色系の複数色で最も波長が長い色に対応した波長の可視光を透過し、前記非可視光を遮断する第２フィルタ領域を有し、
    前記画素アレイの前記第２フィルタ領域を含む画素に、前記第２フィルタ領域からの前記可視光に主感度を有する可視光センサ部を含む
    請求項１〜６の何れかに記載の撮像デバイス。
11. 画像光が入射する側に光学フィルタが配設された画素アレイを備える撮像デバイスと、
    可視光の波長領域より長波長側に単一または互いに異なる複数の波長領域をもつ少なくとも１つの非可視光を発光して投射し、投射光の一部が被写体で反射した戻り光が前記撮像デバイスに到達するように仕向けられた発光部と、
    前記戻り光を前記撮像デバイスに結像させるレンズと、
    前記発光部の発光タイミングを制御する制御部と、
    前記撮像デバイスから出力される可視光画像の信号を処理する信号処理部と、
    を有し、
    前記画素アレイの画素が、
    原色系または補色系の複数色のうち、少なくとも１色に対応した波長の可視光、および、可視光より波長が長い非可視光を透過する第１フィルタ領域と、
    前記第１フィルタ領域からの前記可視光に主感度を有する可視光センサ部と、
    前記可視光センサ部よりも前記画像光が進入する側から遠い位置に形成され、前記第１フィルタ領域からの前記非可視光に主感度を有する非可視光センサ部と、
    を有し、
    前記可視光センサ部の光電変換により発生する可視光画像の信号と前記非可視光センサ部の光電変換により発生する非可視光画像の信号とを分離して出力する出力部が、前記画素アレイの画素ごとに設けられ、または、出力信号線に共通接続された複数の画素で共有して設けられ、
    前記信号処理部は前記可視光画像の信号を信号処理し、
    前記信号処理部と前記制御部は、前記撮像デバイスの受光時間と近赤外光の発光を制御し、得られた前記非可視光画像の信号に基づいて、前記被写体までの距離を測定する演算処理と前記被写体の肌の画像を検出する生体検出の処理との少なくとも一方を実行する
    撮像装置。
12. 前記発光部は、１つの前記非可視光の発光と停止のタイミングを独立に制御可能に構成され、
    前記出力部は、
    複数の電荷蓄積部と、
    前記非可視光センサ部の発生電荷を前記複数の電荷蓄積部に振り分けるスイッチと、
    前記複数の電荷蓄積部からの各蓄積電荷量に対応した複数の非可視光画像を出力する出力回路と、
    を有し、
    前記信号処理部および前記制御部は、前記撮像デバイスの受光時間、前記非可視光の発光と停止のタイミングに対して前記スイッチの切り替えタイミングを制御し、該制御により得られた前記複数の非可視光画像に基づいて、前記被写体までの距離を測定する演算処理を実行可能である
    請求項１１に記載の撮像装置。
13. 前記発光部は、波長領域が異なる第１および第２の非可視光の発光と停止のタイミングを独立に制御可能に構成され、
    前記出力部は、
    複数の電荷蓄積部と、
    前記非可視光センサ部の発生電荷を前記複数の電荷蓄積部に振り分けるスイッチと、
    前記複数の電荷蓄積部からの各蓄積電荷量に対応した複数の非可視光画像を出力する出力回路と、
    を有し、
    前記信号処理部および前記制御部は、前記撮像デバイスの受光時間、前記スイッチの切り替えタイミングおよび前記複数の近赤外光の発光と停止のタイミングを制御し、該制御により得られた前記複数の非可視光画像に基づいて、前記被写体の肌の画像を検出する生体検出処理を実行可能である
    請求項１１または１２に記載の撮像装置。
14. 前記信号処理部および前記制御部は、前記撮像デバイスの前記戻り光の受光期間内に前記スイッチを第１の電荷蓄積部から第２の電荷蓄積部に切り替え、当該切り替えにより前記第１および第２の電荷蓄積部に振り分けられた前記戻り光の受光電荷量の比に基づいて、前記被写体までの距離を求める
    請求項１２に記載の撮像装置。
15. 前記信号処理部および前記制御部は、前記可視光画像の処理において前記被写体の画像内で距離測定範囲を設定し、設定した前記距離測定範囲に対し、前記撮像デバイスの画素アドレスが対応した前記非可視光画像の画像部分を用いて前記距離を測定する演算処理を実行する
    請求項１１，１２または１４に記載の撮像装置。
16. 前記可視光画像の前記距離測定範囲に対応した非可視光画像が得られない場合、前記非可視光画像において前記距離測定範囲に画素アドレスで対応する非可視光画像部分に隣接する他の複数の非可視光画像部分からデータを取得し、取得した複数の非可視光画像部分のデータを補間処理し、前記演算処理に用いる非可視光画像の画像部分のデータを生成する
    請求項１５に記載の撮像装置。
17. 前記発光部が発光する前記第１および第２の非可視光は、一方が生体の肌で主に吸収され他方が生体の肌で主に反射される異なる波長領域の非可視光であり、
    前記信号処理部および前記制御部は、前記第１および第２の非可視光の各戻り光から得られた第１および第２の生体検出画像を、前記スイッチの切り替えによって第１および第２の電荷蓄積部に分離し、前記第１の電荷蓄積部から得られた第１の生体検出画像と、前記第２の電荷蓄積部から得られた第２の生体検出画像とのレベル差を画素ごとに求め、求めたレベル差が予め設定した閾値以上の前記非可視光画像の範囲を前記被写体の人肌範囲と認定し、当該人肌範囲と画素アドレスが対応する前記可視光画像の範囲を生体画像として抽出する
    請求項１３に記載の撮像装置。
18. 前記撮像デバイスにおいて、
    前記第１フィルタ領域が複数色の可視光を透過可能に構成され、
    前記複数色の可視光を光電変換する前記可視光センサ部は、異なる波長域に主感度を有する複数のセンサ部を、波長が長い波長域に対応したセンサ部ほど前記画像光が進入する側から遠い位置に配置して構成している
    請求項１１〜１７の何れかに記載の撮像装置。
19. 前記撮像デバイスにおいて、
    前記第１フィルタ領域が原色系または補色系の３色あるいは４色の可視光を透過可能に構成され、
    前記３色あるいは４色の可視光を光電変換する前記可視光センサ部は、異なる波長域に主感度を有する３つまたは４つのセンサ部を、波長が長い波長域に対応したセンサ部ほど前記画像光が進入する側から遠い位置に配置して構成している
    請求項１８に記載の撮像装置。
20. 前記撮像デバイスにおいて、
    前記複数色の可視光を光電変換する前記可視光センサ部は、前記複数色の可視光に対応した広い可視光域に感度を有する単一のセンサ部である
    請求項１１〜１７の何れかに記載の撮像装置。
21. 前記光学フィルタは、原色系の複数色で最も波長が長い色、または、補色系の複数色で最も波長が長い色に対応した波長の可視光を透過し、前記非可視光を遮断する第２フィルタ領域を有し、
    前記画素アレイの前記第２フィルタ領域を含む画素に、前記第２フィルタ領域からの前記可視光に主感度を有する可視光センサ部を含む
    請求項１１〜１８の何れかに記載の撮像装置。

Images