JP4395150B2

JP4395150B2 - 距離画像センサ

Info

Publication number: JP4395150B2
Application number: JP2006177702A
Authority: JP
Inventors: 任村山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-06-28
Filing date: 2006-06-28
Publication date: 2010-01-06
Anticipated expiration: 2026-06-28
Also published as: US8139116B2; US20080122933A1; JP2008008700A

Description

本発明は、所定の距離位置に存在する被写体像（距離画像）を取得する距離画像センサに関し、特に、距離画像の取得とともに、通常の画像（可視光画像）を取得する距離画像センサに関する。

近年、撮影対象空間に赤外のパルス光を照射し、所定時間経過後に被写体から反射されてくるパルス光を撮像することにより、所定の距離位置（光路差）に存在する被写体の画像（距離画像）を取得する光路差検出方式の距離画像センサが知られている（例えば、特許文献１参照）。特許文献１記載の距離画像センサでは、赤外光を受光するために固体撮像装置が用いられ、また、所定距離に位置する被写体から反射されたパルス光のみを受光するために、電気光学シャッタやイメージインテンシファイヤ等の高速シャッタ装置が設けられている。

また、距離画像センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し（背景分離）や、３次元画像の作成などを行ううえで有用である。しかしながら、上記の距離画像センサに用いられる固体撮像装置は、赤外光受光用の撮像装置であるため、距離画像と可視光画像とを同時に取得するには、可視光受光用の固体撮像装置が別途必要であるとともに、入射光を各固体撮像装置へ導くためのプリズムなども必要となる。

そこで、本出願人は、上記の距離画像センサの構成を簡素化し、サイズやコスト面の向上を図ることを目的とした固体撮像装置を提案している（特許文献２参照）。この固体撮像装置は、単板式でありながら可視光および赤外光を同時に受光することができるとともに、赤外光および可視光の受光期間をそれぞれ独立して制御することができる。この固体撮像装置を用いることにより、上記のプリズムやシャッタ装置を排除し、距離画像センサの構成を簡素化することができる。
米国特許第６０５７９０９号明細書特願２００６−１７２６４９号明細書

ところで、上記の距離画像センサは、人の目視あるいは通常の撮像へ影響を与えないように、可視光とは波長の異なる赤外光を用いて距離画像の取得を行っているが、実際に距離画像センサに入射される赤外光には、赤外発光部から発せられたパルス光の被写体からの反射成分だけでなく、太陽光や白熱灯等の外光中に存在する赤外光成分も含まれるため、距離撮像に影響が生じる。このため、状況によっては距離画像のＳＮ比が著しく低下して、距離情報を正確に取得することができないといった問題がある。

本発明は、上記課題を鑑みてなされたものであり、外光中の赤外成分による距離画像の劣化を防止することができる、可視光画像同時取得型の距離画像センサを提供することを目的とする。

上記目的を達成するために、本発明の距離画像センサは、赤外のパルス光を撮影対象空間に照射する赤外発光手段と、可視光を受光する複数の第１受光部および赤外光を受光する複数の第２受光部により、前記撮影対象空間からの可視光および赤外光を受光して光電変換を行い、前記第１受光部に蓄積される信号電荷の電荷量に応じた第１画素信号と、前記第２受光部に蓄積される信号電荷の電荷量に応じた第２画素信号とを出力する撮像手段と、前記撮像手段を駆動し、１フレーム分の第１および第２画素信号を１フレーム走査期間ごとに周期的に出力させるとともに、所定の距離位置から反射される前記パルス光を受光するように、前記第２受光部の受光期間を、前記赤外発光手段による前記パルス光の照射時から所定時間遅延させて設定する撮像制御手段と、前記赤外発光手段の発光タイミングを制御し、１フレーム走査期間おきに前記パルス光の照射を行わせる発光制御手段と、前記パルス光の照射時の撮像によって得られた１フレーム分の第１および第２画素信号を格納する第１フレームメモリと、前記パルス光の非照射時の撮像によって得られた１フレーム分の第１および第２画素信号を格納する第２フレームメモリと、前記第１フレームメモリに格納された第１画素信号に基づいて第１可視光画像を生成し、前記第２フレームメモリに格納された第１画素信号に基づいて第２可視光画像を生成し、前記第１フレームメモリに格納された第２画素信号から前記第２フレームメモリに格納された第２画素信号を減算することにより距離画像を生成する信号処理手段と、を備え、前記撮像手段は、一導電型半導体基板の表層に形成された反対導電型ウェル層中に各部が形成された固体撮像装置であって、前記第１および第２受光部と、前記第１および第２受光部の信号電荷を前記一導電型半導体基板に掃き捨てる縦型オーバーフロードレインと、前記第２受光部の信号電荷を、掃き捨てゲートを介して前記反対導電型ウェル層に形成された一導電型のドレイン領域に掃き捨てる横型オーバーフロードレインと、前記第１および第２受光部から信号電荷を読み出す読み出しゲートと、前記読み出しゲートによって読み出された信号電荷を垂直転送する垂直転送部と、前記垂直転送部から各信号電荷を受け取り、水平転送を行う水平転送部と、前記水平転送部によって水平転送された各信号電荷を電荷量に応じた画素信号に変換して出力を行う信号出力部と、から構成されており、前記撮像制御手段は、前記縦型オーバーフロードレインによる前記第１および第２受光部からの信号電荷の掃き捨て、前記横型オーバーフロードレインによる前記第２受光部からの信号電荷の掃き捨て、前記読み出しゲートによる前記第１および第２受光部からの信号電荷の読み出しの順に前記撮像手段を駆動することにより、可視光の受光期間と赤外光の受光期間とを異ならせて個別に設定することを特徴とする。なお、一導電型とは、ｎ型またはｐ型のいずれか一方の導電型であり、反対導電型とは、一導電型とは反対の導電型である。

なお、前記信号処理手段によって生成された第１および第２可視光画像と距離画像とを格納する画像メモリを備えたことが好ましい。

また、前記第１受光部は、可視光の３原色のうち青色光を受光する青色受光部と、前記３原色のうち緑色光を受光する緑色受光部と、前記３原色のうち赤色光を受光する赤色受光部とからなることが好ましい。また、前記掃き捨てゲートおよび前記読み出しゲートは、垂直転送部の転送電極によって制御されることが好ましい。

また、前記第１および第２受光部は、前記垂直転送部に沿う垂直方向、および前記水平転送部に沿う水平方向に沿って、２次元状に平面配列されていることが好ましい。さらに、前記ドレイン領域は、前記第１および第２受光部の１垂直列を間に挟んで、前記垂直転送部と対向するように配置されていることが好ましい。

本発明の距離画像センサは、１フレーム走査期間ごとに可視光および赤外光の撮像を行いながら、赤外のパルス光の照射を１フレーム走査期間おきに行い、可視光画像を１フレーム走査期間ごとに生成するとともに、パルス光の照射時の撮像によって得られた赤外画素信号からパルス光の非照射時の撮像によって得られた赤外画素信号を減算することによって距離画像を生成しているので、可視光画像を生成しながら、同時に、外光中の赤外成分による影響が排除された距離画像を生成することができる。

また、本発明の距離画像センサは、単板構成にて、可視光および赤外光を受光することができるとともに、赤外光と可視光との受光期間をそれぞれ独立して制御可能な固体撮像装置を備えるので、構成を簡素化し、サイズやコスト面の向上を図ることができる。

図１において、本発明に係わる距離画像センサ２は、各部を統括的に制御する制御部３と、撮影対象空間に向けて赤外（ＩＲ）光を発するＩＲ発光部４と、撮影対象空間からの可視光およびＩＲ光を集光するレンズ５と、レンズ５によって集光された光を光電変換して画素信号を出力する固体撮像装置６と、固体撮像装置６を駆動するための各種の駆動パルスを発生するタイミングジェネレータ（ＴＧ）７と、固体撮像装置６から出力された画素信号をデジタル化するＡ／Ｄ変換器８と、デジタル化された画素信号の記録先を１フレーム走査期間ごとに切り替える記録先切替部９と、１フレーム分の画素信号が記録先切替部９を介して交互に書き込まれる第１および第２フレームメモリ１０ａ，１０ｂと、第１および第２フレームメモリ１０ａ，１０ｂに書き込まれた画素信号を信号処理して可視光画像と距離画像とを生成する信号処理部１１と、信号処理部１１によって生成された可視光画像と距離画像とを記録する画像メモリ１２とから構成されている。

ＩＲ発光部４は、ＩＲ光（例えば、波長８５０ｎｍ）を発光するＬＥＤ（発光ダイオード）やレーザダイオードなどの光源４ａと、光源４ａを駆動するドライバ４ｂと、光源４ａから発光されるＩＲ光をパルス状に変調する変調器４ｃとから構成されており、パルス状のＩＲ光（以下、ＩＲパルスと称す）を撮影対象空間に照射する。ＩＲ発光部４は、１フレーム走査期間おきにＩＲパルスの照射を行うように制御部３によって制御されており、制御部３は、発光制御手段としても機能する。なお、変調器４ｃを設けず、ドライバ４ｂによる光源４ａの駆動信号を変調することによってＩＲパルスを生成することも可能である。

レンズ５は、太陽光などの外光による通常の被写体光とともに、被写体によって反射されるＩＲパルスを集光して固体撮像装置６に入射させる。同図に示すように、被写体が複数の距離位置に存在する場合には、各被写体によって反射されたＩＲパルスの固体撮像装置６への入射タイミングは、各被写体の距離位置（光路差）に応じて異なる。光源４ａおよび固体撮像装置６はほぼ等しい位置にあり、この位置からある１つの被写体までの距離をＬ、光速をｃとすると、光源４ａによって発せられたＩＲパルスが該被写体によって反射され、固体撮像装置６に入射されるまでの飛程時間（ＴＯＦ：Time of Flight）τは、τ＝２Ｌ／ｃとなる。

ＴＧ７は、固体撮像装置６を、全画素読み出し方式により、１フレーム分の画素信号を１フレーム走査期間ごと出力させるように周期的に駆動し、撮像制御手段として機能する。固体撮像装置６は、各フレーム走査期間において通常の被写体光（可視光の他に、外光中のＩＲ光成分も含まれる）の受光を行うとともに、１フレーム走査期間おきにＩＲ発光部４から発光され、所定の距離位置の被写体から反射されてくるＩＲパルスを所定のタイミングで受光し、Ｂ（青色），Ｇ（緑色），Ｒ（赤色），ＩＲの各画素に対応した画素信号を時系列的に出力する。Ａ／Ｄ変換器８は、固体撮像装置６から出力されたアナログの画素信号を順次にデジタル化して、記録先切替部９に入力する。記録先切替部９は、入力された画素信号の記録先（第１フレームメモリ１０ａまたは第２フレームメモリ１０ｂ）を１フレーム走査期間ごとに切り替える。

第１フレームメモリ１０ａには、ＩＲ発光部４が発光を行う第１フレーム走査期間に受光が行われ、続く第２フレーム走査期間に出力された画素信号（以下、第１フレーム信号という）が記録される。一方、第２フレームメモリ１０ｂには、ＩＲ発光部４が発光を行わない第２フレーム走査期間に受光が行われ、続く第１フレーム走査期間に出力された画素信号（以下、第２フレーム信号という）が記録される。

信号処理部１１は、第１フレーム信号に含まれるＢ，Ｇ，Ｒの画素信号から第１可視光画像を生成し、第２フレーム信号に含まれるＢ，Ｇ，Ｒの画素信号から第２可視光画像を生成するとともに、第１フレーム信号に含まれるＩＲの画素信号（ＩＲ発光部４より射出されたＩＲ光の被写体による反射成分と外光中のＩＲ光成分との和）から第２フレーム信号のＩＲの画素信号（外光中のＩＲ光成分）を、対応する画素ごとに減算して距離画像を生成する。つまり、信号処理部１１は、可視光画像を１フレーム走査期間ごとに生成するとともに、距離画像を１フレーム走査期間おきに生成する。画像メモリ１２には、信号処理部１１によって生成された各可視光画像と、距離画像とが順次に記録される。なお、Ｂ，Ｇ，Ｒの画素信号は請求項中の第１画素信号、ＩＲの画素信号は請求項中の第２画素信号に対応する。

図２は、固体撮像装置６の構成を示す。固体撮像装置６は、インターライン転送方式のＣＣＤイメージセンサであり、青色（Ｂ）光を受光してＢ信号電荷を蓄積するＢ受光部２０ａと、緑色（Ｇ）光を受光してＧ信号電荷を蓄積するＧ受光部２０ｂと、赤色（Ｒ）光を受光してＲ信号電荷を蓄積するＲ受光部２０ｃと、赤外（ＩＲ）光を受光してＩＲ信号電荷を蓄積するＩＲ受光部２０ｄと、受光部２０ａ〜２０ｄから信号電荷を読み出す読み出しゲート（ＲＧ）２１ａ〜２１ｄと、信号電荷を垂直転送する垂直ＣＣＤ２２と、信号電荷を水平転送する水平ＣＣＤ２３と、信号電荷を電圧信号に変換して出力する出力アンプ２４と、ＩＲ受光部２０ｄに接続された掃き捨てゲート（ＥＧ）２５と、ＩＲ受光部２０ｄの信号電荷が掃き捨てられるドレイン領域２６とから構成されている。ＥＧ２５とドレイン領域２６とによって横型オーバーフロードレイン（ＬＯＤ）が構成されている。また、受光部２０ａ〜２０ｄ下には、後述するｐウェル層３１の薄部３１ａ〜３１ｄとｎ型半導体基板３０とによって縦型オーバーフロードレイン（ＶＯＤ）が構成されている。なお、受光部２０ａ〜２０ｃは請求項中の第１受光部、受光部２０ｄは請求項中の第２受光部に対応する。

受光部２０ａ〜２０ｄは、垂直方向（Ｖ方向）および水平方向（Ｈ方向）に沿って平面配列され、全体としては正方格子状配列となっている。Ｂ受光部２０ａには“Ｂ”、Ｇ受光部２０ｂには“Ｇ”、Ｒ受光部２０ｃには“Ｒ”、ＩＲ受光部２０ｄには“ＩＲ”を付して配列順を示している。垂直方向には、Ｂ，ＩＲ，Ｇ，Ｒ，Ｂ，ＩＲ，・・・の順に受光部２０ａ〜２０ｄが配列されており、奇数行と偶数行とで配列周期が半周期（２画素分）ずれている。これにより、水平方向は、Ｂ受光部２０ａとＧ受光部２０ｂとが交互に配列された奇数行と、ＩＲ受光部２０ｄとＲ受光部２０ｃとが交互に配列された偶数行とからなる。各受光部２０ａ〜２０ｄは、４画素に１つの割合で均等に配列されている。

垂直ＣＣＤ２２は、受光部２０ａ〜２０ｄの垂直列ごとに配設されており、垂直ＣＣＤ２２と各受光部２０ａ〜２０ｄとの間には、ＲＧ２１ａ〜２１ｄがそれぞれ設けられている。各受光部２０ａ〜２０ｄからは、Ｂ，Ｇ，Ｒ，ＩＲの各信号電荷がＲＧ２１ａ〜２１ｄを介して垂直ＣＣＤ２２に読み出される。垂直ＣＣＤ２２は、ＲＧ２１ａ〜２１ｄを介して読み出された各信号電荷を水平ＣＣＤ２３に向けて１行ずつ垂直転送を行う。垂直ＣＣＤ２２の垂直転送は、図３に示すように、画素の１水平行につき２本ずつ設けられた４種の垂直転送電極２７ａ〜２７ｄに印加される垂直転送パルスＶφ１〜Ｖφ４により、４相駆動によって制御される。垂直転送電極２７ａ〜２７ｄのうち、第１相の垂直転送パルスＶφ１が印加される垂直転送電極２７ａは、ＲＧ２１ａ，２１ｂの読み出しゲート電極として兼用されている。また、第３相の垂直転送パルスＶφ３が印加される垂直転送電極２７ｃは、ＲＧ２１ｃ，２１ｄの読み出しゲート電極として兼用されている。さらに、第４相の垂直転送パルスＶφ４が印加される垂直転送電極２７ｄは、ＥＧ２５の掃き捨てゲート電極として兼用されている。

水平ＣＣＤ２３は、水平転送電極（図示せず）に印加される水平転送パルスＨφ１，Ｈφ２により２相駆動され、垂直ＣＣＤ２２から転送された１行分の信号電荷を、出力アンプ２４に向けて水平転送する。出力アンプ２４は、例えば、フローティング・ディフュージョン・アンプからなり、水平ＣＣＤ２３から転送された信号電荷を検出して電荷量に応じた電圧信号に変換し、各受光部２０ａ〜２０ｄに対応した画素信号を時系列的に出力する。

ドレイン領域２６は、受光部２０ａ〜２０ｄの垂直列ごとに配設されており、同一列に属するＩＲ受光部２０ｄにＲＧ２１ｃを介して共通に接続されている。ドレイン領域２６は、ＥＧ２５を介してＩＲ受光部２０ｄに接続されており、ＩＲ受光部２０ｄから信号電荷が掃き捨てられる。

なお、図２中の矩形領域２８は、１つの画素（ピクセル）領域を示している。

図４は、図２のＩ−Ｉ線に沿う、Ｂ受光部２０ａを含む画素の断面を示す。ｎ型半導体基板（ｎ型シリコン基板）３０の表層には、ｐウェル層３１が形成されており、ｐウェル層３１の深部には、ｎ型半導体層からなるＢ信号電荷蓄積部３２が形成されている。Ｂ信号電荷蓄積部３２は、遮光膜３３の開口３３ａ下に層状に広がっており、水平方向の一端は、ｐウェル層３１の表面に達している。

Ｂ信号電荷蓄積部３２とその下のｐウェル層３１との界面に形成されるｐｎ接合部３２ａが、Ｂ光を光電変換してＢ信号電荷を生成するフォトダイオードとなっている。このｐｎ接合部３２ａは、波長が短く、ｐウェル層３１の表面からの侵入距離が短いＢ光に対して高い感度を有するように、比較的浅い位置に形成されている。ｐウェル層３１は、Ｂ信号電荷蓄積部３２下において薄く形成されており、この薄部３１ａが、ＶＯＤの電位障壁として機能する。ｎ型半導体基板３０に、基板電圧としてＶＯＤパルスが印加されると、薄部３１ａの電位障壁が低下し、Ｂ信号電荷蓄積部３２内の信号電荷がｎ型半導体基板３０へ掃き出される。

開口３３ａ下のｐウェル層３１の表層には、暗電流成分の発生を抑制するために高濃度にｐ型不純物が注入されたｐ^＋層３４が形成されている。また、遮光膜３３下のｐウェル層３１の表層には、ｎ型半導体層からなる転送チャネル３５、およびｎ^＋型半導体層からなるドレイン領域２６が形成されており、転送チャネル３５とドレイン領域２６とは、ｐ^＋型半導体層からなる画素分離部３６によって分離されている。

転送チャネル３５は、ｐウェル層３１を介してＢ信号電荷蓄積部３２と離間しており、この離間部分および転送チャネル３５の上方には、全面に形成された透明なゲート絶縁膜３７を介して、前述の垂直転送電極２７ａが形成されている。転送チャネル３５は、垂直方向（図２のＶ方向）に延設されており、その上方に交差する垂直転送電極２７ａ〜２７ｄとによって、前述の４層駆動の垂直ＣＣＤ２２を構成している。また、転送チャネル３５とＢ信号電荷蓄積部３２との離間部分は、その上方の垂直転送電極２７ａとによって、前述のＲＧ２１ａを構成している。Ｂ信号電荷蓄積部３２のＢ信号電荷は、垂直転送電極２７ａに高電圧の読み出しパルスが印加されると、上記離間部分を介して転送チャネル３５に移送され、垂直転送電極２７ａ〜２７ｄに印加される垂直転送パルスＶφ１〜Ｖφ４に応じて転送チャネル３５内を移動する。

ドレイン領域２６は、遮光膜３３下に延設されたｐ^＋層３４の延設部分３４ａを介してＢ信号電荷蓄積部３２と離間されており、この離間部分およびドレイン領域２６の上方には、ゲート絶縁膜３７を介して、前述の垂直転送電極２７ａが形成されている。ｐ^＋層３４の延設部分３４ａは、チャネルストッパとして機能するため、垂直転送電極２７ａに読み出しパルスが印加されたとしても、その部分にチャネルは形成されず、Ｂ信号電荷蓄積部３２内の信号電荷がドレイン領域２６へ掃き出されることはない。

遮光膜３３は、層間絶縁膜３８を介して、垂直転送電極２７ａ〜２７ｄ上を覆っており、前述のフォトダイオードに光を入射させる開口３３ａが形成されている。遮光膜３３および開口３３ａから露出したゲート絶縁膜３７の上には、透明絶縁体からなる平坦化層３９が形成されている。そして、平坦化層３９の上には、波長に応じて選択的に光を透過させる分光層４０が形成されている。

分光層４０は、画素ごとに区分けされた複数種類の光学フィルタによって構成されており、本画素の平坦化層３９上には、可視光からＢ光（波長：約４００ｎｍ〜５００ｎｍ）のみを透過させるＢフィルタ４０ａと、ＩＲ光（波長：約８００ｎｍ〜１５００ｎｍ）を遮断するＩＲカットフィルタ４０ｂとが順に積層されている。さらに、分光層４０の上には、開口３３ａ内へ光を集光するためのマイクロレンズ４１が形成されている。

図５は、図２のII−II線に沿う、Ｇ受光部２０ｂを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成以外は、図４と同一であるため、異なる部分のみについて説明を行う。

本画素において、開口３３ａ下のｐウェル層３１中には、Ｇ信号電荷蓄積部４２が形成されている。Ｇ信号電荷蓄積部４２とその下のｐウェル層３１との界面に形成されるｐｎ接合部４２ａが、Ｇ光を光電変換してＧ信号電荷を生成するフォトダイオードとなっている。このｐｎ接合部４２ａは、Ｂ光より波長が長く、ｐウェル層３１内へより深く侵入するＧ光に対して高い感度を有するように、上記のｐｎ接合部３２ａより深い位置に形成されている。ｐウェル層３１は、Ｇ信号電荷蓄積部４２下において薄く形成されており、この薄部３１ｂが、ＶＯＤの電位障壁として機能する。ｎ型半導体基板３０にＶＯＤパルスが印加されると、薄部３１ｂの電位障壁が低下し、Ｇ信号電荷蓄積部４２内の信号電荷がｎ型半導体基板３０へ掃き出される。

Ｇ信号電荷蓄積部４２は、端部が表面に達しており、転送チャネル３５とｐウェル層３１を介して離間している。この離間部分は、その上方の垂直転送電極２７ａとによって、ＲＧ２１ｂを構成している。また、Ｇ信号電荷蓄積部４２は、チャネルストッパとして機能するｐ^＋層３４の延設部分３４ａを介してドレイン領域２６から離間されており、Ｇ信号電荷蓄積部４２内の信号電荷がドレイン領域２６へ掃き出されることはない。

そして、本画素の平坦化層３９上には、可視光からＧ光（波長：約５００ｎｍ〜６００ｎｍ）のみを透過させるＧフィルタ４０ｃと、前述のＩＲカットフィルタ４０ｂとが順に積層されており、ＩＲカットフィルタ４０ｂの上には、マイクロレンズ４１が積層されている。

図６は、図２のIII−III線に沿う、Ｒ受光部２０ｃを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成以外は、図４，５と同一であるため、異なる部分のみについて説明を行う。

本画素において、開口３３ａ下のｐウェル層３１中には、Ｒ信号電荷蓄積部４３が形成されている。Ｒ信号電荷蓄積部４３とその下のｐウェル層３１との界面に形成されるｐｎ接合部４３ａが、Ｒ光を光電変換してＲ信号電荷を生成するフォトダイオードとなっている。このｐｎ接合部４３ａは、Ｇ光より波長が長く、ｐウェル層３１内へより深く侵入するＲ光に対して高い感度を有するように、上記のｐｎ接合部４２ａより深い位置に形成されている。ｐウェル層３１は、Ｒ信号電荷蓄積部４３下において薄く形成されており、この薄部３１ｃが、ＶＯＤの電位障壁として機能する。ｎ型半導体基板３０にＶＯＤパルスが印加されると、薄部３１ｃの電位障壁が低下し、Ｒ信号電荷蓄積部４３内の信号電荷がｎ型半導体基板３０へ掃き出される。

Ｒ信号電荷蓄積部４３は、端部が表面に達しており、転送チャネル３５とｐウェル層３１を介して離間している。この離間部分は、その上方の垂直転送電極２７ｃとによって、ＲＧ２１ｃを構成している。また、Ｒ信号電荷蓄積部４３は、チャネルストッパとして機能するｐ^＋層３４の延設部分３４ａを介してドレイン領域２６から離間されており、Ｒ信号電荷蓄積部４３内の信号電荷がドレイン領域２６へ掃き出されることはない。

そして、本画素の平坦化層３９上には、可視光からＲ光（波長：約６００ｎｍ〜７００ｎｍ）のみを透過させるＲフィルタ４０ｄと、前述のＩＲカットフィルタ４０ｂとが順に積層されており、ＩＲカットフィルタ４０ｂの上には、マイクロレンズ４１が積層されている。

図７は、図２のIV−IV線に沿う、ＩＲ受光部２０ｄを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成、およびＥＧ２５が設けられていること以外は、図４〜図６と同一であるため、異なる部分のみについて説明を行う。

本画素において、開口３３ａ下のｐウェル層３１中には、ＩＲ信号電荷蓄積部４４が形成されている。ＩＲ信号電荷蓄積部４４とその下のｐウェル層３１との界面に形成されるｐｎ接合部４４ａが、ＩＲ光を光電変換してＩＲ信号電荷を生成するフォトダイオードとなっている。このｐｎ接合部４３ａは、Ｒ光より波長が長く、ｐウェル層３１内へより深く侵入するＩＲ光に対して高い感度を有するように、上記のｐｎ接合部４３ａより深い位置に形成されている。ｐウェル層３１は、ＩＲ信号電荷蓄積部４４下において薄く形成されており、この薄部３１ｄが、ＶＯＤの電位障壁として機能する。ｎ型半導体基板３０にＶＯＤパルスが印加されると、薄部３１ｄの電位障壁が低下し、ＩＲ信号電荷蓄積部４４内の信号電荷がｎ型半導体基板３０へ掃き出される。

ＩＲ信号電荷蓄積部４４は、２つの端部が表面に達しており、転送チャネル３５側の端部は、転送チャネル３５とｐウェル層３１を介して離間している。この離間部分は、その上方の垂直転送電極２７ｃとによって、ＲＧ２１ｄを構成している。また、ＩＲ信号電荷蓄積部４４のドレイン領域２６側の端部も同様に、ドレイン領域２６とｐウェル層３１を介して離間している。この離間部分には、チャネルストッパ（ｐ^＋層３４の延設部分３４ａ）は形成されておらず、この離間部分とその上方の垂直転送電極２７ｄとによって、ＥＧ２５を構成している。垂直転送電極２７ｄに高電圧のＬＯＤパルスが印加されると、この離間部分の電位障壁が低下し、ＩＲ信号電荷蓄積部４４内の信号電荷がドレイン領域２６に掃き出される。

そして、本画素の平坦化層３９上には、ＩＲ光（波長：約８００ｎｍ〜１５００ｎｍ）を透過させ、可視光をカットする赤外光透過・可視光カットフィルタ４０ｅと、透明膜４０ｆとが順に積層されており、透明膜４０ｆの上には、マイクロレンズ４１が積層されている。なお、透明膜４０ｆは、マイクロレンズ４１下を平坦化するために設けたものであるが、透明膜４０ｆを設けず、分光層４０を構成する各光学フィルタの厚さを調節することによって、マイクロレンズ４１下の平坦化を行ってもよい。また、マイクロレンズ４１の下に、分光層４０の上面全体を覆う平坦化層を別途設けてもよい。

図８は、固体撮像装置６の駆動タイミング、およびＩＲ発光部４の発光タイミングに併せて、信号処理部１１による画像生成のタイミングを示す。このタイミングチャートに基づいて、距離画像センサ２の動作を説明する。

ＶＯＤパルス、ＬＯＤパルス、および読み出しパルスは、ＴＧ７から発生され、各パルスは、１フレーム走査期間（１垂直走査期間）ごとに固体撮像装置６入力される。また、ＩＲ発光部４により、１フレーム走査期間おきにＩＲパルスの照射が行われる。フレーム走査期間は、読み出しパルスが入力される周期で規定され、ＩＲパルスの照射が行われる周期を第１フレーム走査期間、ＩＲパルスの照射が行われない周期を第２フレーム走査期間とする。各フレーム走査期間では、直前のフレーム走査期間で蓄積された信号電荷の読み出しおよび転送が行われ、画素信号として出力される。

まず、第１フレーム走査期間において、固体撮像装置６にＶＯＤパルスが入力されると、前述のｐウェル層３１の薄部３１ａ〜３１ｄの電位障壁が低下し、各受光部２０ａ〜２０ｄの信号電荷蓄積部３２，４２〜４４に存在する信号電荷がｎ型半導体基板３０に掃き捨てられ、信号電荷蓄積部３２，４２〜４４が全て空の状態となる。

次いで、ＩＲ発光部４から、パルス幅ｔ_１のＩＲパルスが発せられる。この後、時間ｔ_２経過後に、ＬＯＤパルスが固体撮像装置６に入力され、これにより、ＩＲ受光部２０ｄのＩＲ信号電荷蓄積部４４内の信号電荷がＥＧ２５を介してドレイン領域２６に掃き捨てられる。ＩＲ受光部２０ｄは、この時点からの露光が開始する。この後、時間ｔ_３経過後に読み出しパルスが固体撮像装置６に入力される。この読み出しパルスにより、各受光部２０ａ〜２０ｄの信号電荷蓄積部３２，４２〜４４に蓄積された信号電荷がＲＧ２１を介して垂直ＣＣＤ２２に移送される。この時点で、全ての受光部２０ａ〜２０ｄの露光が終了し、時間ｔ_３がＩＲ受光部２０ｄの受光時間（信号電荷蓄積時間）となり、また、ＶＯＤパルスが入力されてから読み出しパルスが入力されるまでの時間ｔ_４がＢ，Ｇ，Ｒ受光部２０ａ〜２０ｃの受光時間となる。なお、ＩＲ受光部２０ｄの受光時間ｔ_３は、被写体から反射されるＩＲパルスの１パルス分の受光を行うように、パルス幅ｔ_１とほぼ等しい値に設定されている。

続く第２フレーム走査期間では、不図示の垂直・水平転送パルスが固体撮像装置６に入力され、直前の第１フレーム走査期間において蓄積された信号電荷が垂直・水平転送されて、出力アンプ２４から順次に１フレーム分の画素信号（第１フレーム信号）が出力される。また、この第１フレーム信号の出力がなされている間に、ＶＯＤパルスが固体撮像装置６に入力され、上記と同様に、信号電荷蓄積部３２，４２〜４４が全て空の状態となる。第２フレーム走査期間では、ＩＲ発光部４からＩＲパルスは発せられず、ＬＯＤパルスが固体撮像装置６に入力されることによりＩＲ受光部２０ｄの露光が開始する。この後、時間ｔ_３経過後に読み出しパルスが固体撮像装置６に入力され、各受光部２０ａ〜２０ｄの信号電荷蓄積部３２，４２〜４４に蓄積された信号電荷がＲＧ２１を介して垂直ＣＣＤ２２に移送されることにより、全ての受光部２０ａ〜２０ｄの露光が終了する。なお、第２フレーム走査期間中の各パルスのタイミングは、ＩＲパルスが発せられないことを除いて、第１フレーム走査期間と同一である。第２フレーム走査期間では、ＩＲ受光部２０ｄは、外光のＩＲ光成分を受光する。

そして、続く第１フレーム走査期間では、不図示の垂直・水平転送パルスが固体撮像装置６に入力され、直前の第２フレーム走査期間において蓄積された信号電荷が垂直・水平転送されて、出力アンプ２４から順次に１フレーム分の画素信号（第２フレーム信号）が出力される。また、この第２フレーム信号の出力がなされている間に、ＶＯＤパルスが固体撮像装置６に入力される。この後は、前述と同様なタイミングで各パルスが固体撮像装置６に入力され、同様な動作が繰り返される。なお、各第１フレーム走査期間において、ＩＲパルスの受光タイミングを規定する時間ｔ_２（上記の飛程時間τに対応）を変えることにより、異なる距離位置に対する距離画像が順に取得される。ここで上記と同様に、高速をｃ、距離画像を取得する被写体までの距離をＬとすると、時間ｔ_２は、Ｌ＝ｃ・ｔ_２／２の関係より、ｔ_２＝２Ｌ／ｃと決定される。

第２フレーム走査期間において出力された第１フレーム信号、および第１フレーム走査期間において出力された第２フレーム信号は、Ａ／Ｄ変換器８によってデジタル化された後、記録先切替部９を介して、第１および第２フレームメモリ１０ａ，１０ｂにそれぞれ記録される。信号処理部１１は、第１フレームメモリ１０ａに記録された第１フレーム信号に含まれるＢ，Ｇ，Ｒの画素信号（Ｓ１_ＢＧＲ）から第１可視光画像を生成して画像メモリ１２に記録し、第２フレームメモリ１０ｂに記録された第２フレーム信号に含まれるＢ，Ｇ，Ｒの画素信号（Ｓ２_ＢＧＲ）から第２可視光画像を生成して画像メモリ１２に記録し、また、第１フレーム信号に含まれるＩＲの画素信号（Ｓ１_ＩＲ）から第２フレーム信号に含まれるＩＲの画素信号（Ｓ２_ＩＲ）を減算して距離画像を生成し、これを画像メモリ１２に記録する。

以上説明したように、距離画像センサ２は、１フレーム走査期間ごとに撮像を行いながら、ＩＲパルスの照射を１フレーム走査期間おきに行うので、ＩＲパルスの被写体からの反射光（信号成分）と外光中のＩＲ光成分（ノイズ成分）とを含んだ画素信号（Ｓ１_ＩＲ）と、外光中のＩＲ光成分（ノイズ成分）のみを含んだ画素信号（Ｓ２_ＩＲ）とが交互に取得され、画素信号（Ｓ１_ＩＲ）から画素信号（Ｓ２_ＩＲ）を減算することで、ノイズ成分が除去されたＳＮ比のよい距離画像を生成することができる。

また、距離画像センサ２に搭載された固体撮像装置６は、可視光とともにＩＲ光を受光することができ、受光部２０ａ〜２０ｄのうちＩＲ受光部２０ｄにのみＬＯＤを設け、受光部２０ａ〜２０ｄの全体に作用するＶＯＤとは独立した電荷排出機構を構成しているので、ＩＲ光の受光期間を、可視光の受光期間とは独立して制御することができる。距離画像センサ２は、この固体撮像装置６の使用により構成が簡素化され、小型化・低コスト化が図られる。

なお、上記実施形態では、距離画像を生成する際に、図８に示すように、第２フレーム走査期間に出力される第１フレーム信号中の画素信号（Ｓ１_ＩＲ）から、その直後の第１フレーム走査期間に出力される第２フレーム信号中の画素信号（Ｓ２_ＩＲ）を減算しているが、本発明はこれに限定されず、逆に、第２フレーム走査期間に出力される第１フレーム信号中の画素信号（Ｓ１_ＩＲ）から、その直前の第１フレーム走査期間に出力される第２フレーム信号中の画素信号（Ｓ２_ＩＲ）を減算してもよい。

また、上記実施形態では、図１において、第１および第２フレームメモリ１０ａ，１０ｂのそれぞれを別に示しているが、これは、これらを個別のメモリ素子として構成することに限定するものでなく、本発明は、第１および第２フレームメモリ１０ａ，１０ｂを一体のメモリ素子として構成する形態も含む。

また、上記実施形態では、図２において、ＬＯＤを構成するドレイン領域２６を、受光部２０ａ〜２０ｄの垂直列ごとに配設し、同一列のＩＲ受光部２０ｄに共通に接続しているが、本発明はこれに限定されず、ドレイン領域２６の形態は適宜変更してよく、例えば、各ＩＲ受光部２０ｄに個別にドレイン領域２６を設けてもよい。

また、上記実施形態では、図２において、受光部２０ａ〜２０ｄを全体として正方格子状に平面配列しているが、本発明はこれに限定されず、水平方向に隣接する受光部の垂直列を垂直方向に半ピッチ（画素配列ピッチの半分）だけずらして配列した、いわゆるハニカム配列としてもよい。

また、上記実施形態では、固体撮像装置６において、フォトダイオードの光電変換によって生成される電子−正孔対のうち電子を信号電荷として扱うように、各部の導電型（ｐ型またはｎ型）を設定しているが、本発明はこれに限定されず、電子とは反対の極性の正孔を信号電荷として扱うように、各部の導電型を、上記とは反対の導電型としてもよい。

距離画像センサの構成を示すブロック図である。固体撮像装置の構成を示す概略平面図である。垂直転送電極の構成を示す概略平面図である。図２のＩ−Ｉ線に沿う概略断面図である。図２のII−II線に沿う概略断面図である。図２のIII−III線に沿う概略断面図である。図２のIV−IV線に沿う概略断面図である。距離画像センサの駆動タイミングを示すタイミングチャートである。

符号の説明

２距離画像センサ
３制御部（発光制御手段）
４ＩＲ発光部（赤外発光手段）
６固体撮像装置（撮像手段）
７タイミングジェネレータ（撮像制御手段）
８Ａ／Ｄ変換器
９記録先切替部
１０ａ第１フレームメモリ
１０ｂ第２フレームメモリ
１１信号処理部（信号処理手段）
２０ａＢ受光部（第１受光部）
２０ｂＧ受光部（第１受光部）
２０ｃＲ受光部（第１受光部）
２０ｄＩＲ受光部（第２受光部）
２１ａ〜２１ｄ読み出しゲート
２２垂直ＣＣＤ（垂直転送部）
２３水平ＣＣＤ（水平転送部）
２４出力アンプ（信号出力部）
２５掃き捨てゲート
２６ドレイン領域
２７ａ〜２７ｄ垂直転送電極
３０ｎ型半導体基板（一導電型半導体基板）
３１ｐウェル層（反対導電型ウェル層）
３１ａ〜３１ｄ薄部
３２Ｂ信号電荷蓄積部
３２ａ，４２ａ，４３ａ，４４ａｐｎ接合部
３５転送チャネル
４０ａＢフィルタ
４０ｂＩＲカットフィルタ
４０ｃＧフィルタ
４０ｄＲフィルタ
４０ｅ赤外光透過・可視光カットフィルタ
４０ｆ透明膜
４２Ｇ信号電荷蓄積部
４３Ｒ信号電荷蓄積部
４４ＩＲ信号電荷蓄積部

Claims

赤外のパルス光を撮影対象空間に照射する赤外発光手段と、
可視光を受光する複数の第１受光部および赤外光を受光する複数の第２受光部により、前記撮影対象空間からの可視光および赤外光を受光して光電変換を行い、前記第１受光部に蓄積される信号電荷の電荷量に応じた第１画素信号と、前記第２受光部に蓄積される信号電荷の電荷量に応じた第２画素信号とを出力する撮像手段と、
前記撮像手段を駆動し、１フレーム分の第１および第２画素信号を１フレーム走査期間ごとに周期的に出力させるとともに、所定の距離位置から反射される前記パルス光を受光するように、前記第２受光部の受光期間を、前記赤外発光手段による前記パルス光の照射時から所定時間遅延させて設定する撮像制御手段と、
前記赤外発光手段の発光タイミングを制御し、１フレーム走査期間おきに前記パルス光の照射を行わせる発光制御手段と、
前記パルス光の照射時の撮像によって得られた１フレーム分の第１および第２画素信号を格納する第１フレームメモリと、
前記パルス光の非照射時の撮像によって得られた１フレーム分の第１および第２画素信号を格納する第２フレームメモリと、
前記第１フレームメモリに格納された第１画素信号に基づいて第１可視光画像を生成し、前記第２フレームメモリに格納された第１画素信号に基づいて第２可視光画像を生成し、前記第１フレームメモリに格納された第２画素信号から前記第２フレームメモリに格納された第２画素信号を減算することにより距離画像を生成する信号処理手段と、
とを備え、
前記撮像手段は、一導電型半導体基板の表層に形成された反対導電型ウェル層中に各部が形成された固体撮像装置であって、
前記第１および第２受光部と、
前記第１および第２受光部の信号電荷を前記一導電型半導体基板に掃き捨てる縦型オーバーフロードレインと、
前記第２受光部の信号電荷を、掃き捨てゲートを介して前記反対導電型ウェル層に形成された一導電型のドレイン領域に掃き捨てる横型オーバーフロードレインと、
前記第１および第２受光部から信号電荷を読み出す読み出しゲートと、
前記読み出しゲートによって読み出された信号電荷を垂直転送する垂直転送部と、
前記垂直転送部から各信号電荷を受け取り、水平転送を行う水平転送部と、
前記水平転送部によって水平転送された各信号電荷を電荷量に応じた画素信号に変換して出力を行う信号出力部と、から構成されており、
前記撮像制御手段は、前記縦型オーバーフロードレインによる前記第１および第２受光部からの信号電荷の掃き捨て、前記横型オーバーフロードレインによる前記第２受光部からの信号電荷の掃き捨て、前記読み出しゲートによる前記第１および第２受光部からの信号電荷の読み出しの順に前記撮像手段を駆動することにより、可視光の受光期間と赤外光の受光期間とを異ならせて個別に設定することを特徴とする距離画像センサ。
前記信号処理手段によって生成された第１および第２可視光画像と距離画像とを格納する画像メモリを備えたことを特徴とする請求項１記載の距離画像センサ。
前記第１受光部は、可視光の３原色のうち青色光を受光する青色受光部と、前記３原色のうち緑色光を受光する緑色受光部と、前記３原色のうち赤色光を受光する赤色受光部とからなることを特徴とする請求項１または２記載の距離画像センサ。
前記掃き捨てゲートおよび前記読み出しゲートは、垂直転送部の転送電極によって制御されることを特徴とする請求項１ないし３いずれか記載の距離画像センサ。
前記第１および第２受光部は、前記垂直転送部に沿う垂直方向、および前記水平転送部に沿う水平方向に沿って、２次元状に平面配列されていることを特徴とする請求項１ないし４いずれか記載の距離画像センサ。
前記ドレイン領域は、前記第１および第２受光部の１垂直列を間に挟んで、前記垂直転送部と対向するように配置されていることを特徴とする請求項１ないし５いずれか記載の距離画像センサ。