JP5505761B2

JP5505761B2 - 撮像装置

Info

Publication number: JP5505761B2
Application number: JP2009013235A
Authority: JP
Inventors: 秀明平井
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-06-18
Filing date: 2009-01-23
Publication date: 2014-05-28
Anticipated expiration: 2029-01-23
Also published as: EP2136550A2; US20090316025A1; TW201010887A; US8379084B2; EP2136550A3; JP2010026490A; TWI480189B

Description

本発明は撮像装置に関し、詳細には例えばドライバの運転状態検知に用いられる撮像装置に関する。

近年、運転支援システムとしてドライバの運転状態を常に検知・監視することが模索されている。一般にドライバの状態検知にはルームミラーに内蔵した撮像カメラ（以下、ルームミラー内蔵撮像装置という）によりドライバの顔画像を撮像する方法が採られるが、夜間から昼間まで広い照度変化に対して安定にドライバの顔画像を撮像できる必要がある。

非特許文献１には、夜間の低照度時から昼間の高照度時まで安定にドライバの顔画像を撮像できるように、近赤外パルス光投射方法を採用したルームミラー内蔵撮像装置が記載されている。このルームミラー内蔵撮像装置では、波長８５０ｎｍのＬＥＤを配列した発光部、ＣＣＤカメラの撮像部等をルームミラーに内蔵し、波長８５０ｎｍの近赤外光をパルス的に対象物（ドライバ）に照射し、その間だけＣＣＤカメラのシャッタを開いて、対象物からの反射光像を受光している。ドライバの撮像は、ルームミラーの後写鏡として機能を妨げずに、かつ、近赤外光を損失なくドライバに照射して、その反射光像をＣＣＤカメラで受光するため、近赤外光は透過し、ドライバの視認に必要な可視光を反射する近赤外バンドパスフィルタミラーを介して行っている。このルームミラー内蔵撮像装置によれば、近赤外光によって安定した撮像画像が得られる。

一方、運転中のドライバの状態検知・監視対象は、主に居眠りなどの意識低下、脇見などである。先の非特許文献１では、ルームミラー内蔵の撮像装置でドライバの顔画像を撮像し、この顔画像から顔領域・目領域を検出して、それからまばたきと視線の方向を計測し、まばたきの閉眼時間の変化から意識低下状態レベルを、顔の向きや眼球の方向から脇見を検知することが記載されている。

このように、ドライバの運転状態の検知には、撮像装置で撮像されたドライバの顔画像から顔領域・目領域を検出する必要があり、これらの位置特定の高速化、高精度化が要求される。例えば、マネキンが配置された場合には人間の顔部と判定しないなどの高精度化が望まれる。非特許文献１に記載のルームミラー内蔵撮像装置は、夜間から昼間まで広い照度変化に対して安定にドライバの顔画像を撮影することができるものの、波長８５０ｎｍの単一波長の近赤外光を利用する方法であるため、ドライバの顔部の位置特定の高精度化には限界があった。

これに対し、非特許文献２には、波長が８７０ｎｍと９７０ｎｍの２波長の近赤外光を用いた近赤外マルチバンド撮像装置が記載されている。この近赤外マルチバンド撮像装置では、波長８７０ｎｍの近赤外光と波長９７０ｎｍの近赤外光を順次、ドライバに照射して、ＣＣＤカメラにより８７０ｎｍと９７０ｎｍの２枚の照射画像を得ている。そして、この得られた２枚の照射画像について輝度値の差分を取ることにより肌と髪部を検出し、その差分値の符号から２つの素材を区別する。可視光帯域の光は、光学フィルタによって除去することにより安定した画像の取得が可能となる。

非特許文献２に記載の近赤外マルチバンド撮像装置によれば、人間の顔部の特定の高精度化が可能であるが、波長が８７０ｎｍと９７０ｎｍの近赤外光を順次照射させる方法であるため、順次点灯での取得、同期した撮影が必要などによる煩雑性、リアルタイム性などの点に課題がある。

上述のように、ドライバの運転状態検知に用いられる従来の撮像装置には、顔部の位置特定の高精度化、あるいは顔画像のリアルタイム取得等に課題があった。

本発明の目的は、上記した課題を解決し、走行時においてもドライバの運転状態を常に検知・監視できる撮像装置を提供することにある。

本発明は、互いに異なる波長の近赤外光を被写体に照射する発光部と、近赤外光による被写体の反射光像を受光する撮像部とを有する撮像装置であって、撮像部は、発光部が互いに異なる波長の近赤外光を被写体に照射し、被写体から反射してくる互いに異なる波長の近赤外光による被写体の反射光像をそれぞれ受光する複数のレンズを同一基板上に有するレンズアレイと、レンズアレイを通過した各光束を互いに遮蔽する遮光スペーサと、向かい合う遮光スペーサの間を通過する各光束に応じて領域分離され、各領域毎に、互いに異なる近赤外波長の光束を通過させるカラーフィルタと、カラーフィルタの各領域を通過した互いに異なる特定の近赤外波長の各光束により形成される複数の被写体像を同時に取得する撮像素子とを有し、対応するカラーフィルタが通過させる近赤外光の波長に応じて、レンズの開口の大きさが異なることを特徴とするものである。

また、カラーフィルタは、直交座標系ｘ、ｙ、ｚにおいて、ｘｙ面に平行な１つの基板の上に２種以上の透明材料をｚ方向に交互に積層した多層構造体であって、各層は領域毎に定まるｘｙ面内の一方向に繰り返される１次元周期的な凹凸形状を有し、ｘｙ面に光束が入射されることを特徴としたものである。

更に、カラーフィルタは、基板上に一定の周期で配列された溝構造もしくは格子構造を有することを特徴としたものである。

また、撮像素子は撮像素子ホルダ上に搭載され、撮像素子ホルダ上に矩形枠上のスペーサが設置され、スペーサにカラーフィルタが搭載されて、撮像素子がスペーサ、カラーフィルタ及び撮像素子ホルダにより密閉されることを特徴としたものである。

本発明の撮像装置によれば、近赤外帯域の少なくとも２波長の画像を同時に取得できることによりリアルタイム性が向上する。また、得られた２つの画像等から輝度値の差分によって人間の肌部を判別することができるので、車内のドライバの顔位置などを高精度に検出可能であり、得られた情報により、顔位置を特定し、視線や顔方向などを計測し、ドライバに対して迅速に注意を促せるようになる。

また、本発明のカラーフィルタ構造によれば、カラーフィルタを形成する溝構造を変えるだけで、任意の透過波長のカラーフィルタが作製できるため、領域分割型のカラーフィルタを高精度に作製できる。

更に、本発明の撮像部構成によれば、撮像素子の撮像領域をゴミなどの異物の付着から防止することができる。

本発明の第１の実施の形態に係る撮像装置の全体構成を示す構成図である。人の肌と髪部の近赤外域の反射特性を示す特性図である。発光部のＬＥＤ配列の一例を示す図である。近赤外バンドパスフィルタの透過率／反射率特性を示す特性図である。第１の実施の形態の撮像装置における撮像部の構成を示す分解斜視図である。第１の実施の形態の撮像装置における撮像部の構成を示す断面図である。レンズアレイ構成の他の例を示す図である。レンズアレイの作製方法の一例を示す図である。カラーフィルタ構造の一例を示す図である。図９を適用したカラーフィルタの一例を示す図である。カラーフィルタ構造の他の例を示す図である。遮光スペーサの作製方法の一例を示す図である。本発明の第２の実施の形態の撮像装置における撮像部の構成を示す分解斜視図である。

以下、本発明の一実施の形態を図面により詳述する。以下の実施の形態では、非特許文献２と同様に、波長が８７０ｎｍと９７０ｎｍの２つの近赤外光を用いるとするが、使用する波長は２つ以上いくつでもよい。一般に多いほど高精度な処理が可能である。

図１は本発明の第１の実施の形態に係る撮像装置の全体構成を示す構成図である。図１において、１０は被写体像としてのドライバ１の顔画像を撮像するＣＣＤカメラ等の撮像部、２０は赤外ＬＥＤを使用して近赤外光をドライバ１に照射する発光部であり、これら撮像部１０及び発光部２０は、運転操作などで影響されることなくドライバ１の顔画像が撮影できるように、車のルームミラー５０に内蔵されている。ルームミラー５０の前面には、ドライバ１の撮像がルームミラー５０の後写像としての機能を妨げずに、かつ投光した近赤外光を損失なくドライバ１に照射し、反射光を撮像部１０で受光できるように、照射する近赤外光は透過し、ドライバ１の視認に必要な可視光は反射する近赤外光バンドパスフィルタ３０が設けられている。なお、図１では省略したが、撮像部１０のカメラのシャッタ速度やゲイン制御、発光部２０の赤外ＬＥＤの発光タイミングを制御する制御部も、ルームミラー５０に内蔵されている。

発光部２０は、図示しない制御部によって定められたカメラの撮像タイミングに同期して近赤外光をパルス的に発射する。この近赤外光が近赤外バンドパスフィルタ３０を通過して、ドライバ１の顔部をパルス的に照射し、その反射光が同じくバンドパスフィルタ３０を通過して、ＣＣＤカメラ等の撮像部１０に受光される。

撮像部１０では、受光した近赤外光を複眼方式のレンズアレイを介して２つの光束に分離した後、各光束を透過波長が８７０ｎｍと９７０ｎｍの異なる領域に分離されたカラーフィルタを通過させて、ＣＣＤ等の撮像素子に入力することで、８７０ｎｍと９７０ｎｍの異なる２波長の反射特性の２枚の被写体像（ドライバの顔画像）を同時に取得する。この撮像部１０の具体的構成例については後述する。

人間には不可視であるが、ＣＣＤカメラにはセンシング可能である近赤外帯域は一般的に７７０ｎｍ〜１０００ｎｍとされる。非特許文献２に記載のように、この近赤外域の人の顔部の反射特性は、図２のようになることが知られている。非特許文献２と同様に、この近赤外帯域において８７０１ｎｍと９７０ｎｍの２波長を選定し、得られた２枚の照射画像において輝度値を比較すると、肌と髪の反射特性は、右下がりと右上がりの逆の特性を持っていることがわかる。よって、それぞれの照射画像の差分を取った場合、その差分値の符号が異なり、肌と髪を区別することが可能となる。このようにして、非特許文献２に記載のように、８７０ｎｍと９７０ｎｍの照射画像の差分により肌と髪が検出でき、その差分値の符号から、この２つの素材を区別することができる。

肌部を特定した後、非特許文献１に記載のように、その顔画像から顔画像・眼領域を検出して、それからまばたきと視線の方向を計測する。そして、まばたきの閉眼時間の変化から意識低下状態レベルを、顔の向きや眼球の方向から脇見を検知する。こうして、得られた情報により、ドライバに注意を促すことができる。

本実施の形態の撮像装置によれば、近赤外帯域の８７０ｎｍと９７０ｎｍの異なる２波長の反射特性の２つの画像を同時に取得できることにより、非特許文献２に比べてリアルタイム性が向上する。また、得られた２つの画像から輝度値の差分を取ることによって人間の肌と髪部を削除することができるので、非特許文献１に比べて、ドライバの顔位置を高精度に検出可能となる。撮影方法は、近赤外パルス光投射方法を採用しているため、非特許文献１と同様に夜間の低照度時から昼間の高照度時まで安定した撮像画像が得られる。さらに、車のルームミラーに内蔵されているため、運転操作などに影響されることなくドライバの顔が撮影できる。

以下に、本実施の形態の撮像装置の各部の構成例について、その作用、効果と共に詳述する。

図３は発光部のＬＥＤ配列の一例を示す図である。同図に示す例では、発光部２０は赤外ＬＥＤを多数配列して構成され、撮像するドライバの画像の明るさが均一となるように、ＬＥＤは撮像部１０の周辺に配置される。図３の（ａ）は波長が略８００〜１０００ｎｍの帯域の近赤外光を出力する赤外ＬＥＤ２１を多数、一様に配列した例を示したものである。図３の（ｂ）は、予め８７０ｎｍと９７０ｎｍの単一波長を出力する赤外ＬＥＤ２２，２３を使用する例である。この場合、ＬＥＤには指向性があり、光の不均一さを解消するため、例えば、非特許文献２に示されていると同様に、ＬＥＤ２２，２３は図３のような配置パターンに並べる構成とする。なお、ＬＥＤの照射方向側に、さらに拡散板を配置してやってもよい。図３の（ａ）の８００〜１０００ｎｍ帯域の近赤外線を出力する赤外ＬＥＤ群、あるいは、図３の（ｂ）の８７０ｎｍと９７０ｎｍの単一波長を出力する赤外ＬＥＤ群を一定時間ごとに同時に駆動し、近赤外バンドパスフィルタ３０を通して、パルス的にドライバの顔部を照射し、その間だけの反射光を撮像部１０で受光するようにする。後述するように、撮像部１０で、この反射光像を分離し、色フィルタを通すことで、８７０ｎｍと９７０ｎｍの異なる２波長の反射特性の２つの画像を同時に取得することが可能になる。

図４は近赤外バンドパスフィルタの透過率／反射率特性を示す特性図である。近赤外バンドパスフィルタ３０は、投光するＬＥＤの近赤外光のみを透過させ、ドライバの視認に必要な可視光と外乱光を反射させる必要があり、図３に示すような反射率／透過率特性のフィルタを使用する。このようなバンドパスフィルタは、後述するフォトニック結晶やサブ波長構造、或いは屈折率の異なる多層膜構造により容易に得られる。

図５は第１の実施の形態の撮像装置における撮像部の構成を示す分解斜視図である。また、図６は第１の実施の形態の撮像装置における撮像部の構成を示す断面図である。撮像部１０は、一つの撮像素子に対して複数のレンズ（ここでは２つのレンズ）で撮影する複眼方式を採用している。この複眼方式は装置を薄型化できる利点がある。

図５において、２つのレンズ１１ａ，１１ｂは互いに独立した同一形状の単レンズであり、同一平面上に配置されてレンズアレイ１１を構成している。２つのレンズ１１ａ，１１ｂの各光軸１ａ，１ｂは２つのレンズ１１ａ，１１ｂが配置された前記平面の法線と平行である。単レンズ１１ａ，１１ｂとしては、例えば非球面レンズ等を用いることができる。

ここで、図５に示すように、光軸１ａ，１ｂと平行な方向をＺ軸、Ｚ軸に垂直な一方向をＸ軸、Ｚ軸及びＸ軸に垂直な方向をＹ軸とする。レンズ１１ａ，１１ｂは、ＸＹ平面上において、Ｘ軸に平行な直線及びＹ軸に平行な直線により形成される格子点上に配置される。

レンズアレイ１１に対して被写体とは反対側に、遮光スペーサ１２が設けられている。遮光スペーサ１２は、光軸１ａ，１ｂをそれぞれ中心とする開口（貫通孔）１２ａ，１２ｂを備える。開口１２ａ，１２ｂ内は空洞（空気層）であり、各開口の内壁面には、黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。これにより、内壁面で反射した迷光が後述の固体撮像素子に入射することを避けることができる。

遮光スペーサ１２に対して被写体とは反対側に、カラーフィルタ領域１３ａ，１３ｂが形成されたカラーフィルタ１３が配置されている。カラーフィルタ領域１３ａ，１３ｂは、それぞれ光軸１ａ、１ｂが通過する位置に、ＸＹ平面と平行に設けられている。カラーフィルタとは、特定の波長の光のみを透過する素子である。ここでは、カラーフィルタ領域１３ａが８７０ｎｍの近赤外光を透過し、カラーフィルタ領域１３ｂが９７０ｎｍの近赤外光を透過するものとする。

カラーフィルタ１３に対して被写体とは反対側に、スペーサ１４を介して撮像素子ホルダ１５が設けられている。撮像素子ホルダ１５は、デジタル信号プロセッサ（ＤＳＰ）を含む基板１７と、この上に搭載された１つのＣＣＤ等の固体撮像素子１６とを含む。固体撮像素子１６の撮像領域（実際に被写体像が結像する領域）はＸＹ平面と平行な同一平面上に配置されている。光軸１ａ，１ｂは、撮像領域を２等分した各領域（本実施の形態では、破線で囲った２つの領域１６ａ，１６ｂ）の中心をそれぞれほぼ通過する。

図６に示すように、撮像素子ホルダ１５上に矩形枠状のスペーサ１４が設置され、このスペーサ１４上にカラーフィルタ１３が搭載されている。固体撮像素子１６の撮像領域１６ａ，１６ｂは、ゴミなどの異物が付着しないように、スペーサ１４、カラーフィルタ１３、及び撮像素子ホルダ１５により密閉されている。

以上のように、本実施の形態の撮像部１０では、２つの光軸１ａ，１ｂ上に、単レンズ、カラーフィルタ、及び撮像領域をそれぞれ含む２つの撮像ユニットのようにも見て取れる構成である。各撮像ユニットで、後述するとおり異なる波長画像が撮像される。

図１の近赤外バンドパスフィルタ３０を通過した近赤外光は、レンズアレイ１１の各レンズ１１ａ，１１ｂに入射して、それぞれ所定の光束に絞られる。レンズ１１ａ，１１ｂを通過した各光束は、遮光スペーサ１２により完全に分離された後、カラーフィルタ１３の各カラーフィルタ領域１３ａ，１３ｂに入射する。ここで、カラーフィルタ領域１３ａでは、波長が８７０ｎｍのみの近赤外光を透過し、カラーフィルタ領域１３ｂでは、波長が９７０ｎｍのみの近赤外光を透過する。カラーフィルタ１３のカラーフィルタ領域１３ａを透過した光束は固体撮像素子１６の領域１６ａに受光され、カラーフィルタ領域１３ｂを通過した光束は固体撮像素子１６の領域１６ｂに受光される。すなわち、８７０ｎｍと９７０ｎｍの異なる２波長の反射特性の２枚の被写体像（ドライバの顔画像）が、固体撮像素子１６で同時に取得される。

図５，６においては、レンズアレイ１１は単レンズアレイで構成されてなるが、図７の（ａ）のように複数枚のレンズアレイ１１１を、スペーサ１１２などを介して積層したものであってもよい。枚数を増やすことにより、各レンズの形状を簡素化でき、結果、製造容易となる。また、図７の（ｂ）のように各々レンズ形状を変えてやってもよい。例えば、波長に応じて入射光量が異なるためアイリス調整を、レンズ開口を変えてやってもよい。

図８にレンズアレイの作製方法の一例を示す。なお、これについては、例えば「Ricoh Technical Report，No．29，December，2003，Ｐ１３〜２０」に記載されている。

図８の（ａ）のリフロー法は、フォトリソグラフィにより円柱状のフォトレジストパターンを作製した後、ガラス基板を加熱してレジストを流動させ、表面張力によりレンズ形状を作製する方法である。図８の（ｂ）のイオン拡散法は、レンズ形状に合わせたマスクを形成したガラス基板にＴｌ＋などのイオンを拡散させて段階的な屈折率変化をもたせる方法である。図８の（ｃ）のインクジェット法は、インクジェットプリンタヘッドを利用して微量の樹脂材料を所定の位置に滴下し、表面張力によりレンズ形状を作製する方法である。

図８の（ａ），（ｂ），（ｃ）の方法は、表面張力やイオンの拡散により自然に生じる形状や屈折率分布をレンズとして利用している。図８（ｄ）はグレイスケールマスクを利用した方法である。この方法ではマスクに与えた透過率分布によってレジストの形状をコントロールできるため他の方法に比べて様々な形状を作製できる方法であり、今後のレンズ作製技術においてますます重要になっていくものである。

図８のリフロー法、グレイスケールマスク法では、フォトレジストでレンズ形状を作製するところまでを示しているが、通常フォトレジストで作製したレンズはそのままでは透過率不足や湿度や光照射に対する耐性が弱い等の問題があるため、異方性ドライエッチングによりレジストパターンを基板材料に転写してから利用される。しかしながら、異方性ドライエッチングプロセスではレジスト形状とエッチング後の形状で大きな形状変化が生じる場合があり、目的の形状に対して誤差の少ないレンズを作製するのは困難であった。また、この形状変化はエッチング装置の種類、エッチング条件、基板材料の種類によって変化する。特に、レンズを評価する上で重要なパラメータである透過率と波長範囲、屈折率は基板の種類によって制限されるため、様々な基板材料に対して高い形状精度を持つレンズを作製できるようにすることは重要である。

また、図示しない方法として、通常のレンズ作製に用いられる研磨や金型を作製して該金型に樹脂材を封入するモールド法を用いてもよい。

次に、カラーフィルタについて説明する。図９はフォトニック結晶からなるカラーフィルタの概念図である。すなわち、図９のような周期的な溝列を形成した透明材料基板１３１上に、透明で高屈折率の媒質１３２と低屈折率の媒質１３３とを界面の形状を保存しながら、交互に積層する。各層はｘ方向に周期性を持つが、ｙ方向には一様であってもよいしｘ軸方向より大きい長さの周期的または非周期的な構造を有していてもよい。このような微細な周期構造（フォトニック結晶）は、例えば、特許文献１などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く、かつ高い均一性で作製することができる。

図１０は透過波長が２種類の領域を有するカラーフィルタの概略概観図である。カラーフィルタ１３の構造自体は図９に示す構造からなり、直交座標系ｘ、ｙ、ｚにおいて、ｘｙ面に平行な１つの基板の上に２種以上の透明材料をｚ方向に交互に積層した多層構造体（例えばＴａ_２Ｏ_５とＳｉＯ_２の交互多層膜）からなる。カラーフィルタ１３は、ｘｙ面内において本実施形態では２つの領域１３ａ，１３ｂに分かれていて、各領域で各膜は凹凸形状を有しており、この凹凸形状は領域毎に定まるｘｙ面内の一つの方向に周期的に繰り返されて形成されている。

このフォトニック結晶フィルタの一方の主面に対し２つ波長の光（波長λ１，λ２（λ１＜λ２）の信号光を含む）が垂直に入射すると、特定の波長を有する信号光がフォトニック結晶フィルタの他方の主面から選択的に出射される。

上述したカラーフィルタの開口面積や透過軸は、はじめに基板に加工する溝パターンの大きさや方向で自由に設計することができる。パターン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小カラーフィルタを組み合わせたカラーフィルタ領域ト、更にそれを複数並べたカラーフィルタを形成することが可能となる。また、凹凸パターンを持つ特定の領域のみがカラーフィルタの動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみカラーフィルタを作りこむことができる。

カラーフィルタ１３は、図９のフォトニック結晶のものを限定されるものでなく、例えば、特許文献２に記載のサブ波長構造のカラーフィルタでもよい。サブ波長構造のカラーフィルタとは、透過波長よりも短い周期溝構造のカラーフィルタである。波長よりも細かい周期構造では０次光以外の回折波が存在せず、格子を形成している材質の屈折率や厚さ、形状などにより反射、透過光の光学特性が大きく変化することが知られている。図１１の（ａ）に１次元のサブ波長格子の例を、図１１の（ｂ）に２次元のサブ波長格子の模式図を示す。１次元のサブ波長格子では入射光の偏向によって、反射特性や透過特性が変化するが、２次元のサブ波長格子では偏光による光学特性の変化はない。

次に、遮光スペーサについて説明する。図１２は遮光スペーサの作製方法の一例を示す図である。まず、図１２の（ａ）に示すように、銀を含有した感光性ガラス１２１の外表面に紫外線を遮光する塗料１２２を塗布し、遮光壁を形成しようとする部分１２３については、パターニングにより塗料１２２を取り除く。この感光性ガラス１２１に紫外線を照射した後、塗料１２２を除去すると、図１２の（ｂ）に示すように、感光性ガラス１２１のうち紫外線が直接照射された部分に銀が析出し、黒化して遮光壁１２４が形成される。遮光壁１２４はガラス１２１の内部にも形成される。最後に、図１２の（ｃ）に示すように、ガラス１２１に機械加工やエッチングによる除去加工を施して、カラーフィルタ領域１３ａ、１３ｂに対応する領域１２ａ，１２ｂを含む遮光スペーサ１２ができ上がる。

図１２のような方法により、遮光スペーサ１２を容易に作製できる。また、隣接する領域に光が漏れ出すことを防ぐことが容易となる。これにより、同一平面上に配置された複数レンズのレンズアレイと併用して、ＸＹ面内での寸法が小さなコンパクトな撮像部を得ることができる。

本発明の撮像装置は２つのレンズからなるレンズアレイ、カラーフィルタ２領域から構成されるものに限定されるものではなく、各々２つ以上の領域から構成されるものであればよい。例えば、図１３には４つの領域から構成されてもよい。

図１３は本発明の第２の実施の形態の撮像装置における撮像部の概略構成を示した分解斜視図である。図１３において、２つのレンズ１１ａ，１１ｂは互いに独立した同一形状の単レンズであり、同一平面上に配置されてレンズアレイ１１を構成している。また２つの１１ｃ，１１ｄは同一形状の単レンズであり、１１ａ，１１ｂと同一平面上に形成され、１１ａ，１１ｂとは異なる形状である。４つのレンズ１１ａ，１１ｂ，１１ｃ，１１ｄの各光軸１ａ，１ｂ，１ｃ，１ｄは４つのレンズ１１ａ，１１ｂ，１１ｃ，１１ｄが配置された平面の法線と平行である。ここで、本実施の形態においてはレンズ１１ａ，１１ｂは例えば車内における主としてドライバの画像を取得し、１１ｃ，１１ｄは例えば車内における主として助手席の画像を取得するように各レンズが形成されてなる。

ここで、図１３に示すように、光軸１ａ，１ｂ，１ｃ，１ｄと平行な方向をＺ軸、Ｚ軸に垂直な一方向をＸ軸、Ｚ軸及びＸ軸に垂直な方向をＹ軸とする。レンズ１１ａ，１１ｂは、ＸＹ平面において、Ｘ軸に平行な直線及びＹ軸に平行な直線により形成される格子点上に配置される。

また、レンズアレイ１１に対して被写体とは反対側に、遮光スペーサ１２が設けられている。遮光スペーサ１２は、光軸１ａ，１ｂ，１ｃ，１ｄをそれぞれ中心とする開口（貫通孔）１２ａ，１２ｂ，１２ｃ，１２ｄを備える。開口１２ａ，１２ｂ，１２ｃ，１２ｄ内は空洞（空気層）であり、各開口の内壁面には、黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。これにより、内壁面で反射した迷光が後述の固体撮像素子に入射することを避けることができる。

更に、遮光スペーサ１２に対して被写体とは反対側に、カラーフィルタ領域１３ａ，１３ｂ，１３ｃ，１３ｄが形成されたカラーフィルタ１３が配置されている。カラーフィルタ領域１３ａ，１３ｂ，１３ｃ，１３ｄは、それぞれ光軸１ａ，１ｂ，１ｃ，１ｄが通過する位置に、ＸＹ平面と平行に設けられている。カラーフィルタとは、特定の波長の光のみを透過する素子である。ここでは、カラーフィルタ領域１３ａ，１３ｃが８７０ｎｍの近赤外光を透過し、カラーフィルタ領域１３ｂ，１３ｄが９７０ｎｍの近赤外光を透過するものとする。

また、カラーフィルタ１３に対して被写体とは反対側に、スペーサ１４を介して撮像素子ホルダ１５が設けられている。撮像素子ホルダ１５は、デジタル信号プロセッサ（ＤＳＰ）を含む基板１７と、この上に搭載された１つのＣＣＤ等の固体撮像素子１６とを含む。固体撮像素子１６の撮像領域（実際に被写体像が結像する領域）はＸＹ平面と平行な同一平面上に配置されている。光軸１ａ，１ｂ，１ｃ，１ｄは、撮像領域を４等分した各領域（本実施の形態では、破線で囲った４つの領域１６ａ，１６ｂ，１６ｃ，１６ｄ）の中心をそれぞれほぼ通過する。レンズとして例えばドライバ用と助手席用のレンズを配置したレンズアレイを用いたような構成とすることにより、車内における各乗務員の両画像を最適に結像することが可能となる。そして、各撮像素子の後段には第１の実施の形態同様の処理部を設けて波長情報に基づく画像を撮像することにより、第１の実施の形態に比べ撮像位置に対してロバスト性の高い撮像装置が実現できる。

以上、本発明の撮像装置の使用例としてルームミラーに内蔵して乗務員を撮影する構成について説明してきたが、これに限定されるものでなく、インパネ内にカメラを内蔵し撮影する方法であってもよいし、ヘッドアップディスプレイと併用配置してもよい。また、本発明の撮像装置は車載用途に限定されるものでなく、ＦＡ（ファクトリオートメーション）やヘルスケア・メディカルなどの用途に用いることも可能である。

１ドライバ
１０撮像部
２０発光部
３０近赤外バンドパスフィルタ
１１レンズアレイ
１２遮光スペーサ
１３カラーフィルタ
１４カラーフィルタスペーサ
１５撮像素子ホルダ
１６固体撮像素子

特開平１０−３３５７５８号公報特開２００７−４１５５５号公報

山本新ほか、「車載用センサ／カメラ技術全集」、技術情報協会、２００５年１０月３１日、第１節及び第２節江崎雅康ほか"近赤外マルチバンドによる人感センサの開発"、「ソフトピアジャパン共同研究報告書」、（財）ソフトピアジャパンＩＴ研究センター、ＶＯＬ．１１（２００７）、Ｐ６−１〜６−２４

Claims

互いに異なる波長の近赤外光を被写体に照射する発光部と、前記近赤外光による被写体の反射光像を受光する撮像部とを有する撮像装置であって、
前記撮像部は、
前記発光部が互いに異なる波長の近赤外光を被写体に照射し、被写体から反射してくる互いに異なる波長の前記近赤外光による被写体の反射光像をそれぞれ受光する複数のレンズを同一基板上に有するレンズアレイと、
前記レンズアレイを通過した各光束を互いに遮蔽する遮光スペーサと、
向かい合う前記遮光スペーサの間を通過する各光束に応じて領域分離され、各領域毎に、互いに異なる近赤外波長の光束を通過させるカラーフィルタと、
前記カラーフィルタの各領域を通過した互いに異なる特定の近赤外波長の各光束により形成される複数の被写体像を同時に取得する撮像素子とを有し、
対応する前記カラーフィルタが通過させる近赤外光の波長に応じて、レンズの開口の大きさが異なることを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記カラーフィルタは、直交座標系ｘ、ｙ、ｚにおいて、ｘｙ面に平行な１つの基板の上に２種以上の透明材料をｚ方向に交互に積層した多層構造体であって、各層は領域毎に定まるｘｙ面内の一方向に繰り返される１次元周期的な凹凸形状を有し、前記ｘｙ面に前記光束が入射されることを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記カラーフィルタは、基板上に一定の周期で配列された溝構造もしくは格子構造を有することを特徴とする撮像装置。
請求項１記載の撮像装置において、
前記撮像素子は撮像素子ホルダ上に搭載され、前記撮像素子ホルダ上に矩形枠上のスペーサが設置され、前記スペーサに前記カラーフィルタが搭載されて、前記撮像素子が前記スペーサ、カラーフィルタ及び撮像素子ホルダにより密閉されることを特徴とする撮像装置。