JP4530571B2

JP4530571B2 - ３次元画像検出装置

Info

Publication number: JP4530571B2
Application number: JP2001116674A
Authority: JP
Inventors: 修三瀬尾
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2001-04-16
Filing date: 2001-04-16
Publication date: 2010-08-25
Anticipated expiration: 2021-04-16
Also published as: JP2002315022A; US7006142B2; US20020149694A1

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被計測物体（被写体）の３次元形状を計測する能動方式の３次元画像検出装置として、例えば「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像検出装置や、国際公開97/01111号公報に開示された３次元画像検出装置などが知られている。「Measurement Science and Technology」に記載された装置では、パルス変調されたレーザ光が被写体の全体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、露光期間に受光される反射光の光量が被写体までの距離に相関することとなり、被写体の距離に応じた出力がＣＣＤの各画素毎に得られる。一方、国際公開97/01111号公報に記載された装置では、パルス変調されたレーザ光等の光が被写体の全体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がＣＣＤの各画素毎に得られる。
【０００３】
【発明が解決しようとする課題】
これらの３次元画像検出装置において広い測距レンジを得るには、蓄積ゲート幅を大きく取る必要がある。しかし、ＣＣＤの受光素子に蓄積できる電荷量には限界があるため蓄積ゲート幅を大きく取ると受光素子がオーバーフローを起こしてしまう可能性がある。また、測距レンジを分割して測距する場合、分割された範囲毎に画像信号の読み出しを行う必要があるため、測距完了までに多くの時間が必要とされる。
【０００４】
本発明は、広い測距レンジが得られるとともに短時間で測距が行える３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、パルス変調された第１の波長の光を第１の測距光として被写体に照射する第１の光源と、パルス変調された第２の波長の光を第２の測距光として被写体に照射する第２の光源と、第１の波長を含む第１の帯域の光を検出し対応する電荷を蓄積する第１の画素と、第２の波長を含む第２の帯域の光を検出し対応する電荷を蓄積する第２の画素とを有する２次元撮像素子と、第１及び第２の光源の駆動を制御し、第２の測距光を、第１の測距光の出力後かつ第１の測距光の出力終了前に出力する光源制御手段と、２次元撮像素子の駆動を制御し、第１及び第２の画素における電荷の蓄積を所定の長さの蓄積期間に行う撮像素子制御手段と、蓄積期間に、少なくとも第１又は第２の画素の一方において対応する第１又は第２の測距光の被写体からの反射光を検出し、この検出に対応して蓄積された電荷に基づいて被写体までの距離情報を、隣接する第１及び第２の画素から算出する距離情報検出手段とを備え、蓄積期間の所定の長さが、第１及び第２の測距光のパルス幅よりも大きく、蓄積期間が第２の測距光の出力終了後に開始することを特徴としている。
【０００６】
２次元撮像素子を、通常のカラー画像を撮像する撮像素子と兼用するには、第１及び第２の帯域が、赤、緑、青のなかの何れかの２つの色の帯域にそれぞれ対応し、第１及び第２の波長が、赤、緑、青のなかの何れかの２つの波長にそれぞれ対応することが好ましい。また、第１及び第２の帯域の光は、例えば色フィルタにより選択的に濾光される。
【０００７】
第１の測距光のパルス幅と第２の測距光のパルス幅と蓄積期間の所定の長さとを実質的に等しくすると蓄積期間の長さに無駄を無くすことができる。また、第１の測距光の出力の終了と第２の測距光の出力の開始とが実質的に同時であると、第１及び第２の測距光のパルス幅を全て測距レンジにあてることができる。
【０００８】
更に好ましくは、３次元画像検出装置はパルス変調された第３の波長の光を第３の測距光として被写体に照射する第３の光源を備え、２次元撮像素子は第３の波長を含む第３の帯域の光を検出し対応する電荷を蓄積する第３の画素を有し、光源制御手段は第３の測距光を第２の測距光の出力後かつ第１の測距光の出力終了前に出力し、撮像素子制御手段は第３の画素における電荷の蓄積を蓄積期間に行い、距離情報検出手段は蓄積期間に少なくとも第１又は第２又は第３の画素の一つにおいて、対応する第１又は第２又は第３の測距光の被写体からの反射光を検出し、この検出に対応して蓄積された電荷に基づいて被写体までの距離情報を、隣接する第１及び第２及び第３の画素から算出し、蓄積期間の所定の長さが、第１及び第２及び第３の測距光のパルス幅よりも大きく、蓄積期間が第３の測距光の出力終了後に開始する。これにより３色表色系により被写体のカラー画像を撮像する撮像素子を距離情報の検出に用いることができるとともにより広い測距レンジが得られる。
【０００９】
このとき第１及び第２及び第３の帯域の各々は、赤、緑、青の色の帯域にそれぞれ重複することなく対応し、第１及び第２及び第３の波長の各々は、赤、緑、青の色の波長に重複することなく対応していることが好ましい。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の第１の実施形態であるカメラ型の３次元画像検出装置の斜視図である。図１を参照して第１の実施形態において用いられるカメラ型の３次元画像検出装置について説明する。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓（対物部）１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距のための測距光を射出する光源装置１４が配設されており、光源装置１４には、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の測距光をそれぞれ射出する３つの光源１４Ｒ、１４Ｇ、１４Ｂが設けられている。光源装置１４の左側にはレリーズスイッチ１５及び液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７が設けられている。ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１２】
図２は、図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作及びズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上にはその表面にフィルタ２８ｆが設けられたＣＣＤ（2次元撮像素子）２８が配設されている。ＣＣＤ２８の撮像面には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作は、システムコントロール回路３５からＣＣＤ駆動回路３０へ出力されるＣＣＤ駆動用のパルス信号によって制御される。ＣＣＤ２８から読み出された電荷信号、すなわち画像信号はそれぞれアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７及び撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１４】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１５】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。また記録媒体Ｍに一旦記録された画像信号は必要に応じて記録媒体Ｍから読み出され、システムコントロール回路３５を介してＬＣＤパネル３７に表示することができる。
【００１６】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４に設けられた光源１４Ｒ、１４Ｇ、１４Ｂは、例えばＲＧＢに対応する発光素子１８Ｒ、１８Ｇ、１８Ｂと照明レンズ１８Ｌとからなり、発光素子は例えばレーザダイオードである。発光素子１８Ｒ、１８Ｇ、１８Ｂの発光動作は発光素子制御回路４４によって制御される。発光素子１８Ｒ、１８Ｇ、１８Ｂから照射されるＲＧＢのビーム状のレーザ光は、それぞれ照明レンズ１８Ｌを介して拡散され被写体の全体に測距光として照射される。被写体において反射した光は撮影レンズ１１に入射し、ＣＣＤ２８において画像信号として検出される。後述するように、この画像信号から被写体までの距離が画素毎に算出される。
【００１７】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４７と、液晶表示パネル（表示素子）１６とが接続されている。
【００１８】
次に図３及び図４を参照して、ＣＣＤを用いた本実施形態における距離測定の基本的な原理について説明する。なお図４において横軸は時間ｔである。
【００１９】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。光源から射出された測距光が、被写体で反射され距離測定装置Ｂにおいて反射光として検出されるまでに進む距離Ｒ（ここでは距離測定装置Ｂと被写体Ｓとの往復の距離２ｒ）は
Ｒ＝２ｒ＝δ・ｔ・Ｃ・・・（１）
により得られる。ただしＣは光速である。
【００２０】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切り換えるように反射光検知期間Ｔを設ける。すなわち、反射光検知期間Ｔは、反射光の立ち上がりが、反射光検知期間Ｔが開始する前にＣＣＤにおいて受光され、その立下りが反射光検知期間内にＣＣＤにおいて受光されるように定められる。図４に示されるように、この反射光検知期間Ｔにおける受光量Ａは距離ｒに相関する。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）大きくなるため、受光量Ａから被写体までの距離が算定される。
【００２１】
本実施形態では上述した原理を利用してＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（画素）においてそれぞれ受光量Ａを検出することにより、被写体Ｓの３次元形状を表す距離情報が求められる。すなわち、各フォトダイオードにおいて検出された受光量Ａに基づいて、カメラ本体１０からＣＣＤ２８の各フォトダイオードに対応する被写体Ｓ上の各点までの距離情報がフォトダイオード（画素）毎に画像信号（３次元画像）として検出される。
【００２２】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２３】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ、５２ｂ、５２ｃ、５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２４】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作により、いわゆる電子シャッタ動作が実現される。
【００２５】
図７は、ＣＣＤ２８に搭載されるフィルタ２８ｆの一例を示すものである。フィルタ２８ｆは原色（ＲＧＢ）ベイヤー方式の色フィルタアレイであり、図７には色フィルタアレイの一部のみが示されている。ＲＧＢの文字が記された領域は、それぞれＲの色フィルタ、Ｇの色フィルタ、Ｂの色フィルタに対応する。Ｒ、Ｇ、Ｂの色フィルタは、２次元的に配列されたＣＣＤ２８のフォトダイオード５１に各々の対応する。すなわち、Ｒの色フィルタが設けられたフォトダイオード５１では、Ｒの色フィルタを透過した光のみが受光・検出され、Ｇの色フィルタが設けられたフォトダイオード５１では、Ｇの色フィルタを透過した光のみが受光・検出される。同様にＢの色フィルタが設けられたフォトダイオード５１では、Ｂの色フィルタを透過した光のみが受光・検出される。なお、１つの画素は隣接するフォトダイオード５１からＲＧＢのデータを得る。
【００２６】
図８に、ＲＧＢ色フィルタの透過率特性の一例を示す。曲線Ｔｒ、Ｔｇ、ＴｂはそれぞれＲＧＢの色フィルタの透過率特性を表しており、それぞれ波長λｒ、λｇ、λｂで最も透過率が高くその両側では減少している。一方、曲線Ｐｒ、Ｐｇ、Ｐｂは、それぞれ光源１４Ｒ、１４Ｇ、１４Ｂのスペクトル特性を示している。光源１４Ｒ、１４Ｇ、１４Ｂのスペクトル特性は、それぞれ波長λｒ、λｇ、λｂに鋭いピークを持つ。したがって、光源１４Ｒから射出される測距光は、Ｒの色フィルタが設けられたフォトダイオード５１のみで受光・検出され、Ｇ、Ｂの色フィルタが設けられたフォトダイオードでは殆んど検出されない。同様に光源１４Ｇ、１４Ｂから射出される測距光は、それぞれＧ、Ｂの色フィルタが設けられたフォトダイオード５１のみで受光・検出され、その他のフォトダイオードでは殆んど検出されない。
【００２７】
次に、本実施形態の距離情報検出動作について図９を参照して説明する。被写体までの距離を図３、図４を参照して説明した原理により測定する場合には、極めて高速な電子シャッタ動作が要求されるため、１回のシャッタ動作では十分な信号出力を得られない。したがって、本実施形態の距離情報検出動作では、上述の電子シャッタ動作を例えば１フィールド期間に渡り所定の回数繰り返し行うことにより、垂直転送部５２において信号電荷を積分し、より大きな信号出力を得ている。図９は、垂直転送部５２において信号電荷の積分を行う本実施形態の距離情報検出動作のタイミングチャートである。
【００２８】
垂直同期信号（図示せず）が出力されフィールド期間（２つの垂直同期信号によって挟まれる期間であり１／６０秒とは限らない）が開始すると、ＣＣＤ２８では前述した電子シャッタ動作により所定のタイミングで期間Ｔ_U1の蓄積期間が繰り返し設けられ、各フォトダイオード５１ではこの期間に受光した光量に対応した信号電荷が蓄積される。図９において横軸は時間であり、1フィールド期間に繰り返される蓄積期間のうち２つの蓄積期間Ｓ_A11、Ｓ_A12が例示されている。これらの蓄積期間に同期して、所定のパルス幅Ｔ_Sを有するパルス状のＲＧＢの測距光Ｓ_R1、Ｓ_G1、Ｓ_B1がそれぞれ光源１４Ｒ、１４Ｇ、１４Ｂから出力される。測距光Ｓ_R1、Ｓ_G1、Ｓ_B1は蓄積期間Ｓ_A11、Ｓ_A12の間に例えばＳ_B1、Ｓ_G1、Ｓ_R1の順で出力される。各測距光Ｓ_B1、Ｓ_G1、Ｓ_R1は間断のないように連続して出力される。本実施形態では、測距光Ｓ_B1の出力終了と略同時に測距光Ｓ_G1が出力され、測距光Ｓ_G1の出力終了と略同時に測距光Ｓ_R1が出力される。また、本実施形態では、測距光Ｓ_R1の出力は蓄積期間Ｓ_A12が開始する直前に終了する。
【００２９】
測距光Ｓ_R1、Ｓ_G1、Ｓ_B1は、それぞれ被写体表面において反射され、ＲＧＢの色フィルタが設けられた各フォトダイオードにおいて受光される。パルスＳ_R1’、Ｓ_G1’、Ｓ_B1’は、Ｒの色フィルタ、Ｇの色フィルタ、Ｂの色フィルタが設けられたフォトダイオードにおける受光量を示しており、測距光Ｓ_R1、Ｓ_G1、Ｓ_B1にそれぞれ対応する。図９では、測距光Ｓ_R1、Ｓ_G1に対応するパルスＳ_R1’、Ｓ_G1’の一部が蓄積期間Ｓ_A12において受光されている。斜線部Ｓ_R11’、Ｓ_R12’、Ｓ_G11’、Ｓ_G12’、Ｓ_B12’は蓄積期間Ｓ_A12における各フォトダイオードの受光量を示している。すなわち、ＣＣＤ２８ではこの受光量に対応した信号電荷が検出される。なお、斜線部Ｓ_R11’、Ｓ_G11’は被写体で反射された測距光に起因するものであり、斜線部Ｓ_R12’、Ｓ_G12’、Ｓ_B12’は外光に起因するものである。
【００３０】
図９において、パルスＳ_R1’、Ｓ_G1’、Ｓ_B1’が受光される各フォトダイオードは隣接したフォトダイオードであり、例えば１つの絵素を構成する。したがって、測距光Ｓ_R1、Ｓ_G1、Ｓ_B1が被写体に反射され、これらのフォトダイオードに到達するまでの距離は各々略等しい。すなわち、図９の例では測距光Ｓ_R1、Ｓ_G1、Ｓ_B1が各フォトダイオードに到達するまでの時間は全てＴ_D＝Ｔ_S＋Ｔ_dである。Ｔ_Dは式（１）のδ・ｔに対応するので、時間Ｔ_Dを算出することにより被写体までの距離が算出される。ここで測距光のパルス幅Ｔ_Sは既知なので、斜線部Ｓ_G11’に対応する時間Ｔ_dを求めれば、被写体までの距離を計算することができる。なお、被写体までの距離の算出方法については後述する。
【００３１】
このように期間Ｔ_U1の間に、フォトダイオード５１には、被写体までの距離に対応して信号電荷が蓄積される。ＣＣＤ２８の各フォトダイオード５１に蓄積された電荷は、蓄積期間が終了する度に垂直転送部５２へ転送される。以上の説明では、蓄積期間Ｓ_A12に関してのみ説明したが、蓄積期間Ｓ_A11や1フィールド期間における他の蓄積期間においても同様に、測距光の出力、信号電荷の蓄積・転送が行われる。これにより垂直転送部５２では、各蓄積期間に蓄積された信号電荷が1フィールド期間に渡り積分される。１フィールドの期間に積分される信号電荷は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお測距光の発光タイミングは、計測される被写体の距離に応じて調整されるものであり、そのタイミングは図９に示されたタイミングに限定されるものではない。また、以上説明した信号電荷の検出動作は１組のＲＧＢの色フィルタに対応するフォトダイオードに関するものであり、全てのフォトダイオード５１においてもこのような検出動作が行なわれる。１フィールド期間に渡る検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力される。
【００３２】
しかし、ＣＣＤ２８で検出される反射光は、被写体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、図９で説明したように、被写体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。これらの誤差を補正する方法について、距離情報検出動作のフローチャートである図１０、１１及び、図１２〜図１４のタイミングチャートを参照して説明する。
【００３３】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０３が実行され、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち、発光装置１４の各光源１４Ｒ、１４Ｇ、１４Ｂが駆動され、パルス状の測距光（Ｓ_R1、Ｓ_G1、Ｓ_B1など）が、図９に示されたタイミングで出力される。次にステップ１０４が実行され、ＣＣＤ２８による検知制御が開始される。すなわち、図９を参照して説明した距離情報検出動作が開始され、被写体までの距離に相関し、図９の斜線部で示された光量に対応する電荷が垂直転送部５２において積分される。
【００３４】
ステップ１０５では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０６へ進み、距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ１０７において画像メモリ３４に一時的に記憶される。ステップ１０８では、測距光制御がオフ状態に切換えられ、発光装置１４（光源１４Ｒ、１４Ｇ、１４Ｂ）の発光動作が停止する。
【００３５】
ステップ１０９〜ステップ１１２では、距離補正情報の検出動作が行われる。まず、ステップ１０９では、垂直同期信号が出力されたのちＣＣＤ２８による検知制御が開始される。すなわち、図１２に示されるように、発光装置１４の発光動作が行われることなく、光源１４Ｒ、１４Ｇ、１４Ｂが消灯された状態で、上述した電子シャッタ動作が繰り返し実行され、図９に示されたタイミングと同様のタイミングでＴ_U1の蓄積期間Ｓ_A2が設けられる。距離補正情報の検出動作（図１２）では、被写体にＲＧＢの測距光が照射されないため、ＲＧＢの測距光の反射光は存在しない。したがって、各蓄積期間Ｓ_A2において距離情報の信号電荷は発生しない。しかし、ＣＣＤ２８には外光等の外乱成分が入射するため、ＲＧＢの各色フィルタに対応するフォトダイオード５１には、この外乱成分に対応した信号電荷Ｓ_R22’、Ｓ_G22’、Ｓ_B22’がそれぞれ発生する。この信号電荷Ｓ_R22’、Ｓ_G22’、Ｓ_B22’はＴ_U1の蓄積期間Ｓ_A2における距離補正情報に対応している。なお、信号電荷Ｓ_R22’、Ｓ_G22’、Ｓ_B22’の蓄積期間Ｓ_A2における蓄積動作は１フィールド期間に渡り繰り返し行われ、垂直転送部５２において保持・積分される。
【００３６】
ステップ１１０では、距離補正情報の検出動作の開始から１フィール期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１１において、距離補正情報の信号電荷Ｓ_R22’、Ｓ_G22’、Ｓ_B22’がＣＣＤ２８から出力される。距離補正情報の信号電荷Ｓ_R22’、Ｓ_G22’、Ｓ_B22’はステップ１１２において画像メモリ３４に一時的に記憶される。
【００３７】
ステップ１１３〜ステップ１１７では、反射率情報の検出動作が行われる。ステップ１１３では、垂直同期信号が出力された後、測距光制御が開始される。図１３に示されるように、反射率情報検出動作では、図９の距離情報検出動作とは異なり、ＲＧＢの光源１４Ｒ、１４Ｇ、１４Ｂからは、略同時にパルス状の測距光Ｓ_R3、Ｓ_G3、Ｓ_B3が断続的に出力される。測距光Ｓ_R3、Ｓ_G3、Ｓ_B3のパルス幅はＴ_Sであり、図９に示された測距光Ｓ_R1、Ｓ_G1、Ｓ_B1のパルス幅に等しい。ステップ１１４では、ＣＣＤ２８による検知制御が開始される。すなわち、図１３に示されるように、光源１４Ｒ、１４Ｇ、１４Ｂから測距光が出力された後、所定のタイミングで上述した電子シャッタ動作が実行され、Ｔ_U2の蓄積期間Ｓ_A3が設けられる。蓄積期間Ｓ_A3は、光源装置１４から照射された測距光Ｓ_R3、Ｓ_G3、Ｓ_B3の全てがこの期間内に受光されるように制御される。すなわち、ＣＣＤ２８のＲＧＢの各フォトダイオード５１には、Ｔ_Sのパルス幅を持つ測距光Ｓ_R3、Ｓ_G3、Ｓ_B3そのものに対応する信号電荷Ｓ_R3’、Ｓ_G3’、Ｓ_B3’及び、斜線部で示された信号電荷Ｓ_R32’、Ｓ_G32’、Ｓ_B32’が蓄積される。斜線部で示された信号電荷Ｓ_R32’、Ｓ_G32’、Ｓ_B32’は、蓄積期間Ｓ_A3に各フォトダイオード５１に
入射する外光により発生する電荷である。
【００３８】
したがって信号電荷Ｓ_R3’、Ｓ_G3’、Ｓ_B3’は、被写体までの距離とは関係せず、被写体の表面の反射率に依存する反射率情報に対応している。上述した反射率情報に対応する信号電荷Ｓ_R3’、Ｓ_G3’、Ｓ_B3’と外光成分に対応する信号電荷Ｓ_R32’、Ｓ_G32’、Ｓ_B32’の蓄積動作は、１フィールド期間に渡り繰り返し行われ、垂直転送部５２において保持・積分される。
【００３９】
ステップ１１５では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１６へ進み、反射率情報の信号電荷Ｓ_R3’、Ｓ_G3’、Ｓ_B3’と外光成分の信号電荷Ｓ_R32’、Ｓ_G32’、Ｓ_B32’とがＣＣＤ２８から出力される。これらの信号電荷はステップ１１７において画像メモリ３４に一時的に記憶される。ステップ１１８では測距光制御がオフ状態に切換えられ、発光装置１４（光源１４Ｒ、１４Ｇ、１４Ｂ）の発光動作が停止する。
【００４０】
ステップ１１９〜ステップ１２２では、反射率補正情報の検出動作が行われる。ステップ１１９では、垂直同期信号が出力されたのちＣＣＤ２８による検知制御が開始される。すなわち、図１４に示されるように、発光装置１４の発光動作が行われることなく、光源１４Ｒ、１４Ｇ、１４Ｂが消灯された状態で、上述した電子シャッタ動作が繰り返し実行され、図１３に示されたタイミングと同様のタイミングでＴ_U2の蓄積期間Ｓ_A4が設けられる。反射率補正情報の検出動作（図１４）では、被写体にＲＧＢの測距光が照射されないため、ＲＧＢの測距光の反射光は存在しない。したがって、各蓄積期間Ｓ_A4において距離情報の信号電荷は発生しない。しかし、ＣＣＤ２８には外光等の外乱成分が入射するため、ＲＧＢの各色フィルタに対応するフォトダイオード５１には、この外乱成分に対応した信号電荷Ｓ_R42’、Ｓ_G42’、Ｓ_B42’がそれぞれ発生する。この信号電荷Ｓ_R42’、Ｓ_G42’、Ｓ_B42’はＴ_U2の蓄積期間Ｓ_A4における距離補正情報に対応している。なお、信号電荷Ｓ_R42’、Ｓ_G42’、Ｓ_B42’の蓄積期間Ｓ_A4における蓄積動作は１フィールド期間に渡り繰り返し行われ、垂直転送部５２において保持・積分される。
【００４１】
ステップ１２０では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２１において、反射率補正情報の信号電荷Ｓ_R42’、Ｓ_G42’、Ｓ_B42’がＣＣＤ２８から出力され、ステップ１２２において画像メモリ３４に一時的に記憶される。
【００４２】
ステップ１２３では、ステップ１０３〜ステップ１２２において得られた距離情報、距離補正情報、反射率情報、反射率補正情報から被写体までの距離に対応する距離データが演算される。ステップ１２３での演算により算出された距離データは、ステップ１２４において、記録媒体Ｍ（図１参照）などのメモリに保存される。
【００４３】
その後ステップ１２５では、測距光制御がオフ状態に設定さとともに、ステップ１２６においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、被写体のカラー静止画像が撮影される。ステップ１２７では、撮影された静止画像の画像データが記録媒体Ｍなどのメモリに保存される。以上によりこの距離情報検出のためのプログラムは終了する。
【００４４】
次に、ステップ１２３において実行される演算処理の内容を図９、図１２〜図１４及び図１５を参照して説明する。
本実施形態の距離情報検出動作では、図９に示すようにパルス幅Ｔ_SのＲＧＢの測距光Ｓ_B1、Ｓ_G1、Ｓ_R1を３Ｔ_Sの期間に渡り順次間断なく被写体に照射し、その反射光の一部をパルス幅Ｔ_Sと略等しい期間Ｔ_U1の蓄積期間に検出することにより被写体までの距離を算出している。本実施形態では、測距光Ｓ_B1、Ｓ_G1、Ｓ_R1各々のパルス幅Ｔ_Sと蓄積期間（Ｓ_A11、Ｓ_A12等）の幅Ｔ_U1とが略等しいので、測距光Ｓ_B1、Ｓ_G1、Ｓ_R1の一部が蓄積期間内にフォトダイオード５１において受光される仕方には、被写体とカメラ本体との間の距離に応じて図１５（ａ）、（ｂ）、（ｃ）の3通りがある。
【００４５】
図１５（ａ）は、被写体が相対的に近距離のレンジにある場合に対応し、反射パルスＳ_R1’のみＲの色フィルタが設けられたフォトダイオードにおいて検出される。このとき図９におけるＴ_DはＴ_dに等しく、検出された反射パルスＳ_R1’の幅Ｔ_dが被写体までの距離に対応する。図１５（ｂ）は、被写体が相対的に中距離のレンジにある場合に対応し、反射パルスＳ_G1’のみ、または反射パルスＳ_G1’と反射パルスＳ_R1’のみＧ、Ｒの色フィルタが設けられたそれぞれのフォトダイオードにおいて検出される。これは図９の場合に対応し、Ｔ_Dは図９に示されるとおりＴ_d＋Ｔ_Sである。図１５（ｃ）は被写体が相対的に遠距離のレンジにある場合に対応し、反射パルスＳ_B1’のみ、または反射パルスＳ_B1’と反射パルスＳ_G1’のみＢ、Ｇの色フィルタが設けられたそれぞれのフォトダイオードにおいて検出される。このとき図９におけるＴ_DはＴ_d＋２Ｔ_Sに等しい。すなわち、本実施形態では、Ｒの測距光及びフォトダイオードは、相対的に近距離にある近測距レンジでの計測に用いられ、Ｇの測距光及びフォトダイオードは相対的に中距離にある中測距レンジでの計測に用いられ、Ｂの測距光及びフォトダイオードは相対的に遠距離にある遠測距レンジでの計測に用いられる。１つの画素に対応する被写体までの距離は、これら周囲のＲＧＢのフォトダイオードを用いて算出される。なお、ある画素に対応する被写体が何れの測距レンジにあるのかを判定するには、上述したようにその画素と周囲のＲＧＢそれぞれのフォトダイオードにおいて、反射パルスが検出されたか否かを判定することにより行うことができる。
【００４６】
ステップ１２３では、ＲＧＢに対応するフォトダイオード毎に蓄積された信号電荷の有無が判定されることにより、画素毎の被写体までの距離が近測距レンジ、中測距レンジ、遠測距レンジの何れの測距レンジにあるのかが判定される。各画素の測距レンジが確定されるとその測距レンジに対応して被写体までの距離が演算される。以下被写体が中測距レンジにある場合（図９または図１５（ｂ））を例に距離算出の演算について説明する。なお、ＲＧＢに対応するフォトダイオード毎に蓄積された信号電荷の有無を判定する際、外光成分による影響は以下に述べる距離補正情報により補正される。
【００４７】
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオード５１に発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４８】
被写体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景光による輝度Ｉ_Bとの合成されたものとなり、
Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）
と表せる。
【００４９】
図９に示されるように蓄積期間Ｓ_A12の蓄積時間をＴ_U1、測距光Ｓ_R1、Ｓ_G1、Ｓ_B1のパルス幅をＴ_S、蓄積期間Ｓ_A12において受光される測距光Ｓ_G1の反射光のパルス幅をＴ_dとし、１フィールド期間中のその電荷蓄積がＮ回繰り返されるとすると、Ｇの色フィルタが設けられたフォトダイオードで得られる出力ＳＭ₁₀は、

となる。なお、中測距レンジのときパルス幅Ｔ_dは測距光のパルス幅Ｔ_S、測距光の伝播時間Ｔ_Dや被写体までの距離ｒと

の関係にある。
【００５０】
図１3に示されるように蓄積期間Ｓ_A3の蓄積時間Ｔ_U2が、パルス状の測距光Ｓ_R3のパルス幅Ｔ_Sよりも十分大きく、反射光の単位受光時間を全部含むように制御された場合にＧの色フィルタが設けられたフォトダイオードで得られる出力ＳＭ₂₀は、

となる。
【００５１】
図１２に示されるように光源１４Ｒ、１４Ｇ、１４Ｂの発光を止めて、図９と同じ蓄積時間Ｔ_U1で電荷蓄積（蓄積期間Ｓ_A2）を行った場合に、Ｇの色フィルタが設けられたフォトダイオードにおいて得られる出力ＳＭ１１は、斜線部Ｓ_G12’に対応し、

となる。同様に、図１４に示されるように光源１４Ｒ、１４Ｇ、１４Ｂの発光を止めて、図１３の蓄積時間Ｔ_U2で電荷蓄積（蓄積期間Ｓ_A4）を行った場合に、Ｇの色フィルタが設けられたフォトダイオードにおいて得られる出力ＳＭ₂₁は、斜線部Ｓ_G32’に対応し、

となる。
【００５２】
（４）、（６）、（７）、（８）式から、

が得られる。
【００５３】
上述したように蓄積期間Ｓ_A12に検出される信号電荷にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）が含まれている。（９）式のＴ_d／Ｔ_Sは、測距光Ｓ_G1を照射したときに蓄積期間Ｓ_A12に受光される被写体からの反射光（斜線部Ｓ_G11’に対応）の光量を、パルス幅Ｔ_Sの測距光Ｓ_G3が全て蓄積期間内に受光されるときの光量（電荷Ｓ_R3’に対応）によって正規化したものである。これは、測距光Ｓ_G3が全て蓄積期間内に受光されるときの光量（電荷Ｓ_R3’に対応）から外乱成分（図９のＳ_G12’に相当）を除去した値と、測距光Ｓ_G1を照射したときに蓄積期間Ｓ_A12に受光される被写体からの反射光（斜線部Ｓ_G11’に対応）の光量から外乱成分（図１３の斜線部Ｓ_G32’に相当）を除去した値との比に等しい。
【００５４】
（９）式の各出力値ＳＭ₁₀、ＳＭ₁₁、ＳＭ₂₀、ＳＭ₂₁はステップ１０７、１１２、１１７、１２２において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｓ_d（＝Ｔ_d／Ｔ_S）が得られる。パルス幅Ｔ_S既知であるから、（５）式とＴ_d／Ｔ_Sから距離ｒが得られる。すなわち
２ｒ＝Ｃ・Ｔ_S・（（ＳＭ₁₀−ＳＭ₁₁）／（ＳＭ₂₀−ＳＭ₂₁）＋１）
・・・（１０）と表すことができる。
【００５５】
式（５）は、被写体が中測距レンジにあるときの関係式なので、これに基づく式（１０）も被写体が中測距レンジにある場合の式である。被写体が近測距レンジにあるときには、式（５）は、
Ｔ_d＝Ｔ_D＝δ・ｔ＝２ｒ／Ｃ・・・（５ａ）で置き換えられるので、式（１０）は、
２ｒ＝Ｃ・Ｔ_S・（ＳＭ₁₀−ＳＭ₁₁）／（ＳＭ₂₀−ＳＭ₂₁）・・・（１０ａ）
で置き換えられる。また被写体が遠測距レンジにあるときには、式（５）は、

で置き換えられるので、式（１０）は、
２ｒ＝Ｃ・Ｔ_S・（（ＳＭ₁₀−ＳＭ₁₁）／（ＳＭ₂₀−ＳＭ₂₁）＋２）
・・・（１０ｂ）で置き換えられる。
【００５６】
なお、上述した測距レンジの判定は、ＲＧＢの各フォトダイオードにおいて求められたＳＭ₁₀、ＳＭ₁₁から算出されるＳＭ₁₀−ＳＭ₁₁の値を判定することにより行われる。
【００５７】
以上のように、本実施形態によれば、測距光をＲＧＢの色成分に分離し、分離されたＲＧＢの測距光を所定の順序で間断なく順次発光することにより、Ｒの色フィルタが設けられたフォトダイオード、Ｇの色フィルタが設けられたフォトダイオード、Ｂの色フィルタが設けられたフォトダイオードにおいて、それぞれ異なる測距レンジを測距可能とし、蓄積期間を大きくとることなく大きな測距レンジを得ることができる。また、測距レンジ毎にＣＣＤからの読み出しを行う必要がないので短時間に計測が可能である。更に本実施形態ではＲＧＢの測距光を用いるため、カラー画像を撮影するための色フィルタアレイをそのまま用いることができる。これにより、３次元画像を検出するためのＣＣＤと通常のカラー静止画像を検出するためのＣＣＤを兼用することができる。
【００５８】
なお、本実施形態では、Ｂの測距光の立下りと略同時にＧの測距光が出力され、Ｇの測距光の立下りと略同時にＲの測距光が出力されると言うように、各測距光は間断なく連続して出力されるとともに、時間的に重複しないように出力されたが、各測距光は重複して出力されてもよい。また、本実施形態において、距離情報検出動作における蓄積期間（Ｓ_A12、Ｓ_A12など）の蓄積時間（Ｔ_U1）は測距光のパルス幅（Ｔ_s）と略等しく設定されたが、これよりも長く設定してもよい。
【００５９】
色フィルタと測距光はＲＧＢに限定されるものではなく、他の波長域の色フィルタとこれに対応する波長の測距光を用いてもよく、赤外領域などの可視光以外の波長域を用いてもよい。また、本実施形態では、色フィルタと測距光の組として、ＲＧＢの３つの組を用いたが、４つ以上の組を用いてもよい。
【００６０】
なお、本実施形態では、外光成分による影響があるものとして、これらの補正を行ったが、外光成分が無視できるときには、ＳＭ₁₁、ＳＭ₂₁を０として扱ってもよい。
【００６１】
【発明の効果】
以上のように、本発明によれば、広い測距レンジが得られるとともに短時間で測距が行える３次元画像検出装置が得られる
【図面の簡単な説明】
【図１】本発明における一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、及びＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】ＣＣＤの色フィルタアレイの一例を示す。
【図８】本実施形態におけるＲＧＢ色フィルタの透過率特性と光源の分光特性を示す。
【図９】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図１０】本実施形態のカメラ型の３次元画像検出装置で実行されるプログラムのフローチャートの前半部である。
【図１１】図１０のフローチャートの後半部である。
【図１２】距離補正情報の検出動作のタイミングチャートである。
【図１３】反射率情報の検出動作のタイミングチャートである。
【図１４】反射率補正情報の検出動作のタイミングチャートである。
【図１５】被写体が存在する測距レンジと、ＲＧＢ測距光による被写体からの反射光が蓄積期間内に受光されるタイミングとの関係を示した図である。
【符号の説明】
１４光源装置
１４Ｒ、１４Ｇ、１４Ｂ光源
１８Ｒ、１８Ｇ、１８Ｂ発光素子（レーザダイオード）
２８ＣＣＤ
３０ＣＣＤ駆動回路
３５システムコントロール回路
４４発光素子制御回路

Claims

パルス変調された第１の波長の光を第１の測距光として被写体に照射する第１の光源と、
パルス変調された第２の波長の光を第２の測距光として前記被写体に照射する第２の光源と、
前記第１の波長を含む第１の帯域の光を検出し対応する電荷を蓄積する第１の画素と、前記第２の波長を含む第２の帯域の光を検出し対応する電荷を蓄積する第２の画素とを有する２次元撮像素子と、
前記第１及び第２の光源の駆動を制御し、前記第２の測距光を、前記第１の測距光の出力後かつ前記第１の測距光の出力終了前に出力する光源制御手段と、
前記２次元撮像素子の駆動を制御し、前記第１及び第２の画素における電荷の蓄積を所定の長さの蓄積期間に行う撮像素子制御手段と、
前記蓄積期間に、少なくとも前記第１又は第２の画素の一方において対応する前記第１又は第２の測距光の前記被写体からの反射光を検出し、この検出に対応して蓄積された電荷に基づいて前記被写体までの距離情報を、隣接する前記第１及び第２の画素から算出する距離情報検出手段とを備え、前記蓄積期間の所定の長さが、前記第１及び第２の測距光のパルス幅よりも大きく、前記蓄積期間が前記第２の測距光の出力終了後に開始することを特徴とする３次元画像検出装置。
前記第１及び第２の帯域が、赤、緑、青のなかの何れかの２つの色の帯域にそれぞれ対応することを特徴とする請求項１に記載の３次元画像検出装置。
前記第１及び第２の波長が、赤、緑、青のなかの何れかの２つの波長にそれぞれ対応することを特徴とする請求項１に記載の３次元画像検出装置。
前記第１及び第２の帯域の光が、色フィルタにより選択的に濾光されたものであることを特徴とする請求項１に記載の３次元画像検出装置。
前記第１の測距光のパルス幅と前記第２の測距光のパルス幅と前記蓄積期間の前記所定の長さとが実質的に等しいことを特徴とする請求項１に記載の３次元画像検出装置。
前記第１の測距光の出力の終了と前記第２の測距光の出力の開始とが実質的に同時であることを特徴とする請求項１に記載の３次元画像検出装置。
前記３次元画像検出装置がパルス変調された第３の波長の光を第３の測距光として前記被写体に照射する第３の光源を備え、前記２次元撮像素子が前記第３の波長を含む第３の帯域の光を検出し対応する電荷を蓄積する第３の画素を有し、前記光源制御手段が、前記第３の測距光を、前記第２の測距光の出力後かつ前記第１の測距光の出力終了前に出力し、前記撮像素子制御手段が前記第３の画素における電荷の蓄積を前記蓄積期間に行い、距離情報検出手段が前記蓄積期間に少なくとも前記第１又は第２又は第３の画素の一つにおいて対応する前記第１又は第２又は第３の測距光の前記被写体からの反射光を検出し、この検出に対応して蓄積された電荷に基づいて前記被写体までの距離情報を、隣接する前記第１及び第２及び第３の画素から算出し、前記蓄積期間の所定の長さが、前記第１及び第２及び第３の測距光のパルス幅よりも大きく、前記蓄積期間が前記第３の測距光の出力終了後に開始することを特徴とする請求項１に記載の３次元画像検出装置。
前記第１及び第２及び第３の帯域の各々が、赤、緑、青の色の帯域にそれぞれ重複することなく対応していることを特徴とする請求項７に記載の３次元画像検出装置。
前記第１及び第２及び第３の波長の各々が、赤、緑、青の色の波長に重複することなく対応していることを特徴とする請求項７に記載の３次元画像検出装置。