JP4369574B2

JP4369574B2 - ３次元画像検出装置

Info

Publication number: JP4369574B2
Application number: JP32957299A
Authority: JP
Inventors: 伸一垣内
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 1999-11-19
Filing date: 1999-11-19
Publication date: 2009-11-25
Anticipated expiration: 2019-11-19
Also published as: JP2001148867A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置における３次元計測では、光伝播時間測定法を利用したものが知られている。「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体（被写体）に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。また、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光はメカニカル又は液晶素子等から成り測距光のパルスとは異なるタイミングで制御される電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。これらの構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各画素毎に得られる。
【０００３】
【発明が解決しようとする課題】
しかし、上述の方法で検出された距離情報には、被写体（被計測物体）の表面における反射率の違い等による誤差が含まれている。従って、検出精度の高い距離情報を得るには、これら誤差を補正する必要がある。反射率の違いによる誤差を補正するには、反射率に関する情報（反射率情報）を検出する必要がある。しかし、反射率情報の信号レベルは、距離情報の信号レベルに比べ高いため、反射率情報の信号レベルにＡ／Ｄ変換器の動作範囲を設定すると、距離情報に対する量子化Ｓ／Ｎ比が劣化してしまう。
【０００４】
本発明は、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、精度の高い距離情報を検出可能な３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、被写体に測距光を照射し、被写体からの反射光を撮像部において所定の蓄積期間内に受光し、これによって生じる第１の信号電荷を各画素毎に蓄積する第１の電荷蓄積手段と、第１の電荷蓄積手段をＮ回繰り返し駆動し、各駆動において蓄積される第１の信号電荷を各画素毎に積分することにより第１の積分電荷を蓄積する第１の信号電荷積分手段と、被写体に測距光を照射し、被写体からの反射光を撮像部において受光することにより、受光された反射光の全光量に対応する第２の信号電荷を各画素毎に蓄積する第２の電荷蓄積手段と、第２の電荷蓄積手段をＭ回繰り返し駆動し、各駆動において蓄積される第２の信号電荷を各画素毎に積分することにより第２の積分電荷を蓄積する第２の信号電荷積分手段と、第１の積分電荷と第２の積分電荷とが、被写体の被計測領域に対応する画素において略同じ大きさとなるように第１の信号電荷積分手段における繰り返し回数または第２の信号電荷積分手段における繰り返し回数を調整する繰返回数調整手段とを備え、第１の積分電荷と第２の積分電荷とに基づいて被写体までの距離が各画素毎に検出されることを特徴としている。
【０００６】
好ましくは繰返回数調整手段は、予め被写体までの距離を概ね計測するプリ測距の結果に基づいて繰り返し回数の調整を行なう。このとき好ましくはプリ測距は、第１および第２の信号電荷積分手段における繰り返し回数を同一にして第１および第２の信号電荷積分手段を駆動することにより行なわれる。これにより、より適正に繰り返し回数の調整を行なうことができる。
【０００７】
より好ましくは繰返回数調整手段は、プリ測距において検出され、被写体の被計測領域に対応する画素を代表する１以上の標本画素における第１および第２の積分電荷に基づいて繰り返し回数の調整を行なう。このとき例えば、繰返回数調整手段は、１つの標本画素における第１の積分電荷と第２の積分電荷との比が１対１になるように繰り返し回数の調整を行なう。これにより迅速かつ簡単に繰り返し回数を調整することができる。
【０００８】
好ましくは、繰返回数調整手段は、第１の電荷積分手段における繰り返し回数を一定にし、第２の電荷積分手段における繰り返し回数を減ずることにより調整される。
【０００９】
３次元画像検出装置は好ましくは、光学系の像面照度を調整するための開口絞りを備え、プリ測距を行なう際には、繰返回数調整手段と第１および第２の信号電荷積分手段を駆動して被写体までの距離を計測する本測距に比べ開口絞りを絞った状態で計測を行なう。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１２】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上にはＣＣＤ（撮像部）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１４】
ＣＣＤ駆動回路３０は、Ｖ／Ｄ切替回路２９から出力されるパルス信号に従って制御される。Ｖ／Ｄ切替回路２９から出力されるパルス信号は、通常駆動パルス発生回路２４から出力されるパルス信号または３Ｄ駆動パルス発生回路２２で生成され、パルス数変換回路２３を介して出力されるパルス信号であり、Ｖ／Ｄモード切替スイッチ１８（図１）の設定に合わせて選択的にＣＣＤ駆動回路３０へ出力される。通常駆動パルス発生回路２４から出力されるパルス信号は、ＣＣＤ２８において通常の撮影動作を行なうためのものである。一方、３Ｄ駆動パルス発生回路２２から出力されるパルス信号は、ＣＣＤ２８において距離情報を検出する際に用いられるパルス信号である。パルス数変換回路２３では、システムコントロール回路３５からの信号指令に基づいて、３Ｄ駆動パルス発生回路２２から出力されるパルス信号のパルス数を制御する。３Ｄ駆動パルス発生回路２２、通常駆動パルス発生回路２４およびパルス数変換回路２３は、システムコントロール回路３５により制御される。
【００１５】
画像メモリ３４に一時的に記憶された画像信号は、画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１６】
カメラをカメラ本体１０の外部に設けられたモニタ装置３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブルを介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータ４１に伝送可能である。システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１７】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被写体の表面形状に関する距離情報が３次元画像として得られる。
【００１８】
発光素子制御回路４４は、パルス数変換回路２３から出力されるパルス信号にしたがって制御される。発光素子制御回路４４へ出力されるパルス信号は、Ｖ／Ｄ切替回路２９を介してＣＣＤ駆動回路３０へ出力されるパルス信号と同様、３Ｄ駆動パルス発生回路２２において生成されたパルス信号に基づくものであり、システムコントロール回路３５の信号指令により、そのパルス数が変換されたものである。これにより発光素子１４ａから照射される発光パルスの数が調整される。
【００１９】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２０】
次に図３を参照して、本実施形態における撮影動作について説明する。図３は、撮影動作プログラムのフローチャートである。
【００２１】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００２２】
ステップ１０２においてＤモードが選択されていると判定されると、ステップ１０３において本測距（ステップ１０５）の予備計測であるプリ測距が、アイリス２５を本測距のＦナンバーよりも絞った（例えば、本測距でのＦナンバーから２段絞り込む）状態で行われ、被写体までの距離情報や被写体の表面における反射率等の違いに起因する誤差を補正するための反射率情報などが検出される。
【００２３】
ステップ１０４では、ステップ１０３において検出された距離情報と反射率情報とに基づいて、本測距（ステップ１０５）での反射率情報の検出において照射される測距光のパルスの数が算出される。ステップ１０５の本測距では、あらためて被写体までの距離情報と、反射率情報が検出されるが、反射率情報の検出では、ステップ１０４において算出された測距光のパルス数に従って測距光であるパルス光が照射される。これは、後に述べるように距離情報の信号に対する量子化Ｓ／Ｎ比の劣化を防ぐためであり、これによって距離情報を検出する際にＣＣＤ２８から出力される信号のレベルが、反射率情報を検出する際にＣＣＤ２８から出力される信号のレベルと略等しくなる。その後ステップ１０６において得られた距離データが記録媒体Ｍに保存され、この撮影動作のプログラムは終了する。なおプリ測距の距離情報の検出と反射率情報の検出とでは、被写体に照射される測距光のパルスの数は同じである。
【００２４】
一方、ステップ１０２において設定モードがＶモードであると判定されると、ステップ１０７において測距光の制御がオフ状態に定められるとともに、ステップ１０８においてＣＣＤのビデオ制御がオン状態に定められる。すなわち、被写体の画像情報（画像データ）がＣＣＤの通常の撮影動作により検出される。ステップ１０９において、検出された画像データが記録媒体Ｍに保存され、この撮影動作のプログラムは終了する。
【００２５】
次に図４および図５を参照して、本実施形態における距離測定の原理について説明する。なお図５において横軸は時間ｔである。
【００２６】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２７】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２８】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２９】
図６は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図７は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００３０】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図６において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３１】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００３２】
図８は、ステップ１０３のプリ測距およびステップ１０５の本測距において実行される距離情報検出動作のタイミングチャートである。図１、図２、図６〜図８を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図５を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３３】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３４】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３５】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３６】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３７】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３８】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【００３９】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力される。
【００４０】
しかしＣＣＤ２８により検出された反射光は、被写体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被写体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。これらの誤差を補正する方法について、次の距離測定動作のフローチャートを参照して説明する。
【００４１】
図１２と図１３はステップ１０３のプリ測距およびステップ１０５の本測距（図３参照）において実行される距離測定動作のフローチャートである。図１、図２、図８〜図１３を参照して、本実施形態における距離測定動作について説明する。なお図９〜図１１は、距離補正情報、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである。
【００４２】
ステップ２０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ２０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図８を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４３】
ステップ２０３では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると、１フィールド期間にわたる信号電荷Ｓ１１の積分が完了し、積分された信号電荷がステップ２０４においてＣＣＤ２８から出力される。この積分された信号電荷は距離情報に対応し、ステップ２０５において画像メモリ３４に一時的に記憶される。ステップ２０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４４】
ステップ２０７〜２１０では、距離補正情報の検出動作（図９参照）が行なわれる。まずステップ２０７では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ２１と電荷転送信号Ｓ２２が交互に出力される。電荷蓄積時間Ｔ_U1は図８に示す距離情報検出動作と同じであるが、被写体に測距光が照射されないため（符号Ｓ２３）、反射光は存在せず（符号Ｓ２４）。したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ２５が発生し、電荷転送信号Ｓ２２の出力によって、それまでフォトダイオードに蓄積していた信号電荷Ｓ２６が垂直転送部へ転送される。この信号電荷Ｓ２６は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1に対する距離補正情報に対応している。
【００４５】
ステップ２０８では、距離補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ２６の１フィールド期間にわたる積分が完了し、ステップ２０９においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は距離補正情報に対応し、ステップ２１０において画像メモリ３４に一時的に記憶される。
【００４６】
ステップ２１１〜２１６では、反射率情報の検出動作（図１０参照）が行なわれる。ステップ２１１では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ３３が断続的に出力される。ステップ２１２では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ３１と電荷転送信号Ｓ３５が交互に出力される。電荷掃出し信号Ｓ３１が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる（符号Ｓ３２）。電荷掃出し信号Ｓ３１の出力が終了すると、測距光Ｓ３３が出力され、ＣＣＤには反射光Ｓ３４が入射する。反射光Ｓ３４が消滅した後、電荷転送信号Ｓ３５が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号Ｓ３１の出力が終了してから電荷転送信号Ｓ３５の出力が終了するまでの電荷蓄積期間Ｔ_U2内に、反射光Ｓ３４の全てが受光されるように制御される。
【００４７】
このようにフォトダイオード５１では、反射光Ｓ３４を受光している間は反射光Ｓ３４と外光に起因する信号電荷Ｓ３６が蓄積され、また、反射光Ｓ３４を受光していない間は外光のみに起因する信号電荷Ｓ３７、Ｓ３８が蓄積される。そして電荷転送信号Ｓ３５の出力により、それまでのフォトダイオードに蓄積されていた信号電荷Ｓ３９が垂直転送部へ転送される。この信号電荷Ｓ３９は反射率情報に対応し、外光に基く成分Ｓ’３９を含んでいる。
【００４８】
ステップ２１３では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ３９の１フィールド期間にわたる積分が完了し、ステップ２１４においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は反射率情報に対応し、ステップ２１５において画像メモリ３４に一時的に記憶される。ステップ２１６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４９】
ステップ２１７〜２２０では、反射率補正情報の検出動作（図１１参照）が行なわれる。ステップ２１７では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ４１と電荷転送信号Ｓ４２が交互に出力される。電荷蓄積時間Ｔ_U2は図１０に示す反射率情報検出動作と同じであるが、被写体に測距光が照射されないため（符号Ｓ４３）、反射光は存在せず（符号Ｓ４４）。したがって、反射率情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ４６が発生する。この信号電荷Ｓ４６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【００５０】
ステップ２１８では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ４７の１フィールド期間にわたる積分が完了し、ステップ２１９においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は反射率補正情報に対応し、ステップ２２０において画像メモリ３４に一時的に記憶される。
【００５１】
ステップ２２１では、ステップ２０１〜２２０において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれ、この距離測定動作のサブルーチンは終了する。
【００５２】
次にステップ２２１において実行される演算処理の内容を図８〜図１１を参照して説明する。
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオード５１に発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００５３】
被写体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景光による輝度Ｉ_Bとの合成されたものとなり、
Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）
と表せる。
【００５４】
図８に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。
【００５５】
図１０に示されるように電荷蓄積時間Ｔ_U2が、パルス状の測距光Ｓ３３の期間（パルス幅）Ｔ_Sよりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力ＳＭ₂₀は、

となる。
【００５６】
図９に示されるように発光を止めて、図８と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力ＳＭ₁₁は、

となる。同様に、図１１に示されるような電荷蓄積を行なった場合に得られる出力ＳＭ₂₁は、

となる。
【００５７】
（４）、（６）、（７）、（８）式から、

が得られる。
【００５８】
上述したように測距光Ｓ３と反射光Ｓ４にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）が含まれている。（９）式のＴ_D／Ｔ_Sは、測距光Ｓ３を照射したときの被写体からの反射光Ｓ４の光量を、測距光Ｓ３の光量によって正規化したものであり、これは、測距光Ｓ３の光量（図８の信号電荷Ｓ１１に相当）から外乱成分（図９の信号電荷Ｓ２６に相当）を除去した値と、反射光Ｓ４の光量（図１０の信号電荷Ｓ３９に相当）から外乱成分（図１１の信号電荷Ｓ’３９に相当）を除去した値との比に等しい。
【００５９】
（９）式の各出力値ＳＭ₁₀、ＳＭ₁₁、ＳＭ₂₀、ＳＭ₂₁はステップ２０５、２１０、２１５、２２０において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｔ_D／Ｔ_Sが得られる。パルス幅Ｔ_sは既知であるから、（５）式とＴ_D／Ｔ_Sから距離ｒが得られる。すなわち
２ｒ＝Ｃ・Ｔ_S・（ＳＭ₁₀−ＳＭ₁₁）／（ＳＭ₂₀−ＳＭ₂₁）（１０）
と表すことができる。
【００６０】
次に図１４〜図１５を参照して図３のステップ１０４において算出される測距光のパルス数について説明する。
【００６１】
図１４はプリ測距において、ある画素が受光するパルス光（受光パルス）と蓄積期間との関係を表している。図１４（ａ）は、距離情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U1の関係を表したものであり、図１４（ｂ）は、反射率情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U2の関係を表したものである。なお図１４（ａ）、図１４（ｂ）において外光の影響は省略されている。また、蓄積期間はパルス状の波形で表されており、パルスが立っている期間が蓄積期間に対応している。
【００６２】
距離情報の検出では、受光パルスの一部である斜線部Ａ１のみが蓄積期間Ｔ_U1内に受光され信号電荷として蓄積される（図１４（ａ））。受光パルスのパルス高さをｈとすると、距離情報の検出において蓄積された信号電荷は斜線部分Ａ１の面積ｈ×Ｔ_Dに対応しており、被写体までの距離情報を表している。また反射率情報の検出では、蓄積期間Ｔ_U2内に受光パルスの全てが受光され信号電荷として蓄積される。このとき蓄積される信号電荷は、斜線部（受光パルス全体）Ａ２の面積ｈ×Ｔ_Sに対応しており、反射率情報を表している。前述したように信号電荷の蓄積動作は、１フィールド期間に渡って所定回数（例えばＮ回）繰り返し行われ、垂直転送部５２において積分される。積分された信号電荷は信号電位に変換され、アンプ３１を介してＡ／Ｄ変換器３２へと出力される。
【００６３】
（４）式のＳＭ₁₀および（６）式のＳＭ₂₀において外光の影響を無視すると、それぞれの式は、

と表される（ただし、ｈ＝ｋ・Ｒ・Ｉ_S）。したがって、積分された信号電荷に対する信号電位のレベル（信号レベル）は、斜線部Ａ１、Ａ２の面積（ｈ・Ｔ_D、ｈ・Ｔ_S）と積分回数Ｎに比例する。
【００６４】
斜線部Ａ２は受光パルス全体であるのに対し、斜線部Ａ１は受光パルスの一部であるため、斜線部Ａ１に対応する距離情報の信号電荷が、斜線部Ａ２に対応する反射率情報の信号電荷に比べ著しく小さくなる場合が存在する。このとき積分回数Ｎが各々の検出において一定であると、Ａ／Ｄ変換器３２へ出力される距離情報の信号レベルは、反射率情報の信号レベルに比べ著しく小さいものとなる。Ａ／Ｄ変換器３２に対して反射率情報の信号レベルが過負荷とならないようにＡ／Ｄ変換器３２の入力レベルを設定すると、距離情報の信号レベルに対する有効ビット数が相対的に減ることとなり、距離情報に対する量子化Ｓ／Ｎ比が劣化する。例えば、反射率情報の信号レベルが０〜Ｖボルトであり距離情報の信号レベルがそのｎ分の１、すなわち０〜Ｖ／ｎボルトであるとき、Ｐビットの線形量子化を行なうＡ／Ｄ変換器の動作範囲を距離情報の信号レベルに合わせて０〜Ｖボルトに設定すると、反射率情報はＰビットで量子化されるが、距離情報はＰ−Ｉｎｔ（ｌｏｇ₂ｎ）ビットで量子化されることとなり、距離情報に対する量子化Ｓ／Ｎ比が劣化する。なお、ここでＩｎｔ（）は括弧内の数値の小数部を切り捨て整数に変換する関数である。
【００６５】
距離情報に対する量子化Ｓ／Ｎ比の劣化を防止するには、Ａ／Ｄ変換器３２へ出力される反射率情報の信号レベルと距離情報の信号レベルとを合わせる必要がある。距離情報の信号レベルと反射率情報の信号レベルは、積分された信号電荷（出力）ＳＭ₁₀、ＳＭ₂₀にそれぞれ相関するので、距離情報、反射率情報の信号のレベルを等しくするには、出力ＳＭ₁₀、ＳＭ₂₀を略等しくすればよい。ここで出力ＳＭ₁₀、ＳＭ₂₀が略等しいとは出力ＳＭ₂₀が出力ＳＭ₁₀の例えば２倍以内であるような場合である。本測距では、反射率情報を検出する際の積分回数を制御することにより、この調整を行なっている。
【００６６】
図１５は本測距において、ある画素が受光するパルス光（受光パルス）と蓄積期間との関係を表している。図１５（ａ）は、距離情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U1の関係を表したものであり、図１５（ｂ）は、反射率情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U2の関係を表したものである。なお、本図においても図１４と同様に外光の影響は省略されており、蓄積期間はパルス状の波形で表されている。
【００６７】
プリ測距の結果から、各画素に対して出力ＳＭ₁₀と出力ＳＭ₂₀との比Ｔ_D：Ｔ_Sが算出される。被写体の被計測領域において、出力ＳＭ₁₀、ＳＭ₂₀が略等しくなるようにするため、被写体の被計測領域に対応する画素を代表する１つの画素（標本画素）においてＳＭ₁₀＝ＳＭ₂₀となるように反射率情報を検出する際の積分回数を決定する。すなわち、反射率情報を検出するときの積分回数をＮ’、距離情報を検出するときの積分回数をＮとし、ＳＭ₁₀とＳＭ₂₀とをプリ測距における標本画素からの出力とすると、

によって積分回数Ｎ’が算出される。本測距での反射率情報の検出では、算出されたＮ’回しか信号電荷の蓄積を行なわないので、図１５（ｂ）のように、図１５（ａ）の距離情報の検出のときよりも積分回数が少なく、斜線部Ａ１’の面積の総和と斜線部Ａ２’の面積の総和は等しい。これにより本測距において距離情報および反射率情報を検出する際に、被計測領域に対応する画素から出力される信号レベルが略等しくなり、距離情報に対する量子化Ｓ／Ｎ比の劣化を防ぐことができる。
【００６８】
次に、プリ測距および本測距における絞り（アイリス２５）の設定の違いについて図１４、図１５を参照して説明する。
【００６９】
Ａ／Ｄ変換器３２の動作範囲は、本測距での信号レベル（出力ＳＭ₁₀の信号レベル）に合わせて設定されているので、プリ測距で反射率情報を検出する際、その出力ＳＭ₂₀がＡ／Ｄ変換器３２に対して過負荷となる可能性がある。したがって、プリ測距では予めＦナンバーが大き目に設定され、反射光のＣＣＤ２８における像面照度が本測距のときよりも抑えられている。
【００７０】
以上のように、本実施形態によれば、プリ測距を行いその計測結果に基づいて、反射率情報を検出するときの信号電荷の積分回数を制御することにより、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、反射率情報を考慮した精度の高い距離情報を検出できる。また、プリ測距でのＦナンバーを本測距でのＦナンバーよりも大き目に設定しておくことにより、プリ測距での反射率情報の信号レベルがＡ／Ｄ変換器に対して過負荷となることなく、Ａ／Ｄ変換器の動作範囲を本測距での信号レベルに設定することができる。
【００７１】
なお、本実施形態では、標本画素として１つの画素を用いたが、標本画素として複数の画素を用い、標本画素全体におけるＴ_D／Ｔ_Sの平均値から積分回数Ｎ’を算出してもよい。
【００７２】
【発明の効果】
以上のように本発明によれば、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、精度の高い距離情報を検出可能な３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】本実施形態で実行される撮影動作のプログラムのフローチャートである。
【図４】測距光による距離測定の原理を説明するための図である。
【図５】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図６】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図７】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図８】距離情報を検出する際のタイミングチャートである。
【図９】距離補正情報を検出する際のタイミングチャートである。
【図１０】反射率情報を検出する際のタイミングチャートである。
【図１１】反射率補正情報を検出する際のタイミングチャートである。
【図１２】距離測定動作に関するプログラムのフローチャートの前半部である。
【図１３】距離測定動作に関するプログラムのフローチャートの後半部である。
【図１４】プリ測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【図１５】本測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【符号の説明】
１４発光装置（光源）
２３パルス数変換回路
２８ＣＣＤ（撮像部）

Claims

被写体に測距光を照射し、前記被写体からの反射光を撮像部において所定の蓄積期間内に受光し、これによって生じる第１の信号電荷を各画素毎に蓄積する第１の電荷蓄積手段と、
前記第１の電荷蓄積手段をＮ回繰り返し駆動し、各駆動において蓄積される前記第１の信号電荷を前記各画素毎に積分することにより第１の積分電荷を蓄積する第１の信号電荷積分手段と、
前記被写体に測距光を照射し、前記被写体からの反射光を前記撮像部において受光することにより、受光された前記反射光の全光量に対応する第２の信号電荷を前記各画素毎に蓄積する第２の電荷蓄積手段と、
前記第２の電荷蓄積手段をＭ回繰り返し駆動し、各駆動において蓄積される前記第２の信号電荷を前記各画素毎に積分することにより第２の積分電荷を蓄積する第２の信号電荷積分手段と、
前記第１の積分電荷と前記第２の積分電荷とが、前記被写体の被計測領域に対応する画素において略同じ大きさとなるように前記第１の信号電荷積分手段における繰り返し回数または前記第２の信号電荷積分手段における繰り返し回数を調整する繰返回数調整手段とを備え、
前記第１の積分電荷と前記第２の積分電荷とに基づいて前記被写体までの距離が前記各画素毎に検出される
ことを特徴とする３次元画像検出装置。
前記繰返回数調整手段が、予め前記被写体までの距離を概ね計測するプリ測距の結果に基づいて繰り返し回数の調整を行なうことを特徴とする請求項１に記載の３次元画像検出装置。
前記プリ測距が、前記第１および第２の信号電荷積分手段における繰り返し回数を同一にして前記第１および第２の信号電荷積分手段を駆動することにより行なわれることを特徴とする請求項２に記載の３次元画像検出装置。
前記繰返回数調整手段が、前記プリ測距において検出され、前記被写体の被計測領域に対応する画素を代表する１以上の標本画素における第１および第２の積分電荷に基づいて繰り返し回数の調整を行なうことを特徴とする請求項３に記載の３次元画像検出装置。
前記繰返回数調整手段が、１つの標本画素における前記第１の積分電荷と前記第２の積分電荷との比が１対１になるように繰り返し回数の調整を行なうことを特徴とする請求項４に記載の３次元画像検出装置。
前記繰返回数調整手段が、前記第１の電荷積分手段における繰り返し回数を一定にし、前記第２の電荷積分手段における繰り返し回数を減ずることにより調整されることを特徴とする請求項１に記載の３次元画像検出装置。
光学系の像面照度を調整するための開口絞りを備え、前記プリ測距を行なう際には、前記繰返回数調整手段と前記第１および第２の信号電荷積分手段を駆動して被写体までの距離を計測する本測距に比べ前記開口絞りを絞った状態で計測を行なうことを特徴とする請求項２に記載の３次元画像検出装置。