JP3574607B2 - 3次元画像入力装置 - Google Patents
3次元画像入力装置 Download PDFInfo
- Publication number
- JP3574607B2 JP3574607B2 JP2000133504A JP2000133504A JP3574607B2 JP 3574607 B2 JP3574607 B2 JP 3574607B2 JP 2000133504 A JP2000133504 A JP 2000133504A JP 2000133504 A JP2000133504 A JP 2000133504A JP 3574607 B2 JP3574607 B2 JP 3574607B2
- Authority
- JP
- Japan
- Prior art keywords
- reflected light
- light
- pulse
- distance
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012937 correction Methods 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 230000008033 biological extinction Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 description 28
- 238000005259 measurement Methods 0.000 description 14
- 238000009825 accumulation Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008034 disappearance Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Optical Distance (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の3次元形状等を検出する3次元画像入力装置に関する。
【0002】
【従来の技術】
従来3次元画像入力装置として、パルス状の測距光を一定の周期で被計測物体に照射し、被計測物体からのパルス状の反射光をCCD等の撮像素子によって受光するとともに積分するものが知られている。すなわちCCDの各フォトダイオ−ドは、被計測物体の表面上の各点に対応しており、各点までの距離に対応した電荷が蓄積される。これにより、被計測物体の表面形状が計測される。
【0003】
【発明が解決しようとする課題】
このような従来の3次元画像入力装置において、測距精度を向上させるために反射率の補正のための情報を検出するように構成すると、CCD等の撮像素子の出力レンジの幅を拡大する必要が生じることがあり、このような場合、測距精度を十分に向上させることは難しい。
【0004】
本発明は、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像入力装置は、パルス状の測距光であって、各パルスにおいて高さが時間的に変化する測距光を被計測物体に照射する測距光照射手段と、測距光によって被計測物体において生じたパルス状の反射光を第1の反射光検知期間の間だけ受光することにより、第1の反射光成分を検出する第1の反射光成分検出手段と、高さが一定であるパルス状の補正光を被計測物体に照射する補正光照射手段と、補正光によって被計測物体において生じたパルス状の反射光を第2の反射光検知期間の間だけ受光することにより、第2の反射光成分を検出する第2の反射光成分検出手段と、第1の反射光成分を第2の反射光成分によって割算することにより、被計測物体の表面の各点までの距離に対応した3次元距離情報を求める距離情報算出手段とを備えたことを特徴としている。
【0006】
測距光のパルス高さは直線的に変化し、例えば減少することが好ましい。これによれば、距離情報算出手段による演算が簡単になる。
【0007】
好ましくは、第1の反射光検知期間は測距光のパルスの消滅から開始し、第2の反射光検知期間は補正光のパルスの消滅から開始する。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【0009】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレ−ザ光を照射する発光装置(光源)14が配設されている。発光装置14の左側にはレリ−ズスイッチ15と液晶表示パネル16が設けられ、また右側にはモ−ド切替ダイヤル17とV/Dモ−ド切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカ−ド等の記録媒体を挿入するためのカ−ド挿入口19が形成され、またビデオ出力端子20とインタ−フェ−スコネクタ21が設けられている。
【0010】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズ−ミング動作はレンズ駆動回路27によって制御される。
【0011】
撮影レンズ11の光軸上には撮像素子(CCD)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、撮像信号処理回路33はシステムコントロ−ル回路35によって制御される。
【0012】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0013】
また画像メモリ34から読み出された画像信号はTV信号エンコ−ダ38に送られ、ビデオ出力端子20を介して、カメラ本体10の外部に設けられたモニタ装置39に伝送可能である。システムコントロ−ル回路35はインタ−フェ−ス回路40に接続され、インタ−フェ−ス回路40はインタ−フェ−スコネクタ21に接続されている。したがって画像メモリ34から読み出された画像信号は、インタ−フェ−スコネクタ21に接続されたコンピュ−タ41に伝送可能である。またシステムコントロ−ル回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカ−ド等の記録媒体Mに記録可能である。
【0014】
システムコントロ−ル回路35には、発光素子制御回路44が接続されている。発光装置14には発光素子14aと照明レンズ14bが設けられ、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはパルス状のレ−ザ光を照射するものであり、このレ−ザ光は照明レンズ14bを介して被計測物体の全体に照射される。レ−ザ光のパルスの形状は、後述するように、矩形と三角形の2種類である。被計測物体において反射した光は撮影レンズ11に入射する。この光をCCD28によって検出することにより、後述するように被計測物体の3次元画像が計測される。なお、この計測において、CCD28における転送動作のタイミング等の制御はシステムコントロ−ル回路35とCCD駆動回路30によって行なわれる。
【0015】
システムコントロ−ル回路35には、レリ−ズスイッチ15、モ−ド切替ダイヤル17、V/Dモ−ド切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0016】
図3および図4を参照して、本実施形態における距離測定の原理を説明する。なお図4において横軸は時間tである。
【0017】
距離測定装置Bから出力された測距光は被計測物体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被計測物体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち下がりは、測距光のパルスの立ち下がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被計測物体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2
により得られる。ただしCは光速である。
【0018】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えて、反射光のパルスの立ち下がりまでの成分を検出するようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)大きくなる。
【0019】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオ−ド(光電変換素子)においてそれぞれ受光量Aを検出することにより、カメラ本体10から被計測物体Sの表面の各点までの距離をそれぞれ検出し、被計測物体Sの表面形状に関する3次元画像のデ−タを一括して入力している。
【0020】
図5は、被計測物体の表面の各点までの距離に関するデ−タを検出する第1の反射光成分検出動作のタイミングチャ−トである。図1、図2、図5を参照して第1の反射光成分検出動作を説明する。なお図4では、測距光と反射光のパルス形状は矩形であったが、これは説明の簡単のためであり、実際には図7に示すように三角形を呈し、すなわち測距光と反射光のパルス形状は全体として鋸歯状である。
【0021】
垂直同期信号S1の出力に同期して発光装置14が起動され、三角形のパルス状の測距光S3が周期的に出力される。測距光S3は一定のパルス幅を有し、時間軸に対し垂直に立ち上がって高さが直線的に減少する。測距光S3は被計測物体において反射し、CCD28に入射する。すなわちCCD28によって被計測物体からの反射光S4が受光される。反射光S4のパルス形状も測距光S3と同様な三角形を呈する。
【0022】
測距光S3の個々のパルスが消滅するタイミングに合わせて、電荷掃出し信号(パルス信号)S2が出力される。電荷掃出し信号S2の出力は、測距光S3のパルスが消滅するのと同時に終了するように制御される。これによりフォトダイオ−ドに蓄積していた不要電荷が基板の方向に掃出される。測距光S3の出力から一定時間が経過したとき、電荷転送信号(パルス信号)S5が出力され、これによりフォトダイオ−ドに蓄積された電荷が垂直転送部に転送される。なお、電荷転送信号S5の出力は、反射光S4のパルスの消滅よりも後に行なわれる。
【0023】
このように電荷掃出し信号S2の出力の終了から電荷転送信号S5の出力までの期間TU の間、フォトダイオ−ドには、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光S3が出力される期間TS の終了と同時に電荷蓄積期間TU が開始し、電荷蓄積期間TU の間(すなわち第1の反射光検知期間)に、反射光S4の一部のみ(すなわち反射光S4のパルスの高さの低い部分である第1の反射光成分)がCCD28によって検知され、検知された光によって生じる信号電荷S6は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光S4のうち、電荷蓄積期間TU 内にフォトダイオ−ドに到達した光に対応した信号電荷S6がフォトダイオ−ドに蓄積される。この信号電荷S6は、電荷転送信号S5によって垂直転送部に転送される。
【0024】
電荷転送信号S5の出力から一定時間が経過した後、再び電荷掃出し信号S2が出力され、垂直転送部への信号電荷の転送後にフォトダイオ−ドに蓄積された不要電荷が基板の方向へ掃出される。すなわち、フォトダイオ−ドにおいて新たに、次の測距光の照射による信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間TU が経過したとき、信号電荷は垂直転送部へ転送される。
【0025】
このような信号電荷S6の垂直転送部への転送動作は、次の垂直同期信号S1が出力されるまで、繰り返し実行される。これにより垂直転送部において、信号電荷S6が積分され、1フィ−ルドの期間(2つの垂直同期信号S1によって挟まれる期間)に積分された信号電荷S6は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離に対応している。
【0026】
以上説明した信号電荷S6の検出動作は1つのフォトダイオ−ドに関するものであり、全てのフォトダイオ−ドにおいてこのような検出動作が行なわれる。1フィ−ルドの期間の検出動作の結果、各フォトダイオ−ドに隣接した垂直転送部の各部位には、そのフォトダイオ−ドによって検出された距離情報が保持される。この距離情報は垂直転送部における垂直転送動作におよび図示しない水平転送部における水平転送動作によってCCD28から出力され、被計測物体の3次元画像デ−タとして、3次元画像入力装置の外部に取り出される。
【0027】
上述のようにしてCCD28により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、CCD28により検出された反射光には、被計測物体からの反射光以外に外光等の外乱成分も含まれており、これに起因する誤差も存在する。したがって距離情報検出動作では、被計測物体の反射率、外乱等の影響を補正することが好ましい。次に、これらの補正を行なう距離情報検出動作について説明する。
【0028】
図6〜図8は、第1の外乱成分、第2の反射光成分および第2の外乱成分の検出動作を示し、図9と図10は距離情報検出動作のフロ−チャ−トである。図1、図2、図5〜図10を参照して、被計測物体の反射率、外乱等の影響を補正する距離情報検出動作を説明する。すなわち図5に関し、説明は重複する。
【0029】
ステップ101においてレリ−ズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モ−ドと距離測定(D)モ−ドのいずれが選択されているかが判定される。これらのモ−ド間における切替はV/Dモ−ド切替スイッチ18を操作することによって行なわれる。
【0030】
Dモ−ドが選択されているとき、ステップ103〜107において、第1の反射光成分検出動作が実行される。ステップ103では、垂直同期信号S1が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、三角形のパルスの測距光S3が断続的に出力される。次いでステップ104が実行され、CCD28による検知制御が開始される。すなわち図5を参照して説明した第1の反射光成分検出動作が開始され、電荷掃出し信号S2と電荷転送信号S5が交互に出力されて、第1の反射光成分の信号電荷S6が垂直転送部において積分される。
【0031】
ステップ105では、第1の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S1が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ106へ進み、第1の反射光成分の信号電荷S6がCCD28から出力される。この信号電荷S6はステップ107において画像メモリ34に一時的に記憶される。ステップ108では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0032】
ステップ109〜112では、第1の外乱成分検出動作が行なわれる。まずステップ109では、図6に示すように、垂直同期信号S11が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S12と電荷転送信号S15が交互に出力される。電荷蓄積時間TU は図5に示す第1の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S13)、反射光は存在しない(符号S14)。したがって、第1の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S16が発生する。すなわち信号電荷S16は、第1の反射光成分に含まれる第1の外乱成分に対応している。
【0033】
ステップ110では、第1の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S11が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ111において、第1の外乱成分の信号電荷S16がCCD28から出力される。第1の外乱成分の信号電荷S16はステップ112において画像メモリ34に一時的に記憶される。
【0034】
ステップ113〜117では、第2の反射光成分検出動作が行なわれる。ステップ113では、図7に示すように、垂直同期信号S21が出力されるとともに補正光制御が開始され、パルス状の補正光S23が断続的に出力される。補正光S23のパルスの形状は測距光S3とは異なり、高さ(発光強度)が一定であるが、出力期間TS は測距光S3と同じである。ステップ114では、CCD28による検知制御が開始され、電荷掃出し信号S22と電荷転送信号S25が交互に出力される。
【0035】
第2の反射光成分検出動作において、補正光S23のパルスは矩形であるが、電荷掃出し信号S22と電荷転送信号S25の補正光S23に対する出力タイミングは、第1の反射光成分検出動作における電荷掃出し信号S2と電荷転送信号S5の測距光S3に対する出力タイミングと同じであり、補正光S23が出力される期間TS の終了と同時に第2の反射光検知期間TU が開始する。すなわち第2の反射光検知期間TU は補正光S23のパルスの消滅から開始し、この期間TU の長さは第1の反射光検知期間と同じである。したがって第1の反射光成分検出動作と同様に、反射光S24の一部のみ(すなわち第2の反射光成分)がCCD28によって検知される。検知された光によって生じる信号電荷S26は、第1の反射光成分検出動作において検知される信号電荷S6と同様に、被計測物体までの距離に対応しており、電荷転送信号S25によって垂直転送部に転送される。
【0036】
ステップ115では、第2の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S21が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ116へ進み、第2の反射光成分の信号電荷S26がCCD28から出力される。この信号電荷S26はステップ117において画像メモリ34に一時的に記憶される。ステップ118では補正光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0037】
ステップ119〜122では、第2の外乱成分検出動作が行なわれる。ステップ119では、図8に示すように、垂直同期信号S31が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S32と電荷転送信号S35が交互に出力される。電荷蓄積時間TU の長さとタイミングは図7に示す第2の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S33)、反射光は存在せず(符号S34)、したがって、第2の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分に対応した信号電荷S36が発生する。すなわち信号電荷S36は、第2の反射光成分に含まれる第2の外乱成分に対応している。
【0038】
ステップ120では、第2の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S31が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ121において、第2の外乱成分の信号電荷S36がCCD28から出力され、ステップ122において画像メモリ34に一時的に記憶される。
【0039】
なお、第2の外乱成分検出動作における電荷掃出し信号S32と電荷転送信号S35の出力タイミングは、第1の外乱成分検出動作における電荷掃出し信号S12と電荷転送信号S15の出力タイミングとも同じであるため、第2の外乱成分の信号電荷S36は第1の外乱成分の信号電荷S16と同じであると見なせることができ、この場合には第2の外乱成分検出動作を省略することができる。
【0040】
第1および第2の反射光成分(信号電荷S6、S26)には、被計測物体の表面の反射率に依存する反射光成分と、外光等の外乱成分とが含まれている。ステップ123では、ステップ103〜122において得られた第1および第2の反射光成分と、第1および第2の外乱成分とを用いて距離測定(D)デ−タの演算処理が行なわれ、ステップ124においてDデ−タが出力されてこの検出動作は終了する。
【0041】
一方、ステップ102においてVモ−ドが選択されていると判定されたとき、ステップ125において測距光制御がオフ状態に切換えられるとともに、ステップ126においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、この検出動作は終了する。
【0042】
ステップ123において実行される演算処理の内容を図11を参照して説明する。図11は、図5に示す第1の反射光成分検出動作と図7に示す第2の反射光成分検出動作とにおける測距光または補正光、反射光および電荷蓄積期間をそれぞれ取り出して示したものである。
【0043】
第1の反射光成分検出動作では、電荷蓄積期間TU (第1の反射光検知期間)は測距光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち反射光の消滅直前の時間TD に相当する信号電荷S6(図5)が検出される。ここで測距光の初期の強度をI01とすると、測距光の消滅直前の時間TD における強度I01T は
I01T =I01・(TD /TS ) ・・・(1)
である。被計測物体の表面の反射率をR、光の拡散係数をD(r)とすると、反射光が消滅する時点よりも時間TD だけ前における反射光の強度I1 は
I1 =R・D(r)・I01T ・・・(2)
と表される。
【0044】
したがって、時間TD の間の反射光による信号電荷S6すなわちCCD28からの出力値(蓄積電荷)は、
【数1】
である。
【0045】
一方、第2の反射光成分検出動作では、電荷蓄積期間TU (第2の反射光検知期間)は補正光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち第1の反射光成分検出動作と同様に、反射光のうち消滅直前の時間TD に相当する信号電荷S26(図7)が検出されるが、補正光のパルス形状は矩形であるので、補正光の初期の強度をI02とすると、補正光の消滅直前の時間TD における強度I02T は
I02T =I02 ・・・(4)
であり、また反射光が消滅する時点よりも時間TD だけ前における反射光の強度I2 は
I2 =R・D(r)・I02T ・・・(5)
と表される。
【0046】
したがって、時間TD の間の反射光による信号電荷S26すなわちCCD28からの出力値(蓄積電荷)は、
【数2】
である。
【0047】
第1の反射光成分に関する出力値S1 と第2の反射光成分に関する出力値S2 との比すなわち蓄積電荷比は、(3)式と(6)式より、
SD =S1 /S2 =(1/2TS )・(I01/I02)・TD ・・・(7)
となる。ここで、カメラから被計測物体までの距離をr、光速をCとすると、照射された光がカメラまで戻って来るのに要する時間(すなわちTD )は、
TD =2r/C ・・・(8)
と表せる。
【0048】
したがって距離rは(9)式のように表せる。
r=C・TS ・(I02/I01)・SD ・・・(9)
(7)、(8)および(9)式から理解されるように、距離rには被計測物体の反射率Rと光の拡散係数D(r)は含まれていない。
【0049】
一方、出力値S1 、S2 には、第1および第2の外乱成分に対応した蓄積電荷がそれぞれ含まれている。したがって実際には、蓄積電荷比SD は(7)式において、出力値S1 から第1の外乱成分に対応した蓄積電荷を除去して得られたものを、出力値S2 から第2の外乱成分に対応した蓄積電荷を除去して得られたもので割算することにより得られる。
【0050】
このようにして図10のステップ123の演算処理では、第1および第2の反射光成分検出動作において得られた第1および第2の反射光成分と、第1および第2の外乱成分とに基づいて、(3)、(6)および(9)式から、被計測物体の表面の各点までの距離dすなわち被計測物体の3次元形状が求められる。
【0051】
次に、第1および第2の反射光成分の出力値S1 、S2 の大きさと、CCD28(図2)の出力レンジについて説明する。
【0052】
結像光学系の近傍に置かれた点光源により反射率Rの被写体が照明されて輝度L0 の2次元光源となり、結像光学系によってイメ−ジセンサに結像される場合、フレア成分を無視すると、光学像の照度Ea は、
Ea =(τπL0 V・ cos4 θ)/(4F2(1+m)2 ) ・・・(10)
で表される。ここで、τは結像光学系のレンズの透過率、Vは開口効率(ビネッティングファクタ)、θは被写体の光軸に対する傾き角、Fは結像光学系のFナンバ、mは結像光学系の横倍率である。
【0053】
横倍率mは、レンズの入射瞳からの被写体距離をr、焦点距離をf、入射瞳と主軸間の距離をvf(vは定数)で表すと、
m=f/(r−f−vf)
となり、vfは小さな値なので無視すれば、(10)式は
Ea =(τπL0 V(r−f)2 ・ cos4 θ)/(4F2r2) ・・(11)
と変形することができる。
【0054】
一方、入射瞳の近傍には光度I01・(TD /TS )(すなわち(6)式)の点光源があって距離rだけ離れた被写体を照明したとすると、被写体上の照度Eb は、
Eb =I01・(TD /TS )・ cosα/( rL )2 ・・・(12)
と表される。ここで、αは光源方向と被写体法線とのなす角である。被写体の反射率がRであり、かつ均等拡散面であると仮定すると、被写体が照明されて2次元光源として反射されるときの光の輝度L0 は、
L0 =RI01・(TD /TS )・ cosα/(π・rL 2 ) ・・・(13)
となり、(13)式を(11)式に代入すると、
【数3】
という関係が得られる。
【0055】
電荷蓄積時間TD の間に発生した電荷が積分された結果として得られる出力値S1 は、像面照度と露光時間の積である露光量に比例するので、その比例定数をh0 とおくと、
【数4】
となる。
【0056】
(15)式は、rL がrとほぼ等しく、焦点距離に比べて被写体距離が十分に大きいと見做せる場合、(16)式のように変形できる。
【数5】
【0057】
(16)式から理解されるように、第1の反射光成分は被写体距離の変化に関係なくほぼ一定である。
【0058】
一方、第2の反射光成分に関しては、被写体上の照度Eb は
Eb =I02・cos α/(rL )2 ・・・(17)
と表される。したがって、(17)式を(12)式の代わりに用いて上述した手法により(16)式に対応した式を求めると、第2の反射光成分は被写体距離の逆数に比例することがわかる。
【0059】
図12は、蓄積電荷量(出力値S1 、S2 )とCCD28の出力レンジとの関係を示す図である。横軸は距離rの対数であり、縦軸は出力値S1 、S2 の対数である。
【0060】
第1の反射光成分の出力値S1 はほぼ一定であり、出力値S1 の対数は、被計測物体の輝度の幅D0 に応じて実線G1 、G2 に挟まれる範囲で変化する。これに対し、第2の反射光成分の出力値S2 は1/rに比例し、出力値S2 の対数は、被計測物体の輝度の幅D0 に応じて実線G3 、G4 に挟まれる範囲で変化する。
【0061】
したがって、最小距離rmin から最大距離rmax までの測距を行なうためには、CCD28は符号D1 で示す出力レンジを有することが必要であり、この出力レンジD1 の幅は、被計測物体の輝度の幅D0 に対して、高々数10%大きいだけである。
【0062】
これに対し、被計測物体の反射率の影響を補正する方法として、本実施形態とは異なり、反射光の全パルスを検出する方法が考えられる(例えば特開2000−23047号公報参照)。しかし、この方法によると蓄積電荷量において1/r2 に比例する項が相対的に大きくなり、この結果、符号D2 で示すようにCCD28の出力レンジを拡大することが必要となる。
【0063】
以上のように本実施形態では、第1の反射光成分検出動作によって得られた第1の反射光成分と第2の反射光成分検出動作によって得られた第2の反射光成分との比SD を算出することにより、被計測物体の表面の反射率の影響を除去している。また、比SD を算出するのに先立ち、第1および第2の反射光成分から対応する外乱成分を除去している。したがって、簡単な演算によって反射率等の補正を実行することができ、また、撮像素子の出力レンジを極力抑えて、被計測物体の3次元形状の測距精度が向上する。
【0064】
なお上述の実施形態において、測距光の各パルスの高さは直線的に減少しているが、これに変えて直線的に増加するように構成してもよく、また、パルス高さの変化は比直線的であってもよい。
【0065】
【発明の効果】
以上のように本発明によれば、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲ−トパルス、およびCCDが受光する光量分布を示す図である。
【図5】第1の反射光成分検出動作のタイミングチャ−トである。
【図6】第1の外乱成分の検出動作のタイミングチャ−トである。
【図7】第2の反射光成分検出動作のタイミングチャ−トである。
【図8】第2の外乱成分の検出動作のタイミングチャ−トである。
【図9】距離情報検出動作を示すフロ−チャ−トである。
【図10】図9に示すフロ−チャ−トの続きである。
【図11】第1の反射光成分検出動作および第2の反射光成分検出動作における測距光または補正光、反射光および電荷蓄積期間のタイミングを示す図である。
【図12】蓄積電荷量とCCDのダイナミックレンジとの関係を示す図である。
【符号の説明】
14 光源
S 被計測物体
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の3次元形状等を検出する3次元画像入力装置に関する。
【0002】
【従来の技術】
従来3次元画像入力装置として、パルス状の測距光を一定の周期で被計測物体に照射し、被計測物体からのパルス状の反射光をCCD等の撮像素子によって受光するとともに積分するものが知られている。すなわちCCDの各フォトダイオ−ドは、被計測物体の表面上の各点に対応しており、各点までの距離に対応した電荷が蓄積される。これにより、被計測物体の表面形状が計測される。
【0003】
【発明が解決しようとする課題】
このような従来の3次元画像入力装置において、測距精度を向上させるために反射率の補正のための情報を検出するように構成すると、CCD等の撮像素子の出力レンジの幅を拡大する必要が生じることがあり、このような場合、測距精度を十分に向上させることは難しい。
【0004】
本発明は、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像入力装置は、パルス状の測距光であって、各パルスにおいて高さが時間的に変化する測距光を被計測物体に照射する測距光照射手段と、測距光によって被計測物体において生じたパルス状の反射光を第1の反射光検知期間の間だけ受光することにより、第1の反射光成分を検出する第1の反射光成分検出手段と、高さが一定であるパルス状の補正光を被計測物体に照射する補正光照射手段と、補正光によって被計測物体において生じたパルス状の反射光を第2の反射光検知期間の間だけ受光することにより、第2の反射光成分を検出する第2の反射光成分検出手段と、第1の反射光成分を第2の反射光成分によって割算することにより、被計測物体の表面の各点までの距離に対応した3次元距離情報を求める距離情報算出手段とを備えたことを特徴としている。
【0006】
測距光のパルス高さは直線的に変化し、例えば減少することが好ましい。これによれば、距離情報算出手段による演算が簡単になる。
【0007】
好ましくは、第1の反射光検知期間は測距光のパルスの消滅から開始し、第2の反射光検知期間は補正光のパルスの消滅から開始する。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【0009】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレ−ザ光を照射する発光装置(光源)14が配設されている。発光装置14の左側にはレリ−ズスイッチ15と液晶表示パネル16が設けられ、また右側にはモ−ド切替ダイヤル17とV/Dモ−ド切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカ−ド等の記録媒体を挿入するためのカ−ド挿入口19が形成され、またビデオ出力端子20とインタ−フェ−スコネクタ21が設けられている。
【0010】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズ−ミング動作はレンズ駆動回路27によって制御される。
【0011】
撮影レンズ11の光軸上には撮像素子(CCD)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、撮像信号処理回路33はシステムコントロ−ル回路35によって制御される。
【0012】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0013】
また画像メモリ34から読み出された画像信号はTV信号エンコ−ダ38に送られ、ビデオ出力端子20を介して、カメラ本体10の外部に設けられたモニタ装置39に伝送可能である。システムコントロ−ル回路35はインタ−フェ−ス回路40に接続され、インタ−フェ−ス回路40はインタ−フェ−スコネクタ21に接続されている。したがって画像メモリ34から読み出された画像信号は、インタ−フェ−スコネクタ21に接続されたコンピュ−タ41に伝送可能である。またシステムコントロ−ル回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカ−ド等の記録媒体Mに記録可能である。
【0014】
システムコントロ−ル回路35には、発光素子制御回路44が接続されている。発光装置14には発光素子14aと照明レンズ14bが設けられ、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはパルス状のレ−ザ光を照射するものであり、このレ−ザ光は照明レンズ14bを介して被計測物体の全体に照射される。レ−ザ光のパルスの形状は、後述するように、矩形と三角形の2種類である。被計測物体において反射した光は撮影レンズ11に入射する。この光をCCD28によって検出することにより、後述するように被計測物体の3次元画像が計測される。なお、この計測において、CCD28における転送動作のタイミング等の制御はシステムコントロ−ル回路35とCCD駆動回路30によって行なわれる。
【0015】
システムコントロ−ル回路35には、レリ−ズスイッチ15、モ−ド切替ダイヤル17、V/Dモ−ド切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0016】
図3および図4を参照して、本実施形態における距離測定の原理を説明する。なお図4において横軸は時間tである。
【0017】
距離測定装置Bから出力された測距光は被計測物体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被計測物体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち下がりは、測距光のパルスの立ち下がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被計測物体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2
により得られる。ただしCは光速である。
【0018】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えて、反射光のパルスの立ち下がりまでの成分を検出するようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)大きくなる。
【0019】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオ−ド(光電変換素子)においてそれぞれ受光量Aを検出することにより、カメラ本体10から被計測物体Sの表面の各点までの距離をそれぞれ検出し、被計測物体Sの表面形状に関する3次元画像のデ−タを一括して入力している。
【0020】
図5は、被計測物体の表面の各点までの距離に関するデ−タを検出する第1の反射光成分検出動作のタイミングチャ−トである。図1、図2、図5を参照して第1の反射光成分検出動作を説明する。なお図4では、測距光と反射光のパルス形状は矩形であったが、これは説明の簡単のためであり、実際には図7に示すように三角形を呈し、すなわち測距光と反射光のパルス形状は全体として鋸歯状である。
【0021】
垂直同期信号S1の出力に同期して発光装置14が起動され、三角形のパルス状の測距光S3が周期的に出力される。測距光S3は一定のパルス幅を有し、時間軸に対し垂直に立ち上がって高さが直線的に減少する。測距光S3は被計測物体において反射し、CCD28に入射する。すなわちCCD28によって被計測物体からの反射光S4が受光される。反射光S4のパルス形状も測距光S3と同様な三角形を呈する。
【0022】
測距光S3の個々のパルスが消滅するタイミングに合わせて、電荷掃出し信号(パルス信号)S2が出力される。電荷掃出し信号S2の出力は、測距光S3のパルスが消滅するのと同時に終了するように制御される。これによりフォトダイオ−ドに蓄積していた不要電荷が基板の方向に掃出される。測距光S3の出力から一定時間が経過したとき、電荷転送信号(パルス信号)S5が出力され、これによりフォトダイオ−ドに蓄積された電荷が垂直転送部に転送される。なお、電荷転送信号S5の出力は、反射光S4のパルスの消滅よりも後に行なわれる。
【0023】
このように電荷掃出し信号S2の出力の終了から電荷転送信号S5の出力までの期間TU の間、フォトダイオ−ドには、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光S3が出力される期間TS の終了と同時に電荷蓄積期間TU が開始し、電荷蓄積期間TU の間(すなわち第1の反射光検知期間)に、反射光S4の一部のみ(すなわち反射光S4のパルスの高さの低い部分である第1の反射光成分)がCCD28によって検知され、検知された光によって生じる信号電荷S6は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光S4のうち、電荷蓄積期間TU 内にフォトダイオ−ドに到達した光に対応した信号電荷S6がフォトダイオ−ドに蓄積される。この信号電荷S6は、電荷転送信号S5によって垂直転送部に転送される。
【0024】
電荷転送信号S5の出力から一定時間が経過した後、再び電荷掃出し信号S2が出力され、垂直転送部への信号電荷の転送後にフォトダイオ−ドに蓄積された不要電荷が基板の方向へ掃出される。すなわち、フォトダイオ−ドにおいて新たに、次の測距光の照射による信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間TU が経過したとき、信号電荷は垂直転送部へ転送される。
【0025】
このような信号電荷S6の垂直転送部への転送動作は、次の垂直同期信号S1が出力されるまで、繰り返し実行される。これにより垂直転送部において、信号電荷S6が積分され、1フィ−ルドの期間(2つの垂直同期信号S1によって挟まれる期間)に積分された信号電荷S6は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離に対応している。
【0026】
以上説明した信号電荷S6の検出動作は1つのフォトダイオ−ドに関するものであり、全てのフォトダイオ−ドにおいてこのような検出動作が行なわれる。1フィ−ルドの期間の検出動作の結果、各フォトダイオ−ドに隣接した垂直転送部の各部位には、そのフォトダイオ−ドによって検出された距離情報が保持される。この距離情報は垂直転送部における垂直転送動作におよび図示しない水平転送部における水平転送動作によってCCD28から出力され、被計測物体の3次元画像デ−タとして、3次元画像入力装置の外部に取り出される。
【0027】
上述のようにしてCCD28により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、CCD28により検出された反射光には、被計測物体からの反射光以外に外光等の外乱成分も含まれており、これに起因する誤差も存在する。したがって距離情報検出動作では、被計測物体の反射率、外乱等の影響を補正することが好ましい。次に、これらの補正を行なう距離情報検出動作について説明する。
【0028】
図6〜図8は、第1の外乱成分、第2の反射光成分および第2の外乱成分の検出動作を示し、図9と図10は距離情報検出動作のフロ−チャ−トである。図1、図2、図5〜図10を参照して、被計測物体の反射率、外乱等の影響を補正する距離情報検出動作を説明する。すなわち図5に関し、説明は重複する。
【0029】
ステップ101においてレリ−ズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モ−ドと距離測定(D)モ−ドのいずれが選択されているかが判定される。これらのモ−ド間における切替はV/Dモ−ド切替スイッチ18を操作することによって行なわれる。
【0030】
Dモ−ドが選択されているとき、ステップ103〜107において、第1の反射光成分検出動作が実行される。ステップ103では、垂直同期信号S1が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、三角形のパルスの測距光S3が断続的に出力される。次いでステップ104が実行され、CCD28による検知制御が開始される。すなわち図5を参照して説明した第1の反射光成分検出動作が開始され、電荷掃出し信号S2と電荷転送信号S5が交互に出力されて、第1の反射光成分の信号電荷S6が垂直転送部において積分される。
【0031】
ステップ105では、第1の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S1が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ106へ進み、第1の反射光成分の信号電荷S6がCCD28から出力される。この信号電荷S6はステップ107において画像メモリ34に一時的に記憶される。ステップ108では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0032】
ステップ109〜112では、第1の外乱成分検出動作が行なわれる。まずステップ109では、図6に示すように、垂直同期信号S11が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S12と電荷転送信号S15が交互に出力される。電荷蓄積時間TU は図5に示す第1の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S13)、反射光は存在しない(符号S14)。したがって、第1の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S16が発生する。すなわち信号電荷S16は、第1の反射光成分に含まれる第1の外乱成分に対応している。
【0033】
ステップ110では、第1の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S11が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ111において、第1の外乱成分の信号電荷S16がCCD28から出力される。第1の外乱成分の信号電荷S16はステップ112において画像メモリ34に一時的に記憶される。
【0034】
ステップ113〜117では、第2の反射光成分検出動作が行なわれる。ステップ113では、図7に示すように、垂直同期信号S21が出力されるとともに補正光制御が開始され、パルス状の補正光S23が断続的に出力される。補正光S23のパルスの形状は測距光S3とは異なり、高さ(発光強度)が一定であるが、出力期間TS は測距光S3と同じである。ステップ114では、CCD28による検知制御が開始され、電荷掃出し信号S22と電荷転送信号S25が交互に出力される。
【0035】
第2の反射光成分検出動作において、補正光S23のパルスは矩形であるが、電荷掃出し信号S22と電荷転送信号S25の補正光S23に対する出力タイミングは、第1の反射光成分検出動作における電荷掃出し信号S2と電荷転送信号S5の測距光S3に対する出力タイミングと同じであり、補正光S23が出力される期間TS の終了と同時に第2の反射光検知期間TU が開始する。すなわち第2の反射光検知期間TU は補正光S23のパルスの消滅から開始し、この期間TU の長さは第1の反射光検知期間と同じである。したがって第1の反射光成分検出動作と同様に、反射光S24の一部のみ(すなわち第2の反射光成分)がCCD28によって検知される。検知された光によって生じる信号電荷S26は、第1の反射光成分検出動作において検知される信号電荷S6と同様に、被計測物体までの距離に対応しており、電荷転送信号S25によって垂直転送部に転送される。
【0036】
ステップ115では、第2の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S21が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ116へ進み、第2の反射光成分の信号電荷S26がCCD28から出力される。この信号電荷S26はステップ117において画像メモリ34に一時的に記憶される。ステップ118では補正光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0037】
ステップ119〜122では、第2の外乱成分検出動作が行なわれる。ステップ119では、図8に示すように、垂直同期信号S31が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S32と電荷転送信号S35が交互に出力される。電荷蓄積時間TU の長さとタイミングは図7に示す第2の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S33)、反射光は存在せず(符号S34)、したがって、第2の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分に対応した信号電荷S36が発生する。すなわち信号電荷S36は、第2の反射光成分に含まれる第2の外乱成分に対応している。
【0038】
ステップ120では、第2の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S31が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ121において、第2の外乱成分の信号電荷S36がCCD28から出力され、ステップ122において画像メモリ34に一時的に記憶される。
【0039】
なお、第2の外乱成分検出動作における電荷掃出し信号S32と電荷転送信号S35の出力タイミングは、第1の外乱成分検出動作における電荷掃出し信号S12と電荷転送信号S15の出力タイミングとも同じであるため、第2の外乱成分の信号電荷S36は第1の外乱成分の信号電荷S16と同じであると見なせることができ、この場合には第2の外乱成分検出動作を省略することができる。
【0040】
第1および第2の反射光成分(信号電荷S6、S26)には、被計測物体の表面の反射率に依存する反射光成分と、外光等の外乱成分とが含まれている。ステップ123では、ステップ103〜122において得られた第1および第2の反射光成分と、第1および第2の外乱成分とを用いて距離測定(D)デ−タの演算処理が行なわれ、ステップ124においてDデ−タが出力されてこの検出動作は終了する。
【0041】
一方、ステップ102においてVモ−ドが選択されていると判定されたとき、ステップ125において測距光制御がオフ状態に切換えられるとともに、ステップ126においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、この検出動作は終了する。
【0042】
ステップ123において実行される演算処理の内容を図11を参照して説明する。図11は、図5に示す第1の反射光成分検出動作と図7に示す第2の反射光成分検出動作とにおける測距光または補正光、反射光および電荷蓄積期間をそれぞれ取り出して示したものである。
【0043】
第1の反射光成分検出動作では、電荷蓄積期間TU (第1の反射光検知期間)は測距光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち反射光の消滅直前の時間TD に相当する信号電荷S6(図5)が検出される。ここで測距光の初期の強度をI01とすると、測距光の消滅直前の時間TD における強度I01T は
I01T =I01・(TD /TS ) ・・・(1)
である。被計測物体の表面の反射率をR、光の拡散係数をD(r)とすると、反射光が消滅する時点よりも時間TD だけ前における反射光の強度I1 は
I1 =R・D(r)・I01T ・・・(2)
と表される。
【0044】
したがって、時間TD の間の反射光による信号電荷S6すなわちCCD28からの出力値(蓄積電荷)は、
【数1】
である。
【0045】
一方、第2の反射光成分検出動作では、電荷蓄積期間TU (第2の反射光検知期間)は補正光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち第1の反射光成分検出動作と同様に、反射光のうち消滅直前の時間TD に相当する信号電荷S26(図7)が検出されるが、補正光のパルス形状は矩形であるので、補正光の初期の強度をI02とすると、補正光の消滅直前の時間TD における強度I02T は
I02T =I02 ・・・(4)
であり、また反射光が消滅する時点よりも時間TD だけ前における反射光の強度I2 は
I2 =R・D(r)・I02T ・・・(5)
と表される。
【0046】
したがって、時間TD の間の反射光による信号電荷S26すなわちCCD28からの出力値(蓄積電荷)は、
【数2】
である。
【0047】
第1の反射光成分に関する出力値S1 と第2の反射光成分に関する出力値S2 との比すなわち蓄積電荷比は、(3)式と(6)式より、
SD =S1 /S2 =(1/2TS )・(I01/I02)・TD ・・・(7)
となる。ここで、カメラから被計測物体までの距離をr、光速をCとすると、照射された光がカメラまで戻って来るのに要する時間(すなわちTD )は、
TD =2r/C ・・・(8)
と表せる。
【0048】
したがって距離rは(9)式のように表せる。
r=C・TS ・(I02/I01)・SD ・・・(9)
(7)、(8)および(9)式から理解されるように、距離rには被計測物体の反射率Rと光の拡散係数D(r)は含まれていない。
【0049】
一方、出力値S1 、S2 には、第1および第2の外乱成分に対応した蓄積電荷がそれぞれ含まれている。したがって実際には、蓄積電荷比SD は(7)式において、出力値S1 から第1の外乱成分に対応した蓄積電荷を除去して得られたものを、出力値S2 から第2の外乱成分に対応した蓄積電荷を除去して得られたもので割算することにより得られる。
【0050】
このようにして図10のステップ123の演算処理では、第1および第2の反射光成分検出動作において得られた第1および第2の反射光成分と、第1および第2の外乱成分とに基づいて、(3)、(6)および(9)式から、被計測物体の表面の各点までの距離dすなわち被計測物体の3次元形状が求められる。
【0051】
次に、第1および第2の反射光成分の出力値S1 、S2 の大きさと、CCD28(図2)の出力レンジについて説明する。
【0052】
結像光学系の近傍に置かれた点光源により反射率Rの被写体が照明されて輝度L0 の2次元光源となり、結像光学系によってイメ−ジセンサに結像される場合、フレア成分を無視すると、光学像の照度Ea は、
Ea =(τπL0 V・ cos4 θ)/(4F2(1+m)2 ) ・・・(10)
で表される。ここで、τは結像光学系のレンズの透過率、Vは開口効率(ビネッティングファクタ)、θは被写体の光軸に対する傾き角、Fは結像光学系のFナンバ、mは結像光学系の横倍率である。
【0053】
横倍率mは、レンズの入射瞳からの被写体距離をr、焦点距離をf、入射瞳と主軸間の距離をvf(vは定数)で表すと、
m=f/(r−f−vf)
となり、vfは小さな値なので無視すれば、(10)式は
Ea =(τπL0 V(r−f)2 ・ cos4 θ)/(4F2r2) ・・(11)
と変形することができる。
【0054】
一方、入射瞳の近傍には光度I01・(TD /TS )(すなわち(6)式)の点光源があって距離rだけ離れた被写体を照明したとすると、被写体上の照度Eb は、
Eb =I01・(TD /TS )・ cosα/( rL )2 ・・・(12)
と表される。ここで、αは光源方向と被写体法線とのなす角である。被写体の反射率がRであり、かつ均等拡散面であると仮定すると、被写体が照明されて2次元光源として反射されるときの光の輝度L0 は、
L0 =RI01・(TD /TS )・ cosα/(π・rL 2 ) ・・・(13)
となり、(13)式を(11)式に代入すると、
【数3】
という関係が得られる。
【0055】
電荷蓄積時間TD の間に発生した電荷が積分された結果として得られる出力値S1 は、像面照度と露光時間の積である露光量に比例するので、その比例定数をh0 とおくと、
【数4】
となる。
【0056】
(15)式は、rL がrとほぼ等しく、焦点距離に比べて被写体距離が十分に大きいと見做せる場合、(16)式のように変形できる。
【数5】
【0057】
(16)式から理解されるように、第1の反射光成分は被写体距離の変化に関係なくほぼ一定である。
【0058】
一方、第2の反射光成分に関しては、被写体上の照度Eb は
Eb =I02・cos α/(rL )2 ・・・(17)
と表される。したがって、(17)式を(12)式の代わりに用いて上述した手法により(16)式に対応した式を求めると、第2の反射光成分は被写体距離の逆数に比例することがわかる。
【0059】
図12は、蓄積電荷量(出力値S1 、S2 )とCCD28の出力レンジとの関係を示す図である。横軸は距離rの対数であり、縦軸は出力値S1 、S2 の対数である。
【0060】
第1の反射光成分の出力値S1 はほぼ一定であり、出力値S1 の対数は、被計測物体の輝度の幅D0 に応じて実線G1 、G2 に挟まれる範囲で変化する。これに対し、第2の反射光成分の出力値S2 は1/rに比例し、出力値S2 の対数は、被計測物体の輝度の幅D0 に応じて実線G3 、G4 に挟まれる範囲で変化する。
【0061】
したがって、最小距離rmin から最大距離rmax までの測距を行なうためには、CCD28は符号D1 で示す出力レンジを有することが必要であり、この出力レンジD1 の幅は、被計測物体の輝度の幅D0 に対して、高々数10%大きいだけである。
【0062】
これに対し、被計測物体の反射率の影響を補正する方法として、本実施形態とは異なり、反射光の全パルスを検出する方法が考えられる(例えば特開2000−23047号公報参照)。しかし、この方法によると蓄積電荷量において1/r2 に比例する項が相対的に大きくなり、この結果、符号D2 で示すようにCCD28の出力レンジを拡大することが必要となる。
【0063】
以上のように本実施形態では、第1の反射光成分検出動作によって得られた第1の反射光成分と第2の反射光成分検出動作によって得られた第2の反射光成分との比SD を算出することにより、被計測物体の表面の反射率の影響を除去している。また、比SD を算出するのに先立ち、第1および第2の反射光成分から対応する外乱成分を除去している。したがって、簡単な演算によって反射率等の補正を実行することができ、また、撮像素子の出力レンジを極力抑えて、被計測物体の3次元形状の測距精度が向上する。
【0064】
なお上述の実施形態において、測距光の各パルスの高さは直線的に減少しているが、これに変えて直線的に増加するように構成してもよく、また、パルス高さの変化は比直線的であってもよい。
【0065】
【発明の効果】
以上のように本発明によれば、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲ−トパルス、およびCCDが受光する光量分布を示す図である。
【図5】第1の反射光成分検出動作のタイミングチャ−トである。
【図6】第1の外乱成分の検出動作のタイミングチャ−トである。
【図7】第2の反射光成分検出動作のタイミングチャ−トである。
【図8】第2の外乱成分の検出動作のタイミングチャ−トである。
【図9】距離情報検出動作を示すフロ−チャ−トである。
【図10】図9に示すフロ−チャ−トの続きである。
【図11】第1の反射光成分検出動作および第2の反射光成分検出動作における測距光または補正光、反射光および電荷蓄積期間のタイミングを示す図である。
【図12】蓄積電荷量とCCDのダイナミックレンジとの関係を示す図である。
【符号の説明】
14 光源
S 被計測物体
Claims (5)
- パルス状の測距光であって、各パルスにおいて高さが時間的に変化する測距光を被計測物体に照射する測距光照射手段と、
前記測距光によって前記被計測物体において生じたパルス状の反射光を第1の反射光検知期間の間だけ受光することにより、第1の反射光成分を検出する第1の反射光成分検出手段と、
高さが一定であるパルス状の補正光を被計測物体に照射する補正光照射手段と、
前記補正光によって前記被計測物体において生じたパルス状の反射光を第2の反射光検知期間の間だけ受光することにより、第2の反射光成分を検出する第2の反射光成分検出手段と、
前記第1の反射光成分を前記第2の反射光成分によって割算することにより、前記被計測物体の表面の各点までの距離に対応した3次元距離情報を求める距離情報算出手段と
を備えたことを特徴とする3次元画像入力装置。 - 前記測距光のパルス高さが直線的に変化することを特徴とする請求項1に記載の3次元画像入力装置。
- 前記測距光のパルス高さが直線的に減少することを特徴とする請求項2に記載の3次元画像入力装置。
- 前記測距光のパルスが鋸歯状であることを特徴とする請求項2に記載の3次元画像入力装置。
- 前記第1の反射光検知期間が前記測距光のパルスの消滅から開始し、前記第2の反射光検知期間が前記補正光のパルスの消滅から開始することを特徴とする請求項1に記載の3次元画像入力装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000133504A JP3574607B2 (ja) | 2000-05-02 | 2000-05-02 | 3次元画像入力装置 |
US09/843,839 US6456368B2 (en) | 2000-05-02 | 2001-04-30 | Three-dimensional image capturing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000133504A JP3574607B2 (ja) | 2000-05-02 | 2000-05-02 | 3次元画像入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001313958A JP2001313958A (ja) | 2001-11-09 |
JP3574607B2 true JP3574607B2 (ja) | 2004-10-06 |
Family
ID=18641988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000133504A Expired - Fee Related JP3574607B2 (ja) | 2000-05-02 | 2000-05-02 | 3次元画像入力装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6456368B2 (ja) |
JP (1) | JP3574607B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4105801B2 (ja) * | 1998-07-02 | 2008-06-25 | ペンタックス株式会社 | 3次元画像入力装置 |
WO2002095679A2 (en) * | 2001-05-23 | 2002-11-28 | Canesta, Inc. | Enhanced dynamic range conversion in 3-d imaging |
US20040151074A1 (en) * | 2003-01-31 | 2004-08-05 | Spears Kurt E. | Time measurement using distance of charge movement |
US7176438B2 (en) * | 2003-04-11 | 2007-02-13 | Canesta, Inc. | Method and system to differentially enhance sensor dynamic range using enhanced common mode reset |
EP1614159B1 (en) * | 2003-04-11 | 2014-02-26 | Microsoft Corporation | Method and system to differentially enhance sensor dynamic range |
US20040257331A1 (en) * | 2003-06-19 | 2004-12-23 | Kazutora Yoshino | 3 Dimensional input device |
KR100636483B1 (ko) | 2004-06-25 | 2006-10-18 | 삼성에스디아이 주식회사 | 트랜지스터와 그의 제조방법 및 발광 표시장치 |
JP4894360B2 (ja) * | 2006-06-07 | 2012-03-14 | 株式会社デンソー | レーダ装置 |
TWI407081B (zh) * | 2009-09-23 | 2013-09-01 | Pixart Imaging Inc | 利用成像位置差異以測距之測距裝置及其校正方法 |
US9645681B2 (en) | 2009-09-23 | 2017-05-09 | Pixart Imaging Inc. | Optical touch display system |
TWI443308B (zh) * | 2009-12-03 | 2014-07-01 | Pixart Imaging Inc | 測距裝置、3d影像感測裝置以及光學式觸控系統 |
TWI476373B (zh) * | 2009-09-23 | 2015-03-11 | Pixart Imaging Inc | 利用成像位置差異以測距之測距裝置及其校正方法 |
US8638425B2 (en) | 2009-12-03 | 2014-01-28 | Pixart Imaging Inc. | Distance-measuring device with increased signal-to-noise ratio and method thereof |
JP5576851B2 (ja) * | 2011-12-27 | 2014-08-20 | 本田技研工業株式会社 | 測距システム及び測距方法 |
US9294754B2 (en) * | 2012-02-03 | 2016-03-22 | Lumentum Operations Llc | High dynamic range and depth of field depth camera |
WO2014119241A1 (ja) * | 2013-01-31 | 2014-08-07 | パナソニック株式会社 | 測距方法および測距システム |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3611182A (en) * | 1968-11-19 | 1971-10-05 | United Aircraft Corp | Optical chirp pulse generator |
CA1028039A (en) * | 1974-12-19 | 1978-03-14 | John N. Barry | Range or time-delay determining subsystem for use in certain radar-like systems |
US4666295A (en) * | 1983-03-17 | 1987-05-19 | Hughes Aircraft Company | Linear FM chirp laser |
US4725841A (en) * | 1983-06-30 | 1988-02-16 | X-Cyte, Inc. | System for interrogating a passive transponder carrying phase-encoded information |
FR2594959B1 (fr) * | 1986-02-24 | 1988-09-09 | Electricite De France | Procede et dispositif de mesure optique de la distance et de la vitesse d'une cible |
US5179286A (en) * | 1990-10-05 | 1993-01-12 | Mitsubishi Denki K.K. | Distance measuring apparatus receiving echo light pulses |
US5267016A (en) * | 1991-11-27 | 1993-11-30 | United Technologies Corporation | Laser diode distance measurement |
US5262836A (en) * | 1991-12-19 | 1993-11-16 | Hughes Aircraft Company | Coherent double homodyne optical backscatter filter |
US5767953A (en) * | 1993-04-12 | 1998-06-16 | The Regents Of The University Of California | Light beam range finder |
US6259478B1 (en) * | 1994-04-01 | 2001-07-10 | Toshikazu Hori | Full frame electronic shutter camera |
US5519209A (en) * | 1994-06-15 | 1996-05-21 | Alliedsignal Inc. | High range resolution active imaging system using a high speed shutter and a light pulse having a sharp edge |
DE19607345A1 (de) * | 1996-02-27 | 1997-08-28 | Sick Ag | Laserabstandsermittlungsvorrichtung |
US6088058A (en) * | 1997-05-29 | 2000-07-11 | Foveon, Inc. | Capacitive coupled bipolar active pixel imager having overflow protection and electronic shutter |
US6108071A (en) * | 1997-12-12 | 2000-08-22 | Laser Atlanta | Speed and position measurement system |
US6323942B1 (en) * | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
-
2000
- 2000-05-02 JP JP2000133504A patent/JP3574607B2/ja not_active Expired - Fee Related
-
2001
- 2001-04-30 US US09/843,839 patent/US6456368B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20020015144A1 (en) | 2002-02-07 |
US6456368B2 (en) | 2002-09-24 |
JP2001313958A (ja) | 2001-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3574607B2 (ja) | 3次元画像入力装置 | |
JP4530571B2 (ja) | 3次元画像検出装置 | |
JP2002369049A (ja) | 画像検出装置と絞り装置 | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
JP4391643B2 (ja) | 3次元画像入力装置 | |
US6437853B2 (en) | Three-dimensional image capturing device | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
JP4398562B2 (ja) | 3次元画像検出装置の焦点調節機構 | |
US6721007B1 (en) | Three-dimensional image capturing device | |
JP4157223B2 (ja) | 3次元画像入力装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP4270658B2 (ja) | 3次元画像検出装置 | |
US6778219B1 (en) | Three-dimensional image capturing device | |
US6982761B1 (en) | Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
JP3892632B2 (ja) | 静止物体画像検出装置と静止物体画像検出方法 | |
JP2002296032A (ja) | 位置検出装置 | |
JP4391661B2 (ja) | 3次元画像検出装置 | |
JP2002074346A (ja) | 3次元画像入力装置 | |
JP3954300B2 (ja) | 3次元画像検出装置 | |
JP2001045520A (ja) | 3次元画像検出装置および光通信受信装置 | |
JP2001050724A (ja) | 3次元画像検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040702 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |