[go: up one dir, main page]

JP3574607B2 - 3次元画像入力装置 - Google Patents

3次元画像入力装置 Download PDF

Info

Publication number
JP3574607B2
JP3574607B2 JP2000133504A JP2000133504A JP3574607B2 JP 3574607 B2 JP3574607 B2 JP 3574607B2 JP 2000133504 A JP2000133504 A JP 2000133504A JP 2000133504 A JP2000133504 A JP 2000133504A JP 3574607 B2 JP3574607 B2 JP 3574607B2
Authority
JP
Japan
Prior art keywords
reflected light
light
pulse
distance
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000133504A
Other languages
English (en)
Other versions
JP2001313958A (ja
Inventor
修三 瀬尾
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP2000133504A priority Critical patent/JP3574607B2/ja
Priority to US09/843,839 priority patent/US6456368B2/en
Publication of JP2001313958A publication Critical patent/JP2001313958A/ja
Application granted granted Critical
Publication of JP3574607B2 publication Critical patent/JP3574607B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の3次元形状等を検出する3次元画像入力装置に関する。
【0002】
【従来の技術】
従来3次元画像入力装置として、パルス状の測距光を一定の周期で被計測物体に照射し、被計測物体からのパルス状の反射光をCCD等の撮像素子によって受光するとともに積分するものが知られている。すなわちCCDの各フォトダイオ−ドは、被計測物体の表面上の各点に対応しており、各点までの距離に対応した電荷が蓄積される。これにより、被計測物体の表面形状が計測される。
【0003】
【発明が解決しようとする課題】
このような従来の3次元画像入力装置において、測距精度を向上させるために反射率の補正のための情報を検出するように構成すると、CCD等の撮像素子の出力レンジの幅を拡大する必要が生じることがあり、このような場合、測距精度を十分に向上させることは難しい。
【0004】
本発明は、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像入力装置は、パルス状の測距光であって、各パルスにおいて高さが時間的に変化する測距光を被計測物体に照射する測距光照射手段と、測距光によって被計測物体において生じたパルス状の反射光を第1の反射光検知期間の間だけ受光することにより、第1の反射光成分を検出する第1の反射光成分検出手段と、高さが一定であるパルス状の補正光を被計測物体に照射する補正光照射手段と、補正光によって被計測物体において生じたパルス状の反射光を第2の反射光検知期間の間だけ受光することにより、第2の反射光成分を検出する第2の反射光成分検出手段と、第1の反射光成分を第2の反射光成分によって割算することにより、被計測物体の表面の各点までの距離に対応した3次元距離情報を求める距離情報算出手段とを備えたことを特徴としている。
【0006】
測距光のパルス高さは直線的に変化し、例えば減少することが好ましい。これによれば、距離情報算出手段による演算が簡単になる。
【0007】
好ましくは、第1の反射光検知期間は測距光のパルスの消滅から開始し、第2の反射光検知期間は補正光のパルスの消滅から開始する。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【0009】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレ−ザ光を照射する発光装置(光源)14が配設されている。発光装置14の左側にはレリ−ズスイッチ15と液晶表示パネル16が設けられ、また右側にはモ−ド切替ダイヤル17とV/Dモ−ド切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカ−ド等の記録媒体を挿入するためのカ−ド挿入口19が形成され、またビデオ出力端子20とインタ−フェ−スコネクタ21が設けられている。
【0010】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズ−ミング動作はレンズ駆動回路27によって制御される。
【0011】
撮影レンズ11の光軸上には撮像素子(CCD)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、撮像信号処理回路33はシステムコントロ−ル回路35によって制御される。
【0012】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0013】
また画像メモリ34から読み出された画像信号はTV信号エンコ−ダ38に送られ、ビデオ出力端子20を介して、カメラ本体10の外部に設けられたモニタ装置39に伝送可能である。システムコントロ−ル回路35はインタ−フェ−ス回路40に接続され、インタ−フェ−ス回路40はインタ−フェ−スコネクタ21に接続されている。したがって画像メモリ34から読み出された画像信号は、インタ−フェ−スコネクタ21に接続されたコンピュ−タ41に伝送可能である。またシステムコントロ−ル回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカ−ド等の記録媒体Mに記録可能である。
【0014】
システムコントロ−ル回路35には、発光素子制御回路44が接続されている。発光装置14には発光素子14aと照明レンズ14bが設けられ、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはパルス状のレ−ザ光を照射するものであり、このレ−ザ光は照明レンズ14bを介して被計測物体の全体に照射される。レ−ザ光のパルスの形状は、後述するように、矩形と三角形の2種類である。被計測物体において反射した光は撮影レンズ11に入射する。この光をCCD28によって検出することにより、後述するように被計測物体の3次元画像が計測される。なお、この計測において、CCD28における転送動作のタイミング等の制御はシステムコントロ−ル回路35とCCD駆動回路30によって行なわれる。
【0015】
システムコントロ−ル回路35には、レリ−ズスイッチ15、モ−ド切替ダイヤル17、V/Dモ−ド切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0016】
図3および図4を参照して、本実施形態における距離測定の原理を説明する。なお図4において横軸は時間tである。
【0017】
距離測定装置Bから出力された測距光は被計測物体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被計測物体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち下がりは、測距光のパルスの立ち下がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被計測物体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2
により得られる。ただしCは光速である。
【0018】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えて、反射光のパルスの立ち下がりまでの成分を検出するようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)大きくなる。
【0019】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオ−ド(光電変換素子)においてそれぞれ受光量Aを検出することにより、カメラ本体10から被計測物体Sの表面の各点までの距離をそれぞれ検出し、被計測物体Sの表面形状に関する3次元画像のデ−タを一括して入力している。
【0020】
図5は、被計測物体の表面の各点までの距離に関するデ−タを検出する第1の反射光成分検出動作のタイミングチャ−トである。図1、図2、図5を参照して第1の反射光成分検出動作を説明する。なお図4では、測距光と反射光のパルス形状は矩形であったが、これは説明の簡単のためであり、実際には図7に示すように三角形を呈し、すなわち測距光と反射光のパルス形状は全体として鋸歯状である。
【0021】
垂直同期信号S1の出力に同期して発光装置14が起動され、三角形のパルス状の測距光S3が周期的に出力される。測距光S3は一定のパルス幅を有し、時間軸に対し垂直に立ち上がって高さが直線的に減少する。測距光S3は被計測物体において反射し、CCD28に入射する。すなわちCCD28によって被計測物体からの反射光S4が受光される。反射光S4のパルス形状も測距光S3と同様な三角形を呈する。
【0022】
測距光S3の個々のパルスが消滅するタイミングに合わせて、電荷掃出し信号(パルス信号)S2が出力される。電荷掃出し信号S2の出力は、測距光S3のパルスが消滅するのと同時に終了するように制御される。これによりフォトダイオ−ドに蓄積していた不要電荷が基板の方向に掃出される。測距光S3の出力から一定時間が経過したとき、電荷転送信号(パルス信号)S5が出力され、これによりフォトダイオ−ドに蓄積された電荷が垂直転送部に転送される。なお、電荷転送信号S5の出力は、反射光S4のパルスの消滅よりも後に行なわれる。
【0023】
このように電荷掃出し信号S2の出力の終了から電荷転送信号S5の出力までの期間Tの間、フォトダイオ−ドには、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光S3が出力される期間Tの終了と同時に電荷蓄積期間Tが開始し、電荷蓄積期間Tの間(すなわち第1の反射光検知期間)に、反射光S4の一部のみ(すなわち反射光S4のパルスの高さの低い部分である第1の反射光成分)がCCD28によって検知され、検知された光によって生じる信号電荷S6は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光S4のうち、電荷蓄積期間T内にフォトダイオ−ドに到達した光に対応した信号電荷S6がフォトダイオ−ドに蓄積される。この信号電荷S6は、電荷転送信号S5によって垂直転送部に転送される。
【0024】
電荷転送信号S5の出力から一定時間が経過した後、再び電荷掃出し信号S2が出力され、垂直転送部への信号電荷の転送後にフォトダイオ−ドに蓄積された不要電荷が基板の方向へ掃出される。すなわち、フォトダイオ−ドにおいて新たに、次の測距光の照射による信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Tが経過したとき、信号電荷は垂直転送部へ転送される。
【0025】
このような信号電荷S6の垂直転送部への転送動作は、次の垂直同期信号S1が出力されるまで、繰り返し実行される。これにより垂直転送部において、信号電荷S6が積分され、1フィ−ルドの期間(2つの垂直同期信号S1によって挟まれる期間)に積分された信号電荷S6は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離に対応している。
【0026】
以上説明した信号電荷S6の検出動作は1つのフォトダイオ−ドに関するものであり、全てのフォトダイオ−ドにおいてこのような検出動作が行なわれる。1フィ−ルドの期間の検出動作の結果、各フォトダイオ−ドに隣接した垂直転送部の各部位には、そのフォトダイオ−ドによって検出された距離情報が保持される。この距離情報は垂直転送部における垂直転送動作におよび図示しない水平転送部における水平転送動作によってCCD28から出力され、被計測物体の3次元画像デ−タとして、3次元画像入力装置の外部に取り出される。
【0027】
上述のようにしてCCD28により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、CCD28により検出された反射光には、被計測物体からの反射光以外に外光等の外乱成分も含まれており、これに起因する誤差も存在する。したがって距離情報検出動作では、被計測物体の反射率、外乱等の影響を補正することが好ましい。次に、これらの補正を行なう距離情報検出動作について説明する。
【0028】
図6〜図8は、第1の外乱成分、第2の反射光成分および第2の外乱成分の検出動作を示し、図9と図10は距離情報検出動作のフロ−チャ−トである。図1、図2、図5〜図10を参照して、被計測物体の反射率、外乱等の影響を補正する距離情報検出動作を説明する。すなわち図5に関し、説明は重複する。
【0029】
ステップ101においてレリ−ズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モ−ドと距離測定(D)モ−ドのいずれが選択されているかが判定される。これらのモ−ド間における切替はV/Dモ−ド切替スイッチ18を操作することによって行なわれる。
【0030】
Dモ−ドが選択されているとき、ステップ103〜107において、第1の反射光成分検出動作が実行される。ステップ103では、垂直同期信号S1が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、三角形のパルスの測距光S3が断続的に出力される。次いでステップ104が実行され、CCD28による検知制御が開始される。すなわち図5を参照して説明した第1の反射光成分検出動作が開始され、電荷掃出し信号S2と電荷転送信号S5が交互に出力されて、第1の反射光成分の信号電荷S6が垂直転送部において積分される。
【0031】
ステップ105では、第1の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S1が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ106へ進み、第1の反射光成分の信号電荷S6がCCD28から出力される。この信号電荷S6はステップ107において画像メモリ34に一時的に記憶される。ステップ108では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0032】
ステップ109〜112では、第1の外乱成分検出動作が行なわれる。まずステップ109では、図6に示すように、垂直同期信号S11が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S12と電荷転送信号S15が交互に出力される。電荷蓄積時間Tは図5に示す第1の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S13)、反射光は存在しない(符号S14)。したがって、第1の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S16が発生する。すなわち信号電荷S16は、第1の反射光成分に含まれる第1の外乱成分に対応している。
【0033】
ステップ110では、第1の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S11が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ111において、第1の外乱成分の信号電荷S16がCCD28から出力される。第1の外乱成分の信号電荷S16はステップ112において画像メモリ34に一時的に記憶される。
【0034】
ステップ113〜117では、第2の反射光成分検出動作が行なわれる。ステップ113では、図7に示すように、垂直同期信号S21が出力されるとともに補正光制御が開始され、パルス状の補正光S23が断続的に出力される。補正光S23のパルスの形状は測距光S3とは異なり、高さ(発光強度)が一定であるが、出力期間Tは測距光S3と同じである。ステップ114では、CCD28による検知制御が開始され、電荷掃出し信号S22と電荷転送信号S25が交互に出力される。
【0035】
第2の反射光成分検出動作において、補正光S23のパルスは矩形であるが、電荷掃出し信号S22と電荷転送信号S25の補正光S23に対する出力タイミングは、第1の反射光成分検出動作における電荷掃出し信号S2と電荷転送信号S5の測距光S3に対する出力タイミングと同じであり、補正光S23が出力される期間Tの終了と同時に第2の反射光検知期間Tが開始する。すなわち第2の反射光検知期間Tは補正光S23のパルスの消滅から開始し、この期間Tの長さは第1の反射光検知期間と同じである。したがって第1の反射光成分検出動作と同様に、反射光S24の一部のみ(すなわち第2の反射光成分)がCCD28によって検知される。検知された光によって生じる信号電荷S26は、第1の反射光成分検出動作において検知される信号電荷S6と同様に、被計測物体までの距離に対応しており、電荷転送信号S25によって垂直転送部に転送される。
【0036】
ステップ115では、第2の反射光成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S21が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ116へ進み、第2の反射光成分の信号電荷S26がCCD28から出力される。この信号電荷S26はステップ117において画像メモリ34に一時的に記憶される。ステップ118では補正光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0037】
ステップ119〜122では、第2の外乱成分検出動作が行なわれる。ステップ119では、図8に示すように、垂直同期信号S31が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S32と電荷転送信号S35が交互に出力される。電荷蓄積時間Tの長さとタイミングは図7に示す第2の反射光成分検出動作と同じであるが、被計測物体に測距光が照射されないため(符号S33)、反射光は存在せず(符号S34)、したがって、第2の反射光成分の信号電荷は発生しないが、CCD28には外光等の外乱成分に対応した信号電荷S36が発生する。すなわち信号電荷S36は、第2の反射光成分に含まれる第2の外乱成分に対応している。
【0038】
ステップ120では、第2の外乱成分検出動作の開始から1フィ−ルド期間が終了したか否か、すなわち新たに垂直同期信号S31が出力されたか否かが判定される。1フィ−ルド期間が終了するとステップ121において、第2の外乱成分の信号電荷S36がCCD28から出力され、ステップ122において画像メモリ34に一時的に記憶される。
【0039】
なお、第2の外乱成分検出動作における電荷掃出し信号S32と電荷転送信号S35の出力タイミングは、第1の外乱成分検出動作における電荷掃出し信号S12と電荷転送信号S15の出力タイミングとも同じであるため、第2の外乱成分の信号電荷S36は第1の外乱成分の信号電荷S16と同じであると見なせることができ、この場合には第2の外乱成分検出動作を省略することができる。
【0040】
第1および第2の反射光成分(信号電荷S6、S26)には、被計測物体の表面の反射率に依存する反射光成分と、外光等の外乱成分とが含まれている。ステップ123では、ステップ103〜122において得られた第1および第2の反射光成分と、第1および第2の外乱成分とを用いて距離測定(D)デ−タの演算処理が行なわれ、ステップ124においてDデ−タが出力されてこの検出動作は終了する。
【0041】
一方、ステップ102においてVモ−ドが選択されていると判定されたとき、ステップ125において測距光制御がオフ状態に切換えられるとともに、ステップ126においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、この検出動作は終了する。
【0042】
ステップ123において実行される演算処理の内容を図11を参照して説明する。図11は、図5に示す第1の反射光成分検出動作と図7に示す第2の反射光成分検出動作とにおける測距光または補正光、反射光および電荷蓄積期間をそれぞれ取り出して示したものである。
【0043】
第1の反射光成分検出動作では、電荷蓄積期間T(第1の反射光検知期間)は測距光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち反射光の消滅直前の時間Tに相当する信号電荷S6(図5)が検出される。ここで測距光の初期の強度をI01とすると、測距光の消滅直前の時間Tにおける強度I01T
01T =I01・(T/T) ・・・(1)
である。被計測物体の表面の反射率をR、光の拡散係数をD(r)とすると、反射光が消滅する時点よりも時間Tだけ前における反射光の強度I
=R・D(r)・I01T ・・・(2)
と表される。
【0044】
したがって、時間Tの間の反射光による信号電荷S6すなわちCCD28からの出力値(蓄積電荷)は、
【数1】
Figure 0003574607
である。
【0045】
一方、第2の反射光成分検出動作では、電荷蓄積期間T(第2の反射光検知期間)は補正光のパルスの消滅と同時に開始し、反射光のパルスの消滅の後、終了している。すなわち第1の反射光成分検出動作と同様に、反射光のうち消滅直前の時間Tに相当する信号電荷S26(図7)が検出されるが、補正光のパルス形状は矩形であるので、補正光の初期の強度をI02とすると、補正光の消滅直前の時間Tにおける強度I02T
02T =I02 ・・・(4)
であり、また反射光が消滅する時点よりも時間Tだけ前における反射光の強度I
=R・D(r)・I02T ・・・(5)
と表される。
【0046】
したがって、時間Tの間の反射光による信号電荷S26すなわちCCD28からの出力値(蓄積電荷)は、
【数2】
Figure 0003574607
である。
【0047】
第1の反射光成分に関する出力値Sと第2の反射光成分に関する出力値Sとの比すなわち蓄積電荷比は、(3)式と(6)式より、
=S/S=(1/2T)・(I01/I02)・T ・・・(7)
となる。ここで、カメラから被計測物体までの距離をr、光速をCとすると、照射された光がカメラまで戻って来るのに要する時間(すなわちT)は、
=2r/C ・・・(8)
と表せる。
【0048】
したがって距離rは(9)式のように表せる。
r=C・T・(I02/I01)・S ・・・(9)
(7)、(8)および(9)式から理解されるように、距離rには被計測物体の反射率Rと光の拡散係数D(r)は含まれていない。
【0049】
一方、出力値S、Sには、第1および第2の外乱成分に対応した蓄積電荷がそれぞれ含まれている。したがって実際には、蓄積電荷比Sは(7)式において、出力値Sから第1の外乱成分に対応した蓄積電荷を除去して得られたものを、出力値Sから第2の外乱成分に対応した蓄積電荷を除去して得られたもので割算することにより得られる。
【0050】
このようにして図10のステップ123の演算処理では、第1および第2の反射光成分検出動作において得られた第1および第2の反射光成分と、第1および第2の外乱成分とに基づいて、(3)、(6)および(9)式から、被計測物体の表面の各点までの距離dすなわち被計測物体の3次元形状が求められる。
【0051】
次に、第1および第2の反射光成分の出力値S、Sの大きさと、CCD28(図2)の出力レンジについて説明する。
【0052】
結像光学系の近傍に置かれた点光源により反射率Rの被写体が照明されて輝度Lの2次元光源となり、結像光学系によってイメ−ジセンサに結像される場合、フレア成分を無視すると、光学像の照度Eは、
=(τπLV・ cosθ)/(4F(1+m)) ・・・(10)
で表される。ここで、τは結像光学系のレンズの透過率、Vは開口効率(ビネッティングファクタ)、θは被写体の光軸に対する傾き角、Fは結像光学系のFナンバ、mは結像光学系の横倍率である。
【0053】
横倍率mは、レンズの入射瞳からの被写体距離をr、焦点距離をf、入射瞳と主軸間の距離をvf(vは定数)で表すと、
m=f/(r−f−vf)
となり、vfは小さな値なので無視すれば、(10)式は
=(τπLV(r−f)・ cosθ)/(4F) ・・(11)
と変形することができる。
【0054】
一方、入射瞳の近傍には光度I01・(T/T)(すなわち(6)式)の点光源があって距離rだけ離れた被写体を照明したとすると、被写体上の照度Eは、
=I01・(T/T)・ cosα/( r ・・・(12)
と表される。ここで、αは光源方向と被写体法線とのなす角である。被写体の反射率がRであり、かつ均等拡散面であると仮定すると、被写体が照明されて2次元光源として反射されるときの光の輝度Lは、
=RI01・(T/T)・ cosα/(π・r ) ・・・(13)
となり、(13)式を(11)式に代入すると、
【数3】
Figure 0003574607
という関係が得られる。
【0055】
電荷蓄積時間Tの間に発生した電荷が積分された結果として得られる出力値Sは、像面照度と露光時間の積である露光量に比例するので、その比例定数をhとおくと、
【数4】
Figure 0003574607
となる。
【0056】
(15)式は、rがrとほぼ等しく、焦点距離に比べて被写体距離が十分に大きいと見做せる場合、(16)式のように変形できる。
【数5】
Figure 0003574607
【0057】
(16)式から理解されるように、第1の反射光成分は被写体距離の変化に関係なくほぼ一定である。
【0058】
一方、第2の反射光成分に関しては、被写体上の照度E
=I02・cos α/(r ・・・(17)
と表される。したがって、(17)式を(12)式の代わりに用いて上述した手法により(16)式に対応した式を求めると、第2の反射光成分は被写体距離の逆数に比例することがわかる。
【0059】
図12は、蓄積電荷量(出力値S、S)とCCD28の出力レンジとの関係を示す図である。横軸は距離rの対数であり、縦軸は出力値S、Sの対数である。
【0060】
第1の反射光成分の出力値Sはほぼ一定であり、出力値Sの対数は、被計測物体の輝度の幅Dに応じて実線G、Gに挟まれる範囲で変化する。これに対し、第2の反射光成分の出力値Sは1/rに比例し、出力値Sの対数は、被計測物体の輝度の幅Dに応じて実線G、Gに挟まれる範囲で変化する。
【0061】
したがって、最小距離rmin から最大距離rmax までの測距を行なうためには、CCD28は符号Dで示す出力レンジを有することが必要であり、この出力レンジDの幅は、被計測物体の輝度の幅Dに対して、高々数10%大きいだけである。
【0062】
これに対し、被計測物体の反射率の影響を補正する方法として、本実施形態とは異なり、反射光の全パルスを検出する方法が考えられる(例えば特開2000−23047号公報参照)。しかし、この方法によると蓄積電荷量において1/rに比例する項が相対的に大きくなり、この結果、符号Dで示すようにCCD28の出力レンジを拡大することが必要となる。
【0063】
以上のように本実施形態では、第1の反射光成分検出動作によって得られた第1の反射光成分と第2の反射光成分検出動作によって得られた第2の反射光成分との比Sを算出することにより、被計測物体の表面の反射率の影響を除去している。また、比Sを算出するのに先立ち、第1および第2の反射光成分から対応する外乱成分を除去している。したがって、簡単な演算によって反射率等の補正を実行することができ、また、撮像素子の出力レンジを極力抑えて、被計測物体の3次元形状の測距精度が向上する。
【0064】
なお上述の実施形態において、測距光の各パルスの高さは直線的に減少しているが、これに変えて直線的に増加するように構成してもよく、また、パルス高さの変化は比直線的であってもよい。
【0065】
【発明の効果】
以上のように本発明によれば、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の3次元形状を検出する測距精度を向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲ−トパルス、およびCCDが受光する光量分布を示す図である。
【図5】第1の反射光成分検出動作のタイミングチャ−トである。
【図6】第1の外乱成分の検出動作のタイミングチャ−トである。
【図7】第2の反射光成分検出動作のタイミングチャ−トである。
【図8】第2の外乱成分の検出動作のタイミングチャ−トである。
【図9】距離情報検出動作を示すフロ−チャ−トである。
【図10】図9に示すフロ−チャ−トの続きである。
【図11】第1の反射光成分検出動作および第2の反射光成分検出動作における測距光または補正光、反射光および電荷蓄積期間のタイミングを示す図である。
【図12】蓄積電荷量とCCDのダイナミックレンジとの関係を示す図である。
【符号の説明】
14 光源
S 被計測物体

Claims (5)

  1. パルス状の測距光であって、各パルスにおいて高さが時間的に変化する測距光を被計測物体に照射する測距光照射手段と、
    前記測距光によって前記被計測物体において生じたパルス状の反射光を第1の反射光検知期間の間だけ受光することにより、第1の反射光成分を検出する第1の反射光成分検出手段と、
    高さが一定であるパルス状の補正光を被計測物体に照射する補正光照射手段と、
    前記補正光によって前記被計測物体において生じたパルス状の反射光を第2の反射光検知期間の間だけ受光することにより、第2の反射光成分を検出する第2の反射光成分検出手段と、
    前記第1の反射光成分を前記第2の反射光成分によって割算することにより、前記被計測物体の表面の各点までの距離に対応した3次元距離情報を求める距離情報算出手段と
    を備えたことを特徴とする3次元画像入力装置。
  2. 前記測距光のパルス高さが直線的に変化することを特徴とする請求項1に記載の3次元画像入力装置。
  3. 前記測距光のパルス高さが直線的に減少することを特徴とする請求項2に記載の3次元画像入力装置。
  4. 前記測距光のパルスが鋸歯状であることを特徴とする請求項2に記載の3次元画像入力装置。
  5. 前記第1の反射光検知期間が前記測距光のパルスの消滅から開始し、前記第2の反射光検知期間が前記補正光のパルスの消滅から開始することを特徴とする請求項1に記載の3次元画像入力装置。
JP2000133504A 2000-05-02 2000-05-02 3次元画像入力装置 Expired - Fee Related JP3574607B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000133504A JP3574607B2 (ja) 2000-05-02 2000-05-02 3次元画像入力装置
US09/843,839 US6456368B2 (en) 2000-05-02 2001-04-30 Three-dimensional image capturing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000133504A JP3574607B2 (ja) 2000-05-02 2000-05-02 3次元画像入力装置

Publications (2)

Publication Number Publication Date
JP2001313958A JP2001313958A (ja) 2001-11-09
JP3574607B2 true JP3574607B2 (ja) 2004-10-06

Family

ID=18641988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000133504A Expired - Fee Related JP3574607B2 (ja) 2000-05-02 2000-05-02 3次元画像入力装置

Country Status (2)

Country Link
US (1) US6456368B2 (ja)
JP (1) JP3574607B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4105801B2 (ja) * 1998-07-02 2008-06-25 ペンタックス株式会社 3次元画像入力装置
WO2002095679A2 (en) * 2001-05-23 2002-11-28 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging
US20040151074A1 (en) * 2003-01-31 2004-08-05 Spears Kurt E. Time measurement using distance of charge movement
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
EP1614159B1 (en) * 2003-04-11 2014-02-26 Microsoft Corporation Method and system to differentially enhance sensor dynamic range
US20040257331A1 (en) * 2003-06-19 2004-12-23 Kazutora Yoshino 3 Dimensional input device
KR100636483B1 (ko) 2004-06-25 2006-10-18 삼성에스디아이 주식회사 트랜지스터와 그의 제조방법 및 발광 표시장치
JP4894360B2 (ja) * 2006-06-07 2012-03-14 株式会社デンソー レーダ装置
TWI407081B (zh) * 2009-09-23 2013-09-01 Pixart Imaging Inc 利用成像位置差異以測距之測距裝置及其校正方法
US9645681B2 (en) 2009-09-23 2017-05-09 Pixart Imaging Inc. Optical touch display system
TWI443308B (zh) * 2009-12-03 2014-07-01 Pixart Imaging Inc 測距裝置、3d影像感測裝置以及光學式觸控系統
TWI476373B (zh) * 2009-09-23 2015-03-11 Pixart Imaging Inc 利用成像位置差異以測距之測距裝置及其校正方法
US8638425B2 (en) 2009-12-03 2014-01-28 Pixart Imaging Inc. Distance-measuring device with increased signal-to-noise ratio and method thereof
JP5576851B2 (ja) * 2011-12-27 2014-08-20 本田技研工業株式会社 測距システム及び測距方法
US9294754B2 (en) * 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
WO2014119241A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 測距方法および測距システム
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3611182A (en) * 1968-11-19 1971-10-05 United Aircraft Corp Optical chirp pulse generator
CA1028039A (en) * 1974-12-19 1978-03-14 John N. Barry Range or time-delay determining subsystem for use in certain radar-like systems
US4666295A (en) * 1983-03-17 1987-05-19 Hughes Aircraft Company Linear FM chirp laser
US4725841A (en) * 1983-06-30 1988-02-16 X-Cyte, Inc. System for interrogating a passive transponder carrying phase-encoded information
FR2594959B1 (fr) * 1986-02-24 1988-09-09 Electricite De France Procede et dispositif de mesure optique de la distance et de la vitesse d'une cible
US5179286A (en) * 1990-10-05 1993-01-12 Mitsubishi Denki K.K. Distance measuring apparatus receiving echo light pulses
US5267016A (en) * 1991-11-27 1993-11-30 United Technologies Corporation Laser diode distance measurement
US5262836A (en) * 1991-12-19 1993-11-16 Hughes Aircraft Company Coherent double homodyne optical backscatter filter
US5767953A (en) * 1993-04-12 1998-06-16 The Regents Of The University Of California Light beam range finder
US6259478B1 (en) * 1994-04-01 2001-07-10 Toshikazu Hori Full frame electronic shutter camera
US5519209A (en) * 1994-06-15 1996-05-21 Alliedsignal Inc. High range resolution active imaging system using a high speed shutter and a light pulse having a sharp edge
DE19607345A1 (de) * 1996-02-27 1997-08-28 Sick Ag Laserabstandsermittlungsvorrichtung
US6088058A (en) * 1997-05-29 2000-07-11 Foveon, Inc. Capacitive coupled bipolar active pixel imager having overflow protection and electronic shutter
US6108071A (en) * 1997-12-12 2000-08-22 Laser Atlanta Speed and position measurement system
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC

Also Published As

Publication number Publication date
US20020015144A1 (en) 2002-02-07
US6456368B2 (en) 2002-09-24
JP2001313958A (ja) 2001-11-09

Similar Documents

Publication Publication Date Title
JP3574607B2 (ja) 3次元画像入力装置
JP4530571B2 (ja) 3次元画像検出装置
JP2002369049A (ja) 画像検出装置と絞り装置
JP4010779B2 (ja) 画像検出装置と絞り装置
JP3820087B2 (ja) 3次元画像検出装置
JP4391643B2 (ja) 3次元画像入力装置
US6437853B2 (en) Three-dimensional image capturing device
JP4105801B2 (ja) 3次元画像入力装置
JP4398562B2 (ja) 3次元画像検出装置の焦点調節機構
US6721007B1 (en) Three-dimensional image capturing device
JP4157223B2 (ja) 3次元画像入力装置
JP4369574B2 (ja) 3次元画像検出装置
JP4369575B2 (ja) 3次元画像検出装置
JP4270658B2 (ja) 3次元画像検出装置
US6778219B1 (en) Three-dimensional image capturing device
US6982761B1 (en) Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
JP4250281B2 (ja) 3次元画像検出装置
JP4428831B2 (ja) 3次元画像検出装置
JP3892632B2 (ja) 静止物体画像検出装置と静止物体画像検出方法
JP2002296032A (ja) 位置検出装置
JP4391661B2 (ja) 3次元画像検出装置
JP2002074346A (ja) 3次元画像入力装置
JP3954300B2 (ja) 3次元画像検出装置
JP2001045520A (ja) 3次元画像検出装置および光通信受信装置
JP2001050724A (ja) 3次元画像検出装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040702

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees