[go: up one dir, main page]

JP2021517256A - マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ - Google Patents

マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ Download PDF

Info

Publication number
JP2021517256A
JP2021517256A JP2020570631A JP2020570631A JP2021517256A JP 2021517256 A JP2021517256 A JP 2021517256A JP 2020570631 A JP2020570631 A JP 2020570631A JP 2020570631 A JP2020570631 A JP 2020570631A JP 2021517256 A JP2021517256 A JP 2021517256A
Authority
JP
Japan
Prior art keywords
modulation
camera
signal
clock
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020570631A
Other languages
English (en)
Other versions
JP7319311B2 (ja
Inventor
ピエール・フェレイル
クリストフ・マイヤン
ピエール−エマニュエル・ヴィル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne e2v Semiconductors SAS
Original Assignee
Teledyne e2v Semiconductors SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teledyne e2v Semiconductors SAS filed Critical Teledyne e2v Semiconductors SAS
Publication of JP2021517256A publication Critical patent/JP2021517256A/ja
Application granted granted Critical
Publication of JP7319311B2 publication Critical patent/JP7319311B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、TOFビジョンカメラに関し、キャリアクロック信号を変調するための変調回路MODを備える電子制御回路を提案し、一連の光パルスSEの放出を制御するために、およびカメラのマトリックス画像センサCIのN個のキャプチャ位相ST0、ST1、ST2、ST3を同期的に制御するために、カメラ固有のパルス位置変調関数k(t)を適用し、カメラに適用される変調クロック信号feをカメラ光源変調信号S−LEDとして出力し、この変調クロック信号feは、クロックパルスfeが一定のパルス持続時間Tpを有し、キャリア周波数fpによって固定され、Tp=1/2fpであり、2つの連続するパルス間の可変時間間隔Toffで、前記変調関数k(t)によって変調され、前記時間間隔は、少なくともパルス持続時間に等しく、可変であるが50%以下である変調クロックサイクル比feを定義する。

Description

本発明は、マトリクスレシーバとしてイメージセンサ(CMOS、CCD)を使用するTOFカメラ(「飛行時間」)として知られる3D飛行時間測定ビジョンカメラに関する。これらのカメラは、障害物検出、パレタイジング、マシンビジョン(ロボット工学)や自動車ビジョン(ナビゲーションエイド、駐車場)、3次元マッピング、安全性など、動作距離が1メートル〜数百メートルのアプリケーションでカウントする人々に特に使用される。
飛行時間測定技術を使用した距離測定は、目標によって反射される波の往復経路を確立された方法で利用する。TOFカメラでは、図1と図2に示されるように、技術は、カメラが、目標に向かって光信号SEを放出し、この信号SEは、振幅が正弦波変調されており、カメラのイメージアレイセンサは、目標によって反射された光信号SR(適切には光学システムによって焦点が合わされる)を受信し、光変調(送信機/受信機の同期)と同期する光積分期間毎に少なくとも2つの画像キャプチャ位相を導き、戻り信号の位相シフトΔφを測定する。変調キャリア周波数がfpで、積分周期がTINT=1/fpの場合。カメラから光を反射する目標までの距離D(エコー)は、次の方程式によって与えられる。
式0
Figure 2021517256
ここで、Cは、光の速度である。
一般に、図1と図2に示されるように、センサは光パルスキャプチャ期間にわたって4つの位相ST0、ST1、ST2、ST3をキャプチャする(したがって、位相は互いにπ/2rad位相がずれている)。次に、反射信号SRの振幅a、振幅によるオフセットhを計算できる。これは、次の3つの方程式によって、周囲光と放出信号SEによる位相シフトΔφによって受信された信号の一部を表す。
式1
Figure 2021517256
式2
Figure 2021517256
式3
Figure 2021517256
位相シフト測定(2kπradクローズで)により、目標までの距離D(式0)を計算できる。ピクセルに対する反射点の角度位置を決定する方法も知られている。これは、全てよく知られている。
実際には、デジタル回路への実施が容易なため、正弦波変調ではなく方形信号変調が使用される。これは、CCDまたはCMOS画像センサを備えたTOFビジョンカメラに特に適している。例えば、画像アレイセンサがアクティブピクセルを備えたCMOSセンサである場合、ピクセル構造に組み込まれたトランジスタは、ピクセルの開口部を電子的に制御でき、その間にピクセルのフォトサイトが光を積分する。したがって、センサのキャプチャ位相は、ピクセルの電子シャッタへの開始コマンドに対応し、全てのピクセルに同時に(同時に)適用される。これは、全体的なシャッタとして知られている(タイムシフトシャッタコントロールとは対照的に、ピクセルアレイへのライン毎の積分を可能にする)。これらのCMOSセンサは、約10ナノ秒の非常に短い時間で積分することができる。これは、1メートル〜数百メートルの範囲を対象とした動作距離(TOFカメラの「範囲」)に適している。
図2のタイムテーブルは、4相の飛行時間測定の場合の、サイクル比50%のこの正方形の信号変調コンテキストにおける位相A0からA3を示している。光源によって放出される信号SEは、変調周波数feの一連の光パルスである。パルスの幅(持続時間)Tpは、一定のTpであり、キャリア周波数fp(Tp=1/2.fp)でのクロックパルスの持続時間に対応する。このキャリア周波数fpは、カメラの動作距離(式0)を示す。通常は、設定できる。すなわち、センサとカメラの電子機器には、選択した動作距離に対応するキャリアクロックを生成するクロック生成回路(タイムベース)があり、オペレータまたは外部制御システムによって構成される。この距離は、カメラの用途に応じて定義される。アイデアを得るには、1メートル当たり6nsが必要である。したがって、実際には、Tpは、最短距離の約10ナノ秒〜最長距離の数百ナノ秒まで変化する。
マトリックスレシーバと光源の制御電子機器を同期させて、キャプチャ位相を送信位相に調整する。次に、計算に基づいて、送信された各パルスについて、どのマトリックスレシーバのキャプチャ位相でリターン信号が見つかり、どの比率であるかを決定できる。各キャプチャ位相で、ピクセルフォトサイトは、特定のキャプチャ位相と対応するリターン信号パルス(および信号を反射するターゲットの角度位置)の一致に応じて、0から数個の光子を積分する。一連のKの光パルス(例えば、Kは、1000〜2000)の放出により、光子が各キャプチャ期間でフォトサイトに蓄積される。これにより、測定の最後に重要な信号レベルを取得できる。読み取り回路が異なるキャプチャ位相に対応する信号A0〜A3を読み取り、センサがそれらをアナログからデジタルに変換した後、これらは、特定のアルゴリズムを使用して、センサ、カメラ、および/または外部システムによりデジタルで活用し、特に、求められる距離(または深度)情報、および特定のビジョンアプリケーションに必要なその他の情報を抽出する。これらの態様は、よく知られており、これは、本発明の主題ではないため、これ以上説明しない。
INT積分期間の各キャプチャ位相は、全てのピクセルに同時に適用される。各位相の期間は同じである。これは、カメラ固有のキャリア周波数fpによって定義される送信期間Tpに対応する。第1のSTO位相は、同期され、パルスSEの放出と同相(に設定)になる。これが、方程式、式1〜式3の(画像)サンプルA0を提供する。第1の位相ST0に対して90°オフセットされた第2の位相ST1(位相シフトπ/2rad)は、サンプルA1を提供する。第3の位相ST2は、第1の位相ST0から180°オフセットされ、サンプルA2を提供する。第4の位相ST3は、第1の位相ST0から270°オフセットされ、サンプルA3を提供する。各サンプルの値は、信号SEによって放出されたKパルスと同期したK積分期間の後に、累積によって取得(読み取り)された値である。
再び、既知の方法で、反射光パルスの位置(位相)を検出するための様々なキャプチャ位相は、ピクセルの構造が許す場合、同時に実行できる。例えば、ピクセル構造毎に4つのフォトサイトに対して、4つのキャプチャ位相を同時に実行できる。ピクセル毎にフォトサイトが1つしかない場合、光源は、それぞれ、0°、90°、180°、および270°の位相シフトに対応する4つのシリーズの光パルスを連続的に放出するように制御され、各シリーズは、4つのキャプチャ位相の1つに関連付けられている。各ソリューション(並列/直列)は、長所と短所(ピクセルサイズ、精度、測定時間)を有する。
4つの画像サンプルA0〜A3が最終的に取得され、測定位相毎に1つあり、上記の方程式、式1、式2、式3が適用される。これらの方程式は確かに正弦波変調に対して確立されているが、値a、h、Δφの適切な近似を提供する。次に、求められた情報D(式0)を特に抽出できる。
これらの測定と計算は、ピクセルが読み取られた後、センサ内でこの目的のために特別に構成されたデジタル処理回路によって、各ピクセルで実行される。エコーを効果的に検出したピクセルのマトリックス内の位置は、検出された目標の角度位置を決定する。4つの位相測定に関して今述べた全てが2または3キャプチャ位相測定にも同様に適用されることに注意されたい。
技術的な問題
TOFカメラ、測定原理、およびそれらの操作が行われたことに関するこれらのフォローアップは、同じタイプの複数のTOFカメラが同じ空間で使用されると、各カメラがその視野内の他のカメラの存在によって潜在的に妨げられる可能性があることが理解される。光源の近接度、角度位置、出力によっては、検出された位相シフトが、これらの他のTOFカメラから放射される光信号からの干渉によって汚染され、距離測定が歪む場合がある。例えば、距離は、操作対象のアレイまたはパス上の障害物の距離ではなく、別のTOFカメラの距離になる。
これらの周波数が測定の動作距離とその精度を決定するため、カメラの振幅変調周波数を操作して干渉を制限する余地はほとんどない。そして、これは同じ(閉じた)イメージングシステムに接続されていない独立したカメラの問題を解決しない。送信位相が重複しないように、各ソースでの送信時間を確立するために、カメラの同期を考慮することができる。この場合、システム内のTOFカメラは、他のものと同期するようにマスターモードで構成されている。これは、クローズドイメージングシステムにのみ適用できるという事実とは別に、このような同期を効果的に行うには、電子機器の変動(技術的分散)を修正するために各カメラを調整する手段を(工場で)提供する必要がある。問題のパルスの周波数と持続時間を考えると、これには、数ピコ秒程度の正確な同期が必要である。高価な高精度時計の使用も考えられない。したがって、そのような同期ソリューションは、非常に制限的であり、3Dイメージングシステムが適応するための柔軟性を提供しない。例えば、カメラをシステムに変更または追加するには、同期を確認する必要がある。国際出願第2017/061104号は、マルチTOFカメラ環境におけるこの混乱の問題に関係しており、特に、サイクルの持続時間、特に、2つの測定の組み合わせを調整することを提案している。位相毎のパルス数をNで除算し、いくつかの事前定義された値の中からサイクル比の値をランダムに選択することによって、例えば、疑似乱数ジェネレータ(線形フィードバックシフトレジスタ)を使用して、各パルスのカットオフ時間の持続時間を調整する。
本発明は、前述の欠点を有さない、おそらく同じ空間で協働する複数のTOFカメラのこの問題を解決するための他の解決策を提案する。
本発明の背後にある考え方は、発生源が干渉するのを防ぐことではなく、それを非常に起こりにくくすることである。次に、TOFカメラの操作空間内に他のTOFカメラがあるかどうかに関係なく、解決策が適用される。すなわち、提案された解決策は、もはや制限的ではない。同じ空間に他のカメラがあるかどうかを知る必要はない。
より具体的には、本発明は、送信クロック(カメラの光源にパルスを送る)からの同期信号に適用される追加の変調と(受信機のキャプチャ位相を制御する)キャプチャ位相クロックを使用することを提案する。この追加の変調は、パルスの持続時間や幅を変更せずに、すなわち、カメラの動作距離を変更せずに、特定のキャリア周波数で、パルス位置を変調するために使用される。その場合、サイクル比とクロック周波数は可変である。
飛行時間測定のために放出される一連の光パルスの持続時間に亘って、パルスの位置のこの変動性は、他のTOFカメラからの他の光源による位相外乱の割合を効果的に低減し、これらの他のカメラが本発明に係るそのような変調を実施しない場合でも、これは当てはまる。すなわち、解決策は、このシステムが開いている(独立したカメラ)か閉じている(コヒーレントイメージングシステムに統合されたカメラ)かにかかわらず、他のTOFカメラが動作する可能性のある空間で動作するTOFカメラの距離測定の信頼性を向上させる。
利点として、同じ空間で動作する全てのTOFカメラがそれぞれ本発明の解決策を実施している場合、各カメラは、システム内の他のカメラとともに光干渉から効果的に保護され、システム全体の信頼性が向上する。
したがって、本発明は、カメラハウジング内に以下の構成を有する、N個のキャプチャ位相、少なくとも2つのN整数を備える飛行時間測定ビジョンカメラに関する。
−カメラ用に定義されたキャリア周波数を有するキャリアクロック信号を受信し、前記キャリア周波数で変調クロック信号を生成するように構成された、飛行時間の測定のための電子制御回路と、
−一連の光パルスを目標シーンに向けて放出するために、前記変調クロック信号によって変調された発光源であって、1つのパルスの持続時間、および2つのパルス間の間隔は、1つのサイクル比を定義する、発光源と、
−積分期間毎にN個の画像キャプチャ位相を制御するように構成された画像アレイセンサであって、光源によって放出された光パルスと同期し、積分期間は、キャリアクロック期間に対応する、画像アレイセンサ。
本発明において、電子制御回路は、キャリア周波数よりも低いそれ自体の周波数の周期的信号によって合成された、カメラに固有のパルス位置変調機能を適用するキャリアクロック信号変調回路を備え、その結果、光源に印加され、センサのN個のキャプチャ位相を制御するための前記変調クロックのパルスは、キャリア周波数によって、および前記変調機能によって変調された2つの可変の連続するパルス間の時間間隔で設定される一定のパルス持続時間を有する。前記時間間隔は、可変サイクル比を定義するパルス持続時間に少なくとも等しいが、50%以下である。
カメラ固有の変調関数f(t)は、有利には構成可能である。一実施形態では、キャリア周波数よりも低いそれ自体の周波数を有する周期的信号は、位相ロックループによって供給される正弦波信号であり、これは、有利に構成可能である。
理想的には、変調関数は、変調クロックサイクル比が10%〜30%の間で変化するようなものである。
好ましくは、キャリアクロック信号変調回路は、画像アレイセンサの集積回路であり、変調クロック信号は、飛行時間測定キャプチャ位相を制御するために内部で適用され、カメラの光源の変調を同期させるために外部から供給される。
本発明はまた、キャリアクロック周期当たりN個のキャプチャ位相で飛行時間測定を実行するように構成された画像アレイセンサを備え、これには、N個の画像キャプチャ位相を制御するための変調クロック信号を供給する電子制御回路と、飛行時間測定ビジョンカメラの外部光源変調同期信号が含まれる。
本発明の他の特徴、詳細および利点は、例として添付の図面を参照して行われ、それぞれを表す以下の説明を読むと明らかになるであろう。
目標によって反射された光信号の位相を測定するために、N個のキャプチャ位相で飛行時間を測定するための原理の図である。 最新技術に係る4相飛行時間測定のための、TOFカメラのパルス光源から放出される一連の光パルスの放出に同期したアレイセンサの画像キャプチャ位相のタイミング図である。 本発明に係る、同期された発光信号および画像キャプチャ位相の、パルスの位置の追加の変調を示すタイミング図である。 飛行時間測定の積分期間毎に2つのキャプチャ位相を使用した飛行時間測定の場合の、最新技術および本発明に係る変調を反映する同様のタイミング図(さらに、周囲光を表すオフセット測定のための、期間外のキャプチャ位相)である。 飛行時間測定の積分期間毎に2つのキャプチャ位相を使用した飛行時間測定の場合の、最新技術および本発明に係る変調を反映する同様のタイミング図(さらに、周囲光を表すオフセット測定のための、期間外のキャプチャ位相)である。 3台のTOFカメラに適用された、本発明に係る飛行時間測定のために電子変調制御回路に適用された追加の変調キャリアクロック信号、および3台のカメラの出力で得られた変調クロック信号のタイミング図である。 本発明に係る電子変調制御回路を備える、TOFカメラ用の画像センサの簡略化されたブロック図である。 本発明に係るそのような画像センサを備えるTOFカメラの概略図である。
図1および2を参照して、1つのキャリアクロック周期に対応する積分周期毎に4つの画像位相をキャプチャし、画像のキャプチャと光パルスの放出を変調クロックによって同期して制御することにより、TOFカメラで距離測定を実行する方法を説明した。図1にグラフで表されている3つの構成a、h、およびΔφは、方程式、式1〜式3から抽出できることが分かる。
放出された光信号SEのパルス(したがって、反射信号SR)の持続時間とサイクル比を定義する変調クロック信号と、センサのキャプチャ位相ST0〜ST3は、周波数feで周期的な信号であり、パルスの持続時間(幅)Tpが一定で、TOFカメラ(すなわち、カメラで定義またはプログラムされている)に固有のキャリア周波数fp(Tp=1/2fp)によって設定され、飛行時間測定のためのカメラの動作距離を決定し、2つのパルス間のToff間隔も一定であり、サイクル比
Figure 2021517256
が50%未満になるように固定されていることが分かる。
本発明によれば、図3に示されるように、変調クロックのパルスの位置変調である追加の変調関数が適用される。これは、変調クロック信号(したがって、同期した形でその形状を再現する信号SE、SR、およびST0〜ST3のそれぞれ)がもはや周期的ではないことを意味する。パルスの持続時間(幅)は、一定のままであり、カメラに固有のキャリア周波数fpによって設定された値Tpに等しい。しかしながら、2つのパルス間のToff間隔は可変であり、最小値Toffにより、各パルスのサイクル比は、常に50%以下になる。変調クロック周波数は、可変になる。
変調関数を、所定の最小値(期間)の乗算変調係数k(t)として表すと、次のように表される。
Figure 2021517256
定義されたキャリア周波数で、変調関数の少なくとも2つのパラメータ、Toffとk(t)を有する。変調係数k(t)は、実数の間隔にわたって定義され、正の実数値M1とM2の間に含まれる。ToffとM1は、サイクル比率の最大値を定義し、この比率が50%以下になるように選択される。M2>M1の値は、最小サイクル比を設定する。この最小サイクル比は、通常10〜20%(制限を含む)の値を有する。M1=1の場合、Toffは、少なくともTpと等しくなければならない。
所定の最小値Toffの付加的な変調係数v(t)は、変調関数の別の同等の表現として採用され得る。変調クロック周波数feは、次のように表される。
Figure 2021517256
変調係数v(t)は、正の実数値L1とL2との間にある実際の係数の間隔に亘って同じ方法で定義される。値ToffおよびL1は、最大サイクル比を設定する。これは、50%以下であり、値L2>L1は、最小サイクル比を定義する。
しかしながら、値Tpの1〜100の比率で、好ましくは、10〜100の比率で、求められている2つのパルス間の間隔の変動性を考慮して、数ビットでデジタルエンコードする方法を知っている。以下では、乗算型変調係数k(t)での変調関数を参照する。
発明の概要で説明したように、変調クロックパルスの位置に変調を適用することにより、カメラのセンサが別のTOFカメラから放出されたパルス光を統合する可能性が低くなる。言い換えると、カメラが自身の光のみを統合する確率が大幅に改善されている。
本発明のこの追加の変調原理は、一般に、少なくとも2のN整数を有するNキャプチャ位相を有する画像アレイセンサによる飛行時間測定に適用可能である。例えば、図4および5は、光信号パルス周期SEと同期した、積分周期による2つのキャプチャ位相STx0とSTx1(2つのキャプチャ位相は180°オフセットされる)を使用した飛行時間測定の場合を示している。この場合、変調クロックは、積分期間TINTの外側の別のキャプチャ位相STyを制御するためにも使用され、パルス光の戻りによって乱されていない周囲光(無相関)をキャプチャして、飛行時間の測定値を計算する時にこの信号オフセットを差し引く。図3の例では、この位相STyは、360°(2πrad)オフセットされている。
図5は、キャプチャ位相制御サイクルの2つのパルス間の間隔のベースToff値に追加された変数v(t)として、本発明に係る変調関数の表現に対応することに留意されたい。この値Toffは、適用されるキャリア周波数fpの関数として、センサによって制御される積分期間TINT当たり2つのキャプチャ位相を使用した飛行時間測定の適切な機能、期間毎のおよび積分期間TINT外のキャプチャ位相数の適切な機能のために決定され、50%の最大サイクル比を保証する。
すなわち、図4のNキャプチャ位相(この例では、位相STx0、STx1、STy)の基本サイクルのパターンP(Tp、Toff)は、変更されておらず、本発明に係る変調の効果は、2つのパターンPの繰り返しの間に可変期間v(t)の間隔を挿入する(図5)。
本発明に係る2つのパルス間の間隔を変調する関数(またはパルス位置を変調する関数)は、好ましくは、周期的関数であり、これは、簡単かつ容易に構成可能な実施を提供する。
この周期関数は、上で説明したように、周波数と振幅が所望の変調関数k(t)を取得するように構成された正弦波であることが望ましい(最小および最大サイクル比)。図6は、3台のTOFカメラに適用されるこのような変調を示している。この例では、変調信号k(t),i=1〜3のピーク振幅は、3台のカメラ全てでほぼ同じであり、サイクル比(および周波数fe)の同じ変動間隔を定義するが、fmod周波数が異なる。各TOFカメラについて、図6は、光源を変調し、センサのキャプチャ位相を制御するために適用される、飛行時間測定用のキャリア信号fp、正弦波変調信号k(t)、およびカメラの変調クロック信号feのグラフィック表現を示している。3台のカメラのキャプチャ期間の回復は限られていることが分かる。
このような周期的正弦波変調関数は、デジタルで合成し、位相ロックループPLLで簡単に構成できる。特に、各TOFカメラの変調周波数は、ループの動作周波数分周器の値を設定することによって構成され、振幅は、ゲイン値を設定することによって構成される。
本発明に係るそのような構成可能な変調は、1台のTOFカメラを別のものから区別する。
図4および図5を参照して上記で説明したように、上記の全てが同様に、所定の値Toff付加的変調係数v(t)を有する変調関数の合成に適用される。
飛行時間測定のための本発明に係る変調クロック信号を提供するための電子変調制御回路は、図7および8に示されるように、TOFカメラのマトリクスセンサに直接実施することができる。すなわち、(カメラハウジング内の)カメラに統合された画像センサCIは、キャリア周波数、キャプチャ位相の数など、レジスタRegに実際に格納されているパラメータなどのセンサに供給されるパラメータに従って変調関数k(t)をデジタル合成するように構成されたSYNT回路を含む電子変調制御回路C−MODを備える。見てきたように、この合成回路は、位相ロックループPLLであり得る。最小値Toffは、設定として提供されるか、センサ自体(飛行時間測定の構成アルゴリズム)によって決定される。回路は、パルスの位置が関数k(t)によって変調される、本発明に係る変調クロック信号feを出力し、このクロック信号feは、飛行時間測定の様々なキャプチャ位相を制御するためにセンサのシーケンス回路SEQに適用される。この変調クロック信号feは、TOFカメラのS−LED光源の変調クロック信号として外部からも供給される。実際には、この電子変調回路は、飛行時間測定(S−TOF信号)を実行する必要があるたびにカメラによってアクティブ化される。図8の例では、問題のビジョンアプリケーションに使用される様々な3Dイメージングデータを計算によって取得するために、様々なキャプチャ位相に対応する画像センサClによってキャプチャされたサンプルがカメラのデータ処理回路μPに供給される。電子制御回路は、カメラの制御電子機器に統合することもでき、光源と同期してセンサ内の飛行時間測定を制御するために、本発明に係る変調クロック信号feをセンサに供給するのは、これらの制御電子機器である。

Claims (9)

  1. N個のキャプチャ位相で飛行時間を測定するビジョンカメラであって、Nは少なくとも2の整数であり、カメラハウジング内に、
    −カメラ用に定義されたキャリア周波数(fp)を有するキャリアクロック信号を受信し、前記キャリア周波数で変調クロック信号(fe)を生成するように構成された電子制御回路(C−MOD)と、
    −一連の光パルス(SE)を目標シーンに向けて放出するために、前記変調クロック信号(fe)によって変調された発光源(S−LED)であって、パルスの持続時間(Tp)、および2つのパルス間の間隔(Toff)は、50%以下のサイクル比を定義する、発光源と、
    −積分期間(TINT)毎にN個の画像キャプチャ位相(ST0、ST1、ST2、ST3)を制御するように構成された画像アレイセンサ(CI)であって、光源によって放出された光パルスと同期し、積分期間は、キャリアクロック周期(fp)に対応する、画像アレイセンサと、を備え、
    前記電子制御回路は、キャリアクロック信号の変調回路(MOD)を備え、キャリア周波数よりも低い周波数の周期信号によって合成された、カメラに固有のパルス位置変調関数(k(t))を適用し、光源変調信号として適用され、センサのN個のキャプチャ位相を制御するために適用される前記変調クロックfeのパルスは、キャリア周波数fpによって設定される一定のパルス持続時間Tp、Tp=1/2fpであり、および前記変調関数(k(t))によって変調された2つの連続する可変パルス間の時間間隔(Toff)を有し、前記時間間隔は、少なくともパルス持続時間に等しく、可変変調クロックサイクル比を定義するが、50%以下であることを特徴とする、ビジョンカメラ。
  2. 前記周期信号は、位相ロックループによって供給される正弦波信号であることを特徴とする、請求項1に記載のビジョンカメラ。
  3. 前記変調関数(k(t))は、カメラで構成可能な関数であることを特徴とする、請求項1または2に記載のビジョンカメラ。
  4. 前記電子制御回路は、カメラのセンサ内の集積回路である、請求項1ないし3のうちいずれか1項に記載のビジョンカメラ。
  5. 前記変調関数は、変調クロックサイクル比(fe)が10%〜30%の間で変化するようなものである、請求項1ないし4のうちいずれか1項に記載のビジョンカメラ。
  6. 画像アレイセンサであって、キャリア周波数fpは、キャリアクロック周期当たりN個のキャプチャ位相で飛行時間測定用に定義された動作距離に対応するキャリアクロック信号を受信する電子制御回路を備え、Nは、少なくとも2の整数であり、前記電子制御回路は、キャリア周波数より低い周期周波数信号(fmod)によって合成されたパルス位置変調関数(k(t))を適用する、キャリアクロック信号用の変調回路(C−MOD)を備え、変調クロック(fe)のパルスが、キャリア周波数によって設定される一定のパルス持続時間Tp、Tp=1/2fpであり、および前記変調関数によって変調された2つの連続するパルス間の可変時間間隔(Toff)を有するように変調クロック(fe)を供給し、前記時間間隔は、少なくともパルス持続時間に等しく、可変サイクル比を定義するが、50%以下であり、前記変調クロック(fe)は、センサのピクセルアレイシーケンス回路(SEQ)に適用され、前記N個のキャプチャ位相を制御し、飛行時間ビジョンカメラの光源(S−LED)を外部同期信号として提供することを特徴とする、画像アレイセンサ。
  7. 前記周期信号は、位相ロックループによって提供される正弦波信号である、請求項6に記載の画像アレイセンサ。
  8. 前記変調関数(k(t))は、構成可能な関数であることを特徴とする、請求項6または7に記載の画像アレイセンサ。
  9. 前記変調関数は、変調クロックサイクル比(fe)は、10%〜30%の間で変化するようなものである、請求項6ないし8のうちいずれか1項に記載の画像アレイセンサ。
JP2020570631A 2018-03-07 2019-03-01 マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ Active JP7319311B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1851944 2018-03-07
FR1851944A FR3078851B1 (fr) 2018-03-07 2018-03-07 Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
PCT/EP2019/055158 WO2019170542A1 (fr) 2018-03-07 2019-03-01 Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras

Publications (2)

Publication Number Publication Date
JP2021517256A true JP2021517256A (ja) 2021-07-15
JP7319311B2 JP7319311B2 (ja) 2023-08-01

Family

ID=63143189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570631A Active JP7319311B2 (ja) 2018-03-07 2019-03-01 マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ

Country Status (9)

Country Link
US (1) US12222453B2 (ja)
EP (1) EP3762738B1 (ja)
JP (1) JP7319311B2 (ja)
KR (1) KR20200125713A (ja)
CN (1) CN112166338B (ja)
CA (1) CA3092905A1 (ja)
FR (1) FR3078851B1 (ja)
IL (1) IL277098B2 (ja)
WO (1) WO2019170542A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114778076B (zh) * 2022-04-13 2025-03-04 天津大学 基于纳秒级led流水灯的多相机同步性测量方法及装置
CN115825953B (zh) * 2023-02-16 2023-06-16 西安电子科技大学 一种基于随机频率编码信号的前视超分辨成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2014181619A1 (ja) * 2013-05-10 2014-11-13 国立大学法人静岡大学 距離計測装置
WO2017061104A1 (ja) * 2015-10-09 2017-04-13 パナソニックIpマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像素子
JP2018021764A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP5028567B2 (ja) * 2010-07-14 2012-09-19 シーシーエス株式会社 光照射装置及び調光方法
GB2492848A (en) * 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
JP6057098B2 (ja) * 2012-01-09 2017-01-11 エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブEpson Norway Research And Development As ビジュアルおよびインタラクティブシステムのための同期、識別および追跡のための低干渉システムおよび方法
IN2014MN02315A (ja) * 2012-04-30 2015-08-07 Metrotech Corp
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
US9442186B2 (en) * 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
US10191154B2 (en) * 2016-02-11 2019-01-29 Massachusetts Institute Of Technology Methods and apparatus for time-of-flight imaging
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2014181619A1 (ja) * 2013-05-10 2014-11-13 国立大学法人静岡大学 距離計測装置
WO2017061104A1 (ja) * 2015-10-09 2017-04-13 パナソニックIpマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像素子
JP2018021764A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置

Also Published As

Publication number Publication date
EP3762738B1 (fr) 2022-04-06
WO2019170542A1 (fr) 2019-09-12
CN112166338B (zh) 2024-09-17
CA3092905A1 (en) 2019-09-12
US12222453B2 (en) 2025-02-11
JP7319311B2 (ja) 2023-08-01
US20200408917A1 (en) 2020-12-31
CN112166338A (zh) 2021-01-01
EP3762738A1 (fr) 2021-01-13
IL277098B1 (en) 2023-03-01
FR3078851A1 (fr) 2019-09-13
IL277098A (en) 2020-10-29
KR20200125713A (ko) 2020-11-04
IL277098B2 (en) 2023-07-01
FR3078851B1 (fr) 2020-02-14

Similar Documents

Publication Publication Date Title
CN108712245B (zh) 飞行时间成像设备和用于调节参考频率的方法
US9857469B2 (en) System and method for multi TOF camera operation using phase hopping
US10509126B2 (en) Method for driving a time-of-flight system
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
JP2004538491A (ja) 三次元距離画像を記録するための方法及び装置
TW202001190A (zh) 使用飛行時間及偽隨機位元序列來測量至物體之距離
EP3571467A1 (en) Method for epipolar time of flight imaging
JP7319311B2 (ja) マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ
CN111798503A (zh) 利用飞行时间相机同时进行数据传输和深度图像记录
CN112655022A (zh) 图像处理装置和图像处理方法
WO2011000815A1 (en) Range camera and range image acquisition method
US20220252730A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
JP4391643B2 (ja) 3次元画像入力装置
Kavli et al. Modelling and compensating measurement errors caused by scattering in time-of-flight cameras
US11287528B2 (en) Method and apparatus for determining relative motion between a time-of-flight camera and an object in a scene sensed by the time-of-flight camera
EP3552044B1 (en) Time-of-flight imaging apparatus and method
JP7646328B2 (ja) 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
US20240193800A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
EP3748395A1 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
WO2021005102A1 (en) Electronic device and method for time-of-flight measurement
EP3667363A1 (en) Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
US20240248185A1 (en) Correction of temperature-related measurement errors for time-of-flight cameras
US20240111055A1 (en) Continuous wave time of flight system
JP2001280927A (ja) 3次元形状計測方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R150 Certificate of patent or registration of utility model

Ref document number: 7319311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150