JP2018032401A - 車両の環境中の物体を捕捉する方法 - Google Patents

Abstract

【課題】車両の環境中の物体を捕捉する方法を提供する。【解決手段】車両１００の環境中の物体Ｏを捕捉するための方法において、当該車両１００の発光装置１１０を使って当該車両１００の環境中に第一の光パターンＬ１を生成するステップと、別車両２００の別の発光装置２１０を使って当該車両１００の環境中に第二の光パターンＬ２を生成するステップと、別車両２００からの第二の光パターンＬ２の生成パラメータＥＰを当該車両１００に送信するステップと、当該車両１００の捕捉モジュール１２０を使って、第一の光パターンＬ１と第二の光パターンＬ２を光学的に捕捉するステップと、捕捉された光パターンＬ１、Ｌ２と送信された生成パラメータＥＰに基づいて、当該車両１００の環境の少なくとも一部の奥行き画像を生成するステップと、を有する。【選択図】図２

Description

本発明は、車両の環境中にある物体を捕捉する（Ｃａｐｔｕｒｉｎｇ）方法と、車両の環境中にあるこのような物体を捕捉するための捕捉システムに関する。

原則的に、車両の環境中にある物体を捕捉しなければならないことが知られている。このような捕捉された物体に関するデータは、セキュリティの現場や自動または一部自動運転コンピュータに提供できる。車両の環境中にある物体を捕捉するために様々な可能性が知られている。レーダ技術や超音波によるセンサシステムに加えて、原則として光学的方法も知られている。例えば、車両のヘッドライト等によって生成可能な光パターンがすでに使用されており、このようにして、生成された明視野（光照射野）の反射がカメラシステムを使って検出可能である。これらの物体に関する、またはこの環境に関する結論を、環境中の該当する物体において検出された光パターンの回折線に基づいて導くことができる。その結果、奥行き画像と呼ばれるものをその環境の３次元画像として生成でき、その車両の他の制御機構に提供できる。

既知の方法の欠点は特に、車両の光パターンの選択肢に関する限定である。例えば、車両の発光装置は典型的に、車両に固定して、または実質的に固定して取り付けられる。わずかな調節の可能性が設けられていたとしても、第一の光パターンを形成するのは、実質的に固定された状態で生成された光円錐である。この光パターンに隣接する、特に車両の正面エリアの近隣領域の中の領域は、ここでは照明されないか、不十分にしか照明されない。これに対応する、車両の正面エリアのうち、さらに少し先の領域の鋭角照明もまた、この光パターンの反射の評価において比較的大きいエラーを生じさせる原因となる。

本発明の目的は、前述の欠点を少なくとも部分的に排除することである。特に、本発明の目的は、車両の環境中の物体を、費用対効果の高い方法で、簡単に、よりよく捕捉できるようにすることである。

上記の目的は、請求項１の特徴を有する方法によって、および請求項１０の特徴を有する捕捉システムによって達成される。本発明のその他の特徴と詳細は、従属項、説明文、および図面から知ることができる。ここで、本発明による方法に関連して説明されている特徴と詳細は勿論、本発明による捕捉システムにも当てはまり、またその逆でもあり、全体を通じて、本開示に関する個々の発明の態様に関する相互参照も行われ、またはそれを行うことができる。

本発明による方法は、車両の環境中の物体を捕捉するためのものである。そのために、この方法は、
−当該車両の発光装置を使って当該車両の環境中に第一の光パターンを生成するステップと、
−別車両の別の発光装置を使って当該車両の環境中に第二の光パターンを生成するステップと、
−別車両からの第二の光パターンの生成パラメータを当該車両に送信するステップと、
−当該車両の捕捉モジュールを使って、第一の光パターンと第二の光パターンを光学的に捕捉するステップと
−捕捉された光パターンと送信された生成パラメータに基づいて、当該車両の環境の少なくとも一部の奥行き画像（ａ ｄｅｐｔｈ ｉｍａｇｅ）を生成するステップと、
を有する。

本発明による方法は、対応する奥行き画像が車両の環境中で生成された第一の光パターンから生成されるという既知の方法に基づいている。しかしながら、本発明によれば、第一の光パターンに加えて、別車両の少なくとも１つの第二の光パターンが考慮される。それは、通信されるデータ、特に生成パラメータの形態と、この第二の光パターンを検出することによる光学的形態の両方で考慮される。本発明による方法を交通においてどのように使用できるかを以下に説明する。

ある車両が走行中で、環境中の物体を捕捉するための本発明による方法を実行したい場合、この車両の発光装置のヘッドライトのスイッチを入れる。環境のうちの該当する領域、典型的には当該車両の正面のエリアがこの発光装置により照明され、対応する光円錐が第一の光パターンを表す。これは、単純な光円錐でも、例えば格子線を光円錐の中に光学的に含めることができるような、より複雑な光パターンでもよい。

別車両とも呼ばれる他の車両が当該車両の環境中に入るとすぐに、この別車両もまた、本発明による方法のためのデータに貢献できる。この目的のために、別車両も同様に別の発光装置を備え、これは例えば、この別車両のヘッドライトの形態とすることができる。別車両のヘッドライトもまた、この別車両の正面のエリア内に光円錐および、したがって第二の光パターンを形成する。２台の車両間の、すなわち当該車両と別車両の相互に関する相関関係に応じて、それゆえ、第一の光パターンと第二の光パターンの重複または接触が起こりうる。すると当該車両内で、捕捉モジュールを使い、第一の、自分の光パターンだけでなく、別車両の第二の、別の光パターンも捕捉することが可能となる。換言すれば、車両の正面の照明状況は、第一の光パターンと第二の光パターン間の相関関係が存在するため、変化する。

車両の内部でのみ実行される既知の方法においては、そのような状況でこれら２つの光パターンのこの相関関係の合理的評価を行うことができないが、これは、そのような状況でも本発明によるようにすれば行うことができ、さらには、奥行き画像生成という点で改善された生成物も伴う。しかしながら、これを実行できるようにするためには、追加のデータが必要である。当該車両はこれらの追加のデータを別車両から第二の光パターンの生成パラメータの形態で受け取る。本発明の意味における生成パラメータとは、それぞれの光パターンに技術的影響を与えるパラメータを意味すると理解される。以下に説明するように、これは例えば、光パターンの種類、格子分布、別の発光装置の発光方向、別の発光装置の光の強度、または別の発光装置の位置とすることができる。生成パラメータは勿論、複数の異なる個別のパラメータを含むこともできる。当該車両の自分の発光装置は当該車両にとってわかっており、それに対応して、校正データが関連する制御モジュール内に存在することから、第一の光パターンの自分での生成は当該車両の内部で行うことができ、該当するデータは、第一の光パターンの捕捉中、評価のためにも利用可能である。今度は、対応するデータが生成パラメータの形態で第二の光パターンのために別車両から当該車両に送信されることから、第二の光パターンの情報を、自分の車両内で２つの光パターンの光学的に捕捉している間に考慮することができる。それゆえ、原則的に、２つまたはさらにはそれ以上の光パターンの重複する複雑な光の状況においても、環境中の物体を捕捉するための方法を実行できるだけでなく、むしろ、このような状況での捕捉の結果は、その奥行き画像生成のその質に関して、はるかに改善される。特に、三角（測量）法と呼ばれるものをこのように実行して、個々の光パターンおよび関連する反射を生成パラメータと相関させ、それぞれの物体の捕捉と奥行き画像生成のために、当該車両の環境中の、それに対応してより正確になった物体データを提供できる。

本発明の意味における奥行き画像とは、車両の環境の、少なくとも部分的な区分の奥行きを技術的に表すものを意味すると理解される。それは例えば、奥行き画像として提供される３次元マップとすることができる。しかしながら、当該車両とその制御モジュールにそれぞれの物体の３次元位置または３次元表面範囲を伝える、技術的に読取り可能なデータもまた、原則として、奥行き画像と理解される。人が視覚的に検出可能な３次元マップの実際の形成は奥行き画像の意味において可能であるが、これは絶対的に必要というわけではない。

本発明による方法において、生成パラメータが以下のパラメータの内容
−別の発光装置の位置
−別の発光装置の発光方向
−別の発光装置の光の強度
−第二の光パターンの種類
のうちの少なくとも１つを有していれば有利であるかもしれない。

上のリストは、すべてを網羅するリストではない。ここで、個々の情報は、相互に組み合わせて複数の生成パラメータを形成でき、またはこれらの生成パラメータのうちの１つだけをそれとして送信することもできる。別の発光装置の位置は、特にここでは、別車両の中での、またはそれに関するその相対的位置に関する。

発光方向はまた、好ましくは、別車両の運転方向に関して判断されるか、または生成パラメータとして出力される。別の発光装置の光の強度は、例えばルクスまたはルーメンの単位で、対応する技術的データ情報として伝えることができる。光パターンの種類とは、特に光円錐の実際の現れ方を意味すると理解される。光円錐の円周形状に加えて、より複雑な形状、例えば格子線または格子交点を含めることができ、これは第二の光パターンの種類の一部である。

本発明による方法において、当該車両の発光装置および／または別車両の別の発光装置は、それぞれ、２つの前方ヘッドライトを有していればさらに有利でありうる。車両は典型的に、前方ヘッドライトは必ず装備されている。本発明による方法に関して、特に車両の正面にある、すなわち車両の環境の正面のエリア内にある物体もまた、関心対象である。各々の場合に、それぞれ発光装置または別の発光装置のための２つの前方ヘッドライトを使用する結果として、当該車両の既存の技術的装置を使って本発明による方法を実行できる。それゆえ、追加の構成要素は不要であり、その結果、本発明による方法を技術的に簡単に、費用対効果の高い（良い）方法で実現できる。ここで、各発光装置の２つの前方ヘッドライトは好ましくは、それぞれの光円錐を生成し、その結果、それぞれの２つの前方ヘッドライトの光円錐の組合せが、発光装置の、または別の発光装置の関連する光パターンを形成する。

本発明による方法において、第一の光パターンと第二の光パターンが同様の、特に同一の、または実質的に同一の構成を有していれば同様に有利である。ここで、光パターンの構成とは、それぞれの光パターンのそれぞれの形状、種類、および／または光の強度を意味すると理解される。個々の光パターンは、例えば光格子を有することができ、その結果、個々の格子線によって奥行き画像生成のための評価を改善できる。光パターンが相互に同様になるとすぐに、対応する格子線は同様の間隔または同様の基本形状を有することになる。好ましくは、同一の、または実質的に同一の光パターンを使用することさえ可能であり、その結果、最終的に単純化された評価を実行できる。

本発明による方法において、第二の光パターンが少なくとも部分的に第一の光パターンと重複すれば有利であるかもしれない。車両が相互に関してどのように配置されるか、および２つの発光装置の発光方向がどのように配列されるかに応じて、光パターンの重複が起こりうる。現実には、これは、個々の光円錐が相互に重複し、それによってこの重複部分において明るさの増した領域が提供されることを意味する。重複の結果として、さらに、２つの光パターンの相関関係に関する光学的結論が可能となる。例えば、個々の光格子線が表示されるか、それぞれの光パターンの中に含められた場合、斜めの方位および、これらの個々の光格子線間のこの斜めの方位の評価によって、当該車両と別車両との間の相対的配置に関する光学的相関関係を評価することが可能となる。また、明るさの変化により、それぞれの光パターンに光格子が使用されなくても、このような二重の領域を特定することが可能となる。

本発明による方法において、第二の光パターンが、環境中の第一の光パターンと区分ごとに（区分的に）隣接する領域内で生成されればさらに有利である。すでに説明したように、発光装置は特に車両のそれぞれの前方ヘッドライトにより形成される。その結果、車両の正面の近隣領域内で、照明がわずかであるか、部分的にまったく照明されない、ということがなくなる。しかしながら、照明の当たらない領域で物体を捕捉するための本発明による方法を実行できるようにするために、第二の光パターンは好ましくは、特に第一の光パターンに隣接する領域において提供され、または配置される。第二の光パターンはそれゆえ、重複するという点で役割を果たすだけでなく、環境の中の、そうでなければ照明されない領域をさらに照明するために拡張するという点でも役割を果たすことになる。本発明による方法の利点はそれゆえ、環境の中の、より大きな部分についても達成でき、同じ結果が得られる。

本発明による方法において、好ましい生成パラメータが、特に当該車両によって別車両に送信されればさらに有利でありうる。例えば、方法の開始時であっても、当該車両と別車両との間で、本発明による方法の計画された実行を扱う通信が行われれば有利である。例えば、当該車両は別車両に、現在の状況にとって、または当該車両の捕捉可能性にとってどの生成パラメータが最適であるかを通信できる。ここで、生成パラメータのための具体的な捕捉パラメータまたはパラメータ範囲を好ましい生成パラメータとして送信できる。また、別車両が、原則的に別車両にとって技術的観点から可能である、対応する生成パラメータ範囲を事前に当該車両に送信することも想定可能である。この、当該車両と別車両との間の事前通信は、本発明による方法の容易な実行につながるが、それは、これらの生成パラメータに関する技術的協働に対して事前に注意を払うことができるからである。

本発明による方法において、少なくとも１つのその他の、第二の光パターンが、少なくとも１台のその他の別車両の別の発光装置で生成され、その後の方法ステップのために考慮されればさらに有利である。例えば、２つ、３つ、またはそれ以上の別車を、それに対応して、２つ、３つ、またはそれ以上の光パターンと共に使用することも可能である。利用可能な光パターンの数が多いほど、すべての光パターンの相関関係の評価の点で複雑さが増すだけでなく、最終的に、異なる方法、例えば三角法（三角測量）を用いて環境中の物体を捕捉するための所望の奥行き画像の形成を、より正確に実行できる。特に、このようにして、交通量が多い状況、混雑した状況、または渋滞時に、それぞれの車両にとっての環境中の物体の、大幅に改善された検出と捕捉を提供することが可能となる。

さらに、本発明による方法において、光学的に捕捉するステップは、当該車両の捕捉モジュールおよび／または別車両の別の捕捉モジュールで実行されればさらに有利となりうる。光学的に捕捉するステップが当該車両の中でのみ、その中に配置された捕捉モジュールを使って行われるという一般的可能性に加えて、別の捕捉モジュールを使用することも可能である。別の捕捉モジュールは勿論、その代わりにも、またはそれに加えても使用できる。別の捕捉モジュールを追加で使用することにより、２台の車両を一緒に使うことによって、いわば、ステレオカメラの提供が可能となる。ここで、捕捉されたデータは同様に、別車両の別の捕捉モジュールよって、評価のために画像データの形態で当該車両に、またここでは好ましくは関連する制御モジュールに送信される。それゆえ、現在の車両、すなわち当該車両の、および少なくとも１台の別車両の技術的特徴の組合せを、光パターンの生成のためだけでなく、すべての光パターンの光の状況を捕捉するためにも使用することが可能である。

本発明の主旨はまた、ある車両の環境中の物体を捕捉するための捕捉システムでもある。このような捕捉システムは、当該車両の発光装置を使って当該車両の環境中に第一の光パターンを生成するための生成モジュールを有する。さらに、別車両から第二の光パターンの生成パラメータを受け取るための通信モジュールがある。捕捉モジュールを使って、第一の光パターンの、および第二の光パターンの光学的捕捉を実行することが可能である。さらに、制御モジュールは、捕捉された光パターンと送信された生成パラメータに基づいて、当該車両の環境の少なくとも一部の奥行き画像を生成する役割を果たす。

本発明による捕捉システムはそれゆえ、本発明による方法に関して詳しく説明したものと同じ利点を提供する。捕捉システムは特に、本発明による方法を実行するように構成される。

本発明のその他の特徴、利点、および詳細は、本発明の例示的実施形態が図面に関して詳しく述べられている以下の説明からわかる。ここで、特許請求の範囲と説明文中に記載されている特徴は、本発明にとって、それぞれの場合において単独でも、何れの所望の組合せでも本質的となりうる。

捕捉システムの既知の解決策のある実施形態を概略的に示す。 本発明による方法の実施形態を概略的に示す。 本発明による方法の別の実施形態を概略的に示す。

図１は、既知の解決策による問題の状況を概略的に示す。車両１００の中に、２つの前方ヘッドライト１１２を有する発光装置１１０が配置されている。前方ヘッドライト１１２は、対応する光円錐を備え、第一の明視野Ｌ１を提供する。しかしながら、光パターンＬ１は、ここではオートバイとして描かれている物体Ｏを捕捉しないか、または物体Ｏを部分的にしか捕捉しない。ここで捕捉モジュール１２０、例えばデプスカメラまたは他の光学検出手段を使って明視野Ｌ１を光学的に再捕捉した場合、実際に光パターンＬ１が照射されていた領域のみの評価中に反射を提供できる。物体の領域には光パターンＬ１が照射されていないか、または部分的にしか照射されていなかったため、ここではいかなる表明も行うことができず、関係する奥行き画像を生成するための評価を提供できない。換言すれば、車両１００または捕捉モジュール１２０は物体Ｏのこの領域において、第一の光分布Ｌ１がないため、いわば盲目である。

そこで、この領域も同様に光学的方法で捕捉し、それを奥行き画像のために提供できるようにするために、図２は、第二の光パターンＬ２との相関関係を提供する解決策を示している。この場合、別車両２００が当該車両１００の横を走っている。別車両２００にも同様に、前方ヘッドライト２１２を有する発光装置２１０が備えられている。前方ヘッドライト２１２、この場合、右側の前方ヘッドライト２１２が、今度は、車両１００の前方の、照明されていなかったエリアの方向への発光方向ＬＲを有する光パターンＬ２を生成する。換言すれば、ここで示されているのは、物体Ｏの領域が今度は第二の光パターンＬ２により照明されることである。車両１００の中に、捕捉システム１０が配置されている。捕捉モジュール１２０、この場合も例えばデプスカメラを援用して、車両１００の正面の光の状況を検出できる。第二の光パターンＬ２により、光の状況が今度は、物体Ｏからの反射も含む。対応する画像が制御モジュール４０に送信される。第一の光パターンＬ１はすでに発光装置１１０によって生成モジュール２０を使って生成されている。ここで、生成パラメータＥＰの送信が、別車両２００から車両１００の捕捉システム１０の通信モジュール３０に対してさらに実行される。これらの生成パラメータＥＰは、特に、別車両２００の幾何学的配置、配列、および位置に関する第二の光パターンＬ２の相関関係を扱う、車両２００の校正データを含む。これらの生成パラメータＥＰを評価することによって、今度は、第二の光パターンＬ２の反射と車両１００の捕捉モジュール１２０における対応する捕捉を評価して、これらをネイティブイメージ内で処理することが可能となる。

図３は、本発明によるシステムがそのほかに、特に別車両にも捕捉システム１０が備えられている場合に、どのように動作できるかを示している。方法が実行される前に事前通信を行うことができ、これは車両１００と別車両２００の２つの通信モジュール３０間の破線矢印によって示されている。例えば、別発光装置２１０の生成パラメータＥＰに関する可能な設定範囲を事前に決定できる。これに加えて、車両１００にとって好ましい生成パラメータＥＰの範囲を事前に別車両２００に通信できる。それゆえ、通信と、特に本発明による方法ステップの後の評価をさらに改善することが可能である。

実施形態に関する上記の説明は、本発明を例の枠内でのみ説明した。実施形態の個々の特徴は勿論、これらが技術的に有意義であるかぎり自由に相互に組み合わせることができ、これも本発明の範囲から逸脱しない。

１００ 車両
１１０ 発光装置
１２０ 捕捉モジュール
２００ 別車両
２１０ 別の発光装置
ＥＰ 生成パラメータ
Ｌ１ 第一の光パターン
Ｌ２ 第二の光パターン
Ｏ 物体

Claims (10)

1. 車両（１００）の環境中の物体（Ｏ）を捕捉するための方法において、
   −前記車両（１００）の発光装置（１１０）を使って前記車両（１００）の環境中に第一の光パターン（Ｌ１）を生成するステップと、
   −別車両（２００）の別の発光装置（２１０）を使って前記車両（１００）の環境中に第二の光パターン（Ｌ２）を生成するステップと、
   −前記別車両（２００）からの前記第二の光パターン（Ｌ２）の生成パラメータ（ＥＰ）を前記車両（１００）に送信するステップと、
   −前記車両（１００）の捕捉モジュール（１２０）を使って、前記第一の光パターン（Ｌ１）と前記第二の光パターン（Ｌ２）を光学的に捕捉するステップと
   −前記捕捉された光パターン（Ｌ１、Ｌ２）と前記送信された生成パラメータ（ＥＰ）に基づいて、前記車両（１００）の環境の少なくとも一部の奥行き画像を生成するステップと、
   を有する方法。
2. 前記生成パラメータ（ＥＰ）は、以下のパラメータの内容、すなわち
   −前記別の発光装置（２１０）の位置
   −前記別の発光装置（２１０）の発光方向（ＬＲ）
   −前記別の発光装置（２１０）の光の強度
   −前記第二の光パターン（Ｌ２）の種類
   のうちの少なくとも１つを有することを特徴とする、請求項１に記載の方法。
3. 前記車両（１００）の前記発光装置（１１０）および／または前記別車両（２００）の前記別の発光装置（２１０）がそれぞれ２つの前方ヘッドライト（１２１、２１２）を有することを特徴とする、請求項１〜２の何れか１項に記載の方法。
4. 前記第一の光パターン（Ｌ１）と前記第二の光パターン（Ｌ２）は同様の、特に同一または実質的に同一の構成を有することを特徴とする、請求項１〜３の何れか１項に記載の方法。
5. 前記第二の光パターン（Ｌ２）は前記第一の光パターン（Ｌ１）と少なくとも部分的に重複することを特徴とする、請求項１〜４の何れか１項に記載の方法。
6. 前記第二の光パターン（Ｌ２）は、環境の、前記第一の光パターン（Ｌ１）と少なくとも区分的に隣接する領域において生成されることを特徴とする、請求項１〜５の何れか１項に記載の方法。
7. 好ましい生成パラメータ（ＥＰ）が、特に前記車両（１００）から前記別車両（２００）に送信されることを特徴とする、請求項１〜６の何れか１項に記載の方法。
8. 少なくとも１つのその他の、第二の光パターン（Ｌ２）が、少なくとも１台のその他の別車両（２００）により、別の発光装置（２１０）を使って生成され、その後の方法ステップのために考慮されることを特徴とする、請求項１〜７の何れか１項に記載の方法。
9. 前記光学的に捕捉するステップは、前記車両（１００）の捕捉モジュール（１２０）の中および／または前記別車両（２００）の別の捕捉モジュール（２２０）の中で実行されることを特徴とする、請求項１〜８の何れか１項に記載の方法。
10. 車両（１００）の環境中の物体（Ｏ）を捕捉するための捕捉システム（１０）において、前記車両（１００）の発光装置（１１０）を使って前記車両（１００）の環境中に第一の光パターン（Ｌ１）を生成するための生成モジュール（２０）と、別車両（２００）から第二の光パターン（Ｌ２）の生成パラメータ（ＥＰ）を受け取るための通信モジュール（３０）と、前記第一の光パターン（Ｌ１）と前記第二の光パターン（Ｌ２）を光学的に捕捉するための捕捉モジュール（１２０、２２０）と、前記捕捉された光パターン（Ｌ１、Ｌ２）と前記送信された生成パラメータ（ＥＰ）に基づいて、前記車両（１００）の環境の少なくとも一部の奥行き画像を生成するための制御モジュール（４０）と、を有する捕捉システム（１０）。

Images