[go: up one dir, main page]

JP2019532292A - 車両位置特定の自律走行車両 - Google Patents

車両位置特定の自律走行車両 Download PDF

Info

Publication number
JP2019532292A
JP2019532292A JP2019517922A JP2019517922A JP2019532292A JP 2019532292 A JP2019532292 A JP 2019532292A JP 2019517922 A JP2019517922 A JP 2019517922A JP 2019517922 A JP2019517922 A JP 2019517922A JP 2019532292 A JP2019532292 A JP 2019532292A
Authority
JP
Japan
Prior art keywords
vehicle
feature
autonomous vehicle
features
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019517922A
Other languages
English (en)
Inventor
デビテット・ポール
グラハム・マシュー
ジョーンズ・トロイ
ロンメル・ピーター
デミリー・ジョン・ディー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Veoneer US LLC
Original Assignee
Veoneer US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Veoneer US LLC filed Critical Veoneer US LLC
Publication of JP2019532292A publication Critical patent/JP2019532292A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/396Determining accuracy or reliability of position or pseudorange measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】従来よりも向上した、自律走行車両の方法する。【解決手段】自律走行車両をナビゲートする方法であって、自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付ける過程と、自律走行車両のレーダセンサが受信した特徴物のリストであって、複数の時間ステップにわたる、自律走行車両に関する特徴物のリストから、走行可能面を基準とした自律走行車両の位置を決定する過程と、走行可能面を基準とした自律走行車両の位置とGPS信号とに基づき、走行可能面を基準とした自律走行車両の位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、自律走行車両の向上した位置を提供する過程と、を備える。【選択図】図8

Description

関連出願
本願は、2016年9月29日に同時に出願した、Matthew Graham、Kyra Horne、Troy Jones、Paul DeBitetto及びScott Lennoxによる「物体レベル融合の自律走行車両:(Autonomous Vehicle: Object-Level Fusion)」(代理人管理番号5000.1005-000 (CSDL-2488))、ならびに2016年9月29日に同時に出願した、Troy Jones、Scott Lennox、John Sgueglia及びJon Demerlyによる「モジュラー型アーキテクチャの自律走行車両:(Autonomous Vehicle: Modular Architecture)」(代理人管理番号5000.1007-000 (CSDL-2490))に関する。
上記の出願の全教示内容は、参照をもって本明細書に取り入れたものとする。
今日の車両には、レーンアシスト、衝突前制動、リアクロストラック検出などの自動化システムを採用したものがある。これらのシステムは、車両の運転手が人為的過誤を犯さないように且つ他の車両、移動体又は歩行者との衝突を回避するように支援し得る。
しかし、これらのシステムは一部の車両機能を自動化するだけであって、他の動作については未だ車両の運転手に頼っている。
一実施形態において、自律走行車両をナビゲートする(操縦する(navigate))方法は、自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付ける過程、を備える。前記方法は、さらに、前記自律走行車両のレーダセンサから受け取った特徴物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、走行可能面を基準とした前記自律走行車両の位置を決定する過程、を備える。前記方法は、さらに、前記走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供する過程、を備える。前記GPS信号は測地データを出力することができるが、他の実施形態では他のシステムが測地データを出力するものとされてもよい。
一実施形態において、前記方法は、さらに、特徴物の前記リストから、前記走行可能面を基準とした前記自律走行車両の姿勢を決定する過程、を備える。
一実施形態において、前記方法は、さらに、前記自律走行車両のビジョンセンサが受信した画像データを、データベースに記憶されたランドマーク特徴物と突き合わせる過程、を備える。
一実施形態において、前記方法は、さらに、複数の時間ステップにわたって、所与のセンサからの特徴物ごとの相対位置を追跡する過程と、追跡された前記相対位置に基づいて、静止していると判断された特徴物を保持し続ける過程と、を備える。前記方法は、さらに、レーダ特徴物について、拡張カルマンフィルタ(EKF)測定を実行して車両位置及び車両姿勢を更新する過程と;レーダ特徴物が観測されるたびに、入力センサ源の誤差推定量及び品質尺度を更新する過程と、を備えてもよい。前記方法は、さらに、ビジョン特徴物について、ビジョン特徴物ごとに、そのビジョン特徴物がセンサ視野外になるまで、そのビジョン特徴物を追跡する過程と、その特徴物が観測されるたびに、クローン状態を付加する過程と、そのビジョン特徴物が前記センサの視野外になると、多状態制約付きカルマンフィルタ(MSCKF)フィルタ測定更新を実行して車両位置及び車両姿勢を更新し、かつ、入力センサ源の誤差推定量及び品質尺度を更新する過程と、を備えてもよい。特徴物を保持し続ける前記過程は、レーダ特徴物軌跡とビジョン特徴物軌跡の両方を用いる副過程と、自律走行車両の予測された動きと、前記レーダ特徴物軌跡およびビジョン特徴物軌跡との比較に基づき、静止している特徴物を決定する副過程とを含んでもよい。
一実施形態では、前記レーダセンサが、レーダ特徴物と複数対象追跡データとを出力する。
一実施形態において、前記方法は、特徴物の前記リストを、前記自律走行車両の位置を基準とした物体の相対位置のリストに変換する過程、を備える。
一実施形態において、前記方法は、さらに、前記特徴物がビジョン特徴物であり、かつ、当該ビジョン特徴物を、前記自律走行車両の視線に変換する過程、を備える。
一実施形態において、前記方法は、向上した位置を提供する過程が、さらに、慣性計測装置(IMU)データを用いる。
一実施形態において、自律走行車両をナビゲートするシステムは、自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付けるように構成された対応付けモジュール、を備える。前記システムは、さらに、前記自律走行車両のレーダセンサから受け取った対象物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、環境内の静止している特徴物を基準とした前記自律走行車両の位置を決定し、走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供するように構成された位置特定制御部、を備える。
一実施形態において、自律走行車両をナビゲートする方法は、自律走行車両が受信した最新の正確な全地球測位システム(GPS)信号を決定する過程、を備える。前記方法は、さらに、前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定する過程、を備える。静止している特徴物の前記リストは、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む。前記方法は、さらに、前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出する過程、を備える。
一実施形態において、自律走行車両をナビゲートするシステムは、自律走行車両のGPS受信部と、位置特定制御部と、を備える。前記位置特定制御部は、前記自律走行車両の前記GPS受信部が受信した最新の正確な全地球測位システム(GPS)信号を決定するように構成されている。前記位置特定制御部は、さらに、前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定するように構成されている。静止している特徴物の前記リストは、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む。前記位置特定制御部は、さらに、前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出するように構成されている。
前述の内容は、添付の図面に示す本発明の例示的な実施形態についての以下のより詳細な説明から明らかになる。異なる図を通して、同じ参照符号は同じ構成/構成要素を指すものとする。図面は必ずしも縮尺どおりではなく、むしろ、本発明の実施形態を図示することに重点が置かれている。
観察、状況判断、意思決定及び行動(OODA)のモデルの自動制御システムの一実施形態における各ステップを示す図である。 自律走行車両の高次アーキテクチャの一実施形態のブロック図である。 センサインタラクション制御部(SIC)、認知制御部(PC)及び位置特定制御部(LC)の一実施形態を示すブロック図である。 自動運転制御部(ADC)、車両制御部(VC)及び駆動部(アクチュエータ)制御部の例示的な一実施形態を示すブロック図である。 ADC及びVCの意思決定時間スケールを示す図である。 システム制御部、ヒューマンインターフェース制御部(HC)及びマシンインターフェース制御部(MC)の例示的な一実施形態を示すブロック図である。 実世界環境内での本発明の一実施形態を示す図である。 実世界環境内での本発明の一実施形態を示す他の図である。 本発明により用いられるプロセスの例示的な一実施形態を示すフロー図である。 本発明により用いられるプロセスの例示的な一実施形態を示すフロー図である。 本発明の実施形態を実現可能なコンピュータネットワーク又は同様のデジタル処理環境を示す図である。 図10のコンピュータシステムにおけるコンピュータ(例えば、クライアントプロセッサ/装置、サーバコンピュータ等)の例示的な内部構造の図である。
以下では、本発明の例示的な実施形態について説明する。
図1は、観察、状況判断、意思決定及び行動(OODA)のモデルの自動制御システムの一実施形態における各ステップを示す図である。高度に自動化された運転システムのような自動化システムや、自動運転車(すなわち、自律走行車両)は、OODAモデルを採用している。観察仮想レイヤ102は、実世界(地球)から、レーザ距離計、レーダ、赤外線、又はビジョンシステムなどのマシンセンサを用いて特徴物を検知することを伴う。状況判断仮想レイヤ104は、検知された情報に基づき、状況認識(situational awareness)を行うことを伴う。状況判断仮想レイヤの活動例として、カルマンフィルタリング、モデルベーストマッチング、機械学習又は深層学習、およびベイジアン予測が挙げられる。意思決定仮想レイヤ106は、複数の対象から行動を選び出し、最終的な決断とする。行動仮想レイヤ108は、その決断を実行するための案内及び制御を提供する。図2は、自律走行車両の高次アーキテクチャ206の一実施形態のブロック図200である。アーキテクチャ206は、完全に自動化された運転を可能にするのに、トップダウン式のアプローチを用いて構築されている。アーキテクチャ206は、また、異なる車両メーカーのハードウェアにも適応することができるようにモジュラー型のアーキテクチャであるのが好ましい。したがって、アーキテクチャ206は、異なる車両メーカーのハードウェアの特性を最大限に高めるように機能的に分割された、複数のモジュラー要素を備えている。一実施形態において、本明細書に記載のモジュラー型アーキテクチャ206は、あらゆる車両204のセンサ系統202に対するインターフェースとなることができる。モジュラー型アーキテクチャ206は、さらに、あらゆる車両204から車両情報を受け取ることが可能であり且つあらゆる車両204と通信することが可能である。
モジュラー型アーキテクチャ206の構成要素には、センサ202、センサインターフェース制御部(SIC)208、位置特定制御部(LC)210、認知制御部(PC)212、自動運転制御部214(ADC)、車両制御部216(VC)、システム制御部218(SC)、ヒューマンインタラクション制御部220(HC)、およびマシンインタラクション制御部222(MC)が含まれる。
再び図1のOODAモデルを参照する。自律走行車両の観点から見ると、前記モデルの前記観察レイヤは、例えばビジョンセンサ、レーダ(Radar:「電波検出及び測距」)、ライダー(LIDAR:「光検出及び測距」)、全地球測位システム(GPS)等からセンサ読取値を収集することを含む。図2に示すセンサ202が、このような観察レイヤを表している。前記モデルの前記状況判断レイヤの例は、実世界において、走行中の道路に対して及びその道路上の車線区分線に対して車がどこにあるのかを判断することを含んでもよく、図2の認知制御部(PC)212及び位置特定制御部(LC)210により表される。前記モデルの前記意思決定レイヤの例は、車を自動運転するための経路(通過する部分(corridor))を決定することを含み、図2の自動運転制御部(ADC)214及び車両制御部(VC)216などの構成要素を有する。前記行動レイヤの例は、その経路を、図4の駆動部制御部410のような、前記車両の駆動系統(例えば、操舵副系統、加速副系統、制動副系統等)への、当該経路に沿って車を導く指令(コマンド)に変換することを含む。当業者であれば、システムのこれらのレイヤは必ずしもこの順序で進むとは限らず、観察が変わり次第、その他のレイヤの結果も変わるということを理解できるであろう。例えば、走行すべき経路をシステムが選んだ後も、他の物体の検出などといった道路上の状況の変化によって、車の経路を変更したり衝突を防ぐための緊急手順を実行したりしてもよい。また、前記車両制御部の前記指令は、ドリフトやスキッドなどの予想される車両挙動の変化を補償するように動的に調節される必要があり得る。
高次のレベルにおいて、モジュール(手段)のアーキテクチャ206は、センサ202から測定値を受け取る。センサが異なれば出力する情報のセットも異なり且つフォーマットも異なり得るが、モジュラー型アーキテクチャ206は、センサデータを当該モジュラー型アーキテクチャ206が解釈できるベンダーニュートラルな(特定のベンダーに依存しない)フォーマットのデータに変換するように構成されたセンサインターフェース制御部(SIC)208(センサインターフェースサーバ(SIS)と称されることもある)を含んでいる。したがって、モジュラー型アーキテクチャ206は、車両の前記センサから、当該センサのベンダー、メーカー又は構成に関係なく、当該車両204周辺の環境について知ることができる。SIC208は、また、各センサのデータに対して、車における当該センサの位置及び向きを含むメタデータタグを付すことができる。当該メタデータタグは、前記認知制御部によって各センサ独自の角度、視野及び死角を決定するのに用いられることができる。
モジュラー型アーキテクチャ206は、さらに、車両制御部216(VC)を含む。VC216は、前記車両に指令を送るように且つ前記車両から状態メッセージを受け取るように構成されている。車両制御部216は、車両204から、当該車両の状態(例えば、当該車両の速度、姿勢、操舵位置、制動状態及び燃料レベルに関する情報のような、当該車両の自律走行に関係する副系統についての任意の情報等)を示す状態メッセージを受け取る。モジュラー型アーキテクチャ206は、車両204及びセンサ202からの情報に基づいて、自動運転を実現するのにVC216から車両204に送る指令を算出することができる。モジュラー型アーキテクチャ206内の各種モジュールの機能については後で詳細に説明することにする。ただし、モジュラー型アーキテクチャ206を高次のレベルで見ると、当該モジュラー型アーキテクチャ206は、(a)センサ202からセンサ情報、且つ(b)車両204から車両状態情報を受け取り、そして、車両命令を車両204に供給する 。このようなアーキテクチャにより、任意のセンサ構成を有するあらゆる車両に対して前記モジュラー型アーキテクチャを採用することができる。したがって、センサ副系統(例えば、センサ202等)、さらには、車両状態を出力し且つ駆動指令を受け付けることが可能な駆動副系統(例えば、図4の駆動部制御部410等)を備えた車両プラットフォームであれば、どのような車両プラットフォームでもモジュラー型アーキテクチャ206と統合することができる。
モジュラー型アーキテクチャ206内では、様々なモジュールが協働することによって自動運転を前記OODAモデルに従って実現する。センサ202及びSIC208は、前記「観察」仮想レイヤ内に存在する。前述したように、SIC208は、様々なフォーマットの測定値(例えば、センサデータ等)を受け取る。SIC208は、前記センサ直接からのベンダー特有データを、ベンダーニュートラルなデータに変換するように構成されている。これにより、センサ202のセットが任意のブランドのレーダ、ライダー又はイメージセンサなどのセンサを含むことができ、モジュラー型アーキテクチャ206は、センサ202による環境の認知を効果的に活用することができる。
次に、前記センサインターフェースサーバからの測定値出力が、認知制御部(PC)212及び位置特定制御部(LC)210によって処理される。PC212及びLC210はいずれも、前記OODAモデルの前記「状況判断」仮想レイヤ内に存在する。LC210は、GPS信号よりも高精度であり得る前記車両のロバストな実世界位置を決定し、また、GPS信号が利用できないか又は正確でない場合にも、前記車両の実世界位置を決定する。LC210は当該位置を、GPSデータ及びセンサデータに基づいて決定する。一方で、PC212は、車周辺の物体や道路の状況を含む、車周辺の環境の状態を表す予測モデルを生成する。図3は、SIC208、LC210及びPC212をさらに詳細に示す。
自動運転制御部214(ADC)及び車両制御部216(VC)は、前記認知制御部及び位置特定制御部の出力を受け取る。ADC214及びVC216は、前記OODAモデルの前記「意思決定」仮想レイヤ内に存在する。ADC214は、目的地選択、ルート(道筋)及びレーン案内ならびに高次交通監視を担う。ADC214は、さらに、ルート内でのレーン選択、および緊急時に前記車両の進路を変えさせるための安全な退避エリアの特定を担う。すなわち、ADC214は、目的地に到達するためのルート、および当該ルート内において前記車両を導くための経路を選択する。ADC214は、この経路をVC216に渡す。当該経路が与えられたVC216は、当該経路を安全に走行するように前記車両を導くための、軌道(trajectory)と低次の駆動機能とを供給する。VC216は、まず、運転手に快適性を提供しながら前記経路に沿って操縦する最良の軌道、安全な退避場所に到達する能力、緊急時の操縦性 、および前記車両の最新の軌道に追従する能力を決定する。緊急時にはVC216が、ADC214により供給された前記経路を無効にして即座に車を安全な退避経路に案内し、安全になればADC214により供給された前記経路に復帰する。VC216は、前記車両の操縦方法(安全操縦を含む)を決定した後、車両204に対して駆動指令を供給する。車両204は当該指令を、当該車両204の操舵副系統、スロットル副系統及び制動副系統において実行する。つまり、VC216のこの要素は前記OODAモデルの前記「行動」仮想レイヤ内に存在する。図4には、ADC214及びVC216についてのさらなる詳細が記載されている。
モジュラー型アーキテクチャ206は、さらに、各種モジュールとの通信を、システム制御部218(SC)を通してコーディネートする。SC218は、ADC214及びVC216とメッセージをやり取りすることによってヒューマンインタラクション制御部220(HC)及びマシンインタラクション制御部222(MC)の動作を可能にする。HC220は、前記システム制御部によりコーディネートされた状態メッセージに基づいて、前記自律走行車両の動作についての情報を人間が理解することのできるフォーマットで提供する。HC220は、さらに、人間による入力が車の意思決定において考慮されるのを可能にする。例えば、HC220は一例として、前記車両のオペレータが前記車両の目的地又はルートを入力又は変更するのを可能にする。SC218がオペレータの入力を解釈し、必要に応じてこの情報をVC216又はADC214に受け渡す。
また、MC222は、他のマシン又は車両とのメッセージをコーディネートすることができる。例えば、他の車両が、ルートの意向、意図する走行経路、および当該他の車両以外の車両の死角内に位置しているかもしれない検知物体を、自律走行車両に対して電子的に且つ無線で送信することができ。MC222がそのような情報を受信して当該情報をVC216及びADC214にSC218を介して受け渡しできる。また、MC222は、情報を他の車両に対して無線で送信できる。進路変更信号の例として、MC222は、この車が進路変更しようとしているという通知を受け取ることできる。MC222はこの情報を、VC216がSC218に対して状態メッセージを送り且つSC218が当該状態をMC222に受け渡すことによって受け取る。ただし、その他の例のマシン通信も実現可能である。例えば、他の車両のセンサ情報又は固定式センサが前記自律走行車両に、当該車両に環境についてのより確かな視界を与えるデータを無線で送信することができる。例えば、他のマシンが、前記車両の死角における物体についての情報を送信することが可能であってもよい。さらなる例では、他の車両が当該他の車両の軌跡を送信できる。さらなる他の例では、交通信号灯が前記車両から見えない場合の支援用として、当該交通信号灯が当該交通信号灯の状態についてのデジタル信号を送信できる。当業者であれば、前記自律走行車両により利用されるどのような情報も、他の車両との間で送受信されることが可能であり、これによって自律走行に役立てられることを理解できるであろう。図6には、HC220、MC222及びSC218についてのさらなる詳細が記載されている。
図3は、センサインタラクション制御部304(SIC)、認知制御部(PC)306及び位置特定制御部(LC)308の一実施形態を示すブロック図300である。前記車両のセンサアレイ302は、カメラ302a、レーダ302b、ライダー302c、GPS302d、IMU302e、およびvehicle-to-everything(V2X)302fなどの様々な種類のセンサを含むことができる。各センサは、ベンダー規定の個々のデータタイプをSIC304に送る。例えば、カメラ302aは物体リスト及び画像を送り、レーダ302bは物体リスト及び同相/直交位相(IQ)データを送り、ライダー302cは物体リスト及び走査点を送り、GPS302dは位置及び速度を送り、IMU302eは加速度データを送り、V2X302f制御部は他の車両の軌跡及び進路変更信号などのセンサデータや交通信号灯データを送る。ただし、当業者であれば、センサアレイ302がこれら以外の種類のセンサも使用可能であることを理解できるであろう。SIC304は、各センサ302a〜302fの異常を監視及び診断する。SIC304は、さらに、各センサのデータを当該データのベンダー特有パッケージから分離し、ベンダーニュートラルなデータタイプを認知制御部(PC)306及び位置特定制御部308(LC)に送る。SIC304は、位置特定用特徴物測定値ならびに位置及び姿勢の測定値をLC308に転送し、かつ、追跡対象物体測定値、走行面測定値ならびに位置及び姿勢の測定値をPC306に転送する。また、SIC304は、フォーマットの異なる新しいセンサも同じモジュラー型アーキテクチャで使用できるように、ファームウェアで更新されることができる。
LC308は、GPSデータ及びIMUデータをレーダデータ、ライダーデータ及びビジョンデータと融合させることにより、GPS単独で提供できる精度よりも高い精度で、車両位置、速度及び姿勢を決定する。そして、LC308は、決定された確かな、位置、速度及び姿勢をPC306に報告する。LC308は、さらに、精度を高めるために、位置データ、速度データ及び姿勢データを表す測定値同士を、あるセンサ測定値(例えば、市街でのGPS信号等)が使えなくなった又は悪化した場合に当該LC308がその測定値を補正することができるように、相対的に監視する。PC306は、検知された情報に基づいて前記車両周辺の物体を識別して位置を突き止める。PC306は、さらに、前記車両近辺の走行可能面領域を推定すると共に、路肩や緊急時の走行可能地形などの表面も評価する。PC306は、さらに、物体の未来位置の確率予測を提供する。PC306は、さらに、物体及び走行可能面の履歴を記憶する。
PC306は、戦略的予測と戦術的予測との2種類の予測を出力する。戦術的予測は、約2〜4秒後の未来の実世界を表すものであり、前記車両の最も近くにある交通及び道路のみを予測する。この予測は、路肩のような場所における空いた退避スペースを含む。この戦術的予測は、前記車両におけるセンサからの、最も近くの交通状況や道路状況についての測定値に完全に基づく。
戦略的予測は、車の可視環境のうちの、前記センサの視認可能範囲を超える領域を予測する長期予測である。この予測は、4秒よりも先の未来についてのものであるが、戦術的予測よりも不確かさが大きくなる。というのも、物体(例えば、車、人間等)の挙動が、現在観察されている挙動から予測不能に変化するかもしれないからである。また、このような予測は、外部源(他の自律走行車両、センサシステム及びセンサ通信ネットワークを有する非自律走行車両や車道付近又は車道上に配置されたセンサを含む)からのセンサ測定値や、物体上のトランスポンダからネットワークを介して受信したセンサ測定値や、前記自律走行車両と無線で通信するように構成された交通信号灯や標識などの信号に基づくことができる。
図4は、自動運転制御部(ADC)402、車両制御部(VC)404及び駆動部制御部410の例示的な一実施形態を示すブロック図400である。ADC402及びVC404は、前記OODAモデルの前記「意思決定」仮想レイヤを実行する。
ADC402は、まず、オペレータによる目的地入力および現在位置に基づき、当該現在位置から目的地への全体ルート(当該目的地に到達するための道路及び道路間の分岐点のリストを含む)を生成する。この戦略的なルートプランは、交通状況に基づくものであってもよく、最新の交通状況に基づいて変化することができるが、このような変化は一般的に、到着予定時刻(ETA)が大きく変わる場合に実施される。ADC402は、次に、前記自律走行車両が走行するための安全で且つ衝突を起こさない経路を、前記PCから提供された、近辺の物体及び許容可能な走行可能面に基づいて計画する。この経路は、VC404に要求として常に送られると共に、交通状況のような状況が変化するたびに更新される。VC404は、前記経路の更新をリアルタイムで受け取る。ADC402は逆にVC404から、前記車両の最新の実際軌道を受け取る。当該最新の実際軌道は、運転経路の前記要求についての、次に計画されている更新を変更するのにも用いられる。
ADC402は、前記車両が進むための戦略的経路を生成する。ADC402は当該経路を、前記戦略的/戦術的予測における道路上の空いたスペースについての予測に基づいて生成する。ADC402は、さらに、図3の認知制御部から車両位置情報及び車両姿勢情報を受け取る。VC404が、さらに、前記車両の駆動部制御部410からの当該車両の実際軌道をADC402に出力する。ADC402は、この情報に基づき、道路又は任意の走行可能面を走行するうえでの適切な経路を算出する。道路が空いている例では、前記経路が車前方のレーンに追従してもよい。
車が別の車を追い越す必要がある他の例では、ADC402が、安全に追越しを行うための空いたスペースが追越しレーン内及びその別の車前方に存在しているか否かを判定することができる。ADC402は、前記車両が追越し運転を行うのに走行するための経路を、(a)追越し対象の車までの現在の距離、(b)追越しレーン内に存在する走行可能道路スペースの量、(c)追越し対象の車前方にある空いたスペースの量、(d)追越し対象の車両の速度、(e)前記自律走行車両の現在の速度、および(f)前記自律走行車両の既知の加速度に基づいて自動的に算出することができる。
他の例では、ADC402が、ハイウェイ出口に向かう際にレーン変更するための経路を決定することができる。ADC402は、前述した全因子に加えて目的地までの計画ルートを監視し、分岐点に接近すると、当該計画ルートを安全且つ合法的に運転し続けるための最良の経路を算出する。
ADC402は、要求経路406をVC404に供給する、この供給は、前記車両が当該経路を進むことができるように当該ADC402と連携して行われる。要求経路406は、数秒後の未来のあらゆる計画軌道に対して幾何学的制約及び速度制約を課す。VC404は、経路406内で運転するためのルートを決定する。VC404は、当該VC404の操縦決断を、前記認知制御部から受け取った前記戦術的/操縦予測、前記車両の位置および前記車両の姿勢に基づいて行う。前述したように、前記戦術的/操縦予測は、短期間についてのものであるが不確かさが小さい。したがって、低次の操縦演算及び安全演算に関しては、VC404が前記戦術的/操縦予測を効果的に用いて要求経路406内の衝突を起こさない軌道を計画する。緊急時に必要とされる際には、VC404は、他の物体と衝突を起こさないように、経路406外の軌道を計画する。
次に、VC404は、要求経路406、車の現在の速度及び加速度、ならびに最も近くにある物体に基づいて、物体との衝突を回避し走行可能面上に留まりながら当該経路406をいかに走行するかを決定する。VC404は、前記経路内において戦術的軌道を算出する。これにより、前記車両は、物体間の安全な間隔を維持することができる。当該戦術的軌道は、ある車両が不意に減速又は停止したり別の車両が当該自律走行車前方に割り込んだりするなどといった緊急時の、安全なバックアップ退避軌道も含む。
VC404は、衝突を回避する必要性に迫られると、ADC402の前記要求経路から急遽外れる操縦を指令しなければならないかもしれない。この緊急操縦は、ADC402ではなく、差し迫った衝突脅威に対して当該ADC402よりも応答時間が高速なVC404単独によって開始されることができる。この機能によって、安全重大衝突回避責任をVC404内だけのものとする。VC404は操縦指令を、車両プラットフォームの操舵動作、スロットル動作及び制動動作を制御する前記駆動部に送る。
VC404は当該VC404の操縦戦略を、駆動指令(例えば、操舵、スロットル、制動等)を含む現在の車両軌道408を前記車両の駆動部制御部410に送ることによって実行する。前記車両の駆動部制御部410は、車の操舵系統、スロットル系統及び制動系統それぞれに、対応する指令を適用する。軌道408を前記駆動部制御部に送るVC404は、前記OODAモデルの前記「行動」仮想レイヤを代表する。前記自律走行車両のアーキテクチャをこのように概念化することにより、特定のモデル(例えば、各指令のフォーマット、加速性能、旋回性能及び制動性能等)の車を制御するための設定を必要とする構成要素は前記VCだけであり、前記ADCは特定の車両性能にほぼ無関係でいられる。一例において、VC404は、車両の特定の駆動部制御系統とインターフェースできるように構成されたファームウェアで又は全車両に対する車群規模のファームウェアアップデートで更新されることができる。
図5は、ADC402及びVC404の意思決定時間スケールを示す図500である。ADC402は、前記経路を生成することによって高次の戦略的決断502及び戦術的決断504を実現する。よって、ADC402は、長いレンジおよび/または時間スケールの決断を実現する。追越しやターンなどの挙動に関して戦略的ルートや戦術的走行経路を計画するためにADC402が用いる実世界状態の推定は、不確かさが大きいものの、長い時間の未来を予測している。これは、そのような自律動作を計画するのに必要なことである。前記戦略的予測は、前記センサの視認可能範囲を超えて予測するところ、車から遠く離れた物体の予測についてはレーダなどの非ビジョン技術に頼るしかなく、また、例えば人の挙動が突如変わる場合のように即座に事象が変化する可能性があり、さらに、前記センサの視認可能範囲外にある物体を視認することができないので、不確かさが大きくなる。ハイウェイ並みの速度で車を追い越すなどといった戦術的決断の多くは自律走行車両の視認可能範囲を超える(BVR)(例えば、100m以上等の)認知を必要とするのに対し、操縦性506決断はどれも、衝突を回避するように局所的に認知された物体に基づいて行われる。
一方で、VC404は、物体挙動及び走行面についての短時間フレーム/レンジの予測である操縦性予測を用いて操縦性決断506を生成する。これらの操縦性予測は、短時間スケールの予測なので不確かさが小さくなる。ただし、操縦性予測は、前記自律走行車両における前記センサの視認可能範囲内で得られた測定値しか利用しない。つまり、VC404は、衝突を起こさない前記自律走行車両の軌道を高速応答で計画するために、車のすぐ近くの周辺環境の状態についてのこれらの操縦性予測(又は評価値)を用いる。VC404は、前記時間スケールの最下端において駆動指令を発行して計画済みの前記経路を実行に移し、当該経路で操縦する。
図6は、システム制御部602、ヒューマンインターフェース制御部604(HC)及びマシンインターフェース制御部606(MC)の例示的な一実施形態を示すブロック図600である。ヒューマンインタラクション制御部604(HC)は、オペレータからの入力指令要求を受け取る。HC604は、さらに、当該オペレータ、前記車両の乗員や前記自律走行車両外部の人間に対して出力を提供する。HC604は、システム状態や前記自律走行車両の意思決定の根拠についての人間が理解することのできる表現を、(視覚インターフェース、聴覚インターフェース又は触覚インターフェースなどのインターフェースを介して)オペレータや乗員に提供する。例えば、HC604は、前記車両の長期ルート(又は計画された経路)や安全な退避エリアを表示することができる。HC604は、さらに、運転手の状態についてのセンサ測定値を読み取り、任意の瞬間における当該運転手の、その車の運転を支援する準備完了性について監視することができる。一例として、前記車両内のセンサ系統は、オペレータがハンドルに手を置いているか否かを検出することができる。手を置いている場合、オペレータの操舵への切替えが許可可能であることをHC604は通知することができ、手を置いていなければ、HC604はオペレータへの操舵制御の受渡しを阻止することができる。他の例では、HC604が、意思決定の根拠(例えば、特定のルートを選択した理由等)をオペレータに対して纏めて要約することができる。他の例として、前記車両内のセンサ系統は、運転手が見ている方向を監視することができる。HC604は、運転手が道路を見ている場合、運転手への運転切替えが許可されることを通知することができる。これに対し、運転手が道路以外のどこかを見ている場合には、当該オペレータによる制御をシステムが許可しない。さらなる実施形態では、オペレータが前記車両の死角を確認してフロントガラスから目をそらしている間は、HC604が前記車両の制御又は緊急時限定制御を引き受ける。
マシンインタラクション制御部606(MC)は、フォーメンションドライブや交通管理などの活動をコーディネートするように他の自律走行車両や自動化システムとインタラクションする。MC606は、内的システム状態を読み取って、連携マシンシステムが理解することのできる出力データタイプ(例えば、V2Xデータタイプ等)を生成する。この状態は、協働のシステムによってネットワーク上に一斉送信されることができる。MC606は、外部のマシンシステムからの任意の指令要求(例えば、減速、ルート変更、合流要求、交通信号の状態等)を、HC604からの他の指令要求とのアービトレーションのために前記SCに転送される指令要求に変換できる。また、MC606は、他のシステムからのメッセージを(例えば、信頼できる他社メーカーからの署名されたメッセージ等を用いて)認証することにより、これらメッセージが有効であって車周辺の環境を表現したものであることを保証することができる。このような認証により、悪意のある人物による改ざん行為を防止することができる。
システム制御部602(SC)は、前記アーキテクチャ内の各構成要素の全体管理部として機能する。SC602は、全システム構成要素からの状態データを集約して総合動作状態を判定し、各構成要素に対してシステム機能を実行するように指令を送る。システムの構成要素が動作不良を報告すると、SC602が診断・回復挙動を開始することによって自律動作を確保し、前記車両を安全な状態に維持する。自動運転状態への/からの前記車両のあらゆる切替えは、自動運転への動作上の準備ができているか否かや人間の運転手の準備完了性についての内部診断の間に、SC602により許可又は拒否される。
ほとんどの場合、自動運転車は、地球に対するその自動運転車の位置を把握する必要がある。昨今、多くの車や携帯電話で利用可能なGPSシステムは位置を提供するものの、その位置は、例えば車がハイウェイ上のどのレーンを走行しているのか等を判定するのに十分に正確ではない。地球に対する自動運転車の位置を決定するのにGPSシステムのみに頼ることの他の問題点として、例えば、トンネル内や、市街のビルの谷間等ではGPSが使えなくなる可能性がある点が挙げられる。
本発明の一実施形態では、位置特定モジュールが、地球に対する前記車両の座標と道路に対する前記車両の座標とを提供することができる。これら座標は、自動運転を可能にするのに十分正確である。前記位置特定モジュールは、信頼できるGPSサービスが途切れても、慣性センサ(例えば、加速度計、ジャイロスコープ等)、カメラデータ及びレーダデータを用いてこの車両の動きを追跡することによりこの車両の位置を引き続き追跡することにより、GPSサービスの途切れを補償することができる。すなわち、前記位置特定モジュールは、地球に対する地理位置情報(ジオロケーション)についてのその出力と、道路及びその車両近辺についてのセンサ測定値とに基づき、その車が地球及び道路を基準としてどこに位置するかを決定する。
前記位置特定モジュールは、一連の補完センサからの出力を融合して、どの動作状況下においても正確な車位置特定が維持されるようにする。当該正確な車位置特定は、算出された(a)車両位置および(b)車両姿勢を含む。車両位置とは、地球を基準とした(ひいては、道路を基準とした)車両の位置である。車両姿勢とは、車両の向き、すなわち、車両が向いている方向である。位置特定は、GPS信号と、慣性センサと、ビジョンセンサ及びレーダセンサで局所的に観測および追跡される特徴物との組合せから算出される。追跡される特徴物は、データベース(例えば、Googleストリートビュー等)からの既知の視覚的ランドマーク特徴物、または、都合良く検出される未知の特徴物(例えば、道路脇のガードレール等)であってもよい。検出されたデータがフィルタリングされた後、そのような特徴物が、地面に対して静止しているか否かについて位置特定のために分析される。
GPS装置やGPSアプリケーションは民間用のcoarse/acquisition(C/A)GPSコードに頼る。このGPSコードは、理想条件下での精度が最大でも3.5メートル程度であり得る。例えば、典型的なGPSアプリケーションやGPS装置では、並行に走る2つの近接した道のどちらに車両があるのかをGPSが判断できないということが一般的に起こる。しかし、自動運転車を自動化するためには、より高い精度が必要となる。
道路を基準とした又は地球を基準とした車の局所位置を決定するのに、ドップラー速度を用いた、レーダによる特徴物追跡を追加の支援として利用したシステムは、これまで知られていない。したがって、本発明の実施形態の新規的な側面の一つは、特徴物軌跡及びドップラー速度を含むデータであって、スマートなレーダデータで追跡された物体を、デッドレコニングや場所認識のための慣性ナビゲーションシステムの支援に利用するという点である。システムは、レーダに加えて、慣性計測装置からの慣性データ、ビジョンシステム、車両データなどの他の種類のデータも用いることができる。
図7A及び図7Bは、実世界環境内での本発明の一実施形態を示す図である。図7Aには、自動運転車が曲がった道路に沿って走行する様子が示されている。自動運転車のビジョンシステムが、当該ビジョンシステムの視野内にある他の車、木、道路標識、道路盛土上のガードレールなどのある一定の特徴物を検出する。さらに、自動運転車のレーダシステムが、近隣の(nearby)特徴物、例えば、他の車、ガードレール、標識柱、ランドマーク特徴物、建物、砂丘又は丘、安全コーン又は安全バレル又は歩行者などの物体を表す任意特徴物等を検出する。一例として、反対側のガードレールまでのレーダデータは、検出距離および検出角度θを含む。また、当業者であれば、ビジョンセンサはレーダが検出しない例えば特徴物の大きさや色などといった特徴を検出することができるのに対し、レーダは、ビジョンシステムのFOV内外にかかわらず、特徴物及び各特徴物の距離ならびに車からの角度を高い信頼度で検出できるということを理解できるであろう。
図7Bには、ビジョンシステム及びレーダシステムから直接外挿されたデータの例示的な一実施形態が示されている。システムは、車の両側の路肩からの距離を決定することができる。システムは、道路幅及び各道路のレーン位置を含む確かなマップ情報と対応付けられることにより、車が地球を基準としてどこにあるのかを正確に決定することができる。
本発明の一実施形態では、位置特定モジュールとも称されることができる位置特定制御部が、GPSデータを、慣性センサ、ビジョンセンサ及びレーダを含む他のセンサからの情報で補うことによって、車のより正確な位置を提供することができる。例えば、ビジョンセンサやレーダセンサは、GPS信号が与えられることにより、道路端を基準とした車の位置を決定することができる。ビジョンセンサは、エッジ検出のような画像処理法を用いて例えば道路端の木やガードレール等の特徴物を決定すること等により、道路の端縁を視覚的に検出することができる。レーダセンサは、中央分離帯のような特徴物、又はガードレール、標識柱、ランドマーク特徴物、建物、砂丘もしくは丘、安全コーンもしくは安全バレル等の静止している他の特徴物、又は歩行者を検出し、静止している特徴物までの距離及び角度を決定することにより、道路の端縁を検出することができる。各特徴物のレーダ読取値は、当該特徴物の角度に加えて当該特徴物の距離を保持している。複数の時間ステップにわたってレーダ読取値を取ることにより、一つ一つのレーダ読取値における雑音や誤差が抑えられるので、車の位置の精度決定をなおいっそう高めることができる。
前記位置特定モジュールの一実施形態は、この情報から、車の両側それぞれの道路端までの距離を決定することができる。ビジョンシステムおよびレーダにより決定されたこの情報は、レーン位置及びレーン幅を含むマップデータと対応付けられることにより、車が適切なレーンを走行していること、または車が出口ランプでハイウェイから出ることが可能であることを決定することができる。
また、GPS装置は、ビルの谷間やトンネル内で頼ることができない可能性があり、その他の理由で使えなくなったりすることがあり得る。本発明の一実施形態において、前記位置特定モジュールは、信頼できるGPSデータをGPS装置が提供することができない間、慣性計測装置(IMU)による車の慣性データ(例えば、加速度計やジャイロスコープのデータ、車輪スピン率、車輪の旋回角度、又はオドメータ読取値などの情報等)をレーダデータ点と組み合わせることによって車を追跡することにより、正確なGPSデータなしで地球上の位置を決定するというデッドレコニングを実行することができる。前記位置特定モジュールは、このデータを組み合わせることで当該車のその前の位置を基準として位置及び速度を追跡し、当該車の正確な地球的位置を推定する。他のデッドレコニング戦略は、(a)特別目を引く路面標示および(b)マイルマーカー(マイル標)を決定することを含む。
他の実施形態では、マップマッチング(マップ突合せ)により、車両が進む経路の形状をマップと比較することができる。これは、マップマッチングと称される。例えば、トンネル内での車の移動の軌道が、マップデータと照合されることができる。どのトンネルも、決まった軌道で特定されることが可能な形状又はシグネチャを有する可能性がある。そのため、車両は、この照合に基づき、位置を生成することが可能となり得る。
つまり、前記位置特定モジュールは、車両のIMU、ビジョンシステム及びレーダシステムからのデータとGPS開始位置とを用いることにより、当該車両が(a)道路及び(b)実世界を基準としてどこにあるのかを決定する。
他の実施形態では、本発明が、場所認識/ランドマークマッチングを用いて車の位置を決定することができる。ビジョンセンサは、ある位置の撮影データを出力し、かつ、当該データをGoogleストリートビューのような道(ストリート)レベルの画像リポジトリの既知のデータベースと比較することにより、例えばGPSシステムにより決定された測地位置を決定する。ランドマークマッチング法は、(a)ランドマークを認識して位置を決定することができる。例えば、ランドマークがエンパイアステートビルディングであったとすると、車両がニューヨーク市内にあるとシステムが判断する。さらなる精度を得るためには、ランドマーク認識が、写真の大きさとランドマークに対する角度とから当該ランドマークからの実際の距離及び角度を決定することができる。また、レーダでも、レーダ特徴物を画像と関連付けて、車両からの当該レーダ特徴物の距離及び角度をレーダシステムで学習することにより、同じ目的を達成することができる。
前記位置特定モジュールは、前記車両の、地球を基準とした位置を出力する。前記位置特定モジュールは、GPS信号が利用可能なときはいつでも、当該GPS信号を用いる。GPS信号が利用可能でないか又は信頼できない場合、前記位置特定モジュールはIMUデータ及びレーダを用いて、車両の正確な位置を維持するように試みる。GPS信号が利用可能な場合には、前記位置特定モジュールは、より正確で且つ確かな測地位置を提供する。さらなる実施形態では、ビジョンセンサが用いられてもよい。
他の並列システムが、前記位置特定モジュールとは異なるものの類似した機能を実行する。例えば認知モジュールが、ビジョンセンサを用いて路面標示を判定し、当該標示からレーン経路を導き出す。ただし、この情報は自動運転車を操縦するうえで有用であるが、前記位置特定モジュールは、路面標示が認識できないときでも(例えば、雪や他の物体で隠れている場合や、道路上にそもそも存在しない場合等でも)いずれのレーンを走行するかを決定し、GPSが使えない間、地球的位置を維持することができる。つまり、前記位置特定モジュールは、より正確な位置や道路を基準とした位置を提供し且つ複数の時間ステップのレーダ測定値に基づいて車両の移動方向を提供することにより、GPSを向上させる。
本発明の実施形態においてレーダは、当該レーダの視野(FOV)内にある特徴物のリストをまず収集するように用いられる。前記位置特定モジュールは、レーダにより返された特徴物から、移動している特徴物をフィルタリング除去し、地球に固定されて静止している特徴物のみを残りのリストに残す。前記位置特定モジュールは、静止している、つまり、固定された特徴物を各時間ステップで追跡する。前記位置特定モジュールは、特徴物ごとの、当該特徴物への角度と当該特徴物からの距離とを含むレーダデータを処理することにより、各特徴物の位置を三角測量することができる。一部のビジョンシステムは、距離を測定する能力を有さないため、三角測量に適したデータを提供することができない。一般的に、距離を測定する能力は、前記IMUの任意の誤差マージンや不正確性を抑制して車が地球を基準としてどこにあるのかについてのより正確な位置を提供することができ、しかも、デッドレコニングの特殊な状況下では、最新のGPS信号がなくても車がどこにあるのかを把握することができる。
一部の実施形態ではIMUデータなしでレーダが用いられてもよいが、IMUはレーダ単独よりも高いデータレートを提供することができる。したがって、前記位置特定モジュールは、レーダデータを受け取りながら高速のIMUデータを低速の当該レーダデータで補正することにより、IMUデータをレーダデータと組み合わせるのが有利である。
図8は、本発明により用いられるプロセスの例示的な一実施形態を示すフロー図である。当該プロセスは、最初のGPS位置をロードした後、GPSが利用可能もしくは信頼可能であるか否かについての判定を常に行う。利用可能もしくは信頼可能であれば、前記方法は、ビジョンシステム及びレーダを用いて道路を基準として車の位置を決定する。システムは、慣性データを用いて、GPS最新情報間の位置データを維持する。最後に、システムは、マップデータ及び慣性データを用いて前記最初のGPS信号を微調整することにより、地球を基準としたより正確な測地位置を決定する。
信頼できるGPS信号がない場合、前記プロセスは、判明している最新(最後)のGPS位置を用いて開始する。前記プロセスは、慣性データを用いて車の動きを算出した後、当該慣性データを(例えば、ドリフト等に関して)レーダデータ及びビジョンデータを用いて補正する。そして、前記方法は、補正された慣性データに基づいて車の新しい位置を生成し、GPS信号が再び利用可能となるまで繰り返す。
図9は、本発明により用いられる方法を示すフロー図900である。ハイブリッド拡張カルマンフィルタ(EKF)/多状態制約付きカルマンフィルタ(MSCKF)フィルタが、利用可能な全てのセンサから、統計学的に最適な位置特定状態を推定するのに用いられる。前記プロセスは、所与のセンサ(例えば、レーダ、ビジョン、ライダー等)からの特徴物ごとに、各特徴物のセンサにおける相対位置の変化を追跡する(902)。前記センサが速度を報告するか又は同じ特徴物につき2回の読取値が異なる位置になることで当該特報物は移動していると観測される場合、システムは、相対位置が変化したと判定し(902)、その特徴物を位置特定対象から除外する(904)。位置特定は、車両の実世界位置を確定するのに局所環境内の静止している特徴物のみを用いるので、移動していると見なされた特徴物は、位置特定演算の考慮に入れられるべきではない。
ビジョン特徴物の場合には(906)、前記方法が特徴物を、当該特徴物がセンサ視野外になるまで追跡し(914)、当該特徴物が観測されるたびに、クローン状態(推定される現在の、車両位置、速度及び姿勢についてのスナップショット)を付加する(916)。当該クローン状態は、ビジョン特徴物の、前回の観測からの相対位置変化を決定するのに用いられる。3Dビジョンシステムは例外として、ビジョン特徴物は距離(レンジ)情報を含まない。そのため、2Dビジョンシステムでは、各特徴物の距離(レンジ)を算出するのにクローン状態が必要となる。前記ビジョン特徴物が視認できなくなると前記方法は、MSCKF測定更新を実行して各クローン状態の車両の位置及び姿勢を更新し、さらに、入力センサ源の誤差推定量及び品質尺度を更新する(918)。
レーダ特徴の場合には(906)、前記方法がEKF測定を実行して車両位置及び車両姿勢を更新する(910)。そして、前記方法は、特徴物が観測されるたびに入力センサ源の誤差推定量及び品質尺度を更新する(912)。前記方法は、特徴物のクローンを生成して当該特徴物の相対変化を決定する必要がない。クローン状態が必要でない理由は、レーダが距離(レンジ)を直接計測できるからである。
そして、前記方法は、算出された車両位置(例えば、912および918それぞれの結果等)をGPS信号からの位置と比較する(920)。同じであれば、前記方法は、GPSデータを確定する(924)。異なっていれば、前記方法は、静止している前記特徴物に対する車の動きに基づいてGPSデータを補正する(922)。他の実施形態では、GPSデータを補正する代わりにGPSデータを補うのにこの情報が用いられる。
本発明の一部の実施形態では、スマートなレーダセンサが位置特定を支援する。スマートなレーダセンサは、レーダデータと複数対象追跡データとを同一システムから出力する。
一部の実施形態では、レーダが地形特徴物を追跡することができる。レーダは金属を検出するのに最も効果的であるが、高周波レーダは金属物体だけでなく非金属物体も追跡することができる。したがって、レーダは、道路端の砂丘もしくは丘、安全コーンもしくは安全バレル、または歩行者などといった、車周辺の物体及び地形特徴物についての、確かな眺望を提供することができる。
一部の実施形態では、マシンビジョンが地形特徴物を、例えば緑色の草地が舗装道路と異なる色であること等によって追跡することができる。また、前記マシンビジョンは、レーダが検出することのできないレーン境界線及び故障車レーンなどの色に基づく情報を追跡することができる。
一部の実施形態では、レーダ特徴物の、センサ視野内での位置の履歴が、各特徴物の距離データと共に用いられる。レーダ特徴物の当該履歴は、各特徴物の、自動車に対する相対位置に変換されることができる。当該相対位置は、車両の、判明している前回の位置に対する位置を特定するのに用いられることができる。
また、一部の実施形態では、ビジョン特徴物の、センサ視野内での位置の履歴が、自動車からの相対的な視線に変換されることにより用いられることができる。特徴物に対する各視線は、車両及びセンサからの角度に関連付けられることができる。また、複数のセンサが、各時間ステップでの各特徴物の距離を三角測量することができる。したがって、複数の時間ステップにわたって追跡された特徴物は、各特徴物に対する角度が各時間ステップでどのように変化したのかを決定することによって相対位置に変換されることができる。
他の実施形態では、前記方法が、レーダ特徴物の履歴、ビジョン特徴物の履歴、IMUセンサのデータ、(利用可能であれば)GPS、および車両データ(例えば、操舵データなどのIMUデータ、車輪オドメトリ等)を組み合わせて、前述のようにハイブリッド拡張カルマンフィルタ(EKF)及び多状態制約付きカルマンフィルタ(MSCKF)を用いることにより、車両の位置及び姿勢を更新する。当業者であれば、IMUセンサのデータのような上記以外のデータ源を組み合わせた場合にも、前述したような方法と同じ方法を用いて局所データから車両の相対位置変化を算出することにより、GPS情報を補うことが可能であることを理解できるであろう。
図10に、本発明の実施形態が実現され得るコンピュータネットワーク又は同様のデジタル処理環境を示す。
少なくとも1つのクライアントコンピュータ/装置50および少なくとも1つのサーバコンピュータ60が、アプリケーションプログラムなどを実行する処理装置、記憶装置および入出力装置を提供する。少なくとも1つのクライアントコンピュータ/装置50は、さらに、他のコンピューティングデバイス(他のクライアント装置/プロセス50および1つ以上の他のサーバコンピュータ60を含む)に通信ネットワーク70を介して接続されることができる。通信ネットワーク70は、リモートアクセスネットワーク、グローバルネットワーク(例えば、インターネット等)、世界中のコンピュータの集まり、ローカルエリア又はワイドエリアネットワーク、および現在のところは対応のプロトコル(TCP/IP、Bluetooth(登録商標)など)を用いて互いに通信するゲートウェイの一部であってもよい。それ以外の電子デバイス/コンピュータネットワークアーキテクチャも好適である。
図11は、図10のコンピュータシステムにおけるコンピュータ(例えば、クライアントプロセッサ/装置50、サーバコンピュータ60等)の例示的な内部構造の図である。コンピュータ50,60は、コンピュータ又は処理システムの構成要素間でのデータ伝送に利用される一連のハードウェアラインであるシステムバス79を備える。システムバス79は、本質的に、コンピュータシステムの相異なる構成要素(例えば、プロセッサ、ディスクストレージ、メモリ、入出力ポート、ネットワークポート等)同士を接続して当該構成要素間での情報の伝送を可能にする共有の導管である。システムバス79には、様々な入出力装置(例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカ等)をコンピュータ50,60に接続するための入出力装置インターフェース82が取り付けられている。ネットワークインターフェース86は、コンピュータが、ネットワーク(例えば、図10のネットワーク70等)に取り付けられた様々な他の装置へと接続することを可能にする。メモリ90は、本発明の一実施形態(例えば、詳細に前述したセンサインターフェース制御部、認知制御部、位置特定制御部、自動運転制御部、車両制御部、システム制御部、ヒューマンインタラクション制御部及びマシンインタラクション制御部等)を実現するように用いられるコンピュータソフトウェア命令92およびデータ94を記憶する揮発性の記憶部である。ディスクストレージ95は、本発明の一実施形態を実現するように用いられるコンピュータソフトウェア命令92およびデータ94を記憶する不揮発性の記憶部である。システムバス79には、さらに、コンピュータ命令を実行する中央演算処理装置84が取り付けられている。
一実施形態において、プロセッサルーチン92及びデータ94は、コンピュータプログラムプロダクト(概して符号92で表す)である。当該コンピュータプログラムプロダクトは、本発明のシステム用のソフトウェア命令の少なくとも一部を提供する非過渡的なコンピュータ読取り可能媒体(例えば、少なくとも1つのDVD−ROM、CD−ROM、ディスケット、テープなどの取外し可能な記憶媒体等)を含む。コンピュータプログラムプロダクト92は、当該技術分野において周知である任意の適切なソフトウェアインストール方法によってインストールされることが可能なものであってもよい。また、他の実施形態では、前記ソフトウェア命令の少なくとも一部が、ケーブル通信および/または無線接続を介してダウンロードされるものであってもよい。他の実施形態において、本発明のプログラムは、伝播媒体における伝播信号(例えば、電波、赤外線波、レーザ波、音波、インターネットなどのグローバルネットワーク又は他の少なくとも1つのネットワークによって伝播される電気波等)に組み込まれた、コンピュータプログラム伝播信号プロダクトである。このような搬送媒体又は信号が、本発明のルーチン/プログラム92用のソフトウェア命令の少なくとも一部を提供するように用いられてもよい。
本発明を例的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲を逸脱しない範囲で形態や細部に様々な変更が施されてもよいことを理解するであろう。
本発明を例的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲を逸脱しない範囲で形態や細部に様々な変更が施されてもよいことを理解するであろう。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様1〕
自律走行車両をナビゲートする方法であって、
自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付ける過程と、
前記自律走行車両のレーダセンサから受け取った特徴物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、走行可能面を基準とした前記自律走行車両の位置を決定する過程と、
前記走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供する過程と、
を備える、方法。
〔態様2〕
態様1に記載の方法において、さらに、
特徴物の前記リストから、前記走行可能面を基準とした前記自律走行車両の姿勢を決定する過程、
を備える、方法。
〔態様3〕
態様1に記載の方法において、さらに、
前記自律走行車両のビジョンセンが受信した画像データを、データベースに記憶されたランドマーク特徴物と突き合わせる過程、
を備える、方法。
〔態様4〕
態様1に記載の方法において、さらに、
複数の時間ステップにわたって、所与のセンサからの特徴物ごとの相対位置を追跡する過程と、
追跡された前記相対位置に基づいて、静止していると判断された特徴物を保持し続ける過程と、
を備える、方法。
〔態様5〕
態様4に記載の方法において、さらに、
レーダ特徴物について、拡張カルマンフィルタ(EKF)測定を実行して車両位置及び車両姿勢を更新する過程と、レーダ特徴物が観測されるたびに、入力センサ源の誤差推定量及び品質尺度を更新する過程と、
を備える、方法。
〔態様6〕
態様4に記載の方法において、さらに、
ビジョン特徴物について、
ビジョン特徴物ごとに、そのビジョン特徴物がセンサ視野外になるまで、そのビジョン特徴物を追跡する過程と、
その特徴物が観測されるたびに、クローン状態を付加する過程と、
そのビジョン特徴物が前記センサ視野外になると、多状態制約付きカルマンフィルタ(MSCKF)フィルタ測定更新を実行して車両位置及び車両姿勢を更新し、かつ、入力センサ源の誤差推定量及び品質尺度を更新する過程と、
を備える、方法。
〔態様7〕
態様4に記載の方法において、特徴物を保持し続ける前記過程が、レーダ特徴物軌跡とビジョン特徴物軌跡の両方を用いる副過程と、自律走行車両の予測された動きと、前記レーダ特徴物軌跡およびビジョン特徴物軌跡との比較に基づき、静止している特徴物を決定する副過程とを含む、方法。
〔態様8〕
態様1に記載の方法において、前記レーダセンサが、レーダ特徴物と複数対象追跡データとを出力する、方法。
〔態様9〕
態様1に記載の方法において、さらに、
特徴物の前記リストを、前記自律走行車両の位置を基準とした物体の相対位置のリストに変換する過程、
を備える、方法。
〔態様10〕
態様1に記載の方法において、前記特徴物がビジョン特徴物であり、当該方法が、さらに、
前記ビジョン特徴物を、前記自律走行車両の視線に変換する過程、
を備える、方法。
〔態様11〕
態様1に記載の方法において、向上した位置を提供する前記過程が、さらに、慣性計測装置(IMU)データを用いる副過程を含む、方法。
〔態様12〕
自律走行車両をナビゲートするシステムであって、
自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付けるように構成された対応付けモジュールと、
前記自律走行車両のレーダセンサから受け取った特徴物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、環境内の静止している特徴物を基準とした前記自律走行車両の位置を決定し、
前記走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供するように構成された位置特定制御部と、
を備える、システム。
〔態様13〕
態様12に記載のシステムにおいて、前記位置特定制御部が、さらに、特徴物の前記リストから、前記走行可能面を基準とした前記自律走行車両の姿勢を決定するように構成されている、システム。
〔態様14〕
態様12に記載のシステムにおいて、前記位置特定制御部が、さらに、前記自律走行車両のビジョンセンサが受信した画像データを、データベースに記憶されたランドマーク特徴物と突き合わせるように構成されている、システム。
〔態様15〕
態様12に記載のシステムにおいて、前記位置特定制御部が、さらに、
複数の時間ステップにわたって、所与のセンサからの特徴物ごとの相対位置を追跡し、
追跡された前記相対位置に基づいて、静止していると判断された特徴物を保持し続けるように構成されている、システム。
〔態様16〕
態様15に記載のシステムにおいて、前記位置特定制御部が、さらに、レーダ特徴物について、拡張カルマンフィルタ(EKF)測定を実行して車両位置及び車両姿勢を更新し、レーダ特徴物が観測されるたびに、入力センサ源の誤差推定量及び品質尺度を更新するように構成されており、さらに、
推測される位置品質を後続の位置特定機能が把握できるように、GPS信号の品質を評価すること、および
前記品質尺度に基づいて、判明している最新の正確なGPSソリューションを決定することを含む、システム。
〔態様17〕
態様15に記載のシステムにおいて、前記位置特定制御部が、さらに、
ビジョン特徴物について、
ビジョン特徴物ごとに、そのビジョン特徴物がセンサ視野外になるまで、そのビジョン特徴物を追跡し、
その特徴物が観測されるたびに、クローン状態を付加し、
そのビジョン特徴物が前記センサの視野外になると、多状態制約付きカルマンフィルタ(MSCKF)フィルタ測定更新を実行して車両位置及び車両姿勢を更新し、かつ、入力センサ源の誤差推定量及び品質尺度を更新するように構成されている、システム。
〔態様18〕
態様15に記載のシステムにおいて、前記位置特定制御部が、さらに、レーダ特徴物軌跡とビジョン特徴物軌跡との両方を用いて、自律走行車両の予測された動きと、前記レーダ特徴物軌跡およびビジョン特徴物軌跡との比較に基づき、静止している特徴物を決定することにより、特徴物を保持し続けるように構成されている、システム。
〔態様19〕
態様12に記載のシステムにおいて、前記レーダセンサが、レーダ特徴物と複数対象追跡データとを出力する、システム。
〔態様20〕
態様12に記載のシステムにおいて、前記位置特定制御部が、さらに、特徴物の前記リストを、前記自律走行車両の位置を基準とした特徴物の相対位置のリストに変換するように構成されている、システム。
〔態様21〕
態様12に記載のシステムにおいて、前記特徴物がビジョン特徴物であり、前記位置特定制御部が、さらに、前記ビジョン特徴物を、前記自律走行車両の視線に変換するように構成されている、システム。
〔態様22〕
態様12に記載のシステムにおいて、前記位置特定制御部が、さらに、慣性計測装置(IMU)データも用いて、向上した位置を提供するように構成されている、システム。
〔態様23〕
自律走行車両をナビゲートする方法であって、
自律走行車両が受信した最新の正確な全地球測位システム(GPS)信号を決定する過程と、
前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定する過程であって、静止している特徴物の前記リストは、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む、過程と、
前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出する過程と、
を備える、方法。
〔態様24〕
自律走行車両をナビゲートするシステムであって、
自律走行車両のGPS受信部と、
前記自律走行車両の前記GPS受信部が受信した最新の正確な全地球測位システム(GPS)信号を決定し、
前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定し、
前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出するように構成された位置特定モジュールと、
を備え、静止している特徴物の前記リストが、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む、システム。

Claims (24)

  1. 自律走行車両をナビゲートする方法であって、
    自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付ける過程と、
    前記自律走行車両のレーダセンサから受け取った特徴物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、走行可能面を基準とした前記自律走行車両の位置を決定する過程と、
    前記走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供する過程と、
    を備える、方法。
  2. 請求項1に記載の方法において、さらに、
    特徴物の前記リストから、前記走行可能面を基準とした前記自律走行車両の姿勢を決定する過程、
    を備える、方法。
  3. 請求項1に記載の方法において、さらに、
    前記自律走行車両のビジョンセンが受信した画像データを、データベースに記憶されたランドマーク特徴物と突き合わせる過程、
    を備える、方法。
  4. 請求項1に記載の方法において、さらに、
    複数の時間ステップにわたって、所与のセンサからの特徴物ごとの相対位置を追跡する過程と、
    追跡された前記相対位置に基づいて、静止していると判断された特徴物を保持し続ける過程と、
    を備える、方法。
  5. 請求項4に記載の方法において、さらに、
    レーダ特徴物について、拡張カルマンフィルタ(EKF)測定を実行して車両位置及び車両姿勢を更新する過程と、レーダ特徴物が観測されるたびに、入力センサ源の誤差推定量及び品質尺度を更新する過程と、
    を備える、方法。
  6. 請求項4に記載の方法において、さらに、
    ビジョン特徴物について、
    ビジョン特徴物ごとに、そのビジョン特徴物がセンサ視野外になるまで、そのビジョン特徴物を追跡する過程と、
    その特徴物が観測されるたびに、クローン状態を付加する過程と、
    そのビジョン特徴物が前記センサ視野外になると、多状態制約付きカルマンフィルタ(MSCKF)フィルタ測定更新を実行して車両位置及び車両姿勢を更新し、かつ、入力センサ源の誤差推定量及び品質尺度を更新する過程と、
    を備える、方法。
  7. 請求項4に記載の方法において、特徴物を保持し続ける前記過程が、レーダ特徴物軌跡とビジョン特徴物軌跡の両方を用いる副過程と、自律走行車両の予測された動きと、前記レーダ特徴物軌跡およびビジョン特徴物軌跡との比較に基づき、静止している特徴物を決定する副過程とを含む、方法。
  8. 請求項1に記載の方法において、前記レーダセンサが、レーダ特徴物と複数対象追跡データとを出力する、方法。
  9. 請求項1に記載の方法において、さらに、
    特徴物の前記リストを、前記自律走行車両の位置を基準とした物体の相対位置のリストに変換する過程、
    を備える、方法。
  10. 請求項1に記載の方法において、前記特徴物がビジョン特徴物であり、当該方法が、さらに、
    前記ビジョン特徴物を、前記自律走行車両の視線に変換する過程、
    を備える、方法。
  11. 請求項1に記載の方法において、向上した位置を提供する前記過程が、さらに、慣性計測装置(IMU)データを用いる副過程を含む、方法。
  12. 自律走行車両をナビゲートするシステムであって、
    自律走行車両で受信した全地球測位システム(GPS)信号を、データベースからロードされたマップ上の位置と対応付けるように構成された対応付けモジュールと、
    前記自律走行車両のレーダセンサから受け取った特徴物のリストであって、複数の時間ステップにわたる、前記自律走行車両に関する特徴物のリストから、環境内の静止している特徴物を基準とした前記自律走行車両の位置を決定し、
    前記走行可能面を基準とした前記自律走行車両の前記位置と前記GPS信号とに基づき、前記走行可能面を基準とした前記自律走行車両の前記位置をマップからのレーンデータ及び走行可能面幅に対応付けることにより、前記自律走行車両の向上した位置を提供するように構成された位置特定制御部と、
    を備える、システム。
  13. 請求項12に記載のシステムにおいて、前記位置特定制御部が、さらに、特徴物の前記リストから、前記走行可能面を基準とした前記自律走行車両の姿勢を決定するように構成されている、システム。
  14. 請求項12に記載のシステムにおいて、前記位置特定制御部が、さらに、前記自律走行車両のビジョンセンサが受信した画像データを、データベースに記憶されたランドマーク特徴物と突き合わせるように構成されている、システム。
  15. 請求項12に記載のシステムにおいて、前記位置特定制御部が、さらに、
    複数の時間ステップにわたって、所与のセンサからの特徴物ごとの相対位置を追跡し、
    追跡された前記相対位置に基づいて、静止していると判断された特徴物を保持し続けるように構成されている、システム。
  16. 請求項15に記載のシステムにおいて、前記位置特定制御部が、さらに、レーダ特徴物について、拡張カルマンフィルタ(EKF)測定を実行して車両位置及び車両姿勢を更新し、レーダ特徴物が観測されるたびに、入力センサ源の誤差推定量及び品質尺度を更新するように構成されており、さらに、
    推測される位置品質を後続の位置特定機能が把握できるように、GPS信号の品質を評価すること、および
    前記品質尺度に基づいて、判明している最新の正確なGPSソリューションを決定することを含む、システム。
  17. 請求項15に記載のシステムにおいて、前記位置特定制御部が、さらに、
    ビジョン特徴物について、
    ビジョン特徴物ごとに、そのビジョン特徴物がセンサ視野外になるまで、そのビジョン特徴物を追跡し、
    その特徴物が観測されるたびに、クローン状態を付加し、
    そのビジョン特徴物が前記センサの視野外になると、多状態制約付きカルマンフィルタ(MSCKF)フィルタ測定更新を実行して車両位置及び車両姿勢を更新し、かつ、入力センサ源の誤差推定量及び品質尺度を更新するように構成されている、システム。
  18. 請求項15に記載のシステムにおいて、前記位置特定制御部が、さらに、レーダ特徴物軌跡とビジョン特徴物軌跡との両方を用いて、自律走行車両の予測された動きと、前記レーダ特徴物軌跡およびビジョン特徴物軌跡との比較に基づき、静止している特徴物を決定することにより、特徴物を保持し続けるように構成されている、システム。
  19. 請求項12に記載のシステムにおいて、前記レーダセンサが、レーダ特徴物と複数対象追跡データとを出力する、システム。
  20. 請求項12に記載のシステムにおいて、前記位置特定制御部が、さらに、特徴物の前記リストを、前記自律走行車両の位置を基準とした特徴物の相対位置のリストに変換するように構成されている、システム。
  21. 請求項12に記載のシステムにおいて、前記特徴物がビジョン特徴物であり、前記位置特定制御部が、さらに、前記ビジョン特徴物を、前記自律走行車両の視線に変換するように構成されている、システム。
  22. 請求項12に記載のシステムにおいて、前記位置特定制御部が、さらに、慣性計測装置(IMU)データも用いて、向上した位置を提供するように構成されている、システム。
  23. 自律走行車両をナビゲートする方法であって、
    自律走行車両が受信した最新の正確な全地球測位システム(GPS)信号を決定する過程と、
    前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定する過程であって、静止している特徴物の前記リストは、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む、過程と、
    前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出する過程と、
    を備える、方法。
  24. 自律走行車両をナビゲートするシステムであって、
    自律走行車両のGPS受信部と、
    前記自律走行車両の前記GPS受信部が受信した最新の正確な全地球測位システム(GPS)信号を決定し、
    前記自律走行車両の慣性計測装置(IMU)からのデータと、複数の時間ステップにわたる、前記自律走行車両についての静止している特徴物のリストを含むレーダデータとに基づいて、前記自律走行車両の軌道を決定し、
    前記最新の正確なGPS信号を前記軌道と組み合わせることにより、前記自律走行車両の新しい位置を算出するように構成された位置特定モジュールと、
    を備え、静止している特徴物の前記リストが、静止している特徴物ごとの、前記自律走行車両に対する距離及び角度を含む、システム。
JP2019517922A 2016-09-29 2016-09-29 車両位置特定の自律走行車両 Pending JP2019532292A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/054438 WO2018063245A1 (en) 2016-09-29 2016-09-29 Autonomous vehicle localization

Publications (1)

Publication Number Publication Date
JP2019532292A true JP2019532292A (ja) 2019-11-07

Family

ID=57133431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517922A Pending JP2019532292A (ja) 2016-09-29 2016-09-29 車両位置特定の自律走行車両

Country Status (3)

Country Link
EP (1) EP3516422A1 (ja)
JP (1) JP2019532292A (ja)
WO (1) WO2018063245A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020196333A (ja) * 2019-06-03 2020-12-10 トヨタ自動車株式会社 車両システム
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021099276A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2571711A (en) * 2018-03-01 2019-09-11 Scout Drone Inspection As Drone control system
EP3584607B1 (en) * 2018-06-18 2023-03-01 Zenuity AB Method and arrangement for improving global positioning performance of a road vehicle
JP7103000B2 (ja) * 2018-07-12 2022-07-20 株式会社デンソー 車両制御装置
CN110895407A (zh) * 2018-08-22 2020-03-20 郑州宇通客车股份有限公司 一种融合摄像与定位的自动驾驶车辆运行控制方法及车辆
CN112703540B (zh) * 2018-09-11 2022-06-07 日产自动车株式会社 驾驶辅助方法和驾驶辅助装置
US11125567B2 (en) * 2019-01-18 2021-09-21 GM Global Technology Operations LLC Methods and systems for mapping and localization for a vehicle
US11112252B2 (en) * 2019-02-14 2021-09-07 Hitachi Ltd. Sensor fusion for accurate localization
CN113544758B (zh) * 2019-03-12 2023-01-10 日立安斯泰莫株式会社 车辆控制装置
CN110081880A (zh) * 2019-04-12 2019-08-02 同济大学 一种融合视觉、轮速与惯导的清扫车局部定位系统及方法
US11885893B2 (en) * 2019-08-12 2024-01-30 Motional Ad Llc Localization based on predefined features of the environment
CN112444258A (zh) * 2019-09-05 2021-03-05 华为技术有限公司 可行驶区域判定的方法、智能驾驶系统和智能汽车
CN110717007A (zh) * 2019-10-15 2020-01-21 财团法人车辆研究测试中心 应用路侧特征辨识的图资定位系统及方法
US11262759B2 (en) * 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN112904395B (zh) * 2019-12-03 2022-11-25 青岛慧拓智能机器有限公司 一种矿用车辆定位系统及方法
WO2021116944A1 (en) 2019-12-09 2021-06-17 Thales Canada Inc. Stationary status resolution system
CN115950440A (zh) 2020-01-03 2023-04-11 御眼视觉技术有限公司 用于车辆导航的系统和方法
US11945439B2 (en) 2020-02-27 2024-04-02 Volvo Truck Corporation AD or ADAS aided maneuvering of a vehicle
CN111505692B (zh) * 2020-04-30 2021-03-12 中北大学 一种基于北斗/视觉的组合定位导航方法
CN114120260B (zh) * 2020-09-01 2024-08-20 广州汽车集团股份有限公司 可行驶区域识别方法及其系统、计算机设备、存储介质
US11618480B2 (en) * 2020-11-18 2023-04-04 Aptiv Technologies Limited Kurtosis based pruning for sensor-fusion systems
CN112666934A (zh) * 2020-11-20 2021-04-16 北京星航机电装备有限公司 一种汽车搬运agv控制系统、调度系统及控制方法
FR3122920B1 (fr) * 2021-05-17 2024-02-23 Renault Sas Procédé de localisation pour véhicule autonome.
CN113859265B (zh) * 2021-09-30 2023-05-23 国汽智控(北京)科技有限公司 一种驾驶过程中的提醒方法及设备
CN113984044A (zh) * 2021-10-08 2022-01-28 杭州鸿泉物联网技术股份有限公司 一种基于车载多感知融合的车辆位姿获取方法及装置
CN114613037B (zh) * 2022-02-15 2023-07-18 中国电子科技集团公司第十研究所 一种机载融合信息引导传感器提示搜索方法及装置
CN115561795A (zh) * 2022-08-19 2023-01-03 中国科学院深圳先进技术研究院 基于自动驾驶的数据恢复方法、终端设备以及存储介质
CN115468569A (zh) * 2022-09-16 2022-12-13 海南大学 一种基于双定位的语音控制车辆导航方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221099A (ja) * 1997-02-12 1998-08-21 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2007303841A (ja) * 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置
JP2010151829A (ja) * 2010-02-12 2010-07-08 Toyota Motor Corp 自車位置測定装置
JP2012242262A (ja) * 2011-05-20 2012-12-10 Mazda Motor Corp 移動体位置検出装置
JP2014066636A (ja) * 2012-09-26 2014-04-17 Toyota Motor Corp 自車位置校正装置および自車位置校正方法
US20140341465A1 (en) * 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US20150369609A1 (en) * 2014-06-19 2015-12-24 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243378A1 (en) * 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
US9140792B2 (en) * 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US9562778B2 (en) * 2011-06-03 2017-02-07 Robert Bosch Gmbh Combined radar and GPS localization system
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221099A (ja) * 1997-02-12 1998-08-21 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2007303841A (ja) * 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置
JP2010151829A (ja) * 2010-02-12 2010-07-08 Toyota Motor Corp 自車位置測定装置
JP2012242262A (ja) * 2011-05-20 2012-12-10 Mazda Motor Corp 移動体位置検出装置
JP2014066636A (ja) * 2012-09-26 2014-04-17 Toyota Motor Corp 自車位置校正装置および自車位置校正方法
US20140341465A1 (en) * 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US20150369609A1 (en) * 2014-06-19 2015-12-24 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020196333A (ja) * 2019-06-03 2020-12-10 トヨタ自動車株式会社 車両システム
JP7200829B2 (ja) 2019-06-03 2023-01-10 トヨタ自動車株式会社 車両システム
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021099276A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
WO2021131208A1 (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP7238758B2 (ja) 2019-12-23 2023-03-14 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
US11976929B2 (en) 2019-12-23 2024-05-07 Denso Corporation Localization apparatus and method for vehicle

Also Published As

Publication number Publication date
WO2018063245A1 (en) 2018-04-05
EP3516422A1 (en) 2019-07-31
WO2018063245A8 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP2019532292A (ja) 車両位置特定の自律走行車両
US10963462B2 (en) Enhancing autonomous vehicle perception with off-vehicle collected data
US20180087907A1 (en) Autonomous vehicle: vehicle localization
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
KR102696094B1 (ko) 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
US10377375B2 (en) Autonomous vehicle: modular architecture
US10599150B2 (en) Autonomous vehicle: object-level fusion
US20190072674A1 (en) Host vehicle position estimation device
US20170016740A1 (en) Method and apparatus for determining a vehicle ego-position
JP2019530609A (ja) モジュラー型アーキテクチャの自律走行車両
US11608059B2 (en) Method and apparatus for method for real time lateral control and steering actuation assessment
JP2019530608A (ja) 物体レベル融合の自律走行車両
CN107646114A (zh) 用于估计车道的方法
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
US11754415B2 (en) Sensor localization from external source data
JP2020056733A (ja) 車両制御装置
WO2018199941A1 (en) Enhancing autonomous vehicle perception with off-vehicle collected data
US12157481B2 (en) Systems and methods for hybrid open-loop and closed-loop path planning
US20220204046A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2024097784A (ja) 車両制御装置、車両制御方法及び車両制御プログラム
JP7599352B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US11724718B2 (en) Auction-based cooperative perception for autonomous and semi-autonomous driving systems
US11958493B2 (en) Vehicle control device and vehicle control method
JP2023006734A (ja) 車両走行制御装置及び車両走行制御方法
US20220203989A1 (en) Vehicle control device, vehicle control method, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210518