[go: up one dir, main page]

JP2023539868A - マップベースの現実世界モデル化のシステム及び方法 - Google Patents

マップベースの現実世界モデル化のシステム及び方法 Download PDF

Info

Publication number
JP2023539868A
JP2023539868A JP2023513511A JP2023513511A JP2023539868A JP 2023539868 A JP2023539868 A JP 2023539868A JP 2023513511 A JP2023513511 A JP 2023513511A JP 2023513511 A JP2023513511 A JP 2023513511A JP 2023539868 A JP2023539868 A JP 2023539868A
Authority
JP
Japan
Prior art keywords
road
vehicle
vehicles
segment
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513511A
Other languages
English (en)
Inventor
シェンフェルド、モシェ
チャップマン、ルース
ハニエル、イド
ハコーヘン、ヤエル
ゴリンスキー、イシェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2023539868A publication Critical patent/JP2023539868A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

Figure 2023539868000001
複数の道路区分からの走行情報を相関させるためのシステムが開示される。１つの実施形態では、システムは、第１の道路区分を横断する車両及び第２の道路区分を横断する車両から走行情報を受信するように構成されたメモリ及びプロセッサを含む。プロセッサは、車両からの走行情報を相関させ、第１の道路区分を表す第１の道路モデル区分及び第２の道路区分を表す第２の道路モデル区分を提供するように構成される。プロセッサは、第１の道路区分に関連付けられた第１のポイント及び第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、第１の道路モデル区分を第２の道路モデル区分と相関させ、疎なナビゲーションマップの一部として相関道路区分モデルを記憶する。

Description

［関連出願の相互参照］
本出願は、２０２０年８月３１日に出願された米国仮出願第６３／０７２，５９７号の優先権の利益を主張するものである。上記の出願は、参照によりその全体が本明細書に援用される。
本開示は、概して、車両ナビゲーションに関する。
技術が進化し続けるにつれ、道路上でナビゲート可能な完全自律車両という目標が現実味を帯びてきている。自律車両は、様々な要因を考慮に入れる必要があり得、それらの要因に基づいて意図される目的地に安全かつ正確に到達するのに適切な判定を下し得る。例えば、自律車両はまた、視覚的情報（例えば、カメラから撮像される情報）を処理して解釈する必要があり得ると共に、他の情報源（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサ等）から得られる情報を使用し得る。同時に、目的地にナビゲートするために、自律車両は、特定の道路（例えば、複数レーン道路内の特定のレーン）内の自らの位置を識別し、他の車両と並んでナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を観測し、適切な交差点又はインターチェンジである道路から別の道路に走行する必要もあり得る。車両が目的地まで走行するときに、自律車両によって収集された膨大な量の情報を利用して解釈することは、設計上の多くの課題をもたらす。自律車両が分析、アクセス、及び／又は記憶する必要があり得る膨大な量のデータ（例えば、撮像された画像データ、マップデータ、ＧＰＳデータ、センサデータ等）は、実際には自律ナビゲーションに制限又は悪影響を与える可能性のある課題をもたらす。更に、自律車両が従来のマッピング技術に依存してナビゲートする場合、マップの記憶及び更新に必要な膨大な量のデータは、困難な課題をもたらす。
本開示による実施形態は、車両ナビゲーションのシステム及び方法を提供する。
一実施形態では、複数の道路区分からの走行情報を相関させるためのシステムは、回路及びメモリを有する少なくとも１つのプロセッサを含み得る。メモリは、回路によって実行されると、少なくとも１つのプロセッサに、第１の道路区分を横横断する第１の複数の車両のそれぞれから走行情報を受信させ、ここで、第１の複数の車両のそれぞれからの走行情報は、第１の複数の車両のうちの特定の車両が第１の道路区分を横断している間に進んだ実際の軌道の表示を少なくとも含む；及び、第１の道路区分を表す第１の道路モデル区分を提供するために、第１の複数の車両のそれぞれからの走行情報を相関させる命令を含み得る。少なくとも１つのプロセッサは、第２の道路区分を横断する第２の複数の車両のそれぞれから走行情報を更に受信し、ここで、第２の複数の車両のそれぞれからの走行情報は、第２の複数の車両のうちの特定の車両が第２の道路区分を横断している間に進んだ実際の軌道の表示を少なくとも含む；及び、第２の道路区分を表す第２の道路モデル区分を提供するために、第２の複数の車両のそれぞれからの走行情報を相関させ得る。少なくとも１つのプロセッサは、第１の道路区分に関連付けられた第１のポイント及び第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、第１の道路モデル区分を第２の道路モデル区分に更に相関させ；及び、第１の道路区分及び第２の道路区分に沿った車両のナビゲーションに使用する疎な（ｓｐａｒｓｅ）ナビゲーションマップの一部として相関道路区分モデルを記憶し得る。
一実施形態では、複数の道路区分からの走行情報を相関させるための方法は、第１の道路区分を横断する第１の複数の車両のそれぞれから走行情報を受信する段階、ここで、第１の複数の車両のそれぞれからの走行情報は、第１の複数の車両のうちの特定の車両が第１の道路区分を横断している間に進んだ実際の軌道の表示を少なくとも含む；及び、第１の道路区分を表す第１の道路モデル区分を提供するために、第１の複数の車両のそれぞれからの走行情報を相関させる段階を含み得る。方法は、第２の道路区分を横断する第２の複数の車両のそれぞれから走行情報を受信する段階、ここで、第２の複数の車両のそれぞれからの走行情報は、第２の複数の車両のうちの特定の車両が第２の道路区分を横断している間に進んだ実際の軌道の表示を少なくとも含む；及び、第２の道路区分を表す第２の道路モデル区分を提供するために、第２の複数の車両のそれぞれからの走行情報を相関させる段階を更に含み得る。方法は、第１の道路区分に関連付けられた第１のポイント及び第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、第１の道路モデル区分を第２の道路モデル区分に相関させる段階；及び、第１の道路区分及び第２の道路区分に沿った車両のナビゲーションに使用する疎なナビゲーションマップの一部として相関道路区分モデルを記憶する段階を更に含み得る。
一実施形態では、路面モデルを生成するためのシステムは、回路及びメモリを有する少なくとも１つのプロセッサを含み得る。メモリは、回路によって実行されると、少なくとも１つのプロセッサに１つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスさせる；及び、複数のポイントに基づいて路面モデルを生成させる命令を含み得、路面モデルは、１つ又は複数の走行可能な道路の表面を表すメッシュを含む。路面モデルを生成することは、複数のポイントのうちの第１のポイント及び複数のポイントのうちの第２のポイントの間の走行可能距離を決定すること；及び、第１のポイント及び第２のポイントの間の走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、第１のポイント及び第２のポイントを一緒にメッシュ化することを含み得る。少なくとも１つのプロセッサは、１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために路面モデルを更に記憶し得る。
一実施形態では、路面モデルを生成する方法は、１つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスする；及び、複数のポイントに基づいて路面モデルを生成することを含み得、路面モデルは、１つ又は複数の走行可能な道路の表面を表すメッシュを含む。路面モデルを生成することは、複数のポイントのうちの第１のポイント及び複数のポイントのうちの第２のポイントの間の走行可能距離を決定すること；及び、第１のポイント及び第２のポイントの間の走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、第１のポイント及び第２のポイントを一緒にメッシュ化することを含み得る。方法は、１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために路面モデルを記憶することを更に含み得る。
開示される他の実施形態によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサにより実行され、かつ本明細書に記載される任意の方法を実行するプログラム命令を記憶し得る。
上述した概説及び以下の詳細な説明は、単に例示的及び説明的なものであり、特許請求の範囲の限定ではない。
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
開示される実施形態による例示的なシステムの図表現である。
開示される実施形態によるシステムを含む例示的な車両の側面図表現である。
開示される実施形態による図２Ａに示す車両及びシステムの上面図表現である。
開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。
開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。
開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。
開示される実施形態による例示的な車両制御システムの図表現である。
バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図表現である。
開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。
開示される実施形態による、異なる視点からの図３Ｂに示すカメラマウントの図である。
開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。
開示される実施形態による１つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。
開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。
開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセスを示すフローチャートである。
開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャートである。
開示される実施形態による、画像の組内の信号機を検出する例示的なプロセスを示すフローチャートである。
開示される実施形態による、車両経路に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。
開示される実施形態による、先行車両がレーンを変更中であるか否かを判定する例示的なプロセスを示すフローチャートである。
開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。
開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。
開示される実施形態による、自律車両ナビゲーションを提供するための疎な（ｓｐａｒｓｅ）マップを示す。
開示される実施形態による、道路区分の部分の多項式表現を示す。
開示される実施形態による、疎なマップに含まれる、特定の道路区分についての車両の目標軌道を表す３次元空間内の曲線を示す。
開示される実施形態による、疎なマップに含まれ得るランドマークの例を示す。
開示される実施形態による、軌道の多項式表現を示す。
開示される実施形態による、複数レーン道路に沿った目標軌道を示す。 開示される実施形態による、複数レーン道路に沿った目標軌道を示す。
開示される実施形態による、例示的な道路シグネチャプロファイルを示す。
開示される実施形態による、自律車両ナビゲーションのために複数の車両から受信されるクラウドソーシングデータを使用するシステムの概略図である。
開示される実施形態による、複数の３次元スプラインによって表される例示的な自律車両道路ナビゲーションモデルを示す。
開示される実施形態による、多くの走行からの位置情報を組み合わせることから生成されるマップスケルトンを示す。
開示される実施形態による、ランドマークとしての例示的な標識による２つの走行の縦方向の位置合わせの例を示す。
開示される実施形態による、ランドマークとしての例示的な標識による多くの走行の縦方向の位置合わせの例を示す。
開示される実施形態による、カメラ、車両、及びサーバを使用して走行データを生成するためのシステムの概略図である。
開示される実施形態による、疎なマップをクラウドソーシングするためのシステムの概略図である。
開示される実施形態による、道路区分に沿った自律車両ナビゲーションのための疎なマップを生成するための例示的なプロセスを示すフローチャートである。
開示される実施形態による、サーバのブロック図を示す。
開示される実施形態による、メモリのブロック図を示す。
開示される実施形態による、車両に関連付けられた車両軌道をクラスタ化するプロセスを示す。
開示される実施形態による、自律ナビゲーションに使用され得る車両のためのナビゲーションシステムを示す。
開示される実施形態による、検出され得る例示的なレーンマークを示す。 開示される実施形態による、検出され得る例示的なレーンマークを示す。 開示される実施形態による、検出され得る例示的なレーンマークを示す。 開示される実施形態による、検出され得る例示的なレーンマークを示す。
開示される実施形態による、例示的なマッピングされたレーンマークを示す。
開示される実施形態による、レーンマークの検出に関連付けられた例示的な異常を示す。
開示される実施形態による、マッピングされたレーンマークに基づくナビゲーションのための車両の周囲環境の例示的な画像を示す。
開示される実施形態による、道路ナビゲーションモデルにおけるマッピングされたレーンマークに基づく車両の横方向位置特定の補正を示す。
疎なマップに含まれるマッピングされた特徴を使用して、目標軌道に沿ってホスト車両の位置を特定するための位置特定技術の概念表現を提供する。 疎なマップに含まれるマッピングされた特徴を使用して、目標軌道に沿ってホスト車両の位置を特定するための位置特定技術の概念表現を提供する。
開示される実施形態による、自律車両ナビゲーションで使用するためのレーンマークをマッピングするための例示的なプロセスを示すフローチャートである。
開示される実施形態による、マッピングされたレーンマークを使用して、道路区分に沿ってホスト車両を自律的にナビゲートするための例示的なプロセスを示すフローチャートである。
開示される実施形態による、重なり合う道路区分を有する例示的な陸橋を示す図である。
開示される実施形態による、図２７に示す陸橋の俯瞰図である。
開示される実施形態による、走行情報が収集され得る例示的な交差点を示す。
開示される実施形態による、走行情報を相関させるための例示的なプロセスを示すフローチャートである。
開示される実施形態による、陸橋の例示的な路面モデルを示す。
開示される実施形態による、路面モデルを生成する際に発生し得る例示的な異常を示す。
開示される実施形態による、路面モデルを生成するための例示的なプロセスを示すフローチャートである。
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の説明において、同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態は、本明細書で説明されるが、変更形態、適応形態及び他の実装形態が可能である。例えば、図面に示す構成要素に対する置換形態、追加形態又は変更形態がなされ得、本明細書に記載される例示的な方法は、開示される方法のステップの置換、並べ替え、削除又は追加により変更することができる。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。その代わり、適切な範囲は、添付の特許請求の範囲により規定される。
［自律車両の概要］
本開示の全体を通して使用するとき、「自律車両」という用語は、ドライバー入力なしで少なくとも１つのナビゲーション変更を実施することができる車両を指す。「ナビゲーション変更」は、車両のステアリング、ブレーキ、又は加速の１つ又は複数の変更を指す。自律的であるために、車両は、完全に自動である（例えば、ドライバー又はドライバー入力なしに完全に動作する）必要はない。むしろ、自律車両は、特定の時間期間中にドライバーの制御下で動作し、他の時間期間中にドライバーの制御なしで動作することができる車両を含む。自律車両は、（例えば、車両レーン制約間に車両コースを維持するために）ステアリング等の車両ナビゲーションの幾つかの側面のみを制御するが、他の側面（例えば、ブレーキ）をドライバーに任せ得る車両を含むこともできる。場合によっては、自律車両は、車両のブレーキ、速度制御及び／又はステアリングの一部又は全部の側面を扱い得る。
人間のドライバーは、通常、車両を制御するために視覚的手掛かり及び観測に依存することから、交通基盤は、それに従って構築されており、レーンマーク、交通標識及び信号機は、視覚的情報を全てドライバーに提供するように設計されている。交通基盤のこれらの設計特性に鑑みて、自律車両は、カメラと、車両の環境から撮像される視覚的情報を分析する処理ユニットとを含み得る。視覚的情報は、例えば、ドライバーにより観測可能な交通基盤の構成要素（例えば、レーンマーク、交通標識、信号機等）及び他の障害物（例えば、他の車両、歩行者、瓦礫等）を含み得る。更に、自律車両は、ナビゲート時、車両の環境のモデルを提供する情報等の記憶される情報を使用することもできる。例えば、車両は、ＧＰＳデータ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサ等からの）及び／又は他のマップデータを使用して、車両が走行している間、車両の環境に関連する情報を提供し得、車両（及び他の車両）は情報を使用して、モデルでのそれ自体の位置を特定し得る。
本開示の幾つかの実施形態では、自律車両は、ナビゲート中に（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサ、サスペンションセンサ等から）得られた情報を使用し得る。他の実施形態では、自律車両は、ナビゲート中に、車両（又は他の車両）による過去のナビゲーションから得られた情報を使用し得る。更に他の実施形態では、自律車両は、ナビゲート中に得られた情報と過去のナビゲーションから得られた情報との組み合わせを使用し得る。以下の節は、開示される実施形態によるシステムの概要を提供し、続いて、そのシステムによる前向きの撮像システム及び方法の概要を提供する。以下の節では、自律車両ナビゲーションのための疎な（ｓｐａｒｓｅ）マップを構築、使用、及び更新するためのシステム及び方法について開示される。
［システム概要］
図１は、開示される例示的な実施形態によるシステム１００のブロック図表現である。システム１００は、特定の実装の要件に応じて様々な構成要素を含み得る。幾つかの実施形態では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、マップデータベース１６０、ユーザインタフェース１７０及び無線送受信機１７２を含み得る。処理ユニット１１０は、１つ又は複数の処理デバイスを含み得る。幾つかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０又は任意の他の適切な処理デバイスを含み得る。同様に、画像取得ユニット１２０は、特定の用途の要件に応じて任意の数の画像取得デバイス及び構成要素を含み得る。幾つかの実施形態では、画像取得ユニット１２０は、撮像デバイス１２２、撮像デバイス１２４、撮像デバイス１２６等の１つ又は複数の撮像デバイス（例えば、カメラ）を含み得る。システム１００は、処理デバイス１１０を画像取得デバイス１２０に通信可能に接続するデータインタフェース１２８を含むこともできる。例えば、データインタフェース１２８は、画像取得デバイス１２０によって取得される画像データを処理ユニット１１０に伝送するための１つ又は複数の任意の有線リンク及び／又は無線リンクを含み得る。
無線送受信機１７２は、無線周波数、赤外線周波数、磁場又は電場の使用により無線インタフェースを介して伝送を１つ又は複数のネットワーク（例えば、セルラやインターネット等）と交換するように構成される１つ又は複数のデバイスを含み得る。無線送受信機１７２は、任意の既知の標準（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｓｍａｒｔ、８０２．１５．４、ＺｉｇＢｅｅ（登録商標）等）を使用してデータを送信及び／又は受信し得る。そのような伝送は、ホスト車両から１つ又は複数の遠隔設置されるサーバへの通信を含み得る。そのような伝送は、（例えば、ホスト車両の環境内の目標車両を考慮して又はかかる目標車両と共にホスト車両のナビゲーションの調整を促進するための）ホスト車両とホスト車両の環境内の１つ又は複数の目標車両との間の（単方向又は双方向）通信、更に伝送側の車両の付近にある未指定の受け手へのブロードキャスト伝送も含み得る。
アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方は、様々なタイプの処理デバイスを含み得る。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のいずれか一方又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィックスプロセッシングユニット（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ又はアプリケーションを実行し、画像を処理して分析するのに適する任意の他のタイプのデバイスを含み得る。幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングルコア又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置等を含み得る。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）等のような製造業者から入手可能なプロセッサ、又はＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）等のような製造業者から入手可能なＧＰＵを含め、様々な処理デバイスが使用可能であり、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）等）を含み得る。
幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能な任意のＥｙｅＱシリーズのプロセッサチップを含み得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像データを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例では、ＥｙｅＱ２（登録商標）は、３３２ＭＨｚで動作する９０ｎｍ－ミクロン技術を使用する。ＥｙｅＱ２（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（ＭＩＰＳ３２（登録商標）３４Ｋ（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Ｄｅｎａｌｉ６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ及び幾つかの周辺機器からなる。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（登録商標）及びＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャネルＤＭＡ並びに他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションにより要求される集中的なビジョン計算を実行することができる。別の例では、開示される実施形態において、第３世代プロセッサであり、ＥｙｅＱ２（登録商標）よりも６倍強力なＥｙｅＱ３（登録商標）を使用し得る。他の例では、ＥｙｅＱ４（登録商標）及び／又はＥｙｅＱ５（登録商標）を開示される実施形態で使用し得る。当然ながら、それよりも新しい又は将来のＥｙｅＱ処理デバイスも、開示される実施形態と共に使用し得る。
本明細書で開示される処理デバイスのいずれも特定の機能を実行するように構成することができる。記載のＥｙｅＱプロセッサ又は他のコントローラ又はマイクロプロセッサのいずれか等の処理デバイスを、特定の機能を実行するように構成することは、コンピュータ実行可能命令をプログラムし、処理デバイスの動作中に実行するためにそれらの命令を処理デバイスに提供することを含み得る。幾つかの実施形態では、処理デバイスを構成することは、処理デバイスにアーキテクチャ的命令を直接プログラムすることを含み得る。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）及び同様のもの等の処理デバイス等は、例えば、１つ又は複数のハードウェア記述言語（ＨＤＬ）を使用して構成され得る。
他の実施形態では、処理デバイスを構成することは、動作中に処理デバイスがアクセス可能なメモリ上に実行可能命令を記憶することを含み得る。例えば、処理デバイスは、動作中にメモリにアクセスして、記憶される命令を取得及び実行し得る。いずれにせよ、本明細書で開示される検知、画像分析及び／又はナビゲーション機能を実行するように構成される処理デバイスは、ホスト車両の複数のハードウェアベースの構成要素を制御する専用のハードウェアベースのシステムを表す。
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示すが、より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの実施形態では、単一の処理デバイスを使用して、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成し得る。他の実施形態では、これらのタスクは、３つ以上の処理デバイスにより実行され得る。更に、幾つかの実施形態では、システム１００は、画像取得ユニット１２０等の他の構成要素を含まず、処理ユニット１１０のうちの１つ又は複数を含み得る。
処理ユニット１１０は、様々なタイプのデバイスを含み得る。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ又は画像を処理し分析する任意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像センサから画像を撮像し、デジタル化し、処理するビデオプロセッサを含み得る。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。ＧＰＵはまた、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。サポート回路は、キャッシュ、電源、クロック及び入出力回路を含め、当技術分野で一般に既知の任意の数の回路であり得る。メモリは、プロセッサにより実行されると、システムの動作を制御するソフトウェアを記憶し得る。メモリは、データベース及び画像処理ソフトウェアを含み得る。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置及び他のタイプの記憶装置を含み得る。一例では、メモリは、処理ユニット１１０とは別個であり得る。別の例では、メモリは、処理ユニット１１０に統合し得る。
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）によって実行されるとき、システム１００の様々な態様の動作を制御し得るソフトウェア命令を含み得る。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェア並びに例えばニューラルネットワーク又はディープニューラルネットワーク等のトレーニングされたシステムを含み得る。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置及び／又は任意の他のタイプの記憶装置を含み得る。幾つかの実施形態では、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であり得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合され得る。
位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連付けられた位置を特定するのに適する任意のタイプのデバイスを含み得る。幾つかの実施形態では、位置センサ１３０はＧＰＳ受信機を含み得る。そのような受信機は、全地球測位システム衛星によりブロードキャストされる信号を処理することにより、ユーザの位置及び速度を特定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に提供し得る。
幾つかの実施形態では、システム１００は、車両２００の速度を測定するための速度センサ（例えば、回転速度計、速度計）及び／又は車両２００の加速度を測定するための加速度計（単軸又は多軸のいずれか）等の構成要素を含み得る。
ユーザインタフェース１７０は、情報を提供するか、又はシステム１００の１人又は複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つかの実施形態では、ユーザインタフェース１７０は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、トラックホイール、カメラ、つまみ、ボタン等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは、命令又は情報をタイプし、音声コマンドを提供し、ボタン、ポインタ又は目追跡機能を使用して画面上のメニュー選択肢を選択することにより、又は情報をシステム１００に通信する任意の他の適する技法を通してシステム１００に情報入力又はコマンドを提供可能であり得る。
ユーザインタフェース１７０は、ユーザに情報を提供するか、又はユーザから情報を受信し、例えばアプリケーションプロセッサ１８０による使用のためにその情報を処理するように構成される１つ又は複数の処理デバイスを備え得る。幾つかの実施形態では、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーンで行われたタッチ及び／又はジェスチャを認識して解釈する命令、キーボード入力又はメニュー選択に応答する命令等を実行し得る。幾つかの実施形態では、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触覚デバイス及び／又は出力情報をユーザに提供する任意の他のデバイスを含み得る。
マップデータベース１６０は、システム１００にとって有用なマップデータを記憶する任意のタイプのデータベースを含み得る。幾つかの実施形態では、マップデータベース１６０は、道路、水の特徴、地理的特徴、ビジネス、関心点、レストラン、ガソリンスタンド等を含め、様々な項目の、基準座標系での位置に関連するデータを含み得る。マップデータベース１６０は、そのような項目の位置のみならず、例えば記憶される特徴のいずれかに関連付けられた名称を含め、それらの項目に関連する記述子も記憶し得る。幾つかの実施形態では、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置し得る。代替又は追加として、マップデータベース１６０又はその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に対して遠隔に配置し得る。そのような実施形態では、マップデータベース１６０からの情報は、有線又は無線データ接続を介して（例えば、セルラネットワーク及び／又はインターネット等を介して）ネットワークにダウンロードし得る。場合によっては、マップデータベース１６０は、特定の道路の特徴（例えば、レーンマーク）又はホスト車両の目標軌道の多項式表現を含む疎な（ｓｐａｒｓｅ）データモデルを記憶し得る。そのようなマップを生成するシステム及び方法については、図８～図１９を参照して以下で論じる。
撮像デバイス１２２、１２４及び１２６は、それぞれ環境から少なくとも１つの画像を撮像するのに適する任意のタイプのデバイスを含み得る。更に、任意の数の撮像デバイスを使用して、画像プロセッサに入力する画像を取得し得る。幾つかの実施形態は、単一の撮像デバイスのみを含み得、他の実施形態は、２つ、３つ、更には４つ以上の撮像デバイスを含み得る。撮像デバイス１２２、１２４及び１２６については、図２Ｂ～図２Ｅを参照して更に以下に説明する。
システム１００又はシステム１００の様々な構成要素は、様々な異なるプラットフォームに組み込み得る。幾つかの実施形態では、システム１００は図２Ａに示すように、車両２００に含め得る。例えば、車両２００は、図１に関して上記で説明したように、処理ユニット１１０及びシステム１００の任意の他の構成要素を備え得る。幾つかの実施形態では、車両２００は単一の撮像デバイス（例えば、カメラ）のみを備え得、図２Ｂ～図２Ｅに関連して考察した実施形態等の他の実施形態では、複数の撮像デバイスが使用可能である。例えば、図２Ａに示すように、車両２００の撮像デバイス１２２及び１２４のいずれかは、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ：ＡＤＡＳ）撮像セットの一部であり得る。
画像取得ユニット１２０の一部として車両２００に含まれる撮像デバイスは、任意の適切な位置に位置決めし得る。幾つかの実施形態では、図２Ａ～図２Ｅ及び図３Ａ～図３Ｃに示すように、撮像デバイス１２２は、バックミラーの近傍に配置し得る。この位置は、車両２００のドライバーと同様の視線を提供し得、ドライバーにとって何が見え、何が見えないかの判断を支援し得る。撮像デバイス１２２は、バックミラーの近くの任意の位置に位置し得るが、撮像デバイス１２２をミラーのドライバー側に配置することは、ドライバーの視野及び／又は視線を表す画像の取得を更に支援し得る。
画像取得ユニット１２０の撮像デバイスに他の位置を使用することもできる。例えば、撮像デバイス１２４は、車両２００のバンパー上又はバンパー内に配置し得る。そのような位置は、広視野を有する撮像デバイスに特に適し得る。バンパーに配置される撮像デバイスの視線は、ドライバーの視線と異なることができ、したがって、バンパー撮像デバイス及びドライバーは、同じ物体を常に見ているわけではない。撮像デバイス（例えば、撮像デバイス１２２、１２４及び１２６）は、他の位置に配置することもできる。例えば、撮像デバイスは、車両２００の一方又は両方のサイドミラー上又はサイドミラー内、車両２００のルーフ上、車両２００のフード上、車両２００のトランク上、車両２００の側部上に配置し得、車両２００の任意のウィンドウに搭載、背後に位置決め又は前方に位置決めし得、車両２００の前部及び／又は後部のライト内又はその近く等に搭載し得る。
撮像デバイスに加えて、車両２００は、システム１００の他の様々な構成要素を含み得る。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）に統合されるか、又はＥＣＵとは別個に車両２００に含まれ得る。車両２００には、ＧＰＳ受信機等の位置センサ１３０を備えることもでき、車両２００は、マップデータベース１６０及びメモリユニット１４０及び１５０を含むこともできる。
上述したように、無線送受信機１７２は、１つ又は複数のネットワーク（例えば、セルラネットワーク、インターネット等）を介してデータを及び／又は受信し得る。例えば、無線送受信機１７２は、システム１００により収集されるデータを１つ又は複数のサーバにアップロードし、データを１つ又は複数のサーバからダウンロードし得る。無線送受信機１７２を介して、システム１００は、例えば、定期的な又は需要に応じたマップデータベース１６０、メモリ１４０及び／又はメモリ１５０に記憶されるデータへの更新を受信し得る。同様に、無線送受信機１７２は、システム１００からの任意のデータ（例えば、画像取得ユニット１２０により撮像された画像、位置センサ１３０、他のセンサ又は車両制御システムにより受信されるデータ等）及び／又は処理ユニット１１０により処理される任意のデータを１つ又は複数のサーバにアップロードし得る。
システム１００は、プライバシーレベル設定に基づいてデータをサーバ（例えば、クラウド）にアップロードし得る。例えば、システム１００は、サーバに送信される、車両及び／又は車両のドライバー／所有者を一意に識別し得るタイプのデータ（メタデータを含む）を規制又は制限するプライバシーレベル設定を実施し得る。そのような設定は、例えば、無線送受信機１７２を介してユーザにより設定され得るか、工場デフォルト設定により初期化され得るか、又は無線送受信機１７２により受信されるデータにより初期化され得る。
幾つかの実施形態では、システム１００は、「高」プライバシーレベルに従ってデータをアップロードし得、設定の設定下において、システム１００は、特定の車両及び／又はドライバー／所有者についてのいかなる詳細もないデータ（例えば、ルートに関連する位置情報、撮像された画像等）を送信し得る。例えば、「高」プライバシー設定に従ってデータをアップロードする場合、システム１００は、車両識別番号（ＶＩＮ）又は車両のドライバー又は所有者の氏名を含み得ず、代わりに、撮像された画像及び／又はルートに関連する限られた位置情報等のデータを送信し得る。
他のプライバシーレベルが意図される。例えば、システム１００は、「中」プライバシーレベルに従ってデータをサーバに送信し得、車両及び／又は車両タイプのメーカー及び／又はモデル（例えば、乗用車、スポーツユーティリティ車、トラック等）等の「高」プライバシーレベル下では含まれない追加情報を含み得る。幾つかの実施形態では、システム１００は、「低」プライバシーレベルに従ってデータをアップロードし得る。「低」プライバシーレベル設定下では、システム１００は、特定の車両、所有者／ドライバー及び／又は車両が走行したルートの一部又は全体を一意に識別するのに十分なデータをアップロードし、そのような情報を含み得る。そのような「低」プライバシーレベルデータは、例えば、ＶＩＮ、ドライバー／所有者氏名、出発前の車両の出発点、車両の意図される目的地、車両のメーカー及び／又はモデル、車両のタイプ等のうちの１つ又は複数を含み得る。
図２Ａは、開示される実施形態による例示的な車両撮像システムの側面図表現である。図２Ｂは、図２Ａに示す実施形態の上面図表現である。図２Ｂに示すように、開示される実施形態は、バックミラーの近傍及び／又は車両２００のドライバーの近くに位置決めされる第１の撮像デバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又はバンパー領域内に位置決めされる第２の撮像デバイス１２４と、処理ユニット１１０とを有するシステム１００を本体内に含む車両２００を含み得る。
図２Ｃに示すように、撮像デバイス１２２及び１２４の両方は、車両２００のバックミラーの近傍及び／又はドライバーの近くに位置決めし得る。更に、２つの撮像デバイス１２２及び１２４が図２Ｂ及び図２Ｃに示されているが、他の実施形態が３つ以上の撮像デバイスを含み得ることを理解されたい。例えば、図２Ｄ及び図２Ｅに示す実施形態では、第１の撮像デバイス１２２、第２の撮像デバイス１２４及び第３の撮像デバイス１２６が車両２００のシステム１００に含まれる。
図２Ｄに示すように、撮像デバイス１２２は、車両２００のバックミラーの近傍及び／又はドライバーの近くに位置決めし得、撮像デバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又は中に位置決めし得る。また、図２Ｅに示すように、撮像デバイス１２２、１２４及び１２６は、車両２００のバックミラーの近傍及び／又はドライバーシートの近くに位置決めし得る。開示される実施形態は、いかなる特定の数及び構成の撮像デバイスにも限定されず、撮像デバイスは、車両２００内及び／又は車両２００上の任意の適切な位置に位置決めし得る。
開示される実施形態が車両に限定されず、他の状況でも適用可能なことを理解されたい。開示される実施形態が特定のタイプの車両２００に限定されず、自動車、トラック、トレーラ及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得ることも理解されたい。
第１の撮像デバイス１２２は、任意の適切なタイプの撮像デバイスを含み得る。撮像デバイス１２２は光軸を含み得る。一例では、撮像デバイス１２２は、グローバルシャッタを有するＡｐｔｉｎａ Ｍ９Ｖ０２４ ＷＶＧＡセンサを含み得る。他の実施形態では、撮像デバイス１２２は、１２８０×９６０ピクセルの解像度を提供し得、ローリングシャッタを含み得る。撮像デバイス１２２は、様々な光学要素を含み得る。幾つかの実施形態では、１枚又は複数枚のレンズが含まれて、例えば撮像デバイスの所望の焦点距離及び視野を提供し得る。幾つかの実施形態では、撮像デバイス１２２に６ｍｍレンズ又は１２ｍｍレンズを関連付け得る。幾つかの実施形態では、撮像デバイス１２２は、図２Ｄに示すように、所望の視野（ＦＯＶ）２０２を有する画像を撮像するように構成し得る。例えば、撮像デバイス１２２は、４６度ＦＯＶ、５０度ＦＯＶ、５２度ＦＯＶ又は５２度ＦＯＶを超える度数を含め、４０度～５６度の範囲内等の通常のＦＯＶを有するように構成し得る。或いは、撮像デバイス１２２は、２８度ＦＯＶ又は３６度ＦＯＶ等の２３～４０度の範囲の狭いＦＯＶを有するように構成し得る。加えて、撮像デバイス１２２は、１００～１８０度の範囲の広いＦＯＶを有するように構成し得る。幾つかの実施形態では、撮像デバイス１２２は、広角バンパーカメラ又は最高で１８０度ＦＯＶを有するバンパーカメラを含み得る。幾つかの実施形態では、撮像デバイス１２２は、約１００度の水平ＦＯＶを有するアスペクト比約２：１（例えば、Ｈ×Ｖ＝３８００×１９００ピクセル）の７．２Ｍピクセル撮像デバイスであり得る。そのような撮像デバイスは、３撮像デバイス構成の代わりに使用し得る。著しいレンズ歪みに起因して、そのような撮像デバイスの垂直ＦＯＶは、撮像デバイスが半径方向に対称なレンズを使用する実装形態では、５０度よりはるかに小さくなり得る。例えば、そのようなレンズは、半径方向で対称ではない場合があり、それにより、水平ＦＯＶ１００度で、５０度よりも大きい垂直ＦＯＶが可能である。
第１の撮像デバイス１２２は、車両２００に関連付けられたシーンに対して複数の第１の画像を取得し得る。複数の第１の画像は、それぞれ一連の画像走査線として取得し得、これらはローリングシャッタを使用して撮像し得る。各走査線は複数のピクセルを含み得る。
第１の撮像デバイス１２２は、第１の一連の画像走査線のそれぞれの取得に関連付けられた走査率を有し得る。走査率は、画像センサが、特定の走査線に含まれる各ピクセルに関連付けられた画像データを取得することができる率を指し得る。
撮像デバイス１２２、１２４及び１２６は、例えば、ＣＣＤセンサ又はＣＭＯＳセンサを含め、任意の適切なタイプ及び数の画像センサを含み得る。１つの実施形態では、ＣＭＯＳ画像センサはローリングシャッタと共に使用し得、それにより、行内の各ピクセルは一度に１つずつ読み取られ、行の走査は、画像フレーム全体が撮像されるまで行ごとに進められる。幾つかの実施形態では、行は、フレームに対して上から下に順次撮像し得る。
幾つかの実施形態では、本明細書に開示される撮像デバイス（例えば、撮像デバイス１２２、１２４及び１２６）のうちの１つ又は複数は、高解像度イメージャを構成し得、５Ｍピクセル超、７Ｍピクセル超、１０Ｍピクセル超又はそれを超える解像度を有し得る。
ローリングシャッタの使用により、異なる行内のピクセルは異なる時間に露出され撮像されることになり得、それにより、スキュー及び他の画像アーチファクトが撮像された画像フレームで生じ得る。一方、撮像デバイス１２２がグローバルシャッタ又は同期シャッタを用いて動作するように構成される場合、全ピクセルは、同量の時間にわたり、共通の露出期間中に露出し得る。結果として、グローバルシャッタを使用するシステムから収集されるフレーム内の画像データは、特定の時間のＦＯＶ（ＦＯＶ２０２等）全体のスナップショットを表す。それとは逆に、ローリングシャッタを適用する場合、フレーム内の各行が露出され、データは異なる時間に撮像される。したがって、移動中の物体は、ローリングシャッタを有する撮像デバイスでは歪んで見えることがある。この現象について以下に更に詳細に説明する。
第２の撮像デバイス１２４及び第３の撮像デバイス１２６は、任意のタイプの撮像デバイスであり得る。第１の撮像デバイス１２２のように、撮像デバイス１２４及び１２６のそれぞれは、光軸を含み得る。１つの実施形態では、撮像デバイス１２４及び１２６のそれぞれは、グローバルシャッタを有するＡｐｔｉｎａ Ｍ９Ｖ０２４ ＷＶＧＡセンサを含み得る。或いは、撮像デバイス１２４及び１２６のそれぞれは、ローリングシャッタを含み得る。撮像デバイス１２２のように、撮像デバイス１２４及び１２６は、様々なレンズ及び光学素子を含むように構成し得る。幾つかの実施形態では、撮像デバイス１２４及び１２６に関連付けられたレンズは、撮像デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）と同じであるか、又はそれよりも狭いＦＯＶ（ＦＯＶ２０４及び２０６等）を提供し得る。例えば、撮像デバイス１２４及び１２６は、４０度、３０度、２６度、２３度、２０度又は２０度未満のＦＯＶを有し得る。
撮像デバイス１２４及び１２６は、車両２００に関連付けられたシーンに対して複数の第２及び第３の画像を取得し得る。複数の第２及び第３の画像のそれぞれは、第２及び第３の一連の画像走査線として取得し得、これらはローリングシャッタを使用して撮像し得る。各走査線又は各行は、複数のピクセルを有し得る。撮像デバイス１２４及び１２６は、第２及び第３の一連内に含まれる各画像走査線の取得に関連付けられた第２及び第３の走査率を有し得る。
各撮像デバイス１２２、１２４及び１２６は、車両２００に対して任意の適切な位置及び向きで位置決めし得る。撮像デバイス１２２、１２４及び１２６の相対位置は、撮像デバイスから取得される情報を融合させることを支援するように選択し得る。例えば、幾つかの実施形態では、撮像デバイス１２４に関連付けられたＦＯＶ（ＦＯＶ２０４等）は、撮像デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）及び撮像デバイス１２６に関連付けられたＦＯＶ（ＦＯＶ２０６等）と部分的又は完全に重複し得る。
撮像デバイス１２２、１２４及び１２６は、任意の適切な相対的な高さで車両２００に配置し得る。一例では、撮像デバイス１２２、１２４及び１２６間に高さ差があり得、高さ差は、立体分析を可能にするのに十分な視差情報を提供し得る。例えば、図２Ａに示すように、２つの撮像デバイス１２２及び１２４は異なる高さにある。撮像デバイス１２２、１２４及び１２６間には横方向変位差もあり得、例えば、処理ユニット１１０による立体分析のための追加の視差情報を与える。横方向変位差は、図２Ｃ及び図２Ｄに示すように、ｄｘで示し得る。幾つかの実施形態では、前部変位又は後部変位（例えば、範囲変位）が、撮像デバイス１２２、１２４、１２６間に存在し得る。例えば、撮像デバイス１２２は、撮像デバイス１２４及び／又は撮像デバイス１２６の０．５～２メートル以上背後に配置し得る。このタイプの変位では、撮像デバイスの１つが、他の撮像デバイスの潜在的なブラインドスポットをカバー可能であり得る。
撮像デバイス１２２は、任意の適切な解像度能力（例えば、画像センサに関連付けられたピクセル数）を有し得、撮像デバイス１２２に関連付けられた画像センサの解像度は、撮像デバイス１２４及び１２６に関連付けられた画像センサの解像度よりも高いか、低いか、又は同じであり得る。幾つかの実施形態では、撮像デバイス１２２及び／又は撮像デバイス１２４及び１２６に関連付けられた画像センサは、解像度６４０×４８０、１０２４×７６８、１２８０×９６０又は任意の他の適切な解像度を有し得る。
フレームレート（例えば、撮像デバイスが、次の画像フレームに関連付けられたピクセルデータの撮像に移る前、１つの画像フレームのピクセルデータの組を取得する速度）は、制御可能であり得る。撮像デバイス１２２に関連付けられたフレームレートは、撮像デバイス１２４及び１２６に関連付けられたフレームレートよりも高いか、低いか、又は同じであり得る。撮像デバイス１２２、１２４及び１２６に関連付けられたフレームレートは、フレームレートのタイミングに影響を及ぼし得る様々な要因に依存し得る。例えば、撮像デバイス１２２、１２４及び１２６のうちの１つ又は複数は、撮像デバイス１２２、１２４及び／又は１２６内の画像センサの１つ又は複数のピクセルに関連付けられた画像データの取得前又は取得後に課される選択可能なピクセル遅延期間を含み得る。一般に、各ピクセルに対応する画像データは、デバイスのクロックレート（例えば、１クロックサイクル当たり１ピクセル）に従って取得し得る。更に、ローリングシャッタを含む実施形態では、撮像デバイス１２２、１２４及び１２６のうちの１つ又は複数は、撮像デバイス１２２、１２４及び／又は１２６内の画像センサのピクセル行に関連付けられた画像データの取得前又は取得後に課される選択可能な水平ブランク期間を含み得る。更に、撮像デバイス１２２、１２４及び／又は１２６のうちの１つ又は複数は、撮像デバイス１２２、１２４及び１２６の画像フレームに関連付けられた画像データの取得前又は取得後に課される選択可能な垂直ブランク期間を含み得る。
これらのタイミング制御により、各撮像デバイスの線走査率が異なる場合でも、撮像デバイス１２２、１２４及び１２６に関連付けられたフレームレートを同期させることができ得る。更に、以下に更に詳細に考察するように、他の要因（例えば、画像センサ解像度、最高線走査率等）の中でも特に、これらの選択可能なタイミング制御により、撮像デバイス１２２の視野が撮像デバイス１２４及び１２６のＦＯＶと異なる場合でも、撮像デバイス１２２のＦＯＶが撮像デバイス１２４及び１２６の１つ又は複数のＦＯＶと重複するエリアからの撮像を同期させることが可能になり得る。
撮像デバイス１２２、１２４及び１２６でのフレームレートタイミングは、関連画像センサの解像度に依存し得る。例えば、両デバイスの線走査率が同様であると仮定し、一方のデバイスが解像度６４０×４８０を有する画像センサを含み、他方のデバイスが解像度１２８０×９６０を有する画像センサを含む場合、より高い解像度を有するセンサからの画像データのフレーム取得ほど、長い時間が必要になる。
撮像デバイス１２２、１２４及び１２６での画像データ取得のタイミングに影響を及ぼし得る別の要因は、最高線走査率である。例えば、撮像デバイス１２２、１２４及び１２６に含まれる画像センサからの画像データ行の取得は、何らかの最小時間量を必要とする。ピクセル遅延期間が追加されないと仮定すると、画像データ行を取得するこの最小時間量は、特定のデバイスの最高線走査率に関連することになる。高い最高線走査率を提供するデバイスほど、より低い最高線走査率を有するデバイスよりも高いフレームレートを提供する潜在性を有する。幾つかの実施形態では、撮像デバイス１２４及び１２６のうちの一方又は両方は、撮像デバイス１２２に関連付けられた最高線走査率よりも高い最高線走査率を有し得る。幾つかの実施形態では、撮像デバイス１２４及び／又は１２６の最高線走査率は、撮像デバイス１２２の最高線走査率の１．２５倍、１．５倍、１．７５倍又は２倍以上であり得る。
別の実施形態では、撮像デバイス１２２、１２４及び１２６は、同じ最高線走査率を有し得るが、撮像デバイス１２２は、その最高走査率よりも低い又はそれに等しい走査率で動作し得る。システムは、撮像デバイス１２４及び撮像デバイス１２６の一方又は両方が撮像デバイス１２２の線走査率と等しい線走査率で動作するように構成し得る。他の例では、システムは、撮像デバイス１２４及び／又は撮像デバイス１２６の線走査率が、撮像デバイス１２２の線走査率の１．２５倍、１．５倍、１．７５倍又は２倍以上であり得るように構成し得る。
幾つかの実施形態では、撮像デバイス１２２、１２４及び１２６は非対称であり得る。すなわち、これらの撮像デバイスは、異なる視野（ＦＯＶ）及び焦点距離を有するカメラを含み得る。撮像デバイス１２２、１２４及び１２６の視野は、例えば、車両２００の環境に対する任意の所望のエリアを含み得る。幾つかの実施形態では、撮像デバイス１２２、１２４及び１２６の１つ又は複数は、車両２００の前方の環境、車両２００の背後の環境、車両２００の両側の環境又はそれらの組み合わせから画像データを取得するように構成し得る。
更に、各撮像デバイス１２２、１２４及び／又は１２６に関連付けられた焦点距離は、各デバイスが車両２００に対して所望の距離範囲にある物体の画像を取得するように（例えば、適切なレンズの包含等により）選択可能であり得る。例えば、幾つかの実施形態では、撮像デバイス１２２、１２４及び１２６は、車両から数メートル以内の近接物体の画像を取得し得る。撮像デバイス１２２、１２４、及び１２６は、車両からより離れた範囲（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ又はそれを超える）における物体の画像を取得するように構成することもできる。更に、撮像デバイス１２２、１２４及び１２６の焦点距離は、ある撮像デバイス（例えば、撮像デバイス１２２）が車両に比較的近い（例えば、１０ｍ以内又は２０ｍ以内）物体の画像を取得することができ、その他の撮像デバイス（例えば、撮像デバイス１２４及び１２６）が、車両２００からより離れた物体（例えば、２０ｍ超、５０ｍ超、１００ｍ超、１５０ｍ超等）の画像を取得することができるように選択し得る。
幾つかの実施形態によれば、１つ又は複数の撮像デバイス１２２、１２４及び１２６のＦＯＶは、広角を有し得る。例えば、特に車両２００の近傍エリアの画像を撮像するために使用し得る撮像デバイス１２２、１２４及び１２６には１４０度のＦＯＶを有することが有利であり得る。例えば、撮像デバイス１２２は、車両２００の右又は左のエリアの画像の撮像に使用し得、そのような実施形態では、撮像デバイス１２２が広いＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいことがある。
撮像デバイス１２２、１２４及び１２６のそれぞれに関連付けられた視野は、それぞれの焦点距離に依存し得る。例えば、焦点距離が増大するにつれて、対応する視野は低減する。
撮像デバイス１２２、１２４及び１２６は、任意の適切な視野を有するように構成し得る。特定の一例では、撮像デバイス１２２は、水平ＦＯＶ４６度を有し得、撮像デバイス１２４は水平ＦＯＶ２３度を有し得、撮像デバイス１２６は水平ＦＯＶ２３～４６度を有し得る。別の例では、撮像デバイス１２２は水平ＦＯＶ５２度を有し得、撮像デバイス１２４は水平ＦＯＶ２６度を有し得、撮像デバイス１２６は、水平ＦＯＶ２６～５２度を有し得る。幾つかの実施形態では、撮像デバイス１２４及び／又は撮像デバイス１２６のＦＯＶに対する撮像デバイス１２２のＦＯＶの比率は、１．５～２．０で変化し得る。他の実施形態では、この比率は１．２５～２．２５で変化し得る。
システム１００は、撮像デバイス１２２の視野が、撮像デバイス１２４及び／又は撮像デバイス１２６の視野と少なくとも部分的に又は完全に重複するように構成し得る。幾つかの実施形態では、システム１００は、撮像デバイス１２４及び１２６の視野が、例えば、撮像デバイス１２２の視野内に入り（例えば、撮像デバイス１２２の視野よりも小さく）、撮像デバイス１２２の視野と共通の中心を共有するように構成し得る。他の実施形態では、撮像デバイス１２２、１２４及び１２６は、隣接するＦＯＶを撮像し得、又は部分的に重複するＦＯＶを有し得る。幾つかの実施形態では、撮像デバイス１２２、１２４及び１２６の視野は、ＦＯＶのより狭い撮像デバイス１２４及び／又は１２６の中心が、ＦＯＶがより広いデバイス１２２の視野の下半分に配置され得るように位置合わせし得る。
図２Ｆは、開示される実施形態による例示的な車両制御システムの図表現である。図２Ｆに示すように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０を含み得る。システム１００は、１つ又は複数のデータリンク（例えば、データを伝送するための１つ又は複数の任意の有線リンク及び／又は無線リンク）を介して、スロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０の１つ又は複数に入力（例えば、制御信号）を提供し得る。例えば、撮像デバイス１２２、１２４及び／又は１２６により取得される画像の分析に基づいて、システム１００は、（例えば、加速、ターン、レーンシフト等を行わせることにより）車両２００をナビゲートする制御信号をスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０のうちの１つ又は複数に提供し得る。更に、システム１００は、車両２００の動作条件を示す入力（例えば、速度、車両２００がブレーキ中及び／又はターン中であるか否か等）をスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４のうちの１つ又は複数から受信し得る。以下では、更に詳細を図４～図７に関連して提供する。
図３Ａに示すように、車両２００は、車両２００のドライバー又は乗員とインタラクトするためのユーザインタフェース１７０を含むこともできる。例えば、車両アプリケーション内のユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０及びマイクロフォン３５０を含み得る。車両２００のドライバー又は乗員は、ハンドル（例えば、例えばウィンカーハンドルを含め、車両２００のステアリングコラム上又はその近くに配置される）及びボタン（例えば、車両２００のハンドルに配置される）及び同様のものを使用して、システム１００とインタラクトすることもできる。幾つかの実施形態では、マイクロフォン３５０はバックミラー３１０に隣接して位置決めし得る。同様に、幾つかの実施形態では、撮像デバイス１２２は、バックミラー３１０の近くに配置し得る。幾つかの実施形態では、ユーザインタフェース１７０は、１つ又は複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含むこともできる。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供し得る。
図３Ｂ～図３Ｄは、開示される実施形態による、バックミラー（例えば、バックミラー３１０）の背後に、車両フロントガラスと対向して位置決めされるように構成される例示的なカメラマウント３７０の図である。図３Ｂに示すように、カメラマウント３７０は、撮像デバイス１２２、１２４及び１２６を含み得る。撮像デバイス１２４及び１２６は、グレアシールド３８０の背後に位置決めし得、グレアシールド３８０は、車両フロントガラスに直接接触し得、フィルム及び／又は反射防止材料の組成物を含み得る。例えば、グレアシールド３８０は、シールドが、一致する傾斜を有する車両フロントガラスと対向して位置合わせされるように位置決めし得る。幾つかの実施形態では、撮像デバイス１２２、１２４及び１２６のそれぞれは、例えば、図３Ｄに示すように、グレアシールド３８０の背後に位置決めし得る。開示される実施形態は、撮像デバイス１２２、１２４及び１２６、カメラマウント３７０及びグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、正面から見た図３Ｂに示すカメラマウント３７０の図である。
本開示の恩恵を受ける当業者により理解されるように、上述の開示される実施形態に対する多くの変形及び／又は変更がなされ得る。例えば、全ての構成要素がシステム１００の動作にとって必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適切な部分に配置し得、構成要素は、開示される実施形態の機能性を提供しながら、様々な構成に再配置し得る。したがって、上記で論じた構成は例であり、上述した構成に関係なく、システム１００は、車両２００の周囲を分析し、分析に応答して車両２００をナビゲートする広範囲の機能性を提供することができる。
以下で更に詳細に論じるように、開示される様々な実施形態により、システム１００は、自律走行及び／又はドライバー支援技術に関連する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、マップデータ、速度データ及び／又は車両２００に含まれるセンサからのデータを分析し得る。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０及び他のセンサから、分析のためにデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２００が特定の行動を取るべきか否かを判定し、次に、人間の介入なしで、判定される動作を自動的にとり得る。例えば、車両２００が人間の介入なしでナビゲートする場合、システム１００は、（例えば、制御信号をスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０のうちの１つ又は複数に送信することにより）車両２００のブレーキ、加速及び／又はステアリングを自動的に制御し得る。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び／又はアラートを車両の搭乗者に発行し得る。システム１００により提供される様々な実施形態に関する更に詳細を以下に提供する。
［前向きマルチ撮像システム］
上記で論じたように、システム１００は、マルチカメラシステムを使用する走行支援機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後部を向いた１つ又は複数のカメラを含み得る。１つの実施形態では、例えば、システム１００は、２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、撮像デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めし得る。第１のカメラは、第２のカメラの視野よりも大きい、よりも小さい又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１の画像プロセッサに接続されて、第１のカメラにより提供される画像の単眼画像分析を実行し得、第２のカメラは、第２の画像プロセッサに接続されて、第２のカメラにより提供される画像の単眼画像分析を実行し得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は結合し得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は、各カメラは異なる視野を有する３カメラ撮像システムを使用し得る。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離に位置する物体から導出される情報に基づいて判定を下し得る。単眼画像分析への言及は、画像分析が単一視点から（例えば、単一のカメラから）撮像された画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、撮像パラメータの１つ又は複数を変更した状態で撮像される２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した撮像された画像は、２つ以上の異なる位置から撮像された画像、異なる視野から撮像された画像、異なる焦点距離を使用して撮像された画像、視差情報付きで撮像された画像等を含み得る。
例えば、１つの実施形態では、システム１００は、撮像デバイス１２２、１２４及び１２６を使用する３カメラ構成を実施し得る。そのような構成では、撮像デバイス１２２は、狭視野（例えば、３４度又は約２０～４５度の範囲から選択される他の値等）を提供し得、撮像デバイス１２４は、広視野（例えば、１５０度又は約１００～約１８０度の範囲から選択される他の値）を提供し得、撮像デバイス１２６は、中視野（例えば、４６度又は約３５～約６０度の範囲から選択される他の値）を提供し得る。幾つかの実施形態では、撮像デバイス１２６は、主又は１次カメラとして動作し得る。撮像デバイス１２２、１２４、及び１２６は、バックミラー３１０の背後に位置決めされ、実質的に並んで（例えば、６ｃｍ離間）位置決めされ得る。更に、幾つかの実施形態では、上記で論じたように、撮像デバイス１２２、１２４、及び１２６の１つ又は複数は、車両２００のフロントガラスと同一平面のグレアシールド３８０の背後に搭載し得る。そのようなシールドは、車内部からのいかなる反射の撮像デバイス１２２、１２４、及び１２６への影響も最小限に抑えるように動作し得る。
別の実施形態では、図３Ｂ及び図３Ｃに関連して上記で論じたように、広視野カメラ（例えば、上記例では撮像デバイス１２４）は、狭い主視野カメラ（例えば、上記例では撮像デバイス１２２及び１２６）よりも低く搭載し得る。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラス近くに搭載し得、反射光を弱める偏光器をカメラに含み得る。
３カメラシステムは、特定の性能特性を提供し得る。例えば、幾つかの実施形態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能を含み得る。上記で論じた３カメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイス（例えば、上記で論じたように３つのＥｙｅＱシリーズのプロセッサチップ）を含み得、各処理デバイスは、撮像デバイス１２２、１２４、及び１２６のうちの１つ又は複数により撮像された画像の処理専用にする。
３カメラシステムでは、第１の処理デバイスは、主カメラ及び狭視野カメラの両方から画像を受信し得、狭ＦＯＶカメラのビジョン処理を実行して、例えば他の車両、歩行者、レーンマーク、交通標識、信号機及び他の道路物体を検出し得る。更に、第１の処理デバイスは、主カメラからの画像と狭カメラからの画像との間でのピクセルの不一致を計算し、車両２００の環境の３Ｄ再構築を作成し得る。次に、第１の処理デバイスは、３Ｄ再構築を３Ｄマップデータ又は別のカメラからの情報に基づいて計算される３Ｄ情報と結合し得る。
第２の処理デバイスは、主カメラから画像を受信し得、ビジョン処理を実行し、他の車両、歩行者、レーンマーク、交通標識、信号機及び他の道路物体を検出し得る。更に、第２の処理デバイスは、カメラ変位を計算し、変位に基づいて、連続画像間のピクセルの不一致を計算し、シーンの３Ｄ再構築（例えば、ストラクチャーフロムモーション）を作成し得る。第２の処理デバイスは、３Ｄ再構築に基づくストラクチャーフロムモーションを第１の処理デバイスに送信し、ストラクチャーフロムモーションを立体３Ｄ画像と結合し得る。
第３の処理デバイスは、画像を広ＦＯＶカメラから受信し、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機及び他の道路物体を検出し得る。第３の処理デバイスは、追加の処理命令を更に実行して、画像を分析し、レーン変更中の車両、歩行者等のような画像内の移動中の物体を識別し得る。
幾つかの実施形態では、画像ベースの情報ストリームを独立して撮像させ、処理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、例えば、第１の撮像デバイス及びそのデバイスから処理される画像を使用して、少なくとも第２の撮像デバイスから画像情報を撮像し処理することにより得られる情報を検証及び／又は補完することを含み得る。
幾つかの実施形態では、システム１００は、車両２００にナビゲーション支援を提供するに当たり２つの撮像デバイス（例えば、撮像デバイス１２２及び１２４）を使用し得、第３の撮像デバイス（例えば、撮像デバイス１２６）を使用して、冗長性を提供し、他の２つの撮像デバイスから受信されるデータの分析を検証し得る。例えば、そのような構成では、撮像デバイス１２２及び１２４は、車両２００をナビゲートするためのシステム１００による立体分析用の画像を提供し得、撮像デバイス１２６は、システム１００による単眼分析用の画像を提供して、撮像デバイス１２２及び／又は撮像デバイス１２４から撮像された画像に基づいて得られる情報の冗長性及び検証を提供し得る。すなわち、撮像デバイス１２６（及び対応する処理デバイス）は、撮像デバイス１２２及び１２４から導出された分析へのチェックを提供するための冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供する）と見なし得る。更に、幾つかの実施形態では、１つ又は複数のセンサ（例えば、レーダ、ライダ、音響センサ、車両の外側の１つ又は複数の送受信機から受信される情報等）から受信される情報に基づいて、受信されたデータの冗長性及び検証を補完することができる。
上記のカメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であることを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は、開示される実施形態の範囲から逸脱せずに、様々な異なる構成で組み立てかつ使用し得る。ドライバー支援及び／又は自律車両機能を提供するためのマルチカメラシステムの使用に関する更なる詳細が以下に続く。
図４は、開示される実施形態による１つ又は複数の動作を実行する命令が記憶／プログラムされ得るメモリ１４０及び／又は１５０の例示的な機能ブロック図である。以下ではメモリ１４０を参照するが、当業者は、命令がメモリ１４０及び／又は１５０に記憶可能なことを認識するであろう。
図４に示すように、メモリ１４０は、単眼画像分析モジュール４０２、立体画像分析モジュール４０４、速度及び加速度モジュール４０６及びナビゲーション応答モジュール４０８を記憶し得る。開示される実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２、４０４、４０６、及び４０８のいずれかに記憶される命令を実行し得る。以下の考察での処理ユニット１１０への言及が、アプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解するであろう。したがって、以下のプロセスのいずれかのステップは、１つ又は複数の処理デバイスにより実行され得る。
１つの実施形態では、単眼画像分析モジュール４０２は、処理ユニット１１０によって実行されるとき、撮像デバイス１２２、１２４及び１２６の１つによって取得される画像の組の単眼画像分析を実行する命令（コンピュータビジョンソフトウェア等）を記憶し得る。幾つかの実施形態では、処理ユニット１１０は、画像の組からの情報を追加の感覚情報（例えば、レーダやライダ等からの情報）と結合して単眼画像分析を実行し得る。図５Ａ～図５Ｄに関連して以下で説明するように、単眼画像分析モジュール４０２は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物及び車両の環境に関連付けられた任意の他の特徴等、画像の組内の特徴の組を検出するための命令を含み得る。分析に基づいて、システム１００は（例えば、処理ユニット１１０を介して）、ナビゲーション応答モジュール４０８に関連して以下で論じるように、ターン、レーンシフト及び加速度変更、及び同様のもの等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る。
１つの実施形態では、立体画像分析モジュール４０４は命令（コンピュータビジョンソフトウェア等）を記憶し得、命令は、処理ユニット１１０により実行されると、撮像デバイス１２２、１２４及び１２６のいずれかから選択される撮像デバイスの組み合わせにより取得される第１及び第２の組の画像の立体画像分析を実行する。幾つかの実施形態では、処理ユニット１１０は、第１及び第２の組の画像からの情報を追加の感覚情報（例えば、レーダからの情報）と結合して、立体画像分析を実行し得る。例えば、立体画像分析モジュール４０４は、撮像デバイス１２４により取得される第１の組の画像及び撮像デバイス１２６により取得される第２の組の画像に基づいて、立体画像分析を実行する命令を含み得る。以下で図６に関連して説明するように、立体画像分析モジュール４０４は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び同様のもの等の第１及び第２の組の画像内の特徴の組を検出する命令を含み得る。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、ターン、レーンシフト及び加速度変更、及び同様のもの等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る。更に、幾つかの実施形態では、立体画像分析モジュール４０４は、トレーニングされたシステム（ニューラルネットワーク又はディープニューラルネットワーク等）又は、コンピュータビジョンアルゴリズムを使用して、感覚情報が撮像及び処理された環境内の物体を検出及び／又はラベル付けするように構成され得るシステム等のトレーニングされていないシステムに関連する技法を実装することができる。１つの実施形態では、立体画像分析モジュール４０４及び／又は他の画像処理モジュールは、トレーニングされたシステムとトレーニングされていないシステムとの組み合わせを使用するように構成され得る。
１つの実施形態では、速度及び加速度モジュール４０６は、車両２００の速度及び／又は加速度を変更させるように構成される車両２００内の１つ又は複数の計算及び電気機械デバイスから受信されるデータを分析するように構成されるソフトウェアを記憶し得る。例えば、処理ユニット１１０は、速度及び加速度モジュール４０６に関連付けられた命令を実行して、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、車両２００の目標速度を計算し得る。そのようなデータとしては、例えば、目標位置、速度及び／又は加速度、付近の車両、歩行者又は道路物体に対する車両２００の位置及び／又は速度及び道路のレーンマークに対する車両２００の位置情報、及び同様のものを挙げ得る。加えて、処理ユニット１１０は、感覚入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０及び／又はステアリングシステム２４０等の車両２００の他のシステムからの入力とに基づいて、車両２００の目標速度を計算し得る。計算された目標速度に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０及び／又はステアリングシステム２４０に送信して、例えば車両２００のブレーキを物理的に踏み込むか、又はアクセルを弱めることにより速度及び／又は加速度の変更をトリガーし得る。
１つの実施形態では、ナビゲーション応答モジュール４０８は、処理ユニット１１０により実行可能なソフトウェアを記憶して、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、所望のナビゲーション応答を決定し得る。そのようなデータは、付近の車両、歩行者及び道路物体に関連付けられた位置及び速度情報及び車両２００の目標位置情報、及び同様のものを含み得る。更に、幾つかの実施形態では、ナビゲーション応答は、マップデータ、車両２００の予め決められた位置及び／又は車両２００と、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から検出される１つ又は複数の物体との間の相対速度又は相対加速度に（部分的又は完全に）基づき得る。ナビゲーション応答モジュール４０８はまた、感覚入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０等の車両２００の他のシステムからの入力とに基づいて、所望のナビゲーション応答を決定することもできる。所望のナビゲーション応答に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０に送信して、例えば車両２００のハンドルをターンさせ、予め決められた角度の回転を達成することにより、所望のナビゲーション応答をトリガーし得る。幾つかの実施形態では、処理ユニット１１０は、車両２００の速度変更を計算するための速度及び加速度モジュール４０６の実行への入力として、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を使用し得る。
更に、本明細書で開示されるモジュール（例えば、モジュール４０２、４０４及び４０６）のいずれも、トレーニングされたシステム（ニューラルネットワーク又はディープニューラルネットワーク等）又はトレーニングされていないシステムに関連する技法を実装することができる。
図５Ａは、開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ａを示すフローチャートである。ステップ５１０において、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して、複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する撮像デバイス１２２等）は、車両２００の前方（又は例えば車両の側部又は後部）のエリアの複数の画像を撮像し、データ接続（例えば、デジタル、有線、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈ等）を介してそれらを処理ユニット１１０に送信し得る。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、ステップ５２０において、以下で図５Ｂ～図５Ｄに関連して更に詳細に説明するように、複数の画像を分析し得る。分析を実行することにより、処理ユニット１１０は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び同様のもの等の画像の組内の特徴の組を検出し得る。
処理ユニット１１０は、ステップ５２０において、単眼画像分析モジュール４０２を実行して、例えばトラックタイヤの部品、落ちた道路標識、緩んだ貨物、小動物、及び同様のもの等の様々な道路危険物を検出することもできる。道路危険物の構造、形状、サイズ及び色は様々であり得、これにより、そのような危険物の検出がより難しくなり得る。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、マルチフレーム分析を複数の画像に対して実行して、道路危険物を検出し得る。例えば、処理ユニット１１０は、連続した画像フレーム間でのカメラの動きを推定し、フレーム間のピクセルの不一致を計算して、道路の３Ｄマップを構築し得る。次に、処理ユニット１１０は、３Ｄマップを使用して、路面及び路面の上に存在する危険物を検出し得る。
ステップ５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ５２０において実行される分析及び図４に関連して上記で説明した技法に基づいて、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト及び加速度変更、及び同様のものを含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に行われ得るか、順次行われ得るか、又はそれらの任意の組み合わせで行われ得る。例えば、処理ユニット１１０は、例えば、制御信号を車両２００のステアリングシステム２４０及びスロットルシステム２２０に順次送信することにより、車両２００に１レーンを越えさせ、それから加速させ得る。或いは、処理ユニット１１０は、例えば、制御信号を車両２００のブレーキシステム２３０及びステアリングシステム２４０に同時に送信することにより、車両２００に、ブレーキをかけさせ、それと同時にレーンをシフトさせ得る。
図５Ｂは、開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施し得る。ステップ５４０において、処理ユニット１１０は、存在する可能性のある車両及び／又は歩行者を表す候補物体の組を決定し得る。例えば、処理ユニット１１０は、１つ又は複数の画像を走査し、画像を１つ又は複数の予め決められたパターンと比較し、各画像内で、対象物体（例えば、車両、歩行者又はそれらの部分）を含み得る可能性がある位置を識別し得る。予め決められたパターンは、高レートの「偽性ヒット」及び低レートの「見逃し」を達成するように指定し得る。例えば、処理ユニット１１０は、予め決められたパターンへの低い類似性閾値を使用して、可能性のある車両又は歩行者として候補物体を識別し得る。そうすることにより、処理ユニット１１０は、車両又は歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することができ得る。
ステップ５４２において、処理ユニット１１０は、候補物体の組をフィルタリングして、分類基準に基づいて特定の候補（例えば、無関係又は関係性の低い物体）を除外し得る。そのような基準は、データベース（例えば、メモリ１４０に記憶されるデータベース）に記憶される物体タイプに関連付けられた様々な特性から導出し得る。特性は、物体の形状、寸法、テクスチャ及び（例えば、車両２００に対する）位置、及び同様のものを含み得る。したがって、処理ユニット１１０は、一組又は複数の組の基準を使用して、候補物体の組から偽性候補を拒否し得る。
ステップ５４４において、処理ユニット１１０は、複数の画像フレームを分析して、候補物体の組内の物体が車両及び／又は歩行者を表しているか否かを判定し得る。例えば、処理ユニット１１０は、連続フレームにわたり検出される候補物体を追跡し、検出された物体に関連付けられたフレームごとのデータ（例えば、サイズ、車両２００に対する位置等）を蓄積し得る。更に、処理ユニット１１０は、検出された物体のパラメータを推定し、物体のフレームごとの位置データを予測位置と比較し得る。
ステップ５４６において、処理ユニット１１０は、検出された物体の測定値の組を構築し得る。そのような測定値は、例えば、検出された物体に関連付けられた（車両２００に対する）位置、速度及び加速度値を含み得る。幾つかの実施形態では、処理ユニット１１０は、カルマンフィルタ又は線形２次推定（ＬＱＥ）等の一連の時間ベースの観測を使用する推定技法に基づいて及び／又は異なる物体タイプ（例えば、車、トラック、歩行者、自転車、道路標識等）で利用可能なモデル化データに基づいて、測定値を構築し得る。カルマンフィルタは、物体のスケールの測定値に基づき得、ここで、スケール測定値は衝突までの時間（例えば、車両２００が物体に達するまでの時間量）に比例する。したがって、ステップ５４０～５４６を実行することにより、処理ユニット１１０は、撮像された画像の組内に現れる車両及び歩行者を識別し、車両及び歩行者に関連付けられた情報（例えば、位置、速度、サイズ）を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５４８において、処理ユニット１１０は、１つ又は複数の画像の光学フロー分析を実行して、「偽性ヒット」を検出する確率及び車両又は歩行者を表す候補物体を見逃す確率を低減し得る。光学フロー分析は、例えば、他の車両及び歩行者に関連付けられた１つ又は複数の画像内の車両２００に対する、路面の動きとは異なる動きパターンを分析することを指し得る。処理ユニット１１０は、異なる時間に撮像される複数の画像フレームにわたる物体の異なる位置を観測することにより、候補物体の動きを計算し得る。処理ユニット１１０は、位置及び時間値を数学モデルへの入力として使用して、候補物体の動きを計算し得る。したがって、光学フロー分析は、車両２００の近くの車両及び歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、ステップ５４０～５４６と組み合わせて光学フロー分析を実行して、車両及び歩行者を検出する冗長性を提供すると共に、システム１００の信頼性を上げ得る。
図５Ｃは、開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施し得る。ステップ５５０において、処理ユニット１１０は、１つ又は複数の画像を走査することにより物体の組を検出し得る。レーンマークの区分、レーンジオメトリ情報及び他の関連道路マークを検出するために、処理ユニット１１０は、物体の組をフィルタリングして、無関係であると判定されるもの（例えば、小さい穴、小さい石等）を除外し得る。ステップ５５２において、処理ユニット１１０は、同じ道路マーク又はレーンマークに属する、ステップ５５０において検出される区分を一緒にグループ化し得る。グループ化に基づいて、処理ユニット１１０は、数学モデル等のモデルを開発して、検出された区分を表し得る。
ステップ５５４において、処理ユニット１１０は、検出された区分に関連付けられた測定値の組を構築し得る。幾つかの実施形態では、処理ユニット１１０は、画像平面から現実世界の平面への検出された区分の射影を作成し得る。射影は、検出された道路の位置、傾斜、曲率及び曲率の微分等の物理的特性に対応する係数を有する３次多項式を使用して特徴付け得る。射影を生成するに当たり、処理ユニット１１０は、路面変化並びに車両２００に関連付けられたピッチ及びロール率を考慮に入れ得る。加えて、処理ユニット１１０は、位置及び路面に存在するモーションキューを分析することにより道路高をモデル化し得る。更に、処理ユニット１１０は、１つ又は複数の画像での特徴点の組を追跡することにより、車両２００に関連付けられたピッチ率及びロール率を推定し得る。
ステップ５５６において、処理ユニット１１０は、例えば、連続した画像フレームにわたり検出された区分を追跡し、検出された区分に関連付けられたフレームごとのデータを蓄積することにより、マルチフレーム分析を実行し得る。処理ユニット１１０はマルチフレーム分析を実行する場合、ステップ５５４において構築される測定値の組はより信頼性の高いものになり得、ますます高い信頼度を関連付け得る。したがって、ステップ５５０、５５２、５５４、及び５５６を実行することにより、処理ユニット１１０は、撮像された画像の組内に現れる道路マークを識別し、レーンジオメトリ情報を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５５８において、処理ユニット１１０は、追加の情報源を考慮して、車両の周囲の状況での車両２００の安全モデルを更に開発し得る。処理ユニット１１０は、安全モデルを使用して、システム１００が車両２００の自律制御を安全な方法で実行し得る状況を定義し得る。安全モデルを開発するために、幾つかの実施形態では、処理ユニット１１０は、他の車両の位置及び動き、検出された道路端部及び障壁及び／又はマップデータ（マップデータベース１６０からのデータ等）から抽出される一般道路形状記述を考慮し得る。追加の情報源を考慮することにより、処理ユニット１１０は、道路マーク及びレーンジオメトリを検出する冗長性を提供し、システム１００の信頼性を上げ得る。
図５Ｄは、開示される実施形態による、画像の組内の信号機を検出する例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施し得る。ステップ５６０において、処理ユニット１１０は、画像の組を走査し、信号機を含む可能性が高い画像内の位置に現れる物体を識別し得る。例えば、処理ユニット１１０は、識別された物体をフィルタリングして、信号機に対応する可能性が低い物体を除外した候補物体の組を構築し得る。フィルタリングは、形状、寸法、テクスチャ及び位置（例えば、車両２００に対する）、及び同様のもの等の信号機に関連付けられた様々な特性に基づいて行い得る。そのような特性は、信号機及び交通制御信号の複数の例に基づき得、データベースに記憶し得る。幾つかの実施形態では、処理ユニット１１０は、可能性のある信号機を反映した候補物体の組に対してマルチフレーム分析を実行し得る。例えば、処理ユニット１１０は、連続した画像フレームにわたり候補物体を追跡し、候補物体の現実世界の位置を推定し、移動している（信号機である可能性が低い）物体をフィルタリングして除外し得る。幾つかの実施形態では、処理ユニット１１０は、カラー分析を候補物体に対して実行し、可能性のある信号機内部に表示される検出された色の相対位置を識別し得る。
ステップ５６２において、処理ユニット１１０は、交差点のジオメトリを分析し得る。分析は、（ｉ）車両２００の両側で検出されるレーン数、（ｉｉ）道路で検出されるマーク（矢印マーク等）、及び（ｉｉｉ）マップデータ（マップデータベース１６０からのデータ等）から抽出される交差点の記述の任意の組み合わせに基づき得る。処理ユニット１１０は、単眼分析モジュール４０２の実行から導出される情報を使用して、分析を行い得る。加えて、処理ユニット１１０は、ステップ５６０において検出される信号機及び車両２００の近くに現れるレーンの間の対応を決定し得る。
車両２００が交差点に近づくにつれて、ステップ５６４において、処理ユニット１１０は、分析された交差点ジオメトリ及び検出された信号機に関連付けられた信頼度を更新し得る。例えば、交差点に実際に現れる数と比較した交差点に現れると推定される信号機の数は、信頼度に影響を及ぼし得る。したがって、信頼度に基づいて、処理ユニット１１０は、安全条件を改善するために車両２００のドライバーに制御を委任し得る。ステップ５６０、５６２、及び５６４を実行することにより、処理ユニット１１０は、撮像された画像の組内に現れる信号機を識別し、交差点ジオメトリ情報を分析し得る。識別及び分析に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
図５Ｅは、開示される実施形態による、車両経路に基づいて車両２００で１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ｅを示すフローチャートである。ステップ５７０において、処理ユニット１１０は、車両２００に関連付けられた初期の車両経路を構築し得る。車両経路は、座標（ｘ，ｙ）で表されるポイントの組を使用して表し得、ポイントの組内の２点間距離ｄｉは、１～５メートルの範囲であり得る。１つの実施形態では、処理ユニット１１０は、左右の道路多項式等の２つの多項式を使用して初期の車両経路を構築し得る。処理ユニット１１０は、２つの多項式間のジオメトリ中間点を計算し、予め決められたオフセットがある場合（オフセット０は、レーンの中央での走行に対応し得る）、予め決められたオフセット（例えば、スマートレーンオフセット）だけ、結果として得られる車両経路に含まれる各ポイントをオフセットさせ得る。オフセットは、車両経路内の任意の２ポイント間の区分に垂直な方向であり得る。別の実施形態では、処理ユニット１１０は、１つの多項式及び推定されるレーン幅を使用して、推定されるレーン幅の半分に予め決められたオフセット（例えば、スマートレーンオフセット）を加えたものだけ車両経路の各ポイントをオフセットさせ得る。
ステップ５７２において、処理ユニット１１０は、ステップ５７０において構築される車両経路を更新し得る。処理ユニット１１０は、車両経路を表すポイントの組内の２点間距離ｄｋが、上述した距離ｄｉよりも短くなるように、より高い解像度を使用して、ステップ５７０において構築される車両経路を再構築し得る。例えば、距離ｄｋは０．１～０．３メートルの範囲であり得る。処理ユニット１１０は、放物線スプラインアルゴリズムを使用して車両経路を再構築し得、これは、車両経路の全長（すなわち、車両経路を表すポイントの組に基づく）に対応する累積距離ベクトルＳをもたらし得る。
ステップ５７４において、処理ユニット１１０は、ステップ５７２において構築された更新車両経路に基づいて、先読みポイント（（ｘｌ，ｚｌ）として座標で表される）を決定し得る。処理ユニット１１０は、累積距離ベクトルＳから先読みポイントを抽出し得、先読みポイントには、先読み距離及び先読み時間を関連付け得る。先読み距離は、下限範囲１０～２０メートルを有し得、車両２００の速度と先読み時間との積として計算し得る。例えば、車両２００の速度が下がるにつれて、（例えば、下限に達するまで）先読み距離も短くなり得る。０．５～１．５秒の範囲であり得る先読み時間は、進行エラー追跡制御ループ等の車両２００でナビゲーション応答を生じさせることに関連付けられた１つ又は複数の制御ループの利得に反比例し得る。例えば、進行エラー追跡制御ループの利得は、ヨー率ループ、ステアリングアクチュエータループ及び車の横方向動力学、及び同様のものの帯域幅に依存し得る。したがって、進行エラー追跡制御ループの利得が高いほど、先読み時間は短くなる。
ステップ５７６において、処理ユニット１１０は、ステップ５７４において特定される先読みポイントに基づいて、進行エラー及びヨー率コマンドを決定し得る。処理ユニット１１０は、先読みポイントの逆正接、例えば、ａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することにより、進行エラーを特定し得る。処理ユニット１１０は、進行エラーと高レベル制御利得との積としてヨー率コマンドを決定し得る。高レベル制御利得は、先読み距離が下限にない場合、（２／先読み時間）に等しい値であり得る。そうでなければ、先読み距離が下限である場合、高レベル制御利得は、（２＊車両２００の速度／先読み距離）に等しい値であり得る。
図５Ｆは、開示される実施形態による、先行車両がレーンを変更中であるか否かを判定する例示的なプロセス５００Ｆを示すフローチャートである。ステップ５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前を走行中の車両）に関連付けられたナビゲーション情報を決定し得る。例えば、処理ユニット１１０は、図５Ａ及び図５Ｂに関連して上述した技法を使用して、先行車両の位置、速度（例えば、方向及び速度）及び／又は加速度を特定し得る。処理ユニット１１０は、図５Ｅに関連して上述した技法を使用して、１つ又は複数の道路多項式、先読みポイント（車両２００に関連付けられる）及び／又はスネイルトレイル（例えば、先行車両が取った経路を記述する点の組）を特定することもできる。
ステップ５８２において、処理ユニット１１０は、ステップ５８０において特定されるナビゲーション情報を分析し得る。１つの実施形態では、処理ユニット１１０は、スネイルトレイルと道路多項式との間の距離（例えば、トレイルに沿った）を計算し得る。トレイルに沿ったこの距離の相違が予め決められた閾値（例えば、直線道路では０．１～０．２メートル、緩くカーブした道路では０．３～０．４メートル、急カーブの道路では０．５～０．６メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判定し得る。複数の車両が、車両２００の前を走行中であることが検出される場合、処理ユニット１１０は、各車両に関連付けられたスネイルトレイルを比較し得る。比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルに一致しない車両が、レーン変更中である可能性が高いと判定し得る。処理ユニット１１０は更に、スネイルトレイル（先行車両に関連付けられた）の曲率を、先行車両が走行中の道路区分の予期される曲率と比較し得る。予期される曲率は、マップデータ（例えば、マップデータベース１６０からのデータ）から、道路多項式から、他の車両のスネイルトレイルから、道路についての事前知識、及び同様のものから抽出し得る。スネイルトレイルの曲率と道路区分の予期される曲率との差が、予め決められた閾値を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判定し得る。
別の実施形態では、処理ユニット１１０は、特定の時間期間（例えば、０．５～１．５秒）にわたり、先行車両の瞬間位置を先読みポイント（車両２００に関連付けられた）と比較し得る。特定の時間期間中の先行車両の瞬間位置及び先読みポイントの間の距離の差及び分岐の累積和が、予め決められた閾値（例えば、直線道路では０．３～０．４メートル、緩くカーブした道路では０．７～０．８メートル、急カーブの道路では１．３～１．７メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判定し得る。別の実施形態では、処理ユニット１１０は、トレイルに沿って移動した横方向距離をスネイルトレイルの予期される曲率と比較することにより、スネイルトレイルのジオメトリを分析し得る。予期される曲率半径は、計算：（δｚ ２＋δｘ ２）／２／（δｘ）に従って特定し得、式中、σｘは横方向移動距離を表し、σｚは縦方向移動距離を表す。横方向移動距離と予期される曲率との間の差が予め決められた閾値（例えば、５００～７００メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判定し得る。別の実施形態では、処理ユニット１１０は、先行車両の位置を分析し得る。先行車両の位置が道路多項式を曖昧にする（例えば、先行車両が道路多項式の上に重なる）場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと判定し得る。先行車両の位置が、別の車両が先行車両の前方で検出され、２つの車両のスネイルトレイルが平行ではないようなものである場合、処理ユニット１１０は、（より近い）先行車両がレーン変更中である可能性が高いと判定し得る。
ステップ５８４において、処理ユニット１１０は、ステップ５８２において実行される分析に基づいて、先行車両２００がレーン変更中であるか否かを判定し得る。例えば、処理ユニット１１０は、ステップ５８２において実行される個々の分析の加重平均に基づいてその判定を下し得る。そのような方式下では、例えば、特定のタイプの分析に基づいた、先行車両がレーン変更中である可能性が高いという処理ユニット１１０による判定には、値「１」を割り当て得る（「０」は、先行車両がレーン変更中である可能性が低いとの判定を表す）。ステップ５８２において実行される異なる分析には異なる重みを割り当て得、開示される実施形態は、分析及び重みのいかなる特定の組み合わせにも限定されない。
図６は、開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス６００を示すフローチャートである。ステップ６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１及び第２の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２及び２０４を有する撮像デバイス１２２及び１２４等）は、車両２００の前方のエリアの第１及び第２の複数の画像を撮像し、デジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈ等）を介して処理ユニット１１０にそれらを送信し得る。幾つかの実施形態では、処理ユニット１１０は、２つ以上のデータインタフェースを介して第１及び第２の複数の画像を受信し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ６２０において、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像の立体画像分析を実行して、車両の前方の道路の３Ｄマップを作成し、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機及び道路危険物、及び同様のもの等の画像内の特徴を検出し得る。立体画像分析は、図５Ａ～図５Ｄに関連して上述したステップと同様に実行され得る。例えば、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像内の候補物体（例えば、車両、歩行者、道路マーク、信号機、道路危険物等）を検出し、様々な基準に基づいて候補物体のサブセットをフィルタリングして除外し、マルチフレーム分析を実行し、測定値を構築し、残りの候補物体の信頼度を特定し得る。上記ステップを実行するに当たり、処理ユニット１１０は、画像の１つの組だけからの情報ではなく、第１及び第２の複数の画像の両方からの情報を考慮し得る。例えば、処理ユニット１１０は、第１及び第２の複数の画像の両方に現れる候補物体のピクセルレベルデータ（又は撮像された画像の２つのストリームの中からの他のデータサブセット）の差を分析し得る。別の例として、処理ユニット１１０は、物体が複数の画像の１枚に現れるが、他の画像では現れないことを観測することにより、又は２つの画像ストリームの場合に現れる物体に対して存在し得る他の差に対して、候補物体の位置及び／又は速度（例えば、車両２００に対する）を推定し得る。例えば、車両２００に対する位置、速度及び／又は加速度は、画像ストリームの一方又は両方に現れる物体に関連付けられた特徴の軌道、位置、運動特性等に基づいて特定し得る。
ステップ６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ６２０において実行される分析及び図４に関連して上記で説明した技法に基づいて、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト、加速度変更、速度変更及びブレーキ、及び同様のものを含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に行われ得るか、順次行われ得るか、又はそれらの任意の組み合わせで行われ得る。
図７は、開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス７００を示すフローチャートである。ステップ７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２及び第３の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４及び２０６を有する撮像デバイス１２２、１２４及び１２６等）は、車両２００の前方及び／又は側部のエリアの第１、第２及び第３の複数の画像を撮像し、デジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈ等）を介して処理ユニット１１０にそれらを送信し得る。幾つかの実施形態では、処理ユニット１１０は、３つ以上のデータインタフェースを介して第１、第２及び第３の複数の画像を受信し得る。例えば、撮像デバイス１２２、１２４及び１２６のそれぞれは、処理ユニット１１０にデータを通信する関連データインタフェースを有し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ７２０において、処理ユニット１１０は、第１、第２及び第３の複数の画像を分析して、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機及び道路危険物、及び同様のもの等の画像内の特徴を検出し得る。分析は、図５Ａ～図５Ｄ及び図６に関連して上述したステップと同様に実行され得る。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行を介して及び図５Ａ～図５Ｄに関連して上述したステップに基づいて）単眼画像分析を第１、第２及び第３の複数のそれぞれの画像に対して実行し得る。或いは、処理ユニット１１０は、（例えば、立体画像分析モジュール４０４の実行を介して及び図６に関連して上述したステップに基づいて）立体画像分析を第１及び第２の複数の画像、第２及び第３の複数の画像及び／又は第１及び第３の複数の画像に対して実行し得る。第１、第２及び／又は第３の複数の画像の分析に対応する処理された情報は、結合し得る。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析と立体画像分析との組み合わせを実行し得る。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行を介して）単眼画像分析を第１の複数の画像に対して実行し、（例えば、立体画像分析モジュール４０４の実行を介して）立体画像分析を第２及び第３の複数の画像に対して実行し得る。撮像デバイス１２２、１２４及び１２６の構成 － それぞれの位置及び視野２０２、２０４及び２０６を含め － は、第１、第２及び第３の複数の画像に対して行われる分析のタイプに影響を及ぼし得る。開示される実施形態は、撮像デバイス１２２、１２４及び１２６の特定の構成又は第１、第２及び第３の複数の画像に対して行われる分析のタイプに限定されない。
幾つかの実施形態では、処理ユニット１１０は、ステップ７１０及び７２０において取得され分析される画像に基づいて、システム１００にテストを実行し得る。そのようなテストは、撮像デバイス１２２、１２４及び１２６の特定の構成でのシステム１００の全体的な性能の指標を提供し得る。例えば、処理ユニット１１０は、「偽性ヒット」（例えば、システム１００が車両又は歩行者の存在を誤って判定する場合）及び「見逃し」の割合を特定し得る。
ステップ７３０において、処理ユニット１１０は、第１、第２及び第３の複数の画像の２つから導出される情報に基づいて、車両２００での１つ又は複数のナビゲーション応答を生じさせ得る。第１、第２及び第３の複数の画像の２つの選択は、例えば、複数の画像のそれぞれで検出された物体の数、タイプ及びサイズ等の様々な要因に依存し得る。処理ユニット１１０はまた、画質及び解像度、画像に反映される有効視野、撮像フレーム数及び対象となる１つ又は複数の物体が実際にフレームに現れる程度（例えば、物体が現れるフレームの割合、物体がそのような各フレームで現れる割合等）、及び同様のものに基づいて選択を行うことができる。
幾つかの実施形態では、処理ユニット１１０は、ある画像ソースから導出される情報が、他の画像ソースから導出される情報と一貫する程度を特定することにより、第１、第２及び第３の複数の画像の２つから導出される情報を選択し得る。例えば、処理ユニット１１０は、撮像デバイス１２２、１２４及び１２６のそれぞれから導出される処理された情報（単眼分析であれ、立体分析であれ、又はそれら２つの任意の組み合わせであれ関係なく）を結合して、撮像デバイス１２２、１２４及び１２６のそれぞれから撮像された画像にわたり一貫する視覚的指標（例えば、レーンマーク、検出された車両及び／又はその位置及び／又は経路、検出された信号機等）を特定し得る。処理ユニット１１０はまた、撮像された画像にわたり一貫しない情報（例えば、レーン変更中の車両、車両２００に近すぎる車両を示すレーンモデル等）を除外し得る。したがって、処理ユニット１１０は、一貫情報及び非一貫情報の決定に基づいて、第１、第２及び第３の複数の画像の２つからの導出される情報を選択し得る。
ナビゲーション応答は、例えば、ターン、レーンシフト及び加速度変更、及び同様のものを含み得る。処理ユニット１１０は、ステップ７２０において実行される分析及び図４に関連して上記で説明した技法に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせることもできる。幾つかの実施形態では、処理ユニット１１０は、車両２００と第１、第２及び第３の複数の画像のいずれかの中で検出された物体との間の相対位置、相対速度及び／又は相対加速度に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。複数のナビゲーション応答は、同時に行われ得るか、順次行われ得るか、又はそれらの任意の組み合わせで行われ得る。
［自律車両ナビゲーションのための疎な道路モデル］
幾つかの実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションのために疎なマップを使用し得る。具体的には、疎なマップは、道路区分に沿った自律車両ナビゲーションのためであり得る。例えば、疎なマップは、大量のデータを記憶及び／又は更新することなく、自律車両をナビゲートするための十分な情報を提供し得る。以下で更に詳細に論じるように、自律車両は、疎なマップを使用して、１つ又は複数の記憶される軌道に基づいて１つ又は複数の道路をナビゲートし得る。
［自律車両ナビゲーションのための疎なマップ］
幾つかの実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションのために疎なマップを生成し得る。例えば、疎なマップは、過度のデータストレージ又はデータ転送速度を必要とすることなく、ナビゲーションに十分な情報を提供し得る。以下で更に詳細に論じるように、車両（自律車両であり得る）は、疎なマップを使用して１つ又は複数の道路をナビゲートし得る。例えば、幾つかの実施形態では、疎なマップは、道路に関連するデータ、及び車両ナビゲーションに十分であり得るが、小さなデータフットプリントも示す道路に沿った潜在的なランドマークを含み得る。例えば、以下で詳細に説明する疎なデータマップは、道路に沿って収集される画像データ等の詳細なマップ情報を含むデジタルマップと比較して、必要な記憶領域及びデータ転送帯域幅が大幅に少なくなり得る。
例えば、道路区分の詳細な表現を記憶するのではなく、疎なデータマップは、道路に沿った好ましい車両経路の３次元多項式表現を記憶し得る。これらの経路は、データ記憶領域をほとんど必要とし得ない。更に、説明される疎なデータマップでは、ナビゲーションを支援するために、ランドマークが識別され、疎なマップ道路モデルに含まれ得る。これらのランドマークは、車両ナビゲーションを可能にするのに適した任意の間隔で配置され得るが、場合によっては、高密度及び短い間隔で、そのようなランドマークを識別し、モデルに含める必要はない。むしろ、場合によっては、少なくとも５０メートル、少なくとも１００メートル、少なくとも５００メートル、少なくとも１キロメートル、又は少なくとも２キロメートルの間隔で離れているランドマークに基づいてナビゲーションが可能であり得る。他の節でより詳細に論じるように、疎なマップは、車両が道路に沿って移動するときに、撮像デバイス、全地球測位システムセンサ、動きセンサ等のような様々なセンサ及びデバイスを備えた車両によって収集又は測定されるデータに基づいて生成され得る。場合によっては、疎なマップは、特定の道路に沿った１つ又は複数の車両の複数の走行中に収集されるデータに基づいて生成され得る。１つ又は複数の車両の複数の走行を使用して疎なマップを生成することは、疎なマップの「クラウドソーシング」と呼ばれ得る。
開示される実施形態によれば、自律車両システムは、ナビゲーションのために疎なマップを使用し得る。例えば、開示されるシステム及び方法は、自律車両のための道路ナビゲーションモデルを生成するための疎なマップを配信し得、疎なマップ及び／又は生成された道路ナビゲーションモデルを使用して道路区分に沿って自律車両をナビゲートし得る。本開示による疎なマップは、自律車両が関連付けられた道路区分に沿って移動するときに横断し得る予め決められた軌道を表し得る１つ又は複数の３次元輪郭を含み得る。
本開示による疎なマップはまた、１つ又は複数の道路の特徴を表すデータを含み得る。そのような道路の特徴には、認識されたランドマーク、道路シグネチャプロファイル、及び車両のナビゲートに有用な任意の他の道路関連の特徴が含まれ得る。本開示による疎なマップは、疎なマップに含まれる比較的少量のデータに基づく車両の自律ナビゲーションを可能にし得る。例えば、道路端部、道路曲率、道路区分に関連付けられた画像、又は道路区分に関連付けられた他の物理的特徴を詳細に示すデータ等、道路の詳細な表現を含めなくても、疎なマップの開示される実施形態は、比較的少ない記憶領域（及び疎なマップの一部が車両に転送されるときの比較的少ない帯域幅）は必要となり得るが、それでも十分に自律車両ナビゲーションを提供し得る。以下で更に詳細に論じる、開示される疎なマップの小さなデータフットプリントは、幾つかの実施形態では、少量のデータを必要とするが、それでも自律ナビゲーションを可能にする道路関連要素の表現を記憶することによって実現され得る。
例えば、道路の様々な態様の詳細な表現を記憶するのではなく、開示される疎なマップは、車両が道路を追従し得る１つ又は複数の軌道の多項式表現を記憶し得る。したがって、開示される疎なマップを使用して、道路に沿ったナビゲーションを可能にするために道路の物理的性質に関する詳細を記憶する（又は転送する必要がある）のではなく、車両は、場合によっては、道路の物理的態様を解釈する必要なしに、むしろ、その走行経路を特定の道路区分に沿った軌道（例えば、多項式スプライン）に位置合わせすることによって、特定の道路区分に沿ってナビゲートされ得る。このようにして、車両は、主に、道路画像、道路パラメータ、道路レイアウト等の記憶を含む手法よりもはるかに少ない記憶領域を必要とし得る、記憶される軌道（例えば、多項式スプライン）に基づいてナビゲートされ得る。
道路区分に沿った軌道の記憶された多項式表現に加えて、開示される疎なマップはまた、道路の特徴を表し得る小さなデータオブジェクトを含み得る。幾つかの実施形態では、小さなデータオブジェクトは、道路区分に沿って走行する車両に搭載されたセンサ（例えば、カメラ又はサスペンションセンサ等の他のセンサ）によって取得されたデジタル画像（又はデジタル信号）から導出されるデジタルシグネチャを含み得る。デジタルシグネチャは、センサによって取得された信号に比べて縮小されたサイズとなり得る。幾つかの実施形態では、デジタルシグネチャは、例えば、後の走行中にセンサによって取得される信号から道路の特徴を検出及び識別するように構成される分類子関数と互換性があるように作成され得る。幾つかの実施形態では、デジタルシグネチャは、その後に同じ道路区分に沿って走行する車両に搭載されるカメラによって撮像される道路の特徴の画像（又は、記憶されたシグネチャが画像に基づいていない、及び／又は他のデータを含んでいる場合は、センサによって生成されるデジタル信号）に基づいて、道路の特徴を記憶されたシグネチャと相関又は一致させる能力を保持しながら、デジタルシグネチャが可能な限り小さいフットプリントを有するように作成され得る。
幾つかの実施形態では、データオブジェクトのサイズは、道路の特徴の一意性に更に関連付けられ得る。例えば、車両に搭載されるカメラによって検出可能な道路の特徴について、車両に搭載されるカメラシステムが、特定のタイプの道路の特徴、例えば、道路標識に関連付けられているものとしてその道路の特徴に対応する画像データを区別できる分類子に結合されている場合、及びそのような道路標識がその領域で局所的に一意（例えば、付近に同一の道路標識又は同じタイプの道路標識がない）である場合、道路の特徴のタイプ及びその位置を示すデータを記憶するだけで十分であり得る。
以下で更に詳細に論じるように、道路の特徴（例えば、道路区分に沿ったランドマーク）は、比較的数バイトで道路の特徴を表し得る小さなデータオブジェクトとして記憶され得、同時に、ナビゲーションのためにそのような特徴を認識及び使用するための十分な情報を提供し得る。一例では、道路標識は、車両のナビゲーションが基づき得る認識されたランドマークとして識別され得る。道路標識の表現は、例えば、ランドマークのタイプを示す数バイトのデータ（例えば、一時停止標識）及びランドマークの位置（例えば、座標）を示す数バイトのデータを含むように、疎なマップに記憶され得る。ランドマークのそのようなデータ観点の表現に基づいてナビゲートする（例えば、ランドマークに基づいて位置を特定し、認識し、ナビゲートするのに十分な表現を使用する）は、疎なマップに関連付けられたデータオーバーヘッドを大幅に増加させることなく、疎なマップに関連付けられた所望のレベルのナビゲーション機能を提供し得る。このようなランドマーク（及び他の道路の特徴）の無駄のない表現は、特定の道路の特徴を検出、識別、及び／又は分類するように構成される、そのような車両に搭載されるセンサ及びプロセッサを利用し得る。
例えば、標識又は特定のタイプの標識が所与の領域で局所的に一意である場合（例えば、他の標識がない場合、又は同じタイプの他の標識がない場合）、疎なマップは、ランドマーク（標識又は特定のタイプの標識）のタイプを示すデータを使用し得、自律車両に搭載されるカメラが標識（又は特定のタイプの標識）を含む領域の画像を撮像するときのナビゲーション（例えば、自律ナビゲーション）中、プロセッサは、画像を処理し、標識を検出し（実際に画像に存在する場合）、画像を標識として（又は特定のタイプの標識として）分類し、画像の位置を疎なマップに記憶されている標識の位置と相関させ得る。
疎なマップは、道路区分に沿って識別された物体の任意の適切な表現を含み得る。場合によっては、物体はセマンティック物体又は非セマンティック物体と呼ばれ得る。セマンティック物体は、例えば、予め決められたタイプ分類に関連付けられた物体を含み得る。このタイプ分類は、環境内で認識されるセマンティック物体を説明するために必要なデータ量を削減するのに有用であり得、これは、収集段階で（例えば、複数の収集車両からサーバに走行情報を転送するための帯域幅の使用に関連付けられたコストを削減する）、及びナビゲーション段階中（例えば、マップデータの削減により、サーバからナビゲート車両へのマップタイルの転送が高速化され得、そのような転送のための帯域幅の使用に関連付けられたコストも削減され得る）の両方で有益であり得る。セマンティック物体の分類タイプにより、道路に沿って遭遇すると予期される任意のタイプの物体又は特徴が割り当てられ得る。
セマンティック物体は、更に２つ以上の論理グループに分割し得る。例えば、場合によっては、セマンティック物体タイプの１つのグループは、予め決められた寸法に関連付けられ得る。そのようなセマンティック物体には、特定の制限速度標識、譲れの標識、合流標識、一時停止標識、信号機、道路上の方向矢印、マンホールの蓋、又は標準化されたサイズに関連付け得る任意の他のタイプの物体が含まれ得る。そのようなセマンティック物体によって提供される利点の１つは、物体を表現／完全に定義するためにデータをほとんど必要とし得ないことである。例えば、制限速度標識の標準化されたサイズが既知である場合、収集車両は、サーバ側でマップを生成するための十分な情報を提供するために、検出された制限速度標識の位置（例えば、標識の中心又は標識の特定の角の撮像された画像内の２Ｄ位置（又は、代わりに、現実世界の座標での３Ｄ位置））の表示と共に制限速度標識の存在（認識されたタイプ）を（撮像された画像の分析によって）識別することのみを必要とし得る。２Ｄ画像位置がサーバに送信される場合、サーバが標識の現実世界の位置を（例えば、１つ又は複数の収集車両から撮像された複数の画像を使用する運動中の構造技術によって）決定できるように、標識が検出された撮像された画像に関連付けられた位置も送信される。この限られた情報（検出された各物体を定義するのに数バイトしか必要としない）でも、サーバは、検出された標識の位置情報と共に、１つ又は複数の収集車両から受信したタイプ分類（制限速度標識の表現）に基づいて、完全に表現された制限速度標識を含むマップを構築し得る。
セマンティック物体には、特定の標準化された特性に関連付けられていない他の認識された物体又は特徴のタイプも含まれ得る。そのような物体又は特徴には、道路にできた穴、タールの継ぎ目、街灯柱、標準化されていない標識、縁石、樹木、木の枝、又は１つ又は複数の可変特性（例えば、可変寸法）を有する任意の他のタイプの認識された物体タイプが含まれ得る。そのような場合、検出された物体又は特徴のタイプ（例えば、道路にできた穴、柱、等）の指示、及び検出された物体又は特徴の位置情報をサーバに送信することに加えて、収集車両は、物体又は特徴のサイズの指示も送信し得る。サイズは、２Ｄ画像の寸法（例えば、境界ボックス又は１つ又は複数の寸法値）又は現実世界の寸法（ＬＩＤＡＲ又はＲＡＤＡＲシステム出力に基づく、トレーニングされたニューラルネットワーク出力に基づく、等の運動中の構造計算によって決定される）で表され得る。
非セマンティック物体又は特徴には、認識されているカテゴリ又はタイプの範囲外にあるが、それでもマップ生成で貴重な情報を提供し得る、任意の検出可能な物体又は特徴が含まれ得る。場合によっては、そのような非セマンティック特徴には、検出された建物の角又は検出された建物の窓の角、道路の近くの固有の石又は物体、路肩のコンクリートの飛散物、又は任意の他の検出可能な物体又は特徴が含まれ得る。そのような物体又は特徴を検出すると、１つ又は複数の収集車両が、検出された物体／特徴に関連付けられた１つ又は複数のポイント（２Ｄ画像ポイント又は３Ｄ現実世界ポイント）の位置をマップ生成サーバに送信し得る。更に、圧縮又は単純化された画像区分（例えば、画像ハッシュ）は、検出された物体又は特徴を含む撮像された画像の領域に対して生成され得る。この画像ハッシュは、予め決められた画像処理アルゴリズムに基づいて計算し得、検出された非セマンティック物体又は特徴の効果的なシグネチャを形成し得る。そのようなシグネチャは、道路を横断する車両が、マッピングされた非セマンティック特徴又は物体の撮像された画像内の存在を確認／検証するために、画像ハッシュを生成するために使用されるアルゴリズムと同様のアルゴリズムを適用し得るため、非セマンティック特徴又は物体を含む疎なマップに関連するナビゲーションに有用であり得る。この技法を使用すると、重要なデータオーバーヘッドを追加することなく、（例えば、ナビゲーションでの有用性を高めるため）非セマンティック特徴を疎なマップに豊富に追加し得る。
上記で述べたように、目標軌道は疎なマップに記憶され得る。これらの目標軌道（例えば、３Ｄスプライン）は、道路の利用可能な各レーン、交差点を通過する有効な各経路、合流及び出口、等のための好ましい経路又は推奨される経路を表し得る。目標軌道に加えて、他の道路の特徴も検出、収集され、代表的なスプラインの形態で疎なマップに組み込まれ得る。そのような特徴には、例えば、道路端部、レーンマーク、縁石、ガードレール、又は道路又は道路区分に沿って広がる任意の他の物体又は特徴が含まれ得る。
［疎なマップの生成］
幾つかの実施形態では、疎なマップは、道路区分及び道路区分に関連付けられた複数のランドマークに沿って広がる路面特徴の少なくとも１つの線表現を含み得る。特定の態様では、疎なマップは、「クラウドソーシング」を介して、例えば、１つ又は複数の車両が道路区分を横断するときに取得される複数の画像の画像分析によって生成され得る。
図８は、１つ又は複数の車両、例えば、車両２００（自律車両であり得る）が、自律車両ナビゲーションを提供するためにアクセスし得る疎なマップ８００を示す。疎なマップ８００は、メモリ１４０又は１５０等のメモリに記憶され得る。そのようなメモリデバイスは、任意のタイプの非一時的ストレージデバイス又はコンピュータ可読媒体を含み得る。例えば、幾つかの実施形態では、メモリ１４０又は１５０は、ハードドライブ、コンパクトディスク、フラッシュメモリ、磁気ベースのメモリデバイス、光学ベースのメモリデバイス等を含み得る。幾つかの実施形態では、疎なマップ８００は、メモリ１４０又は１５０、又は他のタイプのストレージデバイスに記憶され得るデータベース（例えば、マップデータベース１６０）に記憶され得る。
幾つかの実施形態では、疎なマップ８００は、車両２００に搭載されるストレージデバイス又は非一時的コンピュータ可読媒体（例えば、車両２００に搭載されるナビゲーションシステムに含まれるストレージデバイス）に記憶され得る。車両２００に搭載されるプロセッサ（例えば、処理ユニット１１０）は、車両が道路区分を横断するときに自律車両２００を誘導するためのナビゲーション指示を生成するために、車両２００に搭載されるストレージデバイス又はコンピュータ可読媒体に記憶される疎なマップ８００にアクセスし得る。
ただし、疎なマップ８００は、車両に関してローカルに記憶する必要はない。幾つかの実施形態では、疎なマップ８００は、車両２００又は車両２００に関連付けられたデバイスと通信する遠隔サーバ上に搭載されるストレージデバイス又はコンピュータ可読媒体に記憶され得る。車両２００に搭載されるプロセッサ（例えば、処理ユニット１１０）は、疎なマップ８００に含まれるデータを遠隔サーバから受信し得、車両２００の自律走行を誘導するためのデータを実行し得る。そのような実施形態では、遠隔サーバは、疎なマップ８００の全て又はその一部のみを記憶し得る。したがって、車両２００に搭載された、及び／又は１つ又は複数の追加の車両に搭載されたストレージデバイス又はコンピュータ可読媒体は、疎なマップ８００の残りの部分を記憶し得る。
更に、そのような実施形態では、疎なマップ８００は、様々な道路区分を横断する複数の車両（例えば、数十、数百、数千、又は数百万の車両等）にアクセス可能にし得る。疎なマップ８００は、複数のサブマップを含み得ることにも留意されたい。例えば、幾つかの実施形態では、疎なマップ８００は、車両をナビゲートする際に使用され得る数百、数千、数百万、又はそれ以上のサブマップ（例えば、マップタイル）を含み得る。そのようなサブマップはローカルマップ又はマップタイルと呼ばれ得、道路に沿って走行する車両は、車両が走行している位置に関連する任意の数のローカルマップにアクセスし得る。疎なマップ８００のローカルマップ区域は、疎なマップ８００のデータベースへのインデックスとして、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：ＧＮＳＳ）キーと共に記憶され得る。したがって、本システムでのホスト車両をナビゲートするためのステアリング角の計算は、ホスト車両のＧＮＳＳ位置、道路の特徴、又はランドマークに依存せずに実行され得るが、そのようなＧＮＳＳ情報は、関連するローカルマップの検索に使用され得る。
一般に、疎なマップ８００は、１つ又は複数の車両が道路に沿って走行するときに、１つ又は複数の車両から（からのドライブ情報が収集されるデータ（例えば、走行情報）に基づいて生成され得る。例えば、１つ又は複数の車両に搭載されるセンサ（例えば、カメラ、速度計、ＧＰＳ、加速度計等）を使用して、１つ又は複数の車両が道路に沿って走行する軌道を記録し得、道路に沿って後続走行を行う車両の好ましい軌道の多項式表現は、１つ又は複数の車両によって走行される収集される軌道に基づいて決定され得る。同様に、１つ又は複数の車両によって収集されるデータは、特定の道路に沿った潜在的なランドマークの識別を支援し得る。横断車両から収集されるデータは、道路幅プロファイル、道路粗さプロファイル、動線間隔プロファイル、道路状態等のような道路プロファイル情報を識別するためにも使用され得る。収集された情報を使用して、疎なマップ８００が生成され、１つ又は複数の自律車両のナビゲートに使用するために、（例えば、ローカルストレージのために、又はオンザフライデータ送信を介して）配信され得る。しかし、幾つかの実施形態では、マップ生成は、マップの初期生成時で終了し得ない。以下で更に詳細に論じるように、疎なマップ８００は、それらの車両が疎なマップ８００に含まれる道路を横断し続けるときに、車両から収集されるデータに基づいて継続的又は定期的に更新され得る。
疎なマップ８００に記録されるデータは、全地球測位システム（ＧＰＳ）データに基づく位置情報を含み得る。例えば、位置情報は、例えば、ランドマーク位置、道路プロファイル位置等を含む、様々なマップ要素の疎なマップ８００に含まれ得る。疎なマップ８００に含まれるマップ要素の位置は、道路を横断する車両から収集されるＧＰＳデータを使用して取得し得る。例えば、識別されるランドマークを通過する車両は、車両に関連付けられたＧＰＳ位置情報を使用して識別されるランドマークの位置を決定し、（例えば、車両に搭載される１つ又は複数のカメラから収集されるデータの画像分析に基づいて）車両に対する識別されるランドマークの位置を決定し得る。識別されるランドマーク（又は疎なマップ８００に含まれる任意の他の特徴）のそのような位置決定は、追加の車両が識別されるランドマークの位置を通過するときに繰り返され得る。追加の位置決定の一部又は全部を使用して、識別されるランドマークに関連して疎なマップ８００に記憶される位置情報を精緻化させ得る。例えば、幾つかの実施形態では、疎なマップ８００に記憶される特定の特徴に関連する複数の位置測定値を共に平均化し得る。しかし、任意の他の数学的演算を使用して、マップ要素の複数の決定された位置に基づいて、マップ要素の記憶された位置を精緻化させることもできる。
特定の例では、収集車両が特定の道路区分を横断し得る。各収集車両は、それぞれの環境の画像を撮像する。画像は、任意の適切なフレーム撮像レート（例えば、９Ｈｚ、等）で収集され得る。各収集車両に搭載された画像分析プロセッサは、撮像された画像を分析して、セマンティック及び／又は非セマンティックな特徴／物体の存在を検出する。高レベルでは、収集車両は、セマンティック及び／又は非セマンティック物体／特徴の検出の指示を、それらの物体／特徴に関連付けられた位置と共にマッピングサーバに送信する。より詳細には、タイプ指標、寸法指標、等を位置情報と共に送信し得る。位置情報は、マッピングサーバが検出された物体／特徴をナビゲーションに有用な疎なマップに集約できるようにするための任意の適切な情報を含み得るができる。場合によっては、位置情報は、セマンティック又は非セマンティックな特徴／物体が検出された撮像された画像内の１つ又は複数の２Ｄ画像位置（例えば、Ｘ－Ｙピクセル位置）を含み得る。そのような画像位置は、特徴／物体の中心、角、等に対応し得る。このシナリオでは、マッピングサーバが複数の収集車両からの走行情報を再構築し、走行情報の位置合わせを支援するために、各収集車両はまた、各画像が撮像された場所（例えば、ＧＰＳ位置）をサーバに提供し得る。
他の場合では、収集車両は、検出された物体／特徴に関連付けられた１つ又は複数の３Ｄ現実世界ポイントをサーバに提供し得る。そのような３Ｄポイントは、予め決められた起点（走行区分の起点等）に関連し得、任意の適切な技術によって決定され得る。場合によっては、検出された物体／特徴の３Ｄ現実世界位置を決定するために、運動中の構造技術が使用され得る。例えば、特定の制限速度標識等の特定の物体が、２つ以上の撮像された画像で検出され得る。撮像された画像間での収集車両の既知の自己運動（速度、軌道、ＧＰＳ位置、等）等の情報を、撮像された画像で観察された制限速度標識の変化（Ｘ－Ｙピクセル位置の変化、サイズの変化、等）と共に使用して、制限速度標識に関連付けられた１つ又は複数のポイントの現実世界の位置を決定し、マッピングサーバに渡し得る。そのような手法は、収集車両システム側でより多くの計算を必要とするため、任意選択である。開示される実施形態の疎なマップは、比較的少量の記憶されるデータを使用して車両の自律ナビゲーションを可能にし得る。幾つかの実施形態では、疎なマップ８００は、道路１キロメートル当たり２ＭＢ未満、道路１キロメートル当たり１ＭＢ未満、道路１キロメートル当たり５００ＫＢ未満、又は道路１キロメートル当たり１００ＫＢ未満のデータ密度（例えば、目標軌道、ランドマーク、及び任意の他の記憶された道路の特徴を表すデータを含む）を有し得る。幾つかの実施形態では、疎なマップ８００のデータ密度は、道路１キロメートル当たり１０ＫＢ未満、又は道路１キロメートル当たり２ＫＢ未満（例えば、１キロメートル当たり１．６ＫＢ）、又は道路１キロメートル当たり１０ＫＢ以下、又は道路１キロメートル当たり２０ＫＢ以下であり得る。幾つかの実施形態では、米国の道路の全てではないにしてもほとんどが、合計４ＧＢ以下のデータを有する疎なマップを使用して自律的にナビゲートされ得る。これらのデータ密度値は、疎なマップ８００全体にわたる、疎なマップ８００内のローカルマップにわたる、及び／又は疎なマップ８００内の特定の道路区分にわたる平均を表し得る。
上記で述べたように、疎なマップ８００は、道路区分に沿った自律走行又はナビゲーションを誘導するための複数の目標軌道８１０の表現を含み得る。そのような目標軌道は、３次元スプラインとして記憶され得る。疎なマップ８００に記憶される目標軌道は、例えば、特定の道路区分に沿った車両の以前の横断の２つ以上の再構築された軌道に基づいて決定され得る。道路区分は、単一の目標軌道又は複数の目標軌道に関連付けられ得る。例えば、２レーンの道路では、第１の目標軌道は、第１の方向の道路に沿った意図される走行経路を表すために記憶され得、第２の目標軌道は、別の方向（例えば、第１の方向と反対方向）の道路に沿った意図される走行経路を表すために記憶され得る。追加の目標軌道は、特定の道路区分に関して記憶され得る。例えば、複数レーンの道路では、複数レーンの道路に関連付けられた１つ又は複数のレーンの車両の意図される走行経路を表す１つ又は複数の目標軌道が記憶され得る。幾つかの実施形態では、複数レーン道路の各レーンは、それ自体の目標軌道に関連付けられ得る。他の実施形態では、複数レーンの道路に存在するレーンよりも、記憶されている目標軌道が少なくなり得る。そのような場合、複数レーンの道路をナビゲートする車両は、記憶された目標軌道のいずれかを使用して、目標軌道が記憶されているレーンからのレーンオフセットの量を考慮してナビゲーションを誘導し得る（例えば、車両が３レーンの高速道路の左端レーンを走行していて、目標軌道が高速道路の中央レーンに対してのみ記憶されている場合、車両は、ナビゲーション指示を生成するときに、中央レーンと左端レーンとの間のレーンオフセットの量を考慮して、中央レーンの目標軌道を使用してナビゲートし得る）。
幾つかの実施形態では、目標軌道は、車両が走行するときに車両が取るべき理想的な経路を表し得る。目標軌道は、例えば、走行レーンのほぼ中央に配置され得る。その他の場合、目標軌道は道路区分に対して他の場所に配置され得る。例えば、目標軌道は、道路の中心、道路の端部、又はレーンの端部等とほぼ一致し得る。そのような場合、目標軌道に基づくナビゲーションは、目標軌道の位置に対して維持すべき決定された量のオフセットを含み得る。更に、幾つかの実施形態では、目標軌道の位置に対して維持すべきオフセットの決定された量は、車両のタイプに基づいて異なり得る（例えば、２つの車軸を含む乗用車は、目標軌道の少なくとも一部に沿って、３つ以上の車軸を含むトラックとは異なるオフセットを有し得る）。
疎なマップ８００はまた、特定の道路区分、ローカルマップ等に関連付けられた複数の予め決められたランドマーク８２０に関連するデータを含み得る。以下で更に詳細に論じるように、これらのランドマークを使用して、自律車両をナビゲーションし得る。例えば、幾つかの実施形態では、ランドマークを使用して、記憶された目標軌道に対する車両の現在の位置を決定し得る。この位置情報を使用して、自律車両は、決定された位置での目標軌道の方向に一致するように進行方向が調整可能であり得る。
複数のランドマーク８２０は、任意の適切な間隔で識別され、疎なマップ８００に記憶され得る。幾つかの実施形態では、ランドマークは比較的高密度で（例えば、数メートル以上ごとに）記憶され得る。しかし、幾つかの実施形態では、著しく大きなランドマーク間隔値を使用し得る。例えば、疎なマップ８００では、識別される（又は認識される）ランドマークは、１０メートル、２０メートル、５０メートル、１００メートル、１キロメートル、又は２キロメートルの間隔で離れ得る。場合によっては、識別されるランドマークが２キロメートル以上も離れた距離に位置し得る。
ランドマーク間、したがって、目標軌道に対する車両位置を決定する間には、車両は、車両がセンサを使用して自己運動を決定し、目標軌道に対する位置を推定する推測航法に基づいてナビゲートし得る。推測航法によるナビゲーション中に誤差が蓄積し得るため、経時的に目標軌道に対する位置決定の精度が次第に低下し得る。車両は、疎なマップ８００（及びそれらの既知の位置）に存在するランドマークを使用して、位置決定における推測航法によって誘発される誤差を除去し得る。このようにして、疎なマップ８００に含まれる識別されるランドマークは、ナビゲーションアンカーとして機能し得、そこから、目標軌道に対する車両の正確な位置を決定し得る。位置決定では、ある程度の誤差が許容可能であり得るため、識別されるランドマークが自律車両で常に利用可能である必要はない。むしろ、上記で述べたように、１０メートル、２０メートル、５０メートル、１００メートル、５００メートル、１キロメートル、２キロメートル、又はそれ以上のランドマーク間隔に基づいても、適切なナビゲーションが可能であり得る。幾つかの実施形態では、道路の１ｋｍごとに１つの識別されるランドマークの密度は、１ｍ以内の縦方向位置決定精度を維持するのに十分であり得る。したがって、道路区分に沿って現れる全ての潜在的なランドマークを疎なマップ８００に記憶する必要があるとは限らない。
更に、幾つかの実施形態では、レーンマークは、ランドマーク間隔の間の車両の位置特定のために使用され得る。ランドマーク間隔の間にレーンマークを使用することにより、推測航法によるナビゲーション中の誤差の累積が最小限に抑えられ得る。
目標軌道及び識別されるランドマークに加えて、疎なマップ８００は、他の様々な道路の特徴に関連する情報を含み得る。例えば、図９Ａは、疎なマップ８００に記憶され得る特定の道路区分に沿った曲線の表現を示す。幾つかの実施形態では、道路の単一レーンは、道路の左側及び右側の３次元多項式記述によってモデル化され得る。単一レーンの左側及び右側を表す、そのような多項式を図９Ａに示す。道路が有し得るレーン数に関係なく、図９Ａに示すのと同様の方法で、多項式を使用して道路を表し得る。例えば、複数レーンの道路の左側及び右側は、図９Ａに示したものと同様の多項式によって表し得、複数レーンの道路に含まれる中間のレーンマーク（例えば、レーンの境界を表す破線のマーク、異なる方向に走行するレーン間の境界を表す黄色の実線等）も、図９Ａに示すような多項式を使用して表し得る。
図９Ａに示すように、レーン９００は、多項式（例えば、１次、２次、３次、又は任意の適切な次数の多項式）を使用して表し得る。説明のために、レーン９００は２次元レーンとして示され、多項式は２次元多項式として示されている。図９Ａに示すように、レーン９００は左側９１０及び右側９２０を含む。幾つかの実施形態では、複数の多項式を使用して、道路又はレーンの境界の各側の位置を表し得る。例えば、左側９１０及び右側９２０のそれぞれは、任意の適切な長さの複数の多項式によって表し得る。場合によっては、多項式が約１００ｍの長さになり得るが、１００ｍより長い又は短い他の長さも使用し得る。更に、ホスト車両が道路に沿って走行するときに、その後に遭遇する多項式に基づいてナビゲートする際のシームレスな遷移を容易にするために、多項式を互いに重なり合わせることができる。例えば、左側９１０及び右側９２０のそれぞれは、長さが約１００メートルの区分（第１の予め決められた範囲の例）に分離され、互いに約５０メートル重なり合う複数の３次多項式によって表し得る。左側９１０及び右側９２０を表す多項式は、同じ順序であり得るか、又は同じ順序であり得ない。例えば、幾つかの実施形態では、幾つかの多項式は２次多項式であり得、幾つかは３次多項式であり得、幾つかは４次多項式であり得る。
図９Ａに示す例では、レーン９００の左側９１０は、３次多項式の２つのグループで表されている。第１のグループには、多項式区分９１１、９１２、及び９１３が含まれる。第２のグループには、多項式区分９１４、９１５、及び９１６が含まれる。２つのグループは、互いに実質的に平行であるが、道路のそれぞれの側の位置に従う。多項式区分９１１、９１２、９１３、９１４、９１５、及び９１６は約１００メートルの長さであり、一連内の隣接する区分と約５０メートル重なり合っている。ただし、上記で述べたように、異なる長さ及び異なる重なり合う量の多項式も使用し得る。例えば、多項式は５００ｍ、１ｋｍ、又はそれ以上の長さであり得、重なり合う量は０～５０ｍ、５０ｍ～１００ｍ、又は１００ｍ超に変化し得る。更に、図９Ａは、２Ｄ空間（例えば、紙の表面上）に広がる多項式を表すものとして示され、これらの多項式は、Ｘ－Ｙ曲率に加えて、道路区分の標高の変化を表すために、（例えば、高さ成分を含む）３次元に広がる曲線を表し得ることを理解されたい。図９Ａに示す例では、レーン９００の右側９２０は、多項式区分９２１、９２２、及び９２３を有する第１のグループ、及び多項式区分９２４、９２５、及び９２６を有する第２のグループによって更に表される。
疎なマップ８００の目標軌道に戻り、図９Ｂは、特定の道路区分に沿って走行する車両の目標軌道を表す３次元多項式を示す。目標軌道は、ホスト車両が特定の道路区分に沿って走行すべきＸ－Ｙ経路だけでなく、ホスト車両が道路区分に沿って走行するときに経験する標高の変化も表す。したがって、疎なマップ８００内の各目標軌道は、図９Ｂに示す３次元多項式９５０のように、１つ又は複数の３次元多項式によって表し得る。疎なマップ８００は、複数（例えば、世界中の道路に沿った様々な道路区分に沿った車両軌道を表すために、数百万又は数十億以上）の軌道を含み得る。幾つかの実施形態では、各目標軌道は、３次元多項式区分を接続するスプラインに対応し得る。
疎なマップ８００に記憶される多項式曲線のデータフットプリントに関して、幾つかの実施形態では、各３次多項式は、４つのパラメータによって表され、それぞれは４バイトのデータを必要とし得る。適切な表現は、１００ｍごとに約１９２バイトのデータを必要とする３次多項式で取得し得る。これは、約１００ｋｍ／ｈｒを走行するホスト車両のデータ使用量／転送要件で１時間当たり約２００ＫＢと言い換え得る。
疎なマップ８００は、ジオメトリ記述子とメタデータとの組み合わせを使用してレーンネットワークを記述し得る。ジオメトリは、上記で説明したように多項式又はスプラインで記述し得る。メタデータは、レーンの数、特別な特性（カープールレーン等）、及び場合によっては他の疎なラベルを記述し得る。そのような指標の総フットプリントは、ごくわずかであり得る。
したがって、本開示の実施形態による疎なマップは、道路区分に沿って広がる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する道路区分に沿った経路を表す。幾つかの実施形態では、上記で論じたように、路面特徴の少なくとも１つの線表現は、スプライン、多項式表現、又は曲線を含み得る。更に、幾つかの実施形態では、路面特徴は、道路端部又はレーンマークのうちの少なくとも１つを含み得る。更に、「クラウドソーシング」に関して以下で論じるように、路面特徴は、１つ又は複数の車両が道路区分を横断するときに取得される複数の画像の画像分析によって識別され得る。
前述したように、疎なマップ８００は、道路区分に関連付けられた複数の予め決められたランドマークを含み得る。ランドマークの実際の画像を記憶して、例えば、撮像された画像及び記憶される画像に基づく画像認識分析に依存するのではなく、疎なマップ８００の各ランドマークは、記憶される実際の画像が必要とするよりも少ないデータを使用して表現及び認識され得る。それでも、ランドマークを表すデータは、道路に沿ったランドマークを説明又は識別するための十分な情報を含み得る。ランドマークの実際の画像ではなく、ランドマークの特性を記述したデータを記憶することで、疎なマップ８００のサイズを縮小し得る。
図１０は、疎なマップ８００で表され得るランドマークのタイプの例を示す。ランドマークには、道路区分に沿った任意の可視及び識別可能な物体が含まれ得る。ランドマークは、固定されており、位置及び／又は内容に関して頻繁に変更されないように選択し得る。疎なマップ８００に含まれるランドマークは、車両が特定の道路区分を横断するときに、目標軌道に対する車両２００の位置を決定するのに有用であり得る。ランドマークの例は、交通標識、方向標識、一般標識（例えば、長方形の標識）、路傍の備品（例えば、街灯柱、反射板等）、及び任意の他の適切なカテゴリを含み得る。幾つかの実施形態では、道路上のレーンマークはまた、疎なマップ８００のランドマークとして含まれ得る。
図１０に示すランドマークの例は、交通標識、方向標識、路傍の備品、及び一般標識を含む。交通標識は、例えば、制限速度標識（例えば、制限速度標識１０００）、譲れの標識（例えば、譲れの標識１００５）、路線番号標識（例えば、路線番号標識１０１０）、信号機標識（例えば、信号機標識１０１５）、一時停止標識（例えば、一時停止標識１０２０）を含み得る。方向標識は、異なる場所への１つ又は複数の方向を示す１つ又は複数の矢印を含む標識を含み得る。例えば、方向標識は、車両を異なる道路又は場所の方向を指示するための矢印を有する高速道路標識１０２５、車両を道路から出る方向を指示する矢印を有する出口標識１０３０等を含み得る。したがって、複数のランドマークのうちの少なくとも１つは、道路標識を含み得る。
一般標識は、交通に無関係であり得る。例えば、一般標識は、広告に使用される看板、又は２つの国、州、郡、市、又は町の間の境界に隣接するウェルカムボードを含み得る。図１０は、一般標識１０４０（「Ｊｏｅ'ｓ Ｒｅｓｔａｕｒａｎｔ」）を示す。図１０に示すように、一般標識１０４０は長方形の形状を有し得るが、一般標識１０４０は、正方形、円形、三角形等のような他の形状を有し得る。
ランドマークはまた、路傍の備品を含み得る。路傍の備品は、標識ではない物体であり得、交通又は方向に関連し得ない。例えば、路傍の備品は、街灯柱（例えば、街灯柱１０３５）、電力線柱、信号機柱等を含み得る。
ランドマークはまた、自律車両ナビゲーションシステムで使用するために特別に設計され得るビーコンを含み得る。例えば、そのようなビーコンは、ホスト車両のナビゲートを支援するために予め決められた間隔で配置される独立型の構造物を含み得る。そのようなビーコンはまた、道路区分に沿って走行する車両によって識別又は認識され得る既存の道路標識（例えば、アイコン、エンブレム、バーコード等）に追加される視覚的／グラフィック情報を含み得る。そのようなビーコンはまた、電子部品を含み得る。そのような実施形態では、電子ビーコン（例えば、ＲＦＩＤタグ等）を使用して、非視覚情報をホスト車両に送信し得る。そのような情報は、例えば、ホスト車両が目標軌道に沿ったその位置を決定する際に使用し得るランドマーク識別及び／又はランドマーク位置情報を含み得る。
幾つかの実施形態では、疎なマップ８００に含まれるランドマークは、予め決められたサイズのデータオブジェクトによって表され得る。ランドマークを表すデータは、特定のランドマークを識別するための任意の適切なパラメータを含み得る。例えば、幾つかの実施形態では、疎なマップ８００に記憶されるランドマークは、ランドマークの物理的サイズ（例えば、既知のサイズ／スケールに基づくランドマークまでの距離の推定をサポートするため）、前のランドマークまでの距離、横方向のオフセット、高さ、タイプコード（例えば、ランドマークタイプ － 方向標識、交通標識等のタイプ）、ＧＰＳ座標（例えば、グローバルローカリゼーションをサポートするため）、及び任意の他の適切なパラメータ等のパラメータを含み得る。各パラメータは、データサイズに関連付けられ得る。例えば、ランドマークサイズは８バイトのデータを使用して記憶され得る。前のランドマークまでの距離、横方向のオフセット、及び高さは、１２バイトのデータを使用して指定し得る。方向標識又は交通標識等のランドマークに関連付けられたタイプコードには、約２バイトのデータが必要になり得る。一般標識の場合、一般標識の識別を可能にする画像シグネチャは、５０バイトのデータストレージを使用して記憶され得る。ランドマークのＧＰＳ位置は、１６バイトのデータストレージに関連付けられ得る。各パラメータのこれらのデータサイズは単なる例であり、他のデータサイズも使用し得る。このようにして疎なマップ８００でランドマークを表現することは、データベース内のランドマークを効率的に表現するための効率的な解決策を提供し得る。幾つかの実施形態では、物体は、標準的なセマンティック物体又は非標準的なセマンティック物体と呼ばれ得る。標準的なセマンティック物体は、標準化された特性の組（例えば、既知の寸法又は他の特性を有する制限速度標識、警告標識、方向標識、信号機、等）が存在する任意のクラスの物体を含み得る。非標準的なセマンティック物体は、標準化された特性の組と関連付けられていない任意の物体（例えば、一般的な広告標識、ビジネスを識別する標識、可変寸法を有し得る道路にできた穴、樹木、等）を含み得る。各非標準的なセマンティック物体は、３８バイトのデータ（例えば、サイズの８バイト；前のランドマークまでの距離、横方向のオフセット、高さの１２バイト；タイプコードの２バイト；及び位置座標の１６バイト）で表し得る。標準的なセマンティック物体は、マッピングサーバが疎なマップ内の物体を完全に表すためにサイズ情報を必要とし得ないため、更に少ないデータを使用して表し得る。
疎なマップ８００は、ランドマークタイプを表すためにタグシステムを使用し得る。場合によっては、各交通標識又は方向標識が独自のタグに関連付けられ得、ランドマーク識別の一部としてデータベースに記憶され得る。例えば、データベースは、様々な交通標識を表すために１０００ほどの異なるタグを含み、方向標識を表すために約１００００ほどの異なるタグを含み得る。当然ながら、任意の適切な数のタグを使用し得、必要に応じて追加のタグを作成し得る。汎用標識は、幾つかの実施形態では、約１００バイト未満を使用して表し得る（例えば、サイズの８バイト；前のランドマークまでの距離、横方向のオフセット、及び高さの１２バイト；画像シグネチャの５０バイト；及びＧＰＳ座標の１６バイトを含む約８６バイト）。
したがって、画像シグネチャを必要としないセマンティック道路標識の場合、疎なマップ８００へのデータ密度の影響は、５０ｍ当たり約１個の比較的高いランドマーク密度であっても、１キロメートル当たり約７６０バイトほどになり得る（例えば、１キロメートル当たり２０個のランドマークｘ１個のランドマーク当たり３８バイト＝７６０バイト）。画像シグネチャ成分を含む汎用標識の場合でも、データ密度の影響は１キロメートル当たり約１．７２ＫＢである（例えば、１キロメートル当たり２０個のランドマーク×１個のランドマーク当たり８６バイト＝１，７２０バイト）。セマンティック道路標識の場合、これは１００ｋｍ／ｈｒで走行する車両の１時間当たり約７６ＫＢのデータ使用量に相当する。汎用標識の場合、これは時速１００ｋｍ／ｈｒで走行する車両の１時間当たり約１７０ＫＢに相当する。一部の環境（例えば、都市環境）では、疎なマップに含めることができる検出された物体の密度がはるかに高くなり得る（おそらく、１メートル当たり２つ以上）ことに留意されたい。幾つかの実施形態では、長方形の標識等の概して長方形の物体は、１００バイト以下のデータで疎なマップ８００内に表し得る。疎なマップ８００における概して長方形の物体（例えば、一般標識１０４０）の表現は、概して長方形の物体に関連付けられた凝縮画像シグネチャ又は画像ハッシュ（例えば、凝縮画像シグネチャ１０４５）を含み得る。この凝縮画像シグネチャ／画像ハッシュは、任意の適切な画像ハッシュアルゴリズムを使用して決定され得、例えば、認識されたランドマークとして、例えば、汎用標識の識別を支援するために使用され得る。そのような凝縮画像シグネチャ（例えば、物体を表す実際の画像データから導出される画像情報）は、ランドマークを認識するために物体の実際の画像を記憶する必要性又は実際の画像に対して実行される比較画像分析の必要性を回避し得る。
図１０を参照すると、疎なマップ８００は、一般標識１０４０の実際の画像ではなく、一般標識１０４０に関連付けられた凝縮画像シグネチャ１０４５を含み得るか、又は記憶し得る。例えば、撮像デバイス（例えば、撮像デバイス１２２、１２４、又は１２６）が一般標識１０４０の画像を撮像した後、プロセッサ（例えば、画像プロセッサ１９０、又はホスト車両に対して搭載されているか、又は遠隔設置されているかのいずれかで画像を処理できる任意の他のプロセッサ）は、画像分析を実行して、一般標識１０４０に関連付けられた固有のシグネチャ又はパターンを含む凝縮画像シグネチャ１０４５を抽出／作成し得る。１つの実施形態では、凝縮画像シグネチャ１０４５は、一般標識１０４０を説明するために一般標識１０４０の画像から抽出され得る形状、色パターン、明るさパターン、又は任意の他の特徴を含み得る。
例えば、図１０で、凝縮画像シグネチャ１０４５に示す円形、三角形、及び星形は、異なる色の領域を表し得る。円形、三角形、及び星形によって表されるパターンは、疎なマップ８００に、例えば、画像シグネチャを含むように指定される５０バイト内に記憶され得る。特に、円形、三角形、星は、必ずしもそのような形状が画像シグネチャの一部として記憶されていることを示すことを意味するわけではない。むしろ、これらの形状は、識別可能な色差、テキスト領域、グラフィック形状、又は汎用標識に関連付けられ得る特性の他の異形を有する認識可能な領域を概念的に表すことを意図している。そのような凝縮画像シグネチャは、一般標識の形態でランドマークを識別するために使用できる。例えば、凝縮画像シグネチャを使用して、例えば、自律車両に搭載されるカメラを使用して撮像された画像データと、記憶された凝縮画像シグネチャとの比較に基づいて、同じか否か分析を実行できる。
したがって、複数のランドマークは、１つ又は複数の車両が道路区分を横断するときに取得される複数の画像の画像分析によって識別され得る。「クラウドソーシング」に関して以下で説明するように、幾つかの実施形態では、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合に、潜在的なランドマークを受け入れることを含み得る。更に、幾つかの実施形態では、複数のランドマークを識別するための画像分析は、ランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合に、潜在的なランドマークを拒否することを含み得る。
ホスト車両が特定の道路区分をナビゲートするために使用し得る目標軌道に戻り、図１１Ａは、疎なマップ８００を構築又は維持するプロセス中に撮像する多項式表現軌道を示す。疎なマップ８００に含まれる目標軌道の多項式表現は、同じ道路区分に沿った車両の以前の横断の２つ以上の再構築された軌道に基づいて決定され得る。幾つかの実施形態では、疎なマップ８００に含まれる目標軌道の多項式表現は、同じ道路区分に沿った車両の以前の横断の２つ以上の再構築された軌道の集約であり得る。幾つかの実施形態では、疎なマップ８００に含まれる目標軌道の多項式表現は、同じ道路区分に沿った車両の以前の横断の２つ以上の再構築された軌道の平均であり得る。他の数学的演算を使用して、道路区分に沿って横断する車両から収集される再構築された軌道に基づいて、道路経路に沿った目標軌道を構築することもできる。
図１１Ａに示すように、道路区分１１００は、異なる時間に複数の車両２００によって走行され得る。各車両２００は、車両が道路区分に沿って取った経路に関連するデータを収集し得る。特定の車両が走行する経路は、他の潜在的な情報源の中でもとりわけ、カメラデータ、加速度計情報、速度センサ情報、及び／又はＧＰＳ情報に基づいて決定され得る。そのようなデータは、道路区分に沿って走行する車両軌道を再構築するために使用され得、これらの再構築された軌道に基づいて、特定の道路区分の目標軌道（又は複数の目標軌道）が決定され得る。そのような目標軌道は、車両が道路区分に沿って走行するときの、（例えば、自律ナビゲーションシステムによって誘導される）ホスト車両の好ましい経路を表し得る。
図１１Ａに示す例では、第１の再構築された軌道１１０１は、第１の期間（例えば、１日目）に道路区分１１００を横断する第１の車両から受信されるデータに基づいて決定され得、第２の再構築された軌道１１０２は、第２の期間（例えば、２日目）に道路区分１１００を横断する第２の車両から取得され得、第３の再構築された軌道１１０３は、第３の期間（例えば、３日目）に道路区分１１００を横断する第３の車両から取得され得る。各軌道１１０１、１１０２、及び１１０３は、３次元多項式等の多項式によって表し得る。幾つかの実施形態では、再構築された軌道のいずれかが、道路区分１１００を横断する車両に搭載され組み立てられ得ることに留意されたい。
加えて又は或いは、そのような再構築された軌道は、道路区分１１００を横断する車両から受信される情報に基づいて、サーバ側で決定され得る。例えば、幾つかの実施形態では、車両２００は、道路区分１１００に沿ったそれらの動き（例えば、とりわけ、ステアリング角、進行方向、時間、位置、速度、検知される道路のジオメトリ、及び／又は検知されるランドマーク等）に関連するデータを１つ又は複数のサーバに送信し得る。サーバは、受信されるデータに基づいて車両２００の軌道を再構築し得る。サーバはまた、第１、第２、及び第３の軌道１１０１、１１０２、及び１１０３に基づいて、後に同じ道路区分１１００に沿って走行する自律車両ナビゲーションを誘導するための目標軌道を生成し得る。目標軌道は、道路区分の単一の以前の横断に関連付けられ得るが、幾つかの実施形態では、疎なマップ８００に含まれる各目標軌道は、同じ道路区分を横断する車両の２つ以上の再構築された軌道に基づいて決定され得る。図１１Ａでは、目標軌道は１１１０によって表されている。幾つかの実施形態では、目標軌道１１１０は、第１、第２、及び第３の軌道１１０１、１１０２、及び１１０３の平均に基づいて生成され得る。幾つかの実施形態では、疎なマップ８００に含まれる目標軌道１１１０は、２つ以上の再構築された軌道の集約（例えば、重み付けされる組み合わせ）であり得る。
マッピングサーバでは、サーバは、道路区分を横断する複数の収集車両から特定の道路区分の実際の軌道を受信し得る。道路区分に沿った有効な各経路（例えば、各レーン、各走行方向、交差点を通る各経路、等）の目標軌道を生成するために、受信した実際の軌道を位置合わせし得る。位置合わせプロセスは、道路区分に沿って識別された検出された物体／特徴を、それらの検出された物体／特徴の収集された位置と共に使用して、実際の収集された軌道を互いに相関させることを含み得る。位置合わせされると、利用可能なレーンごとの平均又は「最適な」目標軌道等は、集約され、相関／位置合わせされた実際の軌道に基づいて決定され得る。
図１１Ｂ及び図１１Ｃは、地理的領域１１１１内に存在する道路区分に関連付けられた目標軌道の概念を更に示す。図１１Ｂに示すように、地理的領域１１１１内の第１の道路区分１１２０は、第１の方向への車両走行のために指定される２つのレーン１１２２、及び第１の方向とは反対の第２の方向への車両走行のために指定される２つの追加のレーン１１２４を含む複数レーン道路を含み得る。レーン１１２２及びレーン１１２４は、二重の黄色い線１１２３によって分離され得る。地理的領域１１１１はまた、道路区分１１２０と交差する分岐道路区分１１３０を含み得る。道路区分１１３０は、２レーンの道路を含み得、各レーンは、異なる進行方向に指定される。地理的領域１１１１はまた、一時停止線１１３２、一時停止標識１１３４、制限速度標識１１３６、及び危険標識１１３８等の他の道路の特徴を含み得る。
図１１Ｃに示すように、疎なマップ８００は、地理的領域１１１１内の車両の自律ナビゲーションを支援するための道路モデルを含むローカルマップ１１４０を含み得る。例えば、ローカルマップ１１４０は、地理的領域１１１１内の道路区分１１２０及び／又は１１３０に関連付けられた１つ又は複数のレーンの目標軌道を含み得る。例えば、ローカルマップ１１４０は、自律車両がレーン１１２２を横断するときにアクセス又は依存し得る目標軌道１１４１及び／又は１１４２を含み得る。同様に、ローカルマップ１１４０は、自律車両がレーン１１２４を横断するときにアクセス又は依存し得る目標軌道１１４３及び／又は１１４４を含み得る。更に、ローカルマップ１１４０は、自律車両が道路区分１１３０を横断するときにアクセス又は依存し得る目標軌道１１４５及び／又は１１４６を含み得る。目標軌道１１４７は、レーン１１２０（具体的には、レーン１１２０の右端レーンに関連付けられた目標軌道１１４１に対応）から道路区分１１３０（具体的には、道路区分１１３０の第１の側に関連付けられた目標軌道１１４５に対応）に移行するときに自律車両が進むべき好ましい経路を表す。同様に、目標軌道１１４８は、道路区分１１３０から（具体的には、目標軌道１１４６に対応）道路区分１１２４の一部（具体的には、示すように、レーン１１２４の左レーンに関連付けられた目標軌道１１４３に対応）に移行するときに自律車両が進むべき好ましい経路を表す。
疎なマップ８００はまた、地理的領域１１１１に関連付けられた他の道路関連の特徴の表現を含み得る。例えば、疎なマップ８００はまた、地理的領域１１１１で識別される１つ又は複数のランドマークの表現を含み得る。そのようなランドマークは、一時停止線１１３２に関連付けられた第１のランドマーク１１５０、一時停止標識１１３４に関連付けられた第２のランドマーク１１５２、制限速度標識１１５４に関連付けられた第３のランドマーク、及び危険標識１１３８に関連付けられた第４のランドマーク１１５６を含み得る。そのようなランドマークは、車両が、決定された位置での目標軌道の方向に一致するようにその進行方向を調整し得るように、例えば、自律車両が、示す目標軌道のいずれかに対する現在の位置を決定するのを支援するために使用され得る。
幾つかの実施形態では、疎なマップ８００はまた、道路シグネチャプロファイルを含み得る。そのような道路シグネチャプロファイルは、道路に関連付けられた少なくとも１つのパラメータの任意の識別可能／測定可能な変化に関連付けられ得る。例えば、場合によっては、そのようなプロファイルは、特定の道路区分の表面粗さの変化、特定の道路区分にわたる道路幅の変化、特定の道路区分に沿って描かれた破線の間の距離の変化、特定の道路区分に沿った道路曲率の変化等のような路面情報の変化と関連付けられ得る。図１１Ｄは、道路シグネチャプロファイル１１６０の例を示す。プロファイル１１６０は、上述のパラメータのいずれか、又は他のパラメータを表し得るが、一例では、プロファイル１１６０は、例えば、車両が特定の道路区分を走行するときのサスペンション変位の量を示す出力を提供する１つ又は複数のセンサを監視することによって得られる、路面粗さの測度を表し得る。
或いは、又は同時に、プロファイル１１６０は、特定の道路区分を走行する車両に搭載されるカメラを介して取得される画像データに基づいて決定された、道路幅の変化を表し得る。そのようなプロファイルは、例えば、特定の目標軌道に対する自律車両の特定の位置を決定するのに有用であり得る。すなわち、自律車両が道路区分を横断するとき、自律車両は、道路区分に関連付けられた１つ又は複数のパラメータに関連付けられたプロファイルを測定し得る。測定されるプロファイルを、道路区分に沿った位置に関してパラメータの変化をプロットする予め決められたプロファイルと相関／一致させることができる場合、道路区分に沿った現在の位置、したがって、道路区分の目標軌道に対する現在の位置を決定するために、（例えば、測定された予め決められたプロファイルの対応するセクションを重ね合わせることによって）測定された予め決められたプロファイルを使用し得る。
幾つかの実施形態では、疎なマップ８００は、自律車両のユーザ、環境条件、及び／又は走行に関連する他のパラメータに関連付けられた異なる特性に基づく異なる軌道を含み得る。例えば、幾つかの実施形態では、異なるユーザの好み及び／又はプロファイルに基づいて、異なる軌道が生成され得る。そのような異なる軌道を含む疎なマップ８００は、異なるユーザの異なる自律車両に提供され得る。例えば、一部のユーザは有料道路を避ける方を好み得るが、他のユーザは、ルートに有料道路があるか否かに関係なく、最短又は最速のルートを取ることを好み得る。開示されるシステムは、そのような異なるユーザの好み又はプロファイルに基づいて、異なる軌道を有する異なる疎なマップを生成し得る。別の例として、一部のユーザは高速で移動するレーンを走行することを好み得るが、他のユーザは常に中央レーンの位置を維持することを好み得る。
異なる軌道は、昼及び夜、雪、雨、霧等のような異なる環境条件に基づいて生成され、疎なマップ８００に含まれ得る。異なる環境条件で走行する自律車両は、そのような異なる環境条件に基づいて生成される疎なマップ８００を提供し得る。幾つかの実施形態では、自律車両に搭載されるカメラは、環境条件を検出し得、疎なマップを生成及び提供するサーバにそのような情報を提供し得る。例えば、サーバは、既に生成された疎なマップ８００を生成又は更新して、検出された環境条件下での自律走行により適し得る又はより安全であり得る軌道を含み得る。環境条件に基づく疎なマップ８００の更新は、自律車両が道路に沿って走行しているときに動的に実行され得る。
走行に関連する他の異なるパラメータも、異なる自律車両に異なる疎なマップを生成及び提供するための基礎として使用され得る。例えば、自律車両が高速で走行している場合、旋回が困難になり得る。自律車両が特定の軌道を進むときに、その車両が特定のレーン内を維持し得るように、道路ではなく特定のレーンに関連付けられた軌道を疎なマップ８００に含め得る。自律車両に搭載されるカメラによって撮像された画像が、車両がレーンの外側にドリフトした（例えば、レーンマークを横断した）ことを示している場合、特定の軌道に従って車両を指定レーンに戻すために、車両内で動作がトリガーされ得る。
［疎なマップのクラウドソーシング］
開示される疎なマップは、クラウドソーシングの力によって効率的に（かつ受動的に）生成され得る。例えば、カメラ（例えば、現在の車両のＯＥＭ機器として通常装備されている単純な低解像度カメラ）及び適切な画像解析プロセッサを装備した任意の自家用車又は商用車は、収集車両として機能し得る。特別な機器（例えば、高解像度撮像システム及び／又は測位システム）は必要ない。開示されるクラウドソーシング技術の結果として、生成された疎なマップは非常に正確であり得、マップ生成プロセスへの入力として、任意の特殊な撮像機器又は検知機器を必要とせずに、非常に精緻化した位置情報（１０ｃｍ以下のナビゲーション誤差限界を可能にする）を含み得る。クラウドソーシングはまた、収集車両としても機能する最小限の装備を備えた自家用車又は商用車が横断する任意の道路から、マッピングサーバシステムが、新しい走行情報を継続的に利用できるため、生成されたマップをはるかに迅速に（及び安価に）更新することを可能にする。高解像度撮像センサ及びマッピングセンサを装備した指定車両は必要ない。したがって、そのような特殊車両の製造に関連する費用を回避できる。更に、現在開示されている疎なマップの更新は、（費用及び特別な機器により、典型的には、開示された収集技術を実行するために既に利用可能な自家用車又は商用車の数よりもはるかに少ない数の特殊車両の群に限定されている）専用の特殊マッピング車両に依存するシステムよりもはるかに迅速に行われ得る。
クラウドソーシングによって生成された開示される疎なマップは、特定の道路区分に沿って走行情報を収集した複数（数十、数百、数百万、等）の収集車両からの多くの入力に基づいて生成され得るため、非常に正確であり得る。例えば、特定の道路区分に沿って走行する全ての収集車両は、その実際の軌道を記録し得、道路区分に沿って検出された物体／特徴に関連する位置情報を決定し得る。この情報は、複数の収集車両からサーバに渡される。実際の軌道が集約され、道路区分に沿った有効な走行経路ごとに精緻化した目標軌道が生成される。更に、道路区分に沿って検出された物体／特徴のそれぞれについて複数の収集車両から収集された位置情報（セマンティック又は非セマンティック）も集約できる。結果として、検出された各物体／特徴のマッピングされた位置は、検出された各物体／特徴について個別に決定された数百、数千、又は数百万の位置の平均を構成し得る。そのような技術は、検出された物体／特徴の非常に正確なマッピングされた位置をもたらし得る。
幾つかの実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションのために疎なマップを生成し得る。例えば、開示されるシステム及び方法は、クラウドソーシングによるデータを使用して、１つ又は複数の自律車両が道路のシステムに沿ってナビゲートするために使用し得る疎なマップを生成し得る。本明細書で使用される「クラウドソーシング」は、異なる時間に道路区分を走行する様々な車両（例えば、自律車両）からデータを受信し、そのようなデータを使用して、疎なマップタイルを含む、道路モデルを生成及び／又は更新することを意味する。次に、モデル又はその疎なマップタイルのいずれかは、自律車両ナビゲーションを支援するために、後に道路区分に沿って走行する車両又は他の車両に送信され得る。道路モデルは、自律車両が道路区分を横断するときに進むべき好ましい軌道を表す複数の目標軌道を含み得る。目標軌道は、道路区分を横断する車両から収集される再構築された実際の軌道と同じであり得、車両からサーバに送信され得る。幾つかの実施形態では、目標軌道は、１つ又は複数の車両が道路区分を横断するときに以前に取った実際の軌道とは異なり得る。目標軌道は、実際の軌道に基づいて（例えば、平均化又は任意の他の適切な動作によって）生成され得る。
車両がサーバにアップロードし得る車両軌道データは、車両の実際の再構築された軌道に対応し得るか、又は車両の実際の再構築された軌道に基づき得るか又は関連し得るが、実際の再構築された軌道とは異なり得る、推奨軌道に対応し得る。例えば、車両は、実際の再構築された軌道を修正し、修正された実際の軌道をサーバに送信（例えば、推奨）し得る。道路モデルは、他の車両の自律ナビゲーションの目標軌道として、推奨される修正軌道を使用し得る。
軌道情報に加えて、疎なデータマップ８００を構築する際に潜在的に使用するための他の情報は、潜在的なランドマーク候補に関連する情報を含み得る。例えば、情報のクラウドソーシングによって、開示されるシステム及び方法は、環境内の潜在的なランドマークを識別し、ランドマーク位置を精緻化し得る。ランドマークは、目標軌道に沿った車両の位置を決定及び／又は調整するために、自律車両ナビゲーションシステムによって使用され得る。
車両が道路に沿って走行するときに車両が生成し得る再構築された軌道は、任意の適切な方法によって取得され得る。幾つかの実施形態では、再構築された軌道は、例えば、自己運動推定（例えば、カメラ、ひいては車両の本体の３次元並進及び３次元回転）を使用して、車両の運動の区分をつなぎ合わせることによって開発され得る。回転及び並進の推定は、慣性センサ及び速度センサ等の他のセンサ又はデバイスからの情報と共に、１つ又は複数の撮像デバイスによって撮像された画像の分析に基づいて決定され得る。例えば、慣性センサは、車両本体の並進及び／又は回転の変化を測定するように構成される加速度計又は他の適切なセンサを含み得る。車両は、車両の速度を測定する速度センサを含み得る。
幾つかの実施形態では、カメラ（ひいては、車両本体）の自己運動は、撮像された画像の光学フロー分析に基づいて推定され得る。一連の画像の光学フロー分析は、一連の画像からピクセルの移動を識別し、識別された移動に基づいて、車両の動きを決定する。自己運動は、道路区分に沿って経時的に積分され、車両が通った道路区分に関連付けられた軌道を再構築し得る。
異なる時間に道路区分に沿った複数の走行で複数の車両によって収集されるデータ（例えば、再構築された軌道）を使用して、疎なデータマップ８００に含まれる道路モデル（例えば、目標軌道等を含む）を構築し得る。
道路区分に沿った再構築された軌道（及び目標軌道も）のジオメトリは、３次元多項式を接続するスプラインであり得る、３次元空間の曲線で表し得る。再構築された軌道曲線は、ビデオストリーム又は車両に取り付けられたカメラによって撮像された複数の画像の分析から決定し得る。幾つかの実施形態では、位置は、車両の現在の位置より数メートル先の各フレーム又は画像で識別される。この位置は、車両が予め決められた期間内に走行すると予期される場所である。この動作はフレームごとに繰り返し得、同時に、車両はカメラの自己運動（回転及び並進）を計算し得る。各フレーム又は画像で、カメラに取り付けられた参照フレーム内の車両によって、所望の経路の短距離モデルが生成される。短距離モデルをつなぎ合わせて、任意の座標フレーム又は予め決められた座標フレームであり得る、幾つかの座標フレーム内の道路の３次元モデルを取得し得る。次いで、道路の３次元モデルは、適切な次数の１つ又は複数の多項式を含み得る又は接続し得るスプラインによってフィットされ得る。
各フレームで短距離道路モデルを結論付けるために、１つ又は複数の検出モジュールを使用し得る。例えば、ボトムアップレーン検出モジュールを使用し得る。ボトムアップレーン検出モジュールは、レーンマークが道路に描かれている場合に有用であり得る。このモジュールは、画像内の端部を探し、それらを共に組み立ててレーンマークを形成し得る。第２のモジュールは、ボトムアップレーン検出モジュールと一緒に使用し得る。第２のモジュールは、入力画像から正しい短距離経路を予測するようにトレーニングし得る、エンドツーエンドのディープニューラルネットワークである。どちらのモジュールでも、道路モデルは画像座標フレームで検出され、カメラに仮想的に接続され得る３次元空間に変換され得る。
再構築された軌道モデル化方法は、雑音成分を含み得る、長期間にわたる自己運動の積分により、誤差の累積をもたらし得るが、生成されたモデルがローカルスケールにわたるナビゲーションに十分な精度を提供し得るため、そのような誤差は重要となり得ない。加えて、衛星画像又は測地測定等の外部情報源を使用して、積分誤差を取り消すことができる。例えば、開示されるシステム及び方法は、累積誤差を取り消すためにＧＮＳＳ受信機を使用し得る。しかし、ＧＮＳＳ測位信号が常に利用可能で正確であるとは限らない。開示されるシステム及び方法は、ＧＮＳＳ測位の可用性及び精度に弱く依存するステアリングアプリケーションを可能にし得る。そのようなシステムでは、ＧＮＳＳ信号の使用が制限され得る。例えば、幾つかの実施形態では、開示されるシステムは、データベースのインデックス作成の目的でのみＧＮＳＳ信号を使用し得る。
幾つかの実施形態では、自律車両ナビゲーションステアリングアプリケーションに関連し得る範囲スケール（例えば、ローカルスケール）は、５０メートルほど、１００メートルほど、２００メートルほど、３００メートルほど等であり得る。ジオメトリの道路モデルは、主に前方の軌道を計画すること、及び道路モデル上で車両の位置を特定することの２つの目的で使用されるため、そのような距離を使用し得る。幾つかの実施形態では、制御アルゴリズムが１．３秒先（又は１．５秒、１．７秒、２秒等の任意の他の時間）に位置する目標ポイントに従って車両をステアリングするとき、計画タスクは、４０メートル先（又は２０メートル、３０メートル、５０メートル等のような任意の他の適切な前方距離）の典型的な範囲にわたってモデルを使用し得る。位置特定タスクでは、別の節でより詳細に説明する「テールアラインメント」と呼ばれる方法に従って、車の後ろ６０メートルの典型的な範囲（又は５０メートル、１００メートル、１５０メートル等のような任意の他の適切な距離）にわたって道路モデルを使用する。開示されるシステム及び方法は、計画される軌道が、例えば、レーン中央から３０ｃｍを超えて逸脱しないように、１００メートル等の特定の範囲にわたって十分な精度を有するジオメトリのモデルを生成し得る。
上述したように、３次元道路モデルは、短距離セクションを検出し、それらをつなぎ合わせることから構築され得る。つなぎ合わせることは、カメラによって撮像されるビデオ及び／又は画像、車両の動きを反映する慣性センサからのデータ、及びホスト車両の速度信号を使用して、６段階の自己運動モデルを計算することによって可能になり得る。累積誤差は、１００メートルほどのような一部のローカル範囲スケールにわたり十分に小さくなり得る。この範囲スケール全てで、特定の道路区分にわたって単一走行で完了させ得る。
幾つかの実施形態では、複数の走行を使用して、結果として得られるモデルを平均化し、その精度を更に高め得る。同じ車が同じルートを複数回走行し得るか、又は複数の車が収集したモデルデータを中央サーバに送信し得る。いずれの場合も、マッチング手順を実行して、重なり合うモデルを識別し、目標軌道を生成するために平均化を有効にでき得る。構築されたモデル（例えば、目標軌道を含む）は、収束基準が満たされると、ステアリングに使用され得る。後の走行は、モデルを更に改善するため、及びインフラストラクチャの変更に対応するために使用され得る。
複数の車が中央サーバに接続されている場合、複数の車間での走行経験（検知されたデータ等）の共有が実現可能になる。各車両クライアントは、現在の位置に関連し得る普遍的道路モデルの部分的なコピーを記憶し得る。車両とサーバとの間の双方向の更新手順は、車両及びサーバによって実行され得る。上で論じた小さなフットプリントの概念は、開示されるシステム及び方法が非常に狭い帯域幅を使用して双方向の更新を実行することを可能にする。
潜在的なランドマークに関連する情報も決定され、中央サーバに転送され得る。例えば、開示されるシステム及び方法は、ランドマークを含む１つ又は複数の画像に基づいて、潜在的なランドマークの１つ又は複数の物理的特性を決定し得る。物理的特性は、ランドマークの物理的サイズ（例えば、高さ、幅）、車両からランドマークまでの距離、ランドマークから前のランドマークまでの距離、ランドマークの横方向位置（例えば、走行レーンに対するランドマークの位置）、ランドマークのＧＰＳ座標、ランドマークのタイプ、ランドマーク上のテキストの識別等を含み得る。例えば、車両は、カメラによって撮像される１つ又は複数の画像を分析して、制限速度標識等の潜在的なランドマークを検出し得る。
車両は、１つ又は複数の画像の分析に基づいて、車両からランドマークまでの距離又はランドマークに関連付けられた位置（例えば、道路区分に沿った任意のセマンティック又は非セマンティック物体又は特徴）を決定し得る。幾つかの実施形態では、距離は、スケーリング法及び／又は光学フロー法等の適切な画像分析方法を使用したランドマークの画像の分析に基づいて決定し得る。前述したように、物体／特徴の位置は、物体／特徴に関連付けられた１つ又は複数のポイントの２Ｄ画像位置（例えば、１つ又は複数の撮像された画像のＸ－Ｙピクセル位置）を含み得るか、又は（例えば、運動中の構造技術／光学フロー技術、ＬＩＤＡＲ又はＲＡＤＡＲ情報、等によって決定される）１つ又は複数のポイントの３Ｄ現実世界位置を含み得る。幾つかの実施形態では、開示されるシステム及び方法は、潜在的なランドマークのタイプ又は分類を決定するように構成され得る。特定の潜在的なランドマークが疎なマップに記憶される予め決められたタイプ又は分類に対応すると車両が判定した場合、車両は、ランドマークのタイプ又は分類の表示をその位置と共にサーバに通信するだけで十分であり得る。サーバはそのような表示を記憶し得る。後に、ナビゲーション中に、ナビゲート車両は、ランドマークの表現を含む画像を撮像し、（例えば、分類子を使用して）画像を処理し、マッピングされたランドマークの検出を確認するため、及び疎なマップに対するナビゲート車両の位置特定にマッピングされたランドマークを使用するために、結果として得られるランドマークを比較し得る。
幾つかの実施形態では、道路区分上を走行する複数の自律車両は、サーバと通信し得る。車両（又はクライアント）は、任意の座標フレームで、（例えば、自己運動積分によって）その走行を説明する曲線を生成し得る。車両はランドマークを検出し、それらを同じフレーム内に配置し得る。車両は曲線及びランドマークをサーバにアップロードし得る。サーバは、複数の走行にわたり車両からデータを収集し、統一される道路モデルを生成し得る。例えば、図１９に関して以下で論じるように、サーバは、アップロードされる曲線及びランドマークを使用して、統一される道路モデルを有する疎なマップを生成し得る。
サーバはまた、モデルをクライアント（例えば、車両）に配信し得る。例えば、サーバは疎なマップを１つ又は複数の車両に配信し得る。サーバは、車両から新しいデータを受信すると、モデルを継続的又は定期的に更新し得る。例えば、サーバは新しいデータを処理して、サーバ上での更新又は新しいデータの作成をトリガーすべき情報がデータに含まれているか否かを評価し得る。サーバは、自律車両ナビゲーションを提供するために、更新されるモデル又は更新を車両に配信し得る。
サーバは、車両から受信される新しいデータが、モデルの更新をトリガーすべきか、又は新しいデータの作成をトリガーすべきかを決定するために、１つ又は複数の基準を使用し得る。例えば、特定の位置で以前に認識されたランドマークが存在しないか、又は別のランドマークに置き換えられたことを新しいデータが示す場合、サーバは新しいデータがモデルの更新をトリガーすべきであると判定し得る。別の例として、新しいデータが道路区分が閉鎖されることを示している場合、及びこれが他の車両から受信されるデータによって裏付けられている場合、サーバは新しいデータがモデルの更新をトリガーすべきであると判定し得る。
サーバは、更新されるモデル（又はモデルの更新される部分）を、モデルへの更新が関連付けられている道路区分を走行している１つ又は複数の車両に配信し得る。サーバはまた、モデルへの更新が関連付けられている、道路区分を走行しようとしている車両、又は道路区分を含む計画される走行の車両に、更新されるモデルを配信し得る。例えば、更新が関連付けられている道路区分に到達する前に、自律車両が別の道路区分に沿って走行している間、サーバは、車両が道路区分に到達する前に、更新又は更新されるモデルを自律車両に配信し得る。
幾つかの実施形態では、遠隔サーバは、複数のクライアント（例えば、共通の道路区分に沿って走行する車両）から軌道及びランドマークを収集し得る。サーバは、ランドマークを使用して曲線を照合し、複数の車両から収集される軌道に基づいて平均的な道路モデルを作成し得る。サーバはまた、道路のグラフ及び道路区分の各ノード又は結合ポイントで最も可能性の高い経路を計算し得る。例えば、遠隔サーバは軌道を位置合わせして、収集される軌道からクラウドソーシングによる疎なマップを生成し得る。
サーバは、弧長パラメータを決定し、各クライアント車両の経路に沿った位置特定及び速度校正をサポートするために、複数の車両によって測定される、あるランドマークから別のランドマーク（例えば、道路区分に沿った前のランドマーク）まで間の距離等、共通の道路区分に沿って走行する複数の車両から受信されるランドマーク特性を平均化し得る。サーバは、共通の道路区分に沿って走行し、同じランドマークを認識した複数の車両によって測定されるランドマークの物理的寸法を平均化し得る。平均化された物理的寸法を使用して、車両からランドマークまでの距離等の距離推定をサポートし得る。サーバは、共通の道路区分に沿って走行し、同じランドマークを認識した複数の車両によって測定される、ランドマークの横方向位置（例えば、車両が走行しているレーンからランドマークまでの位置）を平均化し得る。平均化された横方向の部分を使用して、レーン割り当てをサポートし得る。サーバは、同じ道路区分に沿って走行し、同じランドマークを認識した複数の車両によって測定されるランドマークのＧＰＳ座標を平均化し得る。ランドマークの平均化されるＧＰＳ座標を使用して、道路モデル内のランドマークのグローバルローカリゼーション又は位置決めをサポートし得る。
幾つかの実施形態では、サーバは、車両から受信されるデータに基づいて、工事、迂回、新しい標識、標識の除去等のようなモデルの変更を識別し得る。サーバは、車両から新しいデータを受信すると、モデルを継続的又は定期的に、又は瞬時に更新し得る。サーバは、自律ナビゲーションを提供するために、モデルの更新又は更新されるモデルを車両に配信し得る。例えば、以下で更に論じるように、サーバはクラウドソーシングによるデータを使用して、車両によって検出される「ゴースト」ランドマークを除外し得る。
幾つかの実施形態では、サーバは、自律走行中のドライバーの介入を分析し得る。サーバは、介入が発生した時点及び位置で車両から受信されるデータ、及び／又は介入が発生する時間より前に受信されるデータを分析し得る。サーバは、介入を引き起こした、又は介入に密接に関連するデータの特定の部分、例えば、一時的なレーン閉鎖設定を示すデータ、道路の歩行者を示すデータを識別し得る。サーバは、識別されたデータに基づいてモデルを更新し得る。例えば、サーバはモデルに記憶されている１つ又は複数の軌道を修正し得る。
図１２は、クラウドソーシングを使用して疎なマップを生成する（及び、クラウドソーシングによる疎なマップを使用して配信及びナビゲートする）システムの概略図である。図１２は、１つ又は複数のレーンを含む道路区分１２００を示す。複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、道路区分１２００上を同時に又は異なる時間に走行し得る（ただし、図１２では同時に道路区分１２００に現れるように示す）。車両１２０５、１２１０、１２１５、１２２０、及び１２２５のうちの少なくとも１つは、自律車両であり得る。本実施例を簡単にするために、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の全てが自律車両であると仮定する。
各車両は、他の実施形態で開示される車両（例えば、車両２００）と同様であり得、他の実施形態で開示される車両に含まれる、又は関連付けられた構成要素又はデバイスを含み得る。各車両は、撮像デバイス又はカメラ（例えば、撮像デバイス１２２又はカメラ１２２）を装備し得る。各車両は、破線で示すように、無線通信経路１２３５を通じて、１つ又は複数のネットワーク（例えば、セルラネットワーク及び／又はインターネット等を介して）を介して遠隔サーバ１２３０と通信し得る。各車両は、サーバ１２３０にデータを送信し、サーバ１２３０からデータを受信し得る。例えば、サーバ１２３０は、道路区分１２００を異なる時間に走行する複数の車両からデータを収集し得、収集されたデータを処理して、自律車両道路ナビゲーションモデル又はモデルの更新を生成し得る。サーバ１２３０は、自律車両道路ナビゲーションモデル又はモデルの更新を、サーバ１２３０にデータを送信した車両に送信し得る。サーバ１２３０は、自律車両道路ナビゲーションモデル又はモデルの更新を、後に道路区分１２００を走行する他の車両に送信し得る。
車両１２０５、１２１０、１２１５、１２２０、及び１２２５が道路区分１２００を走行するとき、車両１２０５、１２１０、１２１５、１２２０、及び１２２５によって収集（例えば、検出、検知、又は測定）されるナビゲーション情報は、サーバ１２３０に送信され得る。幾つかの実施形態では、ナビゲーション情報は、共通の道路区分１２００に関連付けられ得る。ナビゲーション情報は、各車両が道路区分１２００上を走行するときに、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のそれぞれに関連付けられた軌道を含み得る。幾つかの実施形態では、軌道は、車両１２０５に搭載される様々なセンサ及びデバイスによって検知されるデータに基づいて再構築され得る。例えば、加速度計データ、速度データ、ランドマークデータ、道路のジオメトリ又はプロファイルデータ、車両測位データ、及び自己運動データのうちの少なくとも１つに基づいて軌道を再構築し得る。幾つかの実施形態では、軌道は、加速度計等の慣性センサからのデータ、及び速度センサによって検知される車両１２０５の速度に基づいて再構築され得る。更に、幾つかの実施形態では、軌道は、３次元並進及び／又は３次元回転（又は回転運動）を示し得る、検知されるカメラの自己運動に基づいて（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のそれぞれに搭載されるプロセッサによって）決定され得る。カメラ（ひいては、車両本体）の自己運動は、カメラによって撮像される１つ又は複数の画像の分析から決定され得る。
幾つかの実施形態では、車両１２０５の軌道は、車両１２０５に搭載されるプロセッサによって決定され、サーバ１２３０に送信され得る。他の実施形態では、サーバ１２３０は、車両１２０５に搭載される様々なセンサ及びデバイスによって検知されるデータを受信し、車両１２０５から受信されるデータに基づいて軌道を決定し得る。
幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５からサーバ１２３０に送信されるナビゲーション情報は、路面、道路のジオメトリ、又は道路プロファイルに関するデータを含み得る。道路区分１２００のジオメトリは、レーン構造及び／又はランドマークを含み得る。レーン構造は、道路区分１２００のレーンの総数、レーンタイプ（例えば、単方向レーン、双方向レーン、走行レーン、追越レーン等）、レーン上のマーク、レーン幅、等を含み得る。幾つかの実施形態では、ナビゲーション情報は、レーン割り当て、例えば、車両が複数のレーンのうちどのレーンを走行しているかを含み得る。例えば、レーン割り当てには、車両が左又は右から第３のレーンを走行していることを示す数値「３」が関連付けられ得る。別の例として、レーン割り当てには、車両が中央レーンを走行していることを示すテキスト値「中央レーン」が関連付けられ得る。
サーバ１２３０は、ナビゲーション情報を、ハードドライブ、コンパクトディスク、テープ、メモリ等のような非一時的コンピュータ可読媒体に記憶し得る。サーバ１２３０は、複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、共通の道路区分１２００の自律車両道路ナビゲーションモデルの少なくとも一部を（例えば、サーバ１２３０に含まれるプロセッサを介して）生成し得、モデルを疎なマップの一部として記憶し得る。サーバ１２３０は、道路区分のレーンを異なる時間に走行する複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、及び１２２５）から受信されるクラウドソーシングによるデータ（例えば、ナビゲーション情報）に基づいて、各レーンに関連付けられる軌道を決定し得る。サーバ１２３０は、クラウドソーシングナビゲーションデータに基づいて決定された複数の軌道に基づいて、自律車両道路ナビゲーションモデル又はモデルの一部（例えば、更新される部分）を生成し得る。サーバ１２３０は、モデル又はモデルの更新される部分を、道路区分１２００を走行する自律車両１２０５、１２１０、１２１５、１２２０、及び１２２５又は車両のナビゲーションシステムに提供されている既存の自律車両道路ナビゲーションモデルを更新するために後で道路区分を走行する任意の他の自律車両のうちの１つ又は複数に送信し得る。自律車両道路ナビゲーションモデルは、自律車両が共通の道路区分１２００に沿って自律的にナビゲートする際に使用され得る。
上述したように、自律車両道路ナビゲーションモデルは、疎なマップ（例えば、図８に示す疎なマップ８００）に含まれ得る。疎なマップ８００は、道路のジオメトリ及び／又は道路に沿ったランドマークに関連するデータの疎な記録を含み得、自律車両の自律ナビゲーションを誘導するのに十分な情報を提供し得、今のところ、過度のデータストレージを必要としない。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、疎なマップ８００とは別個に記憶され得、モデルがナビゲーションのために実行されるとき、疎なマップ８００からのマップデータを使用し得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、自律車両１２０５、１２１０、１２１５、１２２０、及び１２２５又は後に道路区分１２００に沿って走行する他の車両の自律ナビゲーションを誘導するために道路区分１２００に沿った目標軌道を決定するために、疎なマップ８００に含まれるマップデータを使用し得る。例えば、自律車両道路ナビゲーションモデルが、車両１２０５のナビゲーションシステムに含まれるプロセッサによって実行されるとき、モデルは、プロセッサに、車両１２０５から受信されるナビゲーション情報に基づいて決定された軌道を、疎なマップ８００に含まれる予め決められた軌道と比較させて、車両１２０５の現在の走行コースを検証及び／又は修正し得る。
自律車両道路ナビゲーションモデルでは、道路の特徴又は目標軌道のジオメトリは、３次元空間内の曲線によって符号化され得る。１つの実施形態では、曲線は、１つ又は複数の接続３次元多項式を含む３次元スプラインであり得る。当業者が理解するように、スプラインは、データをフィッティングするための一連の多項式によって区分的に定義される数値関数であり得る。道路の３次元ジオメトリデータをフィッティングするためのスプラインは、線形スプライン（１次）、２次スプライン（２次）、３次スプライン（３次）、又は任意の他のスプライン（他の次数）、又はそれらの組み合わせを含み得る。スプラインは、道路の３次元ジオメトリデータのデータポイントを接続（例えば、フィッティング）する異なる次数の１つ又は複数の３次元多項式を含み得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、共通の道路区分（例えば、道路区分１２００）又は道路区分１２００のレーンに沿った目標軌道に対応する３次元スプラインを含み得る。
上述したように、疎なマップに含まれる自律車両道路ナビゲーションモデルは、道路区分１２００に沿った少なくとも１つのランドマークの識別等、他の情報を含み得る。ランドマークは、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のそれぞれに設置されるカメラ（例えば、カメラ１２２）の視野内に見え得る。幾つかの実施形態では、カメラ１２２は、ランドマークの画像を撮像し得る。車両１２０５に搭載されるプロセッサ（例えば、プロセッサ１８０、１９０、又は処理ユニット１１０）は、ランドマークの画像を処理して、ランドマークの識別情報を抽出し得る。ランドマークの実際の画像ではなく、ランドマーク識別情報が疎なマップ８００に記憶され得る。ランドマーク識別情報は、実際の画像よりもはるかに少ない記憶領域を必要とし得る。他のセンサ又はシステム（例えば、ＧＰＳシステム）も、ランドマークの特定の識別情報（例えば、ランドマークの位置）を提供し得る。ランドマークは、交通標識、矢印マーク、レーンマーク、破線のレーンマーク、信号機、一時停止線、方向標識（例えば、方向を示す矢印が付いた高速道路出口標識、異なる方向又は場所を指している矢印が付いた高速道路標識）、ランドマークビーコン、又は街灯柱のうちの少なくとも１つを含み得る。ランドマークビーコンは、車両に設置される受信機に信号を送信又は反射する道路区分に沿って設置されるデバイス（例えば、ＲＦＩＤデバイス）を指し、その結果、車両がそのデバイスのそばを通過したときに、車両によって受信されるビーコン及びデバイスの位置（例えば、デバイスのＧＰＳ位置から決定された）は、自律車両道路ナビゲーションモデル及び／又は疎なマップ８００に含まれるランドマークとして使用され得る。
少なくとも１つのランドマークの識別は、少なくとも１つのランドマークの位置を含み得る。ランドマークの位置は、複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５に関連付けられたセンサシステム（例えば、全地球測位システム、慣性ベースの測位システム、ランドマークビーコン等）を使用して実行される位置測定値に基づいて決定され得る。幾つかの実施形態では、ランドマークの位置は、複数の走行を通じて異なる車両１２０５、１２１０、１２１５、１２２０、及び１２２５上のセンサシステムによって検出、収集、又は受信される位置測定値を平均化することによって決定され得る。例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、位置測定値データをサーバ１２３０に送信し得、サーバ１２３０は、位置測定値を平均化し、平均位置測定をランドマークの位置として使用し得る。ランドマークの位置は、後の走行で車両から受信される測定値によって継続的に精緻化させ得る。
ランドマークの識別は、ランドマークサイズを含み得る。車両（例えば、１２０５）に搭載されるプロセッサは、画像の分析に基づいてランドマークの物理的サイズを推定し得る。サーバ１２３０は、異なる走行を介して異なる車両から同じランドマークの物理的サイズの複数の推定値を受信し得る。サーバ１２３０は、異なる推定値を平均化してランドマークの物理的サイズに至り、そのランドマークサイズを道路モデルに記憶し得る。物理的サイズの推定値を使用して、車両からランドマークまでの距離を更に決定又は推定し得る。ランドマークまでの距離は、車両の現在の速度及びカメラの拡大焦点に対する画像内に現れるランドマークの位置に基づく拡大のスケールに基づいて推定され得る。例えば、ランドマークまでの距離は、Ｚ＝Ｖ＊ｄｔ＊Ｒ／Ｄで推定し得、ここで、Ｖは車両の速度、Ｒは時刻ｔ１のランドマークから拡大焦点までの画像内の距離、Ｄはｔ１からｔ２までの画像内のランドマークの距離の変化であり、ｄｔは（ｔ２－ｔ１）を表す。例えば、ランドマークまでの距離は、Ｚ＝Ｖ＊ｄｔ＊Ｒ／Ｄで推定し得、ここで、Ｖは車両の速度、Ｒはランドマークと拡大焦点との間の画像内の距離、ｄｔは時間間隔であり、Ｄはエピポーラ線に沿ったランドマークの画像変位である。Ｚ＝Ｖ＊ω／Δω等、上記の式及び同等の他の式を使用して、ランドマークまでの距離を推定し得る。ここで、Ｖは車両速度、ωは画像の長さ（物体幅等）、Δωはその画像の長さの単位時間当たりの変化である。
ランドマークの物理的サイズが既知である場合、ランドマークまでの距離も次式に基づいて決定し得る。Ｚ＝ｆ＊Ｗ／ω、ここで、ｆは焦点距離、Ｗはランドマークサイズ（例えば、高さ又は幅）、ωはランドマークがその画像を通り過ぎるときのピクセル数である。上記の式から、距離Ｚの変化は、ΔＺ＝ｆ＊Ｗ＊Δω／ω２＋ｆ＊ΔＷ／ωを使用して計算し得、ここで、ΔＷは平均化によってゼロに減衰し、Δωは画像内の境界ボックスの精度を表すピクセル数である。ランドマークの物理的サイズを推定する値は、サーバ側で複数の観測値を平均化することで計算し得る。距離推定の結果として生じる誤差は、非常に小さくなり得る。上記の式を使用するときに発生し得る２つの誤差源、すなわち、ΔＷ及びΔωがある。距離誤差への寄与は、ΔＺ＝ｆ＊Ｗ＊Δω／ω２ｆ＊ΔＷ／ωによって与えられる。ただし、ΔＷは平均化によってゼロに減衰する。したがって、ΔＺはΔω（例えば、画像の境界ボックスの不正確さ）によって決定される。
未知の寸法のランドマークの場合、ランドマークまでの距離は、連続するフレーム間でランドマーク上の特徴点を追跡することによって推定され得る。例えば、制限速度標識に表示する特定の特徴は、２つ以上の画像フレーム間で追跡し得る。これらの追跡される特徴に基づいて、特徴点ごとの距離分布が生成され得る。距離推定値は、距離分布から抽出し得る。例えば、距離分布に現れる最も頻度が高い距離を距離推定値として使用し得る。別の例として、距離分布の平均を距離推定値として使用し得る。
図１３は、複数の３次元スプライン１３０１、１３０２、及び１３０３によって表される例示的な自律車両道路ナビゲーションモデルを示す。図１３に示す曲線１３０１、１３０２、及び１３０３は、例示の目的のためだけのものである。各スプラインは、複数のデータポイント１３１０を接続する１つ又は複数の３次元多項式を含み得る。各多項式は、１次多項式、２次多項式、３次多項式、又は異なる次数を有する任意の適切な多項式の組み合わせであり得る。各データポイント１３１０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に関連付けられ得る。幾つかの実施形態では、各データポイント１３１０は、ランドマーク（例えば、サイズ、位置、及びランドマークの識別情報）及び／又は道路シグネチャプロファイル（例えば、道路のジオメトリ、道路粗さプロファイル、道路曲率プロファイル、道路幅プロファイル）に関連するデータに関連付けられ得る。幾つかの実施形態では、幾つかのデータポイント１３１０は、ランドマークに関連するデータに関連付けられ得、他のデータポイントは、道路シグネチャプロファイルに関連するデータに関連付けられ得る。
図１４は、５つの別個の走行から受信される生の位置データ１４１０（例えば、ＧＰＳデータ）を示す。別個の車両が同時に横断した場合、同じ車両が別個の時間に横断した場合、又は別個の車両が別個の時間に横断した場合、ある走行は別の走行とは別個であり得る。位置データ１４１０の誤差、及び同じレーン内の車両の異なる位置（例えば、ある車両が別の車両よりもレーンの左側に近づいて走行し得る）を考慮するために、遠隔サーバ１２３０は、１つ又は複数の統計的技法を使用してマップスケルトン１４２０を生成し、生の位置データ１４１０の変化が実際の逸脱又は統計誤差を表しているか否かを判定し得る。スケルトン１４２０内の各経路は、その経路を形成した生データ１４１０にリンクし直し得る。例えば、スケルトン１４２０内のＡとＢとの間の経路は、走行２、３、４、及び５からの生データ１４１０にリンクされているが、走行１からはリンクされていない。スケルトン１４２０は、（例えば、上述したスプラインとは異なり、同じ道路上の複数のレーンからの走行を組み合わせるため）車両のナビゲートに使用するには十分詳細ではないことがあり得るが、有用なトポロジ情報を提供し得、交差点を定義するために使用し得る。
図１５は、マップスケルトンの区分（例えば、スケルトン１４２０内の区分ＡからＢ）内の疎なマップに対して追加の詳細を生成し得る例を示す。図１５に示すように、データ（例えば、自己運動データ、道路マークデータ、及び同様のもの）は、走行に沿った位置Ｓ（又はＳ１又はＳ２）に応じて示され得る。サーバ１２３０は、走行１５１０のランドマーク１５０１、１５０３、及び１５０５と、走行１５２０のランドマーク１５０７及び１５０９との間の一意の一致を識別することによって、疎なマップのランドマークを識別し得る。そのような一致アルゴリズムは、ランドマーク１５１１、１５１３、及び１５１５の識別につながり得る。しかし、他の一致アルゴリズムを使用し得ることを当業者は認識されよう。例えば、確率の最適化は、一意の一致の代わりに、又は一意の一致と組み合わせて使用され得る。サーバ１２３０は、走行を縦方向に位置合わせして、一致したランドマークを位置合わせし得る。例えば、サーバ１２３０は、一方の走行（例えば、走行１５２０）を基準走行として選択し、次に、位置合わせのために他方の走行（例えば、走行１５１０）をシフト及び／又は弾性的に伸張し得る。
図１６は、疎なマップで使用するための位置合わせされるランドマークデータの例を示す。図１６の例では、ランドマーク１６１０は道路標識を含む。図１６の例は、複数の走行１６０１、１６０３、１６０５、１６０７、１６０９、１６１１、及び１６１３からのデータを更に示す。図１６の例では、走行１６１３からのデータは「ゴースト」ランドマークで構成され、したがって、走行１６０１、１６０３、１６０５、１６０７、１６０９、及び１６１１のいずれも走行１６１３内の識別されるランドマークの近傍にあるランドマークの識別を含まないため、サーバ１２３０はランドマークを「ゴースト」と識別し得る。したがって、サーバ１２３０は、ランドマークが現れない画像に対するランドマークが現れる画像の比率が閾値を超える場合、潜在的なランドマークを受け入れ得、及び／又は、ランドマークが現れる画像に対するランドマークが現れない画像の比率が閾値を超える場合、潜在的なランドマークを拒否し得る。
図１７は、疎なマップをクラウドソーシングするために使用し得る、走行データを生成するためのシステム１７００を示す。図１７に示すように、システム１７００は、カメラ１７０１及び位置特定デバイス１７０３（例えば、ＧＰＳロケータ）を含み得る。カメラ１７０１及び位置特定デバイス１７０３は、車両（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のうちの１つ）に搭載され得る。カメラ１７０１は、複数のタイプの複数のデータ、例えば、自己運動データ、交通標識データ、道路データ、又は同様のものを生成し得る。カメラデータ及び位置データは、走行区分１７０５に区分され得る。例えば、走行区分１７０５はそれぞれ、１ｋｍ未満の走行のカメラデータ及び位置データを有し得る。
幾つかの実施形態では、システム１７００は、走行区分１７０５の冗長性を除去し得る。例えば、カメラ１７０１からの複数の画像にランドマークが現れる場合、走行区分１７０５がランドマークの位置及びランドマークに関連する任意のメタデータの１つのコピーのみを含むように、システム１７００は冗長データを取り除き得る。更なる例として、カメラ１７０１からの複数の画像にレーンマークが現れる場合、走行区分１７０５がレーンマークの位置及びレーンマークに関連する任意のメタデータの１つのコピーのみを含むように、システム１７００は冗長データを取り除き得る。
システム１７００はまた、サーバ（例えば、サーバ１２３０）を含む。サーバ１２３０は、車両から走行区分１７０５を受信し、走行区分１７０５を単一走行１７０７に再結合し得る。このような配置により、車両とサーバとの間でデータを転送するときの帯域幅要件を削減することが可能であり得、サーバが走行全体に関連するデータも記憶することも可能である。
図１８は、疎なマップをクラウドソーシングするために更に構成される図１７のシステム１７００を示す。図１７のように、システム１７００は、例えば、カメラ（例えば、自己運動データ、交通標識データ、道路データ、又は同様のものを生成する）及び位置特定デバイス（例えば、ＧＰＳロケータ）を使用して走行データを撮像する車両１８１０を含む。図１７のように、車両１８１０は、収集されたデータを走行区分（図１８では「ＤＳ１ １」、「ＤＳ２ １」、「ＤＳＮ １」として示す）に区分する。次いで、サーバ１２３０は、走行区分を受信し、受信される区分から走行（図１８に「走行１」として示す）を再構築する。
図１８に更に示すように、システム１７００はまた、追加の車両からデータを受信する。例えば、車両１８２０はまた、例えば、カメラ（例えば、自己運動データ、交通標識データ、道路データ、又は同様のものを生成する）及び位置特定デバイス（例えば、ＧＰＳロケータ）を使用して走行データを撮像する。車両１８１０と同様に、車両１８２０は、収集されたデータを走行区分（図１８では「ＤＳ１ ２」、「ＤＳ２ ２」、「ＤＳＮ ２」として示す）に区分する。次いで、サーバ１２３０は、走行区分を受信し、受信される区分から走行（図１８に「走行２」として示す）を再構築する。追加の車両は何台でも使用し得る。例えば、図１８は、走行データを撮像し、走行区分（図１８では「ＤＳ１ Ｎ」、「ＤＳ２ Ｎ」、「ＤＳＮ Ｎ」として示す）に区分し、走行（図１８では「走行Ｎ」として示す）に再構築するためにそれをサーバ１２３０に送信する「車Ｎ」も含む。
図１８に示すように、サーバ１２３０は、複数の車両（例えば、「車１」（車両１８１０とも表記）、「車２」（車両１８２０とも表記）、及び「車Ｎ」）から収集される再構築された走行（例えば、「走行１」、「走行２」、及び「走行Ｎ」）を使用して、疎なマップ（「マップ」として示す）を構築し得る。
図１９は、道路区分に沿った自律車両ナビゲーションのための疎なマップを生成するための例示的なプロセス１９００を示すフローチャートである。プロセス１９００は、サーバ１２３０に含まれる１つ又は複数の処理デバイスによって実行され得る。
プロセス１９００は、１つ又は複数の車両が道路区分を横断するときに取得される複数の画像を受信することを含み得る（ステップ１９０５）。サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の中の１つ又は複数に含まれるカメラから画像を受信し得る。例えば、カメラ１２２は、車両１２０５が道路区分１２００に沿って走行するときに、車両１２０５を取り巻く環境の１つ又は複数の画像を撮像し得る。幾つかの実施形態では、サーバ１２３０はまた、図１７に関して上記で論じたように、車両１２０５上のプロセッサによって冗長性が除去される、取り除き済みの画像データを受信し得る。
プロセス１９００は、複数の画像に基づいて、道路区分に沿って広がる路面特徴の少なくとも１つの線表現を識別することを更に含み得る（ステップ１９１０）。各線表現は、路面特徴に実質的に対応する道路区分に沿った経路を表し得る。例えば、サーバ１２３０は、カメラ１２２から受信される環境画像を分析して、道路端部又はレーンマークを識別し、道路端部又はレーンマークに関連付けられた道路区分１２００に沿った走行の軌道を決定し得る。幾つかの実施形態では、軌道（又は線表現）は、スプライン、多項式表現、又は曲線を含み得る。サーバ１２３０は、ステップ１９０５において受信されるカメラの自己運動（例えば、３次元並進運動及び／又は３次元回転運動）に基づいて、車両１２０５の走行の軌道を決定し得る。
プロセス１９００は、複数の画像に基づいて、道路区分に関連付けられた複数のランドマークを識別することも含み得る（ステップ１９１０）。例えば、サーバ１２３０は、カメラ１２２から受信される環境画像を分析して、道路区分１２００に沿った道路標識等の１つ又は複数のランドマークを識別し得る。サーバ１２３０は、１つ又は複数の車両が道路区分を横断するときに取得される複数の画像の分析を使用してランドマークを識別し得る。クラウドソーシングを可能にするために、分析は、道路区分に関連付けられている可能性のあるランドマークの受け入れ及び拒否に関するルールを含み得る。例えば、分析は、ランドマークが現れない画像に対するランドマークが現れる画像の比率が閾値を超える場合、潜在的なランドマークを受け入れること、及び／又は、ランドマークが現れる画像に対するランドマークが現れない画像の比率が閾値を超える場合、潜在的なランドマークを拒否することを含み得る。
プロセス１９００は、サーバ１２３０によって実行される他の動作又はステップを含み得る。例えば、ナビゲーション情報は、道路区分に沿って車両が走行するための目標軌道を含み得、プロセス１９００は、以下で更に詳細に論じるように、サーバ１２３０によって、道路区分上を走行する複数の車両に関連する車両軌道をクラスタ化すること、及びクラスタ化された車両軌道に基づいて目標軌道を決定することを含み得る。車両軌道をクラスタ化することは、サーバ１２３０によって、車両の絶対的な進行方向又は車両のレーン割り当ての少なくとも１つに基づいて、道路区分上を走行する車両に関連する複数の軌道を複数のクラスタにクラスタ化することを含み得る。目標軌道を生成することは、サーバ１２３０によって、クラスタ化された軌道を平均化することを含み得る。更なる例として、プロセス１９００は、ステップ１９０５で受信されるデータを位置合わせすることを含み得る。上記で説明したように、サーバ１２３０によって実行される他のプロセス又はステップも、プロセス１９００に含まれ得る。
開示されるシステム及び方法は、他の特徴を含み得る。例えば、開示されるシステムは、グローバル座標ではなくローカル座標を使用し得る。自律走行の場合、一部のシステムはワールド座標でデータを表示し得る。例えば、地表面の経度緯度座標を使用し得る。ステアリングにマップを使用するために、ホスト車両は、マップに対する位置及び向きを決定し得る。マップ上に車両を位置決めするために、及び本体の参照フレーム及びワールド参照フレーム（例えば、北、東及び下）の間の回転変換を見つけるために、車載のＧＰＳデバイスを使用するのは自然に思われる。本体の参照フレームがマップ参照フレームと位置合わせされると、本体の参照フレームで所望のルートを表し得、ステアリングコマンドを計算又は生成し得る。
開示されるシステム及び方法は、高価な測量機器の助けを借りずに自律車両自体によって収集され得る、低フットプリントモデルで自律車両ナビゲーション（例えば、ステアリング制御）を可能にし得る。自律ナビゲーション（例えば、ステアリングアプリケーション）をサポートするために、道路モデルは、モデルに含まれる軌道に沿った車両の場所又は位置を決定するために使用し得る道路のジオメトリ、そのレーン構造、及びランドマークを有する疎なマップを含み得る。上記で論じたように、疎なマップの生成は、道路を走行している車両と通信し、車両からデータを受信する遠隔サーバによって実行され得る。データは、検知されたデータ、検知されたデータに基づいて再構築される軌道、及び／又は修正された再構築される軌道を表し得る推奨される軌道を含み得る。以下で論じるように、サーバは、自律ナビゲーションを支援するために、後に道路を走行する車両又は他の車両にモデルを送信し得る。
図２０は、サーバ１２３０のブロック図を示す。サーバ１２３０は、ハードウェア構成要素（例えば、通信制御回路、スイッチ、及びアンテナ）とソフトウェア構成要素（例えば、通信プロトコル、コンピュータコード）の両方を含み得る通信ユニット２００５を含み得る。例えば、通信ユニット２００５は、少なくとも１つのネットワークインタフェースを含み得る。サーバ１２３０は、通信ユニット２００５を通じて車両１２０５、１２１０、１２１５、１２２０、及び１２２５と通信し得る。例えば、サーバ１２３０は、通信ユニット２００５を通じて、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から送信されるナビゲーション情報を受信し得る。サーバ１２３０は、通信ユニット２００５を通じて、自律車両道路ナビゲーションモデルを１つ又は複数の自律車両に配信し得る。
サーバ１２３０は、ハードドライブ、コンパクトディスク、テープ等のような少なくとも１つの非一時的記憶媒体２０１０を含み得る。ストレージデバイス１４１０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報、及び／又はサーバ１２３０がナビゲーション情報に基づいて生成する自律車両道路ナビゲーションモデル等のデータを記憶するように構成され得る。ストレージデバイス２０１０は、疎なマップ（例えば、図８に関して上記で論じた疎なマップ８００）等の任意の他の情報を記憶するように構成され得る。
ストレージデバイス２０１０に加えて、又はその代わりに、サーバ１２３０はメモリ２０１５を含み得る。メモリ２０１５は、メモリ１４０又は１５０と同様であり得るか又は異なり得る。メモリ２０１５は、フラッシュメモリ、ランダムアクセスメモリ等のような非一時的メモリであり得る。メモリ２０１５は、プロセッサ（例えば、プロセッサ２０２０）によって実行可能なコンピュータコード又は命令、マップデータ（例えば、疎なマップ８００のデータ）、自律車両道路ナビゲーションモデル、及び／又は車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報等のデータを記憶するように構成され得る。
サーバ１２３０は、様々な機能を実行するために、メモリ２０１５に記憶されるコンピュータコード又は命令を実行するように構成される少なくとも１つの処理デバイス２０２０を含み得る。例えば、処理デバイス２０２０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報を分析し、その分析に基づいて自律車両道路ナビゲーションモデルを生成し得る。処理デバイス２０２０は、通信ユニット１４０５を制御して、自律車両道路ナビゲーションモデルを１つ又は複数の自律車両（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のうちの１つ又は複数、又は後に道路区分１２００を走行する任意の車両）に配信し得る。処理デバイス２０２０は、プロセッサ１８０、１９０、又は処理ユニット１１０と同様であり得るか、又は異なり得る。
図２１は、自律車両ナビゲーションで使用するための道路ナビゲーションモデルを生成するための１つ又は複数の動作を実行するためのコンピュータコード又は命令を記憶し得る、メモリ２０１５のブロック図を示す。図２１に示すように、メモリ２０１５は、車両ナビゲーション情報を処理するための動作を実行するための１つ又は複数のモジュールを記憶し得る。例えば、メモリ２０１５は、モデル生成モジュール２１０５及びモデル配信モジュール２１１０を含み得る。プロセッサ２０２０は、メモリ２０１５に含まれるモジュール２１０５及び２１１０のいずれかに記憶される命令を実行し得る。
モデル生成モジュール２１０５は、プロセッサ２０２０によって実行されると、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、共通の道路区分（例えば、道路区分１２００）の自律車両道路ナビゲーションモデルの少なくとも一部を生成し得る命令を記憶し得る。例えば、自律車両道路ナビゲーションモデルの生成では、プロセッサ２０２０は、共通の道路区分１２００に沿った車両軌道を異なるクラスタにクラスタ化し得る。プロセッサ２０２０は、異なるクラスタのそれぞれについてクラスタ化された車両軌道に基づいて、共通の道路区分１２００に沿った目標軌道を決定し得る。そのような動作は、各クラスタにおけるクラスタ化された車両軌道の平均又は平均軌道を（例えば、クラスタ化された車両軌道を表すデータを平均化することによって）見つけることを含み得る。幾つかの実施形態では、目標軌道は、共通の道路区分１２００の単一レーンに関連付けられ得る。
道路モデル及び／又は疎なマップは、道路区分に関連付けられた軌道を記憶し得る。これらの軌道は、目標軌道と呼ばれ得、自律ナビゲーションのために自律車両に提供される。目標軌道は、複数の車両から受信し得るか、又は複数の車両から受信される実際の軌道又は推奨される軌道（幾つかの修正を加えた実際の軌道）に基づいて生成し得る。道路モデル又は疎なマップに含まれる目標軌道は、他の車両から受信される新しい軌道で継続的に更新（例えば、平均化）され得る。
道路区分を走行する車両は、様々なセンサによってデータを収集し得る。データは、ランドマーク、道路シグネチャプロファイル、車両の動き（例えば、加速度計データ、速度データ）、車両位置（例えば、ＧＰＳデータ）を含み得、実際の軌道自体を再構築し得るか、又はデータをサーバに送信して、サーバが車両の実際の軌道を再構築し得る。幾つかの実施形態では、車両は、軌道（例えば、任意の参照フレームでの曲線）、ランドマークデータ、及び走行経路に沿ったレーン割り当てに関連するデータをサーバ１２３０に送信し得る。複数の走行で同じ道路区分に沿って走行する様々な車両は、異なる軌道を有し得る。サーバ１２３０は、クラスタ化プロセスを通じて車両から受信される軌道から、各レーンに関連付けられたルート又は軌道を識別し得る。
図２２は、共通の道路区分（例えば、道路区分１２００）の目標軌道を決定するために、車両１２０５、１２１０、１２１５、１２２０、及び１２２５に関連付けられた車両軌道をクラスタ化するプロセスを示す。クラスタ化プロセスから決定された目標軌道又は複数の目標軌道は、自律車両道路ナビゲーションモデル又は疎なマップ８００に含まれ得る。幾つかの実施形態では、道路区分１２００に沿って走行する車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、複数の軌道２２００をサーバ１２３０に送信し得る。幾つかの実施形態では、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるランドマーク、道路のジオメトリ、及び車両運動情報に基づいて軌道を生成し得る。自律車両道路ナビゲーションモデルを生成するために、サーバ１２３０は、図２２に示すように、車両軌道１６００を複数のクラスタ２２０５、２２１０、２２１５、２２２０、２２２５、及び２２３０にクラスタ化し得る。
クラスタ化は、様々な基準を使用して実行され得る。幾つかの実施形態では、クラスタ内の全ての走行は、道路区分１２００に沿った絶対的な進行方向に関して類似し得る。絶対的な進行方向は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５によって受信されるＧＰＳ信号から取得し得る。幾つかの実施形態では、推測航法を使用して絶対的な進行方向を取得し得る。当業者が理解するように、推測航法を使用して、以前に決定された位置、推定速度等を使用して、現在の位置、したがって、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の進行方向を決定し得る。絶対的な進行方向によってクラスタ化された軌道は、道路に沿ったルートを識別するのに有用であり得る。
幾つかの実施形態では、クラスタ内の全ての走行は、道路区分１２００の走行に沿ったレーン割り当て（例えば、交差点の前後の同じレーン）に関して類似し得る。レーン割り当てによってクラスタ化された軌道は、道路に沿ったレーンを識別するのに有用であり得る。幾つかの実施形態では、両方の基準（例えば、絶対的な進行方向及びレーン割り当て）をクラスタ化に使用し得る。
各クラスタ２２０５、２２１０、２２１５、２２２０、２２２５、及び２２３０では、軌道を平均化して、特定のクラスタに関連付けられた目標軌道を取得し得る。例えば、同じレーンクラスタに関連付けられた複数の走行からの軌道を平均化し得る。平均軌道は、特定のレーンに関連付けられた目標軌道であり得る。軌道のクラスタを平均化するために、サーバ１２３０は、任意の軌道Ｃ０の参照フレームを選択し得る。他の全ての軌道（Ｃ１、…、Ｃｎ）について、サーバ１２３０はＣｉをＣ０にマッピングする剛体変換を見つけ得、ここで、ｉ＝１、２、…、ｎであり、ｎは正の整数であり、クラスタに含まれる軌道の総数に対応する。サーバ１２３０は、Ｃ０参照フレームでの平均曲線又は軌道を計算し得る。
幾つかの実施形態では、ランドマークは、異なる走行間で一致する弧長を定義し得、弧長は、軌道をレーンと位置合わせするために使用し得る。幾つかの実施形態では、交差点の前後のレーンマークを使用して、軌道をレーンと位置合わせし得る。
軌道からレーンを組み立てるために、サーバ１２３０は、任意のレーンの参照フレームを選択し得る。サーバ１２３０は、部分的に重なり合うレーンを選択した参照フレームにマッピングし得る。サーバ１２３０は、全てのレーンが同じ参照フレームに入るまでマッピングを継続し得る。互いに隣り合っているレーンは、あたかも同じレーンであったかのように位置合わせし得、後に横方向にシフトされ得る。
道路区分に沿って認識されるランドマークは、最初にレーンレベルで、次に交差点レベルで共通の参照フレームにマッピングされ得る。例えば、同じランドマークが、複数の走行の複数の車両によって複数回認識され得る。異なる走行で受信される同じランドマークに関するデータは、わずかに異なり得る。そのようなデータは平均化され、Ｃ０参照フレーム等の同じ参照フレームにマッピングされ得る。加えて又は或いは、複数の走行で受信される同じランドマークデータの分散を計算し得る。
幾つかの実施形態では、道路区分１２０の各レーンは、目標軌道及び特定のランドマークに関連付けられ得る。目標軌道又はそのような複数の目標軌道は、自律車両道路ナビゲーションモデルに含まれ得、自律車両道路ナビゲーションモデルは、後に同じ道路区分１２００に沿って走行する他の自律車両によって使用され得る。車両１２０５、１２１０、１２１５、１２２０、及び１２２５が道路区分１２００に沿って走行している間に、それらの車両によって識別されるランドマークは、目標軌道に関連付けて記録され得る。目標軌道及びランドマークデータは、後の走行で他の車両から受信される新しいデータで継続的又は定期的に更新し得る。
自律車両の位置特定のために、開示されるシステム及び方法は、拡張カルマンフィルタを使用し得る。車両の位置は、３次元位置データ及び／又は３次元方向データ、自己運動の積分による車両の現在の位置よりも先の将来位置の予測に基づいて決定され得る。車両の位置特定は、ランドマークの画像観察により修正又は調整され得る。例えば、車両がカメラによって撮像された画像内のランドマークを検出した場合、ランドマークは、道路モデル又は疎なマップ８００内に記憶される既知のランドマークと比較され得る。既知のランドマークは、道路モデル及び／又は疎なマップ８００に記憶される目標軌道に沿った既知の位置（例えば、ＧＰＳデータ）を有し得る。現在の速度及びランドマークの画像に基づいて、車両からランドマークまでの距離を推定し得る。目標軌道に沿った車両の位置は、ランドマークまでの距離及びランドマークの既知の位置（道路モデル又は疎なマップ８００に記憶される）に基づいて調整され得る。道路モデル及び／又は疎なマップ８００に記憶されるランドマークの位置／場所データ（例えば、複数の走行からの平均値）は、正確であると推定され得る。
幾つかの実施形態では、開示されるシステムは、車両の６自由度（例えば、３次元位置データと３次元方向データ）の位置の推定が、自律車両をナビゲート（例えば、車輪をステアリング）して所望のポイント（例えば、記憶されるポイントの１．３秒先）に到達するために使用され得る、閉ループサブシステムを形成し得る。次に、ステアリング及び実際のナビゲーションから測定されるデータを使用して、６自由度の位置を推定し得る。
幾つかの実施形態では、街灯柱及び電力線柱又はケーブル線柱等、道路に沿った柱を、車両の位置特定のためのランドマークとして使用し得る。交通標識、信号機、道路上の矢印、一時停止線、及び道路区分に沿った物体の静的な特徴又はシグネチャ等の他のランドマークも、車両の位置を特定するためのランドマークとして使用し得る。柱が位置特定に使用される場合、柱の底部が遮られて得、道路平面上にないことがあるため、ｙ観測（すなわち、柱までの距離）ではなく、柱のｘ観測（すなわち、車両からの視角）が使用され得る。
図２３は、クラウドソーシングによる疎なマップを使用した自律ナビゲーションに使用し得る、車両のためのナビゲーションシステムを示す。説明のために、車両は車両１２０５として参照される。図２３に示す車両は、例えば、車両１２１０、１２１５、１２２０、及び１２２５、並びに他の実施形態に示す車両２００を含む、本明細書に開示される他の任意の他の車両であり得る。図１２に示すように、車両１２０５はサーバ１２３０と通信し得る。車両１２０５は、撮像デバイス１２２（例えば、カメラ１２２）を含み得る。車両１２０５は、車両１２０５が道路（例えば、道路区分１２００）を走行するためのナビゲーションガイダンスを提供するように構成されるナビゲーションシステム２３００を含み得る。車両１２０５は、速度センサ２３２０及び加速度計２３２５等の他のセンサも含み得る。速度センサ２３２０は、車両１２０５の速度を検出するように構成され得る。加速度計２３２５は、車両１２０５の加速又は減速を検出するように構成され得る。図２３に示す車両１２０５は自律車両であり得、ナビゲーションシステム２３００は、自律走行のためのナビゲーションガイダンスを提供するために使用され得る。或いは、車両１２０５はまた、非自律型の人間が制御する車両であり得、ナビゲーションシステム２３００は、ナビゲーションガイダンスを提供するために依然として使用され得る。
ナビゲーションシステム２３００は、通信経路１２３５を通じてサーバ１２３０と通信するように構成される通信ユニット２３０５を含み得る。ナビゲーションシステム２３００は、ＧＰＳ信号を受信して処理するように構成されるＧＰＳユニット２３１０も含み得る。ナビゲーションシステム２３００は、ＧＰＳ信号、疎なマップ８００からのマップデータ（車両１２０５に搭載されるストレージデバイスに記憶され得る、及び／又はサーバ１２３０から受信され得る）、道路プロファイルセンサ２３３０によって検知される道路のジオメトリ、カメラ１２２によって撮像された画像、及び／又はサーバ１２３０から受信される自律車両道路ナビゲーションモデル等のデータを処理するように構成される少なくとも１つのプロセッサ２３１５を更に含み得る。道路プロファイルセンサ２３３０は、路面粗さ、道路幅、道路高、道路曲率等のような異なるタイプの道路プロファイルを測定するための異なるタイプのデバイスを含み得る。例えば、道路プロファイルセンサ２３３０は、車両２３０５のサスペンションの動きを測定して道路粗さプロファイルを導出するデバイスを含み得る。幾つかの実施形態では、道路プロファイルセンサ２３３０はレーダセンサを含み、車両１２０５から道路側（例えば、道路側の障壁）までの距離を測定し、それによって、道路の幅を測定し得る。幾つかの実施形態では、道路プロファイルセンサ２３３０は、道路の上下の標高を測定するように構成されるデバイスを含み得る。幾つかの実施形態では、道路プロファイルセンサ２３３０は、道路曲率を測定するように構成されるデバイスを含み得る。例えば、カメラ（例えば、カメラ１２２又は別のカメラ）を使用して、道路曲率を示す道路の画像を撮像し得る。車両１２０５は、そのような画像を使用して道路曲率を検出し得る。
少なくとも１つのプロセッサ２３１５は、カメラ１２２から、車両１２０５に関連付けられた少なくとも１つの環境画像を受信するようにプログラムされ得る。少なくとも１つのプロセッサ２３１５は、車両１２０５に関連付けられたナビゲーション情報を決定するために、少なくとも１つの環境画像を分析し得る。ナビゲーション情報は、道路区分１２００に沿った車両１２０５の走行に関連する軌道を含み得る。少なくとも１つのプロセッサ２３１５は、３次元並進運動及び３次元回転運動等のカメラ１２２（したがって、車両）の運動に基づいて軌道を決定し得る。幾つかの実施形態では、少なくとも１つのプロセッサ２３１５は、カメラ１２２によって取得される複数の画像の分析に基づいて、カメラ１２２の並進運動及び回転運動を決定し得る。幾つかの実施形態では、ナビゲーション情報は、レーン割り当て情報（例えば、車両１２０５が道路区分１２００に沿ってそのレーンで走行しているか）を含み得る。車両１２０５からサーバ１２３０に送信されるナビゲーション情報は、サーバ１２３０によって使用され、自律車両道路ナビゲーションモデルを生成及び／又は更新し得、自律車両道路ナビゲーションモデルは、車両１２０５に自律ナビゲーションガイダンスを提供するために、サーバ１２３０から車両１２０５に送信され得る。
少なくとも１つのプロセッサ２３１５は、ナビゲーション情報を車両１２０５からサーバ１２３０に送信するようにプログラムすることもできる。幾つかの実施形態では、ナビゲーション情報は、道路情報と共にサーバ１２３０に送信され得る。道路位置情報は、ＧＰＳユニット２３１０によって受信されるＧＰＳ信号、ランドマーク情報、道路のジオメトリ、レーン情報等のうちの少なくとも１つを含み得る。少なくとも１つのプロセッサ２３１５は、サーバ１２３０から、自律車両道路ナビゲーションモデル又はモデルの一部を受信し得る。サーバ１２３０から受信される自律車両道路ナビゲーションモデルは、車両１２０５からサーバ１２３０に送信されるナビゲーション情報に基づく少なくとも１つの更新を含み得る。サーバ１２３０から車両１２０５に送信されるモデルの部分は、モデルの更新される部分を含み得る。少なくとも１つのプロセッサ２３１５は、受信される自律車両道路ナビゲーションモデル又はモデルの更新される部分に基づいて、車両１２０５による少なくとも１つのナビゲーション動作（例えば、ターンを行う、ブレーキをかける、加速する、別の車両を追い越す等のようなステアリング）を引き起こし得る。
少なくとも１つのプロセッサ２３１５は、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、及び道路プロファイルセンサ２３３０を含む、車両１２０５に含まれる様々なセンサ及び構成要素と通信するように構成され得る。少なくとも１つのプロセッサ２３１５は、様々なセンサ及び構成要素から情報又はデータを収集し、通信ユニット２３０５を通じて情報又はデータをサーバ１２３０に送信し得る。代替又は追加として、車両１２０５の様々なセンサ又は構成要素はまた、サーバ１２３０と通信し、センサ又は構成要素によって収集されるデータ又は情報をサーバ１２３０に送信し得る。
幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の少なくとも１つが、例えば、他の車両によって共有される情報に基づいて、クラウドソーシングを使用して自律車両道路ナビゲーションモデルを生成し得るように、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、互いに通信し得、ナビゲーション情報を互いに共有し得る。幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、ナビゲーション情報を互いに共有し得、各車両は、車両に提供される、それ自体の自律車両道路ナビゲーションモデルを更新し得る。幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５（例えば、車両１２０５）のうちの少なくとも１つは、ハブ車両として機能し得る。ハブ車両（例えば、車両１２０５）の少なくとも１つのプロセッサ２３１５は、サーバ１２３０によって実行される機能の一部又は全部を実行し得る。例えば、ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両と通信し、他の車両からナビゲーション情報を受信し得る。ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両から受信した共有情報に基づいて、自律車両道路ナビゲーションモデル又はモデルへの更新を生成し得る。ハブ車両の少なくとも１つのプロセッサ２３１５は、自律ナビゲーションガイダンスを提供するために、自律車両道路ナビゲーションモデル又はモデルへの更新を他の車両に送信し得る。
［疎なマップに基づくナビゲーション］
前述のように、疎なマップ８００を含む自律車両道路ナビゲーションモデルは、道路区分に関連付けられた複数のマッピングされたレーンマーク及び複数のマッピングされた物体／特徴を含み得る。以下で更に詳細に論じるように、これらのマッピングされたレーンマーク、物体、及び特徴は、自律車両がナビゲートするときに使用され得る。例えば、幾つかの実施形態では、マッピングされた物体及び特徴を使用して、マップに対して（例えば、マッピングされた目標軌道に対して）ホスト車両の位置を特定し得る。マッピングされたレーンマークを（例えば、チェックとして）使用して、計画される軌道又は目標軌道に対する横方向位置及び／又は向きを決定し得る。この位置情報を使用して、自律車両は、決定された位置での目標軌道の方向に一致するように進行方向が調整可能であり得る。
車両２００は、所与の道路区分におけるレーンマークを検出するように構成され得る。道路区分は、道路上の車両通行の誘導のための道路上の任意のマークを含み得る。例えば、レーンマークは、走行レーンの端部を示す実線又は破線であり得る。レーンマークはまた、例えば、隣接レーンでの通過が許可されるか否かを示す、二重の実線、二重の破線、又は実線及び破線の組み合わせ等の二重線を含み得る。レーンマークはまた、例えば、出口ランプの減速レーンを示す高速道路の入口及び出口のマーク、又はレーンがターン専用であること又はレーンが終了していることを示す点線を含み得る。マークは、作業区域、一時的なレーンシフト、交差点を通る走行経路、中央分離帯、専用レーン（例えば、自転車レーン、ＨＯＶレーン等）、又はその他の種々雑多なマーク（例えば、横断歩道、スピードハンプ、踏切、一時停止線等）を更に示し得る。
車両２００は、画像取得ユニット１２０に含まれる撮像デバイス１２２及び１２４等のカメラを使用して、周囲のレーンマークの画像を撮像し得る。車両２００は、画像を分析して、撮像された画像のうちの１つ又は複数内で識別された特徴に基づいて、レーンマークに関連付けられたポイントの位置を検出し得る。これらのポイントの位置は、疎なマップ８００のレーンマークを表すためにサーバにアップロードされ得る。カメラの位置及び視野に応じて、単一の画像から車両の両側のレーンマークが同時に検出され得る。他の実施形態では、異なるカメラを使用して、車両の複数の側部で画像を撮像し得る。レーンマークの実際の画像をアップロードするのではなく、マークをスプライン又は一連のポイントとして疎なマップ８００に記憶し、したがって、疎なマップ８００のサイズ及び／又は車両によって遠隔でアップロードしなければならないデータを低減し得る。
図２４Ａ～図２４Ｄは、特定のレーンマークを表すために車両２００によって検出され得る例示的なポイントの位置を示す。上記で説明したランドマークと同様に、車両２００は、様々な画像認識アルゴリズム又はソフトウェアを使用して、撮像された画像内のポイントの位置を識別し得る。例えば、車両２００は、特定のレーンマークに関連付けられた一連の端点、コーナーポイント、又は他の様々なポイントの位置を認識し得る。図２４Ａは、車両２００によって検出され得る実線のレーンマーク２４１０を示す。レーンマーク２４１０は、実線の白線で表される道路の外側端部を表し得る。図２４Ａに示すように、車両２００は、レーンマークに沿った複数の端部位置点２４１１を検出するように構成され得る。位置点２４１１は、疎なマップ内にマッピングされたレーンマークを作成するのに十分な任意の間隔でレーンマークを表すために収集され得る。例えば、レーンマークは、検出された端部１メートルごとに１つのポイント、検出された端部の５メートルごとに１つのポイント、又はその他の適切な間隔によって表し得る。幾つかの実施形態では、間隔は、例えば、車両２００が検出されたポイントの位置の最高の信頼性ランキングを有するポイントに基づく等の設定された間隔ではなく、他の要因によって決定され得る。図２４Ａは、レーンマーク２４１０の内側端部上の端部位置点を示しているが、ポイントは線の外側端部上又は両端部に沿って収集され得る。更に、単一の線が図２４Ａに示されているが、二重の実線についても同様の端点が検出され得る。例えば、ポイント２４１１は、実線の一方又は両方の端部に沿って検出され得る。
車両２００はまた、レーンマークのタイプ又は形状に応じて異なるレーンマークを表し得る。図２４Ｂは、車両２００によって検出され得る例示的な破線のレーンマーク２４２０を示す。図２４Ａのように端点を識別するのではなく、車両は、破線の完全な境界を画定するために、レーン破線の角を表す一連のコーナーポイント２４２１を検出し得る。図２４Ｂは、所与の破線マークの各角が位置特定されていることを示しているが、車両２００は、図に示されているポイントのサブセットを検出又はアップロードし得る。例えば、車両２００は、所与の破線マークの前端部又は前角部を検出し得るか、又はレーンの内部に最も近い２つのコーナーポイントを検出し得る。更に、全ての破線マークが撮像され得るわけではなく、例えば、車両２００は、破線マークのサンプル（例えば、１つおき、３つおき、５つおき等）を表すポイント、又は予め定められた間隔（例えば、１メートルごと、５メートルごと、１０メートルごと等）で破線マークを表すポイントを撮像及び／又は記録し得る。コーナーポイントは、レーンが出口ランプ用であること示すマーク、特定のレーンが終了しようとしていることを示すマーク、又は検出可能なコーナーポイントを有し得る他の様々なレーンマーク等の同様のレーンマークについても検出され得る。コーナーポイントは、二重の破線又は実線と破線との組み合わせで構成されるレーンマークでも検出され得る。
幾つかの実施形態では、マッピングされたレーンマークを生成するためにサーバにアップロードされたポイントは、検出された端点又はコーナーポイント以外の他のポイントを表し得る。図２４Ｃは、所与のレーンマークの中心線を表し得る一連のポイントを示す。例えば、実線のレーン２４１０は、レーンマークの中心線２４４０に沿った中心線点２４４１によって表し得る。幾つかの実施形態では、車両２００は、畳み込みニューラルネットワーク（ＣＮＮ）、スケール不変特徴変換（ＳＩＦＴ）、配向勾配のヒストグラム（ＨＯＧ）特徴、又は他の技術等の様々な画像認識技術を使用してこれらの中心点を検出するように構成され得る。或いは、車両２００は、図２４Ａに示す端点２４１１等の他のポイントを検出し得、例えば、各端部に沿ったポイントを検出し、端点間の中間点を決定することによって、中心線点２４４１を計算し得る。同様に、破線のレーンマーク２４２０は、レーンマークの中心線２４５０に沿った中心線点２４５１によって表し得る。中心線点は、図２４Ｃに示すように、破線の端部、又は中心線に沿った他の様々な位置に配置し得る。例えば、各破線は、破線の幾何中心にある単一のポイントによって表し得る。ポイントはまた、中心線に沿って予め決められた間隔（例えば、１メートルごと、５メートルごと、１０メートルごと等）で間隔を空け得る。中心線点２４５１は、車両２００によって直接検出され得るか、又は図２４Ｂに示すように、コーナーポイント２４２１等の他の検出された基準点に基づいて計算され得る。中心線はまた、上記と同様の技術を使用して、二重線等の他のレーンマークタイプを表すために使用し得る。
幾つかの実施形態では、車両２００は、２つの交差するレーンマーク間の頂点等、他の特徴を表すポイントを識別し得る。図２４Ｄは、２つのレーンマーク２４６０と２４６５との間の交差点を表す例示的なポイントを示す。車両２００は、２つのレーンマーク間の交差点を表す頂点２４６６を計算し得る。例えば、レーンマーク２４６０又は２４６５の１つは、道路区分内の列車の交差領域又は他の交差領域を表し得る。レーンマーク２４６０と２４６５は互いに垂直に交差しているように示されているが、他の様々な構成が検出され得る。例えば、レーンマーク２４６０及び２４６５は、他の角度で交差し得るか、又はレーンマークの一方又は両方が、頂点２４６６で終了し得る。同様の技術は、破線又は他のレーンマークタイプ間の交差にも適用され得る。頂点２４６６に加えて、他の様々なポイント２４６７も検出され得、レーンマーク２４６０及び２４６５の向きについての更なる情報を提供する。
車両２００は、現実世界の座標をレーンマークの検出された各ポイントに関連付け得る。例えば、各ポイントの座標を含む位置識別子を生成して、レーンマークをマッピングするためにサーバにアップロードし得る。位置識別子は、ポイントがコーナーポイント、端点、中心点等を表すか否かを含む、ポイントに関する他の識別情報を更に含み得る。したがって、車両２００は、画像の分析に基づいて各ポイントの現実世界の位置を決定するように構成され得る。例えば、車両２００は、レーンマークの現実世界の位置を特定するために、上記で説明した様々なランドマーク等の画像内の他の特徴を検出し得る。これは、検出されたランドマークに対する画像内のレーンマークの位置を決定すること、又は検出されたランドマークに基づいて車両の位置を決定し、次いで車両（又は車両の目標軌道）からレーンマークまでの距離を決定することを含み得る。ランドマークが利用できない場合、推測航法に基づいて決定された車両の位置に対するレーンマークポイントの位置を決定し得る。位置識別子に含まれる現実世界の座標は、絶対座標（例えば、緯度／経度座標）として表し得るか、又は、目標軌道に沿った縦方向位置及び目標軌道からの横方向距離に基づく等、他の特徴に関連し得る。次いで、位置識別子は、ナビゲーションモデル（疎なマップ８００等）でマッピングされたレーンマークを生成するために、サーバにアップロードされ得る。幾つかの実施形態では、サーバは、道路区分のレーンマークを表すスプラインを構築し得る。或いは、車両２００はスプラインを生成し、サーバにアップロードして、ナビゲーションモデルに記録し得る。
図２４Ｅは、マッピングされたレーンマークを含む対応する道路区分の例示的なナビゲーションモデル又は疎なマップの例を示す。疎なマップは、車両が道路区分に沿って追従する目標軌道２４７５を含み得る。上記で説明したように、目標軌道２４７５は、車両が対応する道路区分を走行するときに通る理想的な経路を表し得るか、又は道路上の他の場所（例えば、道路の中心線等）に配置され得る。目標軌道２４７５は、例えば、同じ道路区分を横断する車両の２つ以上の再構築された軌道の集約（例えば、重み付けされる組み合わせ）に基づいて、上記で説明した様々な方法で計算され得る。
幾つかの実施形態では、目標軌道は、全ての車両タイプ及び全ての道路、車両、及び／又は環境条件に対して等しく生成され得る。しかし、他の実施形態では、他の様々な要因又は変数もまた、目標軌道を生成する際に考慮され得る。異なるタイプの車両（例えば、自家用車、軽トラック、及びフルトレーラ）に対して、異なる目標軌道が生成され得る。例えば、小型自家用車の場合、大型セミトレーラトラックよりも回転半径が比較的狭い目標軌道が生成され得る。幾つかの実施形態では、道路、車両、及び環境条件も考慮され得る。例えば、異なる道路状態（例えば、濡れている、雪が積もっている、凍っている、乾燥している等）、車両状態（例えば、タイヤ状態又は推定されるタイヤ状態、ブレーキ状態又は推定されるブレーキ状態、燃料の残量等）又は環境要因（例えば、時刻、視界、天候等）に対して異なる目標軌道が生成され得る。目標軌道は、特定の道路区分の１つ又は複数の態様又は特徴（例えば、制限速度、ターンの頻度及びサイズ、勾配等）にも依存し得る。幾つかの実施形態では、様々なユーザ設定を使用して、設定された走行モード（例えば、所望の積極的な走行、エコノミーモード等）等の目標軌道も決定し得る。
疎なマップは、道路区分に沿ったレーンマークを表すマッピングされたレーンマーク２４７０及び２４８０も含み得る。マッピングされたレーンマークは、複数の位置識別子２４７１及び２４８１によって表し得る。上記で説明したように、位置識別子は、検出されたレーンマークに関連付けられたポイントの現実世界の座標における位置を含み得る。モデルの目標軌道と同様に、レーンマークにも標高データが含まれ得、３次元空間の曲線として表され得る。例えば、曲線は、適切な次数の３次元多項式を接続するスプラインであり得るか、又は曲線は、位置識別子に基づいて計算され得る。マッピングされたレーンマークはまた、レーンマークのタイプの識別子（例えば、同じ進行方向を有する２つのレーン間、反対の進行方向を有する２つのレーン間、道路の端部等）及び／又はレーンマークの他の特性（例えば、実線、破線、単一の線、二重線、黄色い線、白線等）等、レーンマークに関する他の情報又はメタデータを含み得る。幾つかの実施形態では、マッピングされたレーンマークは、例えば、クラウドソーシング技術を使用して、モデル内で継続的に更新され得る。同じ車両は、同じ道路区分を走行する複数の機会の間に位置識別子をアップロードし得るか、又はデータは、異なる時間に道路区分を走行する複数の車両（１２０５、１２１０、１２１５、１２２０、及び１２２５等）から選択され得る。次いで、疎なマップ８００は、車両から受信され、システムに記憶された後続の位置識別子に基づいて更新又は精緻化され得る。マッピングされたレーンマークが更新及び精緻化されると、更新された道路ナビゲーションモデル及び／又は疎なマップが複数の自律車両に配布され得る。
疎なマップ内にマッピングされたレーンマークを生成することは、画像又は実際のレーンマーク自体の異常に基づいて誤差を検出及び／又は軽減することも含み得る。図２４Ｆは、レーンマーク２４９０の検出に関連付けられた例示的な異常２４９５を示している。異常２４９５は、例えば、カメラのレーンマークの視界を遮る物体、レンズ上の瓦礫等から、車両２００によって撮像された画像に現れ得る。場合によっては、異常はレーンマーク自体に起因し得、レーンマーク自体が、例えば、道路上の汚れ、瓦礫、水、雪、又はその他の物質で損傷したり、摩耗したり、部分的に覆われたりし得る。異常２４９５は、車両２００によって検出される誤ったポイント２４９１を生じさせ得る。疎なマップ８００は、正しくマッピングされたレーンマークを提供し、誤差を除外し得る。幾つかの実施形態では、車両２００は、例えば、画像内の異常２４９５を検出することによって、又は異常の前後に検出されたレーンマークポイントに基づいて誤差を識別することによって、誤ったポイント２４９１を検出し得る。異常の検出に基づいて、車両はポイント２４９１を除外し得るか、又は他の検出されたポイントと一致するように調整し得る。他の実施形態では、誤差は、ポイントがアップロードされた後に、例えば、同じ走行中にアップロードされた他のポイントに基づいて、又は同じ道路区分に沿った以前の走行からのデータの集計に基づいて、ポイントが予想閾値の範囲外である判定することによって修正され得る。
ナビゲーションモデル及び／又は疎なマップにマッピングされたレーンマークは、対応する道路を横断する自律車両によるナビゲーションにも使用され得る。例えば、目標軌道に沿ってナビゲートする車両は、疎なマップ内のマッピングされたレーンマークを定期的に使用して、目標軌道にそれ自体を位置合わせし得る。上述したように、ランドマーク間で、車両は、車両がセンサを使用して自己運動を決定し、目標軌道に対する位置を推定する推測航法に基づいてナビゲートし得る。誤差は経時的に蓄積し得、目標軌道に対する車両の位置決定の精度が次第に低下し得る。したがって、車両は、疎なマップ８００（及びそれらの既知の位置）で発生するレーンマークを使用して、位置決定における推測航法によって誘発される誤差を低減し得る。このようにして、疎なマップ８００に含まれる識別されるレーンマークは、ナビゲーションアンカーとして機能し得、そこから、目標軌道に対する車両の正確な位置を決定し得る。
図２５Ａは、マッピングされたレーンマークに基づくナビゲーションに使用され得る車両の周囲環境の例示的な画像２５００を示す。画像２５００は、例えば、画像取得ユニット１２０に含まれる撮像デバイス１２２及び１２４を介して車両２００によって撮像され得る。画像２５００は、図２５Ａに示すように、少なくとも１つのレーンマーク２５１０の画像を含み得る。画像２５００はまた、上記で説明したようにナビゲーションに使用される道路標識等の１つ又は複数のランドマーク２５２１を含み得る。撮像された画像２５００には現れないが、車両２００によって検出及び／又は決定される要素２５１１、２５３０、及び２５２０等、図２５Ａに示す幾つかの要素も参照のために示す。
図２４Ａ～図２４Ｄ及び図２４Ｆに関して上記で説明した様々な技術を使用して、車両は、画像２５００を分析して、レーンマーク２５１０を識別し得る。画像内のレーンマークの特徴に対応する様々なポイント２５１１が検出され得る。例えば、ポイント２５１１は、レーンマークの端部、レーンマークの角、レーンマークの中間点、２つの交差するレーンマーク間の頂点、又は他の様々な特徴又は位置に対応し得る。ポイント２５１１は、サーバから受信されるナビゲーションモデルに記憶されたポイントの位置に対応するように検出され得る。例えば、マッピングされたレーンマークの中心線を表すポイントを含む疎なマップが受信される場合、ポイント２５１１はまた、レーンマーク２５１０の中心線に基づいて検出され得る。
車両はまた、要素２５２０によって表され、目標軌道に沿って配置された縦方向位置を決定し得る。縦方向位置２５２０は、例えば、画像２５００内のランドマーク２５２１を検出し、測定された位置を道路モデル又は疎なマップ８００に記憶された既知のランドマーク位置と比較することによって、画像２５００から決定され得る。次いで、目標軌道に沿った車両の位置は、ランドマークまでの距離及びランドマークの既知の位置に基づいて決定され得る。縦方向位置２５２０はまた、レーンマークの位置を決定するために使用されるもの以外の画像から決定され得る。例えば、縦方向位置２５２０は、画像２５００と同時に又はほぼ同時に撮影された画像取得ユニット１２０内の他のカメラからの画像内のランドマークを検出することによって決定され得る。場合によっては、車両は、縦方向位置２５２０を決定するための任意のランドマーク又は他の基準点の近くにない場合がある。そのような場合、車両は推測航法に基づいてナビゲートし得、したがって、センサを使用して自己運動を決定し、目標軌道に対する縦方向位置２５２０を推定し得る。車両はまた、撮像された画像内で観察された車両及びレーンマーク２５１０の間の実際の距離を表す距離２５３０を決定し得る。カメラの角度、車両の速度、車両の幅、又は他の様々な要因が、距離２５３０を決定する際に考慮され得る。
図２５Ｂは、道路ナビゲーションモデルにおけるマッピングされたレーンマークに基づく車両の横方向位置特定の補正を示す。上記で説明したように、車両２００は、車両２００によって撮像された１つ又は複数の画像を使用して、車両２００及びレーンマーク２５１０の間の距離２５３０を決定し得る。車両２００はまた、マッピングされたレーンマーク２５５０及び目標軌道２５５５を含み得る、疎なマップ８００等の道路ナビゲーションモデルにアクセスし得る。マッピングされたレーンマーク２５５０は、例えば、複数の車両によって撮像されたクラウドソーシングによる位置識別子を使用して、上記で説明した技術を使用してモデル化され得る。目標軌道２５５５はまた、上記で説明した様々な技術を使用して生成され得る。車両２００はまた、図２５Ａに関して上記で説明したように、目標軌道２５５５に沿った縦方向位置２５２０を決定又は推定し得る。次いで、車両２００は、目標軌道２５５５及び縦方向位置２５２０に対応するマッピングされたレーンマーク２５５０の間の横方向距離に基づいて、予想距離２５４０を決定し得る。車両２００の横方向位置特定は、撮像された画像を使用して測定された実際の距離２５３０をモデルからの予想距離２５４０と比較することによって修正又は調整され得る。
図２５Ｃ及び図２５Ｄは、疎なマップ内のマッピングされたランドマーク／物体／特徴に基づいて、ナビゲーション中にホスト車両の位置を特定するための別の例に関連付けられた図を提供する。図２５Ｃは、道路区分２５６０に沿ってナビゲートする車両から撮像された一連の画像を概念的に表す。この例では、道路区分２５６０には、道路端部２５６１及び２５６２及び中央レーンマーク２５６３によって区切られた２レーンの分割された高速道路の直線区間が含まれる。示すように、ホスト車両は、マッピングされた目標軌道２５６５に関連付けられたレーン２５６４に沿ってナビゲートしている。したがって、理想的な状況（及び、道路内の目標車両又は物体の存在等のような影響要因がない場合）では、ホスト車両は、道路区分２５６０のレーン２５６４に沿ってナビゲートするため、マッピングされた目標軌道２５６５を正確に追跡する必要がある。実際には、ホスト車両は、マッピングされた目標軌道２５６５に沿ってナビゲートするため、ドリフトを経験し得る。効果的かつ安全なナビゲーションのために、このドリフトは許容限界内（例えば、目標軌道２５６５から＋／－１０ｃｍの横方向変位又は任意の他の適切な閾値）に維持する必要がある。ドリフトを定期的に考慮し、必要な任意のコース補正を行って、ホスト車両が目標軌道２５６５を追従するようにするため、開示されるナビゲーションシステムは、疎なマップに含まれる１つ又は複数のマッピングされた特徴／物体を使用して、目標軌道２５６５に沿ってホスト車両の位置を特定する（例えば、目標軌道２５６５に対するホスト車両の横位置及び縦位置を決定する）ことを可能にし得る。
単純な例として、図２５Ｃは、ホスト車両が道路区分２５６０に沿ってナビゲートするにつれて、順次撮像された５つの異なる画像に現れ得る制限速度標識２５６６を示す。例えば、第１の時間、ｔ０で、標識２５６６は、水平線近くの撮像された画像に現れ得る。ホスト車両が標識２５６６に近づくにつれて、その後の時間ｔ１、ｔ２、ｔ３、及びｔ４で撮像された画像において、標識２５６６は、撮像された画像の異なる２Ｄ Ｘ－Ｙピクセル位置に現れる。例えば、撮像された画像空間において、標識２５６６は、曲線２５６７（例えば、５つの撮像された画像フレームのそれぞれにおいて標識の中心を通って延びる曲線）に沿って右下方に移動する。標識２５６６はまた、ホスト車両が近づくにつれてサイズが大きくなるように見える（すなわち、その後に撮像された画像で多数のピクセルを占有する）。
標識２５６６等の物体の画像空間表現におけるこれらの変化を利用して、目標軌道に沿った位置を特定されたホスト車両の位置を決定し得る。例えば、本開示に記載されるように、標識２５６６のような任意のセマンティック特徴又は検出可能な非セマンティック特徴等の検出可能な物体又は特徴は、以前に道路区分（例えば、道路区分２５６０）を横断した１つ又は複数の収集車両によって識別され得る。マッピングサーバは、複数の車両から収集された走行情報を収集し、その情報を集約して相関させ、例えば、道路区分２５６０のレーン２５６４の目標軌道２５６５を含む疎なマップを生成し得る。疎なマップは、標識２５６６の位置も（タイプ情報、等と共に）記憶し得る。ナビゲーション中（例えば、道路区分２５６０に入る前）、ホスト車両には、道路区分２５６０の疎なマップを含むマップタイルが供給され得る。道路区分２５６０のレーン２５６４をナビゲートするために、ホスト車両は、マッピングされた目標軌道２５６５を追従し得る。
標識２５６６のマッピングされた表現は、目標軌道に対して、それ自体の位置を特定するために、ホスト車両によって使用され得る。例えば、ホスト車両のカメラは、ホスト車両の環境の画像２５７０を撮像し、その撮像された画像２５７０は、図２５Ｄに示すように、特定のサイズ及び特定のＸ－Ｙ画像位置を有する標識２５６６の画像表現を含み得る。このサイズ及びＸ－Ｙ画像位置を使用して、目標軌道２５６５に対応するホスト車両の位置を決定し得る。例えば、標識２５６６の表現を含む疎なマップに基づいて、ホスト車両のナビゲーションプロセッサは、目標軌道２５６５に沿って走行するホスト車両に応答して、標識２５６６の中心が線２５６７に沿って（画像空間内で）移動するように、標識２５６６の表現が撮像された画像に現れるべきであると決定し得る。画像２５７０等の撮像された画像が、線２５６７（例えば、予期される画像空間の軌道）から変位した中心（又は他の基準点）を示す場合、ホスト車両ナビゲーションシステムは、撮像された画像の時点で、それが目標軌道２５６５上に位置していなかったと判定できる。しかし、画像から、ナビゲーションプロセッサは、ホスト車両を目標軌道２５６５に戻すための適切なナビゲーション補正を決定できる。例えば、分析により、線２５６７上の予期される画像空間位置の左側に距離２５７２だけ画像内で変位する標識２５６６の画像位置が示される場合、ナビゲーションプロセッサは、ホスト車両を距離２５７３だけ左に移動させるために、ホスト車両に進行方向を変更（例えば、車輪のステアリング角を変更）させ得る。このように、撮像された各画像は、フィードバックループプロセスの一部として使用でき、その結果、標識２５６６の観察された画像位置及び予期される画像軌道２５６７の間の差を最小限に抑えて、ホスト車両がほとんど又は全く逸脱せずに目標軌道２５６５に沿い続けることを保証し得る。当然ながら、利用可能なマッピングされた物体が多ければ多いほど、説明される位置特定技術がより頻繁に使用され得、これにより、目標軌道２５６５からのドリフトによる逸脱を低減又は排除できる。
上記で説明したプロセスは、目標軌道に対するホスト車両の横方向の向き又は変位を検出するのに有用であり得る。目標軌道２５６５に対応するホスト車両の位置特定は、目標軌道に沿った目標車両の縦方向位置の決定も含み得る。例えば、撮像された画像２５７０は、特定の画像サイズ（例えば、２Ｄ Ｘ－Ｙピクセル領域）を有する標識２５６６の表現を含む。このサイズは、マッピングされた標識２５６６が線２５６７に沿って画像空間内を移動するにつれて（例えば、標識のサイズが図２５Ｃに示すように次第に大きくなるにつれて）、マッピングされた標識２５６６の予期される画像サイズと比較できる。画像２５７０内の標識２５６６の画像サイズに基づいて、及びマッピングされた目標軌道２５６５に対応する画像空間内の予期されるサイズの進行に基づいて、ホスト車両は、目標軌道２５６５に対応する縦方向位置（画像２５７０が撮像された時点）を決定できる。目標軌道２５６５に対応する任意の横方向変位と結合されたこの縦方向位置は、上記で説明したように、ホスト車両が道路２５６０に沿ってナビゲートするとき、目標軌道２５６５に対応するホスト車両の完全な位置特定を可能にする。
図２５Ｃ及び図２５Ｄは、単一のマッピングされた物体及び単一の目標軌道を使用する、開示される位置特定技術のほんの一例を提供する。他の例では、更に多くの目標軌道が存在し（例えば、複数レーンの高速道路、都市街路、複雑な交差点、等の実現可能なレーンごとに１つの目標軌道）得、位置特定に利用可能な更に多くのマッピングが存在し得る。例えば、都市環境を表す疎なマップには、１メートルごとに、位置特定に利用可能な多数の物体が含まれ得る。
図２６Ａは、開示される実施形態による、自律車両ナビゲーションで使用するためのレーンマークをマッピングするための例示的なプロセス２６００Ａを示すフローチャートである。ステップ２６１０において、プロセス２６００Ａは、検出されたレーンマークに関連付けられた２つ以上の位置識別子を受信することを含み得る。例えば、ステップ２６１０は、サーバ１２３０又はサーバに関連付けられた１つ又は複数のプロセッサによって実行され得る。位置識別子は、図２４Ｅに関して上記で説明したように、検出されたレーンマークに関連付けられたポイントの現実世界の座標における位置を含み得る。幾つかの実施形態では、位置識別子はまた、道路区分又はレーンマークに関する追加情報等の他のデータを含み得る。加速度計データ、速度データ、ランドマークデータ、道路のジオメトリ又はプロファイルデータ、車両測位データ、自己運動データ、又は上記で説明した他の様々な形態のデータ等の追加のデータもまた、ステップ２６１０の間に受信され得る。位置識別子は、車両によって撮像された画像に基づいて、車両１２０５、１２１０、１２１５、１２２０、及び１２２５等の車両によって生成され得る。例えば、識別子は、ホスト車両に関連付けられたカメラからの、ホスト車両の環境を表す少なくとも１つの画像の取得、ホスト車両の環境におけるレーンマークを検出するための少なくとも１つの画像の分析、及び、ホスト車両に関連付けられた位置に対する検出されたレーンマークの位置を決定するための少なくとも１つの画像の分析に基づいて決定され得る。上記で説明したように、レーンマークは、様々な異なるマークタイプを含み得、位置識別子は、レーンマークに関連する様々なポイントに対応し得る。例えば、検出されたレーンマークがレーン境界をマークする破線の一部である場合、ポイントはレーンマークの検出された角に対応し得る。検出されたレーンマークがレーン境界をマークする実線の一部である場合、ポイントは、上記で説明したように、様々な間隔で、レーンマークの検出された端部に対応し得る。幾つかの実施形態では、ポイントは、図２４Ｃに示すように、検出されたレーンマークの中心線に対応し得るか、又は図２４Ｄに示すように、２つの交差するレーンマークの間の頂点及び交差するレーンマークに関連付けられた他の２つのポイントの少なくとも１つに対応し得る。
ステップ２６１２において、プロセス２６００Ａは、検出されたレーンマークを対応する道路区分に関連付けることを含み得る。例えば、サーバ１２３０は、ステップ２６１０の間に受信される現実世界の座標又は他の情報を分析し、座標又は他の情報を、自律車両道路ナビゲーションモデルに記憶された位置情報と比較し得る。サーバ１２３０は、レーンマークが検出された現実世界の道路区分に対応するモデル内の道路区分を決定し得る。
ステップ２６１４において、プロセス２６００Ａは、検出されたレーンマークに関連付けられた２つ以上の位置識別子に基づいて、対応する道路区分に関連する自律車両道路ナビゲーションモデルを更新することを含み得る。例えば、自律車両道路ナビゲーションモデルは疎なマップ８００であり得、サーバ１２３０は、モデルにマッピングされたレーンマークを含むか又は調整するために疎なマップを更新し得る。サーバ１２３０は、図２４Ｅに関して上記で説明した様々な方法又はプロセスに基づいてモデルを更新し得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルを更新することは、検出されたレーンマークの現実世界の座標における位置の１つ又は複数の指標を記憶することを含み得る。自律車両道路ナビゲーションモデルはまた、図２４Ｅに示すように、対応する道路区分に沿って車両が追従する少なくとも１つの目標軌道を含み得る。
ステップ２６１６において、プロセス２６００Ａは、更新された自律車両道路ナビゲーションモデルを複数の自律車両に配信することを含み得る。例えば、サーバ１２３０は、更新された自律車両道路ナビゲーションモデルを、ナビゲーションのためにモデルを使用し得る車両１２０５、１２１０、１２１５、１２２０、及び１２２５に配信し得る。自律車両道路ナビゲーションモデルは、図１２に示すように、無線通信経路１２３５を通じて、１つ又は複数のネットワークを介して（例えば、セルラネットワーク及び／又はインターネット等を介して）配信され得る。
幾つかの実施形態では、レーンマークは、図２４Ｅに関して上記で説明したように、クラウドソーシング技術等を介して、複数の車両から受信されるデータを使用してマッピングされ得る。例えば、プロセス２６００Ａは、検出されたレーンマークに関連付けられた位置識別子を含む第１のホスト車両からの第１の通信を受信すること、及び検出されたレーンマークに関連付けられた追加の位置識別子を含む第２のホスト車両からの第２の通信を受信することを含み得る。例えば、第２の通信は、同じ道路区分を走行する後続車両から、すなわち、同じ道路区分に沿って後続走行する同じ車両から受信され得る。プロセス２６００Ａは、第１の通信で受信される位置識別子に基づいて、及び第２の通信で受信される追加の位置識別子に基づいて、検出されたレーンマークに関連付けられた少なくとも１つの位置の決定を精緻化することを更に含み得る。これには、複数の位置識別子の平均を使用すること及び／又はレーンマークの現実世界の位置を反映し得ない「ゴースト」識別子を除外することが含まれ得る。
図２６Ｂは、マッピングされたレーンマークを使用して、道路区分に沿ってホスト車両を自律的にナビゲートするための例示的なプロセス２６００Ｂを示すフローチャートである。プロセス２６００Ｂは、例えば、自律車両２００の処理ユニット１１０によって実行され得る。ステップ２６２０において、プロセス２６００Ｂは、サーバベースのシステムから自律車両道路ナビゲーションモデルを受信することを含み得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、道路区分に沿ったホスト車両の目標軌道、及び道路区分に関連付けられた１つ又は複数のレーンマークに関連付けられた位置識別子を含み得る。例えば、車両２００は、疎なマップ８００又はプロセス２６００Ａを使用して開発された別の道路ナビゲーションモデルを受信し得る。幾つかの実施形態では、目標軌道は、例えば、図９Ｂに示すように、３次元スプラインとして表し得る。図２４Ａ～図２４Ｆに関して上記で説明したように、位置識別子は、レーンマークに関連付けられたポイント（例えば、破線のレーンマークのコーナーポイント、実線のレーンマークの端点、２つの交差するレーンマークの間の頂点及び交差するレーンマークに関連付けられた他のポイント、レーンマークに関連付けられた中心線等）の現実世界の座標における位置を含み得る。
ステップ２６２１において、プロセス２６００Ｂは、車両の環境を表す少なくとも１つの画像を受信することを含み得る。画像は、画像取得ユニット１２０に含まれる撮像デバイス１２２及び１２４等を介して、車両の撮像デバイスから受信され得る。画像は、上記で説明した画像２５００と同様に、１つ又は複数のレーンマークの画像を含み得る。
ステップ２６２２において、プロセス２６００Ｂは、目標軌道に沿ったホスト車両の縦方向位置を決定することを含み得る。図２５Ａに関して上記で説明したように、これは、撮像された画像内の他の情報（例えば、ランドマーク等）に基づき得るか、又は検出されたランドマーク間の車両の推測航法により得る。
ステップ２６２３において、プロセス２６００Ｂは、目標軌道に沿ったホスト車両の決定された縦方向位置に基づいて、及び少なくとも１つのレーンマークに関連付けられた２つ以上の位置識別子に基づいて、レーンマークまでの予想横方向距離を決定することを含み得る。例えば、車両２００は、疎なマップ８００を使用して、レーンマークまでの予想横方向距離を決定し得る。図２５Ｂに示すように、目標軌道２５５５に沿った縦方向位置２５２０は、ステップ２６２２で決定され得る。疎なマップ８００を使用して、車両２００は、縦方向位置２５２０に対応するマッピングされたレーンマーク２５５０までの予想距離２５４０を決定し得る。
ステップ２６２４において、プロセス２６００Ｂは、少なくとも１つの画像を分析して、少なくとも１つのレーンマークを識別することを含み得る。車両２００は、例えば、上記で説明したように、様々な画像認識技術又はアルゴリズムを使用して、画像内のレーンマークを識別し得る。例えば、レーンマーク２５１０は、図２５Ａに示すように、画像２５００の画像分析を介して検出され得る。
ステップ２６２５において、プロセス２６００Ｂは、少なくとも１つの画像の分析に基づいて、少なくとも１つのレーンマークまでの実際の横方向距離を決定することを含み得る。例えば、車両は、図２５Ａに示すように、車両とレーンマーク２５１０との間の実際の距離を表す距離２５３０を決定し得る。カメラの角度、車両の速度、車両の幅、車両に対するカメラの位置、又は他の様々な要因が、距離２５３０を決定する際に考慮され得る。
ステップ２６２６において、プロセス２６００Ｂは、少なくとも１つのレーンマークまでの予想横方向距離と、少なくとも１つのレーンマークまでの決定された実際の横方向距離との間の差に基づいて、ホスト車両の自律ステアリング動作を決定することを含み得る。例えば、図２５Ｂに関して上記で説明したように、車両２００は、実際の距離２５３０を予想距離２５４０と比較し得る。実際の距離と予想距離との差は、車両の実際の位置と車両が追従する目標軌道との間の誤差（及びその大きさ）を示し得る。したがって、車両は、その差に基づいて、自律ステアリング動作又は他の自律動作を決定し得る。例えば、図２５Ｂに示すように、実際の距離２５３０が予想距離２５４０よりも短い場合、車両は、レーンマーク２５１０から離れて、車両を左に向けるための自律ステアリング動作を決定し得る。したがって、目標軌道に対する車両の位置を修正し得る。プロセス２６００Ｂは、例えば、ランドマーク間の車両のナビゲーションを改善するために使用され得る。
プロセス２６００Ａ及び２６００Ｂは、開示される疎なマップを使用してホスト車両をナビゲートするために使用され得る技術の例のみを提供する。他の例では、図２５Ｃ及び図２５Ｄに関して説明したプロセスと一致するプロセスも使用され得る。
［マップベースの現実世界モデル化］
本明細書に記載のナビゲーションマッピングシステムの特徴は、複数の走行から収集されたクラウドソーシングによる情報を使用して、道路区分に関連付けられたマップを生成及び／又は精緻化する機能である。これらのナビゲーションマップ（例えば、疎なマップ）は、マップに関連付けられた道路のレーンに沿って移動する車両（例えば、ホスト又は目標／検出された車両）が利用できる目標軌道（例えば、３次元スプライン）を含み得る。マップはまた、多様な検出可能な物体（例えば、道路標識、道路端部、レーンマーク、バス停、又は道路に関連付けられた任意の他の認識可能な特徴、等）に対応し得る、マッピングされたランドマークを含み得る。マッピングされたランドマークは、マップ内で、ランドマークのうちの１つ又は複数に関連付けられた精緻化された位置に関連付けられ得る。精緻化された位置は、道路区分に沿った複数の個々の走行のそれぞれの間に決定されたクラウドソーシングによる位置情報に基づいて決定され得る。マップから検出された物体／ランドマークとそれらの位置は、（例えば、マップからの目標軌道に対して車両がどこに位置するかを決定するのを支援することによって）自律車両又は部分自律車両をナビゲートする際に使用し得る。ナビゲーションマップはまた、道路に沿った走行可能な領域に対応し得る、道路区分の表面表現を含み得る。例えば、場合によっては、路面をカバーし、（例えば、道路端部、歩道、道路の障壁、又は同様のもののような決定された道路境界を超えて）道路の外側にあると決定された表面をカバーしないメッシュが（任意の適切なアルゴリズム又は計算技術に基づいて）決定され得る。他の例では、メッシュは、（任意の所与のポイントでの）道路の表面を含む道路のナビゲート可能な領域、及びナビゲート可能であると決定された道路の表面を超えた任意の領域（例えば、道路脇の軟路肩）をカバーし得、ナビゲート不可能と判定された表面（例えば、障壁又は歩道、等のような車両が横断できない、又は横断してはならない領域）はカバーし得ない。例えば、道路の表面の外側にあるナビゲート可能な領域は、特定のシナリオで車両がアクセスし得るように、マップ内でナビゲート可能としてマークできる。例えば、幾つかの実施形態では、ナビゲート可能な領域は、緊急の場合（例えば、道路上に留まることで不可避の事故につながる可能性があり、ホスト車両がナビゲート可能な領域上をナビゲートすることがほぼ確実に事故を引き起こすとは推定されない場合）にのみ、ホスト車両によって実施される運転ポリシに従ってアクセス可能であり得る。
クラウドソーシングによるナビゲーションマップを生成するために、道路区分に沿った複数の走行から走行情報を収集し得る。これは、例えば、道路区分又は他の領域を異なる時間に繰り返し横断する１台の車両から走行情報を収集すること、及び／又は道路区分又は他の領域を横断する複数の異なる車両から、走行情報を収集することを含み得る。次いで、マッピングシステムは、収集された走行情報（例えば、車両が横断した実際の軌道、１つ又は複数の物体検出、及び検出された物体の関連付けられた決定された位置、検出されたレーンマーク、検出された道路端部、検出された道路脇の障壁、走行中に走行した距離、等）を位置合わせ及び集約して、クラウドソーシングによるナビゲーションマップを提供し得る。そのようなプロセスにより、走行データセット内の（例えば、特定の走行中の隠蔽などによって引き起こされる、等）穴を埋めることによって、物体の位置を精緻化することによって、及び車両軌道を精緻化することによって、クラウドソーシングによるマップの精度を高めることができる。ナビゲーションマップの生成及び実装に関する更なる詳細は、本開示を通じて提供される。
場合によっては、クラウドソーシングによるマップの生成には、様々な走行中に収集された様々なデータ（例えば、様々な道路区分の利用可能なレーンに沿って走行した軌道の位置合わせ及び平滑化）又は様々な走行区分（例えば、検出された物体の位置、道路端部の位置、路面を表すメッシュの位置及び範囲、等）から導出される様々な道路の特徴の集約、位置合わせ、及び／又は平滑化が含まれ得る。異なる走行からのデータを適切に集約する際の課題の１つは、物理的距離は近いが、走行（又は走行可能）距離において互いに離れ得るポイント又は他のデータが異なる走行に含まれ得ることである。例えば、陸橋の場合、陸橋の下を走行する車から収集された走行点又は特徴は、互いに近くなり得るか、更に陸橋上を走行する車から収集されたポイント又は特徴とＸ－Ｙ平面上で交差し得る。それにもかかわらず、そのような例では、車は、陸橋下を横断した後に陸橋を横断するのに、場合によっては、この２つのイベントの間に何キロメートルも走行しないと可能でない場合がある（又は逆も同様）。すなわち、道路の俯瞰図を見ると、道路が交差しているように見える場合があるが、道路は別個であり、道路がマップ上で重なり合う場所で実際にナビゲート可能な交差点を形成していない。結果として、陸橋を渡って第１の道路を走行している車両は、マップ上で道路が交差しているように見えるポイントでターンし、下の道路にナビゲートし得ない。
同様のシナリオは、高速道路の出口ランプ又は入口ランプの場合に存在し得、これには、高速道路を出るポイント、又は高速道路に入るポイントに物理的に近いが、単一走行で両方を横断するのに必要な、かなりの走行距離で分離されている、収集された走行ポイント／特徴が含まれ得る。
そのような場合、他の例の中でも特に、複数の走行に基づいて収集／決定されるデータポイント、物体、路面、等の位置合わせ又はその他の集約は、互いに物理的に近いだけでなく、走行距離の観点からも互いに近い、それらのデータポイント、物体、路面、等（例えば、１０ｍ、２０ｍ、５０ｍ、１００ｍ、等のような特定の予め決められた走行距離内で連続して遭遇し得るポイント、特徴、表面、等）に限定する必要がある。マッピングされた特徴の精度を維持するために、予め決められた走行距離以上離れている、ポイント、物体、特徴、路面、等は、集約されていない、位置合わせされていない、メッシュ化されていない、等の状態のままであり得る。言い換えると、道路区分を効率的かつ正確にマッピングして、互いに物理的に近接しているが、直接的かつ連続的にナビゲート不可能な道路と、かなりの走行距離（例えば、予め決められた走行距離閾値を超える距離）を介在させることなく、直接的かつ連続的にナビゲート可能な道路／路面とを区別するためのシステム及び方法が必要である。
道路区分のマップを生成する１つの方法は、道路区分について収集された情報（例えば、道路区分を走行する車両に搭載されたカメラによって撮像された画像、及びＬＩＤＡＲ又はレーダ情報等、車両に搭載された他のセンサによって収集された情報）を分析する段階を含み得る。次いで、マップ生成プロセスは、道路スプラインを生成し、道路スプラインをサンプリングして、道路区分の表面のモデルを作成することを含み得る。次いで、プロセスは、道路区分に含まれる走行可能な路面をカバーするメッシュを作成することを含み得る。しかし、上記で述べたように、そのようなプロセスは、例えば、道路が交差しているように見えるが、実際には交差していない場合、又は道路のポイント、特徴、表面、等が物理的に互いに近いが、かなりの走行距離で離れている場合等、特定の課題に遭遇し得る。上記で論じたように、そのような場合には、陸橋／地下道；高速道路の出口／入口ランプ；走行の反対方向に関連付けられた道路レーン（仕切板又は障壁によって分離されたレーン、又は道路マークによって分離されたレーンを含む）；共通の走行方向に関連付けられているが、１つ又は複数の障壁で分離された道路レーン、等が含まれ得る。そのような場合、とりわけ、特定の道路の特徴及び関連付けられた位置、及び／又は走行可能な路面を表す生成されたメッシュを集約、位置合わせ、及び／又は平滑化するためのプロセスは、物理的に近いが、走行距離の観点では間隔が離れている、ポイント、特徴、等の動作によって、もたらされる誤差の影響を受けやすい場合がある。
開示されるシステム及び方法は、自律車両又は部分自律車両ナビゲーションに使用するマップの作成を可能にする解決策を提供し得、そのようなマップには、物理的に互いに近いが、最初にかなりの走行距離を横断しないと連続的にナビゲートできない道路区分から収集されたクラウドソーシングによる走行情報の集約によって生じる不正確さは含まれていない。例えば、開示されるシステム及び方法は、車両が、ある道路区分から別の道路区分にナビゲートし得る実際にナビゲート可能な交差点と、車両がかなりの走行距離を横断せずに一方から他方に直接ナビゲートすることができない交差する陸橋及び地下道によって形成された見かけの交差点とを区別するマップを生成し得る。開示されるシステムは、分割された高速道路（例えば、互いに近く又は互いに並び得る反対方向に走行する走行レーンを有する高速道路）及び同じ方向に走行するが、それにもかかわらず別個の道路区分を構成する道路区分（例えば、柱又はコンクリートの隔壁によって通常の走行レーンから分離された有料レーン又はカープールレーン）等、特定の走行可能距離内で合流又は交差しない他の道路区分を区別し得る。
図２７は、開示される実施形態による、重なり合う道路区分を有する例示的な陸橋２７００を示す図である。この例では、ホスト車両２７１０は、図２７に示すように、別の道路の下を通過し得る道路区分２７２０に沿って走行し得る。ホスト車両２７１０は、１つ又は複数のカメラ（例えば、カメラ２７１２又は複数のカメラ２７１２）を使用して、道路区分２７２０に沿って車両２７１０の環境から画像を撮像するように構成され得る。幾つかの実施形態では、ホスト車両２７１０は、上記で論じた車両２００に対応し得る。したがって、車両２００に関して本明細書に記載の特徴又は実施形態のいずれも、ホスト車両２７１０にも適用され得る。例えば、カメラ２７１２は、画像撮像デバイス１２２、１２４、及び１２６のうちの１つ又は複数に対応し得る。更に、ホスト車両２７１０は、上記で説明した処理デバイス１１０等の１つ又は複数の処理デバイスを装備し得る。
ホスト車両２７１０は（例えば、処理デバイス１１０を介して）、カメラ２７１２によって撮像された画像を処理して、道路区分２７２０に沿った道路ナビゲーションモデルを生成するための１つ又は複数の特徴を識別し得る。これらの特徴は、本開示を通じて説明されるように、様々な画像分析又は処理技術に従って識別され得、複数の画像フレームにわたり追跡され得る。例えば、特徴は、図２７に示すように、道路標識２７２４及びレーンマーク２７２６に対応し得る。特徴は、道路区分２７２０に沿った他の様々な他の物体又は表面特徴に対応し得る。ホスト車両２７１０によって収集された走行情報（道路標識２７２４及びレーンマーク２７２６の特徴点を含み得る）を使用して、３次元スプラインとして表し得る、マッピングされた目標軌道２７２２を生成し得る。目標軌道のマッピングに関する追加の詳細は、上記で提供されている。道路区分２７２０は、説明のために単一の走行レーンを表すように示されているが、本明細書で使用される道路区分は、同じ方向に走行する複数のレーン、複数の方向に走行するレーン、又は他の様々な構成を指し得る。更に、道路区分は、予め定められた長さ（例えば、１０ｍ、３０ｍ、１００ｍ、等）であり得るか、又は道路の特徴に基づく長さ（例えば、ランドマーク密度、ランドマーク位置、他の道路との交差点、交通量、又は同様のもの）であり得る、様々な長さであり得る。
陸橋２７００は、道路区分２７３０を含み得る、道路区分２７２０を通過する道路を更に含み得る。道路区分２７３０を横断する車両によって撮像された走行情報は、マッピングされた目標軌道２７３２を含み得る、道路区分２７３０のためのナビゲーションマップを生成するために使用され得る。例えば、車両は、道路区分２７３０を横断しながらその環境の画像を撮像し得、ナビゲーションマップを生成するために道路標識２７３４等の特徴を識別し得る。上記で論じたように、道路ナビゲーションマップは、同じ地理的位置内の複数の車両（及び／又は同じ車両による同じ道路区分の複数の横断）からの相関情報に基づいて生成され得る。道路区分２７２０及び２７３０が同じ近くにある（この場合、互いに重なり合う）にもかかわらず、道路区分は、走行可能距離の観点から比較的離れ得る。例えば、ホスト車両２７１０は、道路区分２７３０に到達するために、道路区分２７２０に沿って何キロメートルも走行し、他の道路を追従し、複数の交差点を横断する、等の必要があり得る。したがって、それらの相対的な物理的近接性にもかかわらず、道路区分２７２０及び２７３０は、走行可能距離の観点から遠隔であり得る。したがって、道路区分２７２０及び２７３０の走行情報又は道路モデル区分の位置合わせを試みると、道路ナビゲーションモデルが不正確になり得る。
幾つかの実施形態では、異なる走行からの特定のポイント等を集約し、位置合わせし、路面メッシュの作成等に使用すべきか否かに関する決定の一部として、開示されるシステム及び方法は、互いの走行可能距離の観点から、２つ以上のポイントの近接性等を決定し得る。例えば、２つのポイント、特徴等が比較的長い走行可能距離だけ離れている場合、システムは、走行可能な路面を表すメッシュを生成する際に、これらのポイントを一緒に集約したり、位置合わせさせたり、又はそれらの両方を使用したりしない場合がある。一方、２つのポイント、特徴、等がより短い走行可能距離だけ離れている場合、システムは、例えば、これらのポイントが同じ道路区分の一部であり、車両が一方から他方へ直接走行し得ると適切に判定し得る。したがって、そのような状況では、開示されるシステムは、そのような直接ナビゲート可能なポイントを一緒に集約又は位置合わせさせるか、又は走行可能な路面、等を表すメッシュを生成する際にそれらの両方を使用し得る。開示されるシステム及び方法の結果として、生成されたマップは、より高い精度を有し得、より正確かつ有効な走行決定及び走行操作を可能にし得る。
図２８は、開示される実施形態による、陸橋２７００の俯瞰図である。図２７に関して上記で説明したように、陸橋２７００は、重なり合う第１の道路区分２７２０及び第２の道路区分２７３０を含み得る。ホスト車両２７１０は、道路区分２７２０に関連付けられた第１の道路モデル区分を作成するために走行情報を収集し得、第２のホスト車両２８２０は、道路区分２７３０に関連付けられた第２の道路モデル区分を作成するために走行情報を収集し得る。第１及び第２の道路モデル区分のそれぞれは、対応する道路区分に沿って収集された走行情報を相関させることによって生成され得る。例えば、ホスト車両２７１０は、収集された走行情報をサーバ２８１０に送信し得る。サーバ２８１０は、道路区分２７２０に沿って走行する１つ又は複数の追加のホスト車両から情報を受信し、受信したデータに基づいて道路モデル（例えば、疎なマップ、等）を生成するように構成され得る。サーバ２８１０はまた、道路モデル（又は道路モデルの更新データ）を、ナビゲーションに使用し得る、１つ又は複数の自律車両又は半自律車両に送信し得る。幾つかの実施形態では、サーバ２８１０は、上記で説明したサーバ１２３０に対応し得る。したがって、サーバ１２３０に関して本明細書でなされた説明又は開示のいずれも、サーバ２８１０にも適用し得、逆も同様ある。更に、ホスト車両２７１０はサーバ２８１０と通信するように示しているが、サーバ２８１０は車両２８２０及び２８２２と同様に通信し得ることを理解されたい。
幾つかの実施形態では、サーバ２８１０は、道路区分２７２０に関連付けられた道路モデル区分を有する道路モデルを生成するために、道路区分２７２０を横断するホスト車両から受信したデータを相関させ得る。相関させることは、決定された位置指標に基づいて物体又は特徴の精緻化した位置を決定することを含み得る。例えば、サーバ２８１０は、第１の走行情報に基づいて道路区分２７２０（道路標識２７２４等）に対する識別された物体の第１の位置指標を、第２の走行情報に基づいて決定された道路区分に対する同じ物体の第２の位置指標と相関させ得る。サーバ２８１０はまた、第１及び第２の位置指標に基づいて、この物体の最終的な位置指標（又は精緻化した位置）を決定し得る。幾つかの実施形態では、相関させることは、走行情報で識別された物体を集約することを含み得る。例えば、サーバ２８１０は、第１の走行情報（例えば、第１の画像）で識別される物体の第１のカテゴリに属する１つ又は複数の物体、及び第２の走行情報（例えば、第２の画像）で識別される物体の同じカテゴリに属する１つ又は複数の物体を集約し得る。サーバ２８１０はまた、集約された物体から１つ又は複数の重複物体を除去し得る。
サーバ２８１０は、区分２７２０に関連付けられたデータ及び区分２７３０に関連付けられたデータを、集約し、位置合わせし、同じ路面メッシュを作成する際に使用すべきか、そうでなければ、区分間の走行可能距離に基づいて相関させるべきか否かを判定し得る。図２８に示すように、道路区分２７２０は、ポイント２８０２に関連付けられ得る。ポイント２８２０は、様々な方法で道路区分２７２０に関連付けられ得る。幾つかの実施形態では、ポイント２８０２は、道路区分２７２０に沿って検出された物体又は特徴を表し得る。別の例として、ポイント２８０２は、重心、コーナーポイント、端点、又は道路区分２７２０に幾何学的に関連する他のポイントであり得る。同様に、道路区分２７３０は、ポイント２８０４に関連付けられ得る。モデル空間（例えば、Ｘ－Ｙ平面）では、ポイント２８０２及び２８０４は、距離ｄ１だけ離れ得、これは比較的短くなり得る。言い換えれば、ポイント２８０２及びポイント２８０４が近いため、これらのポイントに関連付けられた走行情報は、通常、モデル内で相関させ得る。しかし、開示される実施形態によれば、ポイント２８０２及びポイント２８０４の間の走行可能距離ｄ２は、これらのポイントに関連付けられた走行情報がモデル内で相関させるべきか否かを評価するために決定され得る。走行可能距離ｄ２は、ポイント２８０２に位置する仮想車両がポイント２８０４（又は逆も同様）に到達するために走行する必要がある最小距離を表し得る。距離ｄ２を表す破線の例が図２８に示されているが、距離ｄ２は、ポイント２８０４に到達するのに必要な任意の形状又は長さであり得ることを理解されたい。走行可能距離ｄ２は、仮想車両がポイント２８０４に到達するための１つ又は複数の交通法規、規制、ガイドライン、及び／又はベストプラクティスに従うと仮定して決定され得る。幾つかの実施形態では、距離ｄ２は、車両によって収集された走行情報に基づいてサーバ２８１０によって生成され得る、道路モデルに含まれる目標軌道に基づいて決定され得る。代替又は追加として、距離ｄ２は、オンラインマッピングプラットフォーム、道路データベース、又は同様のもののような外部マップデータベースに基づいて決定され得る。
道路区分２７２０（これには、道路区分２７２０の道路モデル区分が含まれ得る）に関連付けられた走行情報は、予め決められた閾値（例えば、１０ｍ、２０ｍ、３０ｍ、５０ｍ、１００ｍ、又は任意の他の適切な距離）に対する走行可能距離ｄ２の比較に基づいて、道路区分２７３０の走行情報と相関させ得る。例えば、走行可能距離ｄ２が、予め決められた閾値を超える場合、システムは、走行可能な路面を表すメッシュを生成する際に、それらのポイントを一緒に集約したり、位置合わせさせたり、又はそれらの両方を使用したりしない場合がある。一方、走行可能距離ｄ２が予め決められた閾値未満である場合、サーバ２８１０は、ポイント２８０２及びポイント２８０４が同じ道路区分の一部であり、車両が一方から他方へ直接走行し得ると判定し得る。したがって、サーバ２８１０は、ポイント２８０２及びポイント２８０４を一緒に集約、位置合わせ、又はメッシュ化し得る。幾つかの実施形態では、ポイント２８０２及びポイント２８０４を相関させるか否かの決定は、物理的距離（例えば、距離ｄ１及び走行可能距離ｄ２）の比較に基づき得る。例えば、距離ｄ２が距離ｄ１を超える場合、サーバ２８１０はポイントを相関させ得ない。別の例として、サーバ２８１０は、走行可能距離ｄ２が予め決められた係数を超えて（例えば、１１０％を超える、１２０％を超える、１５０％を超える、３００％を超える、等）距離ｄ１を超える場合、ポイント２８０２及びポイント２８０４を相関させ得ない。距離ｄ１及び距離ｄ２の間の他の様々な関係を閾値として使用し得る。幾つかの実施形態では、閾値は、他の値又は関係に基づいて定義され得る。例えば、閾値は、車両の典型的な高さに基づき得るか、又は関連させ得る（例えば、大型トラックの高さの１．５倍、大型トラックの高さの２倍、大型トラックの高さの３倍、等）。他の例として、閾値は、道路の幅、車両の長さ又は幅、ホスト車両の環境内の他の物体までの距離、又は同様のものとの関係に基づいて定義され得る。言い換えれば、閾値は、任意の適切な方法で定義し得、必ずしも固定値又は一定値とはなり得ない。
幾つかの実施形態では、サーバ２８１０は、道路区分２７３０の路面を表すメッシュを生成し得る。例えば、システムは、複数の走行からデータをクラウドソーシングし、レーンマーク及びレーン端部等の走行から地形情報を識別し、道路モデルを作成するようにプログラムされた少なくとも１つのプロセッサを含み得る。道路モデルを作成するとき、システムは、特定の閾値未満の走行可能距離だけ離れている、収集された走行からのポイントを結合する路面をメッシュ化し得る（例えば、車両は、５０メートルを超えて、１００メートルを超えて、等を超えて走行することなく、ポイントの１つから別のポイントにナビゲートし得る）。同様に、システムは、閾値よりも長い走行可能距離だけ離れている（例えば、５０メートルを超える、１００メートルを超える、等）ポイントについては、そのようなポイントが物理的に閾値距離よりも互いに近くに配置され得る場合でも、路面をメッシュ化しないことを決定し得る。例えば、道路区分２７３０の表面に沿った様々なポイントが識別され得、これらのポイントに基づいて３Ｄ道路形状モデルが生成され得る。幾つかの実施形態では、道路区分のメッシュを生成することは、ドロネー三角形分割技術等の三角形分割アルゴリズム又は同様のアルゴリズムの適用を含み得る。車両環境をモデル化する例示的な開示は、Ｓｔｅｉｎらの米国特許第１０，８７２，４３３号に記載されており、その全体が参照により本明細書に組み込まれる。
幾つかの実施形態では、メッシュ化プロセスは、位置合わせ及び／又は集約プロセスに続いて行われ得る。例えば、レーンマーク、道路端部、カメラ位置（例えば、画像を撮像するために使用されるカメラの真下の路面に沿ったポイント）、又は他の様々なポイントの位置を含み得る走行情報は、上記の他の節で説明したように集約及び位置合わせされ得る。結果として、位置合わせ及び／又は集約された位置を使用してメッシュを生成し得、予め決められた走行可能距離閾値内のポイントのみを一緒にメッシュ化し得る。他の実施形態では、走行可能距離閾値は、位置合わせ及び集約フェーズ中に使用され得る。
開示される実施形態は陸橋２７００に関連して上記で説明したが、２つのポイントが互いに直接アクセスできない他のシナリオでは、走行可能距離に基づいて走行情報の相関を決定し得る。例えば、開示される実施形態は、第１の方向に走行する道路に沿ったポイントが、反対方向に走行するときの道路に沿ったポイントから比較的長い走行可能距離だけ離れている状況で実施され得る。例えば、図２８を参照すると、ポイント２８０６は、ホスト車両２７１０とは反対の方向に走行するホスト車両２８２２によって検出され得る。ポイント２８０２及びポイント２８０４の場合と同様に、ポイント２８０２及びポイント２８０６の間の走行可能距離は、ポイント２８０２及びポイント２８０６の間の物理的距離よりもかなり長くなり得る。例えば、中央分離帯２８３０は、ポイント２８０６がポイント２８０２から直接アクセスできないようにさせ得る。したがって、車両２７１０及びポイント２８２２によって収集された走行情報は、相関させ得ない。
別の例として、直交する道路区分（例えば、交差点、出口ランプ、等によって合流する）からの走行情報は、相互に相関させ得ないか、又は一緒にメッシュ化し得ない。幾つかの実施形態では、交差点に近い部分は、交差点と共に一緒に相関させ得る及び／又はメッシュ化し得る。しかし、更に離れた区分はそうではない場合がある。図２９は、開示される実施形態による、走行情報が収集され得る例示的な交差点２９００を示す。例えば、ホスト車両２７１０は、交差点２９００に接近する道路区分２９０２を横断するときに、走行情報を収集し得る。同様に、直交する道路に沿って交差点２９００から分離された道路区分２９０４について、走行情報を収集し得る。陸橋２７００について説明したシナリオと同様に、ポイント２９１２（道路区分２９０２に関連付けられている）及びポイント２９１４（道路区分２９０４に関連付けられている）の間の距離を分析して、道路区分２９０２及びポイント２９０４からの走行情報を一緒に相関させる及び／又はメッシュ化する必要があるか否かを判定し得る。例えば、上記で説明したように、ポイント２９１２及びポイント２９１４の間の走行可能距離ｄ４を予め決められた閾値と比較し得る。予め決められた閾値は、全てのシナリオで同じであり得るか、又は道路構成に依存し得る。例えば、交差点、出口ランプ、分離した道路、又は他の構成に使用されるものとは異なる閾値が、陸橋構成に使用され得る。幾つかの実施形態では、上記で説明したように、走行可能距離ｄ４を物理的距離ｄ３と比較し得る。同様の走行可能距離の考慮事項は、出口ランプ又は２つの走行レーンが分かれている他の配置等、他のシナリオで実装され得る。レーンは走行可能距離の観点から比較的近いままであるが、レーン分割に沿って収集されたポイントを相関及び／又はメッシュ化することは有益であり得る。しかし、レーン間の走行可能距離が長くなるにつれて、サーバ２８１０は、情報を別個に相関させ得る及び／又はメッシュ化し得る。
図３０は、開示される実施形態による、走行情報を相関させるための例示的なプロセス３０００を示すフローチャートである。プロセス３０００は、サーバ２８１０等のサーバの少なくとも１つの処理デバイスによって実行され得る。幾つかの実施形態では、プロセス３０００の一部又は全部は、処理デバイス１１０等の車両の処理デバイスによって実行され得る。本開示全体を通して、「プロセッサ」という用語は、「少なくとも１つのプロセッサ」の省略形として使用されることを理解されたい。言い換えれば、プロセッサは、そのような構造が配置されているか、接続されているか、又は分散されているかにかかわらず、論理演算を実行する１つ又は複数の構造を含み得る。幾つかの実施形態では、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサにプロセス３０００を実行させる命令を含み得る。更に、プロセス３０００は、必ずしも図３０に示すステップに限定されるものではなく、本開示全体を通して説明される様々な実施形態の任意のステップ又はプロセスもまた、図２７、図２８，及び図２９に関して上記で説明したものを含む、プロセス３０００に含まれ得る。
ステップ３０１０において、プロセス３０００は、第１の道路区分を横断した第１の複数の車両のそれぞれから走行情報を受信することを含む。例えば、第１の複数の車両は、第１の道路区分を横断する他のホスト車両と共にホスト車両２７１０を含み得る。走行情報は、少なくとも、第１の複数の車両のうちの特定の車両が第１の道路区分を横断する間に通った実際の軌道の表示を含み得る。走行情報は、撮像フレームの分析を通じて検出された物体の表示、及び検出された物体のそれぞれに関連付けられた少なくとも１つの位置指標等、他の情報を含み得る。位置指標は、様々な方法で表し得る。幾つかの実施形態では、少なくとも１つの位置指標は画像座標で表し得、したがって、撮像された画像フレームからのＸ－Ｙ位置を含み得る。代替又は追加として、少なくとも１つの位置指標は、運動中の構造計算に基づいて決定された３次元（３Ｄ）特徴点を含み得る。本開示を通じて説明されるように、検出された物体の表示により、物体の非セマンティック特徴タイプを識別され得る。例えば、非セマンティック特徴タイプは、交通標識、信号機、レーンマーク、マンホールの蓋、道路端部、障壁、又は縁石のうちの少なくとも１つを含み得る。幾つかの実施形態では、非セマンティック特徴タイプは、障壁、縁石、又は道路端部が横断可能か否か、及びそのような道路の特徴を超える領域がナビゲート可能か否かの指示等、他の情報も含み得る。幾つかの実施形態では、走行情報は対応する画像が撮像されたときのカメラ位置（車両の走行経路を示し得る）を更に含み得る。
ステップ３０２０において、プロセス３０００は、第１の道路区分を表す第１の道路モデル区分を提供するために、第１の複数の車両のそれぞれからの走行情報を相関させることを含む。例えば、第１の複数の車両のそれぞれからの走行情報の相関は、第１の道路区分に関連付けられた少なくとも１つの走行レーンの目標軌道を決定するための実際の車両軌道の集約及び位置合わせを含み得る。例えば、走行情報は、図２７に示すように、目標軌道２７２２を決定するために相関され得る。幾つかの実施形態では、目標軌道は、例えば、図９Ｂに関して上記で説明したように、３Ｄスプラインとして表し得る。
ステップ３０３０において、プロセス３０００は、第２の道路区分を横断した第２の複数の車両のそれぞれから走行情報を受信することを含む。例えば、ステップ３０３０は、ホスト車両２８２０又は２８２２のうちの１つを含む複数の車両から走行情報を受信することを含み得る。第２の複数の車両は、第１の複数の車両とは異なり得る。第２の複数の車両のそれぞれからの走行情報は、少なくとも、第２の複数の車両のうちの特定の車両が第２の道路区分を横断する間に通った実際の軌道の表示を含み得る。第１の複数の車両の走行情報と同様に、第２の複数の車両の走行情報は、撮像フレームの分析を通じて検出された物体の表示、及び検出された物体の各車両に関連付けられた少なくとも１つの位置指標等の他の情報を含み得る。幾つかの実施形態では、少なくとも１つの位置指標は画像座標で表し得、したがって、撮像された画像フレームからのＸ－Ｙ位置を含み得る。代替又は追加として、少なくとも１つの位置指標は、運動中の構造計算に基づいて決定された３次元（３Ｄ）特徴点を含み得る。更に、検出された物体の表示により、交通標識、信号機、レーンマーク、マンホールの蓋、道路端部、又は縁石等、物体の非セマンティック特徴タイプを識別され得る。第１の走行情報と同様に、第２の走行情報は、対応する画像が撮像されたときのカメラの位置（車両の走行経路を示し得る）を更に含み得る。
ステップ３０４０において、プロセス３０００は、第２の道路区分を表す第２の道路モデル区分を提供するために、第２の複数の車両のそれぞれからの走行情報を相関させることを含む。例えば、第２の複数の車両のそれぞれからの走行情報の相関は、第２の道路区分に関連付けられた少なくとも１つの走行レーンの目標軌道を決定するための実際の車両軌道の集約及び位置合わせを含み得る。例えば、走行情報は、図２７に示すように、目標軌道２７３２を決定するために相関され得る。幾つかの実施形態では、目標軌道は、３Ｄスプラインとして表し得る。
ステップ３０５０において、プロセス３０００は、第１の道路区分に関連付けられた第１のポイント及び第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、第１の道路モデル区分を第２の道路モデル区分と相関させることを含む。したがって、ステップ３０５０は、第１のポイント及び第２のポイントの間の走行可能距離を含み得る。例えば、これは、上記で説明したように、ポイント２８０２及びポイント２８０４の間の走行可能距離ｄ２を決定することに対応し得る。幾つかの実施形態では、走行可能距離を決定することは、少なくとも１つの道路ナビゲーションモデル（例えば、疎なマップ）又はマップデータベースに記憶された情報にアクセスすることを含み得る。幾つかの実施形態では、走行可能距離を決定することは、仮想車両が少なくとも１つの交通法規、規制、ガイドライン、及び／又はベストプラクティスに従うと仮定して、仮想車両が走行する距離を決定することを含み得る。
第１の道路モデル区分と第２の道路モデル区分との相関は、様々な方法で実行され得る。上記で説明したように、幾つかの実施形態では、第１の道路モデル区分及び第２の道路モデル区分に関連付けられた路面の表現を一緒にメッシュ化する。例えば、メッシュ化は、三角形分割アルゴリズムの適用を含み得る。第１の複数の車両のそれぞれからの走行情報の相関、及び第１の複数の車両のそれぞれからの走行情報の相関が、検出された物体（例えば、レーンマーク、道路端部、等）の精緻化した位置を決定するために位置指標を集約することを含む実施形態では、第１の道路モデル区分と第２の道路モデル区分との相関は、検出された物体の精緻化した位置をメッシュ化することを含み得る。言い換えれば、第１の道路モデル区分と第２の道路モデル区分との相関は、位置合わせ又は集約プロセスを既に経たメッシュポイントを含み得る。他の実施形態では、第１の道路モデル区分と第２の道路モデル区分との相関は、位置合わせ又は集約プロセスを含み得る。例えば、第１の道路モデル区分と第２の道路モデル区分との相関は、第１及び第２の道路区分モデルに関連付けられた目標軌道を位置合わせさせることを含み得る。これは、対向車両がナビゲート車両のレーンの同じ目標軌道に沿って走行しているか否かをナビゲート車両が正確に判定できるように、走行の反対方向のレーンの目標軌道を位置合わせすることを含み得る。幾つかの実施形態では、相関道路区分モデルを生成するための相関は、第１の複数の車両及び第２の複数の車両によって収集された基礎となる走行情報に基づいて実行できる。したがって、第１の道路モデル区分及び第２の道路モデル区分は、相関道路区分モデルの生成の一部として決定できる。したがって、第１の道路モデル区分と第２の道路モデル区分との相関は、第１の複数の車両のそれぞれからの走行情報を第２の複数の車両のそれぞれからの走行情報と相関させることによって実行され得る。
予め決められた距離の閾値は、様々な方法で定義し得る。例えば、予め決められた距離の閾値は、１０メートル以下、２０メートル以下、３０メートル以下、５０メートル以下、１００メートル以下、又は任意の他の適切な距離等の予め決められた距離であり得る。別の例として、予め決められた距離の閾値は、第１のポイントと第２のポイントとを分離させる物理的距離に等しくなり得る。例えば、予め決められた距離の閾値は、上記で説明したように距離ｄ１に等しくなり得る。追加の例として、予め決められた距離の閾値は、物理的距離の係数であり得る。例えば、予め決められた距離の閾値は、第１のポイントと第２のポイントとを分離する物理的距離の１１０％以下、又は任意の他の適切な係数であり得る。
ステップ３０６０において、プロセス３０００は、第１の道路区分及び第２の道路区分に沿った車両のナビゲーションに使用する疎なナビゲーションマップの一部として相関道路区分モデルを記憶することを含む。例えば、相関道路区分モデルは、上記で説明した疎なマップ８００又は本明細書に記載の同様の疎なマップの一部として記憶され得る。幾つかの実施形態では、プロセス３０００は、疎なナビゲーションマップを生成することに関連して、本開示を通じて説明される追加のステップを含み得る。例えば、プロセス３０００は、第１の道路区分及び第２の道路区分に沿って１つ又は複数の車両をナビゲートする際に使用するために、相関道路区分モデルを含む疎なナビゲーションマップを１つ又は複数の車両に提供することを含み得る。
幾つかの実施形態では、相関道路区分モデルは、道路の表面だけでなく、ナビゲート可能な領域についても開発し得る。例えば、道路モデルは、上記で説明したように、緊急時又は他の状況の場合にホスト車両がアクセスし得る路面及びナビゲート可能な領域のために開発し得る。ナビゲート可能な領域は、軟路肩、非常用待避所、低い歩道、草地、又は車両が横断し得る路面の外側の任意の他の表面を含み得る。幾つかの実施形態では、ナビゲート可能な領域は、ラベル付けされるか、そうでなければ路面から区別され得る。代替又は追加として、道路及びナビゲート可能な領域について別個のモデルを生成し得る。例えば、上記で説明した技術を使用して、道路を表す１つのモデルを生成し得、道路の外側のナビゲート可能な領域を表す別個のモデルを生成し得る。
上記の実施形態は、収集された車両情報に基づく疎なマップの生成に関連付けて説明されているが、道路に関連付けられた任意の情報源に同じ又は類似の技術を適用し得ることを理解されたい。例えば、道路の表面に関連付けられたポイントは、ＬＩＤＡＲデータ、測量機器、航空画像又は走査、又は道路に沿った３Ｄポイントを含み得る任意の他のデータに基づいて収集され得る。開示される実施形態によれば、道路の表面を表すメッシュを生成し得、ポイント間の走行可能距離に基づいてポイントを一緒にメッシュ化し得る。結果として得られたメッシュは、道路の表面を表す路面モデルに含み得る。
この道路モデルは、例えば、車両の環境内の物体の３Ｄ位置を抽出又は決定するのに有用であり得る。例えば、ホスト車両のカメラによって撮像された画像は、ホスト車両の環境内の物体の表現を含み得る。道路の表面を表す路面モデルが装備されている場合、ホスト車両は、物体の位置を決定するか、少なくとも近づけ得る。特に、撮像された画像の各ピクセルは、カメラに対する方向に関連付けられ得る。言い換えれば、画像の各ピクセルは、レンズの形状又はカメラの他の属性に基づいて、特定の方向からカメラのセンサによって受信及び撮像される光線に対応し得る。道路の表面を表すピクセルごとに、この既知の方向を、モデル空間内のカメラの仮定の位置又は既知の位置から射影して、ピクセル情報が受信される路面モデルに沿ったポイントを決定し得る。したがって、物体及び道路の間の接点を表すピクセルについて、路面モデルに対する接点を決定し得る。次いで、このモデルを使用して、物体までの距離、車両に対する角度、又は同様のものを含み得る、車両に対する接点（したがって、物体）の位置情報を決定し得る。
図３１Ａは、開示される実施形態による、陸橋の例示的な路面モデル３１００を示す。図３１Ａに示す路面モデルは、図２７に示す陸橋２７００に対応し得る。路面モデル３１００はメッシュ３１１０を含み得、メッシュ３１１０は、路面に沿って収集された複数のポイントに基づいて生成された三次元表面であり得る。上記で説明したように、メッシュ３１１０は、道路区分２７３０に対応し得る。路面モデル３１００はまた、道路区分２７２０に対応し得る、メッシュ３１２０を含み得る。メッシュ３１１０と同様に、メッシュ３１２０は、道路区分２７２０の表面を表す複数のポイントに基づいて生成され得る。幾つかの実施形態では、メッシュ３１１０及び３１２０に関連付けられたポイントは、本開示を通じて説明される方法を使用して収集され得る。例えば、ポイントは、陸橋２７００の道路を横断する複数の車両によって撮像された画像を使用して収集され得る、道路端部、レーンマーク、又は他の特徴等の特徴を表し得る。しかし、上記で説明したように、メッシュ３１１０及び３１２０のポイントは、他の様々な方法で収集され得、メッシュ３１１０及び３１２０を生成するために３Ｄポイントデータの任意のセットが使用され得る。メッシュ３１１０及び３１２０は、ドロネー三角形分割技術等の三角形分割法又は同様のアルゴリズムを使用して生成され得る。メッシュ３１１０及び３１２０は一例として示しているものであり、他の様々な適切なメッシュ構造、データ密度、データタイプ、又は同様のものを使用し得ることを理解されたい。
本明細書に記載の技術を使用して、図示のように、メッシュ３１１０は陸橋２７００の最上部の路面のみを表すように生成し得、一方、メッシュ３１２０は陸橋２７００の最下部の路面のみを表すように生成し得る。言い換えれば、メッシュ３１１０に関連付けられたポイントは、メッシュ３１２０に示すポイントのいずれかを除外するために一緒にメッシュ化され得、逆も同様である。従来技術を使用して、メッシュ３１１０に含まれるべきポイント及びメッシュ３１２０に含まれるべきポイントを区別することは、特にＸ－Ｙ座標（すなわち、地球の局所表面に平行な平面における）に関してポイントが相対的に近接しているため、困難になり得る。図３１Ｂは、開示される実施形態による、道路区分２７２０に関連付けられたポイントが道路区分２７３０に関連付けられたポイントと一緒にメッシュ化される場合に発生し得る異常の例を示す。例えば、図３１Ｂに示すように、ポイント３１２２は、道路区分２７２０の表面に関連付けられた特徴を表し得る。道路区分２７３０の表面に関連付けられたポイント（ポイント３１１２等）に関連付けられたポイントと一緒にメッシュ化された場合、メッシュ３１１０は異常部分３１３０を含み得る。具体的には、異常部分３１３０は、道路区分２７２０の表面を正確に反映し得ない、路面の標高の急激な局所的低下を含み得る。この異常は、上記で説明したように、物体の位置を決定するためのレイトレーシング技術、又は路面モデル３１００に依存し得る他の様々なナビゲーション機能を妨げ得る。例えば、３Ｄ空間では、メッシュ３１１０及びメッシュ３１２０は、陸橋によって垂直方向に互いに分離された別個の道路区分に関連付けられているため、車両はメッシュ３１１０に関連付けられた道路区分から、メッシュ３１１０及びメッシュ３１２０が重なり合う又は接続しているように見えるメッシュ３１２０に関連付けられた道路区分（又は逆も同様）にナビゲートできない。
開示される技術を使用すると、メッシュ３１１０におけるそのような異常（及び／又はメッシュ３１２０における同様の異常）を回避又は防止し得る。例えば、ポイント３１２２をポイント３１１２と一緒にメッシュ化すべきか否かを判定する際に、ポイント３１１２及びポイント３１２２の間の走行可能距離を決定し得る。例えば、これは、上記で説明したように、ポイント２８０２及びポイント２８０４の間の走行可能距離ｄ２と同様に決定され得る。この走行可能距離は、上記で説明したように、ポイント３１１２及びポイント３１２２を一緒にメッシュ化させるべきか否かを判定するための閾値と比較し得る。このシナリオでは、ポイント３１１２及びポイント３１２２の間の走行可能距離（ポイント３１１２及びポイント３１２２の間の物理的距離よりかなり長い）が閾値を超えるように閾値が設定される。したがって、ポイント３１２２はメッシュ３１１０に含まれ得ない。メッシュ３１１０及び３１２０は、説明のために別個に示されているが、それらは両方とも、走行可能な路面を表す全体的なメッシュに含まれ得ることを理解されたい。例えば、メッシュ３１２０は、図２８に示すように走行可能な経路ｄ２に沿って続き、メッシュ化されたポイントの連続セットを形成し得る。しかし、局所的に、図３１Ａのメッシュ３１１０及び３１２０に関連するポイントは、示すように別個にメッシュ化され得る。
図３２は、開示される実施形態による、路面モデルを生成するための例示的なプロセス３２００を示すフローチャートである。プロセス３２００は、サーバ２８１０等のサーバの少なくとも１つの処理デバイスによって実行され得る。幾つかの実施形態では、プロセス３２００の一部又は全部は、処理デバイス１１０等の車両の処理デバイスによって実行され得る。本開示全体を通して、「プロセッサ」という用語は、「少なくとも１つのプロセッサ」の省略形として使用されることを理解されたい。言い換えれば、プロセッサは、そのような構造が配置されているか、接続されているか、又は分散されているかにかかわらず、論理演算を実行する１つ又は複数の構造を含み得る。幾つかの実施形態では、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサにプロセス３２００を実行させる命令を含み得る。更に、プロセス３２００は、必ずしも図３２に示すステップに限定されるものではなく、本開示全体を通して説明される様々な実施形態の任意のステップ又はプロセスもまた、図２７、図２８、図２９、図３０、図３１Ａ及び図３１Ｂに関して上記で説明したものを含む、プロセス３２００に含まれ得る。
ステップ３２１０において、プロセス３２００は、１つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスすることを含む。幾つかの実施形態では、複数のポイントは、本開示を通じて説明される技術を使用して収集され得る。例えば、複数のポイントは、１つ又は複数の走行可能な道路を横断する複数の車両によって収集される走行情報に含まれ得る。これには、上記で説明したように、疎なナビゲーションマップに記憶されたポイントが含まれ得る。複数のポイントは、本明細書で説明するように、道路端部、レーンマーク、道路にできた穴、方向矢印、又は道路に沿った他の特徴等の特徴を表し得る。幾つかの実施形態では、疎なナビゲーションマップは、１つ又は複数の走行可能な道路に関連付けられた目標軌道を含み得る。代替又は追加として、複数のポイントは他の方法で収集され得る。例えば、複数のポイントは、ＬＩＤＡＲデータを使用して、航空画像又は走査データを使用して、道路調査情報、又は３Ｄポイントデータを取得するための任意の他の技術又は技術の組み合わせを使用して収集され得る。幾つかの実施形態では、ステップ３２１０は、複数のポイントを表す情報が記憶されているデータベース、サーバ、又は他の記憶場所にアクセスすることを含み得る。したがって、幾つかの実施形態では、複数のポイントを収集するために使用される情報源又は収集方法論は、開示されるシステムにとって（例えば、既存のマップデータベースに対して）未知及び／又は利用不可であり得る。
ステップ３２２０において、プロセス３２００は、複数のポイントに基づいて路面モデルを生成することを含む。路面モデルは、１つ又は複数の走行可能な道路の表面を表すメッシュを含み得る。例えば、ステップ３２２０は、図３１Ａに示すように、メッシュ３１１０及び／又はメッシュ３１２０を生成することを含み得る。メッシュは、三角形分割アルゴリズム又は任意の他の適切なメッシュ化アルゴリズムを使用して生成され得る。ステップ３２２０は、本明細書に開示される走行可能距離閾値技術を適用してメッシュを生成することを含み得る。例えば、ステップ３２２０は、複数の点のうちの第１のポイント及び複数のポイントのうちの第２のポイントの間の走行可能距離を決定することを含み得る。これは、例えば、上記で説明したように、ポイント３１１２及びポイント３１２２の間の走行可能距離を決定することに対応し得る。幾つかの実施形態では、走行可能距離は、道路ナビゲーションモデルに含まれる情報に基づいて決定され得る。例えば、走行可能距離は、１つ又は複数の走行可能な道路に関連付けられた少なくとも１つの目標軌道に基づいて決定され得る。本明細書で説明するように、少なくとも１つの目標軌道は、３Ｄスプラインとして表し得る。
ステップ３２２０は、第１のポイント及び第２のポイントの間の走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、第１のポイントを第２のポイントと一緒にメッシュ化することを更に含み得る。予め決められた距離の閾値は、様々な方法で定義し得る。例えば、予め決められた距離の閾値は、１０メートル以下、２０メートル以下、３０メートル以下、５０メートル以下、１００メートル以下、又は任意の他の適切な距離等の予め決められた距離であり得る。別の例として、予め決められた距離の閾値は、第１のポイントと第２のポイントとを分離させる物理的距離に等しくなり得る。例えば、予め決められた距離の閾値は、上記で説明したように距離ｄ１に等しくなり得る。追加の例として、予め決められた距離の閾値は、物理的距離の係数であり得る。例えば、予め決められた距離の閾値は、第１のポイントと第２のポイントとを分離する物理的距離の１１０％以下、又は任意の他の適切な係数であり得る。
ステップ３２３０において、プロセス３２００は、１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために路面モデルを記憶することを含む。例えば、路面モデルは、上記で説明したように、道路区分２７２０及び２７３０を横断するための疎なナビゲーションマップに含まれ得る。代替又は追加として、路面モデルは別個に記憶され得る。幾つかの実施形態では、プロセス３２００は、１つ又は複数の走行可能な道路をナビゲートするために、路面モデルを１つ又は複数の車両に送信することを更に含み得る。例えば、これは、路面モデルをサーバ２８１０から１つ又は複数の自律車両又は半自律車両に送信することを含み得る。プロセス３２３０は陸橋の文脈で一般的に説明されているが、中央分離帯の反対側、交差点又は出口ランプでの道路の分岐、又は同様のもののような、１つの路面に関連付けられたポイントを他の路面とは別個に一緒にメッシュ化し得る他のシナリオにも、同じ又は類似の技術を適用し得る。
前述の説明は、例示の目的のために提示されたものである。これは網羅的ではなく、開示された正確な形態又は実施形態に限定されない。修正及び適合は、開示される実施形態の仕様及び実施を考慮すれば、当業者には明らかであろう。更に、開示される実施形態の態様は、メモリに記憶されていると説明されているが、これらの態様は、２次ストレージデバイス、例えば、ハードディスク又はＣＤ ＲＯＭ、又は他の形態のＲＡＭ又はＲＯＭ、ＵＳＢメディア、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、４Ｋ Ｕｌｔｒａ ＨＤ Ｂｌｕ－ｒａｙ、又は他の光学ドライブ媒体等の他のタイプのコンピュータ可読媒体にも記憶できることを当業者なら理解するであろう。
記載された説明及び開示される方法に基づくコンピュータプログラムは、経験豊富な開発者のスキル内である。様々なプログラム又はプログラムモジュールは、当業者に既知の技術のいずれかを使用して作成できるか、又は既存のソフトウェアに関連付けて設計できる。例えば、プログラムセクション又はプログラムモジュールは、．Ｎｅｔ Ｆｒａｍｅｗｏｒｋ、．Ｎｅｔ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ（及び、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｃ等のような関連言語）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、又はＪａｖａアプレットを含むＨＴＭＬにおいて、又はこれらを使用して設計できる。
更に、例示的な実施形態が本明細書に記載されているが、範囲には、本開示に基づいて当業者によって理解されるように、同等の要素、修正、省略、（例えば、様々な実施形態にわたる態様の）組み合わせ、適合、及び／又は変更を有する任意の及び全ての実施形態が含まれる。請求項における限定は、請求項で使用されている文言に基づいて広く解釈されるべきであり、本明細書に記載されている実施例又は本出願の審査中の実施例に限定されるものではない。実施例は非排他的であると解釈されるべきである。更に、開示される方法のステップは、ステップの並べ替え及び／又はステップの挿入又は削除を含む、任意の方法で変更され得る。したがって、本明細書及び実施例は例示としてのみ考慮されることを意図しており、真の範囲及び趣旨は、以下の特許請求の範囲及びそれらの均等物の全範囲によって示す。

Claims (39)

  1. 複数の道路区分からの走行情報を相関させるシステムであって、前記システムは、
    回路及びメモリを有する少なくとも１つのプロセッサ、ここで、前記メモリは、前記回路によって実行されると、前記少なくとも１つのプロセッサに、
    第１の道路区分を横断した第１の複数の車両のそれぞれから走行情報を受信させ、ここで、前記第１の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第１の複数の車両のうちの特定の車両が前記第１の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第１の道路区分を表す第１の道路モデル区分を提供するために、前記第１の複数の車両のそれぞれからの前記走行情報を相関させ；
    第２の道路区分を横断した第２の複数の車両のそれぞれから走行情報を受信させ、ここで、前記第２の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第２の複数の車両のうちの特定の車両が前記第２の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第２の道路区分を表す第２の道路モデル区分を提供するために、前記第２の複数の車両のそれぞれからの前記走行情報を相関させ；
    前記第１の道路区分に関連付けられた第１のポイント及び前記第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、前記第１の道路モデル区分を前記第２の道路モデル区分と相関させ；及び
    前記第１の道路区分及び前記第２の道路区分に沿った車両のナビゲーションに使用する疎な（ｓｐａｒｓｅ）ナビゲーションマップの一部として前記相関道路区分モデルを記憶させる
    命令を含む、
    を備えるシステム。
  2. 前記メモリに含まれる前記命令の実行は、前記少なくとも１つのプロセッサに、前記第１の道路区分及び前記第２の道路区分に沿って１つ又は複数の車両をナビゲートする際に使用するために、前記相関道路区分モデルを含む前記疎なナビゲーションマップを前記１つ又は複数の車両に更に提供させる、請求項１に記載のシステム。
  3. 前記第１の複数の車両から受信された前記走行情報及び前記第２の複数の車両から受信された前記走行情報はまた、撮像フレームの分析を通じて検出された物体の表示、及び前記検出された物体のそれぞれに関連付けられた少なくとも１つの位置指標を含む、請求項１または２に記載のシステム。
  4. 前記検出された物体の前記表示は、非セマンティック特徴タイプを識別する、請求項３に記載のシステム。
  5. 前記非セマンティック特徴タイプは、交通標識、信号機、レーンマーク、マンホールの蓋、道路端部、又は縁石のうちの少なくとも１つを含む、請求項４に記載のシステム。
  6. 前記少なくとも１つの位置指標は、撮像された画像フレームからのＸ－Ｙ位置を含む、請求項３から５のいずれか一項に記載のシステム。
  7. 前記少なくとも１つの位置指標は、運動中の構造計算に基づいて決定された３Ｄ特徴点を含む、請求項３から６のいずれか一項に記載のシステム。
  8. 前記第１の複数の車両のそれぞれからの前記走行情報の相関は、前記第１の道路区分に関連付けられた少なくとも１つの走行レーンの目標軌道を決定するための実際の車両軌道の集約及び位置合わせを含む、請求項１から７のいずれか一項に記載のシステム。
  9. 前記目標軌道が３Ｄスプラインとして表される、請求項８に記載のシステム。
  10. 前記第２の複数の車両のそれぞれからの前記走行情報の相関は、前記第２の道路区分に関連付けられた少なくとも１つの走行レーンの目標軌道を決定するための実際の車両軌道の集約及び位置合わせを含む、請求項１から９のいずれか一項に記載のシステム。
  11. 前記目標軌道が３Ｄスプラインとして表される、請求項１０に記載のシステム。
  12. 前記第１の複数の車両のそれぞれからの前記走行情報の相関は、前記第１の道路区分を表す撮像された画像フレームの分析に基づいて検出された物体に関連付けられた位置指標の集約を含み、前記位置指標の集約は、前記検出された物体のそれぞれに関連付けられた少なくとも１つの精緻化された位置を決定するために使用される、請求項１から１１のいずれか一項に記載のシステム。
  13. 前記第１の道路モデル区分及び前記第２の道路モデル区分の相関は、前記第１の道路モデル区分及び前記第２の道路モデル区分に関連付けられた目標軌道を位置合わせさせることを含む、請求項１から１２のいずれか一項に記載のシステム。
  14. 前記第１の道路モデル区分及び前記第２の道路モデル区分の相関は、前記第１の道路モデル区分及び前記第２の道路モデル区分に関連付けられた路面の表現を一緒にメッシュ化することを含む、請求項１から１３のいずれか一項に記載のシステム。
  15. 前記メッシュ化は三角形分割アルゴリズムの適用を含む、請求項１４に記載のシステム。
  16. 前記第１の道路モデル区分及び前記第２の道路モデル区分の相関は、前記第１の複数の車両のそれぞれからの前記走行情報を前記第２の複数の車両のそれぞれからの前記走行情報と相関させることによって実行される、請求項１から１５のいずれか一項に記載のシステム。
  17. 前記予め決められた距離の閾値は１０メートル以下である、請求項１から１６のいずれか一項に記載のシステム。
  18. 前記予め決められた距離の閾値は２０メートル以下である、請求項１から１７のいずれか一項に記載のシステム。
  19. 前記予め決められた距離の閾値は３０メートル以下である、請求項１から１８のいずれか一項に記載のシステム。
  20. 前記予め決められた距離の閾値は５０メートル以下である、請求項１から１９のいずれか一項に記載のシステム。
  21. 前記予め決められた距離の閾値は１００メートル以下である、請求項１から２０のいずれか一項に記載のシステム。
  22. 前記予め決められた距離の閾値は、前記第１のポイント及び前記第２のポイントを分離する物理的距離の１１０％以下である、請求項１から２１のいずれか一項に記載のシステム。
  23. 前記予め決められた距離の閾値は、前記第１のポイント及び前記第２のポイントを分離する物理的距離に等しい、請求項１から２２のいずれか一項に記載のシステム。
  24. 複数の道路区分からの走行情報を相関させるための方法であって、前記方法は、
    第１の道路区分を横断した第１の複数の車両のそれぞれから走行情報を受信する段階、ここで、前記第１の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第１の複数の車両のうちの特定の車両が前記第１の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第１の道路区分を表す第１の道路モデル区分を提供するために、前記第１の複数の車両のそれぞれからの前記走行情報を相関させる段階；
    第２の道路区分を横断した第２の複数の車両のそれぞれから走行情報を受信する段階、ここで、前記第２の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第２の複数の車両のうちの特定の車両が前記第２の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第２の道路区分を表す第２の道路モデル区分を提供するために、前記第２の複数の車両のそれぞれからの前記走行情報を相関させる段階；
    前記第１の道路区分に関連付けられた第１のポイント及び前記第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、前記第１の道路モデル区分を前記第２の道路モデル区分と相関させる段階；及び
    前記第１の道路区分及び前記第２の道路区分に沿った車両のナビゲーションに使用する疎なナビゲーションマップの一部として前記相関道路区分モデルを記憶する段階
    を備える方法。
  25. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、複数の道路区分からの走行情報を相関させるための方法を実行させる命令を含むコンピュータプログラムであって、前記方法は、
    第１の道路区分を横断した第１の複数の車両のそれぞれから走行情報を受信する段階、ここで、前記第１の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第１の複数の車両のうちの特定の車両が前記第１の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第１の道路区分を表す第１の道路モデル区分を提供するために、前記第１の複数の車両のそれぞれからの前記走行情報を相関させる段階；
    第２の道路区分を横断した第２の複数の車両のそれぞれから走行情報を受信する段階、ここで、前記第２の複数の車両のそれぞれからの前記走行情報は、少なくとも、前記第２の複数の車両のうちの特定の車両が前記第２の道路区分を横断する間に通った実際の軌道の表示を含む；
    前記第２の道路区分を表す第２の道路モデル区分を提供するために、前記第２の複数の車両のそれぞれからの前記走行情報を相関させる段階；
    前記第１の道路区分に関連付けられた第１のポイント及び前記第２の道路区分に関連付けられた第２のポイントの間の走行可能距離が、予め決められた距離の閾値よりも短い又はそれに等しい場合、相関道路区分モデルを提供するために、前記第１の道路モデル区分を前記第２の道路モデル区分と相関させる段階；及び
    前記第１の道路区分及び前記第２の道路区分に沿った車両のナビゲーションに使用する疎なナビゲーションマップの一部として前記相関道路区分モデルを記憶する段階
    を備える、コンピュータプログラム。
  26. 路面モデルを生成するためのシステムであって、前記システムは、
    回路及びメモリを有する少なくとも１つのプロセッサ、ここで、前記メモリは、前記回路によって実行されると、前記少なくとも１つのプロセッサに、
    １つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスさせ；
    前記複数のポイントに基づいて前記路面モデルを生成させ、前記路面モデルは、前記１つ又は複数の走行可能な道路の表面を表すメッシュを含み、ここで、前記路面モデルを生成することは、
    前記複数のポイントのうちの第１のポイント及び前記複数のポイントの第２のポイントの間の走行可能距離を決定すること；及び
    前記第１のポイント及び前記第２のポイントの間の前記走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、前記第１のポイントを前記第２のポイントと一緒にメッシュ化すること
    を含む；及び
    前記１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために前記路面モデルを記憶させる
    命令を含む
    を備えるシステム。
  27. 前記複数のポイントは、前記１つ又は複数の走行可能な道路を横断する複数の車両によって収集される走行情報に含まれる、請求項２６に記載のシステム。
  28. 前記走行可能距離は、前記１つ又は複数の走行可能な道路に関連付けられた少なくとも１つの目標軌道に基づいて決定される、請求項２６または２７に記載のシステム。
  29. 前記少なくとも１つの目標軌道が３Ｄスプラインとして表される、請求項２８に記載のシステム。
  30. 前記予め決められた距離の閾値は１０メートル以下である、請求項２６から２９のいずれか一項に記載のシステム。
  31. 前記予め決められた距離の閾値は２０メートル以下である、請求項２６から３０のいずれか一項に記載のシステム。
  32. 前記予め決められた距離の閾値は３０メートル以下である、請求項２６から３１のいずれか一項に記載のシステム。
  33. 前記予め決められた距離の閾値は５０メートル以下である、請求項２６から３２のいずれか一項に記載のシステム。
  34. 前記予め決められた距離の閾値は１００メートル以下である、請求項２６から３３のいずれか一項に記載のシステム。
  35. 前記予め決められた距離の閾値は、前記第１のポイント及び前記第２のポイントを分離する物理的距離の１１０％以下である、請求項２６から３４のいずれか一項に記載のシステム。
  36. 前記予め決められた距離の閾値は、前記第１のポイント及び前記第２のポイントを分離する物理的距離に等しい、請求項２６から３５のいずれか一項に記載のシステム。
  37. 前記メッシュ化は三角形分割アルゴリズムの適用を含む、請求項２６から３６のいずれか一項に記載のシステム。
  38. 路面モデルを生成するための方法であって、前記方法は、
    １つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスする段階；
    前記複数のポイントに基づいて前記路面モデルを生成する段階、前記路面モデルは、前記１つ又は複数の走行可能な道路の表面を表すメッシュを含み、ここで、前記路面モデルを生成する段階は、
    前記複数のポイントのうちの第１のポイント及び前記複数のポイントのうちの第２のポイントの間の走行可能距離を決定する段階；及び
    前記第１のポイント及び前記第２のポイントの間の前記走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、前記第１のポイントを前記第２のポイントと一緒にメッシュ化する段階
    を含む；及び
    前記１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために前記路面モデルを記憶する段階
    を備える方法。
  39. 少なくとも１つのプロセッサによって実行されると、路面モデルを生成するための方法を前記少なくとも１つのプロセッサに実行させる命令を含むコンピュータプログラムであって、前記方法は、
    １つ又は複数の走行可能な道路に関連付けられた複数のポイントにアクセスする段階；
    前記複数のポイントに基づいて前記路面モデルを生成する段階、前記路面モデルは、前記１つ又は複数の走行可能な道路の表面を表すメッシュを含み、ここで、前記路面モデルを生成する段階は、
    前記複数のポイントのうちの第１のポイント及び前記複数のポイントのうちの第２のポイントの間の走行可能距離を決定する段階；及び
    前記第１のポイント及び前記第２のポイントの間の前記走行可能距離が予め決められた距離の閾値よりも短い又はそれに等しいという決定に基づいて、前記第１のポイントを前記第２のポイントと一緒にメッシュ化する段階
    を含む；及び
    前記１つ又は複数の走行可能な道路に沿った車両のナビゲーションに使用するために前記路面モデルを記憶する段階
    を備える、コンピュータプログラム。
JP2023513511A 2020-08-31 2021-08-31 マップベースの現実世界モデル化のシステム及び方法 Pending JP2023539868A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063072597P 2020-08-31 2020-08-31
US63/072,597 2020-08-31
PCT/US2021/048419 WO2022047372A1 (en) 2020-08-31 2021-08-31 Systems and methods for map-based real-world modeling

Publications (1)

Publication Number Publication Date
JP2023539868A true JP2023539868A (ja) 2023-09-20

Family

ID=80355696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513511A Pending JP2023539868A (ja) 2020-08-31 2021-08-31 マップベースの現実世界モデル化のシステム及び方法

Country Status (6)

Country Link
US (1) US20230195122A1 (ja)
EP (1) EP4204768A4 (ja)
JP (1) JP2023539868A (ja)
CN (2) CN116802461A (ja)
DE (1) DE112021004128T5 (ja)
WO (1) WO2022047372A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498136B2 (ja) * 2021-03-30 2024-06-11 トヨタ自動車株式会社 道路区間判定装置、道路区間判定用コンピュータプログラム及び道路区間判定方法
US20220404167A1 (en) * 2021-06-22 2022-12-22 GM Global Technology Operations LLC Roadway occlusion detection and reasoning
US20230194303A1 (en) * 2021-12-20 2023-06-22 Here Global B.V. Automatic detection of segment width expansion using probe data
US12162500B1 (en) * 2022-05-31 2024-12-10 Zoox, Inc. Vehicle representation determination
US20240174242A1 (en) * 2022-11-28 2024-05-30 Gm Cruise Holdings Llc Optimizing resources needed for road model data generation while achieving a desired coverage amount for a test suite
US20240377219A1 (en) * 2023-05-10 2024-11-14 Woven By Toyota, Inc. Synthesizing probe data from overhead imaging data
CN116578891B (zh) * 2023-07-14 2023-10-03 天津所托瑞安汽车科技有限公司 道路信息重构方法、终端及存储介质
GB2633629A (en) * 2023-09-18 2025-03-19 Oxa Autonomy Ltd Annotating a map
CN117198058B (zh) * 2023-11-01 2024-01-30 合肥师范学院 一种基于遥感影像的道路交通智能监管系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9816823B2 (en) * 2013-03-15 2017-11-14 Hewlett Packard Enterprise Development Lp Updating road maps
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US11205012B2 (en) * 2018-03-05 2021-12-21 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
US20200110817A1 (en) * 2018-10-04 2020-04-09 Here Global B.V. Method, apparatus, and system for providing quality assurance for map feature localization

Also Published As

Publication number Publication date
US20230195122A1 (en) 2023-06-22
CN117824697A (zh) 2024-04-05
EP4204768A4 (en) 2025-03-12
EP4204768A1 (en) 2023-07-05
CN116802461A (zh) 2023-09-22
WO2022047372A1 (en) 2022-03-03
DE112021004128T5 (de) 2023-07-20

Similar Documents

Publication Publication Date Title
JP7609444B2 (ja) 車両ナビゲーションのためのシステム
CN112204349B (zh) 用于车辆导航的系统和方法
US20220333927A1 (en) Ego motion correction of lidar output
US20220282990A1 (en) Generating a Navigational Map
US12228424B2 (en) Map management using an electronic horizon
JP2024045389A (ja) レーンマッピング及びナビゲーション
JP2023134478A (ja) ナビゲーション情報を匿名化するためのシステム及び方法
CN115014370A (zh) 用于生成地图信息的系统、方法和计算机可读介质
CN119124135A (zh) 用于导航主车辆的系统、方法
US20230195122A1 (en) Systems and methods for map-based real-world modeling
JP7477256B2 (ja) ナビゲーションのためのマップタイル要求を最適化するためのシステム及び方法
CN114930123A (zh) 用于检测交通灯的系统和方法
CN115735168A (zh) 用于对交通工具进行导航的控制回路
CN118984788A (zh) 计算针对道路曲线的车辆速度
CN117651668A (zh) 用于监测车道标记质量的系统和方法
CN118829954A (zh) 众包的转弯指示器
US20240135728A1 (en) Graph neural networks for parsing roads
US20240391494A1 (en) Radar-camera fusion for vehicle navigation
CN119717813A (zh) 众包的转弯指示器
CN116601671A (zh) 关于行人和确定交通工具自由空间的交通工具导航

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240805

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20250207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20250207