[go: up one dir, main page]

CN108496178B - 用于估计未来路径的系统和方法 - Google Patents

用于估计未来路径的系统和方法 Download PDF

Info

Publication number
CN108496178B
CN108496178B CN201780005722.8A CN201780005722A CN108496178B CN 108496178 B CN108496178 B CN 108496178B CN 201780005722 A CN201780005722 A CN 201780005722A CN 108496178 B CN108496178 B CN 108496178B
Authority
CN
China
Prior art keywords
vehicle
image
location
images
training images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780005722.8A
Other languages
English (en)
Other versions
CN108496178A (zh
Inventor
D·休伯曼
S·沙马赫
O·斯普林格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN202111593963.3A priority Critical patent/CN114612877A/zh
Publication of CN108496178A publication Critical patent/CN108496178A/zh
Application granted granted Critical
Publication of CN108496178B publication Critical patent/CN108496178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)

Abstract

一种系统和方法估计车辆的当前位置前面的未来路径。所述系统包括：至少一个处理器，其被编程为：获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统。所述至少一个处理器还被编程为获得在对道路进行导航的车辆的当前任意位置前面的环境的图像；以及基于将受训系统应用于所获得的图像而提供当前任意位置前面的所述车辆的所估计的未来路径。

Description

用于估计未来路径的系统和方法
相关申请的交叉引用
本申请要求2016年1月5日提交的美国临时专利申请No.62/275,046以及2016年8月10日提交的美国临时专利申请No.62/373,153的优先权的利益。前述两个申请通过其完整引用合并到本文中。
技术领域
本公开总体上涉及先进驾驶者辅助系统(ADAS)和自主车辆(AV)系统。附加地，本公开涉及用于处理图像的系统和方法以及用于估计车辆的未来路径的系统和方法。
背景技术
先进驾驶者辅助系统(ADAS)和自主车辆(AV)系统连同对象分类器一起使用相机和其它传感器，其被设计为检测对道路进行导航的车辆的环境中的特定对象。对象分类器被设计为检测预定义对象并且用在ADAS和AV系统内，以基于被检测其位置的对象的类型等而控制车辆或对驾驶者告警。然而，作为单独解决方案，预先配置的分类器用于处理道路环境及其周围的无穷小变化和细节及其一般动态性质(移动车辆、阴影等)的能力是有限的。随着ADAS和AV系统朝着完全自主操作发展，增强这些系统的能力将是有益的。
发明内容
以下具体实施方式参照附图。只要可能，相同标号就用在附图以及以下描述中以指代相同或相似部分。虽然本文描述若干说明性实施例，但修改、适配和其它实现方式是可能的。例如，可以对附图所示的组件进行替换、添加或修改，并且可以通过对所公开的方法替换、重排、移除或添加步骤来修改本文所描述的说明性方法。相应地，以下具体实施方式不限于所公开的实施例和示例。
所公开的实施例提供可以用作自主导航/驾驶和/或驾驶者辅助技术特征的部分或与之组合而使用的系统和方法。驾驶者辅助技术指代用于在驾驶者的车辆的导航和/或控制(例如FCW、LDW和TSR)方面辅助他们的任何合适的技术，与完全自主驾驶相反。在各个实施例中，所述系统可以包括：一个、两个或更多个相机，其可安装在车辆中；以及关联处理器，其监控所述车辆的环境。在其它实施例中，附加类型的传感器可以安装在车辆中，并且可以用在自主导航和/或驾驶者辅助系统中。在目前所公开的主题内容的一些示例中，所述系统可以提供用于处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络、应用例如深度学习算法的深度学习系统等)以基于图像而估计车辆的未来路径的技术。在目前所公开的主题内容的其它示例中，所述系统可以提供用于使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径的技术。
根据目前所公开的主题内容的示例，提供一种用于估计车辆的当前位置前面的未来路径的系统。所述系统可以包括：至少一个处理器，其编程为：获得对道路进行导航的车辆的当前任意位置前面的环境的图像；获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统；将受训系统应用于所述车辆的当前任意位置前面的环境的图像；以及基于将受训系统应用于所述图像而提供当前任意位置前面的所述车辆的所估计的未来路径。
在一些实施例中，受训系统包括全局函数的分段式仿射函数。在一些实施例中，所述全局函数可以包括：卷积、最大池化和/或修正线性单元(ReLU)。
在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
在一些实施例中，所述当前位置前面的所述车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识所述环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以提供用于所述车辆的转向控制功能的控制点。
在一些实施例中，将受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述至少一个处理器可以进一步编程为：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述至少一个处理器可以进一步编程为：在检测位于所述车辆的未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述至少一个处理器可以进一步编程为：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
在一些实施例中，所述至少一个处理器可以进一步编程为：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
所述处理图像的方法可以包括：获得第一多个训练图像，所述第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像；对于所述第一多个训练图像中的每一个，获得所述车辆的相应目前位置前面的所述车辆的预先存储的路径；给定图像，训练系统以提供用于对车辆的相应目前位置前面的道路进行导航的车辆的未来路径，其中，训练所述系统包括：提供所述第一多个训练图像作为对所述系统的输入；在训练的每个迭代时，基于通过权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数；以及根据所述损失函数的结果来更新神经的权重。
在一些实施例中，获得所述第一多个训练图像可以还包括：对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据。在一些实施例中，获得所述第一多个训练图像包括：在来自所述第一多个训练图像的至少一个图像中获得至少一个车道标记的位置，并且其中，对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据包括：对于来自所述第一多个训练图像的所述至少一个图像，根据所述至少一个图像中的所述至少一个车道标记的位置来确定在捕获所述至少一个图像的时刻所述车辆在所述道路上的位置。
在一些实施例中，根据所述至少一个图像中的所述至少一个车道标记的位置来确定在捕获来自所述第一多个训练图像的所述至少一个图像的时刻所述车辆在所述道路上的位置可以包括：确定在距所述至少一个车道标记的位置的预定义偏移处所述车辆在所述道路上的位置。
在一些实施例中，可以基于在捕获相应第二多个训练图像的相应时刻所述车辆在所述道路上的位置而确定所述车辆的所述相应目前位置前面的所述车辆的所述预先存储的路径，并且其中，所述第二多个训练图像可以是在与所述目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像。
在一些实施例中，训练所述系统包括多个迭代，并且可以被执行直到满足停止条件。
在一些实施例中，所述方法可以还包括：作为输出，提供受训系统，其被配置为：给定对道路进行导航的车辆前面的环境的任意输入图像，提供关于所述车辆的未来路径估计。
在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、道路上相对稀少地显现的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含弯曲道路的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含车道分道、车道并道、高速路出口、高速路入口和/或汇合点的环境的图像。在一些实施例中，所述第一多个训练图像可以包括相对较高数量的、包含所述车辆前面的道路上的不良或无车道标记、Botts点和/或阴影的环境的图像。
在一些实施例中，所述停止条件可以是预定义数量的迭代。
在一些实施例中，所述方法可以还包括：作为输出，提供受训系统，其具有在训练所述系统的最后迭代时达到的受训系统的配置。
根据目前所公开的主题内容的另一方面，提供一种估计车辆的当前位置前面的未来路径的方法。根据目前所公开的主题内容的示例，所述估计车辆的当前位置前面的未来路径的方法可以包括：获得对道路进行导航的车辆的当前任意位置前面的环境的图像；获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统；以及将受训系统应用于所述车辆的当前任意位置前面的环境的图像，以由此提供当前任意位置前面的所述车辆的所估计的未来路径。
在一些实施例中，受训系统包括全局函数的分段式仿射函数。在一些实施例中，所述全局函数可以包括：卷积、最大池化和/或修正线性单元(ReLU)。
在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
在一些实施例中，所述当前位置前面的所述车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识所述环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用所述车辆的当前位置前面的所估计的未来路径，以提供用于所述车辆的转向控制功能的控制点。
在一些实施例中，将未来路径估计受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述方法可以还包括：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将未来路径估计受训系统应用于所述车辆的当前位置前面的所述环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述方法可以还包括：在检测位于所述车辆的所述未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述方法可以还包括：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
在一些实施例中，所述方法可以还包括：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
附图说明
合并到本公开并且构成其部分的附图示出各个所公开的实施例。在附图中：
图1是与所公开的实施例一致的系统的框图表示。
图2A是与所公开的实施例一致的包括系统的示例性车辆的图示性侧视图表示。
图2B是与所公开的实施例一致的图2A所示的车辆和系统的图示性顶视图表示。
图2C是与所公开的实施例一致的包括系统的车辆的另一实施例的图示性顶视图表示。
图2D是与所公开的实施例一致的包括系统的车辆的又一实施例的图示性顶视图表示。
图2E是与所公开的实施例一致的包括系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例性车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的包括用于车辆成像系统的后视镜和用户接口的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的被配置为定位在后视镜之前并且顶靠车辆风挡的相机安装件的示例的说明。
图3C是与所公开的实施例一致的来自不同视角的图3B所示的相机安装件的说明。
图3D是与所公开的实施例一致的被配置为定位在后视镜之前并且顶靠车辆风挡的相机安装件的示例的说明。
图4是与所公开的实施例一致的处理图像以提供受训系统的方法的流程图说明。
图5A-图5C是与所公开的实施例一致的处理图像以提供受训系统的方法的特征的图形说明。
图6是与所公开的实施例一致的估计车辆的当前位置前面的未来路径的方法的特定方面的图形说明。
图7是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的流程图说明。
图8A示出与一些所公开的实施例一致的对道路进行导航的车辆前面的环境的图像。
图8B示出与一些所公开的实施例一致的对道路进行导航的车辆前面的环境的图像。
图9示出与一些所公开的实施例一致的在训练阶段期间提供给系统的图像。
图10示出与一些所公开的实施例一致的在训练阶段期间提供给系统的图像。
图11A和图11B是与一些所公开的实施例一致的训练系统的特定方面的图形说明。
图12A-图12D示出与所公开的实施例一致的包括所估计的未来路径的图像。
图13示出与所公开的实施例一致的具有为标记高速路出口而添加的虚拟车道标记的输入图像。
具体实施方式
在详细讨论处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络或深度学习系统)以基于图像而估计车辆的未来路径的特征或使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径的特征的示例之前，提供可以用于执行并且实现根据目前所公开的主题内容的示例的方法的车辆可安装系统的各种可能实现方式和配置的描述。在一些实施例中，车辆可安装系统的各个示例可以安装在车辆中，并且可以在车辆处于运动中的同时受操作。在一些实施例中，车辆可安装系统可以实现根据目前所公开的主题内容的示例的方法。
现进行参照的图1是与所公开的实施例一致的系统的框图表示。取决于特定实现方式的要求，系统100可以包括各种组件。在一些示例中，系统100可以包括处理单元110、图像获取单元120以及一个或多个存储器单元140、150。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。相似地，取决于特定应用的要求，图像获取单元120可以包括任何数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕获设备(例如相机)(例如图像捕获设备122、图像捕获设备124以及图像捕获设备126)。在一些实施例中，系统100可以还包括数据接口128，其以通信方式将处理单元110连接到图像获取设备120。例如，数据接口128可以包括任何一个或多个有线和/或无线链路，以用于将图像获取设备120所获取的图像数据发送到处理单元110。
应用处理器180和图像处理器190二者可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190之一或二者可以包括一个或多个微处理器、预处理器(例如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器、或任何其它类型的适合于运行应用以及图像处理和分析的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。各种处理设备可以得以使用(包括例如可得自例如等的制造商的处理器)，并且可以包括各种架构(例如x86处理器、等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可得自的任何EyeQ系列处理器芯片。这些处理器设计均包括具有本地存储器和指令集的多个处理单元。这些处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且可以还包括视频输出能力。在一个示例中，/>使用操作在332Mhz的90nm-微米技术。/>架构具有两个浮点超线程32位RISC CPU(/>内核)、五个视觉计算引擎(VCE)、三个矢量微码处理器/>Denali 64位移动DDR控制器、128位内部声能互连、双16位视频输入和18位视频输出控制器、16通道DMA以及若干外设。MIPS34KCPU管理五个VCE、三个VMP.TM.和DMA、第二MIPS34K CPU和多通道DMA以及其它外设。五个VCE、三个/>以及MIPS34K CPU可以执行多功能成批应用所需的大量视觉计算。在另一示例中，作为第三代处理器并且比/>更强大六倍的/>可以用在所公开的示例中。在又一示例中，/>(第四代处理器)可以用在所公开的示例中。
虽然图1描述处理单元110中所包括的两个分离的处理设备，但可以使用更多或更少的处理设备。例如，在一些示例中，单个处理设备可以用于完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由多于两个的处理设备执行。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备(例如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备)。图像预处理器可以包括视频处理器，其用于从图像传感器捕获、数字化并且处理图像。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是任何数量的本领域公知的电路，包括缓存电路、电源电路、时钟电路以及输入-输出电路。存储器可以存储软件，其当由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光存储、可拆卸存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以集成到处理单元110中。
每个存储器140、150可以包括软件指令，其当由处理器(例如应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪存、盘驱动器、光存储、带存储、可拆卸存储和/或任何其它类型的存储。在一些示例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以集成到应用处理器180和/或图像处理器190中。
在一些实施例中，系统可以包括位置传感器130。位置传感器130可以包括任何类型的适合于确定与系统100的至少一个组件关联的位置的设备。在一些实施例中，位置传感器130可以包括GPS接收机。这些接收机可以通过处理全球定位系统卫星所广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以可操作地可连接到可以安装系统100的车辆所板载的各种系统、设备和单元，并且通过任何合适的接口(例如通信总线)，系统100可以与车辆的系统进行通信。系统100可以协作于的车辆系统的示例包括：节流系统、制动系统以及转向系统。
在一些实施例中，系统100可以包括用户接口170。用户接口170可以包括适合于将信息提供给系统100的一个或多个用户或从其接收输入的任何设备。在一些实施例中，用户接口170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指点设备、轨迹轮、相机、手柄、按钮等。通过这些输入设备，用户可以能够通过使用按钮、指点器或眼球跟踪能力或通过用于将信息传递到系统100的任何其它合适的技术来录入指令或信息、提供语音命令、在屏幕上选择菜单选项而将信息输入或命令提供给系统100。信息可以由系统100通过用户接口170以相似的方式提供给用户。
在一些实施例中，系统100可以包括地图数据库160。地图数据库160可以包括任何类型的数据库，以用于存储数字地图数据。在一些示例中，地图数据库160可以包括与各种条目(包括道路、水特征、地理特征、兴趣点等)的在参考坐标系中的位置有关的数据。地图数据库160可以不仅存储这些条目的位置，而且还存储与那些条目有关的描述符(包括例如与任何所存储的特征关联的名称)。在一些实施例中，地图数据库160可以在物理上定位于系统100的其它组件。替代地或附加地，地图数据库160或其部分可以相对于系统100的其它组件(例如处理单元110)远程地定位。在这些实施例中，可以通过对网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)下载来自地图数据库160的信息。
图像捕获设备122、124和126可以均包括任何类型的适合于从环境捕获至少一个图像的设备。此外，任何数量的图像捕获设备可以用于获取图像，以用于对图像处理器的输入。目前所公开的主题内容的一些示例可以包括或可以实现于仅单个图像捕获设备，而其它示例可以包括或可以实现于两个、三个或甚至四个或更多个图像捕获设备。以下将参照图2B-图2E进一步描述图像捕获设备122、124和126。
应理解，系统100可以包括或可以可操作地关联于其它类型的传感器，包括例如声学传感器、RF传感器(例如雷达换能器)、LIDAR传感器。可以独立于图像获取设备120或与之协作而使用这些传感器。例如，来自雷达系统(未示出)的数据可以用于验证从图像获取设备120所获取的处理图像接收到的所处理的信息，例如，以过滤源自图像获取设备120所获取的处理图像的特定误报率。
系统100或其各个组件可以合并到各个不同平台中。在一些实施例中，可以在车辆200上包括系统100，如图2A所示。例如，车辆200可以装配有系统100的处理单元110以及任何其它组件，如以上关于图1所描述的那样。虽然在一些实施例中，车辆200可以仅装配有单个图像捕获设备(例如相机)，但在其它实施例(例如结合图2B-图2E所讨论的实施例)中，可以使用多个图像捕获设备。例如，车辆200的图像捕获设备122和124之一如图2A所示可以是ADAS(先进驾驶者辅助系统)成像套件的部分。
车辆200上作为图像获取单元120的部分所包括的图像捕获设备可以位于任何合适的位置处。在一些实施例中，如图2A-图2E以及图3A-图3C所示，图像捕获设备122可以位于后视镜的附近。该位置可以提供与车辆200的驾驶者的视线相似的视线，这样可以有助于确定对于驾驶者什么是可见的以及什么是不可见的。
也可以使用用于图像获取单元120的图像捕获设备的其它位置。例如，图像捕获设备124可以位于车辆200的保险杠上或其中。该位置可以尤其适合于具有广视场的图像捕获设备。保险杠定位式图像捕获设备的视线可以与驾驶者的视线不同。图像捕获设备(例如图像捕获设备122、124和126)也可以位于其它位置中。例如，图像捕获设备可以位于车辆200的各侧视镜之一或二者上或其中、车辆200的顶棚上、车辆200的罩上、车辆200的主干上、车辆200的各侧上，安装在车辆200的任何窗口上，位于其之前或位于其前部中，以及安装在车辆200的前部和/或后部上的光像(light figure)中或其附近，等。图像捕获单元120或作为图像捕获单元120中所使用的多个图像捕获设备之一的图像捕获设备可以具有与车辆的驾驶者的视场(FOV)不同的FOV，并且并非总是看见相同的对象。在一个示例中，图像获取单元120的FOV可以延伸超越典型驾驶者的FOV，并且可以因此对驾驶者的FOV外部的对象进行成像。在又一示例中，图像获取单元120的FOV是驾驶者的FOV的某部分。在一些实施例中，图像获取单元120的FOV与覆盖车辆前面的道路并且可能地还有道路的周围的区域的区段对应。
除了图像捕获设备之外，车辆200可以还包括系统100的各个其它组件。例如，在车辆200上可以包括在要么与车辆的引擎控制单元(ECU)集成要么与之分离的处理单元110。车辆200可以还装配有位置传感器130(例如GPS接收机)，并且可以还包括地图数据库160以及存储器单元140和150。
图2A是根据目前所公开的主题内容的示例的车辆成像系统的图示性侧视图表示。图2B是图2A所示的示例的图示性顶视图说明。如图2B所示，所公开的示例可以包括车辆200，其在其主体中包括系统100，系统100具有：第一图像捕获设备122，其位于后视镜的附近和/或车辆200的驾驶者附近；第二图像捕获设备124，其位于车辆200的保险杠区域(例如保险杠区域210之一)上或其中；以及处理单元110。
如图2C所示，图像捕获设备122和124可以都位于后视镜附近和/或车辆200的驾驶者附近。附加地，虽然图2B和图2C中示出两个图像捕获设备122和124，但应理解，其它实施例可以包括多于两个的图像捕获设备。例如，在图2D和图2E所示的实施例中，在车辆200的系统100中包括第一图像捕获设备122、第二图像捕获设备124以及第三图像捕获设备126。
如图2D所示，图像捕获设备122可以位于车辆200的后视镜附近和/或驾驶者附近，并且图像捕获设备124和126可以位于车辆200的保险杠区域(例如保险杠区域210之一)上或其中。如图2E所示，图像捕获设备122、124和126可以位于车辆200的后视镜附近和/或驾驶者座位附近。所公开的示例不限于图像捕获设备的任何特定数量和配置，并且图像捕获设备可以位于车辆200内和/或其上的任何适当位置中。
还应理解，所公开的实施例不限于特定类型的车辆200，并且可以可应用于所有类型的车辆，包括汽车、卡车、拖车、摩托车、自行车、自平衡运输设备以及其它类型的车辆。
第一图像捕获设备122可以包括任何合适类型的图像捕获设备。图像捕获设备122可以包括光轴。在一个实例中，图像捕获设备122可以包括具有全域式快门的AptinaM9V024WVGA传感器。在另一示例中，可以使用卷帘式快门传感器。图像获取单元120以及实现为图像获取单元120的部分的任何图像捕获设备可以具有任何期望的图像分辨率。例如，图像捕获设备122可以提供1280x960像素的分辨率，并且可以包括卷帘式快门。
图像获取单元120以及实现为图像获取单元120的部分的任何图像捕获设备可以包括各种光学元件。在一些实施例中，可以包括一个或多个透镜，例如，以提供用于图像获取单元120以及用于实现为图像获取单元120的部分的任何图像捕获设备的期望焦距和视场。在一些示例中，例如，实现为图像获取单元120的部分的图像捕获设备可以包括或关联于任何光学元件(例如6mm透镜或12mm透镜)。在一些示例中，图像捕获设备122可以被配置为捕获具有期望视场(FOV)202的图像，如图2D所示。
第一图像捕获设备122可以具有与第一系列的图像扫描线中的每一个的获取关联的扫描率。扫描率可以指代图像传感器可以获取与特定扫描线中所包括的每个像素关联的图像数据的速率。
图2F是根据目前所公开的主题内容的示例的车辆控制系统的图示性表示。如图2F所示，车辆200可以包括节流系统220、制动系统230以及转向系统240。系统100可以通过一个或多个数据链路(例如用于发送数据的任何一个或多个有线和/或无线链路)将输入(例如控制信号)提供给节流系统220、制动系统230以及转向系统240中的一个或多个。例如，基于图像捕获设备122、124和/或126所获取的图像的分析，系统100可以将控制信号提供给节流系统220、制动系统230以及转向系统240中的一个或多个，以(例如，通过产生加速、转向、车道变更等)对车辆200进行导航。此外，系统100可以从节流系统220、制动系统230以及转向系统240中的一个或多个接收指示车辆200的操作条件(例如速度、车辆200是否正制动和/或转向等)的输入。
如图3A所示，车辆200可以还包括用户接口170，以用于与车辆200的驾驶者或乘客进行交互。例如，车辆应用中的用户接口170可以包括触摸屏320、手柄330、按钮340以及麦克风350。车辆200的驾驶者或乘客也可以使用手柄(例如，位于车辆200的转向柱上或其附近，包括例如转向信号手柄)、(例如，位于车辆200的方向盘上的)按钮等，以与系统100进行交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。相似地，在一些实施例中，图像捕获设备122可以位于后视镜310附近。在一些实施例中，用户接口170可以还包括一个或多个扬声器360(例如车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如告警)。
图3B-图3D是与所公开的实施例一致的被配置为位于后视镜(例如后视镜310)之前并且顶靠车辆风挡的示例性相机安装件370的说明。如图3B所示，相机安装件370可以包括图像捕获设备122、124和126。图像捕获设备124和126可以位于眩光挡板380之前，其可以齐平顶靠车辆风挡，并且包括膜和/或抗反射材料的合成物。例如，眩光挡板380可以定位为这样的：其顶靠具有匹配斜面的车辆风挡而对准。在一些实施例中，图像捕获设备122、124和126中的每一个可以位于眩光挡板380之后，如例如图3D中所描述的那样。所公开的实施例不限于图像捕获设备122、124和126、相机安装件370以及眩光挡板380的任何特定配置。图3C是来自正面透视的图3B所示的相机安装件370的说明。
具有本公开的益处的本领域技术人员应理解，可以对前述所公开的实施例进行大量变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当部分中，并且组件可以在提供所公开的实施例的功能的同时重新布置为各种配置。因此，前述配置是示例，并且无论上述配置如何，系统100都可以提供宽范围的功能以分析车辆200的周围，并且响应于该分析，对车辆200进行导航和/或另外控制和/或操作。车辆200的导航、控制和/或操作可以包括：(直接地或经由中间控制器(例如以上提及的控制器))启用和/或禁用与车辆200关联的各个特征、组件、设备、模式、系统和/或子系统。导航、控制和/或操作可以替代地或附加地包括例如通过提供视觉、音频、触觉和/或其它感知告警和/或指示与可以位于车辆200内部或外部的用户、驾驶者、乘客、路人和/或其它车辆或用户的交互。
如以下进一步详细讨论的那样，并且与各个所公开的实施例一致，系统100可以提供与自主驾驶、半自主驾驶和/或驾驶者辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如GPS位置信息)、地图数据、速度数据和/或来自车辆200中所包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集用于分析的数据。此外，系统100可以分析所收集的数据，以确定车辆200是否应采取特定动作，并且然后自动地采取所确定的动作，而无需人工介入。应理解，在一些情况下，车辆自动地采取的动作处于人工监督下，并且人工介入调整中止或超越机器动作的能力是在特定情况下或在所有时间启用的。例如，当车辆200在没有人工介入的情况下进行导航时，系统100可以(例如，通过将控制信号发送到节流系统220、制动系统230以及转向系统240中的一个或多个)自动地控制车辆200的制动、加速和/或转向。此外，系统100可以分析所收集的数据，并且基于所收集的数据的分析而将警告、指示、推荐、告警或指令发放到车辆内部或外部的驾驶者、乘客、用户或其它人(或发放到其它车辆)。以下提供关于系统100所提供的各个实施例的附加细节。
多成像系统
如上所述，系统100可以提供使用单相机系统或多相机系统的驾驶辅助功能或半自主或完全自主驾驶功能。多相机系统可以使用面对车辆的前向方向上的一个或多个相机。在其它实施例中，多相机系统可以包括面对车辆的侧部或车辆的后部的一个或多个相机。在一个实施例中，例如，系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如图像捕获设备122和124)可以位于车辆(例如车辆200)的前部或侧部处。第一相机可以具有大于、小于第二相机的视场或与之部分地重叠的视场。此外，第一相机可以连接到第一图像处理器，以执行第一相机所提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器，以执行第二相机所提供的图像的单目图像分析。可以组合第一图像处理器和第二图像处理器的输出(例如所处理的信息)。在一些实施例中，第二图像处理器可以从第一相机和第二相机二者接收图像，以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中，相机中的每一个具有不同的视场。该系统可以因此基于从位于车辆的前向和侧部的变化的距离处的对象推导的信息而进行判断。对单目图像分析的引用可以指代这样的实例：基于从单个视点(例如，从单个相机)捕获的图像而执行图像分析。立体图像分析可以指代这样的实例：基于在图像捕获参数的一个或多个变化的情况下所捕获的两个或更多个图像而执行图像分析。例如，所捕获的适合于执行立体图像分析的图像可以包括从两个或更多个不同位置、从不同视场、使用不同焦距、连同视差信息一起等捕获的图像。
例如，在一个实施例中，系统100可以使用图像捕获设备122-126实现三相机配置。在该配置中，图像捕获设备122可以提供窄视场(例如34度、或选自大约20至45度的范围的其它值等)，图像捕获设备124可以提供宽视场(例如150度或选自大约100至大约180度的范围的其它值)，并且图像捕获设备126可以提供中等视场(例如46度或选自大约35至大约60度的范围的其它值)。在一些实施例中，图像捕获设备126可以充当主相机或主级相机。图像捕获设备122-126可以位于后视镜310之后，并且实质上侧接侧地定位(例如隔开6cm)。此外，在一些实施例中，如上所述，图像捕获设备122-126中的一个或多个可以安装在与车辆200的风挡齐平的眩光挡板380之后。这种遮挡可以运作为使得来自汽车内部的任何反射对图像捕获设备122-126的影响最小化。
在另一实施例中，如以上结合图3B和图3C所讨论的那样，宽视场相机(例如以上示例中的图像捕获设备124)可以安装得低于窄视场相机和主视场相机(例如以上示例中的图像设备122和126)。该配置可以提供来自宽视场相机的自由视线。为了减少反射，相机可以安装得靠近车辆200的风挡，并且可以在相机上包括偏光器，以抑制反射光。
三相机系统可以提供特定性能特性。例如，一些实施例可以包括用于由一个相机基于来自另一相机的检测结果而验证对象的检测的能力。在上述三相机配置中，处理单元110可以包括例如三个处理设备(例如三个EyeQ系列处理器芯片，如上所述)，其中，每个处理设备专用于处理图像捕获设备122-126中的一个或多个所捕获的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机二者接收图像，并且执行窄FOV相机或甚至相机的剪切的FOV的处理。在一些实施例中，根据目前所公开的主题内容的示例，第一处理设备可以被配置为：使用受训系统，以估计车辆的当前位置前面的未来路径。在一些实施例中，受训系统可以包括网络(例如神经网络)。在一些其它实施例中，受训系统可以包括使用例如机器学习算法的深度学习系统。
第一处理设备可以进一步适用于执行图像处理任务，例如，其可以旨在检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。此外，第一处理设备可以计算来自主相机和窄相机的各图像之间的像素的差异，并且创建车辆200的环境的3D重构。第一处理设备可以然后将3D重构与3D地图数据(例如深度地图)或与基于来自另一相机的信息而计算的3D信息组合。在一些实施例中，根据目前所公开的主题内容的示例，第一处理设备可以被配置为：对深度信息(例如3D地图数据)使用受训系统，以估计车辆的当前位置前面的未来路径。在该实现方式中，系统(例如神经网络、深度学习系统等)可以关于深度信息(例如3D地图数据)而受训练。
第二处理设备可以从主相机接收图像，并且可以被配置为：执行视觉处理，以检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。附加地，第二处理设备可以计算相机位移，并且基于位移而计算连续图像之间的像素的差异，并且创建场景的3D重构(例如，来自运动的结构)。第二处理设备可以将来自基于运动的3D重构的结构发送到第一处理设备，以与立体3D图像或与通过立体处理所获得的深度信息组合。
第三处理设备可以从宽FOV相机接收图像，并且处理图像，以检测车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。第三处理设备可以执行附加处理指令，以分析图像，从而标识图像中移动的对象(例如改变车道的车辆、行人等)。
在一些实施例中，使得独立地捕获并且处理基于图像的信息流可以提供用于在系统中提供冗余度的机会。该冗余度可以包括例如：使用第一图像捕获设备和从该设备处理的图像，以验证和/或补充通过至少从第二图像捕获设备捕获并且处理图像信息所获得的信息。
在一些实施例中，系统100可以在提供用于车辆200的导航辅助中使用两个图像捕获设备(例如图像捕获设备122和124)，并且使用第三图像捕获设备(例如图像捕获设备126)，以提供冗余度并且验证从其它两个图像捕获设备接收到的数据的分析。例如，在该配置中，图像捕获设备122和124可以提供用于系统100进行立体分析的图像，以用于对车辆200进行导航，而图像捕获设备126可以提供用于系统100进行单目分析的图像，以提供基于从图像捕获设备122和/或图像捕获设备124捕获的信息的冗余度和验证。也就是说，图像捕获设备126(以及对应处理设备)可以认为提供冗余子系统，以用于提供关于从图像捕获设备122和124推导的分析的检查(例如，以提供自动紧急制动(AEB)系统)。
本领域技术人员应理解，以上相机配置、相机放置方式、相机的数量、相机位置等仅是示例。在不脱离所公开的实施例的范围的情况下，这些组件以及相对于整个系统所描述的其它组件可以被组装并且用在各种不同配置中。关于使用多相机系统以提供驾驶者辅助和/或自主车辆功能的其它细节如下。
具有本公开的益处的本领域技术人员应理解，可以对前述所公开的示例进行大量变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当部分中，并且组件可以在提供所公开的实施例的功能的同时重新布置为各种配置。因此，前述配置是示例，并且无论上述配置如何，系统100都可以提供宽范围的功能，以分析车辆200的周围并且对车辆200进行导航，或响应于分析而对车辆的用户进行告警。
如以下进一步详细讨论的那样，并且根据目前所公开的主题内容的示例，系统100可以提供与自主驾驶、半自主驾驶和/或驾驶者辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如GPS位置信息)、地图数据、速度数据和/或来自车辆200中所包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集用于分析的数据。此外，系统100可以分析所收集的数据，以确定车辆200是否应采取特定动作，并且然后在没有人工介入的情况下自动地采取所确定的动作，或其可以提供可以对驾驶者指示需要采取特定动作的警告、告警或指令。自动动作可以在人工监督下得以执行，并且可以经受人工介入和/或超越。例如，当车辆200在没有人工介入的情况下进行导航时，系统100可以(例如，通过将控制信号发送到节流系统220、制动系统230以及转向系统240中的一个或多个)自动地控制车辆200的制动、加速和/或转向。此外，系统100可以分析所收集的数据，并且基于所收集的数据的分析而将警告和/或告警发放到车辆占有者。
现参照图4，图4是根据目前所公开的主题内容的示例的处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法的流程图说明。所述处理图像的方法可以包括：获得第一多个训练图像，第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像(块410)。在一些实施例中，第一多个图像不限于是对道路进行导航的车辆前面的环境的图像，并且可以包括对道路进行导航的车辆的其它侧部(例如，车辆的侧部处的环境和/或后向方向处的环境)的图像。
对于第一多个训练图像中的每一个，可以获得车辆的相应目前位置前面的车辆的预先存储的路径(块420)。现附加地参照图5A-图5C，图5A-图5C是根据目前所公开的主题内容的示例的处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法的特征的图形说明。在图5A中可见，车辆510正进入道路520的区段。车辆510包括捕获图像的相机(未示出)。在图5A中，通过表示车辆510中所安装的相机的的FOV的锥形530示出图像。图像描述相机的FOV中的任意对象。图像典型地包括道路对象(例如道路标志、车道标记、路缘、其它车辆等)。此外，处理图像以提供能够基于当前位置处所捕获的图像而估计车辆的当前位置前面的未来路径的受训系统的方法中所使用的图像中的至少一些包括其它任意对象(例如道路的侧部处的结构和树等)。
在图5A-图5C所示的示例中，车辆510所板载的相机所捕获的图像是对道路520进行导航的车辆510前面的环境的图像。
在图5B和图5C中可见，车辆510沿着道路520(的片段)行进，并且其路径得以记录。以销钉形541-547标记车辆510的路径。记录从位置541到位置547的车辆510沿着道路520的路径。因此，从点541向下道路520的车辆的未来路径是可用的。应理解，车辆510的特定位置以及道路的2D或3D形状是任意的，并且目前所公开的主题内容的示例可应用于任何道路上的各个位置。如图5C所示，随着车辆510沿着道路520行进，相机捕获锥形551-554所表示的多个图像。可以关于位置541-547中的每一个或仅关于所记录的位置中的一些而捕获一个或多个图像，然而为了方便，在图5C中，仅关于车辆510沿着道路520的所记录的位置的子集示出图像。
继续于图4的描述，系统(例如神经网络、深度学习系统等)可以受训练，以给定图像而提供车辆的相应目前位置前面的用于对道路进行导航的车辆的未来路径(块430)。训练系统(块430)可以包括：提供第一多个训练图像作为对受训系统的输入(块440)；在训练的每个迭代时，基于通过受训系统的权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数(块450)；以及根据损失函数的结果来更新受训系统的权重(块460)。
典型地，非常大数量的图像在训练阶段期间提供给受训系统，并且对于每个图像，提供车辆的相应目前位置前面的车辆的预先存储的路径。可以通过在捕获图像的同时记录车辆沿着车辆正行进的道路的未来位置来获得预先存储的路径。在另一示例中，可以人工地或使用通过以视觉方式或以算法方式标识指示车辆在道路上的位置的道路中或道路附近的各个对象的图像处理来生成预先存储的路径。车辆在道路上的位置可以是当捕获图像时在会话期间车辆在道路上的实际位置，或其可以是所估计的或人为地生成的位置。例如，在一个示例中，可以每隔几米或甚至几十米拍摄图像，可以通过技术人员基于车道标记或基于技术人员以视觉方式在每个图像中标识的任何其它对象而概括车辆的未来路径。在车道标记示例中，技术人员可以关于在距车道标记特定(例如预定)偏移处(例如在其任一侧上由车道标记区分的车道的中间)车道标记显现的图像而概括未来路径。
图9和图10示出与一些所公开的实施例一致的在训练阶段期间可以例如使用受训系统(例如神经网络、深度学习系统等)提供给机器学习处理的图像。图10附加地示出图像处理或技术人员所检测的车道标记1012上的点1010以及车道的中心上的点1020。
现附加地参照图8A，图8A示出根据目前所公开的主题内容的示例的对道路进行导航的车辆前面的环境的图像810以及使用车辆的自我运动关于该图像所记录的预先存储的路径812；并且参照图8B，图8B示出根据目前所公开的主题内容的示例的对道路进行导航的车辆前面的环境的图像820，所述图像包括由技术人员或由计算机视觉算法标记的所标记的车道标记822。可以关于图8B所示的图像生成并且预先存储基于所标记的车道标记的预先存储的路径。可以通过处理随后图像(例如，随后图像是随着汽车继续在道路前面(例如当前位置的前向)移动而捕获的图像)来确定可以用于定义车辆的当前位置(捕获图像的位置)前面的车辆的路径的关于给定的图像的车辆的自我运动轨道。
如上所述，在训练的每个迭代时，基于通过权重的当前状态所估计的相应临时未来路径以及相应预先存储的路径而计算损失函数(块450)。可以根据损失函数的结果来更新受训系统的权重(块460)。现参照图11A和图11B，图11A和图11B提供根据目前所公开的主题内容的示例的训练的特定方面的图形说明。在图11A中，示出训练的迭代。在图11A中，基于捕获图像1110的位置前面的道路上的车道标记的(例如，由技术人员进行的)检测而生成预先存储的路径1112。受训系统计算临时未来路径1114，并且基于通过权重的当前状态所估计的相应临时未来路径1114以及相应预先存储的路径1112而计算损失函数。根据目前所公开的主题内容的示例，损失函数使用预先存储的路径1112以及临时未来路径1114的顶视图(“世界”)表示(例如，使用相机焦距、相机高度和动态视野)，并且绝对损失得以计算。损失函数可以被配置为：对真实世界中的几米的误差施加罚(其聚焦于关于远误差的得分)。在一些实施例中，根据目前所公开的主题内容的示例，所标记的对象(例如技术人员人工地标记的车道标记)可以还包括虚拟对象(例如汇合点、车道标记消失的区域、未标记的高速路出口或并道等)，如例如图13所示，其中，添加虚拟车道标记1310以标记高速路出口。
在图11B中，预先存储的路径1122基于车辆的自我运动以及沿着(在此情况下处于)捕获1120图像的位置前面的道路的其随后路径而得以生成。根据目前所公开的主题内容的示例，对于基于自我运动的预先存储的路径数据，可以确定预先存储的路径1122与受训系统所提供的临时未来路径1124之间的优化偏移，并且在通过优化偏移的校正之后可以计算损失函数。
根据目前所公开的主题内容的示例，系统的训练可以被执行直到满足停止条件。在一些实施例中，停止条件可以是特定数量的迭代。例如，第一多个训练图像可以包括相对较高数量的、道路上相对稀少地显现的环境的图像(例如包括弯曲道路的环境的图像)。在另一示例中，第一多个训练图像包括相对较高数量的、包含车道分道、车道并道、高速路出口、高速路入口和/或汇合点的环境的图像；在又一示例中。在又一示例中，第一多个训练图像可以包括相对较高数量的、包含车辆前面的道路上的不良或无车道标记、Botts点和/或阴影的环境的图像。
根据目前所公开的主题内容的另一方面，提供一种用于估计车辆的当前位置前面的未来路径的系统和方法。现参照图7，图7是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的流程图说明。所述方法可以由处理器实现。根据目前所公开的主题内容的示例，所述估计车辆的当前位置前面的未来路径的方法可以包括：获得对道路进行导航的车辆的当前任意位置前面的环境的图像(块710)。可以获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的系统(块720)。在一些实施例中，受训系统可以包括网络(例如神经网络)。在其它实施例中，受训系统可以是使用例如机器学习算法的深度学习系统。可以将受训系统应用于车辆的当前任意位置前面的环境的图像(块730)。受训系统可以提供当前任意位置前面的车辆的所估计的未来路径(块740)。
现参照图6，图6是根据目前所公开的主题内容的示例的估计车辆的当前位置前面的未来路径的方法的特定方面的图形说明。如图6所示，车辆610正进入道路620的区段。道路620是任意道路，并且来自道路620的图像可以已经或可以尚未用在系统(例如神经网络、深度学习系统等)的训练中。车辆610包括捕获图像的相机(未示出)。车辆620所板载的相机所捕获的图像可以受剪切或不受剪切，或以任何其它方式(例如，下采样)受处理，然后馈送到受训系统。在图6中，通过表示车辆610中所安装的相机的的FOV的锥形630示出图像。图像描述相机的FOV中的任意对象。图像可以但不一定包括道路对象(例如道路标志、车道标记、路缘、其它车辆等)。图像可以包括其它任意对象(例如道路的侧部处的结构和树等)。
受训系统可以应用于车辆610的当前任意位置前面的环境的图像630，并且可以提供当前任意位置前面的车辆610的所估计的未来路径。在图6中，所估计的未来路径由销钉形641-647表示。图12A-图12D进一步示出与所公开的实施例一致的包括所估计的未来路径1210-1240的图像。
在一些实施例中，受训系统可以包括全局函数的分段式仿射函数。在一些实施例中，全局函数可以包括：卷积、最大池化和/或修正线性单元(ReLU)。
在一些实施例中，所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以控制车辆的至少一个电子或机械单元，以改变车辆的至少一个运动参数。在一些实施例中，所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给车辆的驾驶者。
在一些实施例中，当前位置前面的车辆的所估计的未来路径可以进一步基于：使用至少一个分类器来标识环境的图像中显现的一个或多个预定义对象。
所述方法可以还包括：利用车辆的当前位置前面的所估计的未来路径，以提供用于车辆的转向控制功能的控制点。
在一些实施例中，将受训系统应用于车辆的当前位置前面的环境的图像提供当前位置前面的车辆的两个或更多个所估计的未来路径。
在一些实施例中，所述方法可以还包括：在估计车辆的当前位置前面的道路简档中，利用车辆的当前位置前面的所估计的未来路径。
在一些实施例中，将受训系统应用于车辆的当前位置前面的环境的图像提供当前位置前面的车辆的两个或更多个所估计的未来路径，并且可以还包括：沿着当前位置前面的车辆的两个或更多个所估计的未来路径中的每一个估计道路简档。
在一些实施例中，所述方法可以还包括：在检测位于车辆的未来路径中或其附近的一个或多个车辆中，利用车辆的当前位置前面的所估计的未来路径。
在一些实施例中，所述方法可以还包括：使得车辆的至少一个电子或机械单元基于确定为处于车辆的未来路径中或其附近的一个或多个车辆的位置而改变车辆的至少一个运动参数。
在一些实施例中，所述方法可以还包括：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
在一些实施例中，除了处理对道路进行导航的车辆前面的环境的图像以用于训练系统(例如神经网络、深度学习系统等)以基于图像而估计车辆的未来路径和/或使用受训系统来处理对道路进行导航的车辆前面的环境的图像以估计车辆的未来路径之外，置信度等级可以提供于训练阶段中或用在使用受训系统的导航阶段中。整体路径预测(HPP)置信度是受训系统(例如神经网络)进行的输出，与用于HPP的神经网络相似。该构思可以生成分类器，其尝试猜测另一分类器关于同一图像的误差。实现该操作一种方法是使用受训系统(例如第一神经网络)以给出所使用的输出(例如车道的位置、或车道的中心、或所预测的未来路径)并且训练另一系统(例如第二神经网络)，使用同一输入数据(或该数据的子集、或从该数据提取的特征)以估计第一受训系统关于该图像的误差(例如，估计第一受训系统的预测的绝对平均损失)。
已经为了说明的目的而提出前面的描述。其并非是囊括性的，并且不限于所公开的精确形式或实施例。从说明书的考虑以及所公开的实施例的实践，修改和改动对于本领域技术人员将是显然的。附加地，虽然所公开的实施例的各方面描述为存储在存储器中，但本领域技术人员应理解，这些方面也可以存储在其它类型的计算机可读介质(例如辅存储设备(例如硬盘或CD ROM)或其它形式的RAM或ROM、USB介质、DVD、蓝光、4K超HD蓝光、或其它光驱介质)上。
基于所写的描述以及所公开的方法的计算机程序处于有经验的开发者的技能内。各种程序或程序模块可以使用本领域技术人员公知的任何技术而得以创建，或可以结合现有软件得以设计。例如，可以通过或凭借.Net Framework、.Net Compact Framework(以及有关语言(例如Visual Basic、C等))Java、C++、对象–C、HTML、HTML/AJAX组合、XML或包括有Java小应用的HTML来设计程序区段或程序模块。
此外，虽然本文已经描述了说明性实施例，但本领域技术人员基于本公开应理解具有(例如贯穿各个实施例的各方面的)等同要素、修改、省略、组合、适配或改动的任何和所有实施例的范围。权利要求中的限定要基于权利要求中所采用的语言而宽泛地解释，而不限于该说明书中或在申请的诉讼期间所描述的示例。示例要理解为非排他性的。此外，可以通过任何方式(包括通过重排步骤和/或插入或删除步骤)来修改所公开的方法的步骤。因此，说明书和示例旨在仅看作说明性的，其中，真实范围和精神由所附权利要求及其等同物的完整范围指示。

Claims (40)

1.一种用于估计车辆的当前位置前面的未来路径的系统，包括：
至少一个处理器，其被编程为：
获得对道路进行导航的车辆的当前任意位置前面的环境的图像；
获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统，其中，通过以下方式训练所述受训系统：
获得第一多个训练图像，其中，所述第一多个训练图像中的每一个是目标车辆前面的环境的图像；
对于所述第一多个训练图像中的每一个，获得相应目标车辆的相应目前位置前面的所述相应目标车辆的相应预先存储的路径，其中基于在捕获相应第二多个训练图像的相应时刻所述相应目标车
辆在所述道路上的位置而确定所述相应目标车辆的所述相应目前
位置前面的所述相应目标车辆的所述相应预先存储的路径，并且其中，所述第二多个训练图像是在与所述相应目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像，并使用所述相应目前位置前面的所述相应目标车辆的所述相应预先存储的路径来标记
所述相应目前位置前面的所述相应目标车辆的相应未来路径；以及
使用所述第一多个训练图像和对所述第一多个训练图像中的每一个所标记的相应未来路径来训练所述受训系统，以给定输入图像而提供预测的未来路径；
将受训系统应用于所述车辆的当前任意位置前面的环境的图像；
基于将受训系统应用于所述图像而提供当前任意位置前面的所述车辆的所估计的未来路径，其中，所估计的未来路径由一系列点表示；以及
利用所述车辆的当前位置前面的所估计的未来路径的一系列点，以控制所述车辆的转向控制功能以朝所述一系列点中的至少一个点行驶。
2.如权利要求1所述的系统，其中，受训系统包括全局函数的分段式仿射函数。
3.如权利要求2所述的系统，其中，所述全局函数包括卷积、最大池化或修正线性单元。
4.如权利要求2所述的系统，其中，所述至少一个处理器进一步被编程为：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。
5.如权利要求2所述的系统，其中，所述至少一个处理器进一步被编程为：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
6.如权利要求1所述的系统，其中，所述当前位置前面的所述车辆的所估计的未来路径进一步基于：使用至少一个分类器标识所述环境的图像中显现的一个或多个预定义对象。
7.如权利要求1所述的系统，其中，将受训系统应用于所述车辆的当前位置前面的环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
8.如权利要求1所述的系统，其中，所述至少一个处理器进一步被编程为：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
9.如权利要求1所述的系统，其中，将受训系统应用于所述车辆的当前位置前面的环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
10.如权利要求1所述的系统，其中，所述至少一个处理器进一步被编程为：在检测位于所述车辆的未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
11.如权利要求10所述的系统，其中，所述至少一个处理器进一步被编程为：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
12.如权利要求10所述的系统，其中，所述至少一个处理器进一步被编程为：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
13.一种处理图像的方法，包括：
获得第一多个训练图像，其中，所述第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像；
对于所述第一多个训练图像中的每一个，获得所述车辆的相应目前位置前面的所述车辆的预先存储的路径，其中基于在捕获相应第二多个训练图像的相应时刻所述车辆在所述道路上的位置而确定所述车辆的所述相应目前位置前面的所述车辆的所述预先存储的路径，并且其中，所述第二多个训练图像是在与所述相应目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像，并使用所述相应目前位置前面的所述车辆的预先存储的路径来标记所述相应目前位置前面的所述车辆的未来路径；
训练系统，以给定图像而提供由一系列点表示的未来路径，用于由对车辆的相应目前位置前面的道路进行导航的车辆利用以控制所述车辆的转向控制功能以朝所述一系列点中的至少一个点行驶，其中，训练所述系统包括：
提供所述第一多个训练图像作为对受训系统的输入；
在训练的每个迭代时，基于通过受训系统的权重的当前状态所估计的相应临时未来路径以及相应所标记的未来路径，而计算损失函数；以及
根据所述损失函数的结果来更新受训系统的权重。
14.如权利要求13所述的方法，其中，获得所述第一多个训练图像还包括：对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据。
15.如权利要求14所述的方法，其中，获得所述第一多个训练图像包括：在来自所述第一多个训练图像的至少一个图像中获得至少一个车道标记的位置，并且其中，对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据包括：对于来自所述第一多个训练图像的所述至少一个图像，根据所述至少一个图像中的所述至少一个车道标记的位置，来确定在捕获所述至少一个图像的时刻所述车辆在所述道路上的位置。
16.如权利要求15所述的方法，其中，根据所述至少一个图像中的所述至少一个车道标记的位置来确定在捕获来自所述第一多个训练图像的所述至少一个图像的时刻所述车辆在所述道路上的位置包括：确定在距所述至少一个车道标记的位置的预定义偏移处所述车辆在所述道路上的位置。
17.如权利要求13所述的方法，其中，训练所述系统包括多个迭代，并且被执行直到满足停止条件。
18.如权利要求13所述的方法，还包括：作为输出，提供受训系统，其被配置为：给定对道路进行导航的车辆前面的环境的任意输入图像，提供关于所述车辆的未来路径估计。
19.如权利要求13所述的方法，其中，所述第一多个训练图像包括相对较高数量的、道路上相对稀少地显现的环境的图像。
20.如权利要求19所述的方法，其中，所述第一多个训练图像包括相对较高数量的、包含弯曲道路的环境的图像。
21.如权利要求19所述的方法，其中，所述第一多个训练图像包括相对较高数量的、包含车道分道、车道并道、高速路出口、高速路入口或汇合点的至少一个的环境的图像。
22.如权利要求19所述的方法，其中，所述第一多个训练图像包括相对较高数量的、包含所述车辆前面的道路上的不良或无车道标记、Botts点或阴影的至少一个的环境的图像。
23.如权利要求17所述的方法，其中，所述停止条件是预定义数量的迭代。
24.如权利要求13所述的方法，其中，受训系统包括神经网络。
25.一种估计车辆的当前位置前面的未来路径的方法，包括：
获得对道路进行导航的车辆的当前任意位置前面的环境的图像；
获得受训练以在对道路进行导航的车辆前面的环境的第一多个图像上估计未来路径的受训系统，其中，通过以下方式训练所述受训系统：
获得第一多个训练图像，其中，所述第一多个训练图像中的每一个是目标车辆前面的环境的图像；
对于所述第一多个训练图像中的每一个，获得相应目标车辆的相应目前位置前面的所述相应目标车辆的相应预先存储的路径，其中基于在捕获相应第二多个训练图像的相应时刻所述相应目标车
辆在所述道路上的位置而确定所述相应目标车辆的所述相应目前
位置前面的所述相应目标车辆的所述相应预先存储的路径，并且其中，所述第二多个训练图像是在与所述相应目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像，并对于所述第一多个训练图像中的每一个，使用所述相应目前位置前面的所述相应目标车辆的所述相应预先存储的路径来标记所述相应目前位置前面的所述相应目标车辆的相应未来路径；以及
使用所述第一多个训练图像和对所述第一多个训练图像中的每一个所标记的相应未来路径来训练所述受训系统，以给定输入图像而提供预测的未来路径；
将受训系统应用于所述车辆的当前任意位置前面的环境的图像；
基于将受训系统应用于所述图像而提供当前任意位置前面的所述车辆的所估计的未来路径，其中，所估计的未来路径由一系列点表示；以及
利用所述车辆的当前位置前面的所估计的未来路径的一系列点，以控制所述车辆的转向以朝所述一系列点中的至少一个点行驶。
26.如权利要求25所述的方法，其中，受训系统包括全局函数的分段式仿射函数。
27.如权利要求26所述的方法，其中，所述全局函数包括卷积、最大池化或修正线性单元。
28.如权利要求26所述的方法，还包括：利用所述车辆的当前位置前面的所估计的未来路径，以控制所述车辆的至少一个电子或机械单元，以改变所述车辆的至少一个运动参数。
29.如权利要求26所述的方法，还包括：利用所述车辆的当前位置前面的所估计的未来路径，以将感知反馈提供给所述车辆的驾驶者。
30.如权利要求25所述的方法，其中，所述当前位置前面的所述车辆的所估计的未来路径进一步基于：使用至少一个分类器标识所述环境的图像中显现的一个或多个预定义对象。
31.如权利要求25所述的方法，其中，将受训系统应用于所述车辆的当前位置前面的环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径。
32.如权利要求25所述的方法，还包括：在估计所述车辆的当前位置前面的道路简档中，利用所述车辆的当前位置前面的所估计的未来路径。
33.如权利要求25所述的方法，其中，将受训系统应用于所述车辆的当前位置前面的环境的图像提供所述当前位置前面的所述车辆的两个或更多个所估计的未来路径，并且还包括：沿着所述当前位置前面的所述车辆的所述两个或更多个所估计的未来路径中的每一个估计道路简档。
34.如权利要求25所述的方法，还包括：在检测位于所述车辆的未来路径中或其附近的一个或多个车辆中，利用所述车辆的当前位置前面的所估计的未来路径。
35.如权利要求34所述的方法，还包括：使得所述车辆的至少一个电子或机械单元基于确定为处于所述车辆的未来路径中或其附近的一个或多个车辆的位置而改变所述车辆的至少一个运动参数。
36.如权利要求34所述的方法，还包括：触发感知告警，以向用户指示所述一个或多个车辆确定为处于所述车辆的未来路径中或其附近。
37.一种用于处理图像的装置，包括：
至少一个处理器，其被编程为：
获得第一多个训练图像，其中，所述第一多个训练图像中的每一个是对道路进行导航的车辆前面的环境的图像；
对于所述第一多个训练图像中的每一个，获得所述车辆的相应目前位置前面的所述车辆的预先存储的路径，其中基于在捕获相应第二多个训练图像的相应时刻所述车辆在所述道路上的位置而确定所述车辆的所述相应目前位置前面的所述车辆的所述预先存储的路径，并且其中，所述第二多个训练图像是在与所述相应目前位置关联的图像之后捕获的来自所述第一多个训练图像的图像，并使用所述相应目前位置前面的所述车辆的预先存储的路径来标记所述相应目前位置前面的所述车辆的未来路径；
训练系统，以给定图像而提供由一系列点表示的未来路径，用于由对车辆的相应目前位置前面的道路进行导航的车辆利用以控制所述车辆的转向控制功能以朝所述一系列点中的至少一个点行驶，其中，训练所述系统包括：
提供所述第一多个训练图像作为对受训系统的输入；
在训练的每个迭代时，基于通过权重的当前状态所估计的相应临时未来路径以及相应所标记的未来路径而计算损失函数；以及
根据所述损失函数的结果来更新受训系统的权重。
38.如权利要求37所述的装置，其中，获得所述第一多个训练图像还包括：对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据。
39.如权利要求38所述的装置，其中，获得所述第一多个训练图像包括：在来自所述第一多个训练图像的至少一个图像中获得至少一个车道标记的位置，并且其中，对于来自所述第一多个训练图像的图像中的每一个，获得指示在捕获所述图像的时刻所述车辆在所述道路上的位置的数据包括：对于来自所述第一多个训练图像的所述至少一个图像，根据所述至少一个图像中的所述至少一个车道标记的位置，来确定在捕获所述至少一个图像的时刻所述车辆在所述道路上的位置。
40.如权利要求37所述的装置，其中，受训系统包括神经网络。
CN201780005722.8A 2016-01-05 2017-01-05 用于估计未来路径的系统和方法 Active CN108496178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111593963.3A CN114612877A (zh) 2016-01-05 2017-01-05 用于估计未来路径的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662275046P 2016-01-05 2016-01-05
US62/275,046 2016-01-05
US201662373153P 2016-08-10 2016-08-10
US62/373,153 2016-08-10
PCT/IB2017/000038 WO2017118907A1 (en) 2016-01-05 2017-01-05 Systems and methods for estimating future paths

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111593963.3A Division CN114612877A (zh) 2016-01-05 2017-01-05 用于估计未来路径的系统和方法

Publications (2)

Publication Number Publication Date
CN108496178A CN108496178A (zh) 2018-09-04
CN108496178B true CN108496178B (zh) 2023-08-08

Family

ID=58231654

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780005722.8A Active CN108496178B (zh) 2016-01-05 2017-01-05 用于估计未来路径的系统和方法
CN202111593963.3A Pending CN114612877A (zh) 2016-01-05 2017-01-05 用于估计未来路径的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111593963.3A Pending CN114612877A (zh) 2016-01-05 2017-01-05 用于估计未来路径的系统和方法

Country Status (5)

Country Link
US (2) US11023788B2 (zh)
EP (2) EP3995782A1 (zh)
JP (1) JP7052174B2 (zh)
CN (2) CN108496178B (zh)
WO (1) WO2017118907A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836895B1 (en) 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
CN106080590B (zh) * 2016-06-12 2018-04-03 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
US10176388B1 (en) 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
KR101878490B1 (ko) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
US10424079B2 (en) * 2017-04-05 2019-09-24 Here Global B.V. Unsupervised approach to environment mapping at night using monocular vision
JP6673293B2 (ja) * 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
US10621448B2 (en) 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
US10987984B2 (en) * 2017-09-25 2021-04-27 Continental Automotive Systems, Inc. Automated trailer hitching using image coordinates
US20210362710A1 (en) * 2017-11-02 2021-11-25 Lg Electronics Inc. Traveling system and vehicle
CN111587407B (zh) * 2017-11-10 2024-01-23 辉达公司 用于安全且可靠的自主车辆的系统和方法
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
JP7133927B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
DE102018100909A1 (de) * 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
KR102698110B1 (ko) * 2018-04-18 2024-08-23 모빌아이 비젼 테크놀로지스 엘티디. 카메라를 이용한 차량 환경 모델링
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Ｓｕｂａｒｕ 区画線認識装置
US10800412B2 (en) * 2018-10-12 2020-10-13 GM Global Technology Operations LLC System and method for autonomous control of a path of a vehicle
US11636681B2 (en) * 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
DE102018221054B4 (de) 2018-12-05 2020-12-10 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
US11216000B2 (en) 2019-01-17 2022-01-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for estimating lane prediction errors for lane segments
US10933880B2 (en) 2019-01-17 2021-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing lane curvature estimates
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
DE102019206720B4 (de) * 2019-05-09 2021-08-26 Volkswagen Aktiengesellschaft Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
CN110349119B (zh) * 2019-05-27 2020-05-19 北京邮电大学 基于边缘检测神经网络的路面病害检测方法和装置
CN110450718A (zh) * 2019-08-27 2019-11-15 广州小鹏汽车科技有限公司 斜坡驾驶的辅助监视方法、装置、介质、控制终端及汽车
CN110794844B (zh) * 2019-11-18 2023-03-21 北京百度网讯科技有限公司 自动驾驶方法、装置、电子设备及可读存储介质
DE102020105711A1 (de) * 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
US11390286B2 (en) * 2020-03-04 2022-07-19 GM Global Technology Operations LLC System and process for end to end prediction of lane detection uncertainty
US11004233B1 (en) * 2020-05-01 2021-05-11 Ynjiun Paul Wang Intelligent vision-based detection and ranging system and method
CN113942524B (zh) * 2020-07-15 2023-08-08 广州汽车集团股份有限公司 一种车辆行驶控制方法、系统及计算机可读存储介质
DE102020210376A1 (de) * 2020-08-14 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Hardware-Agenten in einer Steuersituation mit mehreren Hardware-Agenten
US11817000B2 (en) * 2020-12-10 2023-11-14 Rockwell Collins, Inc. System and method to reduce runway occupancy time using pseudo threshold
DE102021102526A1 (de) * 2021-02-03 2022-08-04 Ford Global Technologies, Llc Festlegen einer Schlaglöchern ausweichenden Trajektorie eines Kraftfahrzeuges
US20220412756A1 (en) * 2021-06-25 2022-12-29 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN114636417B (zh) * 2022-05-23 2022-09-02 珠海翔翼航空技术有限公司 基于图像识别的飞行器迫降路径规划方法、系统和设备
US20240004087A1 (en) * 2022-07-01 2024-01-04 Southwest Research Institute Center Path Estimator for Agricultural Windrows
CN117422115A (zh) * 2022-07-06 2024-01-19 通用汽车环球科技运作有限责任公司 用于自动驾驶运载工具的边缘增强增量学习
US20240400095A1 (en) * 2023-05-31 2024-12-05 Zoox, Inc. Vehicle trajectory tree structure including learned trajectories

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408772A (zh) * 2008-11-21 2009-04-15 哈尔滨工程大学 Auv智能避碰装置及避碰方法
CN101793528A (zh) * 2009-01-26 2010-08-04 通用汽车环球科技运作公司 使用传感器融合来估计车道路径的系统和方法
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN101837781A (zh) * 2009-03-06 2010-09-22 通用汽车环球科技运作公司 用于自动车道对正或换道的控制系统的基于模型的预测控制
CN101929867A (zh) * 2009-05-08 2010-12-29 通用汽车环球科技运作公司 使用道路模型的畅通路径检测
CN102076531A (zh) * 2008-04-24 2011-05-25 通用汽车环球科技运作公司 车辆畅通路径检测
CN102609765A (zh) * 2012-03-22 2012-07-25 北京工业大学 基于多项式及rbf神经网络的智能车辆换道路径规划方法
CN102682301A (zh) * 2010-12-08 2012-09-19 通用汽车环球科技运作有限责任公司 使用附加分类器来调节畅通路径检测
CN102693432A (zh) * 2010-12-08 2012-09-26 通用汽车环球科技运作有限责任公司 使用可靠局部模型更新来调节畅通路径检测
CN103198320A (zh) * 2013-04-24 2013-07-10 厦门大学 一种自适应视觉辅助驾驶装置
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
CN103359114A (zh) * 2012-03-26 2013-10-23 通用汽车环球科技运作有限责任公司 用于车辆侧向控制的系统和方法
CN103699124A (zh) * 2013-12-04 2014-04-02 北京工业大学 一种用于全向智能轮椅避障的模糊神经网络控制方法
US8818681B1 (en) * 2013-07-24 2014-08-26 Google Inc. Detecting and responding to tailgaters
CN104133473A (zh) * 2008-10-24 2014-11-05 格瑞股份公司 自主驾驶车辆的控制方法
JP2015079223A (ja) * 2013-10-18 2015-04-23 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN103117005B (zh) * 2011-11-16 2015-12-02 财团法人工业技术研究院 车道偏移警示方法及系统

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967362A (en) * 1989-01-30 1990-10-30 Eaton Corporation Automatic steering apparatus for crop vehicle
JP3245363B2 (ja) * 1996-08-29 2002-01-15 富士重工業株式会社 車両の衝突防止装置
US6720560B1 (en) * 1999-12-30 2004-04-13 Eastman Kodak Company Method and apparatus for scanning images
US6539303B2 (en) * 2000-12-08 2003-03-25 Mcclure John A. GPS derived swathing guidance system
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US7116833B2 (en) * 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
US7664584B2 (en) * 2005-03-01 2010-02-16 Nissan Motor Co., Ltd. Steering control system
JP4715351B2 (ja) * 2005-07-19 2011-07-06 株式会社デンソー ステアリング制御システム
WO2008024639A2 (en) * 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
US8311730B2 (en) * 2006-11-29 2012-11-13 Neff Ryan A Vehicle position determination system
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
DE102007011180A1 (de) * 2007-03-06 2008-09-11 Daimler Ag Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20100228427A1 (en) * 2009-03-05 2010-09-09 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US9002591B2 (en) * 2011-02-18 2015-04-07 Cnh Industrial America Llc Harvester spout control system and method
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
JP5761089B2 (ja) 2012-03-13 2015-08-12 トヨタ自動車株式会社 車両の運転支援システム
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9080886B1 (en) * 2012-08-03 2015-07-14 Robotic Research, Llc System and method for urban mapping and positioning
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
GB201219742D0 (en) * 2012-11-02 2012-12-12 Tom Tom Int Bv Methods and systems for generating a horizon for use in an advanced driver assistance system (adas)
WO2014115139A1 (en) * 2013-01-23 2014-07-31 Iatas (Automatic Air Traffic Control) Ltd System and methods for automated airport air traffic control services
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9313383B2 (en) * 2013-03-15 2016-04-12 Lockmasters Security Institute, Inc. System, device and method for capturing an image of multiple views of an object
US9269136B2 (en) * 2013-03-15 2016-02-23 Lockmasters Security Institute, Inc. Apparatus and methods for replicating a key from an image depicting the key
US8972103B2 (en) * 2013-03-19 2015-03-03 Ford Global Technologies, Llc Method of building and using local map of vehicle drive path
CN103389103B (zh) * 2013-07-03 2015-11-18 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
US20150187224A1 (en) * 2013-10-15 2015-07-02 Mbfarr, Llc Driving assessment and training method and apparatus
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US9573684B2 (en) * 2013-10-26 2017-02-21 Amazon Technologies, Inc. Unmanned aerial vehicle delivery system
US9984348B2 (en) * 2013-11-29 2018-05-29 Fedex Corporate Services, Inc. Context management of a wireless node network
US9150246B2 (en) * 2013-12-06 2015-10-06 GM Global Technology Operations LLC Algorithm for steering angle command to torque command conversion
WO2015084406A1 (en) * 2013-12-06 2015-06-11 GM Global Technology Operations LLC Pre-alert of lcc's steering torque limit exceed
US20150166059A1 (en) * 2013-12-18 2015-06-18 Automotive Research & Testing Center Autonomous vehicle driving support system and autonomous driving method performed by the same
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법
US9656667B2 (en) 2014-01-29 2017-05-23 Continental Automotive Systems, Inc. Method for minimizing automatic braking intrusion based on collision confidence
WO2015125022A2 (en) * 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
US20150254738A1 (en) * 2014-03-05 2015-09-10 TerrAvion, LLC Systems and methods for aerial imaging and analysis
CN103914985B (zh) * 2014-04-25 2015-10-28 大连理工大学 一种混合动力客车未来车速轨迹预测方法
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
BR112017008825A2 (pt) * 2014-10-31 2018-03-27 Polaris Inc método e sistema de direção assistida para um veículo, métodos para controlar um sistema de direção assistida de um veículo e para controlar um veículo, método de substituição de borboleta para um veículo recreativo, e, veículo.
EP3018026B1 (en) * 2014-11-06 2019-05-15 Veoneer Sweden AB Method for vehicle path prediction
JP6046190B2 (ja) * 2015-03-31 2016-12-14 本田技研工業株式会社 運転支援装置
DE102015208429A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
EP3295422B1 (en) * 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
US10019907B2 (en) * 2015-09-11 2018-07-10 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
US20170160744A1 (en) * 2015-12-08 2017-06-08 Delphi Technologies, Inc. Lane Extension Of Lane-Keeping System By Ranging-Sensor For Automated Vehicle
DE102015225241A1 (de) * 2015-12-15 2017-06-22 Volkswagen Aktiengesellschaft Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Vorderfahrzeug
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
JP6327719B2 (ja) * 2016-02-04 2018-05-23 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
US20170313439A1 (en) * 2016-04-29 2017-11-02 Jordan Holt Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10114373B2 (en) * 2016-05-17 2018-10-30 Telenav, Inc. Navigation system with trajectory calculation mechanism and method of operation thereof
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system
EP3544856B1 (en) * 2017-01-12 2023-12-20 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技（深圳）有限公司 目标车道的确定方法和装置
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
WO2018172849A1 (en) * 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
US10424079B2 (en) * 2017-04-05 2019-09-24 Here Global B.V. Unsupervised approach to environment mapping at night using monocular vision
US10589739B2 (en) * 2017-04-13 2020-03-17 GM Global Technology Operations LLC Automated driving commands interpretation for stability control
US10186156B2 (en) * 2017-05-25 2019-01-22 Uber Technologies, Inc. Deploying human-driven vehicles for autonomous vehicle routing and localization map updating
US9984455B1 (en) * 2017-06-05 2018-05-29 Hana Resources, Inc. Organism growth prediction system using drone-captured images
US10466706B2 (en) * 2017-08-14 2019-11-05 Aptiv Technologies Limited Automated guidance system
US11216004B2 (en) * 2017-11-07 2022-01-04 Uatc, Llc Map automation—lane classification
US10614717B2 (en) * 2018-05-17 2020-04-07 Zoox, Inc. Drive envelope determination
US11521009B2 (en) * 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11693415B2 (en) * 2019-11-06 2023-07-04 Waymo Llc Predicting cut-in probabilities of surrounding agents
US11450205B2 (en) * 2019-12-31 2022-09-20 Zoox, Inc. Emergency vehicle detection and response
WO2021216154A1 (en) * 2020-04-21 2021-10-28 Inrix, Inc. Travel speed prediction
US20220101155A1 (en) * 2020-09-25 2022-03-31 Motional Ad Llc Trajectory Generation Using Road Network Model
US12139172B2 (en) * 2021-05-10 2024-11-12 Waymo Llc Predicting near-curb driving behavior on autonomous vehicles

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102076531A (zh) * 2008-04-24 2011-05-25 通用汽车环球科技运作公司 车辆畅通路径检测
CN104133473A (zh) * 2008-10-24 2014-11-05 格瑞股份公司 自主驾驶车辆的控制方法
CN101408772A (zh) * 2008-11-21 2009-04-15 哈尔滨工程大学 Auv智能避碰装置及避碰方法
CN101793528A (zh) * 2009-01-26 2010-08-04 通用汽车环球科技运作公司 使用传感器融合来估计车道路径的系统和方法
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN101837781A (zh) * 2009-03-06 2010-09-22 通用汽车环球科技运作公司 用于自动车道对正或换道的控制系统的基于模型的预测控制
CN101929867A (zh) * 2009-05-08 2010-12-29 通用汽车环球科技运作公司 使用道路模型的畅通路径检测
CN102693432A (zh) * 2010-12-08 2012-09-26 通用汽车环球科技运作有限责任公司 使用可靠局部模型更新来调节畅通路径检测
CN102682301A (zh) * 2010-12-08 2012-09-19 通用汽车环球科技运作有限责任公司 使用附加分类器来调节畅通路径检测
CN103117005B (zh) * 2011-11-16 2015-12-02 财团法人工业技术研究院 车道偏移警示方法及系统
CN102609765A (zh) * 2012-03-22 2012-07-25 北京工业大学 基于多项式及rbf神经网络的智能车辆换道路径规划方法
CN103359114A (zh) * 2012-03-26 2013-10-23 通用汽车环球科技运作有限责任公司 用于车辆侧向控制的系统和方法
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN103198320A (zh) * 2013-04-24 2013-07-10 厦门大学 一种自适应视觉辅助驾驶装置
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
US8818681B1 (en) * 2013-07-24 2014-08-26 Google Inc. Detecting and responding to tailgaters
JP2015079223A (ja) * 2013-10-18 2015-04-23 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN103699124A (zh) * 2013-12-04 2014-04-02 北京工业大学 一种用于全向智能轮椅避障的模糊神经网络控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于道路信息的知识辅助空时自适应处理;吴亿锋;王彤;吴建新;代保全;同亚龙;;电子与信息学报(03);全文 *

Also Published As

Publication number Publication date
US20170193338A1 (en) 2017-07-06
US11023788B2 (en) 2021-06-01
JP2019509534A (ja) 2019-04-04
WO2017118907A1 (en) 2017-07-13
CN114612877A (zh) 2022-06-10
US11657604B2 (en) 2023-05-23
CN108496178A (zh) 2018-09-04
EP3400556A1 (en) 2018-11-14
JP7052174B2 (ja) 2022-04-12
US20210365750A1 (en) 2021-11-25
EP3995782A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
CN108496178B (zh) 用于估计未来路径的系统和方法
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US20240132154A1 (en) Road profile along a predicted path
US10832063B2 (en) Systems and methods for detecting an object
US9619719B2 (en) Systems and methods for detecting traffic signs
EP3514032B1 (en) Adjusting velocity of a vehicle for a curve
US10402665B2 (en) Systems and methods for detecting traffic signs
US20210073557A1 (en) Systems and methods for augmenting upright object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: D. Huberman

Inventor after: S. sand Maher

Inventor after: O. Springer

Inventor before: D. Huberman

Inventor before: S. sand Maher

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant