[go: up one dir, main page]

CN112543876B - 用于自动驾驶车辆中的传感器同步性数据分析的系统 - Google Patents

用于自动驾驶车辆中的传感器同步性数据分析的系统 Download PDF

Info

Publication number
CN112543876B
CN112543876B CN201980003926.7A CN201980003926A CN112543876B CN 112543876 B CN112543876 B CN 112543876B CN 201980003926 A CN201980003926 A CN 201980003926A CN 112543876 B CN112543876 B CN 112543876B
Authority
CN
China
Prior art keywords
sensor
sensor data
bounding box
camera
raw sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980003926.7A
Other languages
English (en)
Other versions
CN112543876A (zh
Inventor
王帅
郭双城
李贤飞
李冲冲
盛健
黄岱
张满江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of CN112543876A publication Critical patent/CN112543876A/zh
Application granted granted Critical
Publication of CN112543876B publication Critical patent/CN112543876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Mathematical Physics (AREA)

Abstract

本公开描述了用于传感器同步性的在线系统级验证的各种实施方式。根据实施方式，分析自动驾驶车辆(ADV)中的传感器同步性的示例性方法包括以下操作：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；以及根据从原始传感器数据提取的时间戳，基于原始传感器数据生成精度图。该方法还包括以下操作：使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。

Description

用于自动驾驶车辆中的传感器同步性数据分析的系统
技术领域
本公开的实施方式总体上涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及传感器同步性验证。
背景技术
以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。
车载传感器需要进行校准、同步和融合，以便安全且稳定地控制自动驾驶车辆。通常，可使用传感器数据上的时间戳来测量传感器数据的同步性。然而，这种方法仅提供软件级的验证，而不能验证提供数据收集和传输的传感器和系统硬件。因此，期望具有可用于在系统级上验证传感器数据同步性并提供反馈以提高系统级同步精度的技术。
发明内容
在第一方面，本公开的实施方式提供了一种分析自动驾驶车辆(ADV)中的传感器同步性的计算机实施的方法，该方法包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。
在第二方面，本公开的实施方式提供了一种存储有指令的非暂时性机器可读介质，该指令在由处理器执行时致使处理器执行操作，该操作包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。
在第三方面，本公开的实施方式提供了一种数据处理系统，该系统包括：处理器；以及存储器，该存储器联接至处理器以存储指令，该指令在由处理器执行时致使处理器执行操作，该操作包括：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；基于原始传感器数据和从原始传感器数据提取的时间戳生成精度图；使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考标记指示相似元件。
图1是示出根据一个实施方式的网络化系统的框图。
图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。
图3A至图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。
图4是示出根据一个实施方式的自动驾驶系统的架构的框图。
图5A和图5B是示出根据一个实施方式的传感器单元的示例的框图。
图6示出根据一个实施方式的用于验证自动驾驶车辆中的传感器同步性的示例性系统。
图7进一步示出根据一个实施方式的自动驾驶车辆中的图6所示的示例性系统。
图8A和图8B示出根据一些实施方式的示例性精度图。
图9示出根据一个实施方式的围绕目标对象的示例性边界框。
图10示出根据一个实施方式的验证自动驾驶车辆中的传感器同步性的示例性过程。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
本公开描述了用于传感器同步性的在线系统级验证的各种实施方式。根据一个实施方式，分析自动驾驶车辆(ADV)中的传感器同步性的示例性方法包括以下操作：从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象；以及根据从原始传感器数据提取的时间戳，基于原始传感器数据生成精度图。该方法还包括以下操作：使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框；以及根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。
根据实施方式，同步验证模块可设置在ADV中，以便在系统级上验证车载传感器的同步性和传感器数据融合。软件模块可联接至ADV中的传感器系统，并从传感器系统获取原始传感器数据以进行分析。基于原始传感器数据，同步验证模块可检测传感器系统正在检测的目标对象的类型，并确定原始传感器数据是否具有适当的时间戳以便彼此同步。
在一个实施方式中，同步验证模块针对每个目标对象生成精度图，以便根据它们各自的时间戳示出不同传感器数据的对齐方式，并且针对来自每种类型传感器的传感器数据生成围绕目标对象的边界框。同步验证模块可在给定目标对象的类型的情况下确定不同的传感器数据是否在预期点对齐，以及围绕目标对象的边界框是否彼此匹配。可对照精度图对边界框进行交叉检查，以确定是否期望边界框中存在任何不匹配区域。
自动驾驶车辆
图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可通过网络102通信地联接至一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102联接至彼此和/或联接至服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自动驾驶车辆是指可配置成处于自动驾驶模式下的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可包括传感器系统，所述传感器系统具有配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。
在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
部件110至115可经由互连件、总线、网络或其组合通信地联接至彼此。例如，部件110至115可经由控制器局域网(CAN)总线通信地联接至彼此。CAN总线是设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(LIDAR)单元215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可包括一个或多个激光源、激光扫描器以及一个或多个检测器。摄像机211可包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。
传感器系统115还可包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可集成为集成式油门/制动传感器。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。
返回参考图1，无线通信系统112允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。
自动驾驶车辆101的功能中的一些或全部可由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。可替代地，感知与规划系统110可与车辆控制系统111集成在一起。
例如，作为乘客的用户可例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类位置和MPOI信息可本地高速缓存在感知与规划系统110的永久性存储装置中。
当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可由第三方实体进行操作。可替代地，服务器103至104的功能可与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。
服务器103可以是数据分析系统，从而为各种客户执行数据分析服务。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计数据123，出于各种目的，机器学习引擎122生成或训练一组规则、算法和/或预测模型124。然后算法124可上传至ADV上，以在自动驾驶期间实时使用。
图3A和图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。参考图3A至图3B，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路线安排模块307。
模块301至307中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载至存储器351中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接至图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至307中的一些可一起集成为集成模块。
定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS单元212)以及管理与用户的行程或路线相关的任何数据。定位模块301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块301与自动驾驶车辆300的诸如地图与路线信息311的其它部件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，从而可作为地图与路线信息311的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分开车道、出口车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。
针对每个对象，预测模块303预测对象在这种情况下将如何表现。预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。
针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。
路线安排模块307配置成提供从起始点到目的地点的一个或多个路线或路径。对于从起始位置到目的地位置的给定行程，例如从用户接收的给定行程，路线安排模块307获得路线与地图信息311，并确定从起始位置至到达目的地位置的所有可能路线或路径。路线安排模块307可生成地形图形式的参考线，它确定了从起始位置至到达目的地位置的每个路线。参考线是指不受其它诸如其它车辆、障碍物或交通状况的任何干扰的理想路线或路径。即，如果道路上没有其它车辆、行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地形图提供至决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其它数据选择和更改最佳路线中的一个，其中，其它数据诸如为来自定位模块301的交通状况、由感知模块302感知到的驾驶环境以及由预测模块303预测的交通状况。根据时间点下的特定驾驶环境，用于控制ADV的实际路径或路线可能接近于或不同于由路线安排模块307提供的参考线。
基于针对所感知到的对象中的每个的决定，规划模块305使用由路线安排模块307提供的参考线作为基础，为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可决定超过所述对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送至车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段在多个规划周期(也称作为驾驶周期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。对于规划周期或驾驶周期中的每一个，将基于规划和控制数据发出一个或多个控制命令。即，对于每100ms，规划模块305规划下一个路线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。控制模块306然后基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
应注意，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可确定用于影响自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可根据经由用户接口系统113进行的用户输入来设定。导航系统可在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。
图4是示出根据一个实施方式的用于自动驾驶的系统架构的框图。系统架构400可表示如图3A和图3B中所示的自动驾驶系统的系统架构。参考图4，系统架构400包括但不限于应用层401、规划与控制(PNC)层402、感知层403、驱动程序层404、固件层405和硬件层406。应用层401可包括与自动驾驶车辆的用户或乘客交互的用户接口或配置应用程序，诸如例如与用户接口系统113相关联的功能。PNC层402可包括至少规划模块305和控制模块306的功能。感知层403可包括至少感知模块302的功能。在一个实施方式中，存在包括预测模块303和/或决策模块304的功能的附加层。可替代地，此类功能可包括在PNC层402和/或感知层403中。系统架构400还包括驱动程序层404、固件层405和硬件层406。固件层405可至少表示传感器系统115的功能，其可以以现场可编程门阵列(FPGA)的形式实现。硬件层406可表示自动驾驶车辆的硬件，诸如控制系统111。层401至层403可经由装置驱动程序层404与固件层405和硬件层406通信。
图5A是示出根据本发明的一个实施方式的传感器系统的示例的框图。参考图5A，传感器系统115包括多个传感器510和联接至主机系统110的传感器单元314。主机系统110表示如上所述的规划与控制系统，其可包括如图3A和图3B中所示的模块中的至少一些。传感器单元314可以以FPGA装置或ASIC(专用集成电路)装置的形式实现。在一个实施方式中，传感器单元314除其它外还包括一或多个传感器数据处理模块501(也简称为传感器处理模块)、数据传送模块502和传感器控制模块或逻辑503。模块501至模块503可经由传感器接口504与传感器510通信，以及可经由主机接口505与主机系统110通信。可选地，内部或外部缓冲器506可用于缓冲数据以进行处理。
在一个实施方式中，对于接收路径或上游方向，传感器处理模块501配置成经由传感器接口504从传感器接收传感器数据并且处理传感器数据(例如，格式转换、错误检查)，该传感器数据可临时存储在缓冲器506中。数据传送模块502配置成使用与主机接口505兼容的通信协议将处理的数据传送至主机系统110。类似地，对于传输路径或下游方向，数据传送模块502配置成从主机系统110接收数据或命令。然后，数据由传感器处理模块501处理成与对应传感器兼容的格式。然后将处理的数据传输至传感器。
在一个实施方式中，传感器控制模块或逻辑503配置成响应于经由主机接口505从主机系统(例如，感知模块302)接收到的命令而控制传感器510的某些操作，诸如例如激活捕捉传感器数据的定时。主机系统110可将传感器510配置成以协作和/或同步的方式捕捉传感器数据，使得可在任何时间点利用传感器数据来感知车辆周围的驾驶环境。
传感器接口504可包括以太网、USB(通用串行总线)、LTE(长期演进)或蜂窝、WiFi、GPS、摄像机、CAN、串行(例如，通用异步接收器发射器或UART)、SIM(用户识别模块)卡以及其它通用输入/输出(GPIO)接口中的一个或多个。主机接口505可以是任何高速或高带宽接口，诸如PCIe(外围部件互连或PCI高速)接口。传感器510可包括用于自动驾驶车辆中的各种传感器，诸如例如摄像机、LIDAR装置、RADAR(雷达)装置、GPS接收器、IMU、超声传感器、GNSS(全球导航卫星系统)接收器、LTE或蜂窝SIM卡、车辆传感器(例如，油门、制动器、转向传感器)以及系统传感器(例如，温度、湿度、压力传感器)等。
例如，摄像机可经由以太网或GPIO接口联接。GPS传感器可经由USB或特定GPS接口联接。车辆传感器可经由CAN接口联接。RADAR传感器或超声波传感器可经由GPIO接口联接。LIDAR装置可经由以太网接口联接。外部SIM模块可经由LTE接口联接。类似地，可将内部SIM模块插入传感器单元314的SIM插槽中。诸如UART的串行接口可出于调试目的而与控制台系统联接。
应注意，传感器510可以是任何种类的传感器，并且可由各种销售商或供应商提供。传感器处理模块501配置成处置不同类型的传感器及其相应数据格式和通信协议。根据一个实施方式，传感器510中的每个均与用于处理传感器数据并在主机系统110与对应传感器之间传送经处理的传感器数据的具体通道相关联。每个通道均包括具体传感器处理模块和具体数据传送模块，这些模块已配置或编程为处置对应的传感器数据和协议，如图5B中所示。
现在参考图5B，传感器处理模块501A至传感器处理模块501C具体配置成处理分别从传感器510A至传感器510C获得的传感器数据。应注意，传感器510A至传感器510C可以是相同或不同类型的传感器。传感器处理模块501A至传感器处理模块501C可配置(例如，软件可配置)成处置用于不同类型的传感器的不同传感器过程。例如，如果传感器510A是摄像机，则处理模块501A可配置成对表示由摄像机510A捕获的图像的具体像素数据进行像素处理操作。类似地，如果传感器510A是LIDAR装置，则处理模块501A配置成具体处理LIDAR数据。即，根据一个实施方式，根据具体传感器的具体类型，其对应处理模块可配置成使用对应于传感器数据的类型的具体过程或方法来处理对应的传感器数据。
类似地，数据传送模块502A至数据传送模块502C可配置成以不同模式操作，因为不同种类的传感器数据可能具有不同的大小或灵敏度，这需要不同的速度或定时要求。根据一个实施方式，数据传送模块502A至数据传送模块502C中的每个均可配置成以低延迟模式、高带宽模式和存储器模式(也称作固定存储器模式)中的一个操作。
当以低延迟模式操作时，根据一个实施方式，数据传送模块(例如，数据传送模块502)配置成在没有延迟或延迟最小的情况下尽快将从传感器接收的传感器数据发送至主机系统。传感器数据中的一些在定时方面非常敏感，这需要尽快处理。此类传感器数据的示例包括车辆状态，诸如车辆速度、加速度、转向角等。
当以高带宽模式操作时，根据一个实施方式，数据传送模块(例如，数据传送模块502)配置成累积从传感器接收到的传感器数据直到预定量，但是仍处于数据传送模块与主机系统110之间的连接的带宽内。然后将累积的传感器数据以使数据传送模块与主机系统110之间的连接的带宽最大的批次传送至主机系统110。通常，高带宽模式用于产生大量传感器数据的传感器。此类传感器数据的示例包括摄像机像素数据。
当以存储器模式操作时，根据一个实施方式，数据传送模块配置成将从传感器接收到的传感器数据直接写入到主机系统110的映射存储器的存储器位置，这类似于共享存储器页。使用存储器模式传送的传感器数据的示例包括系统状态数据，诸如温度、风扇速度等。
多项式优化或多项式拟合的术语是指对由多项式函数(例如，五次或四次多项式函数)表示的曲线的形状(在此示例中，轨迹)进行优化，使得该曲线沿着曲线是连续的(例如，可获得两个相邻段的连接处的导数)。在自动驾驶领域中，将从起始点到终点的多项式曲线划分成多个段(或片段)，每个段均对应一个控制点(或参考点)。这种分段的多项式曲线称为分段多项式。当优化分段多项式时，除了一组初始状态约束和最终状态约束之外，还必须满足两个相邻段之间的一组联合约束和一组边界约束。
一组联合约束包括位置(x，y)、速度、前进方向，并且相邻段的加速度必须相同。例如，第一段(例如，前段)的结束位置和第二段(例如，后段)的起始位置必须相同或在预定的接近范围内。第一段的结束位置的速度、前进方向和加速度以及第二段的起始位置的相应速度、前进方向和加速度必须相同或在预定的范围内。此外，每个控制点与预定义边界相关联(例如，围绕控制点的左右0.2米)。多项式曲线必须经过其对应边界内的每个控制点。当在优化期间满足这两组约束时，表示轨迹的多项式曲线应为平滑且连续的。
传感器同步性验证
图6示出了根据一个实施方式的用于验证自动驾驶车辆中的传感器同步性的示例性系统600。
如图6中所示，传感器同步验证模块602可通过主机接口505接收由传感器510收集的原始传感器数据。如上所述，主机系统110可将传感器510配置成以协作和/或同步的方式捕捉传感器数据，使得可在任何时间点利用传感器数据来感知车辆周围的驾驶环境。由传感器同步验证模块602接收的传感器数据可与主机系统110用于检测周围对象和环境的传感器数据相同。
传感器系统115包括硬件传感器510，以及用于传输、处理、管理和同步由传感器510收集的传感器数据的软件部件和硬件部件。因此，在验证来自传感器系统115的传感器数据同步性时，传感器同步验证模块602可在系统级上验证传感器数据同步性。如果来自任何传感器510的传感器数据与一个或多个其它传感器不同步，则传感器同步验证模块可根据一个或多个预定阈值确定传感器系统115遇到错误。该错误可以以各种图形、图画和图表显示在图形用户界面605上，以使用户可视地确定传感器系统需要改进。
图7进一步示出根据一个实施方式的用于验证自动驾驶车辆中的传感器同步性的示例性系统600。
如图7中所示，传感器同步验证模块602可实现用于验证来自传感器单元314的原始传感器数据701的算法。如本文中所使用的，在一个实施方式中，同步传感器数据包括：从传感器510接收一组数据点；向该组数据点分配一个或多个时间戳值；以及将该组数据点及其分配的时间戳值聚合至聚合传感器数据集中，该聚合传感器数据集表示特定时间段内数据点的集合。
来自传感器单元314的原始传感器数据701可以是同步的传感器数据。通过使用预定算法分析同步的传感器数据，传感器同步验证模块602可确定传感器是同步的。
如图7中进一步所示，传感器同步验证模块602可对原始传感器数据701进行预处理707，包括找到丢失的传感器数据、检测错误数据以及修复这两种数据。传感器同步验证模块602然后可使用来自多个传感器的传感器数据生成709边界框。例如，传感器同步验证模块602可在多个当前线程中的一个上执行一组指令，以使用来自摄像机的传感器数据生成围绕目标对象的2-D边界框，以及使用来自LiDAR装置的传感器数据生成围绕目标对象的3-D边界框。
传感器同步验证模块602可在多个并发线程中的另一个上执行另一组指令，以使用时间戳处理单元703从原始传感器数据提取时间戳，并且根据从原始传感器数据提取的时间戳，基于原始传感器数据生成705精度图。
在一个实施方式中，精度图可示出来自LiDAR装置的传感器数据和来自滚动快门摄像机的传感器数据。精度图可表示由摄像机捕获的图像，并且可示出LiDAR装置的垂直扫描线、滚动快门摄像机的水平扫描线以及LiDAR装置与摄像机之间的捕获时间戳差异。
作为滚动快门摄像机，摄像机可逐行曝光目标对象的图像帧。曝光次数等于图像帧中的线条数。每一帧线均表示图像帧中的一行像素。帧线可以是等间隔的平行线，它们之间具有固定的(例如，3毫秒)偏移。摄像机还可具有触发延迟参数，其指示给定触发信号与图像捕获之间的延迟。触发延迟可为正、零或负。如果触发延迟为零，则摄像机在触发信号之后立即开始拍摄测量板图像的第一帧线。如果触发延迟为负，则摄像机可在触发信号之前开始捕捉测量板图像的第一帧线。如果触发延迟为正，则摄像机可在如触发延迟指定的时间延迟之后开始捕捉测量板图像的第一帧线。
在一个实施方式中，摄像机和LiDAR装置对齐，其中，摄像机的图像中心与LiDAR装置的视场(FOV)中心匹配。LiDAR装置的FOV和摄像机的图像中心都可以是固定的。因此，在默认情况下，LiDAR装置和摄像机在摄像机的图像中心同步。然而，传感器配置702可基于LiDAR装置正在检测的目标对象的类型来配置LiDAR装置和摄像机需要同步的位置。当ADV正在实时环境中行进时，传感器配置702可由主机系统110动态地改变。
在一个实施方式中，传感器配置702可指定LiDAR装置的目标区域和摄像机的对应触发延迟，这将导致摄像机与LiDAR装置之间的同步点与传感器配置702中指定的目标区域匹配。
例如，在实时驾驶中，当自动驾驶车辆101正在红色交通信号灯处等待时，LiDAR装置的目标区域可在摄像机的图像中心上方。当LiDAR装置正在检测其它车辆时，LiDAR装置的目标区域可位于摄像机的图像中心。
在摄像机的帧线之间具有给定的触发延迟和/或给定的时间偏移的情况下，摄像机可在不同的时间点在目标对象的特定区域捕获LiDAR装置的扫描线。摄像机捕获LiDAR扫描线的区域是同步点，在该同步点处，LiDAR装置和摄像机同时捕获目标对象的数据。
在一个实施方式中，传感器同步验证模块602可调用分析部件以执行对精度图的分析711，从而基于动态改变的传感器配置702确定LiDAR装置和摄像机是否在预期目标区域同步。
例如，分析部件可使用经训练的神经网络来进行模式识别和分类。经训练的神经网络还可验证2-D边界框和3-D边界框是否彼此匹配；以及如果不匹配，则基于传感器配置702验证是否期望该不匹配部分。另外，神经网络模型可将边界框与精度图进行比较，以确定边界框之间的任何不匹配部分是否对应于精度图上的区域，其中，LiDAR装置的扫描线与摄像机的帧线之间的捕获时间戳存在差异。总结分析的最终结果713可显示到图形用户界面605。
图8A和图8B示出了根据一些实施方式的示例性精度图。
在图8A中，示例性精度图示出了传感器A扫描线810、传感器B帧线802的分布，以及传感器A扫描线与传感器B帧线之间的捕获时间戳差异。传感器A可以是LIDAR装置，以及传感器B可以是滚动快门摄像机。精度图可以是由传感器B捕获的图像。在该示例中，传感器A配置成执行从左到右的水平扫描，生成垂直扫描线810，而传感器B配置成从上到下垂直扫描，生成水平帧线802。两条相邻的LiDAR扫描线之间可存在给定的时间偏移(例如，5毫秒)。类似地，两条相邻的摄像机帧线之间可存在给定的时间偏移(例如，6毫秒)。
传感器A和传感器B配置成彼此对齐，其中，传感器A的视场中心与传感器B的图像中心匹配。因此，在默认情况下，传感器A和传感器B在传感器B的图像中心同步。然而，通过调节传感器B的触发延迟参数，可根据目标区域(即，感兴趣区域或ROI)使传感器A和传感器B在传感器B的图像中心上方或下方的位置处同步。
例如，在图8A中，目标区域在传感器B的图像中心。在实时驾驶环境中，当传感器A正在扫描高度与安装在自我ADV上的传感器A高度大致相同的目标对象(例如，另一车辆或另一对象)时，可能会发生这种情况。因此，传感器A与传感器B之间的同步点811可位于传感器B的图像中心。
如图8A中进一步所示，在区域C 805中，传感器A与传感器B之间的捕获时间戳差异可在t0至t1毫秒的范围内。在一个示例中，在同步点811处，传感器A和传感器B可同时捕获目标对象，其中，捕获时间戳的差异为0；在区域C 805的其它部分中，传感器A与传感器B之间的捕获时间戳差异可能会偏离多达t1毫秒。
离图像的中心越远，传感器A与传感器B之间的捕获时间戳差异越大。例如，在区域A801和区域E 809中，捕获时间戳差异可以是t2至t3毫秒；在区域B 803和区域D 807中，捕获时间戳差异可以是t1至t2毫秒。
在图8B中，图8A中所示的相同传感器A和传感器B在同步点823处彼此同步，该同步点823是传感器B的图像中心下方的200个摄像机帧线。因此，在区域I 817中，捕获时间戳差异是t0至t1毫秒。离同步点823更远的区域在捕获时间戳差异方面可具有更大的差异。例如，在区域H 816和区域J 819中，捕获时间戳差异可以是t1至t2毫秒；在区域G 815和区域K821中，捕获时间戳差异可以是t2至t3毫秒；在区域F 813中，捕获时间戳差异可以是t3至t4毫秒。
图9示出了根据一个实施方式的围绕目标对象的示例性边界框。
在说明性示例中，围绕目标对象824的2-D边界框ABCD 825可基于来自摄像机的传感器数据生成，而围绕目标对象824的3-D边界框EFGHIJKL 826可基于来自LiDAR装置的传感器数据生成。
在一个实施方式中，诸如验证模块602的传感器同步验证模块可使用一组传感器数据创建边界框825和边界框826以及图8A中的精度图。因此，传感器同步验证模块可比较边界框825和边界框826以及精度图，以确定是否可通过图8A中所示的捕获时间戳差异来解释任何不匹配部分(例如，区域M 827)。如果不匹配部分对应于具有显著时间戳差异的一个或多个区域，则传感器同步验证模块可确定LiDAR装置和摄像机是同步的。
图10示出了根据一个实施方式的验证自动驾驶车辆中的传感器同步性的示例性过程1000。过程1000可由处理逻辑执行，该处理逻辑可包括软件、硬件或其组合。例如，过程1000可由图6和图7中所描述的传感器同步验证模块602执行。
参考图10，在操作1001中，处理逻辑从安装在ADV上的第一传感器和第二传感器获取原始传感器数据，该原始传感器数据描述ADV的周围环境中的目标对象。在操作1002中，处理逻辑根据从原始传感器数据提取的时间戳，基于原始传感器数据生成精度图。在操作1003中，处理逻辑使用原始传感器数据生成围绕目标对象的第一边界框和第二边界框。在操作1004中，处理逻辑根据一个或多个预先配置的传感器设置，使用预定算法对第一边界框和第二边界框以及精度图执行分析，以确定第一传感器和第二传感器是否彼此同步。
应注意，如上文示出和描述的部件中的一些或全部可在软件、硬件或其组合中实施。例如，此类部件可实施为安装并存储在永久性存储装置中的软件，所述软件可通过处理器(未示出)加载在存储器中并在存储器中执行以实施贯穿本申请所述的过程或操作。可替代地，此类部件可实施为编程或嵌入到专用硬件(诸如，集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，所述可执行代码可经由来自应用的相应驱动程序和/或操作系统来访问。此外，此类部件可实施为处理器或处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特定指令访问的指令集的一部分。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储装置、传输或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的设备。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (21)

1.一种分析自动驾驶车辆中的传感器同步性的计算机实施的方法，包括：
从安装在所述自动驾驶车辆上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述自动驾驶车辆的周围环境中的目标对象；
基于所述原始传感器数据和从所述原始传感器数据提取的时间戳，生成精度图；
使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及
根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。
2.如权利要求1所述的方法，其中，所述第一传感器是摄像机，以及所述第二传感器是光检测和测距装置。
3.如权利要求2所述的方法，其中，所述一个或多个预先配置的传感器设置包括所述摄像机的扫描方向和所述光检测和测距装置的扫描方向。
4.如权利要求2所述的方法，其中，执行所述分析还包括：
根据各自的获取时间戳，确定来自所述摄像机的第一条原始传感器数据和来自所述光检测和测距装置的第二条原始传感器数据是否在预定的同步点处彼此对齐。
5.如权利要求4所述的方法，其中，所述同步点基于所述目标对象的类型来确定。
6.如权利要求2所述的方法，其中，所述第一边界框是基于来自所述摄像机的第一条传感器数据生成的2D边界框，以及其中，所述第二边界框是基于来自所述光检测和测距装置的第二条传感器数据生成的3D边界框。
7.如权利要求2所述的方法，其中，执行所述分析还包括：
确定所述第一边界框和所述第二边界框是否彼此匹配。
8.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
从安装在自动驾驶车辆上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述自动驾驶车辆的周围环境中的目标对象；
根据从所述原始传感器数据提取的时间戳，基于所述原始传感器数据生成精度图；
使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及
根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。
9.如权利要求8所述的非暂时性机器可读介质，其中，所述第一传感器是摄像机，并且所述第二传感器是光检测和测距装置。
10.如权利要求9所述的非暂时性机器可读介质，其中，所述一个或多个预先配置的传感器设置包括所述摄像机的扫描方向和所述光检测和测距装置的扫描方向。
11.如权利要求9所述的非暂时性机器可读介质，其中，执行所述分析还包括：
根据各自的获取时间戳，确定来自所述摄像机的第一条原始传感器数据和来自所述光检测和测距装置的第二条原始传感器数据是否在预定的同步点处彼此对齐。
12.如权利要求11所述的非暂时性机器可读介质，其中，所述同步点基于所述目标对象的类型来确定。
13.如权利要求9所述的非暂时性机器可读介质，其中，所述第一边界框是基于来自所述摄像机的第一条传感器数据生成的2D边界框，以及其中，所述第二边界框是基于来自所述光检测和测距装置的第二条传感器数据生成的3D边界框。
14.如权利要求9所述的非暂时性机器可读介质，其中，执行所述分析还包括：
确定所述第一边界框和所述第二边界框是否彼此匹配。
15.一种数据处理系统，包括：
处理器；以及
存储器，所述存储器联接至所述处理器以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：
从安装在自动驾驶车辆上的第一传感器和第二传感器获取原始传感器数据，所述原始传感器数据描述所述自动驾驶车辆的周围环境中的目标对象；
根据从所述原始传感器数据提取的时间戳，基于所述原始传感器数据生成精度图；
使用所述原始传感器数据生成围绕所述目标对象的第一边界框和第二边界框；以及
根据一个或多个预先配置的传感器设置，使用预定算法对所述第一边界框和所述第二边界框以及所述精度图执行分析，以确定所述第一传感器和所述第二传感器是否彼此同步。
16.如权利要求15所述的系统，其中，所述第一传感器是摄像机，并且所述第二传感器是光检测和测距装置。
17.如权利要求16所述的系统，其中，所述一个或多个预先配置的传感器设置包括所述摄像机的扫描方向和所述光检测和测距装置的扫描方向。
18.如权利要求16所述的系统，其中，执行所述分析还包括：
根据各自的获取时间戳，确定来自所述摄像机的第一条原始传感器数据和来自所述光检测和测距装置的第二条原始传感器数据是否在预定的同步点处彼此对齐。
19.如权利要求18所述的系统，其中，所述同步点基于所述目标对象的类型来确定。
20.如权利要求16所述的系统，其中，所述第一边界框是基于来自所述摄像机的第一条传感器数据生成的2D边界框，以及其中，所述第二边界框是基于来自所述光检测和测距装置的第二条传感器数据生成的3D边界框。
21.如权利要求16所述的系统，其中，执行所述分析还包括：
确定所述第一边界框和所述第二边界框是否彼此匹配。
CN201980003926.7A 2019-07-22 2019-07-22 用于自动驾驶车辆中的传感器同步性数据分析的系统 Active CN112543876B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/097115 WO2021012153A1 (en) 2019-07-22 2019-07-22 System for sensor synchronization data analysis in autonomous driving vehicle

Publications (2)

Publication Number Publication Date
CN112543876A CN112543876A (zh) 2021-03-23
CN112543876B true CN112543876B (zh) 2023-11-03

Family

ID=74187539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980003926.7A Active CN112543876B (zh) 2019-07-22 2019-07-22 用于自动驾驶车辆中的传感器同步性数据分析的系统

Country Status (6)

Country Link
US (1) US11136048B2 (zh)
EP (1) EP4004591B1 (zh)
JP (1) JP7367031B2 (zh)
KR (1) KR102610001B1 (zh)
CN (1) CN112543876B (zh)
WO (1) WO2021012153A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019220495A1 (de) * 2019-12-20 2021-06-24 Continental Automotive Gmbh Verfahren zur Prüfung der Gültigkeit von Sensordaten eines Ethernet-Bordnetzes
EP3848807A1 (en) * 2020-01-07 2021-07-14 Aptiv Technologies Limited Data processing system and method for configuring and operating a data processing system
US11584295B2 (en) * 2020-05-07 2023-02-21 Toyota Research Institute, Inc. Dynamic lighting and sensor adjustment for occupant monitoring
US11529973B1 (en) * 2020-11-09 2022-12-20 Waymo Llc Software application for sensor analysis
US12019584B1 (en) 2020-12-03 2024-06-25 Nuro, Inc. Methods and apparatus for creating and utilizing snapshots of scenes
US11866044B2 (en) 2021-03-24 2024-01-09 Denso International America, Inc. Systems and methods to synchronize systems of a vehicle
US11428541B1 (en) * 2021-05-25 2022-08-30 GM Global Technology Operations LLC Targetless calibration of camera and inertial sensor in a vehicle
CN113490178B (zh) * 2021-06-18 2022-07-19 天津大学 一种智能网联车辆多级协作感知系统
US20230296780A1 (en) * 2022-03-18 2023-09-21 Motional Ad Llc Methods and systems for sensor operation
CN116088522A (zh) * 2023-02-13 2023-05-09 英华达（南京）科技有限公司 远程遥控驾驶控制方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106885601A (zh) * 2017-01-09 2017-06-23 北京理工大学 无人车多传感器数据同步采集系统
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109429518A (zh) * 2017-06-22 2019-03-05 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
CN109489673A (zh) * 2017-09-13 2019-03-19 百度（美国）有限责任公司 用于自动驾驶车辆的数据驱动地图更新系统
CN109823325A (zh) * 2017-11-23 2019-05-31 摩拓泰汽车部件有限公司 用于驱动车辆的自动紧急制动系统的传感器融合系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403690B (zh) * 2009-10-26 2013-08-01 Ind Tech Res Inst 自我定位裝置及其方法
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US20180204331A1 (en) * 2016-07-21 2018-07-19 Gopro, Inc. Subject tracking systems for a movable imaging system
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
US20180356824A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition method for ground truth static scene sparse flow generation
US10866101B2 (en) * 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US20180357314A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition system for ground truth static scene sparse flow generation
US10762673B2 (en) * 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) * 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10436885B2 (en) * 2017-10-19 2019-10-08 DeepMap Inc. Calibrating sensors mounted on an autonomous vehicle
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
US11430145B2 (en) * 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
US11423570B2 (en) * 2018-12-26 2022-08-23 Intel Corporation Technologies for fusing data from multiple sensors to improve object detection, identification, and localization
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106885601A (zh) * 2017-01-09 2017-06-23 北京理工大学 无人车多传感器数据同步采集系统
CN109429518A (zh) * 2017-06-22 2019-03-05 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
CN109489673A (zh) * 2017-09-13 2019-03-19 百度（美国）有限责任公司 用于自动驾驶车辆的数据驱动地图更新系统
CN109823325A (zh) * 2017-11-23 2019-05-31 摩拓泰汽车部件有限公司 用于驱动车辆的自动紧急制动系统的传感器融合系统
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Visual Confirmation of Mobile Objects Tracked by a Multi-layer Lidar;Sergio A. Rodríguez F et al;《13th International IEEE Conference on Intelligent Transportation Systems》;849-854 *

Also Published As

Publication number Publication date
EP4004591A1 (en) 2022-06-01
WO2021012153A1 (en) 2021-01-28
EP4004591A4 (en) 2023-04-26
JP7367031B2 (ja) 2023-10-23
KR102610001B1 (ko) 2023-12-06
EP4004591B1 (en) 2024-10-23
JP2022541868A (ja) 2022-09-28
CN112543876A (zh) 2021-03-23
US11136048B2 (en) 2021-10-05
KR20210107020A (ko) 2021-08-31
US20210024096A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的系统
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
JP7685953B2 (ja) 視覚画像データを用いたオブジェクト属性の推定
KR102100051B1 (ko) 색 선별 거울을 이용하는 자율 주행 차량용 3d lidar 시스템
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN114026463B (zh) 基于部分点云的行人速度估计方法
CN111860198B (zh) 用于自主驾驶车辆adv的处理点云数据的方法、装置和系统、及计算机可读介质
US11726212B2 (en) Detector for point cloud fusion
CN112124318B (zh) 自主驾驶车辆的障碍物感知校准系统
US11662745B2 (en) Time determination of an inertial navigation system in autonomous driving systems
US11592581B2 (en) Dual inertial measurement units for inertial navigation system
CN112238862A (zh) 用于自主驾驶平台的开放和安全监视系统
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
CN114026436A (zh) 图像处理装置、图像处理方法和程序
US20240051569A1 (en) Long-term evolution computing platform for autonomous vehicles based on shell and nut architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant