CN111547043A - 通过自主车辆自动响应紧急服务车辆 - Google Patents

Abstract

一种自动响应紧急服务车辆的自主车辆。感知数据由自主车辆(AV)的摄像机、传感器和麦克风捕获或接收。感知数据用于检测道路中的车道、生成对象列表、对对象中的一个或多个进行分类、以及确定分类后的对象的状态。响应于检测到诸如执法车辆的紧急服务车辆，AV可以规划响应动作。响应动作可以包括发送确认信号、通知AV的乘客、基于紧急服务车辆位置、紧急服务车辆检测到的意图和其他信息生成规划轨迹。可以执行安全检查，并且控制模块可以生成命令以沿着规划轨迹导航AV。然后，命令可由DBW模块执行。

Description

通过自主车辆自动响应紧急服务车辆

技术领域

本申请涉及自主驾驶技术领域，更具体涉及一种自动响应紧急服务车辆的系统、方法以及非暂时性计算机可读存储介质。

背景技术

自主驾驶技术快速增长，其中许多特征实施在自主车辆中。一些汽车制造商已经实施了辅助自主车辆导航道路的导航系统。当涉及紧急服务车辆的情况出现时，典型的汽车制造商的导航系统未被设计成向这种车辆提供足够的响应，从而导致对于紧急服务车辆和道路上的其他车辆的不安全的驾驶环境。

发明内容

本技术，粗略描述，提供了一种自动响应于紧急服务车辆的自主车辆。感知数据由诸如摄像机、雷达、激光雷达和麦克风的自主车辆(AV)传感器捕获或接收。感知数据用于检测由AV导航的道路中的车道，生成对象列表，对对象中的一个或多个进行分类，以及确定分类后的对象的状态。对象可以被分类为车辆，并且可以进一步被分类为紧急服务车辆，例如执法车辆、救护车或消防车。响应于检测到诸如执法车辆的紧急服务车辆，AV可以规划响应动作。响应动作可以包括，基于紧急服务车辆的位置、检测到的紧急服务车辆或车辆驾驶员的意图、与紧急服务车辆的通信以及其他信息，来生成规划轨迹。可以执行安全检查，并且控制模块可以生成命令以沿着规划轨迹导航AV。然后，命令可由线控驱动(DBW)模块执行。轨迹的生成和/或其它动作可涉及在沿道路正常导航期间不会应用的导航，诸如例如将AV引导到路肩上。

通过自动响应紧急服务车辆，AV可以更好地遵守交通规则，并且为紧急服务车辆以及道路上的其他车辆提供更安全的环境。本技术的AV可以执行响应动作，诸如向执法车辆发送确认信号、通知AV上的乘客、改变车道以离开紧急服务车辆的感知路径、当被执法车辆拦停时靠边停到道路的肩部、和/或以增加的警惕性继续行进。

在实施例中，公开了一种用于自动响应紧急服务车辆的系统。该系统包括数据处理系统，该数据处理系统包括一个或多个处理器、存储器、感知模块、规划模块和控制模块。数据处理系统内的一个或多个模块可以由该一个或多个处理器执行，以基于所接收的传感器数据来识别道路上的对象，基于传感器数据将所识别的对象分类为紧急服务车辆类型，至少部分地基于紧急服务车辆的位置来确定该类型的紧急服务车辆的意图。在一些情况下，该一个或多个模块还可以发送确认并通知AV中的乘客。规划模块还可以基于分类和意图，生成响应紧急服务车辆并在所选择的轨迹上继续行进的决定，并且生成一个或多个命令以沿着所选择的轨迹导航。

在实施例中，非暂时性计算机可读存储介质包括程序，所述程序可由处理器执行以执行用于使用偏置补偿在车道之间自动导航车辆的方法。该方法可以基于所接收的传感器数据来识别道路上的对象，基于传感器数据将所识别的对象分类为紧急服务车辆类型，并且至少部分地基于该类型的紧急服务车辆的位置来确定该类型的紧急服务车辆的意图。在一些情况下，该一个或多个模块还可以发送确认并通知AV中的乘客。该方法还包括基于分类和意图生成响应紧急服务车辆并在所选择的轨迹上继续行进的决定，并且生成一个或多个命令以沿着所选择的轨迹导航。

在实施例中，公开了一种用于使用偏置补偿在车道之间自动导航车辆的方法。该方法包括基于所接收的传感器数据来识别道路上的对象，基于传感器数据将所识别的对象分类为紧急服务车辆类型，以及至少部分地基于该类型的紧急服务车辆的位置来确定该类型的紧急服务车辆的意图。在一些情况下，该一个或多个模块还可以发送确认并通知AV中的乘客。该方法还包括基于分类和意图生成响应紧急服务车辆并在所选择的轨迹上继续行进的决定，并且生成一个或多个命令以沿着所选择的轨迹导航。

附图说明

图1A示出了在自主车辆后面的执法车辆。

图1B示出了意图超过自主车辆的执法车辆。

图1C示出了意图拦停自主车辆的执法车辆。

图1D示出了意图导航到路肩上的执法车辆。

图2是自主车辆的框图。

图3是自主车辆内的数据处理系统的框图。

图4是用于通过自主车辆响应紧急服务车辆的方法。

图5是用于接收和处理感知数据的方法。

图6是用于检测分类后的车辆对象的状态的方法。

图7是用于规划对检测到的对象信息的响应动作的方法。

图8是用于检测被分类为执法车辆的车辆对象的意图的方法。

图9是用于实施数据处理系统的计算环境的框图。

具体实施方式

本技术，粗略描述，提供了一种自动响应于紧急服务车辆的自主车辆。感知数据由包括摄像机、雷达、激光雷达和麦克风的自主车辆(AV)传感器捕获或接收。感知数据用于检测由AV导航的道路中的车道，生成对象列表，对对象中的一个或多个进行分类，以及确定分类后的对象的状态。对象可以被分类为车辆，并且可以进一步被分类为紧急服务车辆，例如执法车辆、救护车或消防车。响应于检测到诸如执法车辆的紧急服务车辆，AV可以规划响应动作。响应动作可以包括发送确认信号、通知AV中的乘客以及生成规划轨迹中的一个或多个，其中，规划轨迹基于紧急服务车辆的位置，或者在一些情况下基于紧急服务车辆的导航历史、紧急服务车辆的检测到的意图以及其他信息来生成。可以执行安全检查，并且控制模块可以生成命令以沿着规划轨迹导航AV。然后，命令可由DBW模块执行。轨迹和/或其它动作可涉及在沿道路正常导航期间将不会应用的导航，诸如例如将AV引导到路肩上。

通过对紧急服务车辆自动响应，AV可以更好地遵守交通规则，并且为紧急服务车辆以及道路上的其他车辆提供更安全的环境。本技术的AV可以执行响应动作，诸如改变车道以离开紧急服务车辆的感知轨迹、当被执法车辆拦停时靠边停到道路的路肩部分、和/或以额外的警惕性继续行进。

所提出的技术通过检测紧急服务车辆的意图(即，驾驶员的意图)并执行响应于该意图的动作来以复杂的方式响应紧急服务车辆。可以基于车辆的位置、车辆的导航历史和车辆的当前状态来确定紧急服务车辆的意图(即，驾驶员的意图)。位置、导航历史和当前状态被连续地更新和分析，以确定紧急服务车辆的意图以及AV是否需要任何动作。

所提出的技术所解决的技术问题涉及在紧急服务车辆存在的情况下安全且成功地自动导航AV。当存在紧急服务车辆时，期望在该车辆存在情况下的汽车遵循交通规则，这要求他们让路于紧急服务车辆或遵守靠边停在路肩或其他安全位置上的请求。处理感知数据以将对象分类为车辆，然后进一步将车辆分类为特定类型的紧急服务车辆，不是容易的任务。此外，一旦检测到特定类型的紧急服务车辆，用于生成对紧急服务车辆的响应动作的逻辑是重要的，因为其可以包括通常不执行的导航或者其对于正常驾驶情况下的车辆可能不合法。

本技术提供了针对在紧急服务车辆存在的情况下安全且有效地导航AV的技术问题的技术方案。所提出的技术自动检索数据，例如来自摄像机、雷达、激光雷达和麦克风的传感器数据，并且处理该数据以准确地检测紧急服务车辆，例如执法车辆，并将其与道路上的其他车辆区分开。一旦检测到，AV系统可以确定车辆的意图，从而确定是否需要响应于紧急服务车辆的活动或车辆/驾驶员的意图的任何动作。

本发明公开了一种AV自动响应紧急服务车辆的方法。在本公开的部分中，紧急服务车辆可以被称为执法车辆，但是也可以检测、分类和响应其他紧急服务车辆，包括但不限于救护车、救火车或消防车以及提供应当导致另一车辆采取特定动作(诸如让路或靠边停到路肩)的视觉、听觉或无线通知的任何其他服务车辆。

图1A示出了在自主车辆后面的执法车辆。图1A的环境100包括执法车辆110和AV120。车辆110-120分别在车道143和145中行驶。AV 120上的摄像机、雷达、激光雷达和麦克风可以检测到执法车辆110有闪光灯112以及警报器114鸣响。

图1B示出了意图超过自主车辆的执法车辆。执法车辆110沿路径132从图1A所示的车辆的原始位置行进到图1B所示的车辆的当前位置。当执法车辆110在警报器鸣响、灯闪光或两者同时存在的情况下沿路径132行进时，该路径、警报器和闪光灯由AV 120检测并处理以确定执法车辆的意图。在图1B所示的场景中，AV 120的数据处理系统可以确定执法车辆的意图(或驾驶员的意图)是要沿着车道143快速行进。如此，AV 120可以决定停留在当前车道中，或者如果更安全则切换到相邻车道。基于最终决定，AV 120可产生轨迹并执行命令以沿规划的轨迹导航。

图1C示出了意图拦停自主车辆的执法车辆。执法车辆110已经沿路径134从其在图1A中的原始位置行进到图1C所示的场景中的AV 120正后方的第二位置。基于新的执法车辆位置、闪光灯和鸣响的警报器，AV 120可以检测到执法车辆110有拦停AV的意图。作为响应，AV 120可决定靠边停车，并产生从车道145靠边停车到车道线146和道路边界148之间的路肩的轨迹。AV 120还可以使用视觉指示器(例如，灯)或其他信号，诸如例如一个或多个V2X信号，将确认信号发送回执法车辆。在一些情况下，AV 120还可以使用听觉(扬声器)、视觉(屏幕上的光、视频、图形)或一些其它指示器来通知AV中的乘客其意图进行靠边停车。

图1D示出了意图导航到路肩上的执法车辆。执法车辆110的路径已经导致车辆110定位在车道线146与道路边界148之间的路肩147上。路肩上的位置可指示执法车辆110已经拦停另一车辆或正在路肩处理一些其他问题。在任何情况下，AV 120可检测到靠边停车到路肩的意图，生成响应于该意图的动作的决定，诸如例如减速或将变换车道到相邻车道。AV120然后可以生成符合该决定的轨迹，然后生成命令以执行所生成的轨迹。

参照图1A-1D讨论的场景仅旨在作为示例，而不旨在限制检测到的意图、生成的决定、或由AV执行的响应于紧急服务车辆的动作的范围。与诸如执法车辆的紧急服务车辆的遭遇可以被解释为一个或多个意图，其可以基于改变的紧急服务车辆和AV位置以及更新的意图分析而随着时间和计算周期而改变，如本文更详细讨论的。

图2是自主车辆的框图。图2的自主车辆210包括与惯性测量单元(IMU)205、摄像机210、雷达215、激光雷达220和麦克风222通信的数据处理系统225。数据处理系统225还可以与加速器230、转向器235、制动器240、电池系统245和推进系统250通信。数据处理系统及其与之通信的部件旨在示例性的以用于讨论的目的。如本领域普通技术人员可以理解的，这并不旨在限制性的，并且自主车辆的附加元件可以在本技术的系统中实现。

IMU 205可以跟踪和测量自主车辆加速度、偏航率和其它测量值，并将该数据提供给数据处理系统225以及AV 200中的其它部件。

摄像机210、雷达215、激光雷达220和麦克风222可以形成自主车辆210的感知部件的全部或部分。自主车辆可以包括一个或多个摄像机210以捕获自主车辆内部和外部的视觉数据。在自主车辆的外部，可以实施多个摄像机。例如，车辆外部的摄像机可以捕获前向视图、后向视图以及可选的其他视图。来自摄像机的图像可以被处理以检测对象，诸如街灯、停止标志、道路的一个或多个车道的线或边界、以及环境的其他方面，对于这些方面，图像可以用于比雷达更好地确定对象的性质。为了检测对象，可以处理图像的像素以识别对象、以及特异的图像和系列图像。该处理可以由图像和视频检测算法、机器学习模型、计算机视觉技术、深度学习技术、和用于检测特定的感兴趣对象的其它算法以及其它对象检测技术来执行。

雷达215可以包括多个雷达感测系统和设备以检测自主车辆周围的对象。在一些情况下，雷达系统可以实施在车辆的四个角部中的每一个角部处、在车辆的前侧上、在车辆的后侧上、以及在车辆的左侧和右侧上。激光雷达可以用于检测相邻车道中以及当前车辆的前方和后方的对象。雷达和激光雷达传感器可以用于检测相邻车道中以及自主车辆前面和后面的当前车道中的静止和移动对象。

数据处理系统225可以包括一个或多个处理器、存储器和存储在存储器中并且可由一个或多个处理器执行以执行本文描述的功能的指令。在一些情况下，数据处理系统可以包括感知模块、规划模块、控制模块和线控驱动模块。模块彼此通信以接收来自感知部件的原始和处理后的数据(例如，分类后的对象信息和执法状态数据)，生成决定和规划轨迹，以及其他动作，并且生成命令以执行轨迹。以下将参考图2的系统更详细地讨论数据处理系统225。

加速器230可以接收来自数据处理系统的命令以加速。加速器230可以被实施为一个或多个机构以将加速施加到推进系统250。转向模块235控制车辆的转向，并且可以从数据处理系统235接收命令以使车辆转向。制动系统240可以处理施加到自主车辆210的车轮的制动，并且可以从数据处理系统225接收命令。电池系统245可以包括电池、充电控制、电池管理系统以及与自主车辆上的电池系统相关的其他模块和部件。推进系统250可管理和控制车辆的推进，并且可包括内燃机、电动机、动力传动系统的部件以及使用电动机且具有或不具有内燃机的推进系统的其它部件。

图3是自主车辆内的数据处理系统的框图。数据处理系统310为图2的系统的数据处理系统225提供更多细节。数据处理系统可以接收来自感知部件320的数据和信息。感知部件320可以包括雷达、激光雷达、麦克风和摄像机元件，以及用于处理元件输出以识别感兴趣的对象、车道线和其他元件，的逻辑。该逻辑还可以将对象分类成一个或多个类别和子类别(例如，紧急服务车辆的车辆和类型)，并且确定对象的状态。感知320可向规划模块312提供对象列表、对象分类、对象状态和车道检测数据。

规划模块312可以接收和处理从感知部件接收的数据和信息，以规划自主车辆的动作。动作规划可以包括确定对象意图、生成响应于对象分类的动作的决定、生成轨迹以执行该决定、以及根据该轨迹导航AV，例如从当前车道到相邻车道、停止、靠边停车到指定车道外的道路的路肩或其他部分上、加速、转向、以及执行其他动作。规划模块312可以生成两条线或点之间的轨迹的样本，分析并选择最佳轨迹，并且为控制模块314提供用于从一个点导航到另一个点的最佳轨迹。

控制模块314可从接收来自规划模块312的信息，例如，应当在其上导航车道变换的所选择的轨迹。控制模块314可以生成要执行的命令以导航所选择的轨迹。命令可包括用于加速、制动和转向AV以实现沿所选择的轨迹的导航的指令。

线控驱动(DBW)模块316可以接收来自控制模块314的命令，并且基于该命令来驱动自主车辆导航部件。具体地，DBW模块316可以控制加速器、方向盘、制动器、转向信号灯以及可选地自主车辆的其他部件330以执行导航。

图4是用于通过AV响应紧急服务车辆的方法。在步骤410中初始化AV。初始化AV可包括启动AV、执行初始系统检查、将车辆校准到当前环境温度和天气、装载乘客和/或其它偏好和设置、以及校准在启动时需要的任何系统。

在步骤420接收并处理感知数据。感知数据可以被处理以检测AV当前行驶的道路中的车道、一个或多个分类后的对象列表、以及相关联的对象状态。感知数据可以包括来自一个或多个摄像机的图像数据、从诸如雷达和激光雷达传感器的一个或多个传感器接收的数据、来自麦克风的音频数据、和其他数据、以及诸如对象状态和对象分类的处理后的信息。在一些情况下，由感知模块检测到的对象可以被分类为车辆。车辆可以进一步被分类为紧急服务车辆，诸如例如执法车辆。当检测到执法车辆时，AV可以至少基于执法车辆的状态和位置采取行动。

感知数据可以由一个或多个感知部件接收，并且可以由与感知部件320相关联的逻辑来处理。一旦生成分类后的对象列表、车道检测数据和对象状态，就将它们提供给数据处理系统。参考图5的方法讨论了用于接收和处理感知数据的更多细节。

响应于接收到分类后的对象列表、车道检测数据和对象状态，数据处理系统可以在步骤430规划对分类后的对象的响应动作。规划响应动作可以包括确定车辆对象位置、确定车辆对象意图、生成关于采取什么动作的决定、向紧急服务车辆发送反馈信号、向AV乘客传送信息、以及基于该决定生成轨迹。以下参考图7的方法更详细地讨论用于规划响应动作的更多细节。

一旦规划模块生成了所选择的轨迹，在步骤440执行安全检查。安全检查可以包括确认沿着所选择的轨迹不存在或将存在障碍物，沿着所选择的轨迹将不会发生碰撞，并且自主车辆可以以适当的方式沿着所选择的轨迹物理地导航，例如没有任何急动(jerk)或具有可接受水平的急动。

在步骤450，控制模块响应于接收到所选择的轨迹而生成命令。这些命令在所选择的轨迹上实施导航自主车辆所需的加速、制动和转向。在步骤460，DBW模块316从控制模块314接收命令，并且由DBW模块316执行该命令。作为执行命令的结果，AV沿着与所选择的轨迹相关联的路径导航。

在一些情况下，重复执行步骤420-460，其中连续地更新紧急服务车辆的意图。响应于更新的意图，由AV数据处理系统做出的决定也可以被连续地更新。执行步骤420-460的迭代过程有助于随着时间跟踪紧急服务车辆导航，作为确定车辆意图的一部分。

图5是用于接收和处理感知数据的方法。图5的方法为图4的方法的步骤420提供更多细节。图5的方法可至少部分地由在AV的操作期间捕捉环境数据的感知模块320来执行。首先，在步骤510，从诸如摄像机、雷达、激光雷达、麦克风之类的传感器以及可选地从AV的其它传感器接收数据。摄像机图像数据可以包括自主车辆行驶通过的环境的图像和/或视频。雷达和激光雷达传感器数据可以指示对象的特征或信号以及对象随时间的位置。雷达和激光雷达数据可以被处理以识别自主车辆附近，诸如在自主车辆的零与几百英尺之间，的对象。处理后的雷达和激光雷达数据可以指示自主车辆附近的对象的速率、轨迹、速度和位置。可由雷达和激光雷达检测的对象的示例包括汽车、卡车、人和动物。一个或多个麦克风可以检测由紧急服务车辆发出的警报器声，以及由紧急服务车辆驾驶员通过扬声器提供的口头指令。其他传感器可以包括检测由紧急服务车辆发送的V2X信号的V2X传感器。V2X信号可以是诸如“靠边停车”、“小心地继续行进”、“变换车道”和/或其他指令的指令。

在步骤520，从摄像机图像数据检测道路车道。道路车道检测可包括识别特定道路、路径或其它通路的边界。道路边界和车道线可使用像素聚类算法或其它图像处理算法来检测，以识别诸如车道线的某些对象，被训练以识别图像内的道路边界和车道线对象的一个或多个机器学习模型，或通过其它对象检测方法来检测。可以足够详细地检测车道线，以在虚线车道线、双黄线、白车道边界线和其他道路车道类型之间进行区分。另外，例如由中央分隔带、人行道、结构或其他元素形成的道路边界可以从在步骤510检索的感知数据中检测。

在步骤530，可以从摄像机图像、视频数据和/或其他传感器数据中识别感兴趣的对象。感兴趣的对象可以包括车辆、停止灯、停止标志、其他标志、以及可以由数据处理系统识别和处理的其他感兴趣的对象。在一些情况下，可以使用像素聚类算法来识别某些对象、机器学习、神经网络和其他合适的方法来处理图像数据。在一些情况下，像素数据可由一个或多个机器学习模型来处理，所述机器学习模型被训练为识别图像内的对象，诸如车辆、交通灯对象、停止标志对象、其他标志对象和其他感兴趣的对象。

在步骤540，可以将一个或多个检测到的对象分类为车辆。与检测到的对象相关联的数据可以包括来自摄像机的图像、来自传感器的数据或数据类型的组合。在步骤550，被检测为车辆的对象可以被分类为紧急服务车辆类型。紧急服务车辆类型可以包括执法车辆、救护车、消防车或一些其他紧急服务车辆。

可以以几种方式中的任何一种来检测车辆和/或紧急服务车辆。例如，可以使用不同分类器对特定类型的紧急服务车辆(如执法车辆、救护车或其他类型的紧急服务车辆的)进行深度学习算法。在一些情况下，计算机视觉可用于对特定类型的紧急服务车辆进行分类。当使用计算机视觉时，可使用一个或多个算法来提取检测到的对象的特征、执行特征相关性分析、以及计算相关性评分以确定特定检测到的对象是特定类型的紧急服务车辆，例如长力量车辆(long force vehicle)，的可能性。满足阈值的相关性评分或者是相关性评分中的最高的相关性评分，则可以相应地对检测到的对象进行分类。也可以使用其它方法来将对象分类为车辆，以及将车辆分类为特定类型的紧急服务车辆。

在步骤560，可以检测被分类为紧急服务车辆的状态。紧急服务车辆的状态可以指示车辆在处于“被动”或“关闭”模式时是否可以被视为任何其他车辆，或者在检测到紧急服务车辆处于“打开”或”主动”模式时，应当执行特殊规划和轨迹。在一些情况下，当检测到若干条件中的任何一个或多个时，诸如检测到车辆警报器鸣响、检测到闪光灯(除了正常前灯、刹车灯和转向信号灯之外)闪光、通过车辆上的扬声器输出警官指令、或发送指示车辆为主动状态的V2X信号时，诸如执法车辆的紧急服务车辆的状态可被设置为“打开”或”主动”模式。

在步骤570，将检测到的车辆、对象列表、对象分类和对象状态提供给规划模块。对于列表中的每个对象，可以包括信息，诸如对象的标识符、对象的分类、对象的位置、轨迹、速度、加速度、作为车辆和/或紧急服务车辆类型的分类、以及在一些情况下的其他数据。

图6是用于检测分类后的车辆对象的状态的方法。图6的方法为图5的方法的步骤560提供更多细节。将参考执法车辆讨论图6的方法，可以以类似方式确定其他紧急服务车辆类型的状态。在步骤610，检测从执法车辆发出的警报。一个或多个麦克风可以接收从执法车辆的警报器发出的音频信号，并且处理该音频信号以识别该警报。在步骤620，可以检测从执法车辆发出的光。灯可以是闪光的、旋转的或以其他方式指示车辆处于活动状态，并且可以位于执法车辆的顶部、车辆的后窗中或车辆上的其他位置。重复闪光或旋转的执法车辆灯是除了白色之外的不同颜色，例如红色和蓝色，可以使用自主车辆上的一个或多个摄像机来检测。

在步骤630，可以检测由执法车辆的驾驶员提供的听觉指令。在一些情况下，可以接收并处理由紧急服务车辆驾驶员通过车辆的扬声器提供的指令，以确定车辆的状态。在一些情况下，指令可以被处理，以便从多个麦克风中使用定向滤波器仅处理从执法车辆所在位置接收的指令。在这种情况下，音频指令可以通过AV的一个或多个麦克风接收，经由语音转文本模块从语音转换成文本，可以解析文本以识别指令内的语法，然后可以处理具有识别出的语法的解析的单词，以确定从紧急服务车辆的驾驶员提供的指令的含义。指令的含义可以用于设定紧急服务车辆的状态。例如，对于在车辆正处于AV之后时扬声器广播的“靠边停车”指令，可以检测到紧急服务车辆具有“拦停”AV的意图。在一些情况下，AV的数据处理系统可以包括语音处理模块，其处理来自紧急服务驾驶员的音频以确定音频的含义，并且处理该含义以确定紧急服务车辆的意图。

在步骤640，可以检测V2X信号。在一些情况下，执法车辆可以发送V2X指令，该指令指示AV应当靠边停车、停止、改变车道或者执行一些其它动作。

在步骤650，紧急服务车辆警报器、灯、听觉指令、V2C和其他数据中的一个或多个的检测被处理以检测执法车辆状态。在一些情况下，执法车辆对象状态可设定为“正常”或“关闭”，其中执法车辆警报器关闭，没有任何闪光灯，并且不发送任何应询信号(be to asksignal)或听觉指令。如果任何警报器打开、灯闪光、指示对车辆的指令的2X信号正在被发送、或发出执法车辆正在主动处理紧急情况、受关注情况或可疑违法行为的听觉指令，则与执法车辆关联的对象可具有设定为“紧急”或”主动”的状态。

图7是用于规划对检测到的对象信息的响应动作的方法。图7的方法为图4的方法的步骤430提供更多细节。首先，在步骤710确定执法车辆位置。使用与特定对象相关联的感知数据来确定位置，其中感知数据可包括摄像机数据和传感器数据以及检测到的车道线。例如，执法车辆的位置可包括确定执法车辆的地理位置以及确定车辆在什么行驶车道，包括确定执法车辆是在与AV相同的车道还是在不同的车道。在一些情况下，高清晰度地图也可用于确定执法车辆的位置和车道。

在步骤720执行车辆意图分析。基于车辆位置、导航历史及其当前状态来确定车辆的意图。参考图8的方法讨论用于执行车辆意图分析的更多细节。

在步骤730，基于执法车辆位置和意图分析来生成关于规划动作的决定。该决定可以遵守交通规则和规章以及执法车辆的意图和位置。例如，如果执法车辆在AV正后方，则AV可靠边停车到相邻车道或路肩以离开执法车辆的路径。如果检测到执法车辆跟随AV进入相邻车道，则可做出将AV导航到路肩或远离当前道路的主车道的其它位置的决定。如果检测到执法车辆在车道前方并停在车道前方，则可以做出小心地继续行进，和可选地改变车道的决定，以便避开执法车辆所停放的当前道路上的障碍物或其他危险。

一旦作出决定，在步骤740，可基于该决定来生成轨迹。该轨迹可被生成以执行由AV响应于执法车辆所做出的决定。为了生成轨迹，需要从当前位置(如当前车道的中心基准线)到目标位置的轨迹的采样。轨迹的采样可包括从当前位置到目标位置的各个点的各种轨迹，诸如相邻车道。评估和排序每个生成的轨迹。评估多个样本轨迹线内的每个轨迹，包括确定每个轨迹中的对象、确定约束考虑因素以及确定每个轨迹的成本，例如，与导航轨迹相关及的急动的项。当评估生成的轨迹时，考虑轨迹的排序中的若干因素(轨迹中的对象、约束考虑因素、成本)中的每一个，并且基于确定的结果来提高或降低排序。例如，如果确定指示对象将存在于特定轨迹中，则该轨迹的排序可以减半或减少一定的百分比。在一些情况下，一些确定可以具有比其他确定更高的权重，例如，检测到在特定轨迹中的对象。最高排序的轨迹由规划模块选择并提供给控制模块。

作为轨迹选择过程的一部分，可以考虑每个轨迹的约束条件。这些约束可以包括横向边界、横向偏移、横向速度、横向加速度、横向急动度和车道线的曲率。每个约束可以基于约束的值和与每个特定约束相关联的阈值来提高或降低特定轨迹的排序。

每个采样轨迹的成本被确定并被考虑用于轨迹的排序。成本的示例包括终点偏移成本、平均偏移成本、变道持续时间成本、横向加速成本和横向急动成本。当确定成本时，如果特定成本大于阈值或超出范围，则可以降低排序，并且如果成本低于阈值或在期望的范围内，则可以提高排序。

除了生成规划轨迹之外，数据处理系统可以创建包括确认信号和/或对紧急服务车辆的遵从的响应。例如，当紧急服务车辆(或车辆驾驶员)具有检测到的拦停AV的意图时，AV可以生成V2X信号、视觉信号或提供其将靠边停车的一些其他通信。传送到紧急服务车辆的确认或遵从信号的其他示例可以包括在AV上的闪光危险灯或其他闪光灯。当检测到的紧急服务车辆的意图随时间变化时，确认信号可以随时间变化。

AV车辆还可以生成AV内部的通知，诸如听觉或视觉消息、通知、警报或其他内容。内部通知由AV的一个或多个乘客接收，以通知他们紧急服务车辆意图、AV的规划响应、或者一个或多个乘客应当监督或超控(override)AV中的一个或多个。向乘客的通知可以例如警告乘客监督或超控AV的导航，同时AV至少部分地基于紧急服务车辆检测到的意图来执行决定。通知可包括指示一个或多个乘客应当监督或超控AV的听觉或视觉短语、文本或图形，点亮指示乘客应当监督或超控AV导航的AV上的灯，或一些其它通知。

图8是用于检测被分类为执法车辆的车辆对象的意图的方法。图8的方法为图6的方法的步骤620提供更多细节。在步骤805，确定是否检测到执法车辆警报器为打开。Av上的麦克风可检测从警报器发出的音频以确定警报器是否打开。如果确定警报器没有打开，则在步骤810确定是否任何闪光灯被检测到为在执法车辆上。闪光灯可以位于车辆的顶部、车辆的后窗、车辆的前部或后部、或执法车辆上的一些其它位置。在一些情况下，可以检测闪光灯，例如闪光红灯、蓝灯或这些的组合，并且在执法车辆的典型前灯、刹车灯和转向信号灯之间进行区分。如果在步骤810检测到执法车辆的闪光灯没有打开，则确定执法车辆的驾驶员没有意图控制或引导AV或其它交通，并且在步骤815，AV可正常导航。如果在步骤805确定警报器打开，或者在步骤810确定执法车辆的闪光灯打开，则执法车辆主动参与交通并且需要更多信息，图8的方法继续到步骤820。

在步骤820，确定执法车辆是否在AV的当前车道中。如果执法车辆与AV在同一车道中，则在步骤825，确定执法车辆是否从不同车道跟随AV进入AV的当前车道。如果执法车辆没有跟随AV到达AV占据的当前车道，则执法车辆可能意图快速导航通过当前车道。这样，在步骤835，执法车辆的意图被解释为AV应该移出车道。因此，AV数据处理系统可以做出改变车道的决定以响应于检测到的执法车辆的意图。

如果执法车辆确实从跟随AV从不同车道进入当前车道，则在步骤830，确定执法车辆的意图是拦停AV。作为响应，AV数据处理系统可以做出靠边停车到路肩的决定，或者靠边停车到与当前道路的车道相距安全距离的某个其它位置的决定。

如果执法车辆的警报器打开或灯打开，并且不位于AV的当前车道中，则在步骤840确定执法车辆是否正在移动。如果执法车辆正在不同的车道中移动，则在步骤835，确定该意图为执法车辆想要AV保持在执法车辆所占据的车道之外。因此，AV的数据处理系统可以做出在安全时改变车道远离执法车辆的决定，或者保持在当前车道中的决定。

如果在步骤840执法车辆在车道中但没有在移动，则在步骤845，确定执法车辆是否在路肩上。如果执法车辆在路肩上，则执法车辆的意图被确定为其打算其它车辆应当小心地继续行进。因此，AV数据处理系统可以做出保持移动，但相对于靠边停车的执法车辆小心地继续行进的决定。

如果在步骤845，执法车辆没有在路肩上，执法车辆停在道路的车道中的某处并且没有移动，则在步骤855，确定该意图是对道路中的某种状况的警告。因此，AV数据处理系统可以做出停留在当前车道中并保持与AV前方的车辆的最小距离的决定。在一些情况下，AV可以做出不超过具有警报和/或灯闪光并且在道路中间停止的执法车辆的决定。

图9是用于实施数据处理系统的计算环境的框图。图9的系统900可以在上下文中的实施自主车辆上的数据处理系统125的机器上实现。图9的计算系统900包括一个或多个处理器910和存储器920。主存储器920部分地存储用于由处理器910执行的指令和数据。主存储器920可在操作时存储可执行代码。图9的系统900还包括大容量存储设备930、便携式存储介质驱动器940、输出设备950、用户输入设备960、图形显示器970和外围设备980。

图9中所示的组件被描绘为经由单个总线990连接。然而，这些组件可以通过一个或多个数据传输装置连接。例如，处理器单元910和主存储器920可以经由本地微处理器总线连接，并且大容量存储设备930、外围设备980、便携式存储设备940和显示系统970可以经由一个或多个输入/输出(I/O)总线连接。

可以用磁盘驱动器、光盘驱动器、闪存驱动器或其它设备实现的大容量存储设备930是用于存储由处理器单元910使用的数据和指令的非易失性存储设备。大容量存储设备930可以存储用于实现本技术的实施例的系统软件，以便将该软件加载到主存储器920中。

便携式存储设备940结合诸如闪存驱动器、USB驱动器、存储卡或记忆棒、或其它便携式或可移动存储器等便携式非易失性存储介质来操作，以向图9的计算机系统900输入和从其输出数据和代码。用于实现本技术的实施例的系统软件可以存储在这样的便携式介质上，并且经由便携式存储设备940输入到计算机系统900。

输入设备960提供用户界面的一部分。输入设备960可以包括：用于输入字母数字和其他信息的字母-数字小键盘，例如键盘；点击设备，例如鼠标、轨迹球、触控笔、光标方向键、麦克风、触摸屏、加速度计；经由射频连接的无线设备；运动传感设备；和其他输入设备。附加地，如图9中所示的系统900包括输出设备950。合适的输出设备的示例包括扬声器、打印机、网络接口和监视器。

显示系统970可以包括液晶显示器(LCD)或其他合适的显示设备。显示系统970接收文本和图形信息并处理该信息以输出到显示设备。显示系统970还可以作为触摸屏接收输入。

外围设备980可以包括任何类型的计算机支持设备，以向计算机系统添加附加功能。例如，外围设备980可以包括调制解调器或路由器、打印机和其他设备。

在一些实施方式中，系统900还可以包括天线、无线电发射机和无线电接收机990。天线和无线电可以在诸如智能电话、平板电脑和可以无线地通信的其他设备的设备中实现。一个或多个天线可以在适于通过蜂窝网络、Wi-Fi网络、诸如蓝牙设备的商业设备网络和其它射频网络发送和接收数据的一个或多个射频下操作。设备可以包括一个或多个无线电发射机和接收机，用于处理使用天线发送和接收的信号。

图9的计算机系统900中所包含的组件是通常在计算机系统中找到的那些组件，它们可适于与本发明的实施例一起使用，并且旨在表示本领域中公知的这类计算机组件的宽泛类别。因此，图9的计算机系统900可以是个人计算机、手持式计算设备、智能电话、移动计算设备、工作站、服务器、小型计算机、大型计算机或任何其它计算设备。计算机还可以包括不同的总线配置、联网平台、多处理器平台等。可以使用各种操作系统，包括Unix、Linux、Windows、Macintosh OS、Android以及包括Java、NET、C++、Node.JS以及其他合适语言的语言。

本文的技术的前述详细描述是出于说明和描述的目的而呈现的。其并非旨在是穷举的或将本技术限于所公开的精确形式。根据上述教导，许多修改和变型是可能的。选择所描述的实施例以最佳地解释本技术的原理及其实际应用，从而使本领域的其他技术人员能够在各种实施例中最佳地利用本技术，并且具有适合于所设想的特定用途的各种修改。该技术的范围旨在由所附权利要求书限定。

Claims (24)

1.一种用于自动响应紧急服务车辆的系统，包括：

数据处理系统，包括一个或多个处理器、存储器、规划模块和控制模块，所述数据处理系统用于：

基于所接收的传感器数据来识别道路上的对象；

基于所述传感器数据将所识别的所述对象分类为紧急服务车辆的类型；

至少部分地基于所述类型的紧急服务车辆的位置来确定所述类型的紧急服务车辆的意图；

基于分类和所述意图生成用于响应所述紧急服务车辆的决定；以及

生成一个或多个命令以沿着所选择的轨迹导航。

2.根据权利要求1所述的系统，其中，所述紧急服务车辆的类型是执法车辆。

3.根据权利要求1所述的系统，其中，确定所述执法车辆的所述意图包括：

检测所述执法车辆的状态；以及

基于所述执法车辆的所述位置和所述执法车辆的所述状态来检测所述执法车辆的所述意图。

4.根据权利要求3所述的系统，其中，所述执法车辆的状态包括检测从所述执法车辆发出的警报。

5.根据权利要求3所述的系统，其中，所述执法车辆的状态包括检测执法车辆上的闪光灯。

6.根据权利要求1所述的系统，其中，确定所述执法车辆的所述意图包括检测所述执法车辆相对于所述道路上的检测到的车道线的位置。

7.根据权利要求1所述的系统，其中，所述意图包括警告交通、拦停自动响应于第一响应者车辆的汽车、快速导航通过交通和正常驾驶中的一个。

8.根据权利要求1所述的系统，其中，分类包括：

执行第一次分类，以将所述所识别的所述对象分类为车辆；以及

执行第二次分类，以将所述车辆分类为执法车辆。

9.根据权利要求1所述的系统，其中，生成决定包括：

基于执法车辆意图和位置、检测到的车道线和检测到的道路边界来生成自主车辆的多条轨迹；

生成所述多条轨迹中的每条的评分；以及

选择具有最高评分的轨迹。

10.根据权利要求1所述的系统，其中，所述紧急服务车辆的类型是消防车或救护车，所述意图是在道路中停止、快速导航通过交通、以及正常驾驶。

11.根据权利要求1所述的系统，其中，所述数据处理系统还用于生成对所述紧急服务车辆的确认。

12.根据权利要求1所述的系统，其中，所述数据处理系统还用于生成向所述自主车辆内的一个或多个乘客的通知，所述通知基于由所述自主车辆用于响应的所述决定。

13.一种非暂时性计算机可读存储介质，其上包含有程序，所述程序可由处理器执行以执行用于自动响应于紧急服务车辆的方法，所述方法包括：

基于所接收的传感器数据来识别道路上的对象；

基于所述传感器数据将所识别的所述对象分类为紧急服务车辆的类型；

至少部分地基于所述类型的紧急服务车辆的位置来确定所述类型的紧急服务车辆的意图；

基于分类和所述意图生成用于响应所述紧急服务车辆的决定；以及

生成一个或多个命令以沿着所选择的轨迹导航。

14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述紧急服务车辆的类型是执法车辆。

15.根据权利要求13所述的非暂时性计算机可读存储介质，其中，确定所述执法车辆的所述意图包括：

检测所述执法车辆的状态；以及

基于所述执法车辆的所述位置和所述执法车辆的所述状态来检测所述执法车辆的所述意图。

16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述执法车辆的状态包括检测从所述执法车辆发出的警报。

17.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述执法车辆的状态包括检测执法车辆上的闪光灯。

18.根据权利要求13所述的非暂时性计算机可读存储介质，其中，确定所述执法车辆的所述意图包括检测所述执法车辆相对于所述道路上的检测到的车道线的位置。

19.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述意图包括警告交通、拦停自动响应于第一响应者车辆的汽车、快速导航通过交通和正常驾驶中的一个。

20.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述数据处理系统还用于生成对所述紧急服务车辆的确认。

21.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述数据处理系统还用于生成向所述自主车辆内的一个或多个乘客的通知，所述通知基于由所述自主车辆用于响应的所述决定。

22.一种用于自动响应紧急服务车辆的方法，包括：

由存储在存储器中并由一个或多个处理器执行的数据处理系统基于所接收的传感器数据来识别道路上的对象；

由数据处理系统基于所述传感器数据将所识别的所述对象分类为紧急服务车辆的类型；

由数据处理系统至少部分地基于所述类型的紧急服务车辆的位置来确定所述类型的紧急服务车辆的意图；

基于分类和所述意图生成用于响应所述紧急服务车辆的决定；以及

生成一个或多个命令以沿着所选择的轨迹导航。

23.根据权利要求22所述的方法，其中，所述类型的紧急服务车辆是执法车辆。

24.根据权利要求22所述的方法，其中，确定所述执法车辆的所述意图包括：

检测所述执法车辆的状态；以及

基于所述执法车辆的所述位置和所述执法车辆的所述状态来检测所述执法车辆的所述意图。

Images