CN118884956A - 车辆运行安全模型测试系统 - Google Patents

Abstract

描述了用于测试场景验证的系统和技术，用于模拟自动驾驶车辆安全操作。在一个示例中，测量用于测试自动驾驶安全要求的测试场景的性能包括：为测试场景定义测试环境，测试测试车辆是否符合安全要求，包括最小安全距离要求；识别在测试场景中使用的测试流程，这些流程定义用于测试最小安全距离要求的操作；识别与识别出的测试流程一起使用的测试参数，诸如，速度、制动量、制动时机，以及加速率或减速率；以及创建测试场景以用于自动驾驶测试模拟器。测试场景的使用包括应用识别出的测试流程和识别出的测试参数来识别测试车辆对最小安全距离要求的响应。

Description

车辆运行安全模型测试系统

本申请是申请日为2021年12月17日、申请号为202180015179.6(PCT国际申请号为PCT/IB2021/000886)、名称为“车辆运行安全模型测试系统”的发明专利申请的分案申请。

技术领域

本文描述的实施例总体涉及自动化驾驶或驾驶员辅助驾驶，更具体地涉及一种用于确保符合一个或多个安全模型的参数的测试系统。

背景技术

自动驾驶和驾驶员辅助系统正变得越来越普遍。这些系统使用车辆传感器数据来控制或帮助控制(例如，通过驾驶员提示、部分转向输入、紧急制动等)车辆。自动驾驶系统可以在没有驾驶员辅助的情况下完全控制车辆，而辅助式驾驶系统则增强了驾驶员对车辆的控制。辅助式驾驶系统可称为高级驾驶员辅助系统(ADAS)系统，是为了使车辆系统自动化、适配或增强车辆系统以提高安全性并提供更好的驾驶体验而开发的。在此类系统中，安全功能被设计为通过提供提醒驾驶员注意潜在问题的技术来避免碰撞和事故，或通过采取安全措施和接管车辆控制来避免碰撞。

虽然自动驾驶和ADAS系统已经融合了各种安全功能，但目前有动向要为车辆的运行创建可验证的安全模型。这些模型倾向于使车辆之间的运动和交互的参数正规化，使用这些参数来为世界上的车辆存在情况建模，并基于车辆存在情况来定义车辆之间可接受的交互。其中一种这样的车辆运行安全模型(VOSM)是责任感知安全(RSS)模型。

发明内容

根据本申请的一方面，提供了一种用于对测试场景的性能进行测量的方法，所述测试场景用于测试自动驾驶安全要求，所述方法包括：为测试场景定义测试环境，所述测试场景用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

根据本申请的另一方面，提供了至少一个非暂态机器可读存储介质，包括指令，所述指令用于对测试场景的性能进行测量，所述测试场景用于测试自动驾驶安全要求，所述指令在被机器的处理电路执行时使得所述处理电路执行以下操作：为测试场景定义测试环境，所述测试场景用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

根据本申请的又一方面，提供了一种用于对测试场景的性能进行测量的计算系统，所述测试场景用于测试自动驾驶安全要求，所述计算系统包括：存储器，用于存储与测试场景相关联的数据，所述测试场景将用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；以及处理电路，被配置用于：定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

附图说明

在不一定按比例绘制的附图中，相似的数字可以在不同的视图中描述相似的部件。具有不同字母后缀的相似数字可以表示相似部件的不同实例。附图通过示例而非限制的方式总体示出了本文档中讨论的各种实施例。

图1示出了根据实施例的展示自动车辆运行安全模型的移动车辆场景的示例。

图2示出了根据实施例的用于操作安全模型模拟测试台的示例工作流。

图3示出了根据实施例的用于安全模型模拟测试台的系统框架的示例。

图4示出了根据实施例的用于配置和使用测试系统的过程流的示例，其中应用了车辆安全运行模型参数。

图5A和图5B示出了根据实施例的用于车辆安全运行模型的场景测试中的初始距离设置的流程。

图6A至图6C示出了根据实施例的在车辆安全运行模型的场景测试中使用的各个测试用例。

图7示出了根据实施例的用于测量在测试自动驾驶安全要求中使用的测试场景的性能的方法的示例流程图。

图8是示出可以在其上实施一个或多个实施例的机器的示例的框图。

具体实施方式

下文讨论的许多场景和示例将参考RSS和基于RSS原则的安全标准，但是大多数示例同样适用于其他VOSM。诸如RSS之类的VOSM定义各个车辆的几个参数，并使用这些参数来为确定车辆是否安全的一组距离等进行建模。总体而言，安全距离涉及足够的纵向距离和足够的横向距离。这将在下文参考说明在安全模型中这些距离的关系的图1进行讨论。

VOSM可以为自动驾驶期间的安全保障提供数学模型。例如，RSS制定了一套安全标准，诸如，避免碰撞的车辆之间的最小距离d_min。使用多个参数来计算公式，诸如，车辆的响应时间ρ、最小制动a_min,brake，以及最大加速度a_max,brake。如果满足所有要求，则车辆通过标准并且被认为是安全的(例如，被认为处于不会发生过错而导致事故的状态)。应该注意的是，这样的标准并不是为了保证绝对的安全，而是只是保证按照安全模型规则控制的车辆不会因为自身的过错而导致事故发生。RSS等安全模型还依赖于一组假设，这些假设是关于什么应当被视为其他道路参与者的“合理”或典型行为(诸如，目标车辆在响应时间内的最大加速度等)的。因此，即使完全遵守安全模型规则也不能保证不会发生由其他参与者引发的事故。

正在制定各种形式的安全要求，从而使RSS方法标准化。例如，中国ITS标准《自动驾驶车辆决策的安全保障技术要求(Technical Requirement of Safety Assurance ofAV Decision Making)》(T/ITS 0116-2019)确立了要在中国使用的基于RSS的安全标准。为了推进此项标准的使用，测试标准也正在制定中，例如中国ITS标准《自动驾驶车辆决策的安全保障测试流程和评估规则(Test Procedures and Evaluation Rules for SafetyAssurance of AV Decision Making)》(T/ITS 0116-2019)。预计此项测试标准和类似的测试标准将需要执行三个部分：模拟测试、现场测试，以及道路测试。模拟测试将在现场测试和路测试之前进行。下面提出一种模拟测试台来解决用于模拟测试的现有测试方法和基础设施所涉及的以下问题。

在许多场景下，调用安全模型专用测试流程和工况参数是一项挑战。AV开发者通常使用一些典型的交通场景作为测试用例来测试自动驾驶系统(ADS)的性能，诸如，跟随前方车辆、变道、穿越道路交叉路口等。这些场景的工况参数是由真实的交通数据推导出来的，或者是由场景设计者随机选择的。但是，这些测试用例连同它们的工况参数通常不能直接用于测试是否符合RSS，因为这些场景与RSS规则没有直接的数值关系，也不能反映RSS功能模块(由不同的供应商实施)的实际功能。

为了处理这种场景，下面提出了安全模型专用测试用例以及特定的工况参数，用于安全模型测试验证。在示例验证过程中，所有工况参数都是从RSS安全公式反向算出的。此外，为了准确评估和量化测试结果，下面提出了能够反映被测功能安全模块的实际功能的安全模型特定标准。此外，下面还提出了模型专用功能安全模块，这些模块可以增强常规的AV模拟测试系统并允许对其进行调适以满足VOSM测试场景的要求。

图1示出了根据实施例的展示自动车辆运行安全模型的移动车辆场景的示例。如图所示，自主车辆(ego vehicle)105与轿车120和卡车125这两个目标车辆共用道路。在这里，“自主车辆”是指从其中获得特定视角的车辆，而目标车辆是在此视角内的对象。

车辆105，也可以互换地称为“自主车辆”、“主控车辆”或“测试车辆”，可以是任何类型的交通工具，诸如，商用车辆、消费者用车辆(consumer vehicle)、休闲车、汽车、卡车、摩托车、船、无人机、机器人、飞机、气垫船，或能够至少部分地以自动模式运行的任何移动飞行器。车辆105有时可以在手动模式下运行，在手动模式下驾驶员通常使用踏板、方向盘或其他控件来操作车辆105。在其他时间，车辆105可以在全自动模式下运行，即车辆105在没有用户干预的情况下运行。此外，车辆105还可以在半自动模式下运行，其中车辆105控制驾驶的许多方面，但驾驶员可以使用常规(例如，方向盘)和非常规输入(例如，语音控制)来干预或影响操作。以这种方式，车辆可以在从1级到5级定义的任意数量的驾驶自动化级别中以相同或不同的时间运行(例如，如SAE国际J3016所定义的：1级，驾驶员辅助；2级，部分驾驶自动化；3级，有条件的驾驶自动化；4级，高度驾驶自动化；5级，完全驾驶自动化)。车辆也可以使用这些级别的组合或变型来运行。例如，车辆可以根据一种新的概念L2+(Level2Plus)运行，这种概念描述了一种混合式ADAS/AV，可以促进增强的驾驶体验并提高安全性，而无需提供全自动的控制系统。

如上所述，RSS等安全模型为自动驾驶期间的安全保障提供了数学模型。VOSM可以制定一套安全标准，诸如，避免碰撞的车辆之间的最小距离d_min。可以使用多个参数来计算公式，诸如，车辆的响应时间ρ、最小制动a_min,brake，以及最大加速度a_max,brake。因此，安全模型可以定义自主车辆105的安全纵向距离110和安全横向距离115。这些距离在自主车辆105周围形成区域、壳体、气泡或防护罩，同样也在轿车120和卡车125周围示出。通常，违反这些安全距离(例如，交叉或重叠130)表明自主车辆105处于不安全状态，应采取纠正措施。应注意的是，交叉130不一定会导致碰撞，只是根据安全模型，出现了不安全的情况。

作为一个非限制性示例，RSS模型分别提供了以下安全纵向距离和横向距离的表示：

关于等式(1)的安全纵向距离，a_max,accel和a_min,brake是自主车辆105(c_r)的最大加速率和最小制动率，且ρ是自主车辆105的响应时间。关于等式(2)的安全横向距离，ρ₁和ρ₂是自主车辆105(c₁)和目标车辆(c₂)(诸如，卡车125)的响应时间。另外，和分别是c₁的最大加速率和最小制动率，而和分别是c₂的最大加速率和最小制动率。

为清楚起见，等式(1)的结果被称为最小安全纵向距离，而等式(2)的结果被称为最小安全横向距离，其中任一个值都被实现为最小安全距离要求。当自主车辆检测到它比最小安全纵向距离或最小安全横向距离更近时，预期自主车辆105会采取纠正措施。此类纠正措施可以包括制动或转向，以增大自主车辆105与目标车辆125或其他对象之间的距离，直到恢复最小安全纵向距离和最小安全横向距离为止。

上面的等式(1)和等式(2)说明了安全模型对自主车辆105和目标车辆125的响应时间、目标车辆的最大横向或纵向加速度以及自主车辆的最小制动(例如，减速度)的参数化。在这里，最大加速度是车辆能够实现的最大加速度，而最小制动是车辆可以保证在执行机动(maneuver)时施加的减速度。因此，如果车辆处于峰值运行状况，则最大和最小制动可能是相同的。然而，如果，例如，自主车辆105的制动器有磨损，则用于自主车辆105的最小制动基于制动器磨损而从最大制动减小。

用于制动或加速的最大值和最小值的实际值通常由自主车辆105的制造商来定义，或由VOSM等来定义。定义这些值是为了提供给定等式(1)和等式(2)的实际安全裕度。应注意的是，等式(1)和等式(2)一般假设最坏的用例场景，其中自主车辆105性能不佳(因此，对自主车辆使用最小制动)，而目标车辆125处于峰值性能(因此，对目标车辆125使用最大加速度-或者在适当的情况下使用最大减速度/制动)，即使更有可能是自主车辆105将优于其最小制动而目标车辆125将逊于其最大加速度/制动。

通过使用等式(1)和等式(2)，在自主车辆105周围定义了危险区域。如上所述，当另一个对象干扰此区域，或预计会干扰此区域时，预期自主车辆105将采取行动。因为自主车辆105和目标车辆125的速度都是等式(1)和等式(2)的参数，所以危险区域基于检测到的自主车辆105和目标车辆125的移动而不断变化。

其他VOSM通常会通过定义相关参数并基于这些参数提供可接受的车辆交互而遵循上述RSS VOSM模板。

模拟测试台通常包括模拟器、场景引擎、数据记录，以及评级。CARLA、MATLAB等多种驾驶模拟器已被广泛采用。每个模拟器都有自己的场景引擎，诸如，CARLA的场景运行器，或MATLAB的场景设计器。此类测试场景的标准通常包括安全性、任务完成度、驾驶平稳性、交通政策的合规性等。模拟中使用的测试用例通常涉及典型的交通场景，诸如，变道、跟随前方车辆、穿越道路交叉路口等。模拟工况参数通常是从真实的交通数据(诸如，自然驾驶研究(NDS))推导出来的，或是由设计者随机选择的。

传统的测试用例及其工况参数不能用于直接评估RSS或其他VOSM功能。安全模型规则基于严格的数学公式，并且有自己的运行域。测试用例和参数要达成，必须满足安全模型功能单元的运行域，并反映被测安全模型功能单元的实际功能。然而，常规的模拟测试台缺少用于RSS和其他VOSM测试和评级的必要的功能模块。

下面提出了安全模型专用测试用例以及用于安全模型测试的特定工况参数。在一个示例中，工况参数从公式反向算出，并被部署到测试场景中。下面还提出了可嵌入到常规模拟系统中进行安全模型模拟和评级的安全模型专用功能模块，包括使用安全模型专用实时动态(RTK)状态检查器和产生相关评级标准的基于安全模型的评级模块。

所提出的安全模型专用测试方法和工况参数可用于验证是否符合正规化的安全模型测试标准或正在开发的其他类似类型的标准。所提出的安全模型专用功能模块也适用于合格的安全模型模拟测试台，以及用于验证安全模型标准合规性的商业测试系统。显然，也可以提供以下架构和方法的其他场景和好处。

图2示出了根据实施例的用于操作安全模型模拟测试台的示例工作流。具体而言，此工作流涉及使用测试代理(在操作202处)来为测试设置写入和刷新数据，包括提供安全模型参数以测试是否符合一些安全模型要求。在此工作流之后是基于测试设置和安全模型参数的测试模拟器的操作(在操作204处)。

本文使用的测试示例专门验证是否符合RSS标准，诸如，与安全纵向距离相关的标准，但是也可以使用其他VOSM或特定的安全场景。例如，可以验证由RSS定义的安全横向距离，或者可以通过适当调整参数来验证来自其他VOSM的车辆轨迹拦截(intercept)(例如，交叉、重叠等)。

根据当前版本的RSS，最小纵向安全距离由等式(1)定义，转载如下：

注：[X]₊：＝max{x,0}，且其中：

v_f：前方车辆的纵向速度；

前方车辆的最大制动加速度；

v_r：后方车辆的纵向速度；

ρ：后方车辆的响应时间；

后方车辆的最大前向加速度；

后方车辆的最小制动加速度。

当后方车辆与前方车辆之间的距离等于或小于最小纵向安全距离时，后方车辆应在响应时间内以不超过最大纵向加速度的加速度继续前进，然后，后方车辆应以不小于最小纵向制动加速度的制动加速度进行减速，直至后方车辆完全停止或纵向危险情况解除(例如，不再有纵向危险情况)为止。

鉴于上述情况，测试技术可被适配用于验证试图检测不安全状况并对其作出响应的安全模块的合规性，并符合RSS或其他VOSM要求。

图3示出了所提出的模拟测试台的系统框架(例如，使用RSS作为VOSM)。模拟测试台300的功能模块(例如，通过软件编程在硬件中实现)可以包括以下部件：

a)模拟器350。此模拟器350可以由多种专业驾驶模拟器中的任一种提供，包括CARLA、MATLAB、Apollo等。模拟器实时渲染3D虚拟场景，计算虚拟车辆的实时动态，并为用户提供控制界面。

b)场景引擎340。场景引擎340解析场景规范，然后在模拟器350中构建测试场景。场景引擎340可以独立于模拟器350或嵌入到模拟器350中。

c)测试数据记录380。此模块记录模拟期间的所有运行时数据，包括自主车辆和其他参与者的状态、事件(碰撞、违反交通政策等)以及环境信息。数据日志可用于回放、调试以及性能评估。

d)虚拟车辆控件360。此模块用于将测试代理310的输出转换为虚拟车辆的控制信号(油门/刹车/车轮，或目标速度/加速度/路径点)。

传统的AD模拟基础设施缺少用于安全模型测试的功能模块；因此，下文介绍了在测试台300中使用额外的安全模型专用功能模块，以实现对特定VOSM模型(例如，RSS模型)的测试。这些模块包括安全模型参数的使用和参与，这将在下文详细介绍。

e)安全模型参数表320。参考图1和对等式(1)和等式(2)的讨论，RSS的核心思想是使自主车辆保持安全纵向距离和安全横向距离。用于安全模型的参数，诸如，上面讨论的等式(1)和等式(2)中使用的参数，在以下段落中被称为安全模型参数。

安全模型参数的值取决于多种因素，包括被测自主车辆的真实动态特征、驾驶环境、路况，以及实验结果。来自不同供应商的每个测试代理都有自己的机制来确定安全模型参数。依据具体实现方式，安全模型参数可以是一组固定值，也可以根据环境或路况进行自适应调整。

安全模型参数表320用于在模拟测试期间从被测测试代理接收安全模型参数值并将它们存储在表格中。如果测试代理310使用一组固定的安全模型参数值，则表格将只在开始时被写入一次；如果测试代理使用一组自适应安全模型参数，则需要对表格进行实时刷新。

此外，安全模型参数表可以被其他模块用于不同的目的，这将在下一节中介绍。

f)安全模型专用测试用例生成330。此模块330用于根据安全模型参数表生成安全模型专用测试用例及其模拟工况参数。为了在测试代理中评估安全模型功能的性能，可以生成以下三个安全模型测试用例：

1)稳态测试。此稳态测试被设计为测试自主车辆和目标车辆在正常行驶过程中是否能够达到相对稳定的状态，即它们具有相同的速度并且它们之间的距离基本保持不变。稳态测试的测试流程描述如下：

步骤1：自主车辆和目标车辆以及其他参与者在一些初始条件(初始位置、初始速度，以及初始加速度)下沿给定路线开始行驶。

步骤2：目标车辆沿路线以恒定速度继续行驶，并且自主车辆纵向或横向接近目标车辆。

步骤3：如果自主车辆的安全模型功能模块有效工作，则当纵向距离或横向距离接近最小安全距离时，自主车辆将停止接近目标车辆。最终，自主车辆的速度等于目标车辆的速度，并且距离保持不变(距离≥最小安全距离)。

2)动态测试。动态测试被设计为测试自主车辆相对于目标车辆达到相对稳定状态后的动态响应能力。在动态测试中，自主车辆预期对目标车辆的操作(制动或横向移动)作出响应，并保持纵向/横向安全距离。动态测试的测试流程描述如下：

步骤1：自主车辆和目标车辆以及其他参与者在一些初始条件(初始位置、初始速度，以及初始加速度)下沿给定路线开始行驶。

步骤2：目标车辆沿路线以恒定速度继续行驶，并且自主车辆纵向或横向接近目标车辆。最终，自主车辆相对于目标车辆达到相对稳定的状态，此时自主车辆的速度等于目标车辆的速度，且距离保持不变(距离≥最小安全距离)。

步骤3：目标车辆在响应时间ρ₂内以一定的减速度(a_brake)纵向制动(a_brake<a_max,brake)，或以一定的加速度横向移向自主车辆然后立即以至少最小合理制动力制动。自主车辆应作出(促使或实施)适当的响应，以保持安全距离。

3)压力测试。压力测试用于测试自主车辆在最坏情况下的最终响应能力。压力测试的测试流程描述如下：

步骤1：自主车辆和目标车辆以及其他参与者在一某些初始条件(初始位置、初始速度，以及初始加速度)下沿给定路线开始行驶。

步骤2：自主车辆以最大加速度a_max,accel纵向接近目标车辆，或以最大加速度横向接近目标车辆。

步骤3：当自主车辆与目标车辆之间的距离减小到使用实时安全模型参数算出的最小安全距离时，目标车辆在响应时间ρ₂内以最大减速度a_max,brake开始纵向制动，或以最大加速度横向移向自主车辆，然后立即以至少最小合理制动力制动。

预期自主车辆会作出(促使或实施)适当的响应，以保持安全距离。

g)安全模型专用RTK检查器370。此模块用于在测试(例如，稳态测试、动态测试，以及压力测试)期间测量虚拟车辆的实时动态(RTK)，然后检查其是否符合安全模型参数表中的值。

在一个示例中，RTK参数包括：

i)v_r，表示自主车辆在时刻t的纵向速度

ii)a_accel，表示自主车辆在时刻t的纵向加速度。f为模拟的帧速率，a_accel可通过下式算出：

a_accel＝Δv_r·f

iii)a_brake，表示自主车辆在时刻t的减速度。f为模拟的帧速率，这个值可通过下式算出：

a_brake＝-Δv_t·f

iv)表示自主车辆在时刻t的横向速度。

v)表示自主车辆在时刻t的横向加速度。f为模拟的帧速率，这个值可通过下式算出：

vi)表示自主车辆在时刻t的横向减速度。f为模拟的帧速率，这个值可通过下式算出：

vii)ρ_measured，表示测得的自主车辆的响应时间。ρ_measured可以通过下式算出：

ρ_measured＝T_action-T_violation

在此示例中，T_violation是违反最小纵向或横向安全距离的时刻，而T_action是自主车辆采取行动(例如，制动)恢复安全距离的时刻。

测得的RTK参数必须符合由测试代理遵循以下原则编写的预设安全模型参数表：

1)a_accel≤a_max,accel

2)a_brake≥a_min,brake

3)

4)

5)建议将N设置为1或2。f为模拟的帧速率。

在一个示例中，安全模型专用RTK检查器370检测到有任何违反五项原则的行为并报告违反行为。

h)基于安全模型的评级390。现有的性能指标广泛用于ADS整体性能评级，例如，安全性、舒适性、自然驾驶，以及生态。但是，目前的模拟测试台侧重于安全模型功能测试，因此可以算出以下安全模型功能的具体性能指标。

1)快速响应能力S_qrc。自主车辆的响应时间是从发生违反最小安全距离的时刻到自主车辆采取行动恢复安全距离的时刻的时间延迟。响应时间越短意味着安全模型功能更好和安全性更高，因此可以将其作为安全模型功能模块的性能指标。这可以通过下式而测得：

ρ_ref是参考响应时间，在安全模型标准中可以定义为200ms。ρ_measured是实际测得的响应时间。

2)安全模型参数违反S_rpv 。此标准指示出虚拟车辆的RTK是否符合声明的安全模型参数。在测试台300中，安全模型专用RTK检查器370的模块可以提供安全模型参数违反的检查结果。S_rpv等于违反的安全模型参数的数量。

3)安全模型功能有效性S_rfe。此标准指示出自主车辆是否能够在给定的模拟工况下检测到违反最小安全距离，然后采取行动成功避免碰撞。

R_n是安全模型测试用例n的测试结果，其值应该是0或1。N是执行的安全模型测试的总数。

4)安全模型功能可用性S_rfu。安全模型功能模块倾向于使用较大的跟随距离来避免潜在的碰撞风险，并减少急加速、急刹车，以及频繁地在加速和刹车之间切换而给乘客带来的不适。然而，较大的跟随距离也会降低安全模型功能在真实交通环境中的可用性。提出此标准是为了评估安全模型功能可用性，可以通过下式量化：

T是模拟周期；d_t是时刻t时的实际距离；d_safe,t是时刻t时的最小安全距离。

因此，基于安全模型的评级390用于根据上述性能指标来评估安全模型功能模块(例如，由车辆制造商或车辆服务提供商提供)的性能。

图4描绘了根据本公开技术的用于配置和使用测试系统以应用车辆安全运行模型参数的方法的流程图400。如本文所讨论的，此方法可用于在测试设置中验证或测量某个安全系统(例如，车辆控制系统软件)是否符合VOSM。在下面的流程图中，提供了对RSS概念的具体参考，但也可以测试和应用来自其他VOSM的概念。

操作402包括定义在测试场景中使用的安全模型参数(例如，RSS参数或其他安全条件参数)，测试场景被配置为测试相关安全系统的性能。如上所述，可以使用安全模型参数表320来执行此操作。

操作404包括基于安全模型参数和要尝试的测试类型(例如，稳态测试、动态测试、压力测试)生成安全模型专用测试用例场景。如上所述，这可以用测试用例生成模块330来执行。

操作406涉及用测试模拟器执行测试场景，以产生安全系统的测试结果。如上所述，这可以用场景引擎340和模拟器350来执行。

操作408涉及在测试场景的执行期间基于与安全模型参数的符合性来测量安全系统的实时动态。如上所述，这可以用安全模型专用RTK检查器370来执行。

操作410涉及基于测试结果和测得的实时动态来产生对于具有安全模型(或正在测试的其他VOSM)的安全系统的性能的一个或多个参数评级。如上所述，这可以通过使用记录380和基于安全模型的评级390来执行。

在进一步的示例中，针对安全操作和实现此类操作的模型的AV决策模拟测试可以基于以下测试场景、参数，以及测试用例进行。此类方法基于中国ITS标准《自动驾驶车辆决策的安全保障测试流程和评估规则》(T/ITS 0116-2019)中讨论的标准。

首先，可以使用表达式来定义参数的范围和格式，以用于自动驾驶场景的模拟测试。例如，可以用V＝[1.0:12.0:2.0]km/h的表达式来描述场景中行人的速度V的范围在1.0km/h-12.0km/h且步长为2.0km/h。在一个类似的示例中，如果参数V可以被赋值为此范围内的任何值，则将用表达式V＝[1.0:12.0]km/h来描述该参数。同理，如果参数为非均匀分布，例如，场景中行人的速度V被赋值为1.0km/h、5.0km/h以及12.0km/h中的一者，则用表达式V＝{1.0,5.0,12.0}km/h来描述。

接下来，可以根据以下方法定义纵向驾驶场景测试。纵向驾驶场景测试可能涉及为场景设置输入参数和测试参数(例如，在跟车场景中设置初始距离)；然后，定义特定的测试用例(例如，直线上的跟车场景，诸如，下面参考图6A所讨论的场景；曲线车道上的跟车场景，诸如，下面参考图6B所讨论的场景；或切入(cut-in)场景，诸如，下面参考图6C所讨论的场景)；以及最终，纵向驾驶场景的性能。

在纵向跟车场景中设置初始距离的操作可以如下执行。在测试开始时，可以在两辆车之间设置一个初始距离，此距离应大于最小安全纵向距离。然后，在测试过程中，前方车辆制动，且制动时间由测试人员根据测试场地情况预先设定。后方车辆在接近前方车辆时始终监测两辆车之间的距离，并在达到最小安全纵向距离时作出适当的响应(例如，促使制动被应用)。因此，初始距离的设置需要确保前方车辆在后方车辆进入险情时进行制动，从而充分评估最小安全距离公式中描述的场景。如果初始距离被设置得过小，则后方车辆会在前方车辆开始制动前进入纵向险情；如果初始距离被设置得过大，则即使前方车辆已经完成制动，后方车辆也不会进入险情。

图5A和图5B示出了用于初始距离设置的流程。假设t₁为从初始时刻t₀到前方车辆开始制动的时刻t_fb的持续时间，且t₂为从t_fb到前方车辆停止的时刻t_fs的持续时间。最小初始距离d₀_min 502被定义为满足前方车辆开始制动时两辆车之间的距离等于最小安全纵向距离d_min(t_fb)512的要求；最大初始距离d₀_max 504被定义为满足前方车辆完成制动时两辆车之间的距离等于最小安全纵向距离d_min(t_fs)514的要求。

可以理解的是，公式取决于测试期间车辆的状态。因此，公式将根据以下测试用例之一进行调适。

直线车道上的跟车测试用例-恒定速度和最大减速度。图6A示出了直线车道跟车测试场景的图示600A，其中测试车辆602A跟随目标车辆604A。在第一个测试场景中，车辆602A、604A均以恒定速度行驶，然后，前方车辆以最大制动减速度制动。

(以恒定速度发生的第一个场景的)测试目的是检查或验证在前方车辆以合理的制动减速度制动时，后方车辆是否能够作出(促使或实施)适当的响应来避免碰撞。在一个示例中，测试环境可以具有以下特征：白天、晴天、沥青路面、干燥路况、直线车道、清晰的车道标记。

在一个示例中，以恒定速度开始的直线车道测试的测试流程可以包括：

1)在时刻t₀，测试车辆(后方车辆)和目标车辆(前面的前方车辆)沿车道中心以恒定速度行驶，且后方车辆的速度大于前方车辆。初始距离被设置在[d₀_min:d₀_max]的范围内。

2)在时刻t_fp，前方车辆以减速度制动(注：t_fp由测试人员预先设定)。

3)在时刻t_s，测试车辆和目标车辆均停止。

在一个示例中，以恒定速度开始的直线车道测试的输入参数可以包括：

1)测试车辆的响应时间ρ；

2)测试车辆的最大加速度

3)测试车辆的最小制动减速度

4)测试车辆的最大速度v_max；

5)安全距离裕度ε。

在一个示例中，以恒定速度开始的直线车道测试的测试参数可以包括：

1)v_r(t₀)＝{v_max*20％,v_max*50％,v_max*80％,v_max}km/h,v_f(t₀)＝v_r(t₀)-5km/h；

2)

3)前方车辆的制动时刻t_fb，由测试人员确定。

4)d_{0_min}的计算公式为d_{0_min}+d_f(t₁)＝d_r(t₁)+d_min(t_fb)，其中：d_f(t₁)是前方车辆从初始时刻到开始制动的时刻的行驶距离；d_r(t₁)是后方车辆从初始时刻到前方车辆开始制动的时刻的行驶距离；d_min(t_fb)是对应于前方车辆开始制动的时刻的最小安全纵向距离；其中

其中v_f(t_fb)是前方车辆开始制动时的速度；且v_r(t_fb)是前方车辆开始制动时后方车辆的速度。

因为在t_fb前两辆车均为匀速运动，所以有

其中v_f(t₀)是前方车辆在初始时刻的速度；v_r(t₀)是后方车辆在初始时刻的速度。因此，

d_{0_min}＝t₁*(v_r(t₀)-v_f(t₀))+d_min(t₀)

其中d_min(t₀)是初始时刻的最小安全纵向距离。

5)d_{0_max}的计算公式为：

d_{0_max}+d_f(t₁)+d_f(t₂)＝d_r(t₁)+d_r(t₂)+d_min(t_fs)

其中d_f(t₂)是前方车辆从开始制动到停止时的行驶距离；d_r(t₂)是前方车辆开始制动到前方车辆停止时后方车辆的行驶距离；d_min(t_fs)是前方车辆停止时的最小安全纵向距离。

因为在t₂期间前方车辆以恒定减速度移动，而后方车辆以恒定速度移动，所以有：

因此，

在一个示例中，以恒定速度开始的直线车道测试的记录参数可以包括：

1)在持续时间[t_fb：t_s]内两辆车之间的距离d(t)；

2)危险阈值时间t_b；

3)测试车辆的实际响应时间ρ_real；

4)测试车辆在响应时间内的最大加速度；

5)测试车辆在响应时间后的最小制动减速度。

在一个示例中，以恒定速度开始的直线车道测试的测试通过标准可以包括(例如，必须同时满足的标准)：

1)d(t)≥ε,t∈[t_fb：t_s]

2)ρ_real≤ρ

3)

4)

直线车道上的跟车测试用例-最大加速度和最大减速度。如上所述，图6A示出了直线车道跟车测试场景的图示600A，其中测试车辆602A跟随目标车辆604A。在第二个测试场景中，后方车辆602A以最大加速度加速，然后，前方车辆604A以最大制动减速度制动。

(以最大加速度/制动减速度发生的第二个直线车道场景的)测试目的是检查或验证在前方车辆以合理的制动减速度制动时后方车辆是否能够作出(促使或实施)适当的响应，以避免在加速过程中发生碰撞。在一个示例中，测试环境可以具有以下特征：白天、晴天、沥青路面、干燥路况、直线车道、清晰的车道标记。

在一个示例中，以最大加速度开始的直线车道测试的测试流程可以包括：

1)测试车辆(后方车辆)和目标车辆(前方车辆)以相同的初始速度沿车道中心线行驶，且初始距离的范围设置在[d₀_min:d₀_max]的范围内。

2)在时间t₀，测试车辆开始以加速，而前方车辆以恒定速度行驶。

3)在时间t_fb，前方车辆以的减速度制动。(注：t_fb由测试人员预先设定)。

4)在时间t_s，测试车辆和目标车辆均停止。

在一个示例中，以最大加速度开始的直线车道测试的输入参数可以包括：

1)测试车辆的响应时间ρ；

2)测试车辆的最大加速度

3)测试车辆的最小制动减速度

4)测试车辆的最大速度v_max；

5)安全距离裕度ε。

在一个示例中，以最大加速度开始的直线车道测试的测试参数可以包括：

1)v_r(t₀)＝v_f(t₀)＝{v_max*20％,v_max*50％,v_max*80％,v_max}km/h

2)

3)前方车辆的制动时刻t_fb，由测试人员确定。

4)d_{0_min}的计算公式为：

其中，

v_f(t_fb)＝v_f(t₀)

5)d_{0_max}的计算公式为：

其中，

在一个示例中，以最大加速度开始的直线车道测试的记录参数可以包括：

1)在持续时间[t_fb：t_s]内两辆车之间的距离d(t)；

2)危险阈值时间t_b；

3)测试车辆的实际响应时间ρ_real；

4)测试车辆在响应时间内的最大加速度；

5)测试车辆在响应时间后的最小制动减速度。

在一个示例中，以最大加速度开始的直线车道测试的测试通过标准可以包括(例如，必须同时满足的标准)：

1)d(t)≥ε,t∈[t_fb：t_s]

2)ρ_real≤ρ

3)

4)

曲线车道上的跟车测试用例-恒定速度和最大减速度。图6B示出了曲线车道跟车测试场景的图示600B，其中测试车辆602B跟随目标车辆604B。在第一个测试场景(类似于上文所讨论的场景)中，车辆602B和车辆604B均以恒定速度行驶，然后，前方车辆以最大制动减速度制动。

曲线车道场景的测试目的是检查或验证在前方车辆以合理的制动减速度制动时后方车辆是否能够作出(促使或实施)适当的响应，以避免发生碰撞。在一个示例中，测试环境可以具有以下特征：白天、晴天、沥青路面、干燥路况、曲线车道(道路的弯曲度＝[0.002,0.005])、清晰的车道标记。

在一个示例中，以恒定速度的曲线车道测试的测试流程可以包括：

1)在时间t₀，测试车辆(后方车辆)和目标车辆(前方车辆)以恒定速度沿车道中心线行驶(如图6B所示)，且后方车辆的速度大于前方车辆的速度。初始距离设置在[d₀_min:d₀_max]的范围内。由于采用车道坐标系，因此，初始距离计算方法与直线车道跟车场景相同。

2)在时间t_fp，前方车辆以的减速度制动(注：t_fp由测试人员预先设定)。

3)在时间t_s，测试车辆和目标车辆均停止。

在一个示例中，曲线车道测试的输入参数可以包括：

1)测试车辆的响应时间ρ；

2)测试车辆的最大加速度

3)测试车辆的最小制动减速度

4)测试车辆的最大速度v_max；

5)安全距离裕度ε。

在一个示例中，曲线车道测试的测试参数可以包括：

1)v_r(t₀)＝{v_max*20％,v_max*50％,v_max*80％,v_max}km/h,v_f(t₀)＝v_r(t₀)-5km/h；

2)

3)前方车辆的制动时刻t_fb，由测试人员确定。

4)d_{0_min}＝t₁*(v_r(t₀)-v_f(t₀))+d_min(t₀)

5)

在一个示例中，曲线车道测试的记录参数可以包括：

1)在持续时间[t_fb：t_s]内两辆车之间的距离d(t)；

2)危险阈值时间t_b；

3)测试车辆的实际响应时间ρ_real；

4)测试车辆在响应时间内的最大加速度；

5)测试车辆在响应时间后的最小制动减速度。

在一个示例中，直线车道测试的测试通过标准可以包括(例如，必须同时满足的标准)：

1)d(t)≥ε,t∈[t_fb：t_s]

2)ρ_real≤ρ

3)

4)

曲线车道上的跟车测试用例-最大加速度和最大减速度。如上所述，图6B示出了曲线车道跟车测试场景的图示600B，其中测试车辆602B跟随目标车辆604B。在第二个测试场景中，后方车辆602B以最大加速度加速，然后，前方车辆604B以最大制动减速度制动。

(以最大加速度/制动减速度发生的第二个曲线车道场景的)测试目的是检查或验证在前方车辆以合理的制动减速度制动时后方车辆是否能够作出(促使或实施)适当的响应，以避免在加速过程中发生碰撞。在一个示例中，测试环境可以具有以下特征：白天、晴天、沥青路面、干燥路况、曲线车道(道路的弯曲度＝[0.002,0.005])、清晰的车道标记。

在一个示例中，以最大加速度开始的曲线车道测试的测试流程可以包括：

1)测试车辆(后方车辆)和目标车辆(前方车辆)以相同的初始速度沿车道中心线行驶，且初始距离的范围设置在[d₀_min:d₀_max]的范围内。

2)在时间t₀，测试车辆开始以加速，而目标车辆以恒定速度行驶。

3)在时间t_fb，前方车辆以的减速度制动(注：t_fb由测试人员预先设定)。

4)在时间t_s，测试车辆和目标车辆均停止。

在一个示例中，曲线车道测试的输入参数可以包括：

1)测试车辆的响应时间ρ；

2)测试车辆的最大加速度

3)测试车辆的最小制动减速度

4)测试车辆的最大速度v_max；

5)安全距离裕度ε。

在一个示例中，以最大加速度开始的曲线车道测试的测试参数可以包括：

1)v_r(t₀)＝v_f(t₀)＝{v_max*20％,v_max*50％,v_max*80％,v_max}km/h

2)

3)前方车辆的制动时刻t_fb，由测试人员确定。

4)

5)

在一个示例中，以最大加速度开始的曲线车道测试的记录参数可以包括：

1)在持续时间[t_fb：t_s]内两辆车之间的距离d(t)；

2)危险阈值时间t_b；

3)测试车辆的实际响应时间ρ_real；

4)测试车辆在响应时间内的最大加速度；

5)测试车辆在响应时间后的最小制动减速度。

在一个示例中，曲线车道测试的测试通过标准可以包括(例如，必须同时满足的标准)：

1)d(t)≥ε,t∈[t_fb：t_s]

2)ρ_real≤ρ

3)

4)

汽车切入测试用例。图6C示出了汽车切入测试场景的图示600C，其中沿着车道A中的路径行驶的测试车辆602C遇到了目标车辆604C的切入操作。测试目的是检查或验证测试车辆是否能够在目标车辆突然切入其车道时作出(促使或实施)适当的响应，以避免碰撞。在一个示例中，测试环境可以具有以下特征：白天、晴天、柏油路、干燥路况、直线车道、双车道道路、清晰的车道标记。

在一个示例中，切入测试的测试流程可以包括：

1)测试车辆C₁与目标车道上的相邻车辆C₂沿车道中心线以相同的恒定速度并排行驶；

2)相邻车辆C₂突然加速并快速并入测试车辆C₁的车道，且此时两车之间的距离小于最小安全纵向距离。

在一个示例中，切入测试用例的输入参数可以包括：

1)测试车辆的响应时间ρ；

2)测试车辆的最大加速度

3)测试车辆的最小制动减速度

4)测试车辆的最大速度v_max；

5)安全距离裕度ε。

在一个示例中，切入测试的输入参数可以包括：

1)v₁(t₀)＝v₂(t₀)＝{v_max*20％,v_max*50％,v_max*80％,v_max}km/h

2)

3)被如下定义：

考虑这样一种场景，其中目标车辆C₂需要时间t_c通过横向加速从其车道移动到另一条车道。这可以表示为：

其中w_lane1,w_lane2是车道的宽度。在此期间，目标车辆C₂以的加速度超越测试车辆C₁。如果在时间t_c，两辆车之间的距离小于或等于最小纵向安全距离C₁，则测试车辆将进入险情，然后触发适当的响应。那么，的最大值应该满足：

因此，

其中：

在一个示例中，切入测试的测试通过标准可以为：如果测试车辆被触发进入险情并在目标车辆切入其车道时作出适当的响应，则测试用例将被断言为通过(例如，这意味着碰撞不被用作通过标准)。

图7示出了由系统或其他配置部件执行的用于自动驾驶车辆测试场景评估的方法的流程图700。此方法的操作可以在独立的计算系统中执行，在集成在计算系统内或作为计算系统的一部分的装置中执行，作为模拟引擎或模拟处理系统的一部分执行，或作为来自计算机器或装置可读指令存储介质的由计算机、装置或平台的电路系统执行的指令的一部分执行。这样的机器、装置或平台可以包括参考图8所讨论的存储器和硬件(例如，处理电路)，用于存储和处理用于测试场景的数据。

在702，执行操作，以定义用于待模拟的测试场景的测试环境。这样的测试环境用于指定在模拟中使用(例如，生成)的道路的特征，诸如，道路或道路车道是直线还是曲线、车道的数量等。此类特征还可以包括与环境中的测试条件相关的规范，诸如，天气条件(例如，晴天、多云等)、道路条件(例如，柏油路、干燥或潮湿的道路条件、清晰的车道标记)，及其变化。在一个示例中，测试场景被定义为用于测试车辆在道路上跟随目标车辆的纵向跟车场景，用于目标车辆应用最大制动减速度的测试。如上所述，此纵向跟车场景可以从测试车辆和目标车辆以恒定速度运行开始，或者从测试车辆应用最大加速度值并且目标车辆以恒定速度运行开始。在另一个示例中，测试场景被定义为切入场景，其中目标车辆向测试车辆的轨迹执行横向运动(例如，切入目标车辆前方)。对于这些示例中的任一个示例，测试场景可用于测试测试车辆(及其伴随的计划和控制操作)是否符合至少一项安全要求，诸如，最小安全距离要求。

在704，执行操作，以识别将在测试场景中使用的测试流程，包括用于在模拟中测试最小安全距离要求的操作。最小安全距离要求和测试车辆与模拟中存在的至少一个其他车辆(例如，目标车辆)之间的距离有关。以这种方式，最小安全距离要求可用于模拟和评估涉及与一个或多个其他参与者的最小横向安全距离或最小纵向安全距离中的一者或两者的测试结果。

在706，执行操作，以识别将在测试场景的测试流程中使用的测试参数(例如，特定测试参数，诸如，测试车辆的速度、制动量、制动时机；其他车辆的速度和加速率/减速率)。在特定示例中，此类测试参数可以包括由测试人员或模拟/测试平台提供的输入参数，诸如，用于以下各项的值：测试车辆的响应时间；测试车辆的最大加速度值；测试车辆的最小制动减速度值；测试车辆的最大速度；以及安全距离裕度。在纵向跟车场景示例中，此类测试参数还可能涉及设置测试车辆与目标车辆之间的初始距离，其中初始距离等于或大于最小安全纵向距离。与以上示例一致，初始距离可以设置在最小初始距离和最大初始距离之间的范围内，其中最小初始距离基于对测试场景的下述要求：在测试车辆开始制动时，测试车辆与目标车辆之间的距离等于所述最小安全纵向距离，并且最大初始距离基于对测试场景的下述要求：在目标车辆完成制动时，测试车辆与目标车辆之间的距离等于最小安全纵向距离。

在708，执行操作，以创建、更新或以其他方式提供用于在自动驾驶测试模拟器中使用的测试场景。这可以通过在存储器(易失性或非易失性存储器)中提供数据输出来执行，其创建或更新测试场景，或更新与测试场景相关联的数据值。测试场景也可以用于由用于自动驾驶验证的测试套件或一组测试脚本进行的一个或多个模拟。

在710，执行操作，以评估或执行测试场景(例如，在自动驾驶测试模拟器中使用测试流程和测试参数进行评估)。此类操作可以将测试场景识别为合规或不合规，和/或识别或测量测试车辆对最小安全距离要求的响应。在一个示例中，纵向跟车场景的测试通过标准包括同时满足以下条件：i)在测试场景的持续时间内，测试车辆与目标车辆之间保持一定距离；ii)测试车辆的响应时间等于或小于测试车辆的计划响应时间；iii)测试车辆的最大加速度值等于或小于测试车辆的计划最大加速度值；以及iv)在响应时间内，测试车辆的最小制动值等于或大于测试车辆可能的最小制动值，并且在响应时间后，测试车辆的最小制动值等于或小于测试车辆的最大制动值。

在另一个示例中，执行操作，以定义测试场景的记录参数，和/或在测试场景的模拟执行期间执行此类参数的记录。在一个示例中，纵向跟车场景的记录参数包括以下值：在纵向跟车场景的持续时间内，测试车辆与目标车辆之间的距离；危险阈值时间；测试车辆的响应时间；在响应时间内，测试车辆的最大加速度值；以及在响应时间后，测试车辆的最小制动减速度。同样在另一个示例中，记录或执行结果可用于评估提供最小安全距离要求的车辆运行安全模型的特定方面。例如，被测车辆(即测试车辆)可以在自动驾驶软件的计划和控制功能内实现车辆运行安全模型。通过调用自动驾驶软件，在自动驾驶测试模拟器中执行测试场景可用于验证计划和控制功能是否符合最小安全距离要求，从而验证车辆运行安全模型。

应当理解的是，与上述示例一致，可以评估与安全距离或其他安全标准相关的各种危险(或潜在危险)情况。例如，险情可能与车辆与目标车辆之间的最小安全距离要求有关，根据从以下各项确定的测试场景参数进行调整：目标车辆的纵向速度；目标车辆的横向速度；从车辆到目标车辆的纵向距离；或从车辆到目标车辆的横向距离。来自与道路、其他车辆、感测到的物体或人等相关的主控车辆环境的其他数据值也可以被评估并用于测试场景。

最后，虽然从测试场景评估和测试模拟系统的角度描述了流程图700，但是可以与本公开示例一致地执行用于获取、接收、分析以及修改测试场景数据以及操作所述模拟的相应数据处理操作。此类操作可以在独立的计算装置中执行，在集成在数据处理云、边缘计算平台或数据中心内或作为其一部分的系统中执行，作为自动化数据处理系统的一部分执行，或作为来自计算机或装置可读存储介质的由计算机器或装置的电路系统执行的指令的一部分执行。

实施例可以在硬件、固件以及软件中的一者或组合中实现。实施例还可以实现为存储在机器可读存储装置上的指令，这些指令可以由至少一个处理器读取和执行，以执行本文所述的操作。机器可读存储装置可以包括用于以机器(例如，计算机)可读的形式存储信息的任何非暂时性机件或介质。例如，机器可读存储装置可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置，以及其他存储装置和介质。处理器子系统可用于在机器可读介质上执行指令。处理器子系统可以包括一个或多个处理器，每个处理器具有一个或多个内核。此外，处理器子系统还可以设置在一个或多个物理装置上。处理器子系统可以包括一个或多个专用处理器，诸如，图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)，或固定功能处理器。

如本文所述，示例可以包括逻辑或多个部件、模块、机件或单元(统称为“部件”)或可以在逻辑或多个部件、模块、机件或单元(统称为“部件”)上运行。此类部件可以是通信地耦接到一个或多个处理器以便执行本文描述的操作的硬件、软件或固件。部件可以是硬件部件，并且此类部件可以被认为是能够执行指定操作的有形实体，并且可以以某种方式配置或布置。在一个示例中，可以以特定方式将电路布置(例如，在内部或相对于诸如其他电路的外部实体)为部件。在一个示例中，一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或一个或多个硬件处理器的全部或一部分可以由固件或软件(例如，指令、应用程序部分，或应用程序)配置为用于执行指定操作的部件。在一个示例中，软件可以驻留在机器可读介质上。在一个示例中，软件在由部件的底层硬件执行时，促使硬件执行指定的操作。因此，用语“硬件部件”、“模块”、“机件”或“单元”被理解为涵盖有形实体，即物理构造、特定配置(例如，硬连线)或临时(例如，暂时)配置(例如，编程)的以指定方式操作或执行本文所述的任何操作的一部分或全部的实体。考虑其中部件被临时配置的示例，其中每个部件不需要在任何时刻被实例化。例如，部件包括使用软件配置的通用硬件处理器；通用硬件处理器可以在不同时间被配置为各自不同的部件。软件可以相应地配置硬件处理器，例如，在一个时刻构成特定部件并且在不同时刻构成不同的部件。部件也可以是用于执行本文描述的方法的软件或固件模块。

本文档中使用的电路系统或电路可以包括，例如，单独或任意组合的硬连线电路系统、可编程电路系统(诸如，包括一个或多个单独指令处理核心的计算机处理器)、状态机电路，和/或存储由可编程电路系统执行的指令的固件。电路、电路系统或部件可以共同地或单独地体现为形成更大系统的一部分的电路系统，例如，集成电路(IC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能手机等。

如在本文的任何实施例中使用的，“逻辑”一词可以指代被配置为执行任何上述操作的固件和/或电路系统。固件可以体现为存储器装置和/或电路系统中硬编码(例如，非易失性)的代码、指令或指令集，和/或数据。如在本文的任何实施例中使用的，“电路系统”可以包括，例如，单独或任何组合的硬连线电路系统、可编程电路系统、状态机电路系统、逻辑和/或固件，存储由可编程电路系统执行的指令。电路系统可以体现为集成电路，诸如，集成电路芯片。在一些实施例中，电路系统可以至少部分地由处理器电路系统形成，处理器电路系统执行与本文描述的功能相对应的代码和/或指令集(例如，软件、固件等)，从而将通用处理器配置或转换为专用处理环境，以执行本文描述的一个或多个操作。在一些实施例中，处理器电路系统可以体现为独立的集成电路，或可以结合为集成电路上的若干部件之一。在一些实施例中，节点或其他系统的各种部件和电路系统可以组合在片上系统(SoC)架构中。在其他示例中，处理电路可以由数据处理单元(DPU)、基础设施处理单元(IPU)、加速电路系统，或图形处理单元(GPU)或编程的FPGA的组合来体现或提供。

图8示出了示例机器800的框图，本文讨论的任何一种或多种技术(例如，方法)可以在其上执行。如本文所述，示例可以包括机器800中的逻辑或多个部件或机件，或可以由机器800中的逻辑或多个部件或机件操作。电路系统(例如，处理电路)是在机器800的有形实体中实现的电路的集合，包括硬件(例如，简单的电路、门、逻辑等)。随着时间的推移，电路系统构件关系(membership)可以是灵活的。电路系统包括在运行时可以单独或组合执行指定操作的构件(member)。在一个示例中，电路系统的硬件可以被不变地设计成执行特定操作(例如，硬连线)。在一个示例中，电路系统的硬件可以包括可变连接的物理部件(例如，执行单元、晶体管、简单电路等)，包括物理改性的机器可读介质(例如，不变质量粒子的磁性、电气、可移动的放置等)以对特定操作的指令进行编码。在连接物理部件时，硬件部件的基本电气特性会发生变化，例如，从绝缘体变为导体，反之亦然。这些指令使嵌入式硬件(例如，执行单元或加载机构)能够通过可变连接在硬件中形成电路系统的构件，以在运行时执行特定操作的一部分。因此，在一个示例中，机器可读介质元件是电路系统的一部分，或者在装置运行时通信地耦接到电路系统的其他部件。在一个示例中，任何物理部件可以用于一个以上电路系统的一个以上构件中。例如，在操作中，执行单元可以在一个时间点在第一电路系统的第一电路中使用，并且由第一电路系统中的第二电路重用，或在不同时间由第二电路系统中的第三电路重用。以下是关于机器800的这些部件的附加示例。

在替代实施例中，机器800可以作为独立装置操作，或者可以连接(例如，联网)到其他机器。在联网部署中，机器800可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的功能运行。在一个示例中，机器800可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器800可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络设备、网络路由器、交换机或桥接器，或能够执行指令(依序或以其他方式)的任何机器，这些指令指定了机器将采取的操作。此外，虽然仅示出了单个机器，但“机器”一词也应理解为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一种或多种方法的机器的任何集合，诸如，云计算、软件即服务(SaaS)、其他计算机集群配置。

机器(例如，计算机系统)800可以包括硬件处理器802(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心，或其任何组合)、主存储器804、静态存储器(例如，用于固件、微码、基本输入-输出(BIOS)、统一可扩展固件接口(UEFI)等的存储器或存储装置)806，以及大容量存储装置808(例如，硬盘驱动器、磁带驱动器、闪存，或其他块装置)，其中一些或全部可以通过链路(例如，总线或互连器)830相互通信。机器800还可以包括显示单元810、字母数字输入装置812(例如，键盘)，以及用户界面(UI)导航装置814(例如，鼠标)。在一个示例中，显示单元810、输入装置812以及UI导航装置814可以是触摸屏显示器。机器800可以另外包括存储装置(例如，驱动单元)808、信号生成装置818(例如，扬声器)、网络接口装置820，以及一个或多个传感器816，诸如，全球定位系统(GPS)传感器、指南针、加速度计、陀螺仪、磁力计、或其他传感器。机器800可以包括输出控制器828，诸如，串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接，以与一个或多个外围装置(例如，打印机、读卡器等)通信或对其进行控制。

处理器802、主存储器804、静态存储器806或大容量存储装置808的寄存器可以是或包括机器可读介质822，其上存储有体现任何一种或多种本文描述的技术或功能或由其利用的一组或多组数据结构或指令824(例如，软件)。指令824还可以在由机器800执行期间完全或至少部分地驻留在处理器802、主存储器804、静态存储器806或大容量存储装置808的任何寄存器中。在一个示例中，硬件处理器802、主存储器804、静态存储器806或大容量存储装置808中的一者或者任何组合可以构成机器可读介质822。虽然机器可读介质822被示为单个介质，但“机器可读介质”一词可以包括被配置为存储一个或多个指令824的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。

“机器可读介质”一词可以包括能够存储、编码或携带用于由机器800执行并且促使机器800执行本公开的任何一种或多种技术的指令的任何介质，或者能够存储、编码或携带由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器、光学介质、磁性介质，以及信号(例如，射频信号、其他基于光子的信号、声音信号等)。在一个示例中，非暂时性机器可读介质包括具有多个粒子的机器可读介质，所述多个粒子具有不变(例如，静止)质量，因此是物质的组合物。因此，非暂时性机器可读介质是不包括暂时性传播信号的机器可读介质。非暂时性机器可读介质的具体示例可以包括：非易失性存储器，诸如，半导体存储器装置(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))以及闪存装置；磁盘，诸如，内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。

在一个示例中，在机器可读介质822上存储或以其他方式提供的信息可以表示指令824，诸如，指令824本身或可以从中导出指令824的格式。可以从中导出指令824的这种格式可以包括源代码、编码指令(例如，以压缩或加密形式)、打包指令(例如，分成多个封包)等。机器可读介质822中的表示指令824的信息可以由处理电路处理成指令，以实现本文讨论的任何操作。例如，从信息(例如，由处理电路处理)导出指令824可以包括：编译(例如，从源代码、目标代码等)、解释、加载、组织(例如，动态或静态链接)、编码、解码、加密、解密、打包、解包，或以其他方式将信息操纵到指令824中。

在一个示例中，指令824的导出可以包括信息的汇编、编译或解释(例如，由处理电路)，以从机器可读介质822提供的一些中间或预处理格式创建指令824。信息，当以多个部分提供时，可以被组合、解包以及修改，以创建指令824。例如，信息可以在一台或多台远程服务器上的多个压缩源代码包(或目标代码，或二进制可执行代码等)中。在通过网络传输时，源代码包可以被加密，必要时可以在本地机器上解密、解压缩、汇编(例如，链接)，以及编译或解释(例如，进入库、独立的可执行程序(stand-alone executable)等)，并由本地机器执行。

指令824可以进一步通过通信网络826使用传输介质经由网络接口装置820利用多种传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种传输协议发送或接收。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分封数据网络(例如，互联网)、移动电话网络(例如，4G/5G蜂窝网络)、普通老式电话(POTS)网络，以及无线数据网络(例如，电气和电子工程师协会(IEEE)802.11系列标准，称为卫星通信)、IEEE802.15.4系列标准、对等(P2P)网络等。在一个示例中，网络接口装置820可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线，以连接到通信网络826。在一个示例中，网络接口装置820可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种技术进行无线通信。“传输介质”一词应被理解为包括能够存储、编码或携带供机器800执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质，以促进软件的通信。传输介质是机器可读介质。

应该理解的是，本说明书中描述的功能单元或功能可能已被称为或标记为部件或模块，以便更具体地强调它们的实施独立性。此类部件可以通过任何数量的软件或硬件形式来体现。例如，部件或模块可以实现为硬件电路，包括定制的超大规模集成(VLSI)电路或门阵列、成品半导体，诸如，逻辑芯片、晶体管或其他分立部件。部件或模块也可以在可编程硬件装置中实现，诸如，现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等。部件或模块也可以在软件中实现，以供各种类型的处理器执行。所识别的可执行代码的部件或模块可以，例如，包括一个或多个计算机指令的物理或逻辑块，其可以，例如，被组织为对象、流程或功能。然而，所识别的部件或模块的可执行程序不需要实体定位在一起，而是可以包括存储在不同位置的不同指令，当这些指令在逻辑上结合在一起时，构成部件或模块，并实现部件或模块的所述目的。

实际上，可执行代码的部件或模块可以是单个指令或多个指令，甚至可以分布在几个不同的代码段上，不同的程序之间，以及分布在多个存储器装置或处理系统上。特别是，所描述过程的某些方面(诸如，代码重写和代码分析)可能发生在与部署代码的处理系统(例如，在嵌入传感器或机器人中的计算机)不同的处理系统上(例如，在数据中心的计算机中)。类似地，在本文中，运行数据可以在部件或模块内被识别和说明，并且可以以任何合适的形式体现并且被组织在任何合适类型的数据结构内。运行数据可以作为单个数据集被收集，或可以分布在不同的位置，包括分布在不同的存储装置上，并且可以至少部分地仅作为系统或网络上的电子信号存在。部件或模块可以是无源的或有源的，包括可用于执行所需功能的代理程式(agent)。

鉴于上述公开内容，以下列出了实施例的各种示例的列表。应当注意的是，示例的一个或多个特征，无论是孤立地还是组合地，都应该被认为是在本申请的公开范围内。

示例1是一种用于对测试场景的性能进行测量的方法，所述测试场景用于测试自动驾驶安全要求，所述方法包括：为测试场景定义测试环境，所述测试场景用于对测试车辆的模拟，所述模拟测试所述测试车辆是否符合至少一项安全要求，所述安全要求包括最小安全距离要求，其中所述测试环境被定义以指定用于所述模拟的道路的特征；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述测试车辆与所述模拟中出现的至少一个其他车辆之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，以及制动时机，和(ii)所述至少一个其他车辆的速度和加速率或减速率；以及创建所述测试场景以用于自动驾驶测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数来识别所述测试车辆对所述最小安全距离要求的响应。

在示例2中，示例1的主题可选地包括其中所述测试场景是用于所述测试车辆在道路上跟随目标车辆的纵向跟车场景，其中所述目标车辆应用最大制动减速度，并且其中所述最小安全距离要求与最小安全纵向距离有关。

在示例3中，示例2的主题可选地包括其中所述纵向跟车场景以所述测试车辆和所述目标车辆以恒定速度运行开始。

在示例4中，示例2-3中的任何一个或多个的主题可选地包括其中所述纵向跟车场景以所述测试车辆应用最大加速度值并且所述目标车辆以恒定速度运行开始。

在示例5中，示例2-4中的任何一个或多个的主题可选地包括定义所述纵向跟车场景的记录参数，所述记录参数包括：在所述纵向跟车场景的持续时间内所述测试车辆与所述目标车辆之间的距离；危险阈值时间；所述测试车辆的响应时间；在所述响应时间内所述测试车辆的最大加速度值；以及在所述响应时间后所述测试车辆的最小制动减速度。

在示例6中，示例2-5中的任何一个或多个的主题可选地包括其中由所述测试环境指定的所述道路的特征包括针对曲线道路的规范。

在示例7中，示例2-6中的任何一个或多个的主题可选地包括其中所述纵向跟车场景的测试通过标准包括同时满足以下条件：i)在所述测试场景的持续时间内所述测试车辆与所述目标车辆之间保持距离；ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

在示例8中，示例2-7中的任何一个或多个的主题可选地包括在所述纵向跟车场景中设置所述测试车辆与所述目标车辆之间的初始距离，其中所述初始距离等于或大于所述最小安全纵向距离。

在示例9中，示例8的主题可选地包括其中所述初始距离设置在最小初始距离和最大初始距离之间的范围内，其中所述最小初始距离基于对所述测试场景的下述要求：在所述测试车辆开始制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离，并且其中所述最大初始距离基于对所述测试场景的下述要求：在所述目标车辆完成制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离。

在示例10中，示例1的主题可选地包括其中所述测试场景是目标车辆向所述测试车辆的轨迹执行横向运动的切入场景，并且其中所述最小安全距离要求和所述目标车辆与所述测试车辆之间的最小安全纵向距离有关。

在示例11中，示例1-10中的任何一个或多个的主题可选地包括定义所述测试场景的输入参数，所述输入参数包括：所述测试车辆的响应时间；所述测试车辆的最大加速度值；所述测试车辆的最小制动减速度值；所述测试车辆的最大速度；以及安全距离裕度；其中所述测试场景还在所定义的测试环境的模拟中包括所定义的输入参数。

在示例12中，示例1-11中的任何一个或多个的主题可选地包括其中所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

在示例13中，示例12的主题可选地包括使得在所述自动驾驶测试模拟器中执行所述测试场景，以验证所述自动驾驶软件的计划和控制功能是否符合所述最小安全距离要求。

示例14是至少一个机器可读存储介质，包括指令，所述指令当由至少一个处理器执行时，使得所述至少一个处理器执行示例1至示例13中的任一个的方法。

示例15是一种用于对测试场景的性能进行测量的系统，所述测试场景用于测试自动驾驶安全要求，所述系统包括：至少一个处理装置，被配置为执行示例1至示例12中的任一个的方法，以产生测试场景；至少一个存储器装置，被配置为存储所述测试场景；以及自动驾驶测试模拟器，被配置为进行所述测试场景的执行，并产生所述测试场景的执行的结果。

示例16是一种用于自动驾驶车辆测试场景评估的计算系统，所述计算系统包括：存储器，用于存储与测试场景相关联的数据，所述测试场景将用于对测试车辆的模拟，所述模拟测试所述测试车辆是否符合至少一项安全要求，所述安全要求包括最小安全距离要求；和处理电路，被配置为：为所述测试场景定义测试环境，其中所述测试环境指定用于所述模拟的道路的特征；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述测试车辆与所述模拟中出现的至少一个其他车辆之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，以及制动时机，和(ii)所述至少一个其他车辆的速度和加速率或减速率；以及提供所述测试场景以用于自动驾驶测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，以识别所述测试车辆对所述最小安全距离要求的响应。

在示例17中，示例16的主题可选地包括其中所述测试场景是用于所述测试车辆在道路上跟随目标车辆的纵向跟车场景，其中所述目标车辆应用最大制动减速度，并且其中所述最小安全距离要求与最小安全纵向距离有关。

在示例18中，示例17的主题可选地包括其中所述纵向跟车场景以所述测试车辆和所述目标车辆以恒定速度运行开始。

在示例19中，示例17-18中的任何一个或多个的主题可选地包括其中所述纵向跟车场景以所述测试车辆应用最大加速度值并且所述目标车辆以恒定速度运行开始。

在示例20中，示例17-19中的任何一个或多个的主题可选地包括处理电路，所述处理电路进一步被配置为：定义所述纵向跟车场景的记录参数，所述记录参数包括：在所述纵向跟车场景的持续时间内所述测试车辆与所述目标车辆之间的距离；危险阈值时间；所述测试车辆的响应时间；在所述响应时间内所述测试车辆的最大加速度值；以及在所述响应时间后所述测试车辆的最小制动减速度。

在示例21中，示例17-20中的任何一个或多个的主题可选地包括其中由所述测试环境指定的所述道路的特征包括针对曲线道路的规范。

在示例22中，示例17-21中的任何一个或多个的主题可选地包括其中所述纵向跟车场景的测试通过标准包括同时满足以下条件：i)在所述测试场景的持续时间内所述测试车辆与所述目标车辆之间保持距离；ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

在示例23中，示例17-22中的任何一个或多个的主题可选地包括处理电路，所述处理电路进一步被配置为：在所述纵向跟车场景中设置所述测试车辆与所述目标车辆之间的初始距离，其中所述初始距离等于或大于所述最小安全纵向距离。

在示例24中，示例23的主题可选地包括其中所述初始距离被设置在最小初始距离和最大初始距离之间的范围内，其中所述最小初始距离基于对所述测试场景的下述要求：在所述测试车辆开始制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离，并且其中所述最大初始距离基于对所述测试场景的下述要求：在所述目标车辆完成制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离。

在示例25中，示例16的主题可选地包括其中所述测试场景是目标车辆向所述测试车辆的轨迹执行横向运动的切入场景，并且其中所述最小安全距离要求和所述目标车辆与所述测试车辆之间的最小安全纵向距离有关。

在示例26中，示例16-25中的任何一个或多个的主题可选地包括所述处理电路进一步被配置为：定义所述测试场景的输入参数，所述输入参数包括：所述测试车辆的响应时间；所述测试车辆的最大加速度值；所述测试车辆的最小制动减速度值；所述测试车辆的最大速度；以及安全距离裕度；其中所述测试场景还在所定义的测试环境的模拟中包括所定义的输入参数。

在示例27中，示例16-26中的任何一个或多个的主题可选地包括其中所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

示例28是至少一个机器可读存储介质，包括指令，所述指令当由机器的处理电路执行时，使得所述处理电路：为测试场景定义测试环境，所述测试场景用于对测试车辆的模拟，所述模拟测试所述测试车辆是否符合至少一项安全要求，所述安全要求包括最小安全距离要求，其中所述测试环境被定义以指定用于所述模拟的道路的特征；识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述测试车辆与所述模拟中出现的至少一个其他车辆之间的距离有关；识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，以及制动时机，和(ii)所述至少一个其他车辆的速度和加速率或减速率；以及提供所述测试场景以用于自动驾驶测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数来识别所述测试车辆对所述最小安全距离要求的响应。

在示例29中，示例28的主题可选地包括其中所述测试场景是用于所述测试车辆在道路上跟随目标车辆的纵向跟车场景，其中所述目标车辆应用最大制动减速度，并且其中所述最小安全距离要求与最小安全纵向距离有关。

在示例30中，示例29的主题可选地包括其中所述纵向跟车场景以所述测试车辆和所述目标车辆以恒定速度运行开始。

在示例31中，示例29-30中的任何一个或多个的主题可选地包括其中所述纵向跟车场景以所述测试车辆应用最大加速度值并且所述目标车辆以恒定速度运行开始。

在示例32中，示例29-31中的任何一个或多个的主题可选地包括其中所述指令进一步使得所述处理电路：定义所述纵向跟车场景的记录参数，所述记录参数包括：在所述纵向跟车场景的持续时间内所述测试车辆与所述目标车辆之间的距离；危险阈值时间；所述测试车辆的响应时间；在所述响应时间内所述测试车辆的最大加速度值；以及在所述响应时间后所述测试车辆的最小制动减速度。

在示例33中，示例29-32中的任何一个或多个的主题可选地包括其中由所述测试环境指定的所述道路的特征包括针对曲线道路的规范。

在示例34中，示例29-33中的任何一个或多个的主题可选地包括其中所述纵向跟车场景的测试通过标准包括同时满足以下条件：i)在所述测试场景的持续时间内所述测试车辆与所述目标车辆之间保持距离；ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

在示例35中，示例29-34中的任何一个或多个的主题可选地包括其中所述指令进一步使得所述处理电路：在所述纵向跟车场景中设置所述测试车辆与所述目标车辆之间的初始距离，其中所述初始距离等于或大于所述最小安全纵向距离。

在示例36中，示例35的主题可选地包括其中所述初始距离设置在最小初始距离和最大初始距离之间的范围内，其中所述最小初始距离基于对所述测试场景的下述要求：在所述测试车辆开始制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离，并且其中所述最大初始距离基于对所述测试场景的下述要求：在所述目标车辆完成制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离。

在示例37中，示例28的主题可选地包括其中所述测试场景是目标车辆向所述测试车辆的轨迹执行横向运动的切入场景，并且其中所述最小安全距离要求和所述目标车辆与所述测试车辆之间的最小安全纵向距离有关。

在示例38中，示例28-37中的任何一个或多个的主题可选地包括其中所述指令进一步使得所述处理电路：定义用于所述测试场景的输入参数，所述输入参数包括：所述测试车辆的响应时间；所述测试车辆的最大加速度值；所述测试车辆的最小制动减速度值；所述测试车辆的最大速度；以及安全距离裕度；其中所述测试场景还在所定义的测试环境的模拟中包括所定义的输入参数。

在示例39中，示例28-38中的任何一个或多个的主题可选地包括其中所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

示例40是一种系统，包括：用于为所述测试场景定义测试环境的装置，所述测试场景用于对测试车辆的模拟，所述模拟测试所述测试车辆是否符合至少一项安全要求，所述安全要求包括最小安全距离要求，其中所述测试环境被定义以指定用于所述模拟的道路的特征；用于识别将在所述测试场景中使用的测试流程的装置，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述测试车辆与所述模拟中出现的至少一个其他车辆之间的距离有关；用于识别与识别出的测试流程一起使用的测试参数的装置，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，以及制动时机，和(ii)所述至少一个其他车辆的速度和加速率或减速率；以及用于输出所述测试场景以用于自动驾驶测试模拟器的装置，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数来识别所述测试车辆对所述最小安全距离要求的响应。

在示例41中，示例40的主题可选地包括其中所述测试场景是用于所述测试车辆在道路上跟随目标车辆的纵向跟车场景，其中所述目标车辆应用最大制动减速度，并且其中所述最小安全距离要求与最小安全纵向距离有关，并且其中所述纵向跟车场景以所述测试车辆和所述目标车辆以恒定速度运行开始，或以所述测试车辆应用最大加速度值并且所述目标车辆以恒定速度运行开始。

在示例42中，示例41的主题可选地包括用于定义所述纵向跟车场景的记录参数的装置，所述记录参数包括：在所述纵向跟车场景的持续时间内所述测试车辆与所述目标车辆之间的距离；危险阈值时间；所述测试车辆的响应时间；在所述响应时间内所述测试车辆的最大加速度值；以及在所述响应时间后所述测试车辆的最小制动减速度。

在示例43中，示例42的主题可选地包括用于定义由所述测试环境指定的所述道路的特征的装置，其中所述道路的特征包括针对曲线道路的规范。

在示例44中，示例41-43中的任何一个或多个的主题可选地包括用于定义所述纵向跟车场景的测试通过标准的装置，所述测试通过标准包括同时满足以下条件：i)在所述测试场景的持续时间内所述测试车辆与所述目标车辆之间保持距离；ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

在示例45中，示例41-44中的任何一个或多个的主题可选地包括用于在所述纵向跟车场景中设置所述测试车辆与所述目标车辆之间的初始距离的装置，其中所述初始距离等于或大于所述最小安全纵向距离。

在示例46中，示例45的主题可选地包括用于在最小初始距离和最大初始距离之间的范围内建立所述初始距离的装置，其中所述最小初始距离基于对所述测试场景的下述要求：在所述测试车辆开始制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离，并且其中所述最大初始距离基于对所述测试场景的下述要求：在所述目标车辆完成制动时，所述测试车辆与所述目标车辆之间的距离等于所述最小安全纵向距离。

在示例47中，示例40的主题可选地包括其中所述测试场景是目标车辆向所述测试车辆的轨迹执行横向运动的切入场景，并且其中所述最小安全距离要求和所述目标车辆与所述测试车辆之间的最小安全纵向距离有关。

在示例48中，示例47的主题可选地包括用于定义所述测试场景的输入参数的装置，所述输入参数包括：所述测试车辆的响应时间；所述测试车辆的最大加速度值；所述测试车辆的最小制动减速度值；所述测试车辆的最大速度；以及安全距离裕度；其中所述测试场景还在所定义的测试环境的模拟中包括所定义的输入参数。

在示例49中，示例40-48中的任何一个或多个的主题可选地包括用于从车辆运行安全模型识别所述最小安全距离要求的装置，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

在示例50中，示例49的主题可选地包括用于在所述自动驾驶测试模拟器中执行所述测试场景的装置，以验证所述自动驾驶软件的计划和控制功能是否符合所述最小安全距离要求。

尽管已经参考特定示例性方面描述了这些实施例，但是显然在不背离本公开的更广泛范围的情况下可以对这些方面进行各种修改和改变。

Claims (36)

1.一种用于对测试场景的性能进行测量的方法，所述测试场景用于测试自动驾驶安全要求，所述方法包括：

为测试场景定义测试环境，所述测试场景用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；

定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；

识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；

识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及

创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，

其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

2.根据权利要求1所述的方法，其中，所述输入参数包括：

所述测试车辆的响应时间；

所述测试车辆的最小制动减速度值；

所述测试车辆的最大速度；以及

安全距离裕度。

3.根据权利要求2所述的方法，还包括：

定义所述测试场景的记录参数，所述记录参数包括：

在所述测试场景的持续时间内所述测试车辆与所述移动对象之间的距离；

危险阈值时间；

所述测试车辆的响应时间；

在所述响应时间内所述测试车辆的最大加速度值；以及

在所述响应时间后所述测试车辆的最小制动减速度值。

4.根据权利要求1所述的方法，其中，所述测试场景中使用的道路的特征包括针对曲线道路的规范。

5.根据权利要求1所述的方法，其中，测试通过标准包括满足以下条件：

i)在所述测试场景的持续时间内所述测试车辆与所述移动对象之间保持距离；

ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；

iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及

iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

6.根据权利要求1所述的方法，其中，所述测试场景是用于所述测试车辆在道路上跟随所述移动对象的纵向跟车场景，其中所述移动对象应用最大制动减速度。

7.根据权利要求6所述的方法，其中，所述纵向跟车场景开始于：

所述测试车辆和所述移动对象分别以各自的恒定速度运行；或者

所述移动对象以恒定速度运行。

8.根据权利要求1所述的方法，其中，所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

9.根据权利要求8所述的方法，其中，所述测试场景是切入场景，其中所述移动对象向所述测试车辆的轨迹进行横向运动。

10.根据权利要求1所述的方法，其中，所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

11.根据权利要求10所述的方法，还包括：

使得所述测试场景在所述测试模拟器中执行，以验证所述自动驾驶软件的计划和控制功能是否符合所述最小安全距离要求。

12.根据权利要求1所述的方法，其中，所述移动对象是第二车辆。

13.至少一个非暂态机器可读存储介质，包括指令，所述指令用于对测试场景的性能进行测量，所述测试场景用于测试自动驾驶安全要求，所述指令在被机器的处理电路执行时使得所述处理电路执行以下操作：

为测试场景定义测试环境，所述测试场景用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；

定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；

识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；

识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及

创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，

其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

14.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述输入参数包括：

所述测试车辆的响应时间；

所述测试车辆的最小制动减速度值；

所述测试车辆的最大速度；以及

安全距离裕度。

15.根据权利要求14所述的至少一个非暂态机器可读存储介质，还包括用于执行以下操作的指令：

定义所述测试场景的记录参数，所述记录参数包括：

在所述测试场景的持续时间内所述测试车辆与所述移动对象之间的距离；

危险阈值时间；

所述测试车辆的响应时间；

在所述响应时间内所述测试车辆的最大加速度值；以及

在所述响应时间后所述测试车辆的最小制动减速度值。

16.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述测试场景中使用的道路的特征包括针对曲线道路的规范。

17.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，测试通过标准包括满足以下条件：

i)在所述测试场景的持续时间内所述测试车辆与所述移动对象之间保持距离；

ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；

iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及

iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

18.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述测试场景是用于所述测试车辆在道路上跟随所述移动对象的纵向跟车场景，其中所述移动对象应用最大制动减速度。

19.根据权利要求18所述的至少一个非暂态机器可读存储介质，其中，所述纵向跟车场景开始于：

所述测试车辆和所述移动对象分别以各自的恒定速度运行；或者

所述移动对象以恒定速度运行。

20.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

21.根据权利要求20所述的至少一个非暂态机器可读存储介质，其中，所述测试场景是切入场景，其中所述移动对象向所述测试车辆的轨迹进行横向运动。

22.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

23.根据权利要求22所述的至少一个非暂态机器可读存储介质，还包括用于执行以下操作的指令：

使得所述测试场景在所述测试模拟器中执行，以验证所述自动驾驶软件的计划和控制功能是否符合所述最小安全距离要求。

24.根据权利要求13所述的至少一个非暂态机器可读存储介质，其中，所述移动对象是第二车辆。

25.一种用于对测试场景的性能进行测量的计算系统，所述测试场景用于测试自动驾驶安全要求，所述计算系统包括：

存储器，用于存储与测试场景相关联的数据，所述测试场景将用于对测试车辆和移动对象的模拟，所述模拟测试所述测试车辆和移动对象是否符合所述自动驾驶安全要求的最小安全距离要求；以及

处理电路，被配置用于：

定义所述测试场景的输入参数，所述输入参数包括所述测试车辆的最大加速度值；

识别将在所述测试场景中使用的测试流程，其中所述测试流程定义用于在所述模拟中测试所述最小安全距离要求的操作，并且其中所述最小安全距离要求与所述模拟中所述测试车辆与所述移动对象之间的距离有关；

识别与识别出的测试流程一起使用的测试参数，其中所述测试参数定义：(i)所述测试车辆的速度、制动量，或制动时机，和(ii)所述移动对象的速度和加速率或减速率；以及

创建所述测试场景以用于自动车辆操作的测试模拟器，其中所述测试场景在所定义的测试环境的模拟期间应用所识别出的测试流程和所识别出的测试参数，来识别所述测试车辆的响应，

其中，所述测试场景包括所述测试车辆应用所述最大加速度值，并且其中所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

26.根据权利要求25所述的计算系统，其中，所述输入参数包括：

所述测试车辆的响应时间；

所述测试车辆的最小制动减速度值；

所述测试车辆的最大速度；以及

安全距离裕度。

27.根据权利要求26所述的计算系统，其中，所述处理电路还被配置用于：

定义所述测试场景的记录参数，所述记录参数包括：

在所述测试场景的持续时间内所述测试车辆与所述移动对象之间的距离；

危险阈值时间；

所述测试车辆的响应时间；

在所述响应时间内所述测试车辆的最大加速度值；以及

在所述响应时间后所述测试车辆的最小制动减速度值。

28.根据权利要求25所述的计算系统，其中，所述测试场景中使用的道路的特征包括针对曲线道路的规范。

29.根据权利要求25所述的计算系统，其中，测试通过标准包括满足以下条件：

i)在所述测试场景的持续时间内所述测试车辆与所述移动对象之间保持距离；

ii)所述测试车辆的响应时间等于或小于所述测试车辆的计划响应时间；

iii)所述测试车辆的最大加速度值等于或小于所述测试车辆的计划最大加速度值；以及

iv)在所述响应时间内所述测试车辆的最小制动值等于或大于所述测试车辆的可能的最小制动值，并且在所述响应时间后所述测试车辆的最小制动值等于或小于所述测试车辆的最大制动值。

30.根据权利要求25所述的计算系统，其中，所述测试场景是用于所述测试车辆在道路上跟随所述移动对象的纵向跟车场景，其中所述移动对象应用最大制动减速度。

31.根据权利要求30所述的计算系统，其中，所述纵向跟车场景开始于：

所述测试车辆和所述移动对象分别以各自的恒定速度运行；或者

所述移动对象以恒定速度运行。

32.根据权利要求25所述的计算系统，其中，所述最小安全距离要求包括在所述测试车辆应用所述最大加速度值时保持所述测试车辆和所述移动对象之间的最小安全纵向距离。

33.根据权利要求32所述的计算系统，其中，所述测试场景是切入场景，其中所述移动对象向所述测试车辆的轨迹进行横向运动。

34.根据权利要求25所述的计算系统，其中，所述最小安全距离要求由车辆运行安全模型定义，其中所述测试车辆使用自动驾驶软件的计划和控制功能实现所述车辆运行安全模型。

35.根据权利要求34所述的计算系统，其中，所述处理电路还被配置用于：

使得所述测试场景在所述测试模拟器中执行，以验证所述自动驾驶软件的计划和控制功能是否符合所述最小安全距离要求。

36.根据权利要求25所述的计算系统，其中，所述移动对象是第二车辆。