CN115392015A - 一种基于数字孪生的自动驾驶推演系统和推演方法 - Google Patents

Abstract

本发明属于自动驾驶技术领域，具体为一种基于数字孪生的自动驾驶推演系统和方法。本发明系统包括数字孪生场景搭建模块、环境感知模块、仿真推演模块和决策优化模块。数字孪生场景搭建模块用于对物理实体建模并基于游戏引擎搭建数字孪生场景；环境感知模块用于实时感知车辆周围环境和估计车辆自身的状态；仿真推演模块用于将同一时刻的多个决策方案在数字孪生场景中进行并行化的推演；决策优化模块用于评估仿真推演的结果，选择当前时刻下最优的决策方案，并反向作用于物理实体。本发明将数字孪生技术应用于自动驾驶的仿真推演，能够对自动驾驶决策进行优化，并且能够有针对性的对突发事件进行处理，从而提高自动驾驶系统的安全性与可靠性。

Description

一种基于数字孪生的自动驾驶推演系统和推演方法

技术领域

本发明属于自动驾驶技术领域，具体涉及一种自动驾驶推演系统和推演方法。

背景技术

近年来，随着电子信息、人工智能和数字化技术的发展，带动了自动驾驶领域的发展。在真实自动驾驶场景中，每一时刻都面临着多种决策方案，尤其是在面对一些突发情况，决策稍有不慎就可能会带来灾难性后果。因此，自动驾驶需要真正实现落地，需要保证每个时刻决策的正确性；尤其是当面对突发事件时，需要更迅速的做出正确的决策。

传统的自动驾驶仿真环境能够对自动驾驶场景进行模拟和推演，但是环境细节均需要人为设定，不同环境下的多种行为演绎都需要手动输入大量参数，这要求操作者拥有严格的专业背景知识。在有限的人力资源下，真实世界的千变万化显然无法完全通过简单的重复调参模拟。并且传统的自动驾驶仿真环境只能够在虚拟环境中进行模拟和推演，其和物理世界并没有直接的交互。

发明内容

本发明的目的在于提出一种基于数字孪生的自动驾驶推演系统和推演方法，以解决目前自动驾驶仿真环境中存在的问题。

本发明提出的基于数字孪生的自动驾驶推演系统，包括：数字孪生场景搭建模块、环境感知模块、仿真推演模块和决策优化模块，其中：

所述数字孪生场景搭建模块，用于对物理实体建模并基于游戏引擎搭建数字孪生场景；

所述环境感知模块，用于实时感知车辆周围环境和估计车辆自身的状态；

所述仿真推演模块，用于将同一时刻的多个决策方案在数字孪生场景中进行并行化的推演；

所述决策优化模块，用于评估仿真推演的结果，选择当前时刻下最优的决策方案，并反向作用于物理实体。

其中：

所述数字孪生场景搭建模块，包括孪生体模型库、天气系统和实时渲染可视化部分，其中：

所述孪生体模型库，对真实的物理实体构建数字孪生体，每个孪生体都由一系列真实子对象模块组成，分别负责独立的属性定义，对应真实世界中对象的复杂物理结构；

所述天气系统，能够动态模拟云，雨，雪，雾以及光照的真实效果以及相关物理量系数的影响；

所述实时渲染可视化部分，能够基于物体实体的数据，将孪生体模型实例化与整合，并基于游戏引擎构建动态的数字孪生场景。

所述环境感知模块，能够实时接收物理世界的传感器数据，对周围环境进行感知，然后得到实时的路况信息和行人信息反馈，并且准确有效的估计出自身状态，同时更新到数字孪生场景里面。

所述仿真推演模块，在数字孪生场景中，结合环境感知模块所得到的信息反馈和自身状态估计，并且根据多个可能的决策方案进行并行化仿真推演；仿真推演在不同的进程中进行，互不影响，并能够保证实时性；仿真推演结束之后，对不同决策方案下的行为与状态进行预测。

所述仿真推演模块，其中引入突发事件样本库；通过事先在突发事件样本库中推演模拟所有能考虑到的突发危险情况搭建突发事件样本库；在真实情况下遇到突发事件时，首先对突发事件样本库进行搜索，如果能够检索到类似突发事件，则直接采取对应的决策方案，减少对突发事件的处理时间；否则，再进行仿真推演，并将突发事件和对应决策记录到突发事件样本库。

所述决策优化模块，从车辆自身状态、周围环境情况等方面评估仿真推演结果，然后选择最优结果对应的决策方案在数字并进行车辆控制，通过控制数字孪生场景中的车辆孪生体来反向控制物理世界的自动驾驶车辆。

本发明还提出基于上述自动驾驶推演系统的基于数字孪生的自动驾驶推演方法，具体步骤如下。

步骤S1：搭建自动驾驶数字孪生场景

S1-1：对自动驾驶场景中的物体（包括：车辆、传感器、建筑物、行人等等）构建静态孪生体模型；

S1-2：对构建好的静态孪生体模型进行分类，并定义不同类别孪生体的特定属性和所包含的数据对象，从而建立孪生体和物理实体的静态映射关系；

S1-3：基于游戏物理引擎，在数字孪生场景中模拟物理世界中的物体实体的交互过程，从而建立孪生体和物理实体的动态映射关系；

S1-4：搭建天气系统，模拟云，雨，雪，雾以及光照的真实效果；

S1-5：基于游戏渲染引擎，实现自动驾驶数字孪生场景的实时渲染和可视化。

步骤S2：在物理世界中，对车辆周围环境进行感知和定位，并将结果反馈到数字孪生场景中

S2-1：在物理世界中，使用传感器（包括：相机、激光雷达、毫米波雷达等）对车辆周围的环境进行感知，获取周围车辆、行人以及其他可能的障碍物的信息；

S2-2：在物理世界中，使用传感器（包括：相机、温度传感器、湿度传感器等）对当前天气情况进行感知；

S2-3：基于路况信息以及先验地图，使用SLAM技术进行车辆自身的定位；

S2-4：将环境感知和定位结果反馈到所述数字孪生场景中。

步骤S3：在数字孪生场景中进行仿真推演

S3-1：根据步骤S2-4的反馈结果以及物理传感器的数据，在数字孪生场景中还原物理世界的交通路况和天气情况；

S3-2：针对当前自动驾驶情景，迅速做出几个合理的决策；

S3-3：对步骤S3-2中的不同自动驾驶决策以事件为单位进行并行推演；

S3-4：将推演结果反馈给所述决策优化模块。

步骤S4：对仿真推演结果进行评价并执行对应决策

S4-1：分析步骤S3-4结果，根据仿真推演中的车辆驾驶情况和是否存在潜在事故等方面来评估自动驾驶决策的好坏；

S4-2：选择最优的决策方案；

S4-3：通过车辆孪生体与物理实体的反向映射，控制物理世界中的自动驾驶车辆执行最优决策。

本发明自动驾驶推演方法中，所述仿真推演模块能够有效的应对自动驾驶场景中的突发事件，包括：

提前对突发事件进行仿真推演并搭建突发事件样本库；

在突发事件样本库中，每一种突发事件都有对应的优化决策方案，并迭代更新；

自动驾驶过程中，遇到突发事件时，从突发事件样本库中进行搜索和匹配，匹配成功时，直接使用对应的决策方案，匹配失败时，在进行仿真推演，执行优化后的最优决策。

本发明提供的基于数字孪生的自动驾驶推演系统和方法，将数字孪生技术应用于自动驾驶的仿真推演，不仅能够对自动驾驶决策进行优化，并且能够有针对性的对突发事件进行处理，提高自动驾驶系统在面对紧急事件的反应灵敏度，从而有效的提高自动驾驶系统的安全性与可靠性。

附图说明

图1是本发明基于数字孪生的自动驾驶推演系统的结构框图。

图2是本发明中数字孪生场景搭建模块的结构框图。

图3是本发明中仿真推演模块的结构框图。

图4是本发明中仿真推演模块中应对突发事件的流程图示。

图5 是本发明基于数字孪生的自动驾驶推演系统在城市道路场景中的一个实例图示。

具体实施方式

以下结合附图和具体实施例对本发明提供的基于数字孪生的自动驾驶推演系统和方法作进一步详细说明。

图1为本发明所述基于数字孪生的自动驾驶推演系统的结构框图。系统包括四个模块，包括数字孪生场景搭建模块、环境感知模块、仿真推演模块和决策优化模块。详细内容与发明内容中的描述相同。

图2为本发明所述基于数字孪生的自动驾驶推演系统中数字孪生场景搭建模块的结构框图。具体实施方法包括以下步骤：

步骤S1：将真实天气信息参数作为输入

所述真实天气信息参数包括能见度、温度、风速、风向、降雨量等，通过采集真实物理数据用作数字孪生场景搭建；

步骤S2：将路况信息和行人信息作为输入

所述路况信息参数包括信号灯实时显示信息、车流量、路面情况、人行横道等，通过采集实时信息用作数字孪生场景搭建；所述行人信息包括人流量、行人类别等，通过采集实时行人数据用作后续数字孪生的自动驾驶推演；在实际执行过程中，所述的路况信息和行人信息可以用于自动驾驶的决策和推演；在实际应用中，所述的路况信息还可以包括图像传感器数据信息、位置传感器、摄像头等；

步骤S3：数字孪生推演系统搭建

所属的数字孪生推演系统基于上述步骤的输入搭建而成，采集到的不同天气信息会给予着色器模型不同的输入，经过基于物理的大气散射、体积云、体积光、随高度改变的风速和温度等信息的计算，得到实时的数字孪生天气场景；采集到的路况信息和行人信息将会与天气系统结合，形成最终的数字孪生推演系统。

本发明所述基于数字孪生的自动驾驶推演系统中仿真推演模块，参见图3所示。其中，数据输入指数字孪生场景搭建的输入，在数字孪生场景中进行推演。进行自动驾驶推演的孪生体会根据天气信息参数得到当前能见度，由此可推演出可视范围的最大安全距离。根据当前路况信息得到摩擦系数，由此可推演出当前路况下的最大刹车距离。根据当前行人信息得到场景内人流量信息，由此可推演出行人的下一步行进方向以及当前车辆的安全活动范围。本发明所述的数字孪生的自动驾驶推演系统可以根据上述信息对孪生体行为进行决策，具体步骤为：

步骤S1：基于真实的物理输入计算出当前孪生体的实时驾驶参数。所述的驾驶参数包括最大刹车距离、能见度、可视范围、最大安全距离、突发事件概率等。

步骤S2：基于上述等驾驶参数用作推演系统的输入，根据大量数据推演得到的模型来进行决策，分析下一时刻的执行策略与可行性。所述的大量数据推演得到的模型基于数字孪生的推演系统得到出。

步骤S3：将推演结果反馈给物理世界，得到数字孪生推演系统下的输出结果。所述的输出结果即为最优运转结果。

在当前的自动驾驶领域，对于自动驾驶行为的推演大多采用物理模拟或非基于物理的仿真推演，导致资源浪费以及精度误差。本发明提供的结合数字孪生的自动驾驶推演系统，在数字孪生场景中进行基于物理的推演和决策，在保证准确和实时的条件下得到的更真实的结果，同时降低了验证成本。

本发明所述基于数字孪生的自动驾驶推演系统中，仿真推演模块中应对突发事件的流程，参见图4所示。具体步骤为：

步骤S1：提前对突发事件进行仿真推演并搭建突发事件样本库；

步骤S2：自动驾驶过程中，遇到突发事件时，从突发事件样本库中搜索并匹配相对应的突发事件；

步骤S3：如果突发事件样本库中匹配到对应的突发事件，则执行对应的决策方案；

步骤S4：如果突发事件样本库中未匹配到对应的突发事件，则在仿真推演模块中进行仿真推演，并得到优化后的决策方案；

步骤S5：对突发事件样本库进行迭代更新。

在正常车辆行驶场景或自动驾驶场景中，常常会遇到突发交通事件。面对突发事件时，需要做出又快又准的决策。本发明通过引入突发事件样本库，有效的减少突发事件的处理时间，保证了自动驾驶决策的高效和准确，从而提高自动驾驶系统的安全性与可靠性。

图5展示了本发明所述基于数字孪生的自动驾驶推演系统在城市道路场景中运行的一个实例。详细说明如下：

系统启动后，自动驾驶车辆在真实城市道路上正常行驶，对应的自动驾驶孪生体车辆在预先搭建好的数字孪生场景中正常行驶，物理世界实体和数字孪生场景中的孪生体一一对应。物理世界中的车辆数据和传感器感知数据实时更新到数字孪生场景中，保证数字孪生场景和物理世界的同步。

在某一时刻，自动驾驶车辆遇到突发情况，感知模块在物理世界中感知到车辆右前方有行人闯入，系统进入突发事件处理步骤。首先在突发事件样本库中进行检索，如果在突发事件样本库中检索到类似的突发事件，则直接采用该事件对应的决策——刹车；如果在突发事件样本库中未检索到类似的突发事件，则根据当前情况规划不同的决策方案，比如：

（1）刹车；

（2）往左打方向盘并减速；

（3）往左打方向盘并加速；

根据上述决策方案，在数字孪生场景中进行并行化推演。仿真推演时，综合考虑车辆行驶速度、所感知到的行人的速度、道路交通情况、天气情况；排除掉所有可能造成交通事故的决策方案，然后再对剩下的决策方案进行逐一评估，最后选择出最优决策方案——刹车。

得到决策方案之后，再通过控制数字孪生场景中的车辆孪生体执行刹车操作，来对真实世界车辆进行反向控制，使得真实世界车辆同样执行刹车操作。

最后，完成突发事件处理之后，自动驾驶车辆再次正常行驶，数字孪生场景同步运行，直到行驶结束。

Claims (5)

1.一种基于数字孪生的自动驾驶推演系统，其特征在于，包括：数字孪生场景搭建模块、环境感知模块、仿真推演模块和决策优化模块，其中：

所述数字孪生场景搭建模块，用于对物理实体建模并基于游戏引擎搭建数字孪生场景；

所述环境感知模块，用于实时感知车辆周围环境和估计车辆自身的状态；

所述仿真推演模块，用于将同一时刻的多个决策方案在数字孪生场景中进行并行化的推演；

所述决策优化模块，用于评估仿真推演的结果，选择当前时刻下最优的决策方案，并反向作用于物理实体；

所述数字孪生场景搭建模块包括孪生体模型库、天气系统和实时渲染可视化部分，其中：

所述孪生体模型库，对真实的物理实体构建数字孪生体，每个孪生体都由一系列真实子对象模块组成，分别负责独立的属性定义，对应真实世界中对象的复杂物理结构；

所述天气系统，用于动态模拟云、雨、雪、雾以及光照的真实效果，以及相关物理量系数的影响；

所述实时渲染可视化部分，能够基于物体实体的数据，将孪生体模型实例化与整合，并基于游戏引擎构建动态的数字孪生场景；

所述环境感知模块，用于实时接收物理世界的传感器数据，对周围环境进行感知，然后得到实时的路况信息和行人信息反馈，并且准确有效的估计出自身状态，同时更新到数字孪生场景里面；

所述仿真推演模块，在数字孪生场景中，结合环境感知模块所得到的信息反馈和自身状态估计，并且根据多个可能的决策方案进行并行化仿真推演；仿真推演在不同的进程中进行，互不影响，并保证实时性；仿真推演结束之后，对不同决策方案下的行为与状态进行预测；

所述决策优化模块，从车辆自身状态、周围环境情况等方面评估仿真推演结果，然后选择最优结果对应的决策方案在数字并进行车辆控制，通过控制数字孪生场景中的车辆孪生体来反向控制物理世界的自动驾驶车辆。

2.根据权利要求1所述的基于数字孪生的自动驾驶推演系统，其特征在于，所述仿真推演模块中引入有突发事件样本库；通过事先在突发事件样本库中推演模拟所有能考虑到的突发危险情况搭建突发事件样本库；在真实情况下遇到突发事件时，首先对突发事件样本库进行搜索，如果能够检索到类似突发事件，则直接采取对应的决策方案，减少对突发事件的处理时间；否则，再进行仿真推演，并将突发事件和对应决策记录到突发事件样本库。

3.基于权利要求1或2所示自动驾驶推演系统的自动驾驶推演方法，其特征在于，具体步骤为：

步骤S1：搭建自动驾驶数字孪生场景

S1-1：对自动驾驶场景中的物体，包括：车辆、传感器、建筑物、行人，构建静态孪生体模型；

S1-2：对构建好的静态孪生体模型进行分类，并定义不同类别孪生体的特定属性和所包含的数据对象，从而建立孪生体和物理实体的静态映射关系；

S1-3：基于游戏物理引擎，在数字孪生场景中模拟物理世界中的物体实体的交互过程，从而建立孪生体和物理实体的动态映射关系；

S1-4：搭建天气系统，模拟云、雨、雪、雾以及光照的真实效果；

S1-5：基于游戏渲染引擎，实现自动驾驶数字孪生场景的实时渲染和可视化；

步骤S2：在物理世界中，对车辆周围环境进行感知和定位，并将结果反馈到数字孪生场景中；

S2-1：在物理世界中，使用传感器，对车辆周围的环境进行感知，获取周围车辆、行人以及其他可能的障碍物的信息；

S2-2：在物理世界中，使用传感器对当前天气情况进行感知；

S2-3：基于路况信息以及先验地图，使用SLAM技术进行车辆自身的定位；

S2-4：将环境感知和定位结果反馈到所述数字孪生场景中；

步骤S3：在数字孪生场景中，通过仿真推演模块进行仿真推演；

S3-1：根据步骤S2-4的反馈结果以及物理传感器的数据，在数字孪生场景中还原物理世界的交通路况和天气情况；

S3-2：针对当前自动驾驶情景，迅速做出几个合理的决策；

S3-3：对步骤S3-2中的不同自动驾驶决策以事件为单位进行并行推演；

S3-4：将推演结果反馈给所述决策优化模块；

步骤S4：对仿真推演结果进行评价并执行对应决策；

S4-1：分析步骤S3-4结果，根据仿真推演中的车辆驾驶情况和是否存在潜在事故方面来评估自动驾驶决策的好坏；

S4-2：选择最优的决策方案；

S4-3：通过车辆孪生体与物理实体的反向映射，控制物理世界中的自动驾驶车辆执行最优决策。

4.根据权利要求3所述的自动驾驶推演方法，其特征在于，步骤S3中所述在数字孪生场景中，通过仿真推演模块进行仿真推演，包括进行自动驾驶推演的孪生体根据天气信息参数得到当前能见度，由此推演出可视范围的最大安全距离；根据当前路况信息得到摩擦系数，由此推演出当前路况下的最大刹车距离；根据当前行人信息得到场景内人流量信息，由此推演出行人的下一步行进方向以及当前车辆的安全活动范围；所述的数字孪生的自动驾驶推演系统根据上述信息对孪生体行为进行决策，具体步骤为：

步骤S1：基于真实的物理输入计算出当前孪生体的实时驾驶参数；所述的驾驶参数包括最大刹车距离、能见度、可视范围、最大安全距离、突发事件概率；

步骤S2：基于上述驾驶参数用作推演系统的输入，根据大量数据推演得到的模型进行决策，分析下一时刻的执行策略与可行性；

步骤S3：将推演结果反馈给物理世界，得到数字孪生推演系统下的输出结果；所述的输出结果即为最优运转结果。

5.根据权利要求3所述的自动驾驶推演方法，其特征在于，步骤S3中所述在数字孪生场景中，仿真推演模块中应对突发事件的具体步骤为：

步骤S1：提前对突发事件进行仿真推演并搭建突发事件样本库；

步骤S2：自动驾驶过程中，遇到突发事件时，从突发事件样本库中搜索并匹配相对应的突发事件；

步骤S3：如果突发事件样本库中匹配到对应的突发事件，则执行对应的决策方案；

步骤S4：如果突发事件样本库中未匹配到对应的突发事件，则在仿真推演模块中进行仿真推演，并得到优化后的决策方案；

步骤S5：对突发事件样本库进行迭代更新。

Images