CN117169873A - 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质 - Google Patents

Abstract

本发明提供一种超视域鸟瞰感知方法及装置、目标感知装置、设备、介质，该方法包括：获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据，将第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，发送第一传输特征数据和跨域传感通信请求至目标感知装置，以基于第一传输特征数据和第二传感特征点数据的特征重叠匹配，得到目标传感器的目标特征点数据和目标传感描述数据，发送至第一车辆，基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据生成超视域鸟瞰图，以基于超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；本发明减少数据传输量，拓展感知范围，提高感知精确性和驾驶安全性。

Description

超视域鸟瞰感知方法及装置、目标感知装置、设备、介质

技术领域

本申请涉及车辆安全技术领域，具体涉及一种超视域鸟瞰感知方法及装置、目标感知装置、设备、介质。

背景技术

随着交通和技术的发展，公路交通强度和密度迅速增加，导致各种交通事故频繁发生，通过检测障碍物的方式可减少频发的交通事故，而高效且准确地识别各种动静态障碍物是技术关键。相关技术中可通过自车上的多个车载传感器进行多摄融合和多模融合的方式构建鸟瞰图(Bird Eye View，BEV)，以通过鸟瞰图进行行车风险预测，但该方式无法对车载传感器的探测盲区进行感知和预测，即对“鬼探头”场景等被遮挡目标物入侵事故无能为力，并且，车载传感器的感知范围因动静态障碍物或车辆自身结构而导致感知范围受限，降低了车辆感知精确性，难以因各类突发事件及时对车辆进行驾驶控制，车辆的驾驶安全性低。

被遮挡目标物入侵事故包括目标物的运动方向改变导致事故和目标物的运动状态改变导致事故。被遮挡目标物入侵事故主要的避免措施是对行人和机动车司机进行安全教育，行人应不在视野盲区横穿车道通行，机动车司机应在存在视野盲区时采取预见性刹车，减速谨慎通行。但是行人和司机存在疏忽的概率，被遮挡目标物入侵事故时有发生。相关技术中通过它车的全景环视图像减少车辆在行驶时的视野盲区。

例如，CN111614931A提供一种车辆周边图像合成方法及系统，该车辆周边图像合成方法包括：第一终端将第一车辆的全景环视图像及第一车辆的位置信息发送至服务器；服务器接收至少一个第二终端发送的第二车辆的全景环视图像及第二车辆的位置信息；服务器根据第一车辆的位置信息及第二车辆的位置信息获取第一车辆与第二车辆的相对方位信息，并根据相对方位信息将第一车辆的全景环视图像及第二车辆的全景环视图像合成为第一车辆的鸟瞰图图像；第一终端接收并展示服务器发送的鸟瞰图图像。该发明的车辆周边图像合成方法及系统，通过利用周边各个车辆实时上传至服务器的全景环视图像，合成更大范围的全景环视图像，能减少车辆在行驶时的视野盲区，从而减少事故的发生。该发明通过在服务器上融合第一车辆的全景环视图像及第二车辆的全景环视图像合成为第一车辆的鸟瞰图图像的方式可减少视野盲区，但该发明在视野盲区不断更新的情况下难以对视野盲区中的被遮挡目标物的运动轨迹进行检测、跟踪和预测，且实时性低，无法给予辅助驾驶或自动驾驶的规划控制端适用信息，驾驶安全性较低。

再例如，CN115494506A公开一种基于车载毫米波雷达与视觉传感器的非视距探测鬼探头预警方法，应用于非视距范围目标检测领域，针对现有技术在“鬼探头”问题检测上存在的检测成本高、检测准确度低、效率低的问题；首先通过毫米波雷达传感器与视觉传感器获取周边环境的信息，将两者传感器的数据进行同步处理，同时再对视觉传感器进行标定处理，若有姿态变换则对其进行姿态逆处理。然后插帧分别得到由毫米波雷达传感器输出的目标位置以及目标跟踪结果，并同时得到由基于视觉传感器数据处理的目标检测、分类结果以及目标位置。最后，基于本发明的数据关联方法，对两种数据进行关联、除噪、以及显示处理，以实现对“鬼探头”事故的预警与定位“鬼探头”的效果。该发明的车载毫米波雷达与视觉传感器均安装于自车，该发明可提供给车辆预警信号，但无法给予辅助驾驶或自动驾驶的规划控制端适用信息，驾驶安全性较低。

发明内容

本申请提供一种超视域鸟瞰感知方法及装置、目标感知装置、设备、介质，以解决上述车辆的感知范围受限、感知精确性低和驾驶安全性低，且难以给予规划控制端适用信息的技术问题。

本申请提供一种超视域鸟瞰感知方法，包括：获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据；将所述第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送所述第一传输特征数据和所述跨域传感通信请求至目标感知装置，以基于所述第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将所述目标传感器的目标特征点数据和目标传感描述数据发送至所述第一车辆；接收所述目标特征点数据和所述目标传感描述数据；基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图，以基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；其中，所述感知盲区特征数据用于表征基于所述第一传感特征点数据得到的感知盲区的盲区特征，所述第二传感特征点数据是基于所述跨域传感通信请求对所述目标感知装置的目标感知数据进行特征点提取得到的，所述目标感知装置包括目标车辆和目标路端感知系统至少之一，所述感知预测结果用于所述第一车辆的驾驶控制。

于本申请的一实施例中，基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图包括：基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧；根据所述第一传感特征点数据中目标感知装置位置信息将目标传感描述数据中目标传感器外参进行坐标转换，得到原点转换矩阵；根据所述目标时间帧、所述原点转换矩阵、所述目标传感描述数据、所述目标特征点数据、所述第一传感描述数据和所述第一传感特征点数据生成超视域鸟瞰图。

于本申请的一实施例中，基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧包括：基于所述第一传感描述数据和第一特征点描述数据确定重叠区域中每一第一单帧的第一特征点描述信息；基于所述目标传感描述数据和目标特征点描述数据确定重叠区域中每一第二单帧的目标特征点描述信息；将一第二单帧的目标特征点描述信息分别与多个第一单帧的第一特征点描述信息进行相同描述匹配，得到相同事件帧；将所述相同事件帧确定为目标时间帧；其中，所述第一特征点描述数据用于表征所述第一特征点数据的第一特征点基础描述信息，所述目标特征点描述数据用于表征所述目标特征点数据的目标特征点基础描述信息，所述目标时间帧用于表征所述目标特征点数据和所述第一传感特征点数据的时间同步点，所述单帧描述信息包括所述第一特征点描述信息和所述目标特征点描述信息，所述目标单帧包括所述第一单帧和所述第二单帧。

于本申请的一实施例中，根据所述目标时间帧、所述原点转换矩阵、所述目标传感描述数据、所述目标特征点数据、所述第一传感描述数据和所述第一传感特征点数据生成超视域鸟瞰图包括：对所述第一传感特征点数据进行基础特征提取，得到待投影特征点数据；基于所述待投影特征点数据和所述第一传感描述数据进行第一鸟瞰投影，得到初始鸟瞰图；基于所述目标时间帧、所述转换矩阵、所述目标传感描述数据将所述目标传感特征点数据进行第二鸟瞰投影至所述初始鸟瞰图，得到超视域鸟瞰图；其中，所述第二鸟瞰投影包括所述目标传感特征点数据中被遮挡区域的交互注意力投影、所述目标传感特征点数据和所述待投影特征点数据间被遮挡区域的比对投影之一，所述被遮挡区域由所述初始鸟瞰图得到。

于本申请的一实施例中，基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果包括：获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；基于所述新的待投影特征点数据对所述超视域鸟瞰图进行第一更新，并更新被遮挡区域；基于所述新的目标特征点数据和新的目标传感描述数据对所述目标传感器的感知区域中目标物体的目标物体运动轨迹进行检测，所述目标物体位于所述被遮挡区域；若所述感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新，重复执行获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；基于所述新的待投影特征点数据对所述超视域鸟瞰图进行第一更新，并更新被遮挡区域；基于所述新的目标特征点数据和新的目标传感描述数据对所述目标传感器的感知区域中目标物体的目标物体运动轨迹进行检测，所述目标物体位于所述被遮挡区域；若所述感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新的步骤，直到所述感知区域不包括更新后的被遮挡区域；若所述感知区域不包括更新后的被遮挡区域，则将所述新的目标特征点数据和所述新的目标传感描述数据确定为目标记录数据，并基于所述目标记录数据进行所述目标物体运动轨迹的预测，并根据所述目标物体运动轨迹和所述第一车辆的运动轨迹进行轨迹冲突的预测，得到感知预测结果，所述目标记录数据还用于新的目标传感器中对所述更新后的被遮挡区域的重识别。

于本申请的一实施例中，获取第一车辆的第一传感特征点数据之前，所述超视域鸟瞰感知方法还包括：获取第一车辆的第一感知数据；若所述第一感知数据为图像感知数据，则对所述图像感知数据中的旋转不变特征进行特征点提取，得到第一图像特征点数据；若所述第一感知数据为毫米波雷达感知数据，则对所述毫米波雷达感知数据中的电磁散射特征和运动特征进行特征点提取，得到第一毫米波雷达特征点数据；若所述第一感知数据为激光雷达感知数据，则对所述激光雷达感知数据中的撕裂点特征、角点特征、直线特征和圆弧特征至少之一进行特征点提取，得到第一激光雷达特征点数据；将所述第一图像特征点数据、所述第一毫米波雷达特征点数据和所述第一激光雷达特征点数据至少之一作为第一传感特征点数据。

本申请提供一种超视域鸟瞰感知方法，包括：获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求；基于所述跨域传感通信请求对所述目标感知数据进行特征点提取，得到第二传感特征点数据；若所述第一传输特征数据为第一传感特征点数据，则根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器；若所述第一传输特征数据为感知盲区特征数据，则基于所述感知盲区特征数据中盲区世界坐标数据和所述第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器；对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将所述目标特征点数据和所述目标传感器的目标传感描述数据发送至所述第一车辆，所述目标传感描述数据包括运动特征数据和感知传感器参数数据。

于本申请的一实施例中，根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器包括：将每一单帧的第一传感特征点数据和每一单帧的第二传感特征点数据进行特征点重叠匹配，得到每一单帧的单帧特征重叠匹配点数量；根据所有单帧的单帧特征点匹配数量确定全帧特征重叠匹配点数量；若所述单帧特征重叠匹配点数量大于或等于预设第一阈值，且所述全帧特征重叠匹配点数量小于或等于预设第二阈值，则将一单帧的第二传感特征点对应的感知传感器确定为目标传感器；其中，所述预设匹配阈值包括所述预设第一阈值和所述预设第二阈值，所述重叠特征点数量包括单帧特征重叠匹配点数量和全帧特征重叠匹配点数量。

于本申请的一实施例中，对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据包括：若所述目标传感器的第二传感特征点数据为第二点云特征点数据，则将所述第二点云特征点数据转换为第二图像特征点数据；若所述目标传感器的第二传感特征点数据为第二图像特征点数据，则通过预设图像处理基础网络对所述第二图像特征点数据进行基础特征提取，得到目标特征点数据。本申请提供一种超视域鸟瞰感知装置，包括：第一数据获取模块，用于获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据；第一数据发送模块，用于将所述第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送所述第一传输特征数据和所述跨域传感通信请求至目标感知装置，以基于所述第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将所述目标传感器的目标特征点数据和目标传感描述数据发送至所述第一车辆；第一数据接收模块，用于接收所述目标特征点数据和所述目标传感描述数据；鸟瞰图生成模块，用于基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图，以基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；其中，所述感知盲区特征数据用于表征基于所述第一传感特征点数据得到的感知盲区的盲区特征，所述第二传感特征点数据是基于所述跨域传感通信请求对所述目标感知装置的目标感知数据进行特征点提取得到的，所述目标感知装置包括目标车辆和目标路端感知系统至少之一，所述感知预测结果用于所述第一车辆的驾驶控制。

本申请提供一种目标感知装置，包括：第二数据获取模块，用于获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求；特征点提取模块，用于基于所述跨域传感通信请求对所述目标感知数据进行特征点提取，得到第二传感特征点数据；目标传感器第一确定模块，用于若所述第一传输特征数据为第一传感特征点数据，则根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器；目标传感器第二确定模块，用于若所述第一传输特征数据为感知盲区特征数据，则基于所述感知盲区特征数据中盲区世界坐标数据和所述第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器；第二数据发送模块，用于对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将所述目标特征点数据和所述目标传感器的目标传感描述数据发送至所述第一车辆，所述目标传感描述数据包括运动特征数据和感知传感器参数数据。

本申请还提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述各实施例中任一项所述的超视域鸟瞰感知方法。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上述各实施例中任一项所述的超视域鸟瞰感知方法。

本发明的有益效果：本发明提供了一种超视域鸟瞰感知方法及装置、目标感知装置、设备、介质，本发明通过将第一传输特征数据和跨域传感通信请求发送至目标感知装置，以使目标感知装置基于第一传输特征数据和第二传感特征点数据进行特征重叠匹配确定目标传感器，得到目标特征点数据和目标传感描述数据，通过确定目标传感器的方式减少了数据传输量；基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据进行多摄/多模的超视域鸟瞰图的生成，该超视域鸟瞰图结合了第一车辆感知到的第一感知数据和目标感知装置感知到的第二感知数据，拓展了第一车辆的感知范围，提高了第一车辆的感知精确性，为视野盲区检测控制、路径规划控制和车速控制等第一车辆的驾驶控制提供了更多的参考数据，并且基于超视域鸟瞰图进行驾驶场景感知预测得到的感知预测结果，可直接被用于自动驾驶系统或辅助驾驶系统进行第一车辆的驾驶控制，通过感知预测结果可提前得到各类突发事件的预测结果，提高了驾驶安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出了根据本申请一个实施例的应用于第一车辆的超视域鸟瞰感知方法的流程示意图；

图3示出了根据本申请一个实施例的应用于目标感知装置的超视域鸟瞰感知方法的流程示意图；

图4示出了根据本申请一个实施例的超视域数据传输流程图；

图5示出了根据本申请一个实施例的跨域传感器时空同步示意图；

图6示出了根据本申请一个实施例的超视域场景鸟瞰感知示意图；

图7示出了根据本申请一个实施例的超视域场景鸟瞰感知的全流程示意图；

图8示出了根据本申请一个实施例的基于超视域鸟瞰感知装置的框图；

图9示出了根据本申请一个实施例的目标感知装置的框图；

图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本申请的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本申请，而不是为了限制本申请的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本申请实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本申请的实施例难以理解。

首先需要说明的是，突发事件包括被遮挡目标物入侵事故，被遮挡目标物入侵事故包括目标物的运动方向改变导致事故和目标物的运动状态改变导致事故。目标物的运动方向改变导致事故包括：行人在停止运动的车辆前方横向穿行时，只有在行人走过停放车辆所在车道后才能被行车道驶来的车辆发现，而此时若车辆行驶速度较快则难以避让，从而发生碰撞事故。目标物的运动状态改变导致事故：当前车突然急刹车时，若此时后车行驶速度较快则难以及时发现应对，从而发生连环追尾，或者无法像前车一样及时避让，直接追尾。

多摄融合是融合车载图像传感器的多视角图像，以车辆坐标系为中心布局的从上向下构建俯视视角的鸟瞰图(BEV,Bird Eye View)，范围涵盖车辆周围幅宽数十至近百米区域，鸟瞰图是通过视角转换来方便驾驶员以鸟瞰视角获取车周环境，进而提升对车辆的操控能力。在此基础上加入激光雷达、毫米波雷达等传感器数据构建多模融合的BEV感知。

请参阅图1，图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。如图1所示，系统架构可以包括第一车辆101和目标感知装置102，其中第一车辆101包括自车，目标感知装置102包括目标车辆和目标路端感知系统至少之一，目标车辆包括前向车辆。

车载传感器的感知范围因动静态障碍物或车辆自身结构而导致感知范围受限，降低了车辆感知精确性，难以因各类突发事件及时对车辆进行驾驶控制，车辆的驾驶安全性低。相关技术中通过它车的全景环视图像减少车辆在行驶时的视野盲区，但无法进行被遮挡目标物入侵的感知和预测，且实时性低，仅可提供给车辆预警信号，无法给予辅助驾驶或自动驾驶的规划控制端适用信息。

为解决上述技术问题，本申请提供了一种超视域鸟瞰感知方法及装置、目标感知装置、设备、介质。

请参阅图2，图2示出了根据本申请一个实施例的超视域鸟瞰感知方法的流程示意图。如图2所示，在一示例性的实施例中，超视域鸟瞰感知方法至少包括步骤S210至步骤S240，应用于第一车辆，详细介绍如下：

步骤S210，获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据。

在本申请的一个实施例中，获取第一车辆的第一传感特征点数据之前，超视域鸟瞰感知方法还包括：获取第一车辆的第一感知数据；若第一感知数据为图像感知数据，则对图像感知数据中的旋转不变特征进行特征点提取，得到第一图像特征点数据；若第一感知数据为毫米波雷达感知数据，则对毫米波雷达感知数据中的电磁散射特征和运动特征进行特征点提取，得到第一毫米波雷达特征点数据；若第一感知数据为激光雷达感知数据，则对激光雷达感知数据中的撕裂点特征、角点特征、直线特征和圆弧特征至少之一进行特征点提取，得到第一激光雷达特征点数据；将第一图像特征点数据、第一毫米波雷达特征点数据和第一激光雷达特征点数据至少之一作为第一传感特征点数据。

在本申请的一个实施例中，第一感知数据是通过第一车辆中多类车载传感器感知得到，多类车载传感器包括多个车载图像传感器、多个激光雷达和多个毫米波雷达。第一感知数据是在用户授权的情况下获取的。

在本申请的一个实施例中，基于预设兴趣方向通过对第一车辆中多类车载传感器感知到的第一感知数据进行特征点提取，得到第一传感特征点数据。预设兴趣方向包括图像(或摄像头)特征的旋转不变特征、毫米波雷达特征的电磁散射特征、毫米波雷达特征的运动特征和激光雷达特征的点线特征。旋转不变特征包括ORB(Oriented FAST andRotated BRIEF)征特征和SIFT(Scale-invariant feature transform)特征。电磁散射特征包括雷达散射截面(Radar Cross section，RCS)特征和高分辨距离像(high resolutionrange profile，HRRP)特征至少之一。运动特征包括宏观运动特征和微观运动特征；宏观运动特征包括速度特征和加速度特征至少之一，微观运动特征包括整体微多普勒特征和局部微多普勒特征至少之一。点线特征包括撕裂点(breakPoint)特征、角点(Corner)特征、直线特征以及圆弧特征至少之一。

在本申请的一个实施例中，第一传感描述数据用于表征第一车辆的运动参数和车载传感器的车载传感器参数。

在本申请的一个实施例中，跨域传感通信请求包括预设兴趣方向，用于对目标感知装置中的第二感知数据进行特征点提取，得到第二传感特征点数据。

步骤S220，将第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送第一传输特征数据和跨域传感通信请求至目标感知装置，以基于第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将目标传感器的目标特征点数据和目标传感描述数据发送至第一车辆。

其中，感知盲区特征数据用于表征基于第一传感特征点数据得到的感知盲区的盲区特征，第二传感特征点数据是基于跨域传感通信请求对目标感知装置的目标感知数据进行特征点提取得到的，目标感知装置包括目标车辆和目标路端感知系统至少之一。

在本申请的一个实施例中，目标特征点数据通过对目标传感器对应的第二传感特征点进行基础特征提取得到，特征重叠匹配包括特征点重叠匹配或世界坐标重叠匹配。

请参阅图3，图3示出了根据本申请一个实施例的超视域鸟瞰感知方法的流程示意图。如图3所示，在一示例性的实施例中，超视域鸟瞰感知方法至少包括步骤S310至步骤S350，应用于目标感知装置，详细介绍如下：

其中，第二传感特征点数据是基于跨域传感通信请求对目标感知装置的目标感知数据进行特征点提取得到的。

在本申请的一个实施例中，感知盲区特征数据包括第一车辆的感知盲区对应的盲区世界坐标数据。

步骤S310，获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求。

在本申请的一个实施例中，在目标感知装置中至少存在一类感知传感器，感知传感器包括图像传感器、毫米波雷达传感器和激光雷达传感器至少之一，感知传感器包括多个同类感知传感器。

步骤S320，基于跨域传感通信请求对目标感知数据进行特征点提取，得到第二传感特征点数据。

在本申请的一个实施例中，跨域传感通信请求中包括预设兴趣方向，根据预设兴趣方向对目标感知数据进行特征点提取，得到第二传感特征点数据。

步骤S330，若第一传输特征数据为第一传感特征点数据，则根据第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器。

在本申请的一个实施例中，根据第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器包括：将每一单帧的第一传感特征点数据和每一单帧的第二传感特征点数据进行特征点重叠匹配，得到每一单帧的单帧特征重叠匹配点数量；根据所有单帧的单帧特征点匹配数量确定全帧特征重叠匹配点数量；若单帧特征重叠匹配点数量大于或等于预设第一阈值，且全帧特征重叠匹配点数量小于或等于预设第二阈值，则将一单帧的第二传感特征点对应的感知传感器确定为目标传感器；其中，预设匹配阈值包括预设第一阈值和预设第二阈值，重叠特征点数量包括单帧特征重叠匹配点数量和全帧特征重叠匹配点数量。

在本申请的一个实施例中，在目标感知装置端，通过对比特征点数据，确定第一车辆所需的数据，也即确定目标感知装置中的目标传感器。本申请设置单帧特征重叠匹配点数量UnitNum和全帧特征重叠匹配点数量FrameNum两个统计值，当且仅当UnitNum≥预设第一阈值(unitThres)，FrameNum≤预设第二阈值(frameThres)时，将第二传感特征点对应的感知传感器确定为目标传感器，目标传感器的数量包括一个或多个，目标传感器的感知区域包括第一车辆的车载传感器感知的被遮挡区域，该被遮挡区域也即超视域或视野盲区。

步骤S340，若第一传输特征数据为感知盲区特征数据，则基于感知盲区特征数据中盲区世界坐标数据和第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器。

在本申请的一个实施例中，世界坐标重叠匹配一致即盲区世界坐标数据与第二感知世界坐标数据的坐标数据重叠。

步骤S350，对目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将目标特征点数据和目标传感器的目标传感描述数据发送至第一车辆。

其中，目标传感描述数据包括运动特征数据和感知传感器参数数据。

在本申请的一个实施例中，对目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据包括：若目标传感器的第二传感特征点数据为第二点云特征点数据，则将第二点云特征点数据转换为第二图像特征点数据；若目标传感器的第二传感特征点数据为第二图像特征点数据，则通过预设图像处理基础网络对第二图像特征点数据进行基础特征提取，得到目标特征点数据。

在本申请的一个实施例中，通过基础特征提取的方式过滤掉目标传感器中的第二传感特征点数据的隐私数据。也即提取隐藏了目标传感器的感知区域中目标物体的外观信息，得到了非隐私数据。预设图像处理基础网络包括但不限于多层前馈(BackPropagation，BP)神经网络和学习矢量量化(Learning Vector Quantization，LVQ)神经网络。第二点云特征点数据包括第二毫米波雷达特征点数据和第二激光雷达特征点数据。可通过预设图像处理基础网络将第二点云特征点数据转换为第二图像特征点数据。

在本申请的一个实施例中，目标传感描述数据通过目标感知数据得到，运动特征数据包括目标感知装置的运动参数。感知传感器参数数据用于BEV映射，运动特征数据用于对目标特征点数据和第一传感特征点数据进行时空同步。

在本申请的一个实施例中，运动特征数据通过目标感知装置的运动参数得到，感知传感器参数数据包括传感器内外参数和传感器增广参数。

在本申请的一个实施例中，第一车辆和目标感知装置间的数据传输通过车用无线通信技术(Vehicle to Everything，V2X)进行传输。V2X包括车辆对车辆(Vehicle toVehicle，V2V)和车辆对基础设施(Vehicle to Infrastructure，V2I)。V2X用于第一车辆和目标车辆间的数据传输，V2I用于第一车辆和目标路端感知系统间的数据传输。目标特征点数据和目标传感描述数据是在用户授权的情况下发送的。

在本申请的一个实施例中，请参阅图4，图4示出了根据本申请一个实施例的超视域数据传输流程。如图4所示，第一车辆根据预设兴趣方向对每一单帧的第一感知数据进行特征点提取，得到第一传感特征点数据，预设兴趣方向包括图像特征、毫米波雷达特征和激光雷达特征。通过V2X传输第一传感器特征点数据和跨域传感通信请求。跨域传感通信请求中包括预设兴趣方向，根据预设兴趣方向对每一单帧的目标感知数据进行特征点提取，得到第二传感特征点数据。将第一传感器特征点数据和特征点对比，得到重叠特征点数量，并根据重叠特征点数量确定目标传感器。对目标传感器对应的第二传感特点数据进行基础特征提取，得到目标特征点数据。将目标特征点数据和目标传感描述数据通过V2X传输至第一车辆，目标传感描述数据包括感知传感器参数数据和运动特征数据。本申请的数据传输流程中的信息交互方式以及特征提取方式，不仅考虑了BEV感知对特征的需求，而且满足了跨域传感器时空同步的特征要求。以第一车辆为请求方发送的跨域传感通信请求及第一传感特征点数据进行单帧传感器特征的特征提取表达，通过第一车辆请求目标感知装置的特征的方式，获取目标传感器的目标特征点数据用于自车超视域场景BEV感知。精简地表达了目标传感器的感知域特征信息，数据传输量少，则高效且经济的跨域传输增加了实时性，进一步提高了超视域鸟瞰图的感知精确性，并且也隐秘了目标物体的外观信息，做到了隐私保护。

步骤S230，接收目标特征点数据和目标传感描述数据。

步骤S240，基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据生成超视域鸟瞰图，以基于超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果。

其中，感知预测结果用于第一车辆的驾驶控制。

在本申请的一个实施例中，基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据生成超视域鸟瞰图包括：基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧；根据第一传感特征点数据中目标感知装置位置信息将目标传感描述数据中目标传感器外参进行坐标转换，得到原点转换矩阵；根据目标时间帧、原点转换矩阵、目标传感描述数据、目标特征点数据、第一传感描述数据和第一传感特征点数据生成超视域鸟瞰图，以基于超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果。

在本申请的一个实施例中，基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧包括：基于第一传感描述数据和第一特征点描述数据确定重叠区域中每一第一单帧的第一特征点描述信息；基于目标传感描述数据和目标特征点描述数据确定重叠区域中每一第二单帧的目标特征点描述信息；将一第二单帧的目标特征点描述信息分别与多个第一单帧的第一特征点描述信息进行相同描述匹配，得到相同事件帧；将相同事件帧确定为目标时间帧；其中，第一特征点描述数据用于表征第一特征点数据的第一特征点基础描述信息，目标特征点描述数据用于表征目标特征点数据的目标特征点基础描述信息，目标时间帧用于表征目标特征点数据和第一传感特征点数据的时间同步点，单帧描述信息包括第一特征点描述信息和目标特征点描述信息，目标单帧包括第一单帧和第二单帧。

在本申请的一个实施例中，通过重叠区域中第一特征点描述信息和第二特征点描述信息确定相同事件帧，以解决因BEV鸟瞰图需要所有传感器数据的时间同步，形成对周围场景直观、统一的表达。而由于目标传感器为跨域传感器，受特征提取和传输的时间延迟，很难保证目标传感器和第一车辆传感器的时间同步。

在本申请的一个实施例中，请参阅图5，图5示出了根据本申请一个实施例的跨域传感器时空同步示意图。如图5所示，基于第一车辆的第一传感特征点数据和第一传感描述数据得到一单帧的第一特征点描述信息：t时刻第i个第一特征点的第一特征点描述信息为S_ti(des₁,sp₁(x,y,z),vel₁,dir₁)，des₁为第i个第一特征点的像素描述信息，sp₁(x,y,z)第i个第一特征点的统一坐标系空间位置，vel₁为第i个第一特征点的速度信息，dir₁为第i个第一特征点的方向信息。根据目标特征点数据得到目标特征点描述数据，通过目标传感描述数据中的传感器内外参数赋予每个目标特征点的统一坐标系空间位置，通过目标传感描述数据中的运动特征数据赋予每个目标特征点的运动特征，得到一单帧的目标特征点描述信息：t时刻第i个目标特征点的目标特征点描述信息O_ti(des₂,sp₂(x,y,z),vel₂,dir₂)，des₂为第i个目标特征点的像素描述信息，p₂(x,y,z)第i个目标特征点的统一坐标系空间位置，vel₂为第i个目标特征点的速度信息，dir₂为第i个目标特征点的方向信息。

在本申请的一个实施例中，多个单帧的第一特征点描述信息包括预设帧数的第一特征点描述信息，预设帧数通过t时刻的目标特征点描述信息中的前后帧数得到

在本申请的一个实施例中，请继续参阅图5，如图5所示，预设帧数包括t时刻的目标特征点描述信息的前后3帧，共6帧，即通过O_ti与S_{(t-3，t+3)，i}进行相同描述匹配，得到目标时间帧，通过目标时间帧确定目标传感器与第一车辆一致的时间点，以实现时间同步。

在本申请的一个实施例中，请继续参阅图5，如图5所示，根据第一车辆的第一传感特征点数据得到目标感知装置位置信息，坐标转换通过根据目标感知装置位置信息将目标传感器外参转换到第一车辆的坐标系，得到原点转换矩阵，以实现空间同步。

在本申请的一个实施例中，根据目标时间帧、转换矩阵、目标传感描述数据、目标特征点数据、第一传感描述数据和第一传感特征点数据生成超视域鸟瞰图包括：对第一传感特征点数据进行基础特征提取，得到待投影特征点数据；基于待投影特征点数据和第一传感描述数据进行第一鸟瞰投影，得到初始鸟瞰图；基于目标时间帧、转换矩阵、目标传感描述数据将目标传感特征点数据进行第二鸟瞰投影至初始鸟瞰图，得到超视域鸟瞰图；其中，第二鸟瞰投影包括目标传感特征点数据中被遮挡区域的交互注意力投影、目标传感特征点数据和待投影特征点数据间被遮挡区域的比对投影之一，被遮挡区域由初始鸟瞰图得到。

在本申请的一个实施例中，第一鸟瞰投影包括逆透视变换(Inverse PerspectiveMapping，IPM)投影、基于显示深度投影的LSS(Lift，Splat，Shot)和基于隐式深度投影的Transformer。被遮挡区域的交互注意力投影或比对投影能提升投影精度，也即降低变换时间。

在本申请的一个实施例中，基于超视域鸟瞰图进行驾驶场景感知预测，得到被遮挡区域的目标物体运动轨迹包括：获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；基于新的待投影特征点数据对超视域鸟瞰图进行第一更新，并更新被遮挡区域；基于新的目标特征点数据和新的目标传感描述数据对目标物体的目标传感器的感知区域中目标物体运动轨迹进行检测，目标物体位于被遮挡区域；若感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新，重复执行获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；基于新的待投影特征点数据对超视域鸟瞰图进行第一更新，并更新被遮挡区域；基于新的目标特征点数据和新的目标传感描述数据对目标传感器的感知区域中目标物体的目标物体运动轨迹进行检测，目标物体位于被遮挡区域；若感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新的步骤，直到感知区域不包括更新后的被遮挡区域；若感知区域不包括更新后的被遮挡区域，则将新的目标特征点数据和新的目标传感描述数据确定为目标记录数据，并基于目标记录数据进行目标物体运动轨迹的预测，并根据目标物体运动轨迹和第一车辆的运动轨迹进行轨迹冲突的预测，得到感知预测结果，目标记录数据还用于新的目标传感器中对更新后的被遮挡区域的重识别。

在本申请的一个实施例中，因第一车辆和目标车辆均在于运动，被遮挡区域也在不停变换，则需对被遮挡区域中的目标物体进行跟踪和重识别以及预测，在被遮挡区域超出目标传感器的感知区域时，以使第一车辆与新的目标传感器建立感知链接。被遮挡目标物也即被遮挡区域中的目标物体。

在本申请的一个实施例中，通过不断获取新的目标特征点数据和新的目标传感描述数据进行被遮挡区域的跟踪，并不断更新被遮挡区域。若目标传感器的感知区域不再覆盖更新后的被遮挡区域，则记录最新的目标特征点数据和最新的目标传感描述数据用于最新的被遮挡区域出现在新的目标传感器感知范围内时的重识别。并根据最新的目标特征点数据和最新的目标传感描述数据给出最新的被遮挡区域中目标物体运动轨迹的预测，以通过预判目标物体运动轨迹和第一车辆的运动轨迹的冲突情况，保证第一车辆行车安全。目标物体运动轨迹包括目标物体的空间位置信息及运动状态。该目标物体运动轨迹可直接被用于自动驾驶系统或辅助驾驶系统，以及时判别被遮挡目标物入侵风险，提升安全性。

在本申请的一个实施例中，第一车辆根据感知预测结果进行驾驶控制，驾驶控制包括第一车辆的路径规划控制、速度控制、方向控制和车辆信号灯控制。

在本申请的一个实施例中，感知预测结果还包括路口交通状况的预测，路口交通状况包括信号灯状态和车辆拥堵情况。也即突发事件还包括路口交通状况的突发状态。

在本申请的一个实施例中，请参阅图6，图6示出了根据本申请一个实施例的超视域场景鸟瞰感知示意图。如图6所示，基于多源数据特征和多源感知传感器参数进行鸟瞰图视场转换，得到超视域鸟瞰特征，以得到超视域鸟瞰图，根据超视域鸟瞰图进行感知区域中目标物体运动轨迹的二维检测和三维检测，以及被遮挡区域的跟踪和被遮挡区域中物体运动轨迹的预测。多源数据特征包括第一车辆中第一传感器数据的特征和目标感知装置中目标传感器数据的特征，多源感知传感器参数包括多源传感器内外参数和多源传感器增光参数，多源数据特征由目标时间帧、原点转换矩阵和第一传感特征点数据得到，多源感知传感器参数由目标传感描述数据和第一传感描述数据得到。

在本申请的一个实施例中，请参阅图7，图7示出了根据本申请一个实施例的超视域场景鸟瞰感知的全流程示意图。如图7所示，第一车辆向目标感知装置发送跨域传感通信请求，且第一车辆提取第一感知数据中预设兴趣方向对应的特征点，得到第一传感特征点数据，并通过V2X发送至目标感知装置。跨域传感通信请求和第一传感特征点数据的发送时间可错开也可同步。目标感知装置基于跨域传感通信请求提取目标感知数据中的第二传感特征点数据，将第一传感特征点数据和第二传感特征点数据进行特征点对比，得到重叠特征点数量，并根据重叠特征点数量确定目标传感器；将目标传感器对应的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将目标特征点数据和目标传感器对应的目标传感描述数据作为组合特征通过V2X传输至第一车辆。通过第一车辆基于目标特征点数据、目标传感描述数据、第一特征点数据和第一传感描述数据进行跨域多传感器的时间同步和空间同步。通过多摄/多模等多源传感器的多源数据进行鸟瞰图映射，得到超视域鸟瞰图。基于超视域鸟瞰图进行被遮挡区域的检测、跟踪和重识别以及被遮挡区域中物体运动轨迹的预测，以预设第一车辆的行车事故。

请参阅图8，图8示出了根据本申请一个实施例的基于超视域鸟瞰感知装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在第一车辆101中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图8所示，该示例性的超视域鸟瞰感知装置800包括：第一数据获取模块801、第一数据发送模块802、第一数据接收模块803和鸟瞰图生成模块804。

其中，第一数据获取模块801，用于获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据；

第一数据发送模块802，用于将第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送第一传输特征数据和跨域传感通信请求至目标感知装置，以基于第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将目标传感器的目标特征点数据和目标传感描述数据发送至第一车辆；

第一数据接收模块803，用于接收目标特征点数据和目标传感描述数据；

鸟瞰图生成模块804，用于鸟瞰图生成模块，用于基于目标特征点数据、目标传感描述数据、第一传感特征点数据和第一传感描述数据生成超视域鸟瞰图，以基于超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；

其中，所述感知盲区特征数据用于表征基于所述第一传感特征点数据得到的感知盲区的盲区特征，所述第二传感特征点数据是基于所述跨域传感通信请求对所述目标感知装置的目标感知数据进行特征点提取得到的，所述目标感知装置包括目标车辆和目标路端感知系统至少之一，所述感知预测结果用于所述第一车辆的驾驶控制。

请参阅图9，图9示出了根据本申请一个实施例的目标感知装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在目标感知装置102中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图9所示，该示例性的目标感知装置900包括：第二数据获取模块901、特征点提取模块902、目标传感器第一确定模块903、目标传感器第二确定模块904和第二数据发送模块905

其中，第二数据获取模块901，用于获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求；

特征点提取模块902，用于基于跨域传感通信请求对目标感知数据进行特征点提取，得到第二传感特征点数据；

目标传感器第一确定模块903，用于若第一传输特征数据为第一传感特征点数据，则根据第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器；

目标传感器第二确定模块904，用于若第一传输特征数据为感知盲区特征数据，则基于感知盲区特征数据中盲区世界坐标数据和第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器；

第二数据发送模块905，用于对目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将目标特征点数据和目标传感器的目标传感描述数据发送至第一车辆，目标传感描述数据包括运动特征数据和感知传感器参数数据。

需要说明的是，上述实施例所提供的超视域鸟瞰感知装置、目标感知装置与上述实施例所提供的超视域鸟瞰感知方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的超视域鸟瞰感知装置和目标感知装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的超视域鸟瞰感知方法。

请参阅图10，图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(LocalAreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行上述各个实施例中提供的超视域鸟瞰感知方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

在上述实施例中，除非另外规定，否则通过使用“第一”和“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。

上述实施例仅示例性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (13)

1.一种超视域鸟瞰感知方法，其特征在于，所述超视域鸟瞰感知方法包括：

获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据；

将所述第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送所述第一传输特征数据和所述跨域传感通信请求至目标感知装置，以基于所述第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将所述目标传感器的目标特征点数据和目标传感描述数据发送至所述第一车辆；

接收所述目标特征点数据和所述目标传感描述数据；

基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图，以基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；

其中，所述感知盲区特征数据用于表征基于所述第一传感特征点数据得到的感知盲区的盲区特征，所述第二传感特征点数据是基于所述跨域传感通信请求对所述目标感知装置的目标感知数据进行特征点提取得到的，所述目标感知装置包括目标车辆和目标路端感知系统至少之一，包括所述感知预测结果用于所述第一车辆的驾驶控制。

2.根据权利要求1所述的超视域鸟瞰感知方法，其特征在于，基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图包括：

基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧；

根据所述第一传感特征点数据中目标感知装置位置信息将目标传感描述数据中目标传感器外参进行坐标转换，得到原点转换矩阵；

根据所述目标时间帧、所述原点转换矩阵、所述目标传感描述数据、所述目标特征点数据、所述第一传感描述数据和所述第一传感特征点数据生成超视域鸟瞰图。

3.根据权利要求2所述的超视域鸟瞰感知方法，其特征在于，基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据得到每一目标单帧对应的单帧描述信息，并根据所有单帧描述信息进行时间同步，得到目标时间帧包括：

基于所述第一传感描述数据和第一特征点描述数据确定重叠区域中每一第一单帧的第一特征点描述信息；

基于所述目标传感描述数据和目标特征点描述数据确定重叠区域中每一第二单帧的目标特征点描述信息；

将一第二单帧的目标特征点描述信息分别与多个第一单帧的第一特征点描述信息进行相同描述匹配，得到相同事件帧；

将所述相同事件帧确定为目标时间帧；

其中，所述第一特征点描述数据用于表征所述第一特征点数据的第一特征点基础描述信息，所述目标特征点描述数据用于表征所述目标特征点数据的目标特征点基础描述信息，所述目标时间帧用于表征所述目标特征点数据和所述第一传感特征点数据的时间同步点，所述单帧描述信息包括所述第一特征点描述信息和所述目标特征点描述信息，所述目标单帧包括所述第一单帧和所述第二单帧。

4.根据权利要求2所述的超视域鸟瞰感知方法，其特征在于，根据所述目标时间帧、所述原点转换矩阵、所述目标传感描述数据、所述目标特征点数据、所述第一传感描述数据和所述第一传感特征点数据生成超视域鸟瞰图包括：

对所述第一传感特征点数据进行基础特征提取，得到待投影特征点数据；

基于所述待投影特征点数据和所述第一传感描述数据进行第一鸟瞰投影，得到初始鸟瞰图；

基于所述目标时间帧、所述转换矩阵、所述目标传感描述数据将所述目标传感特征点数据进行第二鸟瞰投影至所述初始鸟瞰图，得到超视域鸟瞰图；

其中，所述第二鸟瞰投影包括所述目标传感特征点数据中被遮挡区域的交互注意力投影、所述目标传感特征点数据和所述待投影特征点数据间被遮挡区域的比对投影之一，所述被遮挡区域由所述初始鸟瞰图得到。

5.根据权利要求4所述的超视域鸟瞰感知方法，其特征在于，基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果包括：

获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；

基于所述新的待投影特征点数据对所述超视域鸟瞰图进行第一更新，并更新被遮挡区域；

基于所述新的目标特征点数据和新的目标传感描述数据对所述目标传感器的感知区域中目标物体的目标物体运动轨迹进行检测，所述目标物体位于所述被遮挡区域；

若所述感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新，重复执行获取新的待投影特征点数据，并接收新的目标特征点数据和新的目标传感描述数据；基于所述新的待投影特征点数据对所述超视域鸟瞰图进行第一更新，并更新被遮挡区域；基于所述新的目标特征点数据和新的目标传感描述数据对所述目标传感器的感知区域中目标物体的目标物体运动轨迹进行检测，所述目标物体位于所述被遮挡区域；若所述感知区域包括更新后的被遮挡区域，则基于新的目标特征点数据和新的目标传感描述数据对第一更新后的超视域鸟瞰图进行第二更新的步骤，直到所述感知区域不包括更新后的被遮挡区域；

若所述感知区域不包括更新后的被遮挡区域，则将所述新的目标特征点数据和所述新的目标传感描述数据确定为目标记录数据，并基于所述目标记录数据进行所述目标物体运动轨迹的预测，并根据所述目标物体运动轨迹和所述第一车辆的运动轨迹进行轨迹冲突的预测，得到感知预测结果，所述目标记录数据还用于新的目标传感器中对所述更新后的被遮挡区域的重识别。

6.根据权利要求1-5任一项所述的超视域鸟瞰感知方法，其特征在于，获取第一车辆的第一传感特征点数据之前，所述超视域鸟瞰感知方法还包括：

获取第一车辆的第一感知数据；

若所述第一感知数据为图像感知数据，则对所述图像感知数据中的旋转不变特征进行特征点提取，得到第一图像特征点数据；

若所述第一感知数据为毫米波雷达感知数据，则对所述毫米波雷达感知数据中的电磁散射特征和运动特征进行特征点提取，得到第一毫米波雷达特征点数据；

若所述第一感知数据为激光雷达感知数据，则对所述激光雷达感知数据中的撕裂点特征、角点特征、直线特征和圆弧特征至少之一进行特征点提取，得到第一激光雷达特征点数据；

将所述第一图像特征点数据、所述第一毫米波雷达特征点数据和所述第一激光雷达特征点数据至少之一作为第一传感特征点数据。

7.一种超视域鸟瞰感知方法，其特征在于，所述超视域鸟瞰感知方法包括：

获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求；

基于所述跨域传感通信请求对所述目标感知数据进行特征点提取，得到第二传感特征点数据；

若所述第一传输特征数据为第一传感特征点数据，则根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器；

若所述第一传输特征数据为感知盲区特征数据，则基于所述感知盲区特征数据中盲区世界坐标数据和所述第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器；

对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将所述目标特征点数据和所述目标传感器的目标传感描述数据发送至所述第一车辆，所述目标传感描述数据包括运动特征数据和感知传感器参数数据。

8.根据权利要求7所述的超视域鸟瞰感知方法，其特征在于，根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量特征预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器包括：

将每一单帧的第一传感特征点数据和每一单帧的第二传感特征点数据进行特征点重叠匹配，得到每一单帧的单帧特征重叠匹配点数量；

根据所有单帧的单帧特征点匹配数量确定全帧特征重叠匹配点数量；

若所述单帧特征重叠匹配点数量大于或等于预设第一阈值，且所述全帧特征重叠匹配点数量小于或等于预设第二阈值，则将一单帧的第二传感特征点对应的感知传感器确定为目标传感器；

其中，所述预设匹配阈值包括所述预设第一阈值和所述预设第二阈值，所述重叠特征点数量包括单帧特征重叠匹配点数量和全帧特征重叠匹配点数量。

9.根据权利要求7所述的超视域鸟瞰感知方法，其特征在于，对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据包括：

若所述目标传感器的第二传感特征点数据为第二点云特征点数据，则将所述第二点云特征点数据转换为第二图像特征点数据；

若所述目标传感器的第二传感特征点数据为第二图像特征点数据，则通过预设图像处理基础网络对所述第二图像特征点数据进行基础特征提取，得到目标特征点数据。

10.一种超视域鸟瞰感知装置，其特征在于，所述超视域鸟瞰感知装置包括：

第一数据获取模块，用于获取第一车辆的第一传感特征点数据、跨域传感通信请求和第一传感描述数据；

第一数据发送模块，用于将所述第一传感特征点数据或感知盲区特征数据作为第一传输特征数据，并发送所述第一传输特征数据和所述跨域传感通信请求至目标感知装置，以基于所述第一传输特征数据和第二传感特征点数据进行特征重叠匹配，并将特征重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器，将所述目标传感器的目标特征点数据和目标传感描述数据发送至所述第一车辆；

第一数据接收模块，用于接收所述目标特征点数据和所述目标传感描述数据；

鸟瞰图生成模块，用于基于所述目标特征点数据、所述目标传感描述数据、所述第一传感特征点数据和所述第一传感描述数据生成超视域鸟瞰图，以基于所述超视域鸟瞰图进行驾驶场景感知预测，得到感知预测结果；

其中，所述感知盲区特征数据用于表征基于所述第一传感特征点数据得到的感知盲区的盲区特征，所述第二传感特征点数据是基于所述跨域传感通信请求对所述目标感知装置的目标感知数据进行特征点提取得到的，所述目标感知装置包括目标车辆和目标路端感知系统至少之一，所述感知预测结果用于所述第一车辆的驾驶控制。

11.一种目标感知装置，其特征在于，所述目标感知装置包括：

第二数据获取模块，用于获取目标感知装置的目标感知数据，并接收第一车辆的第一传输特征数据和跨域传感通信请求；

特征点提取模块，用于基于所述跨域传感通信请求对所述目标感知数据进行特征点提取，得到第二传感特征点数据；

目标传感器第一确定模块，用于若所述第一传输特征数据为第一传感特征点数据，则根据所述第一传感特征点数据和第二传感特征点数据进行特征点重叠匹配，得到重叠特征点数量，并将所述重叠特征点数量满足预设匹配阈值的第二传感特征点数据对应的感知传感器确定为目标传感器；

目标传感器第二确定模块，用于若所述第一传输特征数据为感知盲区特征数据，则基于所述感知盲区特征数据中盲区世界坐标数据和所述第二传感特征点数据的第二感知世界坐标数据进行世界坐标重叠匹配，并将世界坐标重叠匹配一致的第二传感特征点数据对应的感知传感器确定为目标传感器；

第二数据发送模块，用于对所述目标传感器的第二传感特征点数据进行基础特征提取，得到目标特征点数据，并将所述目标特征点数据和所述目标传感器的目标传感描述数据发送至所述第一车辆，所述目标传感描述数据包括运动特征数据和感知传感器参数数据。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至9中任一项所述的超视域鸟瞰感知方法。

13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至9中任一项所述的超视域鸟瞰感知方法。