CN117953046A - 数据处理方法、装置、控制器、车辆及存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置、控制器、车辆及存储介质，方法包括：获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及车辆的雷达对目标区域进行探测得到的雷达数据；根据多帧图像中目标图像得到目标区域内的物体在相机坐标系下的第一角点坐标，根据雷达数据得到目标区域内的物体在雷达坐标系下的第二角点坐标；将第一角点坐标和第二角点坐标转换至车辆坐标系下；根据多帧图像以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，以用于修正目标区域内的物体在相机坐标系下的各个角点坐标。采用本申请记载的实施方式，能够提升获取准确的相机点云数据。

Description

数据处理方法、装置、控制器、车辆及存储介质

技术领域

本申请涉及车辆技术领域，尤其涉及一种数据处理方法、装置、控制器、车辆及存储介质。

背景技术

目前，车辆可以通过纯光学摄像头采集环境中的图像，以达到环境感知的目的，然后基于采集的图像实现车辆的智能驾驶。在这个过程中，车辆可以利用纯光学摄像头采集的图像获得相机点云数据。然而，发明人发现，由于纯光学摄像头的图像拍摄效果受环境的影响以及纯光学摄像头本身的物理局限性，导致纯光学摄像头感知到的环境中的物体的位置的准确度较低，进而导致最终获取的相机点云数据的准确度较低。

发明内容

本申请实施例提供了一种数据处理方法、装置、控制器、车辆及存储介质，可以获得准确的相机点云数据。

第一方面，本申请实施例提供了一种数据处理方法，包括：

获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据；

根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标；

将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下；

根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体；

根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

可选的，所述根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，包括：

将所述匹配点对中的第二角点坐标转换至所述相机坐标系下，记作雷达投影点坐标；

将所述匹配点对中的第一角点坐标转换至所述相机坐标系下，记作相机投影点坐标；

确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差；

根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

可选的，所述根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，包括：

若所述投影偏差反映所述雷达投影点坐标相对所述相机投影点坐标在目标方向上偏移目标距离，则将所述目标区域内的物体在所述相机坐标系下的各个角点坐标向所述目标方向平移所述目标距离。

可选的，所述根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

根据所述多帧图像进行位姿变化估计，得到所述相机的第一位姿变化数据；

根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的第一移动信息；

根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的第二移动信息；

根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。

可选的，所述第一移动信息包括所述目标区域内的物体相对所述相机的第一移动速度和所述目标区域内的物体与所述相机之间的第一距离；所述第二移动信息包括所述目标区域内的物体相对所述雷达的第二移动速度，以及所述目标区域内的物体与所述雷达之间的第二距离；

所述根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

确定转换后的第一角点坐标所表征的物体的第一移动速度与转换后的第二角点坐标所表征的物体的第二移动速度之间的移动速度差值，确定所述转换后的第一角点坐标所表征的物体的第一距离与所述转换后的第二角点坐标所表征的物体的第二距离之间的距离差值；

根据所述移动速度差值和所述距离差值，确定配对代价函数的取值；

针对每个转换后的第一角点坐标，将与所述转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到所述匹配点对。

可选的，所述目标图像包括第一目标图像和第二目标图像，所述第一目标图像与所述第二目标图像为连续拍摄的相邻两帧；所述根据所述多帧图像中的目标图像对所述相机进行位姿变化估计，得到所述相机的第一位姿变化数据，包括：

根据所述第一目标图像，确定所述目标区域内的物体的第一像素点坐标；

根据所述第二目标图像，确定所述目标区域内的物体的第二像素点坐标；

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵；

根据所述位置变化矩阵，确定所述相机的第一位姿变化数据。

可选的，所述根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵，包括：

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的旋转平移矩阵；

将所述旋转平移矩阵，确定为所述目标区域内的物体在所述目标图像和所述相邻图像之间的位置变化矩阵。

可选的，所述将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下，包括：

根据所述相机在所述车辆上的安装位置和安装角度，将所述第一角点坐标转换到车辆坐标系；

根据所述雷达在所述车辆的安装位置和安装角度，将所述第二角点坐标转换到车辆坐标系。

可选的，所述根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，所述方法还包括：

根据修正后的各个角点坐标，确定所述目标区域内的物体的修正后的像素坐标；

利用所述目标区域内的物体的修正后的像素坐标，对所述第一位姿变化数据进行优化处理，得到所述相机的优化后的位姿变化数据。

可选的，所述方法还包括：

根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，确定所述车辆的实际位置信息；或者，

根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，生成关于所述目标区域的3D点云地图。

第二方面，本申请实施例提供了一种数据处理装置，包括：

获取模块，用于获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据；

所述获取模块，还用于根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标；

转换模块，用于将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下；

匹配模块，用于根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体；

修正模块，用于根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

可选的，修正模块根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，具体为：

将所述匹配点对中的第二角点坐标转换至所述相机坐标系下，记作雷达投影点坐标；

将所述匹配点对中的第一角点坐标转换至所述相机坐标系下，记作相机投影点坐标；

确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差；

根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

可选的，修正模块根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，具体为：

若所述投影偏差反映所述雷达投影点坐标相对所述相机投影点坐标在目标方向上偏移目标距离，则将所述目标区域内的物体在所述相机坐标系下的各个角点坐标向所述目标方向平移所述目标距离。

可选的，匹配模块根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

根据所述多帧图像进行位姿变化估计，得到所述相机的第一位姿变化数据；

根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的第一移动信息；

根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的第二移动信息；

根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。

可选的，所述第一移动信息包括所述目标区域内的物体相对所述相机的第一移动速度和所述目标区域内的物体与所述相机之间的第一距离；所述第二移动信息包括所述目标区域内的物体相对所述雷达的第二移动速度，以及所述目标区域内的物体与所述雷达之间的第二距离；匹配模块根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，具体为：

确定转换后的第一角点坐标所表征的物体的第一移动速度与转换后的第二角点坐标所表征的物体的第二移动速度之间的移动速度差值，确定所述转换后的第一角点坐标所表征的物体的第一距离与所述转换后的第二角点坐标所表征的物体的第二距离之间的距离差值；

根据所述移动速度差值和所述距离差值，确定配对代价函数的取值；

针对每个转换后的第一角点坐标，将与所述转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到所述匹配点对。

可选的，所述目标图像包括第一目标图像和第二目标图像，所述第一目标图像与所述第二目标图像为连续拍摄的相邻两帧；匹配模块根据所述多帧图像中的目标图像对所述相机进行位姿变化估计，得到所述相机的第一位姿变化数据，具体为：

根据所述第一目标图像，确定所述目标区域内的物体的第一像素点坐标；

根据所述第二目标图像，确定所述目标区域内的物体的第二像素点坐标；

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵；

根据所述位置变化矩阵，确定所述相机的第一位姿变化数据。

可选的，匹配模块根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵，包括：

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的旋转平移矩阵；

将所述旋转平移矩阵，确定为所述目标区域内的物体在所述目标图像和所述相邻图像之间的位置变化矩阵。

可选的，转换模块将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下，具体为：

根据所述相机在所述车辆上的安装位置和安装角度，将所述第一角点坐标转换到车辆坐标系；

根据所述雷达在所述车辆的安装位置和安装角度，将所述第二角点坐标转换到车辆坐标系。

可选的，所述数据处理装置还包括第一处理模块，所述第一处理模块，用于在通过修正模块根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，根据修正后的各个角点坐标，确定所述目标区域内的物体的修正后的像素坐标；利用所述目标区域内的物体的修正后的像素坐标，对所述第一位姿变化数据进行优化处理，得到所述相机的优化后的位姿变化数据。

可选的，所述数据处理装置还包括第二处理模块，所述第二处理模块，用于根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，确定所述车辆的实际位置信息；或者，根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，生成关于所述目标区域的3D点云地图。

第三方面，本申请实施例提供了一种控制器，执行第一方面所述的数据处理方法。

第四方面，本申请实施例提供了一种车辆，包括相机、雷达、以及用于第一方面所述的数据处理方法的控制器。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现第一方面所述数据处理方法。

综上所述，车辆可以获取车辆的相机拍摄的图像以及雷达探测的雷达数据；根据图像得到物体在相机坐标系下的角点坐标，根据雷达数据得到物体在雷达坐标系下的角点坐标；通过将物体在相机坐标系下的角点坐标以及物体在雷达坐标系下的角点坐标转换至同一坐标系以进行点对匹配，得到匹配点对，从而利用匹配点对修正物体在相机坐标系下的角点坐标，该过程利用雷达数据优化原始的相机点云数据，能够获取到更为准确的相机点云数据，提升获取的相机点云数据的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种车辆的结构示意图；

图1B是本申请实施例提供的另一种车辆的结构示意图；

图1C是本申请实施例提供的一种数据处理过程的示意图；

图1D是本申请实施例提供的另一种数据处理过程的示意图；

图2是本申请实施例提供的一种数据处理方法的流程示意图；

图3是本申请实施例提供的另一种数据处理方法的流程示意图；

图4是本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

车辆，如智能汽车通过搭载的各种类型的传感器能够实现智能驾驶。

智能驾驶涉及感知技术和定位技术。感知技术能够对车辆周围环境感知。定位技术能够对车辆自身定位，准确估计车辆在车载高精地图上的位置。这两种技术均需要依赖于车辆搭载的各种类型的传感器。

而本申请提出一种数据处理方法，可以应用于车辆，如所述的智能汽车中，采用了基于相机和雷达的融合感知技术，可以融合相机和雷达各自对环境的观测数据，进而生成关于环境准确的点云数据。

其中，所述的数据处理方法具体为：获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及车辆的雷达对目标区域进行探测得到的雷达数据；根据多帧图像中目标图像得到目标区域内的物体在相机坐标系下的第一角点坐标，根据雷达数据得到目标区域内的物体在雷达坐标系下的第二角点坐标；将第一角点坐标和第二角点坐标转换至车辆坐标系下；根据多帧图像以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，匹配点对中的第一角点坐标和第二角点坐标表征同一物体；根据匹配点对，修正目标区域内的物体在相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。上述过程利用雷达测量的物体位置对相机测量的物体位置进行修正，能够得到物体准确的相机点云数据，即物体在相机坐标系下的点云数据。

示例地，参见图1A，为本申请实施例基于提供的一种车辆的结构示意图。所述的数据处理方法可应用于图1A所示的车辆10。图1A所示的车辆10包括相机101、雷达102、控制器103。其中，控制器103可以分别与相机101和雷达102通信。所述的数据处理方法可以由控制器103执行。

较优地，相机101可以摄像头，具体为光学摄像头，雷达102可以为毫米波雷达，具体可以为4D毫米波雷达。控制器103为高级辅助驾驶系统(Advanced Driving AssistantSystem，ADAS)的域控制器(以下简称ADAS域控制器)。所述的数据处理方法可以由ADAS域控制器执行。参见图1B，为本申请实施例基于图1A提供的一种车辆的结构示意图。图1B所示的车辆10包括光学摄像头1011、4D毫米波雷达1021，高级辅助驾驶系统的域控制器1031。相应地，所述的数据处理方法可以由图1B所示的高级辅助驾驶控制系统的域控制器1031执行。

其中，光学摄像头的供电电源由ADAS域控制器提供，光学摄像头采集的图像通过低电压差分信号(Low-Voltage Differential Signaling，LVDS)传输至ADAS域控制器。4D毫米波雷达的供电电源由ADAS域控制器提供。4D毫米波雷达的雷达数据、雷达点云数据，通过车载以太网(EtherNet，ETH)传输至ADAS域控制器。ADAS域控制器的供电电源由车辆的车载电源提供。

在一个实施例中，ADAS域控制器可以接收车辆的车载模块发送的信号，如车辆的光学摄像头、4D毫米波雷达、惯性测量单元(Inertial Measurement Unit，IMU)、集成动力制动(Integrated Power Brake，IPB)系统、电动助力转向(Electric Power Steering，EPS)系统、高精地图模块等发送的数据。ADAS域控制器针对车载模块发送的信号利用感知算法、规划算法、控制算法进行处理后，可以对车辆发出控制信号，实现L2及以上级别的自动驾驶功能。其中，感知算法的处理主要包括：获取环境感知数据，环境感知数据包括光学摄像头拍摄的图像、4D毫米波雷达探测的雷达数据、雷达点云数据，等等；对环境感知数据进行数据降噪处理、对象聚类处理(用于确定物体的位置和轮廓)、对象分类处理(用于识别物体类别)、对象融合处理(用于对环境感知数据中的关于同一物体的数据进行融合)，等等，得到环境感知结果。规划算法的处理主要是依据环境感知结果、车辆自身位姿、车辆自身状态、车载高精地图等数据，规划车辆的横纵向速度、横纵向加速度、行驶路径等。控制算法的处理主要是按照规划好的数据生成对应的控制信号如横向、纵向控制信号，并向车辆的动力系统发送控制信号，以控制车辆按照规划好的数据进行自动驾驶。

在一个实施例中，光学摄像头主要负责感知车辆周围环境中物体的2D轮廓(高度和宽度)，颜色、类型、方位等信息。4D毫米波雷达主要负责感知车辆周围环境中的物体的距离、速度、加速度、方位等信息。在一个实施例中，车辆对光学摄像头的环境感知数据和4D毫米波雷达的环境感知数据进行处理的过程，可以参见图1C。在图1C中，通过光学摄像头除了可以感知到上述列举的信息，还可以根据光学摄像头采集的图像确定出车辆周围环境中的物体的编号ID以及光学摄像头的位姿变化数据。此处物体的ID以及光学摄像头的位姿变化数据也可以作为光学摄像头感知到的信息。此外，通过4D毫米波雷达除了可以获取到上述列举的4D毫米波雷达负责感知的信息，还可以根据雷达采集的雷达数据确定出车辆周围环境中物体的ID以及雷达点云数据，此处的雷达点云数据又可以称之为雷达3D点云数据。在一个实施例中，车辆周围环境中物体的ID以及雷达点云数据也可以作为通过4D毫米波雷达感知到的信息。在图1C中，在获得光学摄像头感知的数据和雷达感知的数据后，ADAS域控制器可以根据光学摄像头感知的数据和雷达感知的数据执行数据融合操作、车辆感知定位操作、后端优化操作。

在上述过程中，光学摄像头能够实现关于车辆周围环境的图像的采集过程，并将图像以LVDS方式传输给ADAS域控制器，ADAS域控制器对图像进行ISP图像处理后，可以提取处理后的图像中的对象的角点以及角点对应的描述子。ADAS域控制器可以利用角点对应的描述子对相邻两帧图像进行特征匹配，从而将同一物体在相邻两帧图像进行对应，以利用同一物体在相邻两帧图像中的位置执行计算光学摄像头的位姿变化数据等操作。

4D毫米波雷达能够实现对车辆周围环境中的物体的距离、速度、加速度、方位等雷达数据的采集过程，同时可以生成车辆周围环境的雷达点云数据，并将这些数据以ETH方式传输给ADAS域控制器。因为激光雷达本质依然是光波，受天气光线影响较大，抗干扰性差，毫米波雷达为电磁波，受天气影响较小，抗干扰性更好。

ADAS域控制器能够对光学摄像头与4D毫米波雷达分别感知的数据进行融合处理，以生成综合感知结果，并可以将综合的感知结果用于后续的数据处理过程。本申请实施例中，由于ADAS域控制器的算力较高，因此采用ADAS域控制器进行数据处理，一是可以提升数据处理的实时性，二是可以节省光学摄像头和4D毫米波雷达的宝贵算力，使两种传感器有更多算力用于对环境感知。

在一个实施例中，若基于光学摄像头和4D毫米波雷达分别采集的数据确定光学摄像头和4D毫米波雷达均感知到车辆周围环境中目标物体(任一物体)，分别赋予该目标物体一个ID。后续，当根据光学摄像头采集的图像和4D毫米波雷达采集的雷达数据判断两个ID均指示的为该目标物体后，便可以对光学摄像头和4D毫米波雷达分别对该目标物体的感知数据进行融合处理。具体来讲，可以是根据光学摄像头采集的图像以及基于雷达数据生成的雷达点云数据，判断两个ID均指示的为该目标物体后，便可以对光学摄像头和4D毫米波雷达分别对该目标物体的感知数据进行融合处理。在得到关于该目标物体融合后的感知数据后便可以根据该目标物体融合后的感知数据进行感知定位和后端优化处理。

在一个应用场景中，参见图1D，在通过光学摄像头和4D毫米波雷达对车辆周围环境中某一路标P感知后，ADAS域控制器可以获得相机和雷达分别对路标P的观测数据，通过对相机的该观测数据采用对象聚类处理、对象分类处理等手段，识别到Pc(实际对应P)，将Pc表示为ID1，通过对4D毫米波雷达对应的观测数据采用对象聚类处理、对象分类处理等手段，识别到Pr(实际对应P)，将Pr表示为ID2。将路标Pc在相机坐标系下的坐标转换至汽车中心坐标系(对应于本申请实施例提及的车辆坐标系)下，记作将路标Pr在雷达坐标系下的坐标转换至汽车中心坐标系下，记作/>随后通过在汽车中心坐标系下，记作/>将/>和/>进行匹配，可以确定ID1与ID2均指示路标P，然后执行后续的数据处理过程，如图1D所示的在相机坐标系下的坐标替换过程(或在相机坐标系下的坐标修正过程)，以及图1D所示的相机位姿优化过程，以及生成3D点云地图的过程。在上述过程中，根据/>和/>可以计算得到相机位姿变化数据/>根据/>和/>分别在相机坐标系下的替换后的坐标或修正后的坐标，可以优化/>为相机位姿变化数据/>

在一个实施例中，采用所述的数据处理方法，可以有效地实现对车辆周围环境中的道路对象的测距、测速、测角、分类、综合路况的感知、车辆自身的定位，以及生成精度较高的半稠密3D点云地图，为无人驾驶提供可靠的环境数据。本申请基于光学摄像头和4D毫米波雷达进行融合感知，不仅可以在各种恶劣天气下实现智能驾驶的感知和定位过程，还可以极大提升对静态目标、弱RCS目标如行人、纯色目标如白色大卡车、异形目标的正确检测概率。相较于基于纯光学摄像头的感知技术，本申请采用的融合感知技术，在诸如雨雾等能见度较低的驾驶场景中，具有更高的环境感知能力，并且在测距、测速等方面都更可靠。较优地，本申请实施例采用基于光学摄像头和4D毫米波雷达的融合感知技术，相较于基于光学摄像头和3D毫米波雷达的融合感知技术，本申请的融合感知技术，对弱RSC目标如行人等目标，具备更高的检测能力，能够较为容易的区分多个独立目标。相较于光学摄像头和激光雷达的融合感知技术，本申请采用的融合感知技术，在诸如雨雾等能见度较低的驾驶场景中，具有更高的环境感知能力。相较于基于光学摄像头和激光雷达和3D毫米波雷达的融合感知技术，本申请采用的融合感知技术，采用了更少类型的传感器，能够节省造车成本。

下面结合图2及图3所示的数据处理方法对前述提及的数据处理方法进行说明。

请参见图2，为本申请实施例提供的一种数据处理方法的流程示意图。该方法可以应用于车辆。具体的，该方法可以包括以下步骤：

S201、获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据。

本申请实施例中，车辆可以通过自身搭载的相机对目标区域进行拍摄得到多帧图像。其中，目标区域为车辆周围的环境，例如车辆所处的道路环境。目标区域存在物体，目标区域中内的物体包括不限于以下至少一种：人、车、护栏、车道线。在一个实施例中，目标区域内的物体还可以包括以下至少一种：交通信号灯、交通标志，植物。在实际的应用场景中，在相机设置于车辆前侧的情况下，车辆可以通过该相机对车辆前方的道路环境进行拍摄，得到关于车辆前方的道路环境的一系列图像。可以理解的是，在车辆行驶过程中，随着车辆的位置的变化，车辆前方的道路环境也会随之变化，进而得到的关于车辆前方的道路环境的一系列图像的图像内容也会随之变化。

本申请实施例中，车辆还可以通过自身搭载的雷达对目标区域进行探测得到雷达数据。在实际的应用场景中，在雷达设置于车辆前侧的情况下，车辆可以通过雷达对车辆前方的道路环境进行探测，得到关于车辆前方的道路环境的一系列雷达数据。其中，雷达的安装位置与摄像装置的安装位置不同。可以理解的是，在车辆行驶过程中，随着车辆的位置的变化，车辆前方的道路环境也会随之变化，进而得到的关于车辆前方的道路环境的一系列雷达数据的数据内容也会随之变化。

在一个实施例中，所述的多帧图像可以包括至少两张图像。

S202、根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标。

本申请实施例中，车辆可以对目标区域内的物体在目标图像中的位置坐标进行坐标转换，得到目标区域内物体在相机坐标系下的角点坐标，车辆还可以对雷达数据进行处理，得到目标区域内的物体的雷达点云数据，物体的雷达点云数据包括物体在雷达坐标系下的角点坐标，从而得到在相机坐标系下对目标区域内的物体的观测数据以及在雷达坐标系下对目标区域内的物体的观测数据。其中，物体在目标图像中的位置坐标，可以是物体在目标图像对应的像素坐标系下的像素坐标，以下简称物体的像素点坐标。雷达数据包括探测时间与目标图像的拍摄时间相对齐的雷达数据。对齐指时间一致或临近。

下面对本申请实施例提及的目标区域内的物体在相机坐标系下的第一角点坐标以及本申请实施例提及的目标区域内的物体在雷达坐标系下的第二角点坐标的确定方式分别进行说明。

在一个实施例中，本申请实施例提及的目标区域内的物体在相机坐标系下的第一角点坐标，可以是将目标区域内的物体的中心点的像素坐标转换到相机坐标系下后得到的坐标。具体来讲，目标区域内的物体在相机坐标系下的第一角点坐标具体可以通过以下方式获得：车辆可以从目标图像中提取关于目标区域内的物体的多个角点，获得目标区域内的物体的多个角点的像素坐标。然后，车辆可以根据目标区域内的物体的多个角点的像素坐标确定目标区域内的物体的中心点的像素坐标，接着对目标区域内的物体的中心点的像素坐标进行坐标转换，得到目标区域内的物体的中心点在相机坐标系下的坐标，以作为目标区域内的物体在相机坐标系下的第一角点坐标。

在一个实施例中，上述提及的从目标图像中提取关于目标区域内的物体的多个角点，获得目标区域内的物体的多个角点的像素坐标的方式可以如下：车辆采用角点提取算法从目标图像中提取目标区域内的物体的多个角点，然后利用聚类算法对目标区域内的物体的多个角点进行聚类处理，得到目标区域内的物体在目标图像中所在的图像区域以及目标区域内的物体的多个角点的像素坐标。其中，车辆可以以矩形框的形式标注出目标区域内的物体在目标图像所在的图像区域。

在一个实施例中，前述提及的车辆对目标区域内的物体的中心点的像素坐标进行坐标转换，得到目标区域内的物体的中心点在相机坐标系下的坐标，以作为目标区域内的物体在相机坐标系下的第一角点坐标的方式可以为：车辆根据目标图像估计目标区域内的物体的深度信息，然后车辆可以根据目标区域内的物体的深度信息，对目标区域内的物体的中心点像素坐标进行坐标转换，得到目标区域内的物体的中心点在相机坐标系下的坐标，以作为目标区域内的物体在相机坐标系下的第一角点坐标。其中，深度信息为车辆到相机平面的垂直距离，相机平面指在z取0时，由相机坐标系的x轴和y轴构成的平面。深度信息包括但不限于采用三角测量法以根据目标图像计算得到。在一个实施例中，目标区域内的物体在雷达坐标系下的第二角点坐标，可以是目标区域内的物体的中心点的雷达坐标。其中，目标区域内的物体在雷达坐标系下的第二角点坐标具体可以通过以下方式获得：车辆可以根据雷达数据获取目标区域内的物体的多个信号反射点分别对应的雷达坐标。然后，车辆可以根据目标区域内的物体的多个信号反射点分别对应的雷达坐标计算得到目标区域内的物体的中心点的雷达坐标，以作为目标区域内的物体在雷达坐标系下的第二角点坐标。

需要说明的是，所述的目标区域内的物体在目标图像中的位置信息除了可以是所述的目标区域内的物体的像素点坐标之外，还可以是目标区域内的物体在目标图像对应的图像坐标系下的坐标。

S203、将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下。

本申请实施例中，车辆可以将第一角点坐标(指目标区域内的物体在相机坐标系下的第一角点坐标)和第二角点坐标(指目标区域内的物体在雷达坐标系下的角点坐标)均转换到同一坐标系下以进行坐标点的匹配，此处车辆可以将第一角点坐标和第二角点坐标均转换到车辆坐标系下以进行坐标点的匹配。其中，第二角点坐标还可以包括根据雷达数据获取的目标区域内物体的深度信息。

下面对车辆将第一角点坐标和第二角点坐标转换至车辆坐标系下的具体方式进行说明。

在一个实施例中，车辆将第一角点坐标和第二角点坐标转换至车辆坐标系下的第一种方式可以为：车辆根据相机在车辆上的安装位置，将第一角点坐标转换到车辆坐标系，并根据雷达在车辆的安装位置，将第二角点坐标转换到车辆坐标系下。在一个实施例中，所述的相机在车辆的安装位置可以是相机相对车辆中心点的安装位置，所述的雷达在车辆的安装位置可以是雷达相对车辆中心点的安装位置。

在一个实施例中，车辆将第一角点坐标和第二角点坐标转换至车辆坐标系下的第二种方式可以为：车辆根据相机在车辆上的安装位姿信息，安装位姿信息包括安装位置和安装角度，将第一角点坐标转换到车辆坐标系，并根据雷达在车辆的安装位姿信息，将第二角点坐标转换到车辆坐标系下。在一个实施例中，所述的相机在车辆的安装位姿信息可以是相机相对车辆中心点的安装位姿信息，所述的雷达在车辆的安装位姿信息可以是雷达相对车辆中心点的安装位姿信息。

针对第二种方式进行举例，若相机的安装位姿信息指相机相对车辆中心点的安装位姿信息，且相机的安装位姿信息指示相机的安装位置为且相机无旋转时，则目标区域内的物体在车辆坐标系下的第一角点坐标则可以有如下表示：在车辆坐标系下的第一角点坐标＝在相机坐标系下的第一角点坐标-/>相当于说，根据相机的安装位置，对相机坐标系下第一角点坐标进行平移变换，得到在车辆坐标系下的第一角点坐标。

S204、根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体。

本申请实施例中，车辆可以采用特征匹配算法以根据多帧图像以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，以实现将相机和雷达针对同一物体感知到的位置信息进行匹配的过程。其中，特征匹配算法包括但不限于一阶/二阶梯度法、Gauss-Newton法、L-M法等等。转换后的第一角点坐标指将所述第一角点坐标转换为的车辆坐标系下的坐标，所转换后的第二角点坐标指将所述第二角点坐标转换为的车辆坐标系下的坐标。下面对车辆根据多帧图像以及雷达数据，对车辆坐标系下的第一角点坐标和第二角点坐标进行匹配，得到匹配点对的方式进行说明。

在一个实施例中，车辆根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对的第一种方式可以如下：车辆根据多帧图像以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配的方式可以为：车辆计算转换后的第一角点坐标和转换后的第二角点坐标之间的欧氏距离，根据转换后的第一角点坐标和转换后的第二角点坐标之间的欧氏距离，确定距离转换后的第一角点坐标最近的转换后的第二角点坐标，以作为转换后的第一角点坐标所匹配的转换后的第二角点坐标，从而根据车辆坐标下下的第一角点坐标以及转换后的第一角点坐标所匹配的转换后的第二角点坐标，构建匹配点对。

S205、根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

本申请实施例中，利用匹配点对修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，可以实现对关于目标区域的原始的相机点云数据的修正过程，获得更为准确的修正后的目标区域的相机点云数据，提升获得关于目标区域的相机点云数据的准确度。

在一个实施例中，若车辆根据目标图像得到目标区域内的物体在相机坐标系的多个角点坐标，目标区域内的物体在相机坐标系下的多个角点坐标能够反映出物体在相机坐标系下的轮廓，车辆根据投影偏差，修正目标区域内的物体在相机坐标系下的各个角点坐标，可以在保证目标区域内的物体在相机坐标系下轮廓不变的情况下，得到目标区域内的物体在相机坐标系下准确的位置。

在一个实施例，车辆根据匹配点对修正目标区域内的物体在相机坐标系下的各个角点坐标的具体方式可以为：车辆将所述匹配点对中的第二角点坐标转换至所述相机坐标系下，记作雷达投影点坐标；将所述匹配点对中的第一角点坐标转换至所述相机坐标系下，记作相机投影点坐标；确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差；根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

在一个实施例中，车辆确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差的方式可以为：车辆计算确定所述雷达投影点坐标包括的第一坐标和所述相机投影点坐标包括的第一坐标之间的第一坐标差值，还可以计算所述雷达投影点坐标包括的第二坐标和所述相机投影点坐标包括的第二坐标之间的第二坐标差值，还可以计算所述雷达投影点坐标包括的第三坐标和所述相机投影点坐标包括的第三坐标之间的第三坐标差值，将第一坐标差值、第二坐标差值、第三坐标差值确定为雷达投影点和相机投影点之间的投影偏差。其中，第一坐标差值指所述雷达投影点坐标包括的第一坐标和所述相机投影点坐标包括的第一坐标之间的坐标差值，第二坐标差值指所述雷达投影点坐标包括的第二坐标和所述相机投影点坐标包括的第二坐标之间的坐标差值，第三坐标差值指所述雷达投影点坐标包括的第一坐标和所述相机投影点坐标包括的第一坐标之间的坐标差值。其中，所述的第一坐标可以为x坐标，所述的第二坐标可以为y坐标，第三坐标可以为z坐标。

在一个实施例中，车辆根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标的方式可以如下：若所述投影偏差反映所述雷达投影点坐标相对所述相机投影点坐标在目标方向上偏移目标距离，则将所述目标区域内的物体在所述相机坐标系下的各个角点坐标向所述目标方向平移所述目标距离。其中，目标方向可以指以下方向中的至少一种：x轴方向、y轴方向、z轴方向。下面以投影偏差为第一坐标差值、第二坐标差值和第三坐标差值对根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标的过程进行举例说明。假设目标区域内存在的物体为路标a，则路标a的雷达投影点坐标为(20，10，20)，路标a的相机投影点坐标为(20，5，20)。车辆根据(20，10，20)和(20，5，20)计算得到投影偏差(0，5，0)。车辆可以将路标a在相机坐标系下的各个角点坐标沿着y轴正方向平移5个单位。此处，投影偏差反映(20，10，20)相对(20，5，20)在y轴方向偏移5个单位。进一步，在其它可实现的方式中，若目标区域内除了路标a之外，还存在路标b，则车辆还可以将路标b在相机坐标系下的各个角点坐标沿着y轴正方向平移5个单位。或者，在其它可实现的方式中，若目标区域内除了路标a之外，还存在路标b，则车辆还可以根据路标b的雷达投影点坐标和路标b的相机投影点坐标为计算得到投影偏差，若根据路标b的雷达投影点坐标与路标b的相机投影点坐标计算得到投影偏差(0，6，0)，则车辆可以将路标a在相机坐标系下的各个角点坐标沿着y轴正方向平移6个单位。此处，投影偏差反映路标b的雷达投影坐标点相对相机投影点坐标在y轴正方向偏移6个单位。

在其它可行的实施方式中，除了采用前述提及的方式以根据匹配点对修正目标区域内的物体在相机坐标系下的各个角点坐标，还可以采用以下方式根据匹配点对修正目标区域内的物体在相机坐标系下的各个角点坐标，具体地：车辆将匹配点对的第二角点坐标转换至相机坐标系下，记作雷达投影点坐标，然后计算雷达投影点坐标与目标区域内的物体在相机坐标系下的第一角点坐标之间的坐标偏差，从而根据所述坐标偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

可见，图2实施例中，车辆可以获取车辆的相机拍摄的图像以及雷达探测的雷达数据；根据图像得到物体在相机坐标系下的角点坐标，根据雷达数据得到物体在雷达坐标系下的角点坐标；通过将物体在相机坐标系下的角点坐标以及物体在雷达坐标系下的角点坐标转换至同一坐标系以进行点对匹配，得到匹配点对，从而利用匹配点对修正物体在相机坐标系下的角点坐标，该过程利用雷达数据优化原始的相机点云数据，能够获取到更为准确的相机点云数据，提升获取的相机点云数据的准确度。

请参阅图3，为本申请实施例提供的另一种数据处理方法的流程示意图，该数据处理方法可以应用于车辆。具体地，该方法可以包括以下步骤：

S301、获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据。

S302、根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标。

S303、将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下。

其中，步骤S301-步骤S303可以参见图2实施例中的步骤S201-步骤S203，本申请实施例在此不做赘述。

S304、根据所述多帧图像进行位姿变化估计，得到所述相机的第一位姿变化数据。

其中，目标图像可以为多帧图像中的任一帧图像。车辆可以根据多帧图像进行位姿变化估计，得到相机的第一位姿变化数据。例如，多帧图像包括三张图像，则车辆可以根据三张图像进行位姿变化估计，得到相机的第一位姿变化数据。

在一个实施例中，目标图像可以包括第一目标图像和第二目标图像，第一目标图像与第二目标图像为连续拍摄的相邻两帧。车辆根据多帧图像中的目标图像对相机进行位姿变化估计，得到相机的第一位姿变化数据的方式可以如下：车辆根据第一目标图像，确定目标区域内的物体的第一像素点坐标；根据第二目标图像，确定目标区域内的物体的第二像素点坐标；根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵；根据位置变化矩阵，确定相机的第一位姿变化数据。需要说明的是，目标区域内的物体在相邻两帧图像中所处位置的变化，能够侧面反映相机的位姿的变化，因此可以根据目标区域内的物体在相邻两帧图像中的位置信息，确定相机的第一位姿变化数据。这种情况相当于说，车辆可以根据多帧图像中的两帧图像对相机进行位姿变化估计，从而得到相机的第一位姿变化数据。

在一个实施例中，目标区域内的物体的第一像素点坐标，可以为根据第一目标图像确定出的目标区域内的物体的中心点的像素坐标，相应的，目标区域内的物体的第二像素点坐标，可以为根据第二目标图像确定出目标区域内的物体的中心点的像素坐标。其中，车辆根据第一目标图像确定出目标区域内的物体的中心点的像素坐标的方式以及车辆根据第二目标图像确定出目标区域内的物体的中心点的像素坐标的方式，可以参见前文提及的车辆根据目标图像确定出目标区域内的物体的中心点的方式，本申请实施例在此不做赘述。这种情况相当于说，可以基于物体在相邻两张图像的每一张图像中的单个点的坐标，计算得到相机的第一位姿变化数据。

在其它可行的实施方式中，目标区域内的物体的第一像素点坐标，可以为根据第一目标图像确定出的目标区域内的物体的多个角点的像素坐标或为根据第一目标图像确定出目标区域内的物体的部分角点的像素坐标(多个角点包括部分角点)，相应的，目标区域内的物体的第二像素点坐标，可以为根据第二目标图像确定出的目标区域内的物体的多个角点的像素坐标或为根据第二目标图像确定出目标区域内的物体的部分角点的像素坐标。其中，车辆根据第一目标图像确定出的目标区域内的物体的多个角点的像素坐标的方式以及车辆根据第二目标图像确定出的目标区域内的物体的多个角点的像素坐标的方式，可以参见前述提及的车辆根据目标图像确定出的目标区域内的物体的多个角点的像素坐标的方式，本申请实施例在此不做赘述。这种情况相当于说，可以基于物体在相邻两张图像的每一张图像中的多个点的坐标，计算得到相机的第一位姿变化数据。

下面对车辆根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵的方式进行说明。

在一个实施例中，车辆根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵的方式可以如下：车辆可以利用迭代最近点(Iterative Closest Point,ICP)方法以根据所述的第一像素点坐标和所述的第二像素点坐标，计算得到目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵。

在一个实施例中，车辆根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵的方式可以如下：车辆根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的旋转平移矩阵；根据旋转平移矩阵，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵。

在一个实施例中，针对目标区域内的每一个物体，均可以通过如下方式计算得到该物体在第一目标图像和第二目标图像之间的旋转平移矩阵。具体地，车辆根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的旋转平移矩阵的方式为：车辆对第一像素点坐标进行坐标转换，得到第一像素点坐标在相机坐标系下对应的坐标，对第二像素点坐标进行坐标转换，得到第二像素点坐标在相机坐标系下对应的坐标；计算第一像素点坐标在相机坐标系下对应的坐标以及第二像素点坐标在相机坐标系下对应的坐标之间的旋转平移矩阵，以作为目标区域内的第一物体在第一目标图像和第二目标图像之间的旋转平移矩阵。

在一个实施例中，若目标区域内的物体为一个，如为第一物体，则车辆可以根据第一物体的第一像素点坐标和第一物体的第二像素点坐标，确定第一物体在第一目标图像和第二目标图像之间的第一旋转平移矩阵；根据第一旋转平移矩阵，确定第一物体在第一目标图像和第二目标图像之间的第一位置变化矩阵，第一位置变化矩阵为第一物体在第一目标图像和第二目标图像之间的位置变化矩阵。这种情况相当于说，可以获得一个位置变化矩阵，此处为一个物体对应的位置变化矩阵。

在一个实施例中，若目标区域内的物体为多个，如包括第一物体和第二物体，则车辆可以根据第一物体的第一像素点坐标和第一物体的第二像素点坐标，确定第一物体在第一目标图像和第二目标图像之间的第一旋转平移矩阵；根据第一旋转平移矩阵，确定第一物体在第一目标图像和第二目标图像之间的第一位置变化矩阵。车辆根据第二物体的第一像素点坐标和第二物体的第二像素点坐标，确定第二物体在第一目标图像和第二目标图像之间的第二旋转平移矩阵；根据第二旋转平移矩阵，确定第二物体在第一目标图像和第二目标图像之间的第二位置变化矩阵，第二位置变化矩阵为第二物体在第一目标图像和第二图像之间的位置变化矩阵。这种情况相当于说，可以获得多个位置变化矩阵，此处为多个物体分别对应的位置变化矩阵。

上面已经介绍可能存在一个位置变化矩阵以及多个位置变化矩阵的情况，下面对车辆根据位置变化矩阵确定相机的第一位姿变化数据的方式进行说明。

在一个实施例中，若位置变化矩阵为一个，则将该位置变化矩阵作为相机的第一位姿变化数据。

在一个实施例中，若位置变化矩阵为多个，则对多个位置变化矩阵求平均，得到平均位置变化矩阵，以作为相机的第一位姿变化数据。

下面结合示例，对根据第一像素点坐标和第二像素点坐标，确定目标区域内的物体在第一目标图像和第二目标图像之间的位置变化矩阵，根据位置变化矩阵，确定相机的第一位姿变化数据的过程进行说明。

假设目标区域内的物体为路标针对路标/>进行拍摄，得到图像1和图像2，图像1和图像2为拍摄时间连续的两帧图像，车辆可以根据图像1获取路标/>的第一像素点坐标，以及根据图像2获取路标/>的第二像素点坐标。其中，路标/>的第一像素点坐标在相机坐标系中投影的坐标表示为/>路标/>的第二像素点坐标在相机坐标系中投影的坐标表示为/>车辆可以根据此处的第一像素点坐标和第二像素点坐标计算得到路标/>的旋转平移矩阵/>将/>确定为相机的第一位姿变化数据。具体来讲，车辆将第一像素点坐标转换至相机坐标系下，得到/>将第二像素点坐标转换到相机坐标系下，得到/>根据/>和/>计算得到所述的/>

其中，R用于描述坐标之间的旋转关系，R为旋转矩阵。t用于描述坐标之间的平移关系，t为平移矩阵。在一个实施例中，R可以通过如下方式得到：

其中，单位正交基(e₁,e₂,e₃)可以经过一次旋转变成(e’₁,e’₂,e’₃)，而R则具体表示(e₁,e₂,e₃)和(e’₁,e’₂,e’₃)之间的旋转关系。

假设路标的世界坐标表示为/>此处的世界坐标可以是由全球导航卫星系统(Global Navigation Satellite System，GNSS)定位得到的坐标。根据/>和/>转换得到对应的像素点坐标的方式如下。需要说明的是，根据/>和/>分别对应的像素点坐标和第二像素点坐标分别转换得到/>和/>为下面的方式的逆过程，本申请实施例在此不做赘述。

对和/>分别进行归一化处理，得到/>和/>分别对应的归一化坐标。相当于说得到/>和/>分别在成像平面的投影的坐标。此处，归一化处理的方式可以是根据/>和/>以及和/>分别包括的路标/>的深度信息进行归一化处理的。此处的深度信息指路标/>相对相机的距离，具体指路标/>与相机平面之间的垂直距离，其中相机平面指，相机坐标系下z＝0时的x轴和y轴构成的平面。可选的，深度信息包括但不限于采用三角测量法根据先后拍摄的两帧图像计算出。根据由/>和/>分别转换得到的归一化坐标，获得/>和/>分别对应的像素点坐标。

S305、根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的第一移动信息。

S306、根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的第二移动信息。

S307、根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体。

在步骤S305-步骤S307中，车辆可以根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的移动情况，并还可以根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的移动情况，然后根据目标区域内的物体相对所述相机的移动情况以及所述目标区域内的物体相对所述雷达的移动情况，对转换后的第一角点坐标和第二角点坐标进行匹配，从而得到匹配点对。举例来说，若所述目标区域内的某个物体1(为雷达探测到的物体)相对所述雷达的移动情况与目标区域内的某个物体2(为相机拍摄到的物体)相对所述雷达的移动情况较为相似或基本一致，则可以确定物体1和物体2指示的为同一物体，此处便可以得到关于该物体的匹配点对，该匹配点对包括该物体对应的转换后的第一角点坐标和该物体对应的转换后的第二角点坐标。

在一个实施例中，所述第一移动信息包括所述目标区域内的物体相对所述相机的第一移动速度和所述目标区域内的物体与所述相机之间的第一距离；所述第二移动信息包括所述目标区域内的物体相对所述雷达的第二移动速度，以及所述目标区域内的物体与所述雷达之间的第二距离。相应地，车辆根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对的方式可以为：车辆确定转换后的第一角点坐标所表征的物体的第一移动速度与转换后的第二角点坐标所表征的物体的第二移动速度之间的移动速度差值，确定所述转换后的第一角点坐标所表征的物体的第一距离与所述转换后的第二角点坐标所表征的物体的第二距离之间的距离差值；根据所述移动速度差值和所述距离差值，确定配对代价函数的取值；针对每个转换后的第一角点坐标，将与所述转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到所述匹配点对。其中，一个转换后的第一角点坐标与一个转换后的第二角点坐标之间的配对代价函数大，表明该转换后的第二角点坐标为该转换后的第一角点坐标匹配的第二角点坐标的可能性小，反之，一个转换后的第一角点坐标与一个转换后的第二角点坐标之间的配对代价函数小，表明该转换后的第二角点坐标为该转换后第一角点坐标匹配的角点坐标的可能大。进一步地，本申请的该过程，配对代价函数的取值能够反映速度和距离的综合误差，配对代价函数的取值越小，表明综合误差越小，转换后的第一角点坐标和转换后的第二角点坐标匹配的可能性越大，反之，配对代价函数的取值越大，表明综合误差越大，该转换后的第一角点坐标和转换后的第二角点坐标匹配的可能性越小。因此，车辆可以针对每个转换后的第一角点坐标，将与该转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到匹配点对。

需要说明的是，第一移动信息和第二移动信息除了可以包括上述提及的信息，在其它可行的方式中，第一移动信息还可以包括第一方位，第二移动信息包括第二方位，计算配对代价函数的取值的过程中，还可以引入方位进行计算。

S308、根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

其中，步骤S308可以参见步骤S205，本申请实施例在此不做赘述。

在一个实施例中，车辆也可以根据多帧图像以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对之前，执行根据多帧图像进行位姿变化估计，得到相机的第一位姿变化数据的操作。此时，车辆即可以根据第一位姿数据以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。具体地，车辆根据第一位姿数据以及雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对的方式可以为：根据第一位姿变化数据，确定目标区域内的物体相对相机的第一移动信息；根据雷达数据，确定目标区域内的物体相对雷达的第二移动信息；根据第一移动信息和第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。

下面对本申请实施例提及的目标区域内的物体在相机坐标系下的第一角点坐标以及本申请实施例提及的目标区域内的物体在雷达坐标系下的第二角点坐标的另一种可选的方式进行说明。

在其它可行的实施方式中，目标区域内的物体在相机坐标系下的第一角点坐标，还可以是在根据目标图像确定目标区域内的物体的多个像素点坐标后，将目标区域内的物体的多个像素点坐标转换到相机坐标系下后得到的。相当于说，目标区域内的物体在相机坐标系下的第一角点坐标为多个。具体来讲，车辆可以从目标图像中提取目标区域内的物体的多个角点，获得目标区域内的物体的多个角点的像素坐标，以作为目标区域内的物体的多个像素点坐标。然后，车辆可以对目标区域内的物体的多个像素点坐标进行坐标转换，得到在相机坐标下的多个坐标，以作为目标区域内的物体在相机坐标系下的第一角点坐标。在其它实施例中，目标区域内的物体在雷达坐标系下的第二角点坐标，可以是目标区域内的物体的多个信号反射点的雷达坐标。具体来讲，车辆可以从雷达数据中提取目标区域内的物体的多个信号反射点的雷达坐标，以作为目标区域内的物体在雷达坐标系下的第二角点坐标。

在一个实施例中，在根据所述匹配点对中的第二角点坐标和第一角点坐标，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，车辆可以利用修正后的各个角点坐标计算得到第二位姿变化数据。在一个实施例中，在根据所述匹配点对中的第二角点坐标和第一角点坐标，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，车辆可以利用修正后的各个角点坐标以及所述第一位姿变化数据计算得到第二位姿变化数据。

在一个实施例中，车辆利用修正后的各个角点坐标以及所述第一位姿变化数据计算得到第二位姿变化数据的方式可以如下：车辆从修正后的各个角点坐标中确定出所述的第一像素点坐标在相机坐标系下对应的修正后的坐标以及第二像素点坐标在相机坐标系下对应的修正后的坐标；车辆利用第一像素点坐标在相机坐标系下对应的修正后的坐标以及第二像素点坐标在相机坐标系下对应的修正后的坐标，对第一位姿变化矩阵进行优化处理，得到相机的优化后的位姿变化数据，以作为相机的第二位姿变化数据。

举例来说，假设对和/>进行修正后，得到/>和/>分别对应的修正后的坐标为/>和/>此处/>为第一像素点坐标在相机坐标系下修正后的坐标，/>为第二像素点坐标在相机坐标系下修正后的坐标，车辆可以利用如下公式2求解SVD方法计算最优化的旋转矩阵R^*，再根据R^*计算得到最优化的平移矩阵t^*,/>从而得到相机的第二位姿变化数据/>至此，得到相机的第二位姿变化数据/>在上述过程中，可以通过对旋转矩阵R不断进行更新，得到满足公式2的最优化的旋转矩阵R^*。即，相当于对相机的第一位姿变化数据进行优化处理，得到相机的优化后的位姿变化数据。

其中，n表示目标区域内的物体的数量。

在一个实施例中，车辆可以根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，确定所述车辆的实际位置信息，采用这种方式能够得到更准确的定位车辆自身位置。在一个实施例中，车辆可以根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，生成关于所述目标区域的3D点云地图，采用这种方式能够生成更准确的3D点云地图。相当于说，车辆可以获得目标区域内的物体的深度信息、优化后的相机位姿变化数据，然后车辆可以结合光学摄像头和4D毫米波雷达感知的其它类型数据：物体的雷达坐标、水平方位角、垂直方位角、雷达探测到物体的距离、2D轮廓(高度和宽度)、颜色、类型、速度、加速度，以及还可以结合车载高精地图等信息，准确地知道车辆在道路上的位置，以及所处目标区域如所处道路环境的实时3D点云地图。后续的规划和控制算法可以直接调用这些数据。

可见图3所示的实施例中，车辆可以利用第一相机位姿变化数据确定匹配点对，并还可以利用匹配点对优化第一相机位姿，不仅实现了修正相机坐标系下各个角点坐标的过程，还实现的相机位姿优化的过程，使得获取的相机点云数据更加准确以及计算得到的相机位姿变化数据更加准确。

请参阅图4，为本申请实施例提供的一种数据处理装置。该数据处理装置可以应用于前述提及的车辆中。具体地，该数据处理装置包括：

获取模块401，用于获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据。

所述获取模块401，还用于根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标。

转换模块402，用于将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下。

匹配模块403，用于根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体。

修正模块404，用于根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

在一个实施例中，修正模块404根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，具体为：

将所述匹配点对中的第二角点坐标转换至所述相机坐标系下，记作雷达投影点坐标；

将所述匹配点对中的第一角点坐标转换至所述相机坐标系下，记作相机投影点坐标；

确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差；

根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

在一个实施例中，修正模块404根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，具体为：

若所述投影偏差反映所述雷达投影点坐标相对所述相机投影点坐标在目标方向上偏移目标距离，则将所述目标区域内的物体在所述相机坐标系下的各个角点坐标向所述目标方向平移所述目标距离。

在一个实施例中，匹配模块403根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

根据所述多帧图像进行位姿变化估计，得到所述相机的第一位姿变化数据；

根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的第一移动信息；

根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的第二移动信息；

根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。

在一个实施例中，所述第一移动信息包括所述目标区域内的物体相对所述相机的第一移动速度和所述目标区域内的物体与所述相机之间的第一距离；所述第二移动信息包括所述目标区域内的物体相对所述雷达的第二移动速度，以及所述目标区域内的物体与所述雷达之间的第二距离；匹配模块403根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，具体为：

确定转换后的第一角点坐标所表征的物体的第一移动速度与转换后的第二角点坐标所表征的物体的第二移动速度之间的移动速度差值，确定所述转换后的第一角点坐标所表征的物体的第一距离与所述转换后的第二角点坐标所表征的物体的第二距离之间的距离差值；

根据所述移动速度差值和所述距离差值，确定配对代价函数的取值；

针对每个转换后的第一角点坐标，将与所述转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到所述匹配点对。

在一个实施例中，所述目标图像包括第一目标图像和第二目标图像，所述第一目标图像与所述第二目标图像为连续拍摄的相邻两帧；匹配模块403根据所述多帧图像中的目标图像对所述相机进行位姿变化估计，得到所述相机的第一位姿变化数据，具体为：

根据所述第一目标图像，确定所述目标区域内的物体的第一像素点坐标；

根据所述第二目标图像，确定所述目标区域内的物体的第二像素点坐标；

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵；

根据所述位置变化矩阵，确定所述相机的第一位姿变化数据。

在一个实施例中，匹配模块403根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵，包括：

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的旋转平移矩阵；

将所述旋转平移矩阵，确定为所述目标区域内的物体在所述目标图像和所述相邻图像之间的位置变化矩阵。

在一个实施例中，转换模块402将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下，具体为：

根据所述相机在所述车辆上的安装位置和安装角度，将所述第一角点坐标转换到车辆坐标系；

根据所述雷达在所述车辆的安装位置和安装角度，将所述第二角点坐标转换到车辆坐标系。

在一个实施例中，所述数据处理装置还包括第一处理模块405。

在一个实施例中，第一处理模块405，用于在通过修正模块404根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，根据修正后的各个角点坐标，确定所述目标区域内的物体的修正后的像素坐标；利用所述目标区域内的物体的修正后的像素坐标，对所述第一位姿变化数据进行优化处理，得到所述相机的优化后的位姿变化数据。

在一个实施例中，所述数据处理装置还包括第二处理模块406。

在一个实施例中，第二处理模块406，用于根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，确定所述车辆的实际位置信息；或者，根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，生成关于所述目标区域的3D点云地图。

可见，图4所示的实施例中，数据处理装置可以获取车辆的相机拍摄的图像以及雷达探测的雷达数据；根据图像得到物体在相机坐标系下的角点坐标，根据雷达数据得到物体在雷达坐标系下的角点坐标；通过将物体在相机坐标系下的角点坐标以及物体在雷达坐标系下的角点坐标转换至同一坐标系以进行点对匹配，得到匹配点对，从而利用匹配点对修正物体在相机坐标系下的角点坐标，该过程利用雷达数据优化原始的相机点云数据，能够获取到更为准确的相机点云数据，提升获取的相机点云数据的准确度。

应当理解，本申请实施例中所描述的车辆可执行前文图2、图3所对应实施例中对上述一种数据处理方法的描述，也可执行前文图4所对应实施例中对上述一种数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被计算机如控制器执行时使该计算机执行如前述实施例的数据处理方法例如图2或图3所示的数据处理方法，该计算机可以为上述提到的车辆的一部分。即，本申请实施例实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据；

根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标；

将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下；

根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体；

根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

2.根据权利要求1所述的方法，其特征在于，所述根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，包括：

将所述匹配点对中的第二角点坐标转换至所述相机坐标系下，记作雷达投影点坐标；

将所述匹配点对中的第一角点坐标转换至所述相机坐标系下，记作相机投影点坐标；

确定所述雷达投影点坐标和所述相机投影点坐标之间的投影偏差；

根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述投影偏差，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，包括：

若所述投影偏差反映所述雷达投影点坐标相对所述相机投影点坐标在目标方向上偏移目标距离，则将所述目标区域内的物体在所述相机坐标系下的各个角点坐标向所述目标方向平移所述目标距离。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

根据所述多帧图像进行位姿变化估计，得到所述相机的第一位姿变化数据；

根据所述第一位姿变化数据，确定所述目标区域内的物体相对所述相机的第一移动信息；

根据所述雷达数据，确定所述目标区域内的物体相对所述雷达的第二移动信息；

根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对。

5.根据权利要求4所述的方法，其特征在于，所述第一移动信息包括所述目标区域内的物体相对所述相机的第一移动速度和所述目标区域内的物体与所述相机之间的第一距离；所述第二移动信息包括所述目标区域内的物体相对所述雷达的第二移动速度，以及所述目标区域内的物体与所述雷达之间的第二距离；

所述根据所述第一移动信息和所述第二移动信息，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，包括：

确定转换后的第一角点坐标所表征的物体的第一移动速度与转换后的第二角点坐标所表征的物体的第二移动速度之间的移动速度差值，确定所述转换后的第一角点坐标所表征的物体的第一距离与所述转换后的第二角点坐标所表征的物体的第二距离之间的距离差值；

根据所述移动速度差值和所述距离差值，确定配对代价函数的取值；

针对的每个转换后的第一角点坐标，将与所述转换后的第一角点坐标之间的配对代价函数的取值最小的转换后的第二角点坐标确定为匹配点，得到所述匹配点对。

6.根据权利要求4所述的方法，其特征在于，所述目标图像包括第一目标图像和第二目标图像，所述第一目标图像与所述第二目标图像为连续拍摄的相邻两帧；所述根据所述多帧图像中的目标图像对所述相机进行位姿变化估计，得到所述相机的第一位姿变化数据，包括：

根据所述第一目标图像，确定所述目标区域内的物体的第一像素点坐标；

根据所述第二目标图像，确定所述目标区域内的物体的第二像素点坐标；

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵；

根据所述位置变化矩阵，确定所述相机的第一位姿变化数据。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的位置变化矩阵，包括：

根据所述第一像素点坐标和所述第二像素点坐标，确定所述目标区域内的物体在所述第一目标图像和所述第二目标图像之间的旋转平移矩阵；

将所述旋转平移矩阵，确定为所述目标区域内的物体在所述目标图像和所述相邻图像之间的位置变化矩阵。

8.根据权利要求1所述的方法，其特征在于，所述将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下，包括：

根据所述相机在所述车辆上的安装位置和安装角度，将所述第一角点坐标转换到车辆坐标系；

根据所述雷达在所述车辆的安装位置和安装角度，将所述第二角点坐标转换到车辆坐标系。

9.根据权利要求1所述的方法，其特征在于，所述根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标之后，所述方法还包括：

根据修正后的各个角点坐标，确定所述目标区域内的物体的修正后的像素坐标；

利用所述目标区域内的物体的修正后的像素坐标，对所述第一位姿变化数据进行优化处理，得到所述相机的优化后的位姿变化数据以作为所述相机的第二位姿变化数据。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，确定所述车辆的实际位置信息；或者，

根据所述相机的优化后的位姿变化数据以及所述修正后的各个角点坐标，生成关于所述目标区域的3D点云地图。

11.一种数据处理装置，其特征在于，包括：

获取模块，用于获取车辆的相机对目标区域进行拍摄得到的多帧图像，以及所述车辆的雷达对所述目标区域进行探测得到的雷达数据；

所述获取模块，还用于根据所述多帧图像中目标图像得到所述目标区域内的物体在所述相机坐标系下的第一角点坐标，根据所述雷达数据得到所述目标区域内的物体在所述雷达坐标系下的第二角点坐标；

转换模块，用于将所述第一角点坐标和所述第二角点坐标转换至车辆坐标系下；

匹配模块，用于根据所述多帧图像以及所述雷达数据，对转换后的第一角点坐标和第二角点坐标进行匹配，得到匹配点对，其中，所述匹配点对中的第一角点坐标和第二角点坐标表征同一物体；

修正模块，用于根据所述匹配点对，修正所述目标区域内的物体在所述相机坐标系下的各个角点坐标，所述各个角点坐标用于表征物体的轮廓。

12.一种控制器，其特征在于，执行1-10任一项所述的数据处理方法。

13.一种车辆，其特征在于，包括相机、雷达、以及用于执行如权利要求1-10任一项所述的数据处理方法的控制器。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至10任一项所述数据处理方法。