CN111161202A

CN111161202A - 车辆行为信息获取方法、装置、计算机设备和存储介质

Info

Publication number: CN111161202A
Application number: CN201911403414.8A
Authority: CN
Inventors: 周康明; 魏宇飞
Original assignee: Shanghai Eye Control Technology Co Ltd
Current assignee: Shanghai Eye Control Technology Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-15

Abstract

本申请涉及一种车辆行为信息获取方法、装置、计算机设备和存储介质。该方法包括：获取预设场景的场景深度信息；其中，所述场景深度信息为激光雷达对场景内静止物体进行探测得到的点云信息；获取车辆行为图像；其中，所述车辆行为图像为相机拍摄得到的车辆的图像；根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图；其中，所述车辆伪点云图为包括车辆行为图像特征的三维空间的点云图像；对所述车辆伪点云图进行识别，得到车辆行为信息。采用本方法能够提高识别的精度。

Description

车辆行为信息获取方法、装置、计算机设备和存储介质

技术领域

本申请涉及车辆监控技术领域，特别是涉及一种车辆行为信息获取方法、装置、计算机设备和存储介质。

背景技术

随着科技的发展，借助设备对道路车辆行为进行自动检测大大减轻了人们的工作量。

通常，对道路车辆行为检测主要是在道路上的摄像头来采集RGB(red、green、blue)图像，并通过算法对收集到的RGB图像进行判断。例如对所拍摄的RGB图像进行图像识别，从而获取图像中车辆的位置。目前在道路车辆违法行为检测中，所采用的算法是基于二维平面图像进行的识别。

然而，传统的对二维平面图像进行识别来获取车辆行为的方法，准确度低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高车辆行为识别准确度的车辆行为信息获取方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种车辆行为信息方法，所述方法包括：

获取预设场景的场景深度信息；其中，所述场景深度信息为激光雷达对场景内静止物体进行探测得到的点云信息；

获取车辆行为图像；其中，所述车辆行为图像为相机拍摄得到的车辆的图像；

根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图；其中，所述车辆伪点云图为包括车辆行为图像特征的三维空间的点云图像；

对所述车辆伪点云图进行识别，得到车辆行为信息。

在其中一个实施例中，所述根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图，包括：

基于所述相机内参和所述相机外参，根据所述场景深度信息，在所述车辆行为图像的平面上生成场景稀疏深度图；

根据所述场景稀疏深度图和所述车辆行为图像，得到场景密集深度图；

基于所述相机内参和所述相机外参，根据所述场景密集深度图生成所述车辆伪点云图。

在其中一个实施例中，所述根据所述场景稀疏深度图和所述车辆行为图像，得到场景密集深度图，包括：

将所述场景稀疏深度图和所述车辆行为图像输入预设的深度补全网络，得到场景密集深度图。

在其中一个实施例中，所述基于所述相机内参和所述相机外参，根据所述场景密集深度图生成所述车辆伪点云图，包括：

基于所述相机内参和所述相机外参，将所述场景密集深度图投射回三维空间，生成所述车辆伪点云图。

在其中一个实施例中，所述对所述车辆伪点云图进行识别，得到车辆行为信息，包括：

将所述车辆伪点云图输入预设的三维目标检测模型，得到车辆行为信息；其中，所述车辆行为信息包括车辆位置、车辆大小和车辆方向中的至少一个。

在其中一个实施例中，所述获取预设场景的场景深度信息，包括：

采用激光雷达对预设场景进行探测，得到预设场景的所述场景深度信息。

在其中一个实施例中，所述方法还包括：

根据所述车辆行为信息和预设的判定规则，得到车辆行为检测结果。

第二方面，本申请实施例提供一种车辆行为信息获取装置，所述装置包括：

获取装置，用于获取预设场景的场景深度信息和车辆行为图像；其中，所述场景深度信息为激光雷达对场景内静止物体进行探测得到的点云信息，所述车辆行为图像为相机拍摄得到的车辆的图像；

处理模块，用于根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图；其中，所述车辆伪点云图为包括车辆行为图像特征的三维空间的点云图像；

识别模块，用于对所述车辆伪点云图进行识别，得到车辆行为信息。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对所述车辆伪点云图进行识别，得到车辆行为信息。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

对所述车辆伪点云图进行识别，得到车辆行为信息。

上述车辆行为信息获取方法、装置、计算机设备和存储介质，计算机设备获取激光雷达对预设的场景内静止物体进行探测得到的场景深度信息，以及获取相机拍摄得到的车辆行为图像。然后计算机设备基于相机的相机内参和相机外参，通过将场景深度信息和车辆行为图像进行二维空间的融合，然后投射回三维空间，得到表征车辆行为图像特征的三维空间的车辆伪点云图，从而实现了将车辆行为图像和场景深度信息进行融合，得到融合了车辆行为的点云数据。由于该方法中将三维空间的点云数据和二维图像基于相机内参和相机外参进行融合，并投射回三维空间，得到三维空间的车辆伪点云图。因而，计算机设备通过对三维的车辆伪点云图进行识别，能够得到基于预设场景的车辆行为信息，相比传统的对二维平面图像进行识别的方法，准确度和精度得到了极大的提高，进而能够使得后续的处理准确度和精度随之大大提高，例如是针对车辆行为信息的交通状况监测，或者车辆跟踪，或者车辆行驶特征的大数据的获取等。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例提供的车辆行为信息获取方法的流程示意图；

图3为另一个实施例提供的车辆行为信息获取方法的流程示意图；

图4为一个实施例提供的车辆行为信息获取装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的车辆行为信息获取方法，可以适用于图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、数据库、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储下述实施例中的车辆行为图像，有关车辆行为图像的具体描述参见下述实施例中的具体描述。该计算机设备的网络接口可以用于与外部的其他设备通过网络连接通信。可选的，该计算机设备可以是服务器，可以是台式机，可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。当然，输入装置和显示屏也可以不属于计算机设备的一部分，可以是计算机设备的外接设备。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

需要说明的是，下述方法实施例的执行主体可以是车辆行为信息获取装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明。

图2为一个实施例提供的车辆行为信息获取方法的流程示意图。本实施例涉及的是计算机设备进行车辆行为判断的具体过程。如图2所示，该方法包括：

S10、获取预设场景的场景深度信息；其中，所述场景深度信息为激光雷达对场景内静止物体进行探测得到的点云信息。

具体的，计算机设备可以读取存储器上存储的预设场景的场景深度信息，也可以接收其他设备发送的场景深度信息，或者是采用激光雷达探测得到的场景深度信息，本实施例对此不做限定。需要说明的是，上述预设场景为需要进行车辆行为观察的环境，例如十字路口、丁字路口、建筑物旁边等交通敏感地带，或者是其他需要进行车辆行为观察的环境等。其中，场景深度信息为激光雷达对上述预设场景内的静止物体进行探测得到的点云信息，静止物体可以包括道路、建筑物、道路标识等位置固定的物体，激光雷达可以针对同一个预设场景，一次探测得到场景深度信息，在之后的使用过程中可以沿用该场景深度信息，而无需再次使用激光雷达进行探测，因此可以节约设备成本并且使得该方法更为便捷。

S20、获取车辆行为图像；其中，所述车辆行为图像为相机拍摄得到的车辆的图像。

具体的，计算机设备可以获取车辆行为图像，可以是读取存储器中存储的车辆行为图像，也可以是接收相机拍摄的到的车辆行为图像。其中，车辆行为图像道路上设置的相机拍摄得到的包括车辆的图像，可以是车辆在行驶过程中的图像也可以是车辆停止状态的图像，图像类型为RGB图像，对此本实施例不做限定。

S30、根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图；其中，所述车辆伪点云图为包括车辆行为图像特征的三维空间的点云图像。

具体的，计算机设备可以根据上述场景深度信息和车辆行为图像，将上述场景深度信息投射到二维空间，得到二维空间的图像，并基于相机内参和相机外参，进一步和车辆行为图像在平面内进行融合，例如像素叠加或者特征向量的叠加，然后投射回三维空间，得到三维空间的车辆伪点云图。即实现了将车辆行为图像和场景深度信息进行融合，得到融合了车辆行为的点云数据。可选地，当场景深度信息在二维空间的投射图像像素较低，则需要将像素较低的二维图像进行补全，再进行融合。

S40、对所述车辆伪点云图进行识别，得到车辆行为信息。

具体的，计算机设备对上述车辆伪点云图进行识别，从而得到车辆行为信息，例如对车辆伪点云图进行特征提取，从而识别得到车辆的外形、位置等表征车辆行为的车辆行为信息。

本实施例中，计算机设备获取激光雷达对预设的场景内静止物体进行探测得到的场景深度信息，以及获取相机拍摄得到的车辆行为图像。然后计算机设备基于相机的相机内参和相机外参，通过将场景深度信息和车辆行为图像进行二维空间的融合，然后投射回三维空间，得到表征车辆行为图像特征的三维空间的车辆伪点云图，从而实现了将车辆行为图像和场景深度信息进行融合，得到融合了车辆行为的点云数据。由于该方法中将三维空间的点云数据和二维图像基于相机内参和相机外参进行融合，并投射回三维空间，得到三维空间的车辆伪点云图。因而，计算机设备通过对三维的车辆伪点云图进行识别，能够得到基于预设场景的车辆行为信息，相比传统的对二维平面图像进行识别的方法，准确度和精度得到了极大的提高，进而能够使得后续的处理准确度和精度随之大大提高，例如是针对车辆行为信息的交通状况监测，或者车辆跟踪，或者车辆行驶特征的大数据的获取等。

可选地，上述步骤S10的一种可能的实现方式可以包括：采用激光雷达对预设场景进行探测，得到预设场景的所述场景深度信息，该场景深度信息为基于预设场景的三维点云数据，因而能够实现基于三维空间的车辆行为的识别，使得车辆的行为识别更准确。

可选地，在上述实施例的基础上，上述步骤S30的一种可能的实现方式还可以如图4所示，包括：

S31、基于所述相机内参和所述相机外参，根据所述场景深度信息，在所述车辆行为图像的平面上生成场景稀疏深度图。

具体的，计算机设备将上述场景深度信息，在车辆行为图像所在的平面上投射，该投射过程基于标定的相机内参和相机外参进行，从而得到场景稀疏深度图。由于激光雷达获取的点云数据的分辨率远小于车辆行为图像，因此在将场景深度信息投射在车辆行为图像的平面上，很多像素没有对应的深度值，因此可以采用0来填充这些像素，从而得到和车辆行为图像尺寸相同的场景稀疏深度图，场景稀疏深度图为一个携带深度信息的二维图像，即每个像素点携带一个深度值。

S32、根据所述场景稀疏深度图和所述车辆行为图像，得到场景密集深度图。

具体的，计算机设备可以将上述场景洗漱深度图和车辆行为图像进行融合，例如可以是将场景稀疏深度图和车辆行为图像，对应的像素进行叠加，或者是向量叠加得到融合后的图像，得到场景密集深度图。需要说明的是，该场景密集深度图为融合了预设场景的信息和车辆行为图像的图像，该场景密集深度图为一个携带深度信息的二维图像。

可选地，本步骤的一种可能的实现方式可以包括：将所述场景稀疏深度图和所述车辆行为图像输入预设的深度补全网络，得到场景密集深度图。具体的，该深度补全网络为一种神经网络模型，该深度补全网络通过训练得到。因此，计算机设备可以将场景稀疏深度图和车辆行为图像输入预设的深度补全网络，深度补全网络能够输出表征车辆行为在预设场景中的特征的场景密集深度图。采用该方法，由于实现了将场景稀疏深度图和车辆行为图像的融合并得到了场景密集深度图，进而能够基于场景密集深度图进行车辆行为的判定，因此是的获取的车辆行为信息更为精确。

S33、基于所述相机内参和所述相机外参，根据所述场景密集深度图生成所述车辆伪点云图。

具体的，计算机设备可以将基于标定的相机内参和相机外参，将场景密集深度图转换回三维空间，生成所述车辆伪点云图。

可选地，计算机设备可以基于所述相机内参和所述相机外参，由于上述场景密集深度图中携带深度值，将所述场景密集深度图投射回三维空间，能够生成三维的，包含了车辆行为信息的车辆伪点云图。该车辆伪点云图为融合了车辆行为信息的三维数据，较场景深度信息其密度更大，因此能够更为精确地描述了车辆在预设场景中的位置、方向等表征车辆行为的信息。

本实施例中，计算机设备通过基于相机内参和相机外参，根据场景深度信息，在车辆行为图像的平面上生成像素数更高的场景稀疏深度图，然后根据场景稀疏深度图和车辆行为图像，得到融合了车辆行为信息的场景密集深度图，最后基于相机内参和相机外参，根据场景密集深度图生成车辆伪点云图，实现了将二维的车辆行为图像转换为三维的、且密度更大的车辆伪点云图，因此所表征的车辆行为更为精确。

可选地，在上述各个实施例的基础上步骤S40的一种可能的实现方式可以包括：将所述车辆伪点云图输入预设的三维目标检测模型，得到车辆行为信息；其中，所述车辆行为信息包括车辆位置、车辆大小和车辆方向中的至少一个。具体的，计算机设备可以将车辆伪点云图输入三维目标检测模型，识别得到车辆的车辆位置、车辆大小和车辆方向中的至少一个。需要说明的是，该三维目标检测模型为一个神经网络模型，是经过标记了车辆行为信息的点云图像进行训练得到的。计算机设备将车辆伪点云图输入预设的三维目标检测模型，得到车辆行为信息，因而能够准确识别出车辆在预设环境中的车辆位置、车辆大小和车辆方向中的至少一个，进而能够使得后续的处理准确度和精度随之大大提高，例如是针对车辆行为信息的交通状况监测，或者车辆跟踪，或者车辆行驶特征的大数据的获取等。

可选地，在上述各个实施例的基础上，所述方法还包括：根据所述车辆行为信息和预设的判定规则，得到车辆行为检测结果。计算机设备还可以结合预设的判定规则，根据车辆行为信息得到车辆行为检测结果。例如，当车辆的位置位于双黄线的时候，计算机设备可以判定车辆压线，违反交通规则；当车辆的车辆方向超第一方向，且位置处于行驶方向为第二方向的道路上，则可以判定车辆逆行，违反交通规则，第一方向和第二方向相反。本实施例中，计算机设备根据车辆行为信息和预设的判定规则，得到车辆行为检测结果，使得车辆行为的检测更为自动，相比人工判定的方式，速度更快且准确率更高。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种车辆行为信息获取装置，包括：

获取装置100，用于获取预设场景的场景深度信息和车辆行为图像；其中，所述场景深度信息为激光雷达对场景内静止物体进行探测得到的点云信息，所述车辆行为图像为相机拍摄得到的车辆的图像；

处理模块200，用于根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图；其中，所述车辆伪点云图为包括车辆行为图像特征的三维空间的点云图像；

识别模块300，用于对所述车辆伪点云图进行识别，得到车辆行为信息。

在一个实施例中，处理模块200，具体用于基于所述相机内参和所述相机外参，根据所述场景深度信息，在所述车辆行为图像的平面上生成场景稀疏深度图；根据所述场景稀疏深度图和所述车辆行为图像，得到场景密集深度图；基于所述相机内参和所述相机外参，根据所述场景密集深度图生成所述车辆伪点云图。

在一个实施例中，处理模块200，具体用于将所述场景稀疏深度图和所述车辆行为图像输入预设的深度补全网络，得到场景密集深度图。

在一个实施例中，处理模块200，具体用于基于所述相机内参和所述相机外参，将所述场景密集深度图投射回三维空间，生成所述车辆伪点云图。

在一个实施例中，识别模块300，具体用于将所述车辆伪点云图输入预设的三维目标检测模型，得到车辆行为信息；其中，所述车辆行为信息包括车辆位置、车辆大小和车辆方向中的至少一个。

在一个实施例中，获取模块100，具体用于采用激光雷达对预设场景进行探测，得到预设场景的所述场景深度信息。

在一个实施例中，识别模块300，还用于根据所述车辆行为信息和预设的判定规则，得到车辆行为检测结果。

关于车辆行为信息获取装置的具体限定可以参见上文中对于车辆行为信息获取方法的限定，在此不再赘述。上述车辆行为信息获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

对所述车辆伪点云图进行识别，得到车辆行为信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

应当清楚的是，本申请实施例中处理器执行计算机程序的过程，与上述方法中各个步骤的执行过程一致，具体可参见上文中的描述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对所述车辆伪点云图进行识别，得到车辆行为信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种车辆行为信息获取方法，其特征在于，所述方法包括：

对所述车辆伪点云图进行识别，得到车辆行为信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述场景深度信息和所述车辆行为图像，基于所述相机的相机内参和相机外参，生成所述车辆行为图像对应的车辆伪点云图，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述场景稀疏深度图和所述车辆行为图像，得到场景密集深度图，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述相机内参和所述相机外参，根据所述场景密集深度图生成所述车辆伪点云图，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述车辆伪点云图进行识别，得到车辆行为信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取预设场景的场景深度信息，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种车辆行为信息获取装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。