CN118135539A - 用于自动驾驶车辆的障碍物检测方法、设备及存储介质 - Google Patents
用于自动驾驶车辆的障碍物检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN118135539A CN118135539A CN202410263365.7A CN202410263365A CN118135539A CN 118135539 A CN118135539 A CN 118135539A CN 202410263365 A CN202410263365 A CN 202410263365A CN 118135539 A CN118135539 A CN 118135539A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- real
- historical
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 84
- 230000008859 change Effects 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种用于自动驾驶车辆的障碍物检测方法、设备及存储介质，包括：搭建自动驾驶车辆的历史图像库，并更新；自动驾驶车辆运行时，得到实时数据，并根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；时序过滤，输出检测结果。本发明在场景变化检测的基础上，融合定位传感器，实现自动驾驶车辆固定行驶路线上的开集障碍物检测，为自动驾驶的规划控制提供有效参考信息。
Description
技术领域
本发明属于自动驾驶技术领域，具体涉及一种用于自动驾驶车辆的障碍物检测方法、设备及存储介质。
背景技术
在当前各种高新技术迅速发展的时代潮流中，自动驾驶技术受到了越来越多的关注，各方造车势力投入大量资源研发自动驾驶系统(Auto Driving System,ADS)，该系统包含从感知到决策的一整套工作流。其中，感知系统利用车辆上安装的各种感知传感器，实时感知周围情况，通过传感器返回的数据，使用先进算法，为下游的决策任务提供依据。
感知系统作为自动驾驶实现的第一步，起到举足轻重的作用。障碍物检测是感知系统的核心技术之一，它关乎车辆的安全行驶和周围环境的有效识别。障碍物检测技术旨在使车辆能够连续识别和应对各种障碍物，包括行人、车辆、路障等。
目前，大多数自动驾驶车辆障碍物检测方案中对于障碍物的类别限制是固定的。在真实世界中，某些障碍物类型出现的频率非常低，难以出现在常规的数据集中，导致障碍物检测模型难以学习到如何精确识别该障碍物，其可能会带来严重的安全事故。
发明内容
为了解决上述技术问题，本发明提出了一种用于自动驾驶车辆的障碍物检测方法、设备及存储介质。
为了达到上述目的，本发明的技术方案如下：
第一方面，本发明公开一种用于自动驾驶车辆的障碍物检测方法，包括：
步骤S1：搭建自动驾驶车辆的历史图像库，并更新；
历史图像库内数据包括：历史图像以及对应的时间和车辆位姿信息；
步骤S2：自动驾驶车辆运行时，得到实时数据，实时数据包括：实时图像以及对应的时间和车辆位姿信息；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
步骤S3：基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
步骤S4：通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
步骤S5：对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
步骤S6：基于步骤S5的隔帧IOU匹配结果，进行时序过滤，输出检测结果。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，步骤S1包括：
步骤S1.1：自动驾驶车辆搭载摄像头、定位传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间和定位传感器信息，并保存；
步骤S1.2：通过定位传感器信息计算每一帧图像对应的车辆位姿信息，得到车辆位置坐标及车辆偏航角；
步骤S1.3：对获得每一帧图像根据要求进行筛选；
步骤S1.4：当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复步骤S1.2-步骤S1.3。
作为优选的方案，步骤S1.3包括：
步骤S1.3.1：以摄像头为中心，设置范围为R1的限制邻域一，设置范围为R2的限制邻域二，R2＜R1；
步骤S1.3.2：筛除限制邻域一内视野被遮挡的图像；
步骤S1.3.3：按时间倒序遍历步骤S1.3.2后的所有图像，对限制邻域二内视野没有被遮挡的每一帧图像，过滤其周围限制邻域一范围内所有与其车辆偏航角差值在阈值范围内的数据点，得到稀疏化的历史图像库。
作为优选的方案，步骤S1.2进一步为：
通过定位传感器信息计算每一帧图像对应的车辆位姿，得到车辆位置坐标及车辆偏航角；
搭建数据库存储图像、对应时间和车辆位姿信息。
作为优选的方案，步骤S2包括：
步骤S2.1：自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间和定位传感器信息；
步骤S2.2：通过定位传感器信息计算当前车辆位姿，得到车辆位置坐标和车辆偏航角；
步骤S2.3：采用当前车辆位置坐标检索历史图像库内邻域点，并筛选其中与车辆偏航角差值在阈值范围内的历史图像，与实时图像组合为图片对。
作为优选的方案，步骤S5进一步为：
对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值，则为匹配。
作为优选的方案，步骤S6进一步为：
基于步骤S5中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
作为优选的方案，步骤S3包括：
步骤S3.1：输入图像对，历史图像t0和实时图像t1；
步骤S3.2：对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
步骤S3.3：使用融合特征模块融合FPN历史特征图f0、FPN实时特征图f1的特征，得到融合特征图；
步骤S3.4：将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
第二方面，本发明还公开一种用于自动驾驶车辆的障碍物检测设备，包括：
历史图像库搭建模块，用于搭建自动驾驶车辆的历史图像库，并更新；
历史图像库内数据包括：历史图像以及对应的时间和车辆位姿信息；
图像对组合模块，用于自动驾驶车辆运行时，得到实时数据，实时数据包括：实时图像以及对应的时间和车辆位姿信息；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
变化区域检测模块，用于基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
连通域识别模块，用于通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
隔帧IOU模块，用于对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
时序过滤模块，用于基于隔帧IOU匹配结果，进行时序过滤，输出检测结果。
作为优选的方案，历史图像库搭建模块包括：
第一采集单元，用于自动驾驶车辆搭载摄像头、定位传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间和定位传感器信息，并保存；
第一位姿计算单元，用于通过定位传感器信息计算每一帧图像对应的车辆位姿信息，得到车辆位置坐标及车辆偏航角；
筛选单元，用于对获得每一帧图像根据要求进行筛选；
数据更新单元，用于当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复执行第一位姿计算单元、筛选单元中的方法。
作为优选的方案，筛选单元包括：
限制邻域设置单元，用于以摄像头为中心，设置范围为R1的限制邻域一，设置范围为R2的限制邻域二，R2＜R1；
筛除单元，用于筛除限制邻域一内视野被遮挡的图像；
过滤单元，用于按时间倒序遍历经筛除单元筛除后的所有图像，对限制邻域二内视野没有被遮挡的每一帧图像，过滤其周围限制邻域一范围内所有与其车辆偏航角差值在阈值范围内的数据点，得到稀疏化的历史图像库。
作为优选的方案，第一位姿计算单元进一步用于通过定位传感器信息计算每一帧图像对应的车辆位姿，得到车辆位置坐标及车辆偏航角；
搭建数据库存储图像、对应时间和车辆位姿信息。
作为优选的方案，图像对组合模块包括：
第二采集单元，用于自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间和定位传感器信息；
第二位姿计算单元，用于通过定位传感器信息计算当前车辆位姿，得到车辆位置坐标和车辆偏航角；
图像对组合单元，用于采用当前车辆位置坐标检索历史图像库内邻域点，并筛选其中与车辆偏航角差值在阈值范围内的历史图像，与实时图像组合为图片对。
作为优选的方案，隔帧IOU模块进一步用于对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值，则为匹配。
作为优选的方案，时序过滤模块进一步用于基于隔帧IOU模块中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
作为优选的方案，变化区域检测模块包括：
输入单元，用于输入图像对，历史图像t0和实时图像t1；
特征提取单元，用于对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
特征融合单元，用于使用融合特征模块融合FPN历史特征图f0、FPN实时特征图f1的特征，得到融合特征图；
分割单元，用于将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
第三方面，本发明还公开一种存储介质,存储介质包含计算机程序，当计算机程序被一个或多个处理器执行时，实现上述任一种障碍物检测方法。
本发明一种用于自动驾驶车辆的障碍物检测方法、设备及存储介质，具有以下有益效果：
本发明聚焦于障碍物检测技术的长尾问题，利用计算机视觉技术，在场景变化检测的基础上，融合定位传感器，实现自动驾驶车辆固定行驶路线上的开集障碍物检测，为自动驾驶的规划控制提供有效参考信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的障碍物检测方法的流程图。
图2为本发明实施例提供的障碍物检测方法的检测框图。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件或步骤，不应当解释为排除附加的部件或步骤。
为了达到本发明的目的，用于自动驾驶车辆的障碍物检测方法的其中一些实施例中，如图1-2所示，障碍物检测方法包括：
步骤S1：搭建自动驾驶车辆的历史图像库，并更新；
历史图像库内数据包括：历史图像以及对应的时间戳、GPS定位信息、IMU信息、车辆utm(Universal Transverse Mercator Projection)投影坐标和车辆偏航角；
步骤S2：自动驾驶车辆运行时，得到实时数据，实时数据包括：实时图像以及对应的时间戳、GPS定位信息、IMU信息、车辆utm投影坐标和车辆偏航角；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
步骤S3：基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
步骤S4：通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
步骤S5：对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
步骤S6：基于步骤S5的隔帧IOU匹配结果，进行时序过滤，输出检测结果。
运用变化检测的思路对比实时数据与历史图像库中数据来实现开集障碍物预测，有效解决背景技术中提到的问题，提高障碍物识别的精度。
为了更好的理解本发明，下面按照顺序对各个步骤进行详细阐述。
步骤S1包括：
步骤S1.1：自动驾驶车辆搭载摄像头、GPS定位系统、IMU传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间戳、GPS定位信息、IMU传感器信息，并保存；
步骤S1.2：通过GPS定位信息及IMU传感器信息计算每一帧图像对应的车辆位姿，得到车辆utm投影坐标及车辆偏航角；
以车辆utm投影坐标为索引，搭建R树(Retangle Tree)数据结构存储图像、时间戳及车辆偏航角；
步骤S1.3：对获得每一帧图像根据要求进行筛选；
步骤S1.4：当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复步骤S1.2-步骤S1.3。
上述步骤S1.3进一步包括：
步骤S1.3.1：通过摄像头内相机内参K、畸变稀疏D和相机外参Rc2b、Tc2b，绘制以摄像头为中心，设置范围为5m的限制邻域一，设置范围为3m的限制邻域二；
步骤S1.3.2：人工筛除限制邻域一内视野被遮挡的图像；
步骤S1.3.3：按时间倒序遍历步骤S1.3.2后的所有图像，对每一帧限制邻域二内视野没有被遮挡的图像，过滤其周围限制邻域一内所有与其车辆偏航角差值在20°以内的数据点，得到稀疏化的历史图像库。
值得注意的是，步骤S1.3.2也可以采用其他带深度估计功能的深度神经网络筛除限制邻域一内视野被遮挡的图像，如BEV网络等。
当历史图像库首次搭建后，不再需要专门图像采集流程，可以直接使用后续车辆运行数据。
进一步，步骤S2包括：
步骤S2.1：自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间戳、GPS定位信息、IMU传感器信息；
步骤S2.2：通过GPS定位信息和IMU传感器信息计算当前车辆位姿信息，得到车辆utm投影坐标和车辆偏航角；
步骤S2.3：采用当前车辆utm投影坐标检索历史图像库内R树数据结构中最近邻点，并筛选其中与车辆偏航角差值在20°以内的历史图像，与实时图像组合为图片对。
进一步，步骤S3使用差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码。
步骤S3具体包括：
步骤S3.1：输入图像对，历史图像t0和实时图像t1；
步骤S3.2：对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
上述FPN为特征金字塔网络(Feature Pyramid Network,FPN)；
步骤S3.3：使用融合特征模块(Merge Features,MF)融合FPN历史特征图f0、FPN实时特征图f1特征，得到融合特征图；
具体地，由顶层网络开始，每层网络经过上采样后和低一层特征相加并激活卷积，而后将每一层网络上采样到底层特征尺寸并合并，得到融合特征图；
步骤S3.4：将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
进一步，步骤S4基于步骤S3中得到的变化区域掩码，通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列，队列长度固定为5帧。
进一步，步骤S5为：
对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU(Intersection over Union,IOU)，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值0.1，则为匹配。
进一步，步骤S6为：
基于步骤S5中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
用于自动驾驶车辆的障碍物检测设备的其中一些实施例中，障碍物检测设备包括：
历史图像库搭建模块，用于搭建自动驾驶车辆的历史图像库，并更新；
历史图像库内数据包括：历史图像以及对应的时间戳、GPS定位信息、IMU信息、车辆utm投影坐标和车辆偏航角；
图像对组合模块，用于自动驾驶车辆运行时，得到实时数据，实时数据包括：实时图像以及对应的时间戳、GPS定位信息、IMU信息、车辆utm投影坐标和车辆偏航角；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
变化区域检测模块，用于基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
连通域识别模块，用于通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
隔帧IOU模块，用于对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
时序过滤模块，用于基于隔帧IOU匹配结果，进行时序过滤，输出检测结果。
进一步，历史图像库搭建模块包括：
第一采集单元，用于自动驾驶车辆搭载摄像头、GPS定位系统、IMU传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间戳、GPS定位信息、IMU传感器信息，并保存；
第一位姿计算单元，用于通过GPS定位信息及IMU传感器信息计算每一帧图像对应的车辆位姿信息，得到车辆utm投影坐标及车辆偏航角；以车辆utm投影坐标为索引，搭建R树数据结构存储图像、时间戳及车辆偏航角；
筛选单元，用于对获得每一帧图像根据要求进行筛选；
数据更新单元，用于当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复执行第一位姿计算单元、筛选单元中的方法。
进一步，筛选单元包括：
限制邻域设置单元，用于以摄像头为中心，设置范围为R1的限制邻域一，设置范围为R2的限制邻域二，R2＜R1；
筛除单元，用于筛除限制邻域一内视野被遮挡的图像；
过滤单元，用于按时间倒序遍历经筛除单元筛除后的所有图像，对限制邻域二内视野没有被遮挡的每一帧图像，过滤其周围限制邻域一范围内所有与其车辆偏航角差值在阈值范围内的数据点，得到稀疏化的历史图像库。
进一步，图像对组合模块包括：
第二采集单元，用于自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间戳、GPS定位信息、IMU传感器信息；
第二位姿计算单元，用于通过GPS定位信息和IMU传感器信息计算当前车辆位姿信息，得到车辆utm投影坐标和车辆偏航角；
图像对组合单元，用于采用当前车辆utm投影坐标检索历史图像库内R树数据结构中最近邻点，并筛选其中与车辆偏航角差值在阈值范围内的历史图像，与实时图像组合为图片对。
进一步，隔帧IOU模块进一步用于对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值，则为匹配。
进一步，时序过滤模块进一步用于基于隔帧IOU模块中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
进一步，变化区域检测模块包括：
输入单元，用于输入图像对，历史图像t0和实时图像t1；
特征提取单元，用于对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
特征融合单元，用于使用融合特征模块融合FPN历史特征图f0、FPN实时特征图f1的特征，得到融合特征图；
分割单元，用于将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
本实施例内，自动驾驶车辆的障碍物检测设备的具体内容与上述实施例公开的自动驾驶车辆的障碍物检测方法的内容相似，在此不再赘述。
存储介质的其中一些实施例中，存储介质包含计算机程序，当计算机程序被一个或多个处理器执行时，实现上述任一实施例公开的障碍物检测方法。
本发明一种用于自动驾驶车辆的障碍物检测方法、设备及存储介质，具有以下有益效果：
本发明聚焦于障碍物检测技术的长尾问题，利用计算机视觉技术，在场景变化检测的基础上，融合定位传感器，实现自动驾驶车辆固定行驶路线上的开集障碍物检测，为自动驾驶的规划控制提供有效参考信息。
应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (17)
1.用于自动驾驶车辆的障碍物检测方法，其特征在于，包括：
步骤S1：搭建自动驾驶车辆的历史图像库，并更新；
所述历史图像库内数据包括：历史图像以及对应的时间和车辆位姿信息；
步骤S2：自动驾驶车辆运行时，得到实时数据，所述实时数据包括：实时图像以及对应的时间和车辆位姿信息；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
步骤S3：基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
步骤S4：通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
步骤S5：对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
步骤S6：基于步骤S5的隔帧IOU匹配结果，进行时序过滤，输出检测结果。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述步骤S1包括：
步骤S1.1：自动驾驶车辆搭载摄像头、定位传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间和定位传感器信息，并保存；
步骤S1.2：通过定位传感器信息计算每一帧图像对应的车辆位姿信息，得到车辆位置坐标及车辆偏航角；
步骤S1.3：对获得每一帧图像根据要求进行筛选；
步骤S1.4：当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复步骤S1.2-步骤S1.3。
3.根据权利要求2所述的障碍物检测方法，其特征在于，所述步骤S1.3包括：
步骤S1.3.1：以摄像头为中心，设置范围为R1的限制邻域一，设置范围为R2的限制邻域二，R2＜R1；
步骤S1.3.2：筛除限制邻域一内视野被遮挡的图像；
步骤S1.3.3：按时间倒序遍历步骤S1.3.2后的所有图像，对限制邻域二内视野没有被遮挡的每一帧图像，过滤其周围限制邻域一范围内所有与其车辆偏航角差值在阈值范围内的数据点，得到稀疏化的历史图像库。
4.根据权利要求2所述的障碍物检测方法，其特征在于，所述步骤S1.2进一步为：
通过定位传感器信息计算每一帧图像对应的车辆位姿，得到车辆位置坐标及车辆偏航角；
搭建数据库存储图像、对应时间和车辆位姿信息。
5.根据权利要求4所述的障碍物检测方法，其特征在于，所述步骤S2包括：
步骤S2.1：自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间和定位传感器信息；
步骤S2.2：通过定位传感器信息计算当前车辆位姿，得到车辆位置坐标和车辆偏航角；
步骤S2.3：采用当前车辆位置坐标检索历史图像库内邻域点，并筛选其中与车辆偏航角差值在阈值范围内的历史图像，与实时图像组合为图片对。
6.根据权利要求1所述的障碍物检测方法，其特征在于，所述步骤S5进一步为：
对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值，则为匹配。
7.根据权利要求6所述的障碍物检测方法，其特征在于，所述步骤S6进一步为：
基于步骤S5中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
8.根据权利要求1-7任一项所述的障碍物检测方法，其特征在于，所述步骤S3包括：
步骤S3.1：输入图像对，历史图像t0和实时图像t1；
步骤S3.2：对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
步骤S3.3：使用融合特征模块融合FPN历史特征图f0、FPN实时特征图f1的特征，得到融合特征图；
步骤S3.4：将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
9.用于自动驾驶车辆的障碍物检测设备，其特征在于，包括：
历史图像库搭建模块，用于搭建自动驾驶车辆的历史图像库，并更新；
所述历史图像库内数据包括：历史图像以及对应的时间和车辆位姿信息；
图像对组合模块，用于自动驾驶车辆运行时，得到实时数据，所述实时数据包括：实时图像以及对应的时间和车辆位姿信息；
根据实时数据从历史图像库中找到相似历史图像，与实时图像组合为图像对；
变化区域检测模块，用于基于差异检测模型，检测出图像对中当前时刻图像的变化区域，得到变化区域掩码；
连通域识别模块，用于通过连通域拆分变化区域掩码，作为每一帧检测结果传入结果队列；
隔帧IOU模块，用于对结果队列中的每个掩码连通域进行匹配，实现隔帧IOU匹配；
时序过滤模块，用于基于隔帧IOU匹配结果，进行时序过滤，输出检测结果。
10.根据权利要求9所述的障碍物检测设备，其特征在于，所述历史图像库搭建模块包括：
第一采集单元，用于自动驾驶车辆搭载摄像头、定位传感器，沿其固定行驶路线行驶，沿途采集摄像头图像及对应的时间和定位传感器信息，并保存；
第一位姿计算单元，用于通过定位传感器信息计算每一帧图像对应的车辆位姿信息，得到车辆位置坐标及车辆偏航角；
筛选单元，用于对获得每一帧图像根据要求进行筛选；
数据更新单元，用于当更新数据时，将现有的历史图像库内的数据与新数据混合，并重复执行第一位姿计算单元、筛选单元中的方法。
11.根据权利要求10所述的障碍物检测设备，其特征在于，所述筛选单元包括：
限制邻域设置单元，用于以摄像头为中心，设置范围为R1的限制邻域一，设置范围为R2的限制邻域二，R2＜R1；
筛除单元，用于筛除限制邻域一内视野被遮挡的图像；
过滤单元，用于按时间倒序遍历经筛除单元筛除后的所有图像，对限制邻域二内视野没有被遮挡的每一帧图像，过滤其周围限制邻域一范围内所有与其车辆偏航角差值在阈值范围内的数据点，得到稀疏化的历史图像库。
12.根据权利要求10所述的障碍物检测设备，其特征在于，所述第一位姿计算单元进一步用于通过定位传感器信息计算每一帧图像对应的车辆位姿，得到车辆位置坐标及车辆偏航角；
搭建数据库存储图像、对应时间和车辆位姿信息。
13.根据权利要求12所述的障碍物检测方法，其特征在于，所述图像对组合模块包括：
第二采集单元，用于自动驾驶车辆运行时，沿途实时采集摄像头图像及对应的时间和定位传感器信息；
第二位姿计算单元，用于通过定位传感器信息计算当前车辆位姿，得到车辆位置坐标和车辆偏航角；
图像对组合单元，用于采用当前车辆位置坐标检索历史图像库内邻域点，并筛选其中与车辆偏航角差值在阈值范围内的历史图像，与实时图像组合为图片对。
14.根据权利要求9所述的障碍物检测设备，其特征在于，所述隔帧IOU模块进一步用于对结果队列中的每个掩码连通域进行匹配，计算其与上下帧所有结果之间的交并比IOU，
交集I为两帧之间两个掩膜交集的像素数量，并集U为两帧之间两个掩膜并集的像素数量，IOU＝I/U；
若两帧之间交并比IOU大于阈值，则为匹配。
15.根据权利要求14所述的障碍物检测设备，其特征在于，所述时序过滤模块进一步用于基于隔帧IOU模块中得到结果队列中每个目标与上下帧目标的匹配结果，将隔帧IOU匹配结果连接为链表，如果当前帧中目标的匹配链表能覆盖整个结果队列长度，则作为最终检测掩膜结果输出。
16.根据权利要求9-15任一项所述的障碍物检测设备，其特征在于，所述变化区域检测模块包括：
输入单元，用于输入图像对，历史图像t0和实时图像t1；
特征提取单元，用于对历史图像t0和实时图像t1进行特征提取，得到对应FPN历史特征图f0和FPN实时特征图f1；
特征融合单元，用于使用融合特征模块融合FPN历史特征图f0、FPN实时特征图f1的特征，得到融合特征图；
分割单元，用于将融合特征图用分割网络得到变化分割结果，即变化区域掩膜。
17.存储介质，其特征在于，所述存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，实现权利要求1-8任一项所述的障碍物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410263365.7A CN118135539B (zh) | 2024-03-08 | 2024-03-08 | 用于自动驾驶车辆的障碍物检测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410263365.7A CN118135539B (zh) | 2024-03-08 | 2024-03-08 | 用于自动驾驶车辆的障碍物检测方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135539A true CN118135539A (zh) | 2024-06-04 |
| CN118135539B CN118135539B (zh) | 2024-11-05 |
Family
ID=91245775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410263365.7A Active CN118135539B (zh) | 2024-03-08 | 2024-03-08 | 用于自动驾驶车辆的障碍物检测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118135539B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3820760A1 (en) * | 2018-07-10 | 2021-05-19 | Rail Vision Ltd | Method and system for railway obstacle detection based on rail segmentation |
| CN113192057A (zh) * | 2021-05-21 | 2021-07-30 | 上海西井信息科技有限公司 | 目标检测方法、系统、设备及存储介质 |
| CN114842453A (zh) * | 2022-06-09 | 2022-08-02 | 阿里巴巴（中国）有限公司 | 用于检测障碍物的方法、设备和车辆 |
| CN115830265A (zh) * | 2022-11-02 | 2023-03-21 | 香港理工大学深圳研究院 | 一种基于激光雷达的自动驾驶运动障碍物分割方法 |
| CN116311166A (zh) * | 2023-03-21 | 2023-06-23 | 长沙海信智能系统研究院有限公司 | 交通障碍物识别方法、装置及电子设备 |
| US20230258471A1 (en) * | 2022-02-17 | 2023-08-17 | NavInfo Europe B.V. | Ai based change detection system for executing a method to detect changes in geo-tagged videos to update hd maps |
-
2024
- 2024-03-08 CN CN202410263365.7A patent/CN118135539B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3820760A1 (en) * | 2018-07-10 | 2021-05-19 | Rail Vision Ltd | Method and system for railway obstacle detection based on rail segmentation |
| CN113192057A (zh) * | 2021-05-21 | 2021-07-30 | 上海西井信息科技有限公司 | 目标检测方法、系统、设备及存储介质 |
| US20230258471A1 (en) * | 2022-02-17 | 2023-08-17 | NavInfo Europe B.V. | Ai based change detection system for executing a method to detect changes in geo-tagged videos to update hd maps |
| CN114842453A (zh) * | 2022-06-09 | 2022-08-02 | 阿里巴巴（中国）有限公司 | 用于检测障碍物的方法、设备和车辆 |
| CN115830265A (zh) * | 2022-11-02 | 2023-03-21 | 香港理工大学深圳研究院 | 一种基于激光雷达的自动驾驶运动障碍物分割方法 |
| CN116311166A (zh) * | 2023-03-21 | 2023-06-23 | 长沙海信智能系统研究院有限公司 | 交通障碍物识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118135539B (zh) | 2024-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689761B (zh) | 一种自动泊车方法 | |
| WO2021155685A1 (zh) | 一种更新地图的方法、装置和设备 | |
| WO2020248614A1 (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及系统 | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| CN104537841B (zh) | 无牌车辆违章检测方法及其检测系统 | |
| CN111859778B (zh) | 泊车模型的生成方法和装置、电子设备和存储介质 | |
| US11403947B2 (en) | Systems and methods for identifying available parking spaces using connected vehicles | |
| WO2021083151A1 (zh) | 目标检测方法、装置、存储介质及无人机 | |
| CN113792106B (zh) | 道路的状态更新方法、装置、电子设备及存储介质 | |
| CN112418081A (zh) | 一种空地联合快速勘察交通事故的方法及系统 | |
| CN112818834B (zh) | 一种交叉口针对应急车辆的避让判定方法、设备及介质 | |
| CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
| CN113361299A (zh) | 一种异常停车的检测方法、装置、存储介质及电子设备 | |
| CN118135539B (zh) | 用于自动驾驶车辆的障碍物检测方法、设备及存储介质 | |
| CN114926724A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN117367438A (zh) | 一种基于双目视觉的智能驾驶方法及系统 | |
| CN114512005B (zh) | 一种道路自巡检方法、装置、无人机及存储介质 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN115257771A (zh) | 一种路口识别方法、电子设备和存储介质 | |
| CN115620244A (zh) | 基于车路协同的图像检测方法、装置、设备及存储介质 | |
| CN114627400A (zh) | 一种车道拥堵检测方法、装置、电子设备和存储介质 | |
| CN118898920B (zh) | 一种公交车360度监控提示预警方法及装置 | |
| CN117622228B (zh) | 一种车内无人自动驾驶营运汽车远程操控方法及装置 | |
| EP4270327A1 (en) | Method for counting passengers of a public transportation system, control apparatus and computer program product | |
| CN119723522A (zh) | 异常路面对象的识别方法、装置、车辆和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |