CN105667518B - 车道检测的方法及装置 - Google Patents
车道检测的方法及装置 Download PDFInfo
- Publication number
- CN105667518B CN105667518B CN201610104432.6A CN201610104432A CN105667518B CN 105667518 B CN105667518 B CN 105667518B CN 201610104432 A CN201610104432 A CN 201610104432A CN 105667518 B CN105667518 B CN 105667518B
- Authority
- CN
- China
- Prior art keywords
- lane
- detection
- result
- line
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
车道检测的方法及装置,其中方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果,根据雷达数据优化检测结果,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置,对计算得到的车道中心线的位置合成得到多车道的位置结果。本发明通过摄像机进行二维图像中的车道标识识别,辅助雷达数据进行过滤,达到了快速准确地检测车道标识的效果。还进行车道中心线的估计及追踪,提高了车辆在动态识别车道线的能力,提升了无人车自动驾驶的安全性。
Description
技术领域
本发明涉及无人车自动驾驶领域,尤其涉及一种多车道自动检测的方法及装置。
背景技术
为了能实现安全的、类人类驾驶,无人车必须对其周边车道有良好的感知能力。
为了解决车道检测问题,前人提出过方向不同的探索:有提出通过在路面中铺设磁性标志的,也有提出利用全球定位体系中的高网格化的道路地图定位的。前者在目前阶段尚不具备可操作性。而后者提出的这种基于数据基础结构的分析,我们认为它虽然对了解地理形态信息和稀松的几何形态路况信息较为有用,但是在这里我们仍然拒绝使用高密度路形几何信息。毕竟,高精度的路况地图相较于实际视觉路面标志而言,还是较为过时的信息。即便就人类驾驶来说,由于驾驶员过度依赖于卫星导航系统而不是自己亲眼所见,还往往会因为地图的过时、错误和不完整造成事故。因而,静态的高精度的地图明显不足以保障安全驾驶。我们认为出于安全行驶的考虑,无人车必须能够运用其自身所配备的传感器来感知和判定周边环境。
发明内容
为此,需要提供一种根据车载设备及先验数据感知周围车道的检测方法,达到快速灵敏地检测车道的目的。
为实现上述目的,发明人提供了一种车道检测的方法,所述方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果,根据雷达数据优化检测结果,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置,对计算得到的车道中心线的位置合成得到多车道的位置结果。
所述雷达数据优化检测结果包括步骤,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
所述检测车道标识包括步骤,基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向。
所述检测车道标识包括步骤,基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
其特征在于,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置后还包括步骤,用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。
一种车道检测的装置,所述装置包括待检测区域确定模块、车道标识检测模块、雷达优化模块、中心线位置模块、多车道模块:
所述待检测区域确定模块用于根据摄像机图像确定待检测区域;
所述车道标识检测模块用于在所述待检测区域中检测车道标识得到检测结果;
所述雷达优化模块用于根据雷达数据优化检测结果;
所述中心线位置模块用于根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置;
所述多车道模块用于对计算得到的车道中心线的位置合成得到多车道的位置结果。
所述雷达优化模块具体用于,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
所述车道标识检测模块还用于基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向。
所述车道标识检测模块还用于基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
还包括估计追踪模块,所述估计追踪模块用于用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。
区别于现有技术,上述技术方案通过摄像机进行二维图像中的车道标识识别,辅助雷达数据进行过滤,达到了快速准确地检测车道标识的效果。还进行车道中心线的估计及追踪,提高了车辆在动态识别车道线的能力,提升了无人车自动驾驶的安全性。
附图说明
图1为本发明具体实施方式所述的车道检测方法流程图;
图2为本发明具体实施方式所述的多传感器车道检测示意图;
图3为本发明具体实施方式所述的绝对位置摄像机标定示意图;
图4为本发明具体实施方式所述的雷达数据优化检测示意图;
图5为本发明具体实施方式所述的匹配过滤的一维核形状示意图;
图6为本发明具体实施方式所述的车道涂漆检测示意图;
图7为本发明具体实施方式所述的等高线检测流程图;
图8为本发明具体实施方式所述的雷达检测出的车道边界图;
图9为本发明具体实施方式所述的车道构建示意图;
图10为本发明具体实施方式所述的车道中心线估计示意图;
图11为本发明具体实施方式所述的车道线空中俯视图;
图12为本发明具体实施方式所述的车道中心线误差与距离关系图;
图13为本发明具体实施方式所述的车道检测的装置模块图。
附图标记说明:
1300、待检测区域确定模块;
1302、车道标识检测模块;
1304、雷达优化模块;
1306、中心线位置模块;
1308、多车道模块;
1310、估计追踪模块。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
一、总体思路
我们把车道搜寻问题定义为:凭借实时的传感器数据和先验信息(如果有的话),推测出车体附近的一个或多个车道的存在,并分析出每个车道所蕴含的语义的、拓扑的以及几何上的特性。所谓的语义特性,指的是车道的通行指示(直行、左转、右转)、颜色(白色、黄色)和车道边界的形态(单线、双线、实线、虚线)。所谓的拓扑特性,指的是区域范围内,各车道的起始、分叉、合并或终止的连通性。而车道的几何特性则指的是车道的中心线位置以及横向扩展范围。本文集中在检测车道的存在性及其几何特性(如图1)。随后,我们通过匹配检测到的车道和代表道路网络的带标记的输入图的边界,以实现对车道语义信息和拓扑信息的有限推断。
和传统的按照已知地图车到信息行驶并附加车道偏离预警的系统设计所不同的是,我们这里设计的车道搜索系统是立足于引导全自动化车辆在非结构性道路网络中行驶。特别是,我们的系统在以下几个方面与传统模式相区别:它试图对所有可观测到的车道进行检测和分类而不是只检测车辆正在行驶的车道,它适用于存在有静态障碍物和运动车辆的复杂的路形分析,在有提供先验信息(有着稀松几何信息的路形图)的情况下它可以充分使用这些信息。
本发明所述的系统是基于车辆运行中所获取的标定过的摄像机图像和雷达范围数据建模所成,可以用于检测和估计非结构性道路中的多重车道特性。该系统是实时运行的,通过多个处理器的不同阶段处理,将所检测到的道路线、障碍物和曲线特征融合进对车体周边车道的稳定的非参数估计模型。这个系统是建立在已提供了分段线性的道路网络作为弱先验信息的基础上的。
因此本发明的创新在以下几个方面:它能检测和预估多重车道,它融合了非同步的各种传感器的数据来源,它能处理弯曲度高的路况,并且它不需要知道车辆相对于道路的初始位置或方向。在我们的系统中,由于不需要对车辆相对道路的初始方位做出假设,这使得系统同样适用于在十字路口变化车道或是驶离私人车道或是停车位的情形。
二、模型结构
本发明所述的车道检测方法包含了以下三个阶段,这里请参照图1,为本发明车道检测方法流程图:
第一阶段,包括步骤S100,根据摄像机图像确定待检测区域,步骤S102在所述待检测区域中检测车道标识得到检测结果,具体地系统通过标定后的摄像机,在每帧摄像图像中检测和定位涂漆的车道标志,还进行步骤S104根据雷达数据优化检测结果,并运用雷达数据来降低假阳性结果(系统判定为车道线,但实际上并不是的情况)的检测概率。标定后的雷达数据主要用于检验路缘。在这一阶段,视觉(两种)和雷达的检测是平行进行的,通过双模块涉及降低误俭率。
第二阶段,进行步骤S106根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置,运用第一阶段中的视觉检测的车道线的结果,结合通过雷达信息检测出的路缘来估计附近车道线的中心位置。
第三阶段,进行步骤S108对计算得到的车道中心线的位置合成得到多车道的位置结果。将所有检测出的车道中心线通过弱先验信息进行过滤、追踪、融合来生成一个或多个非参数的车道估计结果。
将整个模型分为三个阶段这样的设计,可以使得系统更为简洁、模块化和具备更好的可扩展性,并使得我们可以针对每个阶段进行独立实验,同时我们可以对每个阶段中的算法进行替换。例如,我们在第一阶段中平行的运用了视觉和雷达这两个独立算法来检测涂漆的车道线。通过引进对每个传感器单独进行周边环境特征提取的模式,我们的系统可以将许多不同种类的传感器检测结果融合起来,以提升判断精度,并在不同情况中进行互补。
图2显示的实施例中,通过一系列的摄像机所获取的原始图像信息是分别独立进行处理的(不一定同步),以实现车道的边界检测。同时,这一步骤还有实时车辆位姿估计与通过雷达数据进行障碍物检测(可有可无)相辅佐检测。此后,临时的数据融合包括了所有的视觉检测结果,还有由雷达数据检测出的路缘边界,以及有较高置信度的可能候选车道。最后,车道被实时预估和追踪,并受到曲率约束以及如果可能的话从地图数据中取得的先验信息的约束。
三、车道边界检测
本章分为四个小部分,第一部分中先介绍了用于选取标定后的摄像机图像中和经由雷达检测去除障碍后的感兴趣区域的方法。随后的第二、第三部分描述了用于马路上涂漆车道检测的两种视觉算法,这两种算法分别是基于匹配过滤和空间梯度的。此外,本章的第四部分中还运用了3D激光扫描数据检测路缘的技术。其中,视觉算法是从单个摄像机中接收灰度图像(节省处理时间和存储空间)、从车辆的惯性制导单元中接收位姿信息(选出感兴趣区域)、以及从雷达数据中接收检测出的3D障碍物信息(去除不必要的干扰物)作为输入数据的。所有的检测算法生成的、相对应于传感器数据所估计出的涂漆车道线和实体车道路缘的所有曲率(由局部坐标系下的多段线表示)是为输出结果。
车道涂漆检测算法是独立运作于每个摄像机和每桢临时画面图像的。尽管可以通过实时追踪状态信息,并且在图像桢间转换来辅助提取和曲率过滤,我们还是将文中方法保留为无状态模式,因为更高层级的车道融合和跟踪状态在局部坐标中进行了空间和临时的过滤。另外,通过直接运行原始的摄像机图像而不是经过反感知校正的图像,我们也减少了大规模的运算量,同时仍然保留了标定的摄像机和真实世界度量的好处。
(一)选出感兴趣的区域
由于在大部分用于道路检测的图像中,天空和房屋等无关物体占据了图像的大部分区域,且这些物体在检测算法中往往会产生较多异常值,影响检测的精度。所以,不管是通过视觉检测还是雷达检测,第一步我们要做的都是选择出图像上所感兴趣的区域,以便提升计算效率同时降低误检率。
1、基于标定后的摄像机图像的区域选定
在该小节中介绍如何进行步骤步骤S100,根据摄像机图像确定待检测区域,步骤S102在所述待检测区域中检测车道标识得到检测结果。我们的检测算法假设的是GPS和IMU导航数据已存在,并且这些数据是相当高质量的,以便矫正在图像和雷达数据处理中存在的车辆朝向、航向和翻滚的短期变化。此外,我们假设每个摄像机内在的镜片参数(焦距、光心和畸变),和外在参数(相对车辆的位姿),已被事前确定好,亦即摄像机已被标定。这种“绝对标定”使得传感器数据能按下述几种方式进行处理,参见图3:
I、地平线将被投射入每桢画面图像中。只有位于投射入的地平线下方的像素横列才会被考虑纳入进一步的处理过程,从而加强了系统的运行效率,并减少了由于天空纹理引起的假阳性结果。关于地平线的检测算法,可参考Multiple view geometry incomputer vision(Cambridge university press)。
II、我们基于激光雷达的障碍物检测提供了车体附近的大物体的实时信息。该检测利用相关的传感器和车体位姿,将3D点数据合成到普通坐标系下,并最终生成局域参考坐标系下的度量。
III、被检测到的障碍物也被投射入图像内,以及他们的扩展范围都被标记出来,作为车道涂漆检测算法的一部分,也是降低假阳性的很重要的一步。
IV、惯性数据可以让我们能够将地平面的预期位置投射到图像上,为视觉基础的涂漆检测算法提供了有用的先验信息和真实世界而不是图像相关的参数。
V、通过对日期、时间和相对于地球的车辆位姿的准确了解,我们可以计算出太阳年历;线条估计中,在图像坐标上指向太阳的的线条被排除在车道考虑之外。这有助于防止由镜头光耀引起的假的涂漆检测结果。
VI、所有的检测都可以被安置进一个普通的局部坐标系,以用于在更高层级中的车道中心线估计阶段的融合。
2、基于雷达检测障碍去除的区域选定
许多真实世界中的物体都呈现出条纹状,与我们所感兴趣的涂漆车道边界相类似,导致了在处理初期出现很多不正确的检测结果(许多检测出的可能车道都是假的)。这些假的检测结果中很多都可以通过随后的曲率约束、样条曲线过滤、映射长度过滤来消除,但是即使存在这些过滤和约束,一些假阳性结果仍然可能发生,例如栅栏、防护栏、车辆挡泥板等物体还是可能被当作车道线检测出来。
所以,我们开发了一套基于雷达的障碍物检测体系,这个体系的主要目的是保障我们的车辆不与其他车辆或是障碍物发生碰撞。因此步骤S104所述雷达数据优化检测结果包括步骤,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
许多可能造成车道的假阳性检测结果的物体(例如防护栏)可以很容易的被这个基于雷达的障碍物检测体系识别出来。由于真正的车道线标志只存在于水平的地面上(即无障碍区域),障碍物的检测意味着任何位于障碍物下方或附近的车道检验都是错误的。更进一步,由于我们全部传感器的6-DOF位姿均已知,我们可以将全部三维障碍检测投射到每个摄像机的2维的像素坐标中,参照图4(b)。这些投射可以用来掩盖掉摄像机成像画面中的对应区域,明确去除在上述区域中检测出来的车道线,参照图4(c)。
图4为雷达检测流程示意图,具体地,(a)雷达检测出的障碍物。(b)障碍物投射到画面中。(c)去除了地平线以上以及障碍物区域(灰色部分),在灰色部分中检测出的车道线无效。
现有的技术已经能够达到障碍物检测的效果。这里只是简单提一下,障碍物检测系统是基于不同种类的雷达提供出的360度视野侦测。在我们的系统中,含64束独立激光的Velodyne为主要的障碍检测传感器。它每秒钟能产生上百万个点数据,提供了接近于3D的覆盖范围。通过集中雷达返回数据于地平面对齐的极坐标上,可以检测出障碍物。如果雷达在一个网格内返回的高度呈现出显著的方差,在该网格内存在数值的障碍物。另外,我们的系统还有7个SICK雷达,他们水平环绕于车身周围,对Velodyne雷达进行补充。这7个SICK雷达主要功能在于两个方面:一是填补Velodyne雷达检测区域的空白点,二是在Velodyne雷达失效的时候作为候补传感器。
(二)基于匹配过滤的视觉检测
在本小节所述的实施例中,所述检测车道还标识包括步骤,基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向。
在我们的系统中,图像的处理的第一步是,为输入图像的每一横列建立一个一维的匹配过滤器,过滤器的宽度应为车道涂漆投射到图像坐标后的预期宽度。每一横列都必须设定与之相对应的宽度,因为当车道线越靠近地平线时其宽度越小。另外,图像中水平的和垂直的车道线都由不同的核来检测,其中一个核沿着图像的竖直维度进行卷积,另外一个则沿着水平维度卷积。每个核的形状参见图5。核所支持的宽度(有非零权重的核的部分)是在噪声容忍度和检测近距离车道线的能力之间的折衷。我们选择的支持是能够使得路中间的双黄线能被成功检测到的值。我们采用的固定的水平和垂直的核,优点在于可以快速运算,缺点在于在特定方位上的车道线没那么敏感。
图5展示了用于匹配道路涂漆的一维核的形状。通过水平运用这个核,我们能够检测出垂直车道线,反之亦然。根据像素网格,核被设定为在一个给定图像横列的车道线的预期宽度并被取样。
对于每一帧摄像机画面,根据实时惯性制导数据推断出的地平面的投射,核沿着像素网格的每一横列都被取样。随后,用核卷积图像数据的每一横列,从而产生出匹配过滤的结果。如果核的宽度小于一个像素,则不进行卷积计算。如图6中所示,这个操作成功的去除了图像中大部分的杂波,并且沿着线条特征产生了较强的回应。这个步骤对于垂直和水平的核要分别进行操作,从而给出两幅结果图,见图6的(b)和(c)。
图6我们的第一个车道线涂漆检测:(a)初始图像;(b)初始图像的每一横列都经过水平匹配过滤器卷积后的结果;(c)初始图像经过垂直过滤器卷积后的结果;(d)罗列出经过水平过滤后结果的局部极大值,并计算出他们的主要方向,方向用每个极大值的垂线所表示;(e)距离转换描述了每一个像素到局部极大值的最短距离,随后被用于引导样条曲线;(f)用三次样条插值法来连接附近的极大值。
然后,我们迭代水平过滤结果的每一横列和垂直过滤结果的每一竖列,建立起一维的局部极大值作为提取出的特征。理论上,这些极大值会产生在涂漆车道的中间,但其实他们也会由于噪声和其他假的检测结果而产生。如果最大值的梯度小于最大可能梯度的4%,我们则拒绝这一结果,阀值是手工调整的,以便拒绝在低对比图像区域的极大值。
对于每个特征,我们要通过寻找主要弯曲方向来计算主要线路的方向。在涂漆车道线的中心,过滤结果的二阶导数较大,且在垂直于车道线的方向为正,平行于车道线的二阶到数则接近于零。所以,我们首先要计算二阶导数的2×2的Hessian矩阵。
其中,F是过滤结果的图像,而二阶导数是通过3×3的Sobel核计算出来的。H的最大特征值是主曲率,而其相应的特征向量为曲率方向。我们用主要线路的垂直线来表示特征的方向(见图6(d))。
一旦特征集被提取出来,我们再计算一个图像的距离转换,这样使得距离转换后的每个像素点的亮度,与该像素点到其最近特征的欧式距离成比例(见图6(e))。
再然后,我们用三次样条插值法将特征值连接成连续曲线,这曲线即为预计的车道线标志。该方法的目标是运用控制点之间的50个左右的像素点构建出样条曲线。这样的距离允许样条曲线有相对较少的参数,同时适用于郊区驾驶中不固定的车道曲线特征。用于确定三次样条插值法参数的公式如下:
p(t)=(2t3-3t2+1)p0+(t3-2t2+t)hm0+(-2t3+3t2)p1+(t3-t2)hm1
其中,t∈[0,1],p0和p1是一对相邻的控制点。这样的参数设定保证了切线m0和m1在两个控制点之间是连续的。比例因子h是用于调节正切向量至合适的量级。我们定义其为h=‖p0-p1‖。在计算样条曲线时,我们直接运用上面提取出的特征作为控制点,并且提取垂直线矢量作为切线(经过朝着他们向前的样条曲线方向旋转90度以后)。
(三)基于对称等高线的视觉检测
我们系统里运用的第二种车道涂漆的检验机制却是依赖于更为传统的低层次的图像处理。为了最大化画面的处理能力,从而达到减少连续输入数据到车道融合层和跟踪部分的时间的目的,我们将模块设计为运用较为简单和容易矢量化的图像操作。
在本小节所述的实施例中,所述检测车道标识还包括步骤,基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
这个部分检测后面的中心观测在于感兴趣的图像特征—命名为对应于涂漆车道的线条—基本上都包含良好定义的、拉长的、比它们周边更为明亮的延续区域。尽管这个特征排除了圆形反射物以及在浅色路面上的深色标示,它却包含了实线和虚线边界、停止线、斑马线、各种形状的白色和黄色的人行横道。因此,我们的策略是先运用空间梯度算子检测出潜在的路面涂漆边界,然后再通过搜寻含有更明亮区域的边界来估算想要的线条中心;也就是说,成对的边界应该是在世界空间上邻近的、近似平行的,并且其局部梯度指向彼此。(参见图7)
图7上述四幅图代表了一个完整的流程。(a)初始图像;(b)对初始图像经过平滑后的梯度(红色部分)、边界等高线(绿色部分)、以及对称等高线对(黄色部分);(c)一个候选的涂漆车道线检测结果;(d)最后的车道线检测结果。
我们的方法对于许多情况下都显出其的灵活可靠性。许多无关的图像线条都被对称的暗-亮-暗的假设、规定的宽度和长度的阀值、以及曲率约束所拒绝,被任何感知观测到的直的和弯曲的部分都统一处理;即使存在道路纹理和场景照明不同的情况下,特征也能被可靠的提取出来。
基于等高线的车道线检测包含了三个步骤:用于检测原始特征的低层级的图像处理;等高线提取以产生可能的全部初始的车道线;用于平滑和减少假阳性结果的等高线后处理过程。第一步是要运用局部的低通滤波和导数算子来产生原始灰度图像的空间梯度的压缩噪音后的方向和大小。一个宽松的阀值可以用于梯度,以便去除由低对比区域得出的极端弱的、不可靠的边缘结果,同时保留住所有感兴趣的可能边缘。得出的结果图像要经历在梯度方向上的非极大值抑制,以最大程度降低无关的像素而不需要明确的阀值;这样处理后的结果是一个稀松的特征掩盖图像,伴随着每一个有效像素都有对应的梯度大小和方向。和其他边缘检测方法一样,用空间梯度和数据相关的局部接受阀值可以对通常检测情况(例如阴影、低对比路面涂漆以及各种路面纹理)提供一定检测可靠度。
第二步,连接部分算法迭代过特征遮掩区域,以生成平滑的有序点的、在地点和梯度方向上断开的等高线。这将产生一个新的图像,其像素值代表了检测到的等高线的方位,这又反过来代表了候选的车道涂漆边界。尽管下游的融合算法可以直接运用这些原始的边界,但是有两个问题会即刻出现:真实的车道涂漆标志会呈现出单独的“双重”等高线,在已知涂漆线的任何一边,代表了从深到浅和从浅到深的转变;许多检测到的等高线可能对应于不想要的观测到的密度边缘,例如由于比较明显的阴影线引起的,或者是由于道路材质变换引起的。因此在这一阶段我们要加强约束:感兴趣的车道线是稀疏的、延长的、在深色底色上的浅色区域,并且其边界在坐标系中是平行的。这个约束设定排除了在浅色底色上的深色路标以及小的特征,例如圆形反射物,并且大幅降低了假的检测结果。
为了定位出在检测出的双重边界中的我们想要的车道中心线,我们对上述想要的等高线图象进行第二个迭代。在每一个边界像素点pi,按等高线的顺序遍历,算法沿着局部梯度di的方向延伸出一条虚拟线,知道其碰到另一条等高线上的pj点(见图7(c))。如果第二条等高线的梯度dj与di方向相反,并且如果pi和pj间的距离在事先设定的对应于涂漆车道线预期宽度的范围内,那么pi和pj的中点将被加入逐渐增长的中心线曲线上。许多非涂漆的等高线(例如,那些只有一个边缘或者宽度不符合设定的等高线)因而被从候选中剔除。
在这一步,我们的检测算法已经够造出了一系列的车道涂漆线候选,每一个都比其周边环境要亮;然而,这样的候选集会受到不想要的线段和极值的影响。所以,算法的第三步也是最后一步,要运用一系列高层级的后处理操作来生成平滑的、高置信度的车道线估计,这样后续才能进行数据融合和车道线估计阶段。我们首先合并其融合能产生平滑曲线的任何的等高线片段(例如,并不引进不连续的或是高度弯曲的部分);与其他方法所不同的是,我们并不强调直线约束。然后,我们将抛物线弧度融合进合并的曲线,并递归地在有着高度误差的点处打破他们。最后,短于一个给定阀值长度(包括像素和度量长度)的所有曲线都在产生最后的图像相关的车道涂漆线前被移除。和第一个车道线涂漆检测算法相同的是,在进一步处理前,这些数据都被反向感知定位回和投射到地平面图像上。
在实际操作中,上述我们运用的两种视觉的道路检测算法的主要区别在于敏感度和速度。基于等高线的检测因为运用的是抛物线曲线模型,故而倾向于估计出更为平滑的曲线;而基于梯度的检测能够更为精确的捕捉非抛物线曲线的几何特性。基于梯度检测的过滤核的不同宽度有许多的优点,使得它能够在图像区域中即使车道涂漆线仅跨越了一些像素时,也可以进行更为可靠的检测。最后,拟合抛物线弧度比样条曲线搜索更快,这使得基于等高线的检测能够运用于更高的帧速率。
(四)运用雷达数据进行车道边缘检测
除了检测诸如防护栏和其他车辆等的大型障碍物之外,雷达子系统可以检测小物体,如经常用于描绘车道边界的路径和路缘。这些检测提供了可以用于融合进车道中心线估计的数据,并且实际上代表了即使在没有涂漆车道线的情况下,仍然可以被用于发现车道形状的补充特性。在这里我们只是简要的总结雷达的车道边界检测,具体的过程会另外附文说明。
Velodyne和SICK雷达都要用于检测车道边界。一个地形某个特定地区的“粗糙度”可以通过查找在小的平移变化上发生的大的海拔变化来确定。这些斜率被收集进一个2D数组,这样数组中每个网格的值都对应于观测到的地面的粗糙度。这个得出的粗糙度地图可以用图8中红色区域解释。由于移动障碍的存在引起的复杂性在于:一个大的垂直的间断面的存在,可能从车头出现,但这并不意味着是车道边界。我们通过短期记忆来拒绝这些假阳性结果:如果一个给定的网格曾被观测到是“平滑的”(例如,部分的路面),那么对于该网格内一个垂直的间断面的任何检测可以被忽略。
图8雷达检测出的车道边界。通过雷达数据,我们的算法能够检测出路径和路缘,这两个通常意味着车道边界。这些边界是通过从车体位置发射射线来找到的:第一次从光滑表面到粗糙表面的转换被作为车道边界的一个检测点。随后将检测的点融合成样条曲线就可以得到车道边界估计。
从这个“粗糙度地图”,我们通过车体附近某个点发射出的射线(这里我们假设车子是在车道中间的),可以检测出车道边界。每条射线都记录下从光滑到粗糙的第一次转变,从而形成了一系列的车道边界点检测(见图8)。与视觉的车道涂漆检测中最大的过滤结果相类似,这些点检测容易出现假阳性。然而,通过检测点来拟合样条曲线,并拒绝那些不符合车道边界模型的样条曲线,假阳性率可以降到可接受的水平。
这样的出的车道边界检测结果可以作为佐证,整合进网格,后文会讨论该流程。当车道涂漆检测失败的时候(由于路面涂漆不存在或者很难检测到),我们的车道跟踪系统就只依靠雷达发起的车道检测来维持车辆行进。
四、车道中心线估计
车道搜索的第二阶段在于运用一系列加权过的近期得出的车道涂漆和曲线检测结果(这两个检测结果都是用分段曲线来表示),来估计附近车道的几何特性。为了简化过程,我们只估计车道中心线,在我们的模型中这个中心线是用局部抛物线部分来拟合的。尽管郊区的车道并非设计成抛物线状的,但是这种设计对于在传感器范围内的道路延伸而言(在我们的试验中大概是50米的距离),通常情况下是精确的。
为了更好地进行无人自动驾驶,还包括步骤,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置后还包括步骤,用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。追踪部分将在第五章、车道跟踪中进行描述。
车道中心线的估计包含两个步骤:第一步,创建出中心线证据图像D,在车道中心的任一点p=[px,py]为其局部坐标,其对应像素点的值为D(p);第二步,用D中的脊线拟合出抛物线部分,并且作为车道中心线的候选进行评价。
(一)中心线证据图像
为了创建D,车道涂漆和曲线检测被用于增加或减少图像中的像素值并且根据他们的得出的时间远近加以权重(越近得出的检测结果权重越大)。对应于点p的像素的D值是通过计算p点处的每个车道涂漆和弯曲检测di的加权影响得出的:
其中,a(di)表示自从di首次被检测出来过了多久时间,λ是衰减恒量,g(di,p)是在p点处di的影响。在我们的系统中,λ设定为0.7。
在开始描述如何决定di的影响之前,我们要做三个观测到的假设。首先,车道中心线很可能是位于车道涂漆或是弯曲的带宽的一半处的位置。第二,美国88%的国道宽度都在3.05米到3.66米之间。第三,弯曲估计相较于车道涂漆检验而言,能给我们带来不同的车道信息。从上述的直接观测结果以及我们的车道涂漆和弯曲检测的特性,我们定义两个方程frp(x)和fcb(x),其中x是从di到p的欧式距离:
方程frp和fcb是分别用来计算D上的车道涂漆和弯曲检测的中继方程。frp在x=0时值最小,在一般道宽(1.83m)处值最大。fcb的值总是负的,意味着弯曲检测只是用来降低车道中心线的证据的。我们之所以这样设计是因为我们的弯曲检测有时候会在没有弯道存在的时候检测出含有弯曲特征的结果。令c为在di上离p最近的点,这样一个检测的实际影响可以通过下属方程算出:
引入这最后一个条件是因为车道涂漆和弯曲只在短的分段内进行。这样的结果是,一个检测只会影响就在其旁边的中心线证据值,而不会对其前后的中心线证据造成影响。
在实际中,D可以在首次被初始化,并通过加入最近接收的检测影响更新,并在每次更新时运用幂指数时间衰减作为权重。此外,我们通过在两个分开的、但却接近并且在同一直线上的车道涂漆检测结果间加入虚拟的车道涂漆检测进行连接,从而改进了系统检测虚线边界的能力。
(二)抛物线拟合
一旦中心线证据图像D被构建出来,脊线点集R就可以通过扫描D来取得沿着横列或是竖列的局部最大且其值超过了最小阀值的点。然后,再用随机抽样一致算法(RANSAC)将这些脊线点集拟合成抛物线的部分。
随机抽样一致算法是通过从全集数据中反复抽取随机子集数据来匹配模型,从而去除噪音点。每次取出的子集被假设为内层点,并反复迭代予以验证,其原理如下:
1、假设取出的内层点适用于某个模型,即该模型中所有的未知参数都能通过内层点计算得出;
2、用上述模型检测其他所有数据,如果某个点适用于该模型,则被系统认为也是内层点;
3、当被认定的内层点个数大于阀值时,则该模型被认为是合理的;
4、然后用所有假设的内层点去重估模型参数,因为它原有的参数仅被初始的假设内层点估算过;
5、最后通过估计内层点和模型错误率来评估模型;
6、上述过程被重复执行固定次数,每次产生的模型要么因为内层点太少被舍弃,要么因为比现有模型拟合更好而留用。
算法基本流程:
1、输入部分:
P 样本集
M 与数据相匹配的模型
S 由P生成的包含n个样本的子集
S*余集(SC=P\S)中与M的误差小于t的合集再加上S共同构成的
k 算法的迭代次数
t 用于决定数据是否适用于模型的阀值
n 模型至少包含的数据个数
d 判定模型是否适用于数据集所需的数据个数
2、输出部分:
Best_model与数据最为匹配的模型(如果没有找到匹配模型,则返回null)
Best_consensus_set对应模型估计出的数据点
Best_error模型错误
3、伪代码如下:
在本文的算法中,每一步的RANSAC迭代,都随机选出三个脊线点,用于三点式抛物线拟合。而抛物线的准线则被作为三个点的第一主成分。
为了确定一个抛物线的内层点集,我们首先计算出圆锥率系数矩阵C,并定义候选内层点集L是包含了与C相隔在代数距离α内的脊线点的。
L={p∈R:pTCp<α}
在我们的试验中,我们选取α=1米。然后,通过对点集L运用最小二乘法重新拟合出抛物线,并得出一组新的候选内层点集。再接下来,候选内层点被分割成连接的片段,即一个脊线点与距其1米内的所有相邻脊线点相连。脊线点集最大的部分被选择作为抛物线的真实内层点集。这个分割步骤的目的在于确保抛物线不会跨越多个脊线拟合,同时也要求了所有脊线相连。最后,整个抛物线的分值s可以通过下式计算出来:
一个内层点对于整体抛物线估值的贡献是与该内层点的代数距离反向相关的,每个内层点都对分值贡献一个最小量。最后的整体结果是,有许多好的内层点的抛物线能得到最大分值。如果一个抛物线的分值低于阀值,则被舍弃不用。我们用不同值实验得出有用的分值阀值为140。
在一定量的RANSAC迭代完成后(我们认为200次就足够了),有最大分值的抛物线被选出作为车道中心线的候选。该抛物线的内层点被从脊线点集中去除,然后所有的剩余抛物线再用剩下的脊线点重新拟合和计算分值。第二大分值的抛物线再被选出,并且这个流程反复进行,直到选出最多5个候选车道中心线(参见图9)。之后,每个候选车道中心线被离散成小段的线性曲线,并传至车道追踪系统进行后续操作。图10(b)给出了三条这样的候选线。
图9展示了系统的第二阶段是构建出一个车道。车道中心线候选(蓝色部分)是通过将图像中的脊线拟合成抛物线部分来得出的。图片左上方的图是车辆前方中心摄像机的视野图。
图10展示的实施例中(a)RNDF(路线网络描绘文件)提供了一个弱的车道中心线估计先验信息(白色部分),这个估计有可能是偏离了马路的,例如穿过了树木和灌木丛。(b)车载传感器被用于检测障碍物,车道涂漆线和弯曲,这些检测结果随后都被用于估计行驶路线,并用抛物线部分建模(蓝色部分)。(c)基于传感器的估计随后被过滤、跟踪并用与RNDF先验信息融合。
五、车道跟踪
车道追踪的主要目的是为了维持一个有状态的,平滑的随着时间变化的周边行驶车道的估计。要达到这个目的,需要使用车道中心线估计中得出的车道中心线候选以及由已知地图得出的一个先验估计。
在试验中,先验地图部分我们用的是路线网络描绘文件(RNDF),它是一个直接的图像,其每个节点都是车道中心的路径点,其边缘代表了行驶车道和十字路口。每个路径点给出了GPS坐标,且可以用任意距离隔开。对相邻的路径点简单的线性插入可能会导致连接线偏离车道,如连线可能穿越树林和房屋。在我们的系统中,RNDF只是作为车道数目的强先验信息,而作为车道几何特征的弱先验信息。
随着我们车辆的行驶,他会创建并维持距其75米内的所有车道的估计。当车辆行驶到RNDF路径点附近,且还没有关于路径点车道的估计时,一个新的车道估计程序就会启动,并一直延展到下一个路径点。当车辆接近和离开车道中的路径点时,车道估计将被延展和截断。
每条车道的中心线都用小段线性曲线来建模,同时相邻的控制点之间的距离在2米左右。每个控制点都有一个对应的置信度值,这个置信度代表了车道跟踪系统在那个点得出的估计的确定性。随着车辆的行驶,车道追踪对控制点的置信度是衰减的,只有在接近RNDF路径点的检测的置信度才会增加,或者是从第二阶段的中心线检测结果中更新控制点时置信度也会增加。
一旦中心线候选结果得出,车道跟踪系统就试图用跟踪的车道来和每一个车道候选进行匹配。如果匹配成功,中心线候选就被用于更新车道估计。为了决定一个候选c是否是一个跟踪车道l的恰当的匹配,候选中最长的部分sc必须满足sc上每一个点到l的距离都要小于最大距离τ。这样,我们就可以定义匹配分值方程m(c,l):
其中,d(p,l)是从点p到车道l的距离。直观上来说,如果sc足够长且接近这个估计,它就被认为是好的匹配。我们将匹配方程设计成近依赖于候选中最长的部分,而不是依赖于整条候选线,是基于以下前提的:随着车辆行驶,车辆观测到的车道线的部分是平滑的随时间变化,而之前为观测到的部分不应该对匹配造成不利影响,否则系统会观测到足够多的重叠。
一旦中心线候选被匹配到跟踪的车道上,就可以通过在候选线上定位出追踪车道的控制点来更新车道估计,同时用幂指数移动平均做临时的平滑。图10描述了这一过程。在中心线候选被用于更新跟踪的车道估计之后,它就不再被继续使用了。每一次更新,通过匹配更新后的控制点的置信度值都会增加,其余的会降低。如果一个控制点的置信度值低于给定阀值,其位置将被移除,并作为与其周边最近的达到置信度阀值的控制点的线性插入重新予以计算。
六、整体模型检测和结果
在我们的试验中,包含了多种类的车道,从标识明显的市区街道,到陡峭的土路,到高速公路都有,且还有其他车辆穿行其间。基本上我们靠着本文中的系统一天中行驶了90公里,均速16公里每小时,最高速40公里每小时。事后的行驶数据说明,基本上我们所估计出的车道中心线和真实的中心线差距不会超过半个车道宽度,并且车辆进入和驶离某个车道都完全处在系统的控制下。在车辆的整体控制系统中,我们的车道跟踪系统的结果是直接用于导航和车辆运动模型的。
(一)系统置信度
为了了解我们的系统有多少是依赖于基于感知的车道估计,有多少是依赖于RNDF给出的先验信息,我们检测了车辆凭借高置信度的车道检验结果的行驶距离(其中不包括由于接近RNDF路径点导致的高置信度的控制点)。
在任何时候,我们的系统要么是对当前行驶车道估计无置信度,要么是对车辆前方一定距离a外的估计无置信度。如果车辆保持着相同置信度行驶了d米,则我们说系统在车辆前方以a米的高置信度行驶了d米。从下述表格中可以看出,我们的车辆能维持车前方1米或更远的距离的高置信度行驶56.87公里,亦即65.2%的行驶总距离。
在图11中,我们用另外一种方法来检测系统的总体效果,即我们用不同的颜色直接在地图上标明车辆在每个控制点是否有高置信度。从图中可以看出我们的系统在高弯曲路段和郊区路段都有良好的置信度,未能得出足够置信度的路段检测主要集中在以下三个方面:一是由于光照条件引起的无法检测到路面涂漆,例如由于树木阴影遮挡;二是某些土路或是车道未涂漆,鉴于我们的系统主要基于视觉涂漆检测故无法进行;三是试验中某些路况打破了我们系统中设定的先验前提假设,例如车道太宽,或是车道斜坡太大。图11为路线的空中俯视图。有高置信度检测结果的行驶距离用深色标明,低置信度区间用浅色标明。
(二)人工标注出真实车道
相对于第一部分,为了更为客观并量化地衡量系统置信度,我们还可以在成像画面上人工标出真实车道并与系统得出的估计结果进行比对。运用这个方法可以更清晰的比较运用不同的方法和信息,系统的实际表现差距,以便后续改进系统。鉴于海量数据,也可以采用简化的方法。鉴于在全球坐标系下,标定的真实车道几何特性不随时间变化而改变。简化法是通过谷歌地图上标注的地理记录校正过的图像来生成真实车道。然后,再将车载GPS估计将地平面投射到车辆本地坐标系后进行进一步分析。当然,这个投射过程必然含有GPS误差,所以需要人工校正。校正是随着时间线性插入的,其前提是GPS误差是连续的。在90公里的全称中,平均校正是每45米一次。
(三)中心线误差
对于沿着车道估计的中心线上的每一点,我们将其的中心线误差定义为从该点到真实车道中心线的横向距离,该误差是对系统精确度的良好度量。
由于离车体越远的地方传感器的分辨率也越低,故而越远处的车道估计的精确度也越低。中心线误差是在每条车道线估计的每隔一米处就计算一次的,从车体前方一米处开始直到50米处为止。车体驶过以后的中心线估计则不再纳入计算范围。
误差分析结果显示在图12中。最靠近车子前方的平均误差在57厘米左右,到车前方50米处,误差逐渐增加到70厘米。这一数据包含了所有通过我们的系统生成的估计,包括未能给出置信度和简单用RNDF路径点插值处理的部分。如果只看高置信度的检测区域,这一误差将下降到40厘米。
另外,通过误差衡量,从总体上看我们的系统要好于单独采用RNCF然后线性插值处理的结果,基本上在车前方十米处的平均误差要小10厘米。如果只考虑高置信度区间,误差区别扩大到22厘米。
图12,误差分析结果显示图,图中显示了中心线误差与沿车道距离的关系。(a)中实线为平均误差,虚线为1-σ的两条边界;(b)随着系统置信度的增加,检测精度也增加。(c)相比较我们设计的系统和单用RNDF的误差。(d)增加了置信度区间考虑的误差比较。
(四)中心线候选
另外,我们还可以用单纯的传感器得出数据误差估计,来衡量去掉了先验路径信息后系统的可靠性。
从中心线候选的误差分布中可以得知,所有候选中心线的点中53.5%是在距离真实车道中心线50厘米范围内的,而剩下的4.5%距离真实车道中心线超过5米。导致误差很大的通常情况是当系统在车道边界的错误的一边生成中心线。这通常发生在当曲线顶端被检测当做车道涂漆。
事实上,在得到了车道中心线候选后,我们的系统会将这个信息传送到数据联合环节,要么它与现有车道估计匹配,要么他被视作异常估计而被舍弃。我们的系统是通过拓扑先验信息来确认车体附近是否有车道的存在,然后再用候选来改进几何估计。
(四)稳定性
本文系统的产出结果是要被进一步用于高速的车辆运动规划中去的,所以我们希望这些估计能相对稳定,即一旦系统产生了一个高置信度的估计,那么这个估计不会发生显著的变化。我们通过稳定系数的计算来估计系统的稳定性。这个稳定系数统计的是高置信度的估计随时间发生横向变化的比例。
考虑一个以后轮中心当前位置为圆心,半径为r的圆。当前车前方的车道估计与圆相交的点设为p0。在车道估计进行下一次更新的时候(这里按10Hz的频率),同样的圆与新的估计的交点为p1。我们将车道估计的稳定系数定义为:
其中,dv是该段时间内车辆行驶的距离。
另外,我们还通过对全路程每次更新得出的稳定性系数进行平均算出特定半径r下的平均稳定性系数。从最后结果中可以得出,平均稳定性系数很小且基本保持不变,但仍然不为0,说明高置信度的车道估计在车辆行驶中,可以被认为是基本不漂移的。
在图13所述的实施例中,展示了一种车道检测的装置,所述装置包括待检测区域确定模块1300、车道标识检测模块1302、雷达优化模块1304、中心线位置模块1306、多车道模块1308:
所述待检测区域确定模块1300用于根据摄像机图像确定待检测区域;
所述车道标识检测模块1302用于在所述待检测区域中检测车道标识得到检测结果;
所述雷达优化模块1304用于根据雷达数据优化检测结果;
所述中心线位置模块1306用于根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置;
所述多车道模块1308用于对计算得到的车道中心线的位置合成得到多车道的位置结果。
所述雷达优化模块1304具体用于,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
所述车道标识检测模块1302还用于基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向。
所述车道标识检测模块1302还用于基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
还包括估计追踪模块1310,所述估计追踪模块用于用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。
区别于现有技术,上述装置通过摄像机进行二维图像中的车道标识识别,辅助雷达数据进行过滤,达到了快速准确地检测车道标识的效果。还进行车道中心线的估计及追踪,提高了车辆在动态识别车道线的能力,提升了无人车自动驾驶的安全性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。
Claims (6)
1.一种车道检测的方法,其特征在于,所述方法包括如下步骤:根据摄像机图像确定待检测区域,在所述待检测区域中检测车道标识得到检测结果,根据雷达数据优化检测结果,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置,对计算得到的车道中心线的位置合成得到多车道的位置结果;
所述检测车道标识包括步骤,基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向;
或所述检测车道标识包括步骤,基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
2.根据权利要求1所述的车道检测的方法,其特征在于,所述雷达数据优化检测结果包括步骤,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
3.根据权利要求1所述的车道检测的方法,其特征在于,根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置后还包括步骤,用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。
4.一种车道检测的装置,其特征在于,所述装置包括待检测区域确定模块、车道标识检测模块、雷达优化模块、中心线位置模块、多车道模块:
所述待检测区域确定模块用于根据摄像机图像确定待检测区域;
所述车道标识检测模块用于在所述待检测区域中检测车道标识得到检测结果;
所述雷达优化模块用于根据雷达数据优化检测结果;
所述中心线位置模块用于根据所述检测结果及雷达检测的路缘信息计算车道中心线的位置;
所述多车道模块用于对计算得到的车道中心线的位置合成得到多车道的位置结果;
所述车道标识检测模块还用于基于匹配过滤的视觉检测,具体为:
为摄像机图像的每一个横列设定一个宽度过滤器,所述宽度为车道涂漆投影到摄像机图像每一横列后的预期宽度;
对过滤结果计算局部极大值及梯度方向,根据所述梯度方向计算车道线方向;
所述车道标识检测模块还用于基于对称等高线的视觉检测,具体为:
对摄像机图像进行局部的低通滤波及导数算子运算得到初始的车道线,计算初始车道线中边缘像素的空间梯度大小及方向;
将多个局部的边缘像素空间梯度大小及方向通过迭代算法融合,得到车道线标识检测结果。
5.根据权利要求4所述的车道检测的装置,其特征在于,所述雷达优化模块具体用于,将雷达数据中的三维物体投射到摄像机图像对应的二维坐标中,过滤掉所述摄像机图像中三维物体投射对应位置的车道检测结果。
6.根据权利要求4所述的车道检测的装置,其特征在于,还包括估计追踪模块,所述估计追踪模块用于用现有的中心线数据进行抛物线拟合,估计远处车道中心线的位置,并利用先验信息进行车道中心线追踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610104432.6A CN105667518B (zh) | 2016-02-25 | 2016-02-25 | 车道检测的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610104432.6A CN105667518B (zh) | 2016-02-25 | 2016-02-25 | 车道检测的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105667518A CN105667518A (zh) | 2016-06-15 |
CN105667518B true CN105667518B (zh) | 2018-07-24 |
Family
ID=56305892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610104432.6A Active CN105667518B (zh) | 2016-02-25 | 2016-02-25 | 车道检测的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105667518B (zh) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10369994B2 (en) * | 2016-07-20 | 2019-08-06 | Ford Global Technologies, Llc | Rear camera stub detection |
CN106157635B (zh) * | 2016-07-22 | 2018-08-07 | 金陵科技学院 | 一种判断车辆在车道中位置的装置与判断方法 |
US10399564B2 (en) * | 2016-10-25 | 2019-09-03 | Ford Global Technologies, Llc | Vehicle roundabout management |
CN108241712B (zh) * | 2016-12-27 | 2021-04-20 | 北京四维图新科技股份有限公司 | 一种地图数据处理方法和装置 |
CN106740841B (zh) * | 2017-02-14 | 2018-07-10 | 驭势科技(北京)有限公司 | 基于动态控制的车道线检测方法、装置及车载设备 |
CN106842193B (zh) * | 2017-02-17 | 2020-03-27 | 北京国电经纬工程技术有限公司 | 道路检测信息的处理方法、装置和系统 |
CN108664016B (zh) * | 2017-03-31 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 确定车道中心线的方法及装置 |
CN108801273B (zh) * | 2017-04-28 | 2021-07-30 | 阿里巴巴(中国)有限公司 | 一种道路参考线的生成方法及装置 |
CN109145680B (zh) * | 2017-06-16 | 2022-05-27 | 阿波罗智能技术(北京)有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
WO2019007508A1 (en) * | 2017-07-06 | 2019-01-10 | Huawei Technologies Co., Ltd. | ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD |
CN107689796B (zh) * | 2017-07-28 | 2021-03-26 | 同济大学 | 一种基于先验信息的无损压缩文件容错解压方法 |
US10816354B2 (en) * | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
CN109506672B (zh) * | 2017-09-15 | 2023-05-12 | 阿里巴巴(中国)有限公司 | 一种路面标记激光点云的获取方法及装置 |
CN109543493B (zh) * | 2017-09-22 | 2020-11-20 | 杭州海康威视数字技术股份有限公司 | 一种车道线的检测方法、装置及电子设备 |
CN109829351B (zh) * | 2017-11-23 | 2021-06-01 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
CN107958225A (zh) * | 2017-12-14 | 2018-04-24 | 阜阳裕晟电子科技有限公司 | 一种基于视频图像处理的车道线提取方法 |
CN108216234A (zh) * | 2018-01-15 | 2018-06-29 | 河北能源职业技术学院 | 一种电动车自适应巡航控制系统及其控制方法 |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
US12270661B2 (en) | 2018-02-14 | 2025-04-08 | Tusimple, Inc. | Lane marking localization and fusion |
US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
CN110443819B (zh) * | 2018-05-03 | 2022-04-15 | 比亚迪股份有限公司 | 一种单轨列车的轨道检测方法和装置 |
CN110487288B (zh) * | 2018-05-14 | 2024-03-01 | 华为技术有限公司 | 一种行车道路的估计方法以及行车道路估计系统 |
CN108960183B (zh) * | 2018-07-19 | 2020-06-02 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
CN109271857A (zh) * | 2018-08-10 | 2019-01-25 | 广州小鹏汽车科技有限公司 | 一种伪车道线剔除方法及装置 |
CN109214314B (zh) * | 2018-08-17 | 2022-03-29 | 宽凳(北京)科技有限公司 | 一种车道线自动融合匹配算法 |
CN111860295B (zh) * | 2018-09-07 | 2023-08-25 | 百度在线网络技术(北京)有限公司 | 基于无人车的障碍物检测方法、装置、设备以及存储介质 |
CN109166353B (zh) * | 2018-09-12 | 2021-08-20 | 安徽中科美络信息技术有限公司 | 一种车辆行驶前方复杂路口导向车道检测方法及系统 |
WO2020063816A1 (zh) | 2018-09-30 | 2020-04-02 | 长城汽车股份有限公司 | 行车坐标系的构建方法及应用 |
CN110379155B (zh) * | 2018-09-30 | 2021-01-26 | 长城汽车股份有限公司 | 用于确定道路目标坐标的方法及系统 |
EP3650271A1 (en) * | 2018-11-09 | 2020-05-13 | Valeo Vision | Lane recognition for automotive vehicles |
CN111174777A (zh) | 2018-11-09 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 定位方法、装置以及电子设备 |
CN111209770B (zh) * | 2018-11-21 | 2024-04-23 | 北京三星通信技术研究有限公司 | 一种车道线识别方法及装置 |
CN109635066A (zh) * | 2018-12-14 | 2019-04-16 | 广东星舆科技有限公司 | 一种地图符号标线的生成方法、存储器及系统 |
CN111325229B (zh) * | 2018-12-17 | 2022-09-30 | 兰州大学 | 一种基于激光雷达的单线数据分析对物体空间封闭的聚类方法 |
CN109816720B (zh) * | 2018-12-21 | 2021-07-20 | 歌尔光学科技有限公司 | 道路中心检测方法、机载设备及存储介质 |
CN109671300B (zh) * | 2019-01-16 | 2021-03-19 | 上海交通大学 | 一种多车协作车道检测方法 |
KR102751271B1 (ko) * | 2019-01-21 | 2025-01-10 | 현대자동차주식회사 | 차선 인식 장치 및 그 방법 |
CN109910744B (zh) * | 2019-03-18 | 2022-06-03 | 重庆睿驰智能科技有限公司 | Ldw车道偏离预警系统 |
CN110413942B (zh) * | 2019-06-04 | 2023-08-08 | 上海汽车工业(集团)总公司 | 车道线方程筛选方法及其筛选模块 |
CN119693896A (zh) | 2019-06-18 | 2025-03-25 | 深圳引望智能技术有限公司 | 确定行驶区域信息的方法及装置 |
CN110196062B (zh) * | 2019-06-27 | 2022-03-25 | 成都圭目机器人有限公司 | 一种单相机跟踪车道线的导航方法 |
CN110378285A (zh) * | 2019-07-18 | 2019-10-25 | 北京小狗智能机器人技术有限公司 | 一种充电座的识别方法、装置、机器人及存储介质 |
JP7329381B2 (ja) | 2019-07-22 | 2023-08-18 | 株式会社ブリヂストン | 制御方法、制御装置、制御システムおよびタイヤ試験方法 |
CN110502797B (zh) * | 2019-07-24 | 2021-06-04 | 同济大学 | 一种基于gnss的车道采集建模系统及方法 |
CN112348874B (zh) * | 2019-08-08 | 2024-05-14 | 北京地平线机器人技术研发有限公司 | 一种车道线的结构化参数表示确定方法及装置 |
CN112348875B (zh) * | 2019-08-08 | 2024-04-16 | 北京地平线机器人技术研发有限公司 | 一种标志杆的结构化参数表示确定方法及装置 |
CN110784680B (zh) * | 2019-08-09 | 2021-02-02 | 中国第一汽车股份有限公司 | 一种车辆定位方法、装置、车辆和存储介质 |
JP7251401B2 (ja) * | 2019-08-09 | 2023-04-04 | 株式会社デンソー | 周辺映像生成装置、周辺映像生成方法、およびプログラム |
CN112435293B (zh) * | 2019-08-24 | 2024-04-19 | 北京地平线机器人技术研发有限公司 | 一种车道线的结构化参数表示确定方法及装置 |
CN110781816A (zh) * | 2019-10-25 | 2020-02-11 | 北京行易道科技有限公司 | 车辆在车道中的横向定位方法、装置、设备及存储介质 |
CN112818727A (zh) * | 2019-11-18 | 2021-05-18 | 华为技术有限公司 | 一种道路约束确定方法及装置 |
CN111169473B (zh) * | 2019-12-19 | 2021-06-25 | 北京联合大学 | 一种基于GroundTruth的车体语言交互数据融合方法及系统 |
EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
EP4130668A4 (en) * | 2020-04-18 | 2023-05-31 | Huawei Technologies Co., Ltd. | METHOD FOR DETERMINING AN ABNORMAL LANE LINE RECOGNITION EVENT, AND LANE LINE RECOGNITION APPARATUS AND SYSTEM |
CN111516703B (zh) * | 2020-04-30 | 2021-09-03 | 国网电力科学研究院有限公司 | 消防车辆自动行驶方法、装置、计算机设备及存储介质 |
US20230176208A1 (en) * | 2020-06-12 | 2023-06-08 | Mitsubishi Electric Corporation | Road shape estimation device, road shape estimation method, and computer-readable medium |
CN112559659B (zh) * | 2020-12-10 | 2021-12-24 | 首都师范大学 | 电子地图的生成方法及设备、行驶数据的采集方法及设备 |
CN112215882B (zh) * | 2020-12-10 | 2021-03-16 | 中智行科技有限公司 | 一种中心线的处理方法及装置 |
WO2022141538A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种轨迹预测方法与装置 |
CN113221748B (zh) * | 2021-05-13 | 2024-05-31 | 江苏金晓电子信息股份有限公司 | 一种基于图像处理的车检雷达车道识别方法 |
CN114199267B (zh) * | 2021-11-25 | 2022-11-29 | 交通运输部公路科学研究所 | 车辆的车道偏离预警测评方法、装置及系统 |
US20230303113A1 (en) * | 2022-02-10 | 2023-09-28 | Motional Ad Llc | Curb-based feature extraction for localization and lane detection using radar |
TWI848499B (zh) * | 2022-12-30 | 2024-07-11 | 鴻海精密工業股份有限公司 | 車道線標註方法、電子設備及電腦儲存介質 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202163431U (zh) * | 2011-06-30 | 2012-03-14 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置 |
CN104108392A (zh) * | 2013-04-11 | 2014-10-22 | 株式会社万都 | 车道估计装置和方法 |
-
2016
- 2016-02-25 CN CN201610104432.6A patent/CN105667518B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202163431U (zh) * | 2011-06-30 | 2012-03-14 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置 |
CN104108392A (zh) * | 2013-04-11 | 2014-10-22 | 株式会社万都 | 车道估计装置和方法 |
Non-Patent Citations (2)
Title |
---|
"Robust multilane detection and tracking in urban scenarios based on LIDAR and mono-vision";崔广涛;《IET IMAGE PROCESSING》;20140331;第8卷(第5期);269-279 * |
"车载雷达多车道目标识别及补偿方法";马国成等;《北京理工大学学报》;20131130;第33卷(第11期);1135-1139 * |
Also Published As
Publication number | Publication date |
---|---|
CN105667518A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105667518B (zh) | 车道检测的方法及装置 | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
Häne et al. | Obstacle detection for self-driving cars using only monocular cameras and wheel odometry | |
CN102222236B (zh) | 图像处理系统及位置测量系统 | |
WO2019175286A1 (en) | Image annotation | |
CN110246159A (zh) | 基于视觉和雷达信息融合的3d目标运动分析方法 | |
CN109791052A (zh) | 用于生成和使用定位参考数据的方法和系统 | |
CN105608417B (zh) | 交通信号灯检测方法及装置 | |
CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
CN111220993A (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
CN109031304A (zh) | 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法 | |
CN114842438A (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
CN103955920A (zh) | 基于三维点云分割的双目视觉障碍物检测方法 | |
CN109584294A (zh) | 一种基于激光点云的路面点云提取方法和装置 | |
Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
CN114325634B (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
Hervieu et al. | Road side detection and reconstruction using LIDAR sensor | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
Ballardini et al. | Ego-lane estimation by modeling lanes and sensor failures | |
KR102664699B1 (ko) | 항공 라이다를 이용한 건물 모델링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
CN115468576B (zh) | 一种基于多模态数据融合的自动驾驶定位方法及系统 | |
CN107808160B (zh) | 三维建筑物提取方法和装置 | |
KR20210098534A (ko) | 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240624 Address after: 363000 No. 16-11, Dong'an Road, Daidong village, Chendai Town, Yunxiao County, Zhangzhou City, Fujian Province Patentee after: Fujian Xiansi New Energy Technology Co.,Ltd. Country or region after: China Address before: 350008, Fuzhou Town, Cangshan Town, Fujian District, Patentee before: FUZHOU HUAYING HEAVY INDUSTRY MACHINERY Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |