CN109190523B - 一种基于视觉的车辆检测跟踪预警方法 - Google Patents
一种基于视觉的车辆检测跟踪预警方法 Download PDFInfo
- Publication number
- CN109190523B CN109190523B CN201810940833.4A CN201810940833A CN109190523B CN 109190523 B CN109190523 B CN 109190523B CN 201810940833 A CN201810940833 A CN 201810940833A CN 109190523 B CN109190523 B CN 109190523B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- area
- region
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 125000001475 halogen functional group Chemical group 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种基于视觉的车辆检测跟踪预警方法。采集图像并标定道路消失线,划分车辆检测区域并进行灰度化,根据采集图像的光照强度分类对车辆检测区域图像进行灰度拉伸;构建训练样本图像并进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征以训练Adaboost级联分类器;将车辆检测区域划分为不同域,通过训练后Adaboost级联分类器用来检测车辆,根据光照强度进行车辆二次判别;当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。本发明降低了计算复杂度,提高了车辆检测准确率。
Description
技术领域
本发明涉及智能交通、汽车电子及视觉车辆检测跟踪碰撞预警方法,涉及 到一种基于视觉的车辆检测跟踪预警方法。
背景技术
随着汽车销量的不断增长,道路交通事故也在不断增加,2017年12月19 号国家安全监管总局和交通运输部联合发布公告称虽然近年来我国道路交通事 故降幅明显,但依然高发,2016年共接到864.3万起交通事故报告,同比增加 65.9万起,与同期相比上升2.9%,共造成63093人死亡,226430人受伤,万车 死亡率高达2.14。2017年3月7日,交通运输部发布了《营运客车安全技术条 件》(JT/T 1094-2016),并于2017年4月1日开始实施,标准中提出:超过9米 以上的客车需具有前方碰撞预警和车道偏离预警等驾驶辅助功能。这表明国家开 始出台相应的法律法规来推动主动安全驾驶技术的落地,以此来降低交通事故的 发生率。
中国的辅助驾驶行业渗透率只有2%左右,且集中在高端车型,价格昂贵, 随着车辆数量的不断增加,研发高性价比的车辆碰撞预警系统显得十分必要。
车辆检测是碰撞预警系统中最为重要的模块之一。目前基于视觉的车辆检测 方法大致分为如下5类:第一类为基于模板的车辆检测方法,需要创建大量的模 板和参数,并且要实时的观测和更新模板,在实际使用过程中由于车辆的不同外 形、尺度以及行进过程中的形变所带来的外形差异造成了模板的无穷无尽,所以 基于模板的车辆检测对于移动场所并不合适。第二类为基于光流的方法,根据图 像序列的像素点灰度变化来实现车辆运动参数的获取,从而得到车辆的位置等信 息,该种方法只能检测动态车辆目标。第三类为基于特征的方法,利用车底阴影、 车辆轮廓、车辆边缘、车尾角点、车灯等,根据这些先验知识来检测车辆,该种 方法特征简单,检测率较低。第四类为传统的机器学习方法,该方法检测速度快、 准确率较高,但模型的泛化能力较差。第五类为基于深度学习的目标检测方法,该种方法识别能力强、准确率高,但是计算量大,对硬件的要求较高。
检测效果较好的车辆检测算法需要较大的计算资源,使得硬件的成本较高, 经优化后的车辆检测算法可以提高车辆的检测速度,降低对硬件的依赖,可以提 高车辆辅助系统的性价比。
发明内容
为了解决上述技术问题,本发明提出了一种基于视觉的车辆检测跟踪预警方 法。该系统通过车载摄像头实时采集图像,通过车辆检测算法得到前方车辆相对 本车的位置、距离、碰撞时间信息,当发生潜在危险时,进行提前预警。
本发明的技术方案为一种基于视觉的车辆检测跟踪预警方法,具体包括以下 步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
作为优选,步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原 点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值, Rr(xrr,yrr)代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
作为优选,步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
作为优选,步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域 Rm和近域Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右 边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti;
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αl-αr<200;
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
作为优选,步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4 跟踪到车辆后,用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β则提醒预警。
与现有技术相比,本发明具有如下优点:
本发明提出的车辆检测跟踪预警方法适合在全天候环境下运行,能适应日间、 夜间、雨天、雨天等场景;
本发明提出了一种依据道路灭点自动获取检测域的方法,并根据车辆空间分 布的特点,将检测域进行了多区域划分,极大地减少了车辆检测算法的计算量, 使得能用较少的计算资源得到较好的检测效果;
本发明结合haar特征、LBP特征、角点特征、平行直线特征、尾灯对特征 进行车辆检测,提高了车辆检测算法的准确率;
本发明依据碰撞时间和车道线进行预警,根据车道线进行预警提高了车辆预 警的准确性。
附图说明
图1:本发明的方法流程示意图;
图2:本发明的预警结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对 本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解 释本发明,并不用于限定本发明。
下面结合图1至图2介绍本发明的实施方式,具体包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域, 将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分 类对车辆检测区域图像进行灰度拉伸;
步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐 标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线, 使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水 平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区 域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车 辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代 表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图 片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边 采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05h];
xr∈[0.1u,0.9u],yr∈[0.95h,h],m为天空左边采样区域的像素数量,n为右 边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为 正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以 及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训 练Adaboost级联分类器;
步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含 车辆的负样本图像,M1:M2=1:3,通过样本的积分图分别计算正负样本图像的haar 特征值:
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像 的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征 值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特 征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k 的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个 像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置 记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的 十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算 法来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost 级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤3中所述将步骤1中车辆感兴趣区域划分为远域Rf,中间域Rm和近域Rn, 其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在 每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:w∈[20,30],h∈[20,30];
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域 的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入 到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
步骤3中所述根据光照强度进行车辆二次判别为:
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正 常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用 于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取 车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直 线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和 车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ 为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直 线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否 为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度 值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200, 得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri; Ai的面积为Ai.area,Ri的面积为Riarea,删除面积小于L个像素的轮廓,然后求 其面积之差Si=Riarea-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计 算像素值为1的面积,记为Ti;
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮 廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area, 右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的 水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的 长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr, 左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αl-αr<200;
若以上条件均满足则该区域为车辆区域,否则为非车辆区域;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本 车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警。
步骤5中所述对车辆进行跟踪为通过所述步骤1至所述步骤4跟踪到车辆后, 用基于位置的距离估计方法计算前方车辆到本车的距离:
本车车头到前车尾部的距离为d:
其中,H为摄像头安装高度,α为摄像头的视野角,θc为安装后摄像头光 轴和竖直方向的夹角,hi是摄像头所成图像的像素高度,dp为所成图像中车辆 尾部到图像顶端的像素距离,f为摄像头的焦距,d1为摄像头到车头最前端的 水平距离,d2为摄像头到前方车辆尾部的水平距离,θv为车辆尾部下方进入摄 像头的光线与垂直方向的夹角;
根据车载GPS模块在行车过程中实时采集本车车速v,相对碰撞时间t=d/v;
若t<β,β=2.7s,则提醒预警。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是 对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不 脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发 明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.一种基于视觉的车辆检测跟踪预警方法,其特征在于,包括以下步骤:
步骤1:采集图像并标定道路消失线,根据道路消失线划分车辆检测区域,将车辆检测区域灰度化,根据采集图像进行光照强度分类,并且根据光照强度分类对车辆检测区域图像进行灰度拉伸;
步骤2:构建训练样本图像,对训练样本图像进行人工标注为正样本图像以及负样本图像,提取正样本图像以及负样本图像的haar特征与LBP特征用来训练Adaboost级联分类器;
步骤3:将车辆检测区域划分为近域,中间域,远域,通过训练后Adaboost级联分类器用来检测车辆,并且根据光照强度进行车辆二次判别;
步骤4:当检测出车辆后运用KCF目标跟踪方法对车辆进行跟踪;
步骤5:对车辆进行跟踪,通过基于位置的距离估计方法计算前方车辆到本车的距离,根据本车速度以及车辆到本车的距离计算碰撞时间以提醒预警;
步骤3中所述将车辆检测区域划分为近域,中间域,远域,记远域为Rf,中间域为Rm,近域为Rn,其中近域又划分为近域左边区域Rnl,近域中间区域Rnm,近域右边区域Rnr,在每个区域内计算haar特征时滑动窗口大小范围如下:
远域Rf:e∈[20,30],h∈[20,30];
w,h为计算haar特征值时滑动窗口的大小,H为步骤1中所述车辆检测区域的高度;
根据步骤2分别计算不同车辆感兴趣区域内的haar特征与LBP特征,输入到步骤训练后Adaboost级联分类器,即可判断该区域内是否有车辆;
若判断出存在车辆,根据步骤1对光照强度进行分类,若为强光场景或者正常光照场景,提取车辆感兴趣区域所述域内车辆的尾部角点特征以及直线特征用于二次判别是否为车辆区域:
车辆感兴趣区域所述域内车辆的尾部角点特征通过FAST角点检测算法提取车辆尾部FAST角特征,并且统计该区域的车辆尾部FAST角特征点的数量;
车辆感兴趣区域所述域内车辆的直线特征用霍夫变换提取该区域的平行直线,统计出该区域的车辆尾部平行直线数量;
用单位长度内两种特征的平均数量来表示车辆尾部FAST角特征点的数量和车辆尾部平行直线的数量与车辆大小的关系:
Vscore=(λ·nc+nl)/Vwidth
其中,Vscore表示车辆尾部FAST角特征点和平行直线融合之后的特征值,λ为比例系数且λ>1,nc为车辆尾部FAST角特征点的数量,nl为车辆尾部平行直线的数量,Vwidth为检测到的车辆像素宽度;
若Vscore≥0.5则该区域为车辆区域,否则为非车辆区域;
若为弱光场景该提取车辆感兴趣区域所述域内车辆尾灯进行二次判别是否为车辆区域:
将车辆感兴趣区域进行RGB三通道彩色空间分离,分别得到三个通道的灰度值Mat_R,Mat_G,Mat_B;
用Mat_R减去Mat_G得到灰度图Diff_RG;
对灰度图Diff_RG进行二值化处理,得到红色光晕的二值图Thresh_RG;
在RGB三通道图像中提取尾灯高亮区域,即分别取R≥200,G≥200,B≥200,得到尾灯区域二值图Mat_bright;
在Mat_bright中通过Canny算法提取尾灯轮廓Ai和尾灯轮廓的外接矩形Ri;Ai的面积为Ai.area,Ri的面积为Ri.area,删除面积小于L个像素的轮廓,然后求其面积之差Si=Ri.area-Ai.area;
在红色光晕的二值图Thresh_RG的相对应尾灯轮廓的外接矩形Ri区域中,计算像素值为1的面积,记为Ti;
车辆感兴趣区域通过以上方法得到左尾灯轮廓Al、右尾灯轮廓Ar,左尾灯轮廓的外接矩形Rl、右尾灯轮廓的外接矩形Rr,左尾灯轮廓的面积为Sl=Al.area,右尾灯轮廓的面积为Sr=Ar.area,Rl中心连线的水平角度为αl,Rr中心连线的水平角度为αr,左尾灯轮廓的外接矩形Rl的长为Ll,右尾灯轮廓的外接矩形Rr的长为Lr,左尾灯轮廓的外接矩形Rl的宽为Wl,右尾灯轮廓的外接矩形Rr的宽为Wr,左尾灯轮廓Al的质心与右尾灯轮廓Ar的质心距离为d;
αl-αr<200;
若以上条件均满足则该区域为车辆区域,否则为非车辆区域。
2.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤1中所述采集图像宽度为u,高度为v,以图像左上角为原点,建立坐标系;
步骤1中所述标定道路消失线为:
当在车辆后视镜处固定好摄像头之后,首先通过转动摄像头标定道路消失线,使相机内纵坐标为y且中点坐标为(x,y)的直线,与图像内道路的尽头位置水平线重合,选取以为顶点的矩形区域作为车辆检测区域,W为车辆检测区域的宽度,H为车辆检测区域的高度;
步骤1中所述车辆检测区域灰度化为采用加权平均法:
f(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)
其中,f(i,j)为灰度化后像素点的灰度值,R(i,j),G(i,j),B(i,j)分别为车辆检测区域每个像素点的R值、G值、B值;
步骤1中所述光照强度分类为:
其中,Is(λ)代表天空平均光场强度值,IR(λ)代表道路平均光场强度值,I(λ)代表天空道路平均光场强度值,λ≤0.5代表比例系数,Sl(xs,ys)代表摄像机采集图片内天空左边采样区域的像素灰度值,Sr(xs,ys)代表摄像机采集图片内天空右边采样区域内的像素灰度值xs∈[0.1u,0.9u],ys∈[0,0.05v];
Rl(xr,yr)代表摄像机采集图片内道路左边采样区域的像素灰度值,Rr(xr,yr)代表摄像机采集图片内道路右边采样区域内的像素灰度值,
xr∈[0.1u,0.9u],yr∈[0.95v,v],m为天空左边采样区域的像素数量,n为右边采样区域的像素数量,M代表采样区域内的像素灰度最大值;
对于不同的光场强度值,当I(λ)<95时为弱光场景,当95<I(λ)<180为正常光照场景,当I(λ)>180时为强光场景;
步骤1中所述根据光照强度分类对车辆检测区域图像进行灰度拉伸:
Y(i,j)为灰度拉伸后灰度值,f(i,j)为灰度图灰度拉伸前灰度值。
3.根据权利要求1所述的基于视觉的车辆检测跟踪预警方法,其特征在于:步骤2中所述训练样本为M张k*k的样本图像;
对M张样本图像进行人工标注为M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像,通过样本的积分图分别计算正负样本图像的haar特征值:
H(i)=A(x-1,y-1)+A(x+w-1,y+w-1)-A(x-1,y+h-1)-A(x+w-1,y-1)
其中,A(x,y)为灰度拉伸后样本的积分图,H(i),i∈[0,M]为正负样本图像的haar特征值,w为计算haar特征值时滑动窗口的宽度,h为计算haar特征值时滑动窗口的高度;
计算M1张包含车辆的正样本图像与M2张不包含车辆的负样本图像的LBP特征为:
通过步骤1处理进行灰度拉伸,灰度拉伸处理后以Y(i,j)中心像素选取k*k的邻域,一共有k2个像素值,将中间的像素值ic设为阈值,其它(k*k-1)个像素值和中间的值比较,若大于阈值则该像素点位置记为1,否则该像素点位置记为0,这样便在区域内生成了(k*k-1)位二进制数,该二进制数所代表的十进制值即为中心像素的LBP值L(i),i∈[0,M];
正样本图像以及负样本图像的haar特征H(i)与LBP特征L(i)用Adaboost算法来训练Adaboost级联分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810940833.4A CN109190523B (zh) | 2018-08-17 | 2018-08-17 | 一种基于视觉的车辆检测跟踪预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810940833.4A CN109190523B (zh) | 2018-08-17 | 2018-08-17 | 一种基于视觉的车辆检测跟踪预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109190523A CN109190523A (zh) | 2019-01-11 |
CN109190523B true CN109190523B (zh) | 2021-06-04 |
Family
ID=64918282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810940833.4A Active CN109190523B (zh) | 2018-08-17 | 2018-08-17 | 一种基于视觉的车辆检测跟踪预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109190523B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887281B (zh) * | 2019-03-01 | 2021-03-26 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及系统 |
CN109948582B (zh) * | 2019-03-28 | 2021-03-02 | 湖南大学 | 一种基于跟踪轨迹分析的车辆逆行智能检测方法 |
CN110415561B (zh) * | 2019-06-14 | 2021-07-02 | 青岛科技大学 | 一种非冲突会遇局面下船舶集群态势分析方法 |
US11501433B2 (en) | 2019-11-18 | 2022-11-15 | Boston Scientific Scimed, Inc. | Systems and methods for processing electronic medical images to determine enhanced electronic medical images |
CN111091061B (zh) * | 2019-11-20 | 2022-02-15 | 浙江工业大学 | 一种基于视频分析的车辆刮蹭检测方法 |
CN111414857B (zh) * | 2020-03-20 | 2023-04-18 | 辽宁工业大学 | 一种基于视觉的多特征融合的前方车辆检测方法 |
CN111422190B (zh) * | 2020-04-03 | 2021-08-31 | 北京四维智联科技有限公司 | 一种后装车机的前向碰撞预警方法及系统 |
CN111914627A (zh) * | 2020-06-18 | 2020-11-10 | 广州杰赛科技股份有限公司 | 一种车辆识别与追踪方法及装置 |
CN111879360B (zh) * | 2020-08-05 | 2021-04-23 | 吉林大学 | 一种黑暗场景中自动驾驶辅助安全预警系统及其预警方法 |
CN112818736A (zh) * | 2020-12-10 | 2021-05-18 | 西南交通大学 | 应急指挥大数据支撑平台 |
CN113643325B (zh) * | 2021-06-02 | 2022-08-16 | 范加利 | 一种用于航母舰面舰载机碰撞警告的方法及系统 |
CN114066968A (zh) * | 2021-11-05 | 2022-02-18 | 郑州高识智能科技有限公司 | 一种基于视觉图像处理的车速测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8379926B2 (en) * | 2007-12-13 | 2013-02-19 | Clemson University | Vision based real time traffic monitoring |
CN103455820A (zh) * | 2013-07-09 | 2013-12-18 | 河海大学 | 基于机器视觉技术的车辆检测和跟踪方法及系统 |
CN107704833A (zh) * | 2017-10-13 | 2018-02-16 | 杭州电子科技大学 | 一种基于机器学习的前方车辆检测与跟踪方法 |
-
2018
- 2018-08-17 CN CN201810940833.4A patent/CN109190523B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8379926B2 (en) * | 2007-12-13 | 2013-02-19 | Clemson University | Vision based real time traffic monitoring |
CN103455820A (zh) * | 2013-07-09 | 2013-12-18 | 河海大学 | 基于机器视觉技术的车辆检测和跟踪方法及系统 |
CN107704833A (zh) * | 2017-10-13 | 2018-02-16 | 杭州电子科技大学 | 一种基于机器学习的前方车辆检测与跟踪方法 |
Non-Patent Citations (2)
Title |
---|
Vehicle detection combining gradient analysis and AdaBoost classification;A. Khammari 等;《2005 IEEE Intelligent Transportation Systems》;20050916;第66-71页 * |
基于机器视觉的辅助驾驶系统中预警系统设计;毛河;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;I140-1236 * |
Also Published As
Publication number | Publication date |
---|---|
CN109190523A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190523B (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
Siogkas et al. | Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information | |
US9384401B2 (en) | Method for fog detection | |
EP1671216B1 (en) | Moving object detection using low illumination depth capable computer vision | |
CN104021378B (zh) | 基于时空关联与先验知识的交通信号灯实时识别方法 | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
CN103984950B (zh) | 一种适应白天检测的运动车辆刹车灯状态识别方法 | |
CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
CN105488454A (zh) | 基于单目视觉的前方车辆检测与测距 | |
CN106652468A (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
CN103927548B (zh) | 一种新的避免车辆碰撞的刹车行为检测方法 | |
CN107038420A (zh) | 一种基于卷积网络的交通信号灯识别算法 | |
Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
CN109948552B (zh) | 一种复杂交通环境中的车道线检测的方法 | |
CN104778444A (zh) | 道路场景下车辆图像的表观特征分析方法 | |
CN105488453A (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
Andreone et al. | Vehicle detection and localization in infra-red images | |
Lin et al. | Adaptive IPM-based lane filtering for night forward vehicle detection | |
CN111414857B (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
CN105117696B (zh) | 一种基于小线分析的未系安全带自动检测方法 | |
CN116721547B (zh) | 一种面向交叉口右转区域大货车的安全指导系统与方法 | |
CN107316002A (zh) | 一种基于主动学习的夜间前方车辆识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |