CN107292260A

CN107292260A - 基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法

Info

Publication number: CN107292260A
Application number: CN201710452155.2A
Authority: CN
Inventors: 陈先桥; 施辉; 李欢; 杨英
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2017-06-15
Filing date: 2017-06-15
Publication date: 2017-10-24

Abstract

本发明公开了一种基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法，包括以下步骤：1)通过原始的浓雾天交通监控视频获取图像序列，提取图像的G分量图；2)在图像G分量图下根据车灯的亮度特征来进行自适应的阈值计算，对分割出的车灯区域进行形态学的处理和外接矩形框的提取；3)在提取的车灯区域外接矩形框下通过车灯之间的关系进行筛选配对；然后通过配对前照灯与配对雾灯之间的关联完成两组车灯对之间的配对，完成车辆的检测；4)利用反射光的邻域特征进行反射光的剔除，消除其对车辆检测的干扰。本发明可以在浓雾天恶劣环境下，通过基于车灯的配对以及前照灯和雾灯的关联配对，完整地检测出浓雾天视频图像中的车辆。

Description

基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法

技术领域

本发明涉及车辆检测技术，尤其涉及一种基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法。

背景技术

雾天环境下，由于能见度较低，驾驶员看不清周围的交通标志、路面设施和行人等，从而极易导致交通事故的发生。同时，在雾天行车的过程中，车速一般较慢，在上下班高峰期间，车流量较大，易造成车辆堵塞。因此，在雾天环境下对车辆进行检测跟踪，提取相应的交通参数，对相关部门及时制定交通诱导政策、进行交通流控制和实施安全救援具有非常重大的意义。

在浓雾情况下，运动目标与背景之间的灰度值相差很小，车辆的多种特征如外形轮廓、颜色、纹理等很难完整地呈现在视频帧里，背景建模复杂，参照物少，背景差分法不再可行。而浓雾情况下行车速度缓慢，利用帧间差分法进行车辆的检测不能检测出车辆的完整轮廓甚至不能检测出车辆。因此，在目前的车辆检测技术中，急需构造一种能在浓雾天这种恶劣天气情况下的车辆检测方法。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法，包括以下步骤：

1)通过原始的浓雾天交通监控视频获取图像序列，根据浓雾天强退化图像的特点进行图像预处理，提取效果最好的G分量图，所述图像预处理包括提取图像的R、G、B三种通道图像，并对比各通道图像的清晰度、噪声大小等指标，选取效果最好的通道图像进行后续的处理；所述浓雾天为能见度小于0.1公里的天气状况；

2)在图像G分量图下根据车灯的亮度特征来进行自适应的阈值计算，强化车灯区域的特征并将其分割出来，接着对分割出的车灯区域进行形态学的处理，之后再进行外接矩形框的提取；

3)在提取的车灯区域外接矩形框下通过车灯之间的关系进行筛选配对，所述车灯包括前照灯与雾灯；然后通过配对前照灯与配对雾灯之间的关联完成两组车灯对之间的配对，完成车辆的检测；

4)利用反射光的邻域特征进行反射光的剔除，消除其对车辆检测的干扰。

按上述方案，所述步骤(2)包括：

2.1)首先遍历图像的灰度直方图，并对其中的所有波谷进行标注，然后根据浓雾天车灯的高亮特性，选取灰度值最大的波谷作为车灯分割的阈值，得到分割出的前景图像；

2.2)对前景图像进行形态学处理时，首先采用3*3的结构对图像进行一次开运算，消除二值化图像中的噪声点，再选取相同的结构元素进行一次闭运算，填充车灯部分的空洞；

2.3)使用区域生长法来提取车灯的外接矩形框，同时记录车灯的位置信息及长宽比。

按上述方案，所述步骤2.3)中记录车灯的位置信息及长宽比具体如下：

建立一个车灯链表List1，分别存储外接矩形框C_i的左下角和右上角坐标(x_LD,i,y_LD,i)，(x_RU,i,y_RU,i)，及其长宽比为CK_i，并将该连通区域进行编号，将各区域的车灯数量设置为1，其中CK_i满足下式，

式中：CK_i为车灯长宽比；(x_LD,i,y_LD,i)为矩形框C_i的左下角坐标；(x_RU,i,y_RU,i)为矩形框C_i的右上角坐标；

最小外接矩形框的中心点坐标(h_i,w_i)满足下式：

h_i＝(x_LD,i+x_RU,i)/2,w_i＝(y_LD,i+y_RU,i)/2

式中：h_i为最小外接矩形框C_i中心点横坐标；w_i为最小外接矩形框C_i中心点纵坐标；(x_LD,i,y_LD,i)为矩形框C_i的左下角坐标；(x_RU,i,y_RU,i)为矩形框C_i的右上角坐标。

按上述方案，所述步骤3)中车辆的检测的具体方法如下：

3.1)车灯配对的匹配率的计算：

式中：E为车灯匹配率；α为车灯对称性的权重；E_angle为两车灯在水平方向上的倾斜程度；_β为车灯间距的权重；E_dist为车灯间距的匹配率；γ为车灯相似性的权重；E_Area为两车灯面积的归一化差值；

每个车灯有且仅有另一个车灯与之匹配，匹配度最高的两车灯即配对成功；

3.2)匹配成功后，建立一个车灯配对链表List2，存储配对成功的车灯编号及其坐标信息，并将该车灯对中的车灯数量更新为2。若车灯C_i与C_j配对成功，且根据List1中存储的信息可知，C_i的左下角坐标为(x_LD,i,y_LD,i)，车灯C_j的右上角坐标为(x_RU,j,y_RU,j)，则建立一个新的矩形框M，并在List2中存放其左下角和右上角坐标(x_LD,i,y_LD,i)，(x_RU,j,y_RU,j)，M代表一个车灯对；

3.3)车前照灯组与雾灯组的关联匹配。

按上述方案，所述步骤3.1)中车灯配对的特征计算如下：

两车灯在水平方向上的倾斜程度E_angle则应满足下式：

式中：E_angle为两车灯在水平方向上的倾斜程度；(h₁,w₁)为待匹配车灯1的中心点坐标；(h₂,w₂)为待匹配车灯2的中心点坐标；

设d_th为设定的车灯间距离，则车灯间距离的匹配率E_dist满足下式：

式中：E_dist为车灯间距离的匹配率；d_th为设定的车灯间距离；

设A₁、A₂分别为两车灯的面积，E_Area为两车灯面积的归一化差值，则两车灯大小的相似度如下式所示：

式中：E_Area为两车灯面积的归一化差值；A₁为待匹配车灯1的面积；A₂为待匹配车灯2的面积。

按上述方案，所述步骤3.3)车前照灯组与雾灯组的关联匹配具体如下：

将两组车灯对的质心位置、纵向距离及最小外接矩阵框的面积大小作为关联配对的标准，其过程如下：

根据各车灯对的外接矩形框的坐标位置计算其质心位置，设车灯对M_i的左下角坐标为(x_LD,i,y_LD,i)，右上角坐标为(x_RU,i,y_RU,i)，则其质心位置(x_c,i,y_c,i)满足下式：

式中：(x_c,i,y_c,i)为第i组车灯质心位置坐标；(x_LD,i,y_LD,i)为车灯对M_i的左下角坐标；(x_RU,i,y_RU,i)为车灯对M_i的右上角坐标；M_i为在上述步骤3.2)中定义的车灯对，此时代表第i个车灯对；

首先比较两矩形框的面积大小，当两矩形框的面积相似时，再设置一定的的阈值，比较其质心位置的横坐标与纵坐标的差值，当该差值的绝对值在阈值范围内时，即认为该两组车灯对属于同一车辆。具体见下式：

式中：s(i,j)为判断结果，即第i组车灯对和第j组车灯对是否属于同一车辆；T_x为两个矩形框质心位置横坐标差值；T_y为两个矩形框质心位置纵坐标差值；(x_c,i,y_c,i)为第i组车灯质心位置坐标；(x_c,j,y_c,j)为第j组车灯质心位置坐标；

通过实验，选取合适的T_x，T_y值，来获得较高的关联配对精度。对于关联配对成功的车灯对M_i，M_j，提取其最小外接矩形框，并以此矩形框来表征一辆车，以此来获取车辆检测结果，同时建立一个车辆链表List3，存放各车灯的编号及车辆的外接矩形框坐标，并将车灯的数量更新为3。设矩形框左下角和右上角的坐标分别为(X_LD,k，Y_LD,k)、(X_RU,k，Y_RU,k)。

根据先验知识可知，在图像中左侧雾灯总在前照灯右下方，右侧雾灯则在前照灯的左下方，从配对链表List2中获取M_i，M_j的左上角和右上角坐标位置(x_LD,i，y_LD,i)、(x_LD,j，y_LD,j)、(x_RU,i，y_RU,i)、(x_RU,j，y_RU,j)，则车辆链表中各车辆的坐标满足下式：

式中：(X_LD,k，Y_LD,k)为代表车辆矩形框的左下角坐标；(X_RU,k，Y_RU,k)为代表车辆矩形框的右上角坐标(x_LD,i,y_LD,i)为车灯对M_i的左下角坐标；(x_RU,i,y_RU,i)为车灯对M_i的右上角坐标；M_i为在上述步骤(3.2)中定义的车灯对，此时代表第i个车灯对。

按上述方案，所述步骤4)中根据区域生长法搜索二值化图像中的前景目标，当该目标下方距离较近处存在着另一前景目标时，则该目标与下方目标均为车灯；反之，若该车灯独立存在时，则为反射光，并将反射光区域的像素值置为0，实现反射光的剔除。

本发明产生的有益效果是：

本发明可以在浓雾天恶劣环境下，当车辆在行进过程中不按照车道线行驶时，通过基于车灯的对称性等特征进行车灯的配对以及前照灯和雾灯的关联配对，完整地检测出浓雾天视频图像中的车辆。在浓雾天环境下实现对车辆的完整检测，交管部门能够从中提取出相应的交通流等交通参数，进而对相应的交通参数进行分析，该分析结果能为交管部门进行后续交通安全和交通监控管理带来理论支持，同时还能为相关部门及时制定交通诱导政策、进行交通流控制和实施安全救援提供一定性的数据支撑。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法流程图。

图2是本发明实施例中对前景图像进行形态学处理以及连通区域的标定的流程图。

图3是本发明实施例中对车灯的配对以及车前灯与雾灯的关联匹配的流程图。

图4是本发明实施例完整流程实验结果图。

图4中：(a)浓雾天源图像；(b)源图像G分量图；(c)阈值分割图；(d)形态学处理效果图；(e)车灯最小外接矩形框提取效果图；(f)车灯配对效果图；(g)前照灯与雾灯关联配对效果图；(h)基于邻域的反射光剔除效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法包括以下步骤：

步骤S100、输入浓雾天环境下拍摄的视频图像序列，该视频图像可从交管部门发布的浓雾天气城市交通路口的道路运行情况视频中截取相应的图像帧序列。

步骤S200、对原始的浓雾天交通监控视频进行颜色空间转换的过程中，分别提取该视频图像序列中的R、G、B通道图像，对比各通道图像的清晰度、噪声大小等，通过对比各通道图像的清晰度、噪声大小等因素，最终选择对图像的G分量图进行进一步的处理。

步骤S300、遍历图像的灰度直方图，并对其中的所有波谷进行标注，然后根据浓雾天车灯的高亮特性，选取灰度值最大的波谷作为车灯分割的阈值，得到分割出的前景图像。

步骤S400、主要包括对经过步骤S300处理过后的前景图像进行形态学处理以及连通区域的标定，如图2所示，具体包括以下两个步骤：

步骤S401、对步骤S300处理过后的前景图像进行形态学处理。采用3*3的结构对图像进行一次开运算，消除二值化图像中的噪声点，再选取相同的结构元素进行一次闭运算，填充车灯部分的空洞。

步骤S402、对步骤S401处理过的图像进行连通区域标定。使用区域生长法来提取车灯的外接矩形框，同时记录车灯的位置信息及长宽比，具体做法为：

建立一个车灯链表List1，分别存储矩形框C_i的左下角和右上角坐标(x_LD,i,y_LD,i)，(x_RU,i,y_RU,i)，及其长宽比为CK_i，并将该连通区域进行编号，将各区域的车灯数量设置为1，其中CK_i满足下式。

式中：CK_i—车灯长宽比；(x_LD,i,y_LD,i)—矩形框C_i的左下角坐标；(x_RU,i,y_RU,i)—矩形框C_i的右上角坐标；

最小外接矩形框的中心点坐标(h_i,w_i)满足下式：

h_i＝(x_LD,i+x_RU,i)/2,w_i＝(y_LD,i+y_RU,i)/2

式中：h_i—最小外接矩形框C_i中心点横坐标；w_i—最小外接矩形框C_i中心点纵坐标；(x_LD,i,y_LD,i)—矩形框C_i的左下角坐标；(x_RU,i,y_RU,i)—矩形框C_i的右上角坐标。

步骤S500、车灯的配对以及车前灯与雾灯的关联匹配。如图3所示，主要包括以下两个步骤：

步骤S501、基于多特征的车灯配对，多特征主要指以下几个方面：

a)对称性。由于摄像机在拍摄时是沿水平方向的，因此同一车辆的两车灯中心点近似处于同一水平线。两车灯中心点的坐标(h₁,w₁)，(h₂,w₂)，两车灯在水平方向上的倾斜程度E_angle则应满足下式：

式中：E_angle—两车灯在水平方向上的倾斜程度；(h₁,w₁)—车灯1的中心点坐标；(h₂,w₂)—车灯2的中心点坐标；

当E_angle值越小时，两车灯的位置越接近同一水平线，配对成功的可能性越大。当两车灯处于同一水平线位置时，具有最大的优先匹配权。

b)车灯间距离的大小。不同型号的车辆两前照灯之间的距离不同，但距离值在一定区间范围内，设d_th为设定的车灯间距离，则车灯间距离的匹配率E_dist满足下式：

式中：E_dist—车灯间距离的匹配率；d_th—设定的车灯间距离；

E_dist越小，则两车灯间的距离匹配率越高，E_dist决定了同一水平线上的两车灯的第二优先匹配。

c)相似性。同一对车灯的面积大小近似相同，设A₁、A₂分别为两车灯的面积，E_Area为两车灯面积的归一化差值，则两车灯大小的相似度如下式所示：

式中：E_Area—两车灯面积的归一化差值；A₁—车灯1的面积；A₂—车灯2的面积；d_th—设定的车灯间距离；

当E_Area越小，车灯面积的相似性越高，E_Area决定了面积大小最接近的两车灯具有第三配对优先权。

d)唯一性。每个车灯有且仅有另一个车灯与之匹配，匹配度最高的两车灯即配对成功。

综合车灯配对时的四个性质，赋予不同的权值来进行综合配对，匹配率E的计算方法如下式所示：

式中：E—车灯匹配率；α—对称性的权重；E_angle—两车灯在水平方向上的倾斜程度；_β—车间距的权重；E_dist—车灯间距离的匹配率；γ—相似性的权重；E_Area—两车灯面积的归一化差值；

E值越小，匹配成功的概率越大。通过实验，选取最佳的特征值权重，从而得到更高的匹配精度；

匹配成功后，建立一个车灯配对链表List2，存储配对成功的车灯编号及其坐标信息，并将该车灯对中的车灯数量更新为2。若车灯C_i与C_j配对成功，且根据List1中存储的信息可知，C_i的左下角坐标为(x_LD,i,y_LD,i)，车灯C_j的右上角坐标为(x_RU,j,y_RU,j)，则建立一个新的矩形框M，并在List2中存放其左下角和右上角坐标(x_LD,i,y_LD,i)，(x_RU,j,y_RU,j)，M代表一个车灯对。

步骤S502、车前照灯组与雾灯组的关联匹配。主要将两组车灯对的质心位置、纵向距离及最小外接矩阵框的面积大小作为关联配对的标准，其过程如下：

式中：(x_c,i,y_c,i)—第i组车灯质心位置坐标；(x_LD,i,y_LD,i)—车灯对M_i的左下角坐标；(x_RU,i,y_RU,i)—车灯对M_i的右上角坐标；M_i—在上述(3-1)中定义的车灯对，此时代表第i个车灯对；

式中：s(i,j)—判断结果，即第i组车灯对和第j组车灯对是否属于同一车辆；T_x—两个矩形框质心位置横坐标差值；T_y—两个矩形框质心位置纵坐标差值；(x_c,i,y_c,i)—第i组车灯质心位置坐标；(x_c,j,y_c,j)—第j组车灯质心位置坐标；

通过实验，选取合适的T_x，T_y值，来获得较高的关联配对精度。经过实验的，得出了一组值，当T_x，T_y分别取5和15时，关联配对精度最高。对于关联配对成功的车灯对M_i，M_j，提取其最小外接矩形框，并以此矩形框来表征一辆车，以此来获取车辆检测结果。同时建立一个车辆链表List3，存放各车灯的编号及车辆的外接矩形框坐标，并将车灯的数量更新为3。设矩形框左下角和右上角的坐标分别为(X_LD,k，Y_LD,k)、(X_RU,k，Y_RU,k)。

根据先验知识可知，在图像中左侧雾灯总在前照灯右下方，右侧雾灯则在前照灯的左下方。从配对链表List2中获取M_i，M_j的左上角和右上角坐标位置(x_LD,i，y_LD,i)、(x_LD,j，y_LD,j)、(x_RU,i，y_RU,i)、(x_RU,j，y_RU,j)，则车辆链表中各车辆的坐标满足下式：

式中：(X_LD,k，Y_LD,k)—代表车辆矩形框的左下角坐标；(X_RU,k，Y_RU,k)—代表车辆矩形框的右上角坐标(x_LD,i,y_LD,i)—车灯对M_i的左下角坐标；(x_RU,i,y_RU,i)—车灯对M_i的右上角坐标；M_i—在上述(3-1)中定义的车灯对，此时代表第i个车灯对。

步骤S600、利用反射光的邻域特征进行反射光的剔除，消除其对车辆检测的干扰。其具体做法为：根据区域生长法搜索二值化图像中的前景目标，当该目标下方距离较近处存在着另一前景目标时，则该目标与下方目标均为车灯；反之，若该车灯独立存在时，则为反射光，并将反射光区域的像素值置为0，实现反射光的剔除。

上述过程即为基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法整个技术方案，随后进行实验测试，图4(a)为浓雾天源图像，从该图可以看出在浓雾天环境下，车辆信息显得很模糊，不易检测。图4(b)为源图像的G分量图，从该图可以看出，G分量图在弱化背景图像时，也突出了车灯区域。图4(c)为经过步骤S300处理过后得到的阈值分割图，从该图可以看出车前灯与雾灯均能被独立检测出来，且反射光的面积较小。图4(d)为经过步骤S401处理过后得到的图像，从该图可以看出车辆前照灯与雾灯能良好地分割开来。图4(e)为经过步骤S402处理过后得到的图像，从该图可以看出使用该方法能够较好的提取出车灯最小外接矩形框。图4(f)为经过步骤S501处理过后得到的图像，从该图中可以看出对于车辆前照灯以及雾灯都能较好的配对成功，且同时还配对了由于反射光所形成的矩形区域框。图4(g)为经过步骤S502处理过后得到的车辆前照灯与雾灯关联配对效果图，从该图中可以看出车辆前照灯与雾灯进行了良好的配对，且由于反射光形成的矩形框没有与车辆前照灯和雾灯进行配对。图4(h)为经过步骤S600处理过后得到的反射光剔除车辆前照灯与雾灯配对效果图，从该图中可以看出，其不仅充分保留了车辆前照灯和雾灯配对信息，同时还能够很好地剔除反射光。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于车辆前照灯和雾灯关联配对的浓雾天车辆检测方法，其特征在于，包括以下步骤：

1)通过原始的浓雾天交通监控视频获取图像序列，根据浓雾天强退化图像提取G分量图；所述浓雾天为能见度小于0.1公里的天气状况；

2.根据权利要求1所述的浓雾天车辆检测方法，其特征在于，所述步骤2)包括：

3.根据权利要求2所述的浓雾天车辆检测方法，其特征在于，所述步骤2.3)中记录车灯的位置信息及长宽比具体如下：

最小外接矩形框的中心点坐标(h_i,w_i)满足下式：

h_i＝(x_LD,i+x_RU,i)/2,w_i＝(y_LD,i+y_RU,i)/2

4.根据权利要求2所述的浓雾天车辆检测方法，其特征在于，所述步骤3)中车辆的检测的具体方法如下：

3.1)车灯配对的匹配率的计算：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>E</mi> <mo>=</mo> <mi>&alpha;</mi> <mo>*</mo> <msub> <mi>E</mi> <mrow> <mi>a</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> </mrow> </msub> <mo>+</mo> <mi>&beta;</mi> <mo>*</mo> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> <mo>+</mo> <mi>&gamma;</mi> <mo>*</mo> <msub> <mi>E</mi> <mrow> <mi>A</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&alpha;</mi> <mo>+</mo> <mi>&beta;</mi> <mo>+</mo> <mi>&gamma;</mi> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>

式中：E为车灯匹配率；α为车灯对称性的权重；E_angle为两车灯在水平方向上的倾斜程度；β为车灯间距的权重；E_dist为车灯间距的匹配率；γ为车灯相似性的权重；E_Area为两车灯面积的归一化差值；

3.3)车前照灯组与雾灯组的关联匹配。

5.根据权利要求3所述的浓雾天车辆检测方法，其特征在于，所述步骤3.1)中车灯配对的特征计算如下：

两车灯在水平方向上的倾斜程度E_angle则应满足下式：

6.根据权利要求3所述的浓雾天车辆检测方法，其特征在于，所述步骤3.3)车前照灯组与雾灯组的关联匹配具体如下：

对于关联配对成功的车灯对M_i，M_j，提取其最小外接矩形框，并以此矩形框来表征一辆车，以此来获取车辆检测结果，同时建立一个车辆链表List3，存放各车灯的编号及车辆的外接矩形框坐标，并将车灯的数量更新为3；

设矩形框左下角和右上角的坐标分别为(X_LD,k，Y_LD,k)、(X_RU,k，Y_RU,k)；

7.根据权利要求1所述的浓雾天车辆检测方法，其特征在于所述步骤4)中根据区域生长法搜索二值化图像中的前景目标，当该目标下方距离较近处存在着另一前景目标时，则该目标与下方目标均为车灯；反之，若该车灯独立存在时，则为反射光，并将反射光区域的像素值置为0，实现反射光的剔除。