CN105206109B - 一种基于红外ccd的车辆雾天识别预警系统及方法 - Google Patents

Abstract

本发明公开了一种基于红外CCD的车辆雾天识别预警系统及方法，目的在于：应用于雾天复杂行车环境，能够为驾驶员、乘客以及第三方提供了安全保障，所采用的技术方案为：包括：红外CCD摄像模块，采集前方车辆的红外图像序列；图像处理模块及距离测量模块，图像处理模块能够对红外CCD摄像模块输入的图像序列进行清晰化处理，通过识别车辆的边缘特征，识别前方车辆；距离测量模块能够对红外CCD摄像模块输入的图像序列建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，计算与前方车辆的距离；预警模块，与图像处理及距离测量模块的输出端连接，能够向驾驶员发出预警信息；以及电源模块。

Description

一种基于红外CCD的车辆雾天识别预警系统及方法

技术领域

本发明涉及车载设备技术领域，具体涉及一种基于红外CCD的车辆雾天识别预警系统及方法。

背景技术

随着国民经济的发展，人们对车辆的需求越来越重要，但是随之而来的是不断上升的交通事故率，其中雾天行车的交通事故频发，究其原因就是因为在该环境下人们安全行车的条件有限。正因为这样的情形，车载识别系统才得以快速发展。目前，现有技术还只能对应固定的外界环境进行安全预警，对于不能提供识别条件的环境便不能识别预警，所以对待复杂环境的识别预警还有待进一步的研究。

发明内容

为了解决现有技术中的问题，本发明提出一种应用于雾天复杂行车环境，能够为驾驶员、乘客以及第三方提供了安全保障的基于红外CCD的车辆雾天识别预警系统及方法。

为了实现以上目的，本发明所采用的技术方案为：

一种基于红外CCD的车辆雾天识别预警系统，包括：

红外CCD摄像模块，包括红外CCD摄像机和图像采集卡，能够采集前方车辆的红外图像序列并传送给图像处理模块和距离测量模块；

图像处理模块及距离测量模块，与红外CCD摄像模块的输出端连接，图像处理模块能够对红外CCD摄像模块输入的图像序列进行清晰化处理，通过识别车辆的边缘特征，识别前方车辆；距离测量模块能够对红外CCD摄像模块输入的图像序列建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，计算与前方车辆的距离；

预警模块，与图像处理及距离测量模块的输出端连接，能够向驾驶员发出预警信息；

电源模块，分别与红外CCD摄像模块、图像处理模块、距离测量模块和预警模块连接。

所述预警模块包括光信号警示单元，暗灯表示前方没有车辆，绿灯表示处在安全车距，黄灯表示即将小于安全车距，红灯表示存在危险。

一种基于红外CCD的车辆雾天识别预警方法，包括以下步骤：

1)利用红外CCD摄像机采集前方车辆的红外图像序列，并传送给图像处理模块及距离测量模块；

2)图像处理模块对红外图像序列进行处理：包括将模拟信号转换成数字信号、压缩处理、预处理、分割分析处理以及分类处理，通过识别车辆的边缘特征，识别前方车辆；

3)距离测量模块根据车辆的垂直轮廓来对车辆进行识别，并采用张正友平面标定法以及小孔成像原理测量与前方车辆的距离；

4)根据图像处理模块和距离测量模块对前方车辆的识别和距离测量，向预警模块输出预警信号，提示驾驶员实现人车信息交互。

所述图像处理模块基于汽车尾部的基本预知特点：车辆的对称性和车辆尾部垂直轮廓明显的特点，再基于车辆轮廓为图像灰度急剧变化的区域边界对车辆进行识别，利用OTSU法确定图像前景和背景的分割阀值，在前方车辆轮廓能够分辨的情形下对前方汽车进行定位。

所述对红外图像序列的预处理包括：去噪处理和图像锐化处理。

所述去噪处理采用中值滤波降低红外图像的噪声。

所述距离测量模块建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，通过建立的二维与三维图像的对应关系利用张正友平面标定法对f为摄像机焦距CCD摄像机标定，确定红外CCD摄像机的内参数，将左右识别的车辆轮廓线的底点作为特征点(u₁，v₁)和(u₂，v₂)，首先将每一帧的车辆识别结果作为一个车辆列表储存在缓存内，为下一步的样条插值计算提供了数据基础，当某一车辆被跟踪少于三帧时，使用特征点(u₁，v₁)和(u₂，v₂)的原始值进行计算，三帧过后，使用相同的方法修正车辆坐标位置，利用此三帧图像计算内参矩阵，此处是基于特征点建立的角点图像；再利用小孔成像原理推导出前方车辆的实际距离。

所述前方车辆的纵向相对车距计算公式为：

其中，W₁为车辆真正宽度，假设所有的车辆宽度相同，W₂为车辆在CCD摄像机上的宽度，由摄像机标定和车辆的像素宽度W_c计算得到，f为摄像机焦距。

所述车辆的像素宽度W_c在计算时需要将车辆轮廓的宽度标定，首先确定前方车辆的区域，假设本车与前方车辆始终在同一车道行驶，即将目标搜索区域缩小到由两条车道线相交组成的三角区域即感兴趣区；

然后对图像进行二值化处理，图像经过二值化处理之后，在感兴趣区域内将车辆的垂直边缘分离开来，先在高度方向上将感兴趣区域内的垂直边缘图像的边缘点累加，即得到边缘的垂直方向投影值，再对车辆的对称性进行分析，以图像中的每一行水平像素为基础计算对称性，用能量函数定义对称性测度，通过判断是否满足对称性要求来判定前方是否为车辆；

最后通过对称性测度找到对称轴的坐标轴u_s，令u_s＝u₀，然后在感兴趣区的边缘投影找到最大的垂直投影值max，以最大投影值max的1/3作为寻找左右边界的判决条件，从对称轴左侧开始扫描，当大于max的1/3时，即认定为左边轮廓线坐标为u_min；在对称轴右边扫面时，当发生突变时，大于max的1/3时，即认定为右边轮廓线坐标为u_max，则所测的车辆像素宽度W_c＝u_max-u_min。

所述二值化处理采用OTSU算法，以最佳阀值将图像灰度图分割成两部分，一部分的类内方差最小，另一部分的类间方差最大。

与现有技术相比，本发明系统通过红外CCD摄像模块采集前方车辆的红外图像序列，并传送给图像处理模块和距离测量模块，图像处理模块对红外CCD摄像模块输入的图像序列进行清晰化处理，通过识别车辆的边缘特征，识别前方车辆；距离测量模块对红外CCD摄像模块输入的图像序列建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，计算与前方车辆的距离；图像处理模块及距离测量模块向预警模块输出预警信号，预警模块向驾驶员发出预警信息提示驾驶员前方车辆信息，采用本发明的系统在雾天情况下使用，也在某些特殊情形下使用，譬如前车尾灯破损等条件，在大雾环境下并没有打开雾灯的情形，能够判断前方是否有车辆以及前方车辆的距离，利用预警模块向驾驶员发出预警信号，提示驾驶员控制车速并做出相应的驾驶操作，为驾驶员、乘客以及第三方提供了安全保障。

本发明方法利用红外CCD摄像模块采集前方车辆的红外图像序列，并传送给图像处理模块及距离测量模块，图像处理模块对红外图像序列进行处理：包括将模拟信号转换成数字信号、压缩处理、预处理、分割分析处理以及分类处理，通过识别车辆的边缘特征，识别前方车辆，距离测量模块根据车辆的垂直轮廓来对车辆进行识别，并采用张正友平面标定法以及小孔成像原理测量与前方车辆的距离，并根据前方车辆的识别和距离，向预警模块输出预警信号，提示驾驶员实现人车信息交互，前方车辆的识别准确清晰，距离测量准确，能够为驾驶员提供安全可靠的预警信息。

附图说明

图1为本发明系统的结构示意图；

图2a为锐化处理前的示例原图，图2b为锐化处理后的示例图像；

图3为大雾天气车辆行驶图；

图4为图像坐标系与成像平面坐标系的关系图；

图5为摄像机坐标系与世界坐标系的关系图；

图6为道路图像成像示意图；

图7为感兴趣区域垂直边缘对称性测度图。

具体实施方式

下面结合具体的实施例和说明书附图对本发明作进一步的解释说明。

参见图1，本发明的系统包括：红外CCD摄像模块，包括红外CCD摄像机和图像采集卡，能够采集前方车辆的红外图像序列并传送给图像处理模块和距离测量模块；

图像处理模块及距离测量模块，与红外CCD摄像模块的输出端连接，图像处理模块能够对红外CCD摄像模块输入的图像序列进行清晰化处理，通过识别车辆的边缘特征，识别前方车辆；距离测量模块能够对红外CCD摄像模块输入的图像序列建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，计算与前方车辆的距离；

预警模块，与图像处理及距离测量模块的输出端连接，能够向驾驶员发出预警信息，预警模块包括光信号警示单元，暗灯表示前方没有车辆，绿灯表示处在安全车距，黄灯表示即将小于安全车距，红灯表示存在危险；

电源模块，分别与红外CCD摄像模块、图像处理模块、距离测量模块和预警模块连接。

本发明方法中的红外CCD摄像模块提供了单目视觉系统，摄像机将采集的图像交给计算机进行处理，将图像信号转换成数字信号，即图像的灰度信息；

图像处理模块将红外图像进行预处理，主要对噪声去除以及图像锐化进行处理，采用中值滤波降低红外图像的噪声，中值滤波一般采用一个滑动窗口，将窗口中各灰度值的中值来替代窗口的中心点对于n个元素，中值为：

n为奇数

n为偶数

图像的像素坐标为f(u，v)定义，定义f(u，v)在点(u，v)处的梯度矢量为：

梯度的幅度用G[f(u，v)],其值为：

由此可得出这样的结论，梯度的数值就是f(u，v)在其最大变化率方向上的单位距离增加的量，对于离散的数字图像上式可以写成：

再设定一定的阀值Δ，若G[f(u，v)]<Δ则保持原灰度值，若G[f(u，v)]>Δ，则赋值G[f(u，v)]即：

将阀值选取为10之后图像处理之后的图像如图2所示，汽车在雾天的行驶图像如图3所示；

距离测量模块先建立坐标轴：图像坐标系和成像平面坐标轴；图像坐标系利用数组中元素数值的大小来对应像素的灰度值。用像素在图像数组中的列数和行数表示像素的横坐标值和纵坐标值，表示为(u，v)，成像平面坐标轴建立方法如下：将图像平面与摄像机光轴的交点为原点O₁，其坐标为(u₀，v₀)定义d_x为像素在x轴方向上的物理尺寸，d_y为像素在y轴上的物理尺寸，图像坐标系与成像平面坐标系的关系如图4所示如下：

摄像机坐标系(X_c,Y_c,Z_c)与世界坐标系(X_w,Y_w,Z_w)的关系如图5所示，O_cO₁为摄像机焦距f；

成像平面坐标系与摄像机坐标系关系有：

世界坐标系到摄像机坐标系关系有：

其中R，T分别表示描述世界坐标系与摄像机坐标系的平移向量以及旋转矩阵，R代表一个3*3的正交单位矩阵，T＝(t₁,t₂,t₃)^T代表三维平移向量；

由上式可以得出P点从世界坐标到图像坐标的变换，公式为：

其中，A为摄像机的内参数矩阵，[R T]即为摄像机的外参数矩阵，设摄像机摆放为刚性连接，即设外参数不变。

c_x与c_y为(u₀,v₀)在成像坐标轴中的坐标，便得到了二维数字图像中前方车辆的位置坐标，通过建立的二维与三维图像的对应关系利用张正友标定法对摄像机标定，确定摄像机的内参数。将左右识别的轮廓线的底点作为特征点(u₁，v₁)和(u₂，v₂)，首先将每一帧的车辆识别结果作为一个车辆列表储存在缓存内(储存最近一秒，即前30帧的数据)，这样为下一步的样条插值计算提供了数据基础，当某一车辆被跟踪少于三帧时，使用特征点(u₁，v₁)、(u₂，v₂)的原始值进行计算。三帧过后，使用相同的方法修正车辆坐标位置。利用此三帧图像计算内参矩阵，此处是基于特征点建立的角点图像，再利用小孔成像原理推导出车辆的实际距离，如图6所示：

纵向相对车距计算公式为：

其中W₁为车辆真正宽度，一般的车辆的宽度大致相同，据此假设所有的车辆宽度相同，W₂为车辆在传感器上的宽度，可以由相机标定和车辆的像素宽度W_c计算得到。

在计算车辆的像素宽度W_c时需要先将车辆轮廓的宽度标定，首先先确定前方车辆的区域，因为假设本车与前方车辆始终在同一车道行驶，即可以将目标搜索区域缩小到由两条车道线相交组成的三角区域，称为感兴趣区(Region of Interest,ROI)，具体采用公式由下而上的进行扫描计算：

式中：

lb(v)—AOI中第v行的左端像素坐标；

rb(v)—AOI中第v行的右端像素坐标；

g(u,v)—像素的灰度值；

G(v)—AOI中第v行的灰度平均值；

以灰度值突变的第k行(k值由试验标定而得)作为AOI的底边，求底边与两车道线的交点，再分别由左右交点向上引竖直线作为矩形AOI的两侧边，做出一个矩形框，高度的选择根据车辆形状的先验知识，尽量将车辆全部包含在矩形框内；

进而需要对图像进行二值化处理，OTSU算法以最佳阀值将图像灰度图分割成两部分，使一部分的类内方差最小，另一部分的类间方差最大，图像经过二值化处理之后，在感兴趣区域内可以将车辆的垂直边缘分离开来，先在高度方向上将感兴趣区域内的垂直边缘图像的边缘点累加即得到边缘的垂直方向投影值；进而对车辆的对称性进行分析，对称性的测度基于的是任何函数都可以写成一偶函数和奇函数之和的形式，二者的重要性的相对大小可反映出对称的程度，偶函数比重大说明更对称一些，以图像中的每一行水平像素为基础计算对称性，其能量函数定义对称测度s如下：

s＝1表示完全对称，s＝-1表示完全不对称。通过判断是否满足对称性要求来判定前方是否为车辆，对称度实验如图7所示；

其中u_s为像素对称轴坐标，w为对称域宽度，Ee为偶能量函数，Eo为奇能量函数。

E(f(x))＝∫f²(x)dx。

对于一定的u_s和w，函数g(x)＝g(u_s+u)的偶函数和奇函数分别为：

通过对称性测度可以找到对称轴的坐标轴u_s，令u_s＝u₀然后在感兴趣边缘投影找到最大的垂直投影值max，以最大投影值max的1/3作为寻找左右边界的判决条件，从对称轴左侧开始扫描，当大于max的1/3时，即认定为左边轮廓线，坐标为u_min。在对称轴右边扫面时，当发生突变时，大于max的1/3时，即认定为右边轮廓线,坐标为u_max，则所测的像素宽度W_c＝u_max-u_min。

本发明系统中，红外CCD摄像模块与图像处理模块以及距离测量模块相连，预警模块与图像处理模块以及距离测量模块的输出端相连，电源模块分别与红外CCD摄像模块、图像处理模块、距离测量模块和预警模块相连。

红外CCD模块传输图片信息，图像处理以及距离测量模块根据输出信息对图片进行处理以及进行距离测量，最终通过预警模块来实现人车信息交互，预警模块与车内信号灯相连，通过提醒驾驶员达到控制速度的目的，电源模块直接与汽车电瓶相连，当汽车未启动时，系统不工作。当汽车启动后，按下系统开关，系统开始工作。

本发明在雾天情况下使用，也在某些特殊情形下使用，譬如前车尾灯破损等条件，在大雾环境下并没有打开雾灯的情形，能够判断前方是否有车辆以及前方车辆的距离，利用预警模块向驾驶员发出预警信号，提示驾驶员控制车速并作出相应的驾驶操作，为驾驶员、乘客以及第三方提供了安全保障。

Claims (7)

1.一种基于红外CCD的车辆雾天识别预警方法，其特征在于，包括以下步骤：

1)利用红外CCD摄像机采集前方车辆的红外图像序列，并传送给图像处理模块及距离测量模块；

2)图像处理模块对红外图像序列进行处理：包括将模拟信号转换成数字信号、压缩处理、预处理、分割分析处理以及分类处理，通过识别车辆的边缘特征，识别前方车辆；

3)距离测量模块根据车辆的垂直轮廓来对车辆进行识别，并采用张正友平面标定法以及小孔成像原理测量与前方车辆的距离，具体包括：所述距离测量模块建立图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系，通过建立的二维与三维图像的对应关系利用张正友平面标定法对红外CCD摄像机标定，确定红外CCD摄像机的内参数，将左右识别的车辆轮廓线的底点作为特征点(u₁，v₁)和(u₂，v₂)，首先将每一帧的车辆识别结果作为一个车辆列表储存在缓存内，为下一步的样条插值计算提供了数据基础，当某一车辆被跟踪少于三帧时，使用特征点(u₁，v₁)和(u₂，v₂)的原始值进行计算，三帧过后，使用相同的方法修正车辆坐标位置，利用此三帧图像计算内参矩阵，此处是基于特征点建立的角点图像；再利用小孔成像原理推导出前方车辆的实际距离；

4)根据图像处理模块和距离测量模块对前方车辆的识别和距离测量，向预警模块输出预警信号，提示驾驶员实现人车信息交互。

2.根据权利要求1所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述图像处理模块基于汽车尾部的基本预知特点：车辆的对称性和车辆尾部垂直轮廓明显的特点，再基于车辆轮廓为图像灰度急剧变化的区域边界对车辆进行识别，利用OTSU法确定图像前景和背景的分割阀值，在前方车辆轮廓能够分辨的情形下对前方汽车进行定位。

3.根据权利要求2所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述对红外图像序列的预处理包括：去噪处理和图像锐化处理。

4.根据权利要求3所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述去噪处理采用中值滤波降低红外图像的噪声。

5.根据权利要求1所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述前方车辆的纵向相对车距计算公式为：

<mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mo>*</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>W</mi> <mn>2</mn> </msub> </mfrac> </mrow>

其中，W₁为车辆真正宽度，假设所有的车辆宽度相同，W₂为车辆在CCD摄像机上的宽度，由摄像机标定和车辆的像素宽度W_c计算得到，f为摄像机焦距。

6.根据权利要求5所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述车辆的像素宽度W_c在计算时需要将车辆轮廓的宽度标定，首先确定前方车辆的区域，假设本车与前方车辆始终在同一车道行驶，即将目标搜索区域缩小到由两条车道线相交组成的三角区域即感兴趣区；

然后对图像进行二值化处理，图像经过二值化处理之后，在感兴趣区域内将车辆的垂直边缘分离开来，先在高度方向上将感兴趣区域内的垂直边缘图像的边缘点累加，即得到边缘的垂直方向投影值，再对车辆的对称性进行分析，以图像中的每一行水平像素为基础计算对称性，用能量函数定义对称性测度，通过判断是否满足对称性要求来判定前方是否为车辆；

最后通过对称性测度找到对称轴的坐标轴u_s，令u_s＝u₀，然后在感兴趣区的边缘投影找到最大的垂直投影值max，以最大投影值max的1/3作为寻找左右边界的判决条件，从对称轴左侧开始扫描，当大于max的1/3时，即认定为左边轮廓线坐标为u_min；在对称轴右边扫面时，当发生突变时，大于max的1/3时，即认定为右边轮廓线坐标为u_max，则所测的车辆像素宽度W_c＝u_max-u_min。

7.根据权利要求6所述的一种基于红外CCD的车辆雾天识别预警方法，其特征在于，所述二值化处理采用OTSU算法，以最佳阀值将图像灰度图分割成两部分，一部分的类内方差最小，另一部分的类间方差最大。