CN107886043A

CN107886043A - 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法

Info

Publication number: CN107886043A
Application number: CN201710595388.8A
Authority: CN
Inventors: 张晋东; 张子昂; 高兆博; 刘徽
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2018-04-06
Anticipated expiration: 2037-07-20
Also published as: CN107886043B

Abstract

本发明公开了一种视觉感知的汽车前视车辆和行人防碰撞预警系统及方法，对汽车前视摄像头获取的视频进行逐帧读取，并运用训练级联分类器，实现对视频帧中的车辆、行人进行识别，并同时结合直线检测，来对识别结果进行过滤，去除非车辆、非行人部分，利用深度DBN网络完成对本车前方车辆、行人信息的判定。确认前车、行人位置后，将图像坐标转换为车体坐标，从而得到本车与前车、本车与前面行人的相对距离及相对角度，计算出安全时距，再运用卡尔曼滤波器预测车辆、行人位置，如果小于安全时距，则发出警报。本发明可以实现更加有效和准确的车辆行人识别，从而更准确地进行防碰撞预警。

Description

视觉感知的汽车前视车辆和行人防碰撞预警系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种视觉感知的汽车前视车辆和行人防碰撞预警系统及方法。

背景技术

汽车在复杂的交通环境中对其前视区域中汽车、行人的识别显得尤为重要。通过前视的车辆、行人的识别，可以有效弥补驾驶员的感官能力的不足，从而减少交通事故。因此，汽车行驶时的前视车辆、行人的识别有着重要的理论与实际意义。

随着科学技术的进步，车辆、行人识别技术也得到了发展，但在实际实现过程中随着情景与形态的变换，识别效果并不尽如人意，各种识别算法只是根据图像特征进行判定识别，从而限制了各种算法的使用。

发明内容

针对现有技术的不足，本发明旨在提供一种视觉感知的汽车前视车辆和行人防碰撞预警系统及方法，运用深度学习算法，通过对大量样本进行特征训练与提取，得到车辆、行人图像的最高层表示，从另一个角度对车辆、行人图像进行理解，使计算机对图像有一个深层次的理解，同时完成车辆、行人识别。

为了实现上述目的，本发明采用如下技术方案：

视觉感知的汽车前视车辆和行人防碰撞预警系统，包括：

汽车前视区域采集模块：用于采集汽车前视区域的视频信息，并传输至帧获取模块；

帧获取模块：用于对汽车前视区域采集模块采集的视频信息逐帧连续性获取，供Haar检测模块进行检测；

Haar检测模块：用于采用Haar分类器识别帧获取模块所获取的帧信息的前车或行人所在的区域；

水平直线匹配模块：用于对Haar检测模块得到的区域进行水平直线检测并得出检测出水平直线的区域，并将水平直线检测得到的区域与Haar检测模块得到的区域进行对比，剔除Haar检测模块检测得到但是在水平直线匹配模块中没有检测到的区域；

DBN网络检测模块：用于对经过水平直线匹配模块处理后得到的区域进行DBN网络检测，得出最终的前车或行人所在区域；

碰撞预警模块：用于根据最终的前车或行人所在区域，预测检测得到的前车和行人与汽车的间距是否小于安全间距，如果是，则发出碰撞预警。

进一步地，所述水平直线匹配模块包括轮廓检测模块、水平直线检测模块、比对模块；其中：

轮廓检测模块用于对Haar检测模块检测得到的区域进行轮廓检测；

水平直线检测模块用于对轮廓检测模块得到的检测结果进行水平直线检测，并只保留水平直线，得出具有水平直线的区域；

比对模块用于将水平直线检测模块得到的区域和Haar检测模块检测得到的区域进行比对，剔除Haar检测模块检测得到的前车或行人的区域中没有被水平直线检测模块检测得到的区域。

进一步地，DBN网络检测模块包括RBM层训练模块和Softmax回归模块；其中：

RBM层训练模块：用于以经过水平直线匹配模块处理后得到的前车或行人所在的区域作为输入进行RBM无监督训练；

Softmax回归模块：用于对RBM模块得到的RBM无监督训练结果进行归类，判断所检测的区域是否为前车或行人所在的区域，如果是，则进行标记。

更进一步地，所述DBN网络检测模块包括至少三层RBM层训练模块，前一层RBM层训练模块的输出作为后一层RBM层训练模块的输入。

进一步地，所述DBN网络检测模块还包括有BP反馈调节模块，用于对整个DBN网络进行反馈微调。

进一步地，所述碰撞预警模块包括坐标转换模块、卡尔曼滤波模块、安全间距计算模块、对比模块；其中：

坐标转换模块：用于根据DBN网络检测模块最终得到的检测结果锁定前车或行人并进行坐标转换，确定前车或行人在车体坐标系中的位置；

卡尔曼滤波模块：用于采用卡尔曼滤波预测下一时间汽车与前车或行人的距离；

安全间距计算模块：用于计算出汽车与前车或者汽车与行人的安全间距；

对比模块：将预测到的下一时间汽车与前车或行人的距离和汽车与前车或者行人的安全间距进行对比，如果汽车与前车或者行人的安全间距大于预测到的下一时间汽车与前车或者行人的距离，则发出碰撞预警。

利用上述系统的汽车前视车辆和行人防碰撞预警方法，包括如下步骤：

S1在汽车的前方车标的下方安装汽车前视区域采集模块，系统启动后首先通过汽车前视区域采集模块采集视频信息，并将采集到的视频传到帧获取模块；

S2帧获取模块对视频信息的帧信息进行连续性获取，获取的帧信息以图片形式存在；

S3Haar检测模块采用Haar分类器来对帧信息中的前车和行人进行检测和识别，得出前车或行人所在的区域；

S4水平直线匹配模块对Haar检测模块得到的区域进行水平直线检测并得出检测出水平直线的区域，并将水平直线检测得到的区域与Haar检测模块得到的区域进行对比，剔除Haar检测模块检测得到但是在水平直线匹配模块中没有检测到的区域；

S5DBN网络检测模块对经过水平直线匹配模块处理后得到的区域进行DBN网络检测，进一步识别这些区域是否为前车或行人，如果是，则进行标记，得出最终的前车或行人所在区域；

S6碰撞预警模块根据根据最终的前车或行人所在区域锁定前车和行人的区域，预测前车和行人与汽车的间距是否小于安全间距，如果是，则发出碰撞预警。

需要说明的是，步骤S4具体为：

4.1)轮廓检测模块对Haar检测模块检测到的区域进行轮廓检测；

4.2)水平直线检测模块对检测得到的轮廓进行水平直线检测，检测完成后只保留水平直线得出具有水平直线的区域；

4.3)比对模块将水平直线检测模块得到的区域和Haar检测模块检测得到的区域进行比对，剔除Haar检测模块检测得到的前车或行人的区域中没有被水平直线检测模块检测得到的区域，得到水平直线匹配模块的检测结果。

需要说明的是，步骤S5具体为：

5.1)利用RBM层训练模块完成对经过水平直线匹配模块处理后得到的前车和行人所在区域进行RBM无监督训练，完成特征提取；

5.2)利用Softmax回归模块对提取特征进行分类，识别出经过水平直线匹配模块处理后得到的前车和行人所在区域中的实际的前车和行人的区域。

进一步需要说明的是，还包括有5.3)：利用BP反馈调节模块调节整个DBN网络，改善学习效果，使得DBN网络的参数状态达到最优。

进一步需要说明的是，包括至少三层RBM层训练模块，前一层RBM层训练模块的输出作为后一层RBM层训练模块的输入，最后一层RBM层训练模块的输出作为Softmax回归模块的输入。

需要说明的是，步骤5.1)中，将经过水平直线匹配模块处理后得到的前车和行人所在区域转换成图片形式，缩放到设定大小，并进行自适应二值化处理，进而按光栅顺序扫描成数组形式，所形成的数组作为RBM层训练模块的输入。

本发明的有益效果在于：车辆、行人作为非刚性物体，不同的车辆、行人之间表现形态各异，但是在这个形态变化之间，总有些不变的特征。本发明通过将车辆、行人图片进行自适应二值化化来处理，会较好的保留车辆、行人所具有的特征，并且足以与其他物体做出区别，并将处理结果用于训练DBN网络，进行特征提取，以便于更好的进行识别。

附图说明

图1为本发明实施例的流程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的范围并不限于本实施例。

如图1所示，视觉感知的汽车前视车辆和行人防碰撞预警系统，包括：

需要说明的是，步骤S4具体为：

需要说明的是，步骤S5具体为：

以下将对本发明作进一步地说明和描述。

车辆启动后，通过车中的车载设备启动所述视觉感知的汽车前视车辆和行人防碰撞预警系统，系统各部分软硬件开始工作。

此时可以进入系统控制面板，在控制面板上选择是否进入学习模式。如果选择进入学习模式，系统进入DBN网络学习模块，进行学习训练后不断更新参数，直到最优。调整好参数后系统可以开始进行前车、行人识别。具体为

1、汽车前视区域采集模块(摄像头)采集

在汽车前方车标下方安装摄像头，系统启动后首先通过摄像头采集视频信息，并将采集到的视频传到帧获取模块。

2、帧获取模块实现对视频文件的帧信息的连续性获取。获取帧以图片形式存在，接下来只要完成对图片的处理即可。

3、采用Haar分类器来对视频中的前车、行人进行检测。此环节为前期工作的重点，本环节目标为对帧信息中前车、行人进行检测。采用的方法为：通过基于级联分类器的训练，利用级联分类器实现帧中车辆、行人的识别。下面对级联分类器的训练方法进行说明。

1)生产正样本描述文件

2)生成分类器。

Haar分类器将AdaBoost算法训练出来的强分类器进行级联，并且采取了矩形特征和积分图。这个分类器是利用矩形区域内的像素的和或差，然后通过阈值化来生成的“Haar特征检查器”，这个特征由图像矩形区域的和或者差组成。级联分类器的训练的结果，可以使用生成的xml文件进行前车、行人检测，但是检测结果欠佳。检测到车辆、行人的同时也会有误检测区域。为了改善错误区域检测还需引入水平直线匹配模块。

级联分类器训练时需要对大量的样本进行训练，负样本的数量控制在正样本的3倍。

4、采用水平直线匹配模块获对Haar分类器的检测结果进行处理。在车辆行驶、行人行走过程中，往往会形成至少一条水平直线，水平直线长度要小于车辆、行人检测区域宽度大小。而对于Haar分类器的检测结果中误检测部分，往往会缺少这样的直线，所以可以将水平直线检测引入到前车和行人的检测，提高前车、行人采集正确率。

其具体的实现步骤如下：

1)轮廓检测；

2)直线检测；

3)只保留水平直线；

4)将样本采集区域与水平直线区域进行比对；

5)剔除比对失败的区域。

车辆、行人部分会形成一定程度的水平直线，将水平直线与检测区域进行匹配排除一定程度的错误检测结果。

5、DBN网络处理

本发明利用深度学习方法来完成前车、行人判断。在模型顶端使用softmax回归进行处理，进而利用反向传播进行对参数调优，也就是说是一种多层无监督学习和一层有监督学习构成的一种深度学习模型。

DBN网络主要分为如下几部分：首先利用RBM完成对特征提取，然后利用Softmax回归算法对提取特征进行分类，最后利用BP反馈调节整个DBN网络，使得DBN网络具有较好的识别效果。

在DBN中，每一层会进行RBM无监督训练。并且第一层的输出会用来作为第二层的输入用来训练第二层RBM，就这样直到最后一层RBM，在这个过程中，每层RBM利用对比分歧算法对参数进行更新，最终完成对特征信息的提取。本发明采用三层RBN进行特征提取。

在DBN顶端利用softmax算法对无监督训练获得的数据进行归类，也就是所说的监督学习。

BP对整个深度学习网络进行反馈微调，改善学习效果，使得DBN网络的参数状态达到最优。

基于深度学习的车辆、行人识别与检测，其核心内容是深度学习，通过使用深度学习完成车辆、行人识别工作。本发明采用三层RBM层构成的隐层，进行对原始数据特征提取，这样便可以更高效的使用分类算法对数据进行分类，也就是最后的Softmax回归层所进行的分类工作。

具体的实现方法为：将水平直线匹配模块检测到的区域转换成图片形式，放缩到指定大小，并进行自适应二值化处理，进而按光栅顺序扫描成数组形式，之后对所形成的数组进行DBN网络检测，根据检测结果来判断此区域是否为前车、行人，如果是前车、行人则进行标记。

通过将DBN网络引入，对视频中检测出的前车、行人进行判断时具有更优效果。

由于实时性的问题，此处将之前DBN网络的训练参数直接引入到程序之中，对DBN网络完成赋值操作。这样便可以迅速构造出DBN网络。

5.1 数据采集

进行深度学习训练之前需采集训练所需样本，样本包括正样本(车辆或行人)和负样本(非车辆或非行人)。正样本只包含车辆或行人，负样本则为道路上可能出现的一切事物，但是不含有任何车辆或行人。

5.2 样本处理

由于深度学习的输入关系，须将采集到的样本图片全部都放缩成统一32*32大小，然后进行灰度处理，这样图像就转换成了32*32的由灰度像素值构成的矩阵，由于对DBN网络进行训练一次要输入大量数据，所以本实施例将32*32的矩阵按光栅顺序转换成1*1024型一维数组，并将所有样本整合成一个大二维矩阵。

同理按这种方法完成对非车辆、非行人图片信息的处理。并将处理之后的信息存入文件中，以便下次使用。

5.3 训练集和测试集生成模块

为了保证DBN网络训练的有效性，本发明让所有车辆与非车辆、行人与非行人交叉分布，这样做不仅可以使DBN网络得到有效训练，还可以使标签的分配简单化。

5.4 RBM层训练模块

受限玻尔兹曼机一层为可见层，另一层为隐层，但层内之间没有连接，可见层与隐层之间全连接，各层内部单元状态相互独立，通过Gibbs采样克服各层内部单元状态相互独立所导致的RBM分布不稳定性问题。

用c表示显层数据，由图像信息转换而成；h表示隐层数据，是对图像的特征提取。W代表数据之间的权重，a和b则分别代表c与h的偏置。

将对比分歧算法引入RBM模型，使得RBM性能得到很大的提高，不论是在训练效果还是在训练速度。具体步骤如下：

a.用现有显层训练样本计算隐层节点的概率，并获得隐层数据h；

b.利用h构造可见层c'，再用c'构造隐层h'；

c.更新权重。

使用对比分歧算法完成对RBM层训练，关于其它参数的设置如下：权重初始化：每个数来自区间(-1/N，1/N)内的随机数,N代表的是输入层神经单元的个数；学习率：0.1/N；权重衰减：在源基础上减少0.0002；RBM训练过程为逐层训练，首先利用输入数据训练第一层RBM，训练好后利用第一层RBM的输出作为第二层的输入训练第二层RBM，依次逐层训练。

5.5 Softmax回归模块

softmax回归模块针对多分类问题。x_i为一类数据，k对应分类结果数目，A为参数，每个数据都会对应k种不同的分类结果，在k种结果之中，每个数据分别代表每一类x_i结果的概率。只要对参数进行处理就可以获得所需的分类结果。训练参数A，使A能够最小化代价函数。接下来使用迭代方式对参数进行更新，并引入权重衰减项，这样代价函数就会成为凸函数，保证解的唯一性，从而得到全局最优解。实现Softmax回归算法用来解决分类问题，对数据进行分类，将RBM逐层提取的特征进行Softmax回归。

5.6 BP反馈微调模块

运用反向传播法更新权重参数。在DBN网络进行BP反馈调节，DBN网络已经完成计算所有RBM节点激活值的工作，包括最后softmax层输出结果，对于每一层网络，其输出不可能完全达到目标所需求的状态，从DBN网络的最后一层逐层向前计算，并利用该层网络的残差与该层网络的输入数据完成对该层参数的更新。a_l为L层输出，δ_l为L层的残差，利用L层的残差能够计算出L-1层的残差δ_l-1，a_l-1为L-1层输出数据，L层输入数据，利用a_l-1与δ_l能计算参数A的更新量。

运用RBM提取出的特征逐层向源数据进行转换，反向传播算法通过反馈微调整个神经网络来减少这种数据丢失程度，同时提高特征提取准确度。

6、坐标转换

通过求解摄像机外部参数的约束方程后，摄像机、图像和车体坐标系的相对关系可以完全确定，从而雷达扫描点可以通过摄像机模型投影至图像像素坐标系上。建立车体坐标系中物点P(x_v,y_v,z_v)与图像像素坐标系中像点p(u,v)之间的转换关系。其像素级数据融合模型如下:

(u,v,l)^T＝K(R_c(x_v,y_v,z_v)^T+T_c) (1)

其中摄像机内部参数矩阵为

上述模型中，l是(u,v)写成齐次坐标的系数，T_c是平移矩阵,R_c为摄像机外部参数的旋转矩阵，乃为摄像机外部参数的平移向量，f_x、f_y为x和y方向的等效焦距，u₀，v₀为图像像素中心的坐标。通过公式完成空间上的数据融合，其数据融合第一个目的是为了把摄像机坐标系、图像像素坐标系和车体坐标系统一起来。坐标系的统一和建立有利于环境感知传感器对环境和障碍物具体距离和方位的测量，摄像机外部参数的标定可以实现逆透视投影变换，为车辆视觉导航提供重要参数。

7、卡尔曼滤波

本发明用卡尔曼滤波发预估下一时间车速的变化，运用到后续的安全距离计算中。

首先使用三阶Kalman滤波器对当前周期内获得的有效目标信息进行预测,选取状态x_n＝[d_n,e,v_n,e,a_n,e]^T,其中d_n,e,v_n,e,a_n,e分别为第n探测周期内经过处理得到的“前视车辆、行人”与本车的Y向相对距离、速度和加速度,则目标状态在下一周期内的预测值如式所示:

式中,t为周期，取值为0.05s；d_(n+1)|n、v_(n+1)|n、a_(n+1)|n为所预测到的第(n+1)探测周期内有效目标与本车之间的Y向相对距离、速度和加速度。通过式(2)得到第(n+1)探测周期内有效目标信息的预测值,并与该周期内的初选目标信息进行一致性检验,采取以下的判断准则,如式(3)所示:

式(3)中,d_n+l、v_n+1、a_n+1分别为第(n+1)探测周期内初选“前视车辆、行人”与本车间的y向相对距离、速度和加速度；d₀、v₀、a₀分别为最大容许的Y向相对距离、速度和加速度误差。d₀、v₀、a₀主要是由测量误差和使用式(2)进行预测所产生的误差决定,在本发明中取:

[d₀ v₀ a₀]^T＝[3 2 0.25]^T (4)

对于第(n+1)周期得到的初选“前视车辆、行人”,其信息值如果满足式(4),则认为该初选目标与第n周期得到的有效目标是一致的,进而进行目标信息的更新。

8、本发明中由于能够计算出“前车、行人”的速度、加速度等数据，所以，在设计安全距离算法时，应该符合人们的驾驶习惯，例如，“前车、行人”相对本车的速度很大，则安全距离应该适当的缩小，“前车、行人”正在以一个比较大的正向加速度行驶，则安全距离也应该适当缩小，综上所述，在“车车间时距、车人间时距”是与“两车或车-行人”的相对速度成反比，与“前车、行人”的加速度成反比，得到安全车间间隔时间t'的计算公式如下：

t'＝T-a'*v_re-b'*ar_1 (5)

式中T为固定值1.5s，v_re为“车-车或车-行人”的相对速度v_re＝vr_1-v_1。vr_1为预测时间1秒后的“前车、行人”的速度，v_1为预测时间1秒后的本车速度。ar_1为预测时间1秒后的“前车、行人”加速度。a'，b'为正的常数。

由于“车车间时距、车人间时距”不能为负值，而且不能过大，具体运用饱和函数，来使得安全“车车间、车人间”时距更加的合理，得到的安全“车车间、车人间”时距间隔时间t'的计算公式如式(6)所示

t'_min为设定的安全“车车间、车人间”时距间隔时间的最小值，t'_max为设定的安全“车车间、车人间”时距间隔时间的最大值。最终得到的安全“车车间、车人间”时距公式如下：

safdis＝v_1*t'+d' (7)

安全“车车间、车人间”时距具体实现如下：

Step1：计算“两车或车-行人”时距，如果“两车或车-行人”时距大于2.2s则把“两车或车-行人”时距设置为2.2s，如果“两车或车-行人”时距小于0.2s，则把“两车或车-行人”时距设置为0.2s。

t'＝1.5-0.2*v_re-1.2*ar_1；

ift'>2.2

t'＝2.2；

end

ift'<0.2

t'＝0.2；

end

Step2：计算出安全距离。

safdis＝v_1*t'+2.5；

公式6和公式7可以根据本车和“前车、行人”的运行的实时数据，去动态的调整“两车或车-行人”之间的安全距离，使得该安全距离计算有更强预测能力，和抵抗干扰的能力。最终提高了“车车间、车人间”安全时距在外界环境发生变化时的稳定性和动态性能。

车辆、行人作为非刚性物体，不同的车辆、行人之间表现形态各异，但是在这个形态变化之间，总有些不变的特征。本发明通过将车辆、行人图片进行自适应二值化化来处理，会较好的保留车辆、行人所具有的特征。并且足以与其他物体做出区别。并将处理结果用于训练DBN网络，进行特征提取，以便于更好的进行识别。

本发明运用深度学习并通过叠加多个RBM的DBN网络，逐层进行特征提取，并在最后阶段使用Softmax回归层，并以标签进行监督训练，最后利用BP反馈调节对整个网络进行调节。在高效准确的识别前车、行人后，根据坐标转换确定前车、行人相对位置，并通过卡尔曼滤波预测下一时间车-车、车-行人的距离数值关系，并以“车车间、车人间”安全时距调节安全距离，提高了车辆的行驶的安全性。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims

1.视觉感知的汽车前视车辆和行人防碰撞预警系统，其特征在于，包括：

2.根据权利要求1所述的视觉感知的汽车前视车辆和行人防碰撞预警系统，其特征在于，所述水平直线匹配模块包括轮廓检测模块、水平直线检测模块、比对模块；其中：

3.根据权利要求1所述的视觉感知的汽车前视车辆和行人防碰撞预警系统，其特征在于，DBN网络检测模块包括RBM层训练模块和Softmax回归模块；其中：

4.根据权利要求3所述的视觉感知的汽车前视车辆和行人防碰撞预警系统，其特征在于，所述DBN网络检测模块包括至少三层RBM层训练模块，前一层RBM层训练模块的输出作为后一层RBM层训练模块的输入；

所述DBN网络检测模块还包括有BP反馈调节模块，用于对整个DBN网络进行反馈微调。

5.根据权利要求1所述的视觉感知的汽车前视车辆和行人防碰撞预警系统，其特征在于，所述碰撞预警模块包括坐标转换模块、卡尔曼滤波模块、安全间距计算模块、对比模块；其中：

6.利用权利要求1所述系统的汽车前视车辆和行人防碰撞预警方法，其特征在于：包括如下步骤：

7.根据权利要求6所述的方法，其特征在于，步骤S4具体为：

8.根据权利要求6所述的方法，其特征在于，步骤S5具体为：

5.1)利用RBM层训练模块完成对经过水平直线匹配模块处理后得到的区域进行RBM无监督训练，完成特征提取；包括至少三层RBM层训练模块，前一层RBM层训练模块的输出作为后一层RBM层训练模块的输入，最后一层RBM层训练模块的输出作为Softmax回归模块的输入。

5.2)利用Softmax回归模块对提取的特征进行分类，识别出经过水平直线匹配模块处理后得到的区域中的实际的前车或行人所在区域。

9.根据权利要求8所述的方法，其特征在于，还包括有5.3)：利用BP反馈调节模块调节整个DBN网络，改善学习效果，使得DBN网络的参数状态达到最优。

10.根据权利要求8所述的方法，其特征在于，步骤5.1)中，将经过水平直线匹配模块处理后得到的区域转换成图片形式，缩放到设定大小，并进行自适应二值化处理，进而按光栅顺序扫描成数组形式，所形成的数组作为RBM层训练模块的输入。