CN105912984A - 一种融合多态信息的辅助驾驶方法 - Google Patents

Abstract

本发明涉及一种融合多态信息的辅助驾驶方法。采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取；对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合；根据特征提取后得到的车道偏移量，判断当前车辆偏移状态；根据驾驶员的生理信息，判断驾驶员的生理特征状态；综合以上三种状态信息，综合判断驾驶员的状态；根据驾驶员的状态做出相应的预警提示。本发明通过将各分支特征进行融合，全面保障驾驶员的驾驶安全。

Description

一种融合多态信息的辅助驾驶方法

技术领域

本发明涉及辅助驾驶领域，具体的说是一种融合多态信息的辅助驾驶方法。

背景技术

随着汽车及互联网行业的快速发展，交通事故已成为现今社会的严重问题，据统计，50％以上的交通事故源于驾驶员的疲劳驾驶。车内驾驶员疲劳监测显得尤为重要。目前驾驶员的疲劳监测方法大致分为三类：基于驾驶员的生理信息的疲劳状态监测、基于驾驶员行为的疲劳状态监测、基于车辆状态信息的疲劳监测方法。除了国外产品外，国内预防疲劳驾驶的产品大多存在实用性较差、监测方法不合理、操作不便等问题。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种融合多态信息的辅助驾驶方法，即根据多种条件融合综合判决驾驶员当前所处的状态。

本发明为实现上述目的所采用的技术方案是：一种融合多态信息的辅助驾驶方法，包括以下步骤：

采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；

对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；

对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取；

对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合；根据特征提取后得到的车道偏移量，判断当前车辆偏移状态；根据驾驶员的生理信息，判断驾驶员的生理特征状态；

综合以上三种状态信息，综合判断驾驶员的状态；

根据驾驶员的状态做出相应的预警提示。

所述对采集到的驾驶员的面部图像信息进行图像预处理，包括以下步骤：

截取采集到的驾驶员的面部图像的上半部分，对截取后的图像进行灰度化处理；

对灰度化处理后的图像进行均值滤波，去除面部的干扰信息，突出眼球部分；

对均值滤波后的图像进行直方图均衡化，增强图像的对比度。

所述对采集到的车辆前方道路图像信息进行数据预处理，具体为：

在车辆前方道路图像中选择车道线的四个边界点，作为已知标定点；

根据标定的的四个边界点对车辆前方道路图像做透视变换，使车辆前方道路图像变换为俯视视角的图像，得到平行的车道线；

根据透视变换的结果选择包含车道线的感兴趣区域；

通过双峰法对感兴趣区域的图像做二值化处理，将车道线从背景中提取出来；

对二值化后的图像进行边缘检测，使车道线细化。

所述透视变换根据下列方程求解：

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]=\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\′}{x}_1& -x_1^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\′}{x}_1& -y_1^{\′}{y}_1\\ & & & & & .& & \\ & & & & & .& & \\ & & & & & .& & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\′}{x}_n& -x_n^{\′}{y}_n\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\′}{x}_n& -y_n^{\′}{y}_n\end{array}\right]\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\\ m_5\\ m_6\\ m_7\\ m_8\end{array}\right]$

其中，M为系数,包含m₁,...,m₈八个系数，即标定的四个边界点的八个坐标值。x_i，y_i为原始坐标，x_i',y_i'为透视之后的坐标,i＝1,...,4。

所述对数据预处理后的面部图像信息进行特征提取，具体为：利用Gabor小波对预处理后的面部图像进行图像变换，得到一组不同方向不同尺度的特征图像。

所述对数据预处理后的车辆状态信息进行特征提取，包括以下步骤；

将预处理得到的图像进行霍夫变换，检测出图像中的车道线；

通过比例关系计算当前车辆行驶的偏移车道线距离，即根据霍夫变换的结果计算车道偏移量：

nOffset＝(nRightSet-nLeftSet)/(nRightSet+nLeftSet)/nPara

其中，nRightSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标，nPara是一个提示量级的参数，为预设值。

所述根据驾驶员的生理信息，判断驾驶员的生理特征状态，具体为：

对驾驶员的心率、血压信息求取均值，综合衡量驾驶员的当前生理状态：

c＝(h+b)/2

式中，c表示取心率和血压的均值，h表示驾驶员的心率，b表示驾驶员的血压值；

若c≤iTh，则认为驾驶员处于正常状态，适宜驾驶；若c＞iTh，则认为驾驶员处于疲劳状态，不适宜驾驶，iTh为预设阈值。

所述对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合，根据相邻帧时间间隔计算闭眼的连续帧数，进而得到连续闭眼时间，当驾驶员闭眼时间持续超过预设阈值时，则驾驶员被视为疲劳驾驶。

所述根据特征提取后得到的车道偏移量，判断当前车辆偏移状态，具体为：

将车道左右两侧各等分为n个区域，车辆每偏移一个区域视为偏离车道线一次；当车辆行驶连续偏离车道线次数超过预设阈值时，视为疲劳驾驶。

所述综合以上三种状态信息，综合判断驾驶员的状态，具体为：

如果有两种或两种以上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状态；反之，则认为驾驶员未处于疲劳状态，可以正常驾驶。

本发明具有以下优点及有益效果：

1.本发明提供一种安全的辅助驾驶方式，通过将各分支特征进行融合，全面保障驾驶员的驾驶安全；

2.本发明提供一种安全的辅助驾驶方式，各特征分别进行匹配与判决；

3.本发明将诊断结果向驾驶员本人及其家人朋友进行及时的预警，增加了驾驶员听取和执行建议的可能性，保障了行车的安全性。

4.将小波Gabor特征用于面部图像信息，进而识别人眼睁闭情况，计算驾驶员持续闭眼的时间，以此评价驾驶员当前是否适宜驾驶的状态。

附图说明

图1为本发明方法流程图；

图2为本发明方法中的特征提取示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，一种融合多态信息的辅助驾驶方法，包括：采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；对数据预处理后的面部图像信息和车辆状态信息进行特征提取；对待测面部图像信息进行特征模板匹配，驾驶员处于正常状态时，眼睛睁得很开；疲劳时，眼睛睁得很小；睡眠时，眼睛会完全合上。据此判断驾驶员的疲劳状态；计算车辆处于当前车道线的偏移量，判断当前车辆偏移状态信息；根据驾驶员自身心率和血压的状况，确定驾驶员的生理特征状态；综合以上三种数据特征，最终判断驾驶员的状态；如果有两种或两种以上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状态，发出预警；也可以在三种判断均得出疲劳状态时，认定当前驾驶员处于疲劳状态；反之，则认为驾驶员未处于疲劳状态，可以正常驾驶。

根据驾驶员的当前状态做出相应的预警提示。

对采集到的驾驶员的面部图像信息进行图像预处理，具体为：针对采集的人脸面部图像信息，进行必要的预处理。首先截取采集图像的上1/2部分，对图像进行灰度化，在灰度空间对图像进行操作；其次，对区域图像进行均值滤波，去除面部其他干扰信息，如面部的斑点或伤痕，突出眼球的有用信息；最后对区域图像进行直方图均衡化，通过均衡化可以使图像获得较好的视觉效果，增强图像的对比度，使图像变得更加清楚，突出图像的细节。

对采集到的车辆前方道路图像信息进行数据预处理，具体为：针对车辆前方摄像头采集的车辆行驶车道信息，对图像进行预处理。首先需要对目标进行标定，即选择图像中车道线的四个边界点，作为已知标定点，为下一步透视变换做准备；其次，根据标定的四个点对图像做透视变换，即，将由摄像头直接采集视角方向的图像，变换为俯视视角的图像，获得到平行的车道线；第三，根据透视变换的结果选择我们感兴趣区域，将要利用的车道信息包含进来；第四，针对感兴趣的区域，通过双峰法对图像做二值化处理，将车道线从背景中提取出来，即车道线的有用信息；最后，对二值化后的图像进行边缘检测，使车道线细化。透视变换根据下列方程求解透视系数：

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]=\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\′}{x}_1& -x_1^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\′}{x}_1& -y_1^{\′}{y}_1\\ & & & & & .& & \\ & & & & & .& & \\ & & & & & .& & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\′}{x}_n& -x_n^{\′}{y}_n\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\′}{x}_n& -y_n^{\′}{y}_n\end{array}\right]\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\\ m_5\\ m_6\\ m_7\\ m_8\end{array}\right]$

其中M为系数,包含m₁,...,m₈八个系数，即标定的四个点的八个坐标值。x_i，y_i为原始坐标，x_i',y_i'为透视之后的坐标,i＝1,...,4。

如图2所示，对数据预处理后的面部图像信息进行特征提取；选取Gabor小波特征对采集到的面部图像信息进行特征提取，Gabor小波对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性。采用多通道滤波技术，将一组具有不同时频域特性的Gabor小波应用于图像变换，每个通道都能够得到输入图像的某种局部特性，这样可以根据需要在不同粗细粒度上分析图像。使用Gabor小波特征，可以将人脸的一些关键功能区域，如眼睛等的局部特征被强化，从而有利于区分不同的人眼睁闭情况。使用Gabor小波特征，获取不同尺度，不同方向的特征，每一个尺度和方向的特征与模板进行匹配，求出综合的匹配系数，检测眼睛的位置。这样从多个尺度，多个方向进行模板匹配，能够有效地区分出眼睛和眉毛，提高计算眨眼频率和闭眼时间准确性。

根据提取的特征，识别待测出图像中人眼的睁闭情况，并计算闭眼的连续帧数及眨眼频率，以此衡量驾驶员是否存在疲劳驾驶。计算闭眼时间，首先计算相邻帧时间：

tNext＝1/fps

其中，tNext为视频图像相邻帧的时间，fps为视频帧率。

基于经验统计，这里设定当驾驶员闭眼时间持续超过3秒，则驾驶员将被视为疲劳驾驶。

驾驶员面部特征信息模板为预先生成的，包含了多个尺度、多个方向的眼部特征图像。

对数据预处理后的车辆状态信息进行特征提取；车辆状态信息即车在行驶过程中偏离车道的距离。将预处理得到的图像进行霍夫变换，检测出图像中的车道线。再通过比例关系计算当前车辆行驶的偏移车道线距离。根据霍夫变换的结果计算最终的车道偏移量：

nOffset＝(nRightSet-nLeftSet)/(nRightSet＋nLeftSet)/nPara

其中nRightSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标，nPara是一个提示量级的参数。例如，把偏移设定为3个偏移量级，即将车道左侧等分4个区域，则nPara＝1/4，作为区域区分，衡量车辆偏移车道情况。

设定疲劳驾驶条件：车辆每偏移一个区域的距离，视为偏离车道线一次；当车辆行驶连续偏离车道线5次及以上，视为疲劳驾驶等相关情况，不适宜驾驶情况。

驾驶员的生理信息包括驾驶员的心率、血压信息，对两种数据信息求取均值，综合衡量驾驶员的当前生理状态。

c＝(h+b)/2

式中，c表示取心率和血压的均值，h表示驾驶员的心率，b表示驾驶员的血压值。

将心率和血压的均值作为衡量驾驶员当前生理状况的特征依据，采集驾驶员在各种状态下的两种指标，根据大量统计，基于驾驶员自身体质，设定合适的特征阈值iTh，用于驾驶员状态区分。即若c≤iTh，则认为驾驶员处于正常状态，适宜驾驶；若c＞iTh，则认为驾驶员处于疲劳状态，不适宜驾驶。

建立驾驶员面部信息、生理信息、车辆前方道路信息的数据库，包含家人、医院及工作单位的联系方式，在驾驶员处于疲劳状态时，能够及时通知家人，进行预警提示；及时通知医院，做必要的准备；及时通知单位，如若因驾驶员疲劳驾驶问题引发工作耽搁，可以追溯缘由。

根据对驾驶员频繁的监测，定期诊断驾驶员的健康状态，提出建议是否需要去医院进行进一步的检查，是否需要注意休息；

根据每次对驾驶员状态判决结果，将数据重新返回存储至数据库，更新数据，更新面部信息匹配、生理信息，这样更符合实际情况。

Claims (10)

1.一种融合多态信息的辅助驾驶方法，其特征在于，包括以下步骤：

采集驾驶员的面部图像信息、生理信息和车辆前方道路图像信息；

对采集到的驾驶员的面部图像信息和车辆前方图像信息进行图像预处理；

对数据预处理后的面部图像信息和车辆前方图像信息进行特征提取；

对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合；根据特征提取后得到的车道偏移量，判断当前车辆偏移状态；根据驾驶员的生理信息，判断驾驶员的生理特征状态；

综合以上三种状态信息，综合判断驾驶员的状态；

根据驾驶员的状态做出相应的预警提示。

2.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对采集到的驾驶员的面部图像信息进行图像预处理，包括以下步骤：

截取采集到的驾驶员的面部图像的上半部分，对截取后的图像进行灰度化处理；

对灰度化处理后的图像进行均值滤波，去除面部的干扰信息，突出眼球部分；

对均值滤波后的图像进行直方图均衡化，增强图像的对比度。

3.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对采集到的车辆前方道路图像信息进行数据预处理，具体为：

在车辆前方道路图像中选择车道线的四个边界点，作为已知标定点；

根据标定的的四个边界点对车辆前方道路图像做透视变换，使车辆前方道路图像变换为俯视视角的图像，得到平行的车道线；

根据透视变换的结果选择包含车道线的感兴趣区域；

通过双峰法对感兴趣区域的图像做二值化处理，将车道线从背景中提取出来；

对二值化后的图像进行边缘检测，使车道线细化。

4.根据权利要求3所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述透视变换根据下列方程求解：

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ .\\ .\\ .\\ x_n^{\′}\\ y_n^{\′}\end{array}\right]=\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1^{\′}{x}_1& -x_1^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& -y_1^{\′}{x}_1& -y_1^{\′}{y}_1\\ & & & & & .& & \\ & & & & & .& & \\ & & & & & .& & \\ x_n& y_n& 1& 0& 0& 0& -x_n^{\′}{x}_n& -x_n^{\′}{y}_n\\ 0& 0& 0& x_n& y_n& 1& -y_n^{\′}{x}_n& -y_n^{\′}{y}_n\end{array}\right]\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\\ m_5\\ m_6\\ m_7\\ m_8\end{array}\right]$

其中，M为系数,包含m₁,...,m₈八个系数，即标定的四个边界点的八个坐标值。x_i，y_i为原始坐标，x_i',y_i'为透视之后的坐标,i＝1,...,4。

5.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对数据预处理后的面部图像信息进行特征提取，具体为：利用Gabor小波对预处理后的面部图像进行图像变换，得到一组不同方向不同尺度的特征图像。

6.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对数据预处理后的车辆状态信息进行特征提取，包括以下步骤；

将预处理得到的图像进行霍夫变换，检测出图像中的车道线；

通过比例关系计算当前车辆行驶的偏移车道线距离，即根据霍夫变换的结果计算车道偏移量：

nOffset＝(nRightSet-nLeftSet)/(nRightSet+nLeftSet)/nPara

其中，nRightSet是右侧车道线最下面交点的列坐标，nLeftSet是左侧的列坐标，nPara是一个提示量级的参数，为预设值。

7.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述根据驾驶员的生理信息，判断驾驶员的生理特征状态，具体为：

对驾驶员的心率、血压信息求取均值，综合衡量驾驶员的当前生理状态：

c＝(h+b)/2

式中，c表示取心率和血压的均值，h表示驾驶员的心率，b表示驾驶员的血压值；

若c≤iTh，则认为驾驶员处于正常状态，适宜驾驶；若c＜iTh，则认为驾驶员处于疲劳状态，不适宜驾驶，iTh为预设阈值。

8.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述对特征提取后的面部图像信息与驾驶员面部特征信息模板进行特征匹配，得到驾驶员的眼部状态，判断驾驶员的眼睛为睁开/闭合，根据相邻帧时间间隔计算闭眼的连续帧数，进而得到连续闭眼时间，当驾驶员闭眼时间持续超过预设阈值时，则驾驶员被视为疲劳驾驶。

9.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述根据特征提取后得到的车道偏移量，判断当前车辆偏移状态，具体为：

将车道左右两侧各等分为n个区域，车辆每偏移一个区域视为偏离车道线一次；当车辆行驶连续偏离车道线次数超过预设阈值时，视为疲劳驾驶。

10.根据权利要求1所述的一种融合多态信息的辅助驾驶方法，其特征在于，所述综合以上三种状态信息，综合判断驾驶员的状态，具体为：

如果有两种或两种以上判定驾驶员为疲劳状态，则确认当前驾驶员处于疲劳状态；反之，则认为驾驶员未处于疲劳状态，可以正常驾驶。