CN101872419A - 一种汽车驾驶员疲劳检测的方法 - Google Patents

Abstract

本发明公开了一种汽车驾驶员疲劳检测的方法，其特征在于：该方法通过计算机处理器采用下列步骤：先从视频中定位出人脸的区域；再对眼睛区域进行精确定位；然后对眼睛区域处理以及对的眼睛状态进行分析；最后根据眼睛的状态进行疲劳状态的分析，进而实现疲劳检测。提供了一种简单易行的疲劳检测方法，满足视频的实时性要求以及疲劳检测的准确性要求，且设备成本低，性能稳定，对于驾驶员的疲劳驾驶的情况能准确快速的检测出来。

Description

一种汽车驾驶员疲劳检测的方法

技术领域

本发明属于计算机视频数据处理技术领域，尤其涉及一种采用计算机视频数据处理技术对机动车驾驶员的疲劳程度进行检测的方法及其检测装置。

背景技术

驾驶疲劳是指驾驶员在长时间连续行车后，产生心理机能和生理机能的失调，出现视线模糊、腰酸背疼、反应迟钝、动作呆板，使驾驶机能下降的现象。驾驶员疲劳产生的原因极为复杂，与诸多因素有关。目前对疲劳检测这一方向研究的方法众多，其中有一种比较常用的划分方式是按设备与驾驶员是否接触分为两类检测方法：接触式疲劳检测与非接触式疲劳检测。

接触式疲劳检测主要是从医学的角度，对人的脑电波、心电波等身体机能的直接测试。接触式疲劳检测虽然准确度高，但是它的条件要求苛刻，过程复杂，价格昂贵，同时对被测试者还要在相应部位上安装传感器。这对驾驶员的操作带来较多的负面作用，导致其难于在现实中运用。

非接触式疲劳检测主要是用计算机视觉的方式来检测驾驶员的状态。其中，有对车量在路面行使的迟滞性反应来评测驾驶员疲劳状态，更多的是监视驾驶员的眼睛状态来评测司机的疲劳状态。非接触式疲劳检测的方法是利用视频处理的方式来监测驾驶员是否存在疲劳的情况。这种方法不需要驾驶员直接与仪器相接触，只需要用一个视频采集器监视驾驶员的状态，使得设备与驾驶员不接触。这就避免设备与驾驶者接触带来的负面影响的情况。在计算机的控制下，由单个静止摄像设备监控汽车驾驶室的驾驶员面部状态。通过非接触式的疲劳检测，人们是通过对驾驶员面部特征变化的观察来评价是否疲劳。

研究表明，人在发生困倦的时候，眨眼速度会变慢，眨眼持续时间也会变长。具体来说，驾驶员是否疲劳，与其眼睛的睁开程度状态密切相关。驾驶员的眼睛闭合时间越长，也就意味着疲劳程度越严重。因此，可以通过测量眼睛闭合时间在一段时间内所占的比例，来判断驾驶员的疲劳程度。

基于计算机视觉方式检测驾驶员的疲劳状态，通常情况都是先把驾驶员脸的大小和位置确定下来，然后再处理和定位眼睛，通过对眼睛的状态分析后计算疲劳值。

目前非接触式疲劳检测的方法中，对眼睛状态信息的采集一般是使用红外摄像机技术。但是，红外摄像机的成本比普通摄像机的成本昂贵，处理过程复杂，不利于产品大批量的推广。

发明内容

本发明的研制目的是提供一种准确率高，性能稳定，能够降低设备的制造成本的可以有效防止机动车司机因疲劳驾驶而造成的交通事故的一种汽车驾驶员疲劳检测的方法。

本发明的一种汽车驾驶员疲劳检测的方法，其特征在于：该方法通过计算机处理器采用下列步骤：

(1.1)先从视频中定位出人脸的区域；

(1.2)再对眼睛区域进行精确定位；

(1.3)然后对眼睛区域处理以及对的眼睛状态进行分析；

(1.4)最后根据眼睛的状态进行疲劳状态的分析。

步骤(1.2)所述的对眼睛区域进行精确定位是利用等亮度线原理进行定位，由于曲率的倒数为曲率半径，这样可以从等亮度线里的曲率中计算出眼球的半径，然后就可以得到中心点。通过对图像进行高斯卷积运算得到边缘信息，然后利用等亮度线与物体的边界信息的相关性进行更多的操作。曲线在边缘与表面的关系是：平滑的表面相关性较低，高梯度的表面有较大的相关性。这就意味着可以通过查找部分较大值的等亮度线来寻找边缘线信息，从而通过等亮度线的高相关性模式确定中心映射区域。

步骤(1.3)所述的对眼睛区域处理以及对的眼睛状态进行分析，利用数学形态学的重建滤波的方法处理眼睛区域，然后通过计算眼睛区域处理后的空洞长度与空洞面积的方法对眼睛状态进行分析，所述的眼睛状态的分析的详细算法步骤如下：

(3.1)首先定位眼睛的区域，并把眼睛感兴趣的区域提取出来；

(3.2)将提取出来的眼睛进行灰度化处理；

(3.3)对采集的视频图像帧进行归一化处理；

(3.4)对图像进行高斯平滑滤波处理，采用θ＝(n/2-1)*0.3+0.8的标准差及选取n＝11模板大小进行处理；

(3.5)图像二值化处理是采用自适应阀值算法进行的，其中提取阀值方法是采用高斯算法，先求出块中的加权和，然后再二值化图像；

(3.6)经过上述处理后除得到眼球的区域外，还得到了一些其它的多余信息，采用数学形态学的重建滤波方法处理，先用3×3的方形结构元素对前面处理后的图像进行多次腐蚀运算，直到只剩下一块连通区域为止，然后，再进行相应次数的膨胀运算；

(3.7)最后，根据图像处理结果分析连通区域的宽度及其面积，以此判断眼睛的状态，其中连通区域宽度小于或等于原始图像宽度的1/3，且连通区域面积小于或等于原始图像总面积的10％，同时满足这两

者条件则为疲劳的眼睛状态。

步骤(1.4)所述的根据眼睛的状态进行疲劳状态的分析是统计出眼睛在一定持续时间内，均处于疲劳状态下的次数超过规定的阀值次数，该系统则判定驾驶员处于疲劳的状态下，并适时的给出提示信息。

本发明的有益效果在于：

1、搭建了基于机器视觉处理方式的驾驶疲劳检测的方法框架，为多种不同方式的眼睛状态分析奠定了基础；

2、为了快速精准定位眼睛，使用了一种等亮度线的概念对眼睛进行精确定位，并使用CamShift算法跟踪眼睛的中心点；

3、为了解决实时反应疲劳状态不足的问题，本发明提出了一种运算方式简单的数学形态学重建滤波的方法处理眼睛的区域，并分析眼睛的状态，其低运算量和理想的处理效果，弥补系统实时性不足的问题；

4、为了解决降低图像设备的造价成本，本发明仅用一般的摄像头就能够；

5、本发明提高眼睛状态分析的准确率和整个疲劳检测的速度的。

附图说明

图1本发明的疲劳检测主流程图；

图2本发明的眼睛状态分析算法流程图；

图3本发明的眼睛状态处理实验结果示意图。

具体实施方式

实施例：

所述的人脸检测方式是由Viola提出的基于AdaBoost的人脸检测算法，使用的训练样本是由OpenCV提供的样本库和现场实际采集的样本集。

所述的等亮度线方式的人眼精确定位方法是把图像看成是三维空间的一个表面的问题，图像里的属性则可看成是高度。考虑满足f(x，y)＝c(c为某个常数)的所有点组成的点集合，若f表示亮度，那么这个点集中的元素具有相同的亮度值，因此称其为“等亮度线”。若沿着梯度的方向前进，则在到达脊线前的方向都是大致相同的，但到达脊线后方向就会发生了显著的变化。因此脊线有一个有用的定义：脊线是由这样一组点组成，在这些梯度方向的变化率是局部最大化。也就是说，需要找

取最大化值的点，而它是沿梯度方向v的求导。在笛卡尔坐标中为：

$\frac{{\∂}_{{\mathrm{\θ}}_i}}{{\∂}_v}=\frac{{2f}_x{f}_y{f}_{\mathrm{xy}}-f_y^2{f}_{\mathrm{xx}}-f_x^2{f}_{\mathrm{yy}}}{{(f_x^2+f_y^2)}^{\frac{3}{2}}}---\left(1\right)$

其中，θ_i＝arg(f_y-j·f_x)，θ_i∈[0，π]，v表示梯度方向。

$\frac{f_y^2{f}_{\mathrm{xx}}-2f_x{f}_y{f}_{\mathrm{xy}}+f_x^2{f}_{\mathrm{yy}}}{f_x^2+f_y^2}---\left(2\right)$

实验效果表明公式(1)基本上与一个略为简单的式子(2)等价，式子(2)只是基于亮度沿v方向的二阶导数，它们导出要将该式最大化，从而估计出图像的脊线。

由于曲率的倒数为曲率半径，这样可以从等亮度线里的曲率中计算出眼球的半径，然后就可以得到中心点。若这些直径没有指定的方向就没有意义，所以直径方向要从坡度的方向里估算出来，但知道这个方向总是要指向亮度变化率最大的地方。若梯度写成则估算的中心区域D(x，y)为：

$D(x,y)=\frac{\{f_x,f_y\}}{{\∂}_v}(-\frac{{\∂}_v}{{\∂}_{{\mathrm{\θ}}_i}})=-\frac{\{f_x,f_y\}(f_x^2+f_y^2)}{f_x^2{f}_{\mathrm{yy}}-{2f}_x{f}_y{f}_{\mathrm{xy}}+f_y^2{f}_{\mathrm{xx}}}---\left(3\right)$

通过对图像进行高斯卷积运算得到边缘信息，然后利用等亮度线与物体的边界信息的相关性进行更多的操作。使用曲线刻度的信息来表达一个图形的形状的方法，其中曲线生成公式为：

$\mathrm{curvedness}=\sqrt{f_{\mathrm{xx}}^2+2f_{\mathrm{xy}}^2+f_{\mathrm{yy}}^2}---\left(4\right)$

这类曲线在边缘与表面的关系是：平滑的表面相关性较低，高梯度的表面有较大的相关性。这就意味着可以通过查找部分较大值的等亮度线来寻找边缘线信息，从而通过等亮度线的高相关性模式确定中心映射区域。由此可以确定眼睛的中心点位置，然后再使用CamShift算法对眼睛中心点进行跟踪。

所述的眼睛区域的处理及眼睛状态分析，由于曲线只在高梯度的平面其相关性比较大，而当眼睛闭合时，眼睛区域的平面就相对平滑了，其检测的效果也就差了，只能在评估左右眼区域处随机的寻找，但此时仍然存在着亮度线信息，因此，本文进一步采用数学形态学的方式来判断眼睛的睁闭状态。

眼睛状态的分析方法是基于图2流程实现的，详细算法步骤如下：

(3.1)首先定位眼睛的区域，并把眼睛感兴趣的区域提取出来；

(3.2)将提取出来的眼睛进行灰度化处理；

(3.3)为了能在同一个大小尺寸下处理图像，对采集的视频图像帧进行归一化处理，本方法使用双线性插值法把图像归一化大小为55*35像素的图像，处理结果如图3(a)所示；

(3.4)对图像进行高斯平滑滤波处理，采用θ＝(n/2-1)*0.3+0.8的标准差及选取n＝11模板大小进行处理；

(3.5)图像二值化处理是采用自适应阈值算法进行的，其中提取阀值方法是采用高斯算法，先求出块中的加权和，然后再二值化图像，实验结果如图3(b)所示；

(3.6)经过上述处理后除得到眼球(虹膜区内)的区域外，还得到了一些其它的多余信息，采用数学形态学的重建滤波方法处理，先用3×3的方形结构元素对前面处理后的图像进行多次腐蚀运算，直到只剩下一块连通区域为止，然后，再进行相应次数的膨胀运算，实验结果如图3(c)；

(3.7)最后，根据图像处理结果分析连通区域的宽度及其面积，以此判断眼睛的状态，其中连通区域宽度小于或等于原始图像宽度的1/3，且连通区域面积小于或等于原始图像总面积的10％，同时满足这两者条件则为疲劳的眼睛状态。

所述的疲劳检测方式是在30秒内，统计出眼睛持续0.15秒均处于疲劳闭眼状态的次数(疲劳值f)超过疲劳阀值(10次)，则判定驾驶员处于疲劳状态，并适时的给出提示信息。

Claims (4)

1.一种汽车驾驶员疲劳检测的方法，其特征在于：该方法通过计算机处理器采用下列步骤：

(1.1)先从视频中定位出人脸的区域；

(1.2)再对眼睛区域进行精确定位；

(1.3)然后对眼睛区域处理以及对眼睛的状态进行分析；

(1.4)最后根据眼睛的状态进行疲劳状态的分析。

2.根据权利要求1所述的一种汽车驾驶员疲劳检测的方法，其特征在于：所述的步骤(1.2)所述的对眼睛区域进行精确定位是利用等亮度线原理进行定位，由于曲率的倒数为曲率半径，这样可以从等亮度线里的曲率中计算出眼球的半径，然后就可以得到中心点。通过对图像进行高斯卷积运算得到边缘信息，然后利用等亮度线与物体的边界信息的相关性进行更多的操作。曲线在边缘与表面的关系是：平滑的表面相关性较低，高梯度的表面有较大的相关性。这就意味着可以通过查找部分较大值的等亮度线来寻找边缘线信息，从而通过等亮度线的高相关性模式确定中心映射区域。

3.根据权利要求1所述的一种汽车驾驶员疲劳检测的方法，其特征在于：所述的步骤(1.3)所述的对眼睛区域处理以及对的眼睛状态进行分析，利用数学形态学的重建滤波的方法处理眼睛区域，然后通过计算眼睛区域处理后的空洞长度与空洞面积的方法对眼睛状态进行分析，所述的眼睛状态的分析的详细算法步骤如下：

(3.1)首先定位眼睛的区域，并把眼睛感兴趣的区域提取出来；

(3.2)将提取出来的眼睛进行灰度化处理；

(3.3)对采集的视频图像帧进行归一化处理；

(3.4)对图像进行高斯平滑滤波处理，采用θ＝(n/2-1)*0.3+0.8的标准差及选取n＝11模板大小进行处理；

(3.5)图像二值化处理是采用自适应阀值算法进行的，其中提取阀值方法是采用高斯算法，先求出块中的加权和，然后再二值化图像；

(3.6)经过上述处理后除得到眼球的区域外，还得到了一些其它的多余信息，采用数学形态学的重建滤波方法处理，先用3×3的方形结构元素对前面处理后的图像进行多次腐蚀运算，直到只剩下一块连通区域为止，然后，再进行相应次数的膨胀运算；

(3.7)最后，根据图像处理结果分析连通区域的宽度及其面积，以此判断眼睛的状态，其中连通区域宽度小于或等于原始图像宽度的1/3，且连通区域面积小于或等于原始图像总面积的10％，同时满足这两者条件则为疲劳的眼睛状态。

4.根据权利要求1所述的一种汽车驾驶员疲劳检测的方法，其特征在于：所述的步骤(1.4)所述的根据眼睛的状态进行疲劳状态的分析是统计出眼睛在一定持续时间内，均处于疲劳状态下的次数超过规定的阀值次数，则判定驾驶员处于疲劳的状态下，并适时的给出提示信息。

Images