CN103839379A - 汽车及用于其的驾驶员疲劳预警检测方法和系统 - Google Patents

Abstract

本发明公开了一种汽车及用于其的驾驶员疲劳预警检测方法和系统，其中系统包括：视频采集模块，用于采集车内乘员的图像信息；面部识别模块，用于对车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据驾驶员的人脸特征参数获得驾驶员的人脸位置信息；人眼检测模块，用于根据驾驶员的人脸位置信息获取驾驶员的眼部区域信息，并根据驾驶员的眼部区域信息获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息；判断模块，用于根据驾驶员的眼睛特征信息判断驾驶员是否处于疲劳状态。该系统能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，从而判断出驾驶员是否处于疲劳状态。

Description

汽车及用于其的驾驶员疲劳预警检测方法和系统

技术领域

本发明涉及汽车技术领域，特别涉及一种驾驶员疲劳预警检测系统、具有该系统的汽车以及一种驾驶员疲劳预警检测方法。

背景技术

目前，市场上基于眼睛状态的相关产品大多是依据perclos（Percentage of EyeIidCIosure over the PupiI、over Time，度量疲劳/瞌睡的物理量）标准，即将眼睑闭合时间占一段时间的百分比作为生理疲劳的测量指标。利用面部识别技术定位眼睛、鼻尖和嘴角位置，将眼睛、鼻尖和嘴角位置结合起来，再根据对眼球的追踪可以获得驾驶员注意力方向，并通过判断驾驶员的注意力是否分散来进行报警，从而可以实现防止驾驶员疲劳驾驶的目的。

但是，相关技术中只针对一定区域内对一个人的人脸进行判断，但一般情况下汽车内不可能只有驾驶员一个人，这样就要求对疲劳判定的先提条件非常严格，因此不能有效地达到预警的效果，并且还会出现误判，不能满足用户的需要。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的第一个目的在于提出一种能够识别车内驾驶员并检测器驾驶时精神状态的驾驶员疲劳预警检测系统。

本发明的第二目的在于提出一种具有上述驾驶员疲劳预警检测系统的汽车。本发明的第三个目的在于提出一种驾驶员疲劳预警检测方法。

为达到上述目的，本发明第一方面实施例提出的一种驾驶员疲劳预警检测系统，包括：视频采集模块，用于采集车内乘员的图像信息；面部识别模块，所述面部识别模块通过灰度共生矩阵、彩色空间变换和肤色建模对所述车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据所述驾驶员的人脸特征参数获得所述驾驶员的人脸位置信息；人眼检测模块，用于根据所述驾驶员的人脸位置信息获取所述驾驶员的眼部区域信息，并根据所述驾驶员的眼部区域信息获取所述驾驶员的眼部特征参数以检测所述驾驶员的眼睛特征信息；判断模块，用于根据所述驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断所述驾驶员是否处于疲劳状态。

根据本发明实施例的驾驶员疲劳预警检测系统，通过视频采集模块采集车内乘员的图像信息，并通过面部识别模块对车内乘员的图像信息分析处理以识别出驾驶员的人脸特征参数，然后获得驾驶员的人脸位置信息，人眼检测模块根据驾驶员的人脸位置信息最终获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息，最后判断模块根据驾驶员的眼睛特征信息判断驾驶员是否处于疲劳状态。因此，本发明实施例的驾驶员疲劳预警检测系统能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，满足用户的需要，并减少误判率。

根据本发明的一个实施例，所述面部识别模块根据所述灰度共生矩阵对所述车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据所述车内乘员的面部纹理特征信息识别出所述驾驶员。

根据本发明的一个实施例，所述人眼检测模块根据所述驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定所述驾驶员的眼部区域，并对所述驾驶员的眼部区域进行连通域处理以获取所述驾驶员的眼睛位置，以及根据所述驾驶员的眼睛位置提取所述驾驶员的眼部特征参数。

根据本发明的一个实施例，所述判断模块根据perclos标准和BP神经网络算法判断所述驾驶员是否处于所述疲劳状态。

根据本发明的一个实施例，所述的驾驶员疲劳预警检测系统还包括：预警模块，在所述驾驶员处于所述疲劳状态时所述预警模块发出报警提示。

本发明第二方面实施例提出的一种汽车包括上述的驾驶员疲劳预警检测系统。

根据本发明实施例的汽车，能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，满足用户的需要。

为达到上述目的，本发明第三方面实施例提出的一种用于汽车的驾驶员疲劳预警检测方法，包括以下步骤：S1，采集车内乘员的图像信息；S2，通过灰度共生矩阵、彩色空间变换和肤色建模对所述车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据所述驾驶员的人脸特征参数获得所述驾驶员的人脸位置信息；S3，根据所述驾驶员的人脸位置信息获取所述驾驶员的眼部区域信息，并根据所述驾驶员的眼部区域信息获取所述驾驶员的眼部特征参数以检测所述驾驶员的眼睛特征信息；S4，根据所述驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断所述驾驶员是否处于疲劳状态。

根据本发明实施例的用于汽车的驾驶员疲劳预警检测方法，通过采集车内乘员的图像信息，并对车内乘员的图像信息分析处理以识别出驾驶员的人脸特征参数，然后获得驾驶员的人脸位置信息，根据驾驶员的人脸位置信息最终获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息，最后根据驾驶员的眼睛特征信息判断驾驶员是否处于疲劳状态。因此，本发明实施例的用于汽车的驾驶员疲劳预警检测方法能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，并能够减少误判率。

根据本发明的一个实施例，在步骤S2中，根据所述灰度共生矩阵对所述车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据所述车内乘员的面部纹理特征信息识别出所述驾驶员。

根据本发明的一个实施例，在步骤S3中，根据所述驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定所述驾驶员的眼部区域，并对所述驾驶员的眼部区域进行连通域处理以获取所述驾驶员的眼睛位置，以及根据所述驾驶员的眼睛位置提取所述驾驶员的眼部特征参数。

根据本发明的一个实施例，在步骤S4中，根据perclos标准和BP神经网络算法判断所述驾驶员是否处于所述疲劳状态。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的驾驶员疲劳预警检测系统的方框示意图；

图2A为纹理特征人脸肤色区域分割的示意图；

图2B为通过纹理特征人脸定位结果的示意图；

图3为依据纹理特征初步实现人脸皮肤skin区域与其他区域的划分的流程图；

图4A为人脸头发区域分割结果的示意图；

图4B为采用彩色空间肤色建模法人脸精确定位结果的示意图；

图5为根据本发明一个实施例的依据肤色空间区分肤色区域和头发区域及精确定位人脸的流程图；

图6为人脸的“三庭”标准示意图；

图7为图像去噪及人脸分区（1/2和1/3）锁定流程图；

图8为眼部区域锁定的算法流程图；

图9A为晚间人脸图像情况的示意图；

图9B为白天人脸图像情况的示意图；

图10为HU氏七个不变矩计算流程图；

图11为BP神经网络基本结构示意图；

图12为整合部分的整合流程图；

图13为根据本发明一个实施例的驾驶员疲劳预警检测系统内部模块的顶层图；以及

图14为根据本发明实施例的用于汽车的驾驶员疲劳预警检测方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面参照附图来描述根据本发明实施例提出的驾驶员疲劳预警检测系统、具有该系统的汽车和用于汽车的驾驶员疲劳预警检测方法。

图1为根据本发明实施例的驾驶员疲劳预警检测系统的方框示意图。如图1所示，该驾驶员疲劳预警检测系统包括视频采集模块10、面部识别模块20、人眼检测模块30和判断模块40。

其中，视频采集模块10用于采集车内乘员的图像信息。在本发明的一个实施例中，视频采集模块10可以为摄像输入部分。

面部识别模块20通过灰度共生矩阵、彩色空间变换和肤色建模对所述车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据所述驾驶员的人脸特征参数获得所述驾驶员的人脸位置信息。

其中，根据本发明的一个实施例，面部识别模块20根据所述灰度共生矩阵对所述车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据所述车内乘员的面部纹理特征信息识别出所述驾驶员。

具体而言，在本发明的实施例中，在驾驶员面部识别过程中，首先通过纹理特征的不同，可以较好地区分黑夜下的人脸。例如采用灰度共生矩阵，并提取相关的四个特征变量，根据特征变量的值，从而实现人脸皮肤skin区域与其他区域的划分，从而初步判断人脸位置，并且夜晚效果更明显。其中，纹理特征人脸肤色区域分割的示意图如图2A所示。

其中，对灰度共生矩阵的数学定义为：灰度共生矩阵是从图像灰度值为i的像元(x,y)出发，统计与其距离为d，灰度值为j的像元(x+a,y+b)，同时出现的频度P(i,j,d,θ)，其数学表达为：

P(i,j,d,θ)={[(x,y),(x+a,y+b)|f(x,y)=i;f(x+a,y+b)=j]}（1）

公式（1）中，灰度共生矩阵是描述的在θ方向上，相隔d像元距离的一对像元分别具有活度i和j的概率。

根据灰度共生矩阵，可以得到14种特征量，其中能量、熵、对比度、局部平稳这四种特征能够较好的区分人脸皮肤skin区域。

其中，能量的数学表达为：

$f_1=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{p}^2(i,j)--\left(2\right)$

其中，L为灰度级。

熵的数学表达为：

$f_2=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\hat{p}(i,j)\log \hat{p}(i,j)--\left(3\right)$

对比度的数学表达为：

$f_3=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{K}^2\left\{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\hat{p}(i,j)\right\}--\left(4\right)$

其中，k=(i-j)²。

局部平稳的数学表达为：

$f_4=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\frac{\hat{p}(i,j)}{|1+{(i-j)}^2|}--\left(5\right)$

在本发明的一个示例中，通过纹理特征人脸定位结果如图2B所示。

在本发明的一个实施例中，如图3所示，依据纹理特征初步实现人脸皮肤skin区域与其他区域的划分的流程为：

S301，初始化。

S302，图像压缩处理。

S303，载入压缩处理后图像参数。

S304，生成灰度共生矩阵。

S305，计算纹理特征值（例如能量、熵、对比度和局部平稳四种特征）。

S306，判断是否人脸皮肤区域。如果是，执行步骤S307；如果否，执行步骤S308。其中，能量、熵、对比度和局部平稳四种特征值对于人脸肤色有一个阈值，并在超过该阈值时，则判定为人脸。

S307，像素灰度值设为255，进入步骤S309。

S308，像素灰度值设为0，进入步骤S309。

S309，生成新图，显示分割结果。

S310，结束。

接着，采用彩色空间变换，肤色模型建立，肤色相似度计算人脸位置配合头发位置判断从而精确判断人脸的位置。

其中，彩色空间的变换，就是将RGB颜色空间映射到YCbCr颜色空间，因为人类肤色在YCbCr颜色空间上能够较好地体现肤色的聚类特性。转换公式为：

$\left\{\begin{array}{c}Y=0.257R+0.504G+0.098B+16\\ \mathrm{Cb}=-0.1487R-0.291G+0.439B+128\\ \mathrm{Cr}=0.439R-0.368G-0.0071B+128\end{array}\right.--\left(6\right)$

肤色模型YCbCr空间归一化色度直方图后，肤色满足二维高斯模型M=（m，C），其中m为均值，C为协方差。通过这个肤色模型能够较好地区分人脸和非人脸。

根据肤色模型，可确定类人脸肤色区域。类似根据YCbCr色彩空间的Y分量确定类头发区域。根据肤色区域和头发区域的位置关系分布，综合判断人脸的位置。其中，人脸头发区域分割结果如图4A所示，采用彩色空间肤色建模法人脸精确定位结果如图4B所示。

在本发明的一个实施例中，如图5所示，依据肤色空间区分肤色区域和头发区域及精确定位人脸的流程为：

S501，初始化。

S502，获取图像参数。

S503，将图像从RGB色彩空间映射到YCbCr色彩空间。

S504，建立肤色模型。

S505，读取当前像素值。

S506，根据当前像素色彩分量关系判断是否皮肤或头发区域。如果是，执行步骤S507；如果否，执行步骤S508。

S507，根据当前像素色彩分量关系判断是否属于皮肤区域。如果是，执行步骤S509；如果否，执行步骤S510。

S508，将像素值设为2，进入步骤S511。

S509，将像素值设为0，进入步骤S511。

S510，将像素值设为1，进入步骤S511。

S511，获得分割后图像结果。

S512，根据头发人脸位置关系定位人脸位置。

S513，结束。

因此说，在本发明的实施例中，利用灰度共生矩阵和彩色肤色空间定位人脸过程可提取驾驶员人脸特征值，从而识别驾驶员人脸，若驾驶员为固定的人员用户可选择防盗模式，起到汽车防盗作用。也就是说，本发明实施例的驾驶员疲劳预警检测系统采用智能面部识别技术，可以自动识别车主，从而可以防止汽车被盗。

在本发明的实施例中，人眼检测模块30用于根据所述驾驶员的人脸位置信息获取所述驾驶员的眼部区域信息，并根据所述驾驶员的眼部区域信息获取所述驾驶员的眼部特征参数以检测所述驾驶员的眼睛特征信息。

其中，根据本发明的一个实施例，人眼检测模块30根据所述驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定所述驾驶员的眼部区域，并对所述驾驶员的眼部区域进行连通域处理以获取所述驾驶员的眼睛位置，以及根据所述驾驶员的眼睛位置提取所述驾驶员的眼部特征参数。

具体地说，特征区域提取的主要目的是提取眼部特征区域，并对特征区域进行分析以得到可作为分辨驾驶员精神状态的特征的八维数据。其中，整个特征区域提取分为三个部分：进一步锁定、眼睛区域的提取、特征提取三部分。特征区域的提取主要是以人脸面部区域划分及面部五官位置关系、大小关系为主要的建模依据，同时辅以联通域算法进行，联通域算法为保障性算法。

首先特征区域的进一步锁定。对于一张较为标准的人脸而言，五官都有各自的固定位置，对于眼睛而言，它的位置固定在了脸部的中间三分之一部分。如果在得到较为准确的人脸区域后，程序就可在一个较小的范围内进行搜索。具体的做法是：先根据采集到的图像，进行区域分区，如图6所示，一般会选取中间1/3的部分进行提取作为进一步的特征提取区域。

对于输入的图像而言，首先进行直方图均衡，使图像对比度得到增加，有利于后续的二值化。随后算法对图像左右分块，进行二值化。根据人眼的大体位置进行在高度上的划分，实现特征区域的进一步锁定，即通过人脸分区找人眼。具体而言，如图7所示，图像去噪及人脸分区（1/2和1/3）锁定流程为：

S701，本部分程序开始。

S702，直方图均衡处理。

S703，对整张人脸图进行左右分区处理。

S704，左右两区分别做二值化处理。

S705，合并及二值膨胀处理。

S706，分析函数connect1（或2），例如进入步骤S708。

S707，本部分结束。

S708，分析函数connect2在本部分内的算法。

S709，判断脸区域是否为近方形。如果是，执行步骤S710；如果否，执行步骤S711。

S710，取人脸中间1/2的部分，进入步骤S712。

S711，取人脸中间1/3的部分，进入步骤S712。

S712，统计每行灰度投影值。

S713，从下向上顺次扫描每行灰度投影值。

S714，判断是否灰度投影值到达最低。如果是，执行步骤S715；如果否，执行步骤S721。

S715，判断最低灰度投影值是否为边界。如果是，执行步骤S716；如果否，执行步骤S717。

S716，终止标记其最高行为最低行+5。

S717，判断是否到达疑似最高点。如果是，执行步骤S718；如果否，执行步骤S719。

S718，判断是否不满足持续性。如果是，返回步骤S713；如果否，执行步骤S720。

S719，累加行数后返回步骤S717。

S720，标记最高行。

S721，判断灰度投影值是否大于5。如果是，执行步骤S722；如果否，执行步骤S723。

S722，标记投影行为下限，执行步骤S723。

S723，继续扫描后返回步骤S714。

接着，眼睛区域提取。在本发明的实施例中，前提条件是已经得到了经过进一步锁定后的人眼提取区域。接下来的工作就是进行验证和提取失败时的后备处理。无论什么容貌的人，只要在固定的情况下(例如坐于驾驶座上)人眼间距总在一个固定的范围内，两眼的高度差相较于眉毛到两眼的高度差来说是较小的一方。特别应当指出的是，由于在上述进一步缩小搜索范围的操作中，扫描筛选的操作是自下而上的，因此可以从很大程度上避免来自眉毛的干扰。基于以上理由，这些参数适于判断、提取人眼。并且算法在编写过程中考虑到了晚上、白天的区别，眼镜框、眉毛、歪头等情况的影响，其中：由于主要是以面部反光为主，晚上相较于白天眼睛提取出来的范围只局限于瞳孔附近，因此大小会相比白天要较小些；眼镜框的影响主要是体现在眼镜框会在两眼之间“制造出”一个连通域，这样会比较容易造成识别混乱。这些都一一体现在算法具体的参数、机制上。其中，如图8所示，眼部区域锁定的算法流程为：

S801，算法开始。

S802，根据前一阶段结果（位置信息）对输入的二值数据进行提取。

S803，检测是否还有新的连通域。如果是，执行步骤S804；如果否，执行步骤S807。

S804，标记当前连通域所有内容。

S805，判断是否满足眼镜条件。如果是，执行步骤S806；如果否，执行步骤S807。

S806，删除记录，返回步骤S803。

S807，录入信息汇总数组。

S808，判断是否遍历所有信息元素。如果是，执行步骤S811；如果否，执行步骤S809。

S809，判断是否眼睛条件。如果是，执行步骤S810；如果否，返回步骤S808。

S810，输出第一级寻找成功。

S811，寻找失败。

S812，扩大搜索范围。

S813，在输入的二值数据进行提取。

S814，检测是否还有新的连通域。如果是，执行步骤S815；如果否，执行步骤S818。

S815，标记当前连通域所有内容。

S816，判断是否满足眼镜条件。如果是，执行步骤S817；如果否，执行步骤S818。

S817，删除记录，返回步骤S814。

S818，录入信息汇总数组。

S819，判断是否遍历所有信息元素。如果是，执行步骤S822；如果否，执行步骤S820。

S820，判断是否眼睛条件。如果是，执行步骤S821；如果否，返回步骤S819。

S821，输出第二级寻找成功。

S822，寻找彻底失败。

其中，连通域分析I是对眼睛区域的进一步保证，与灰度投影这一步骤按先后顺序执行，在这里的连通域分析的对象是基于灰度投影确定的眼睛区域进行主要的二值化，位置信息的分析，主要涉及到的信息为眼睛的高度是否统一，间距是否在既定范围内。

如果判断正确即立即将两眼睛位置处进行标记，并截取图片进行特征分析。如果判断不正确，立即进入连通域分析II。

作为保险措施，连通域分析II的机理是在人脸识别得到的1/3人脸区域的基础之上，进行二值化，继而寻找符合“眼睛的高度是否统一，间距是否在既定范围内”这一条件的。如果还是找不到故而算法认为人脸寻找失败，找到即按连通域分析I进行后续处理。

然后，进行特征提取。关于特征提取方面，考虑白天晚上的不同时间使用两种特征，即HU氏不变矩和瞳孔的大小，其中：

1、HU氏不变矩

矩函数在图像分析中有着广泛的应用，如模式识别、目标分类、目标识别与方位估计、图像编码与重构等。一个从一幅数字图像中计算出来的矩集，通常描述了该图像形状的全局特征，并提供了大量的关于该图像不同类型的几何特性信息，比如大小、位置、方向及形状等。图像矩的这种特性描述能力被广泛的应用在各种图像处理、计算机视觉和机器人技术领域的目标识别与方位估计中。例如，一阶矩与形状有关，二阶矩显示曲线围绕直线平均值的扩展程度，三阶矩则是关于平均值的对称性的测量。由二阶矩和三阶矩可以导出一组共七个不变矩。可对图像进行简化处理，保留最能反映目标特性的信息，再用简化后的图像计算不变矩特征，可减少计算量。

对于矩而言，其常常用于分辨形态差异较大的物体，所以眼睛的睁闭在特征区域这一分辨率下可以认为是存在着巨大的变化，因此算法采用了这一组特征。以下是HU氏七个不变矩的计算公式：

$\begin{array}{c}{\mathrm{\φ}}_1={\mathrm{\η}}_{20}+{\mathrm{\η}}_{02}\\ {\mathrm{\φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2\\ {\mathrm{\φ}}_{3={({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{03}-3{\mathrm{\η}}_{21})}^2}\\ {\mathrm{\φ}}_4={({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2\\ {\mathrm{\φ}}_5=({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-3{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2]+({3\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})[3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2]\\ {\mathrm{\φ}}_6=({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2]+{4\mathrm{\η}}_{11}({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})\\ {\mathrm{\φ}}_7=({3\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-3{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2]+({\mathrm{\η}}_{30}-{3\mathrm{\η}}_{12})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{03}+{\mathrm{\η}}_{21})}^2]\end{array}$

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^{\mathrm{\γ}}},\mathrm{\γ}=\frac{p+q}{2}+1---\left(7\right)$

其中，μ_pq为p+q阶中心矩， ${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{1+\frac{p+q}{2}00}},p+q\≥2.$

2.瞳孔的大小

根据perclos标准，可以通过计算一段时间内眼睛闭合的比例来确定疲劳状态。结合实际的成像手段的制约（图），再对于瞳孔而言成像质量较好的晚间使用这个特征并以该标准为准则。

其中，perclos的测量方法是：用摄像机抓取驾驶员的脸部图像，通过图像处理方法得到眼睛图像，经过图像分析和识别的手段确定眼睛是睁开还是闭合的。定义眼睛瞳孔开度大于20%是睁开，而瞳孔开度等于20%或更小为闭合。眼睛闭开比是测量时间内眼睛闭合的时间与眼睛睁开的时间之比，时间是通过每帧图像处理的时间计算出的。

在此处，由于不存在算面积的问题，用神经网络输出的精神状态分类值作为自变量，统计在一定时间内，睁、闭眼所占的比例，如比例大于阈值，则系统给出反馈。

具体在使用perclos准则时选取的参数是瞳孔区域的宽度作为第八个特征量，因为这个参数并不是尺度不变的，因此需要在实际操作时提前采集几分钟的瞳孔区域的宽度以求得最大值从而实现后续的实时监测。

在本发明的一个具体示例中，通过瞳孔图像清晰度的对比区别晚间人脸图像情况和白天人脸图像情况。其中，晚间人脸图像情况如图9A所示，白天人脸图像情况如图9B所示。

3、算法实现

本部分算法主要是在主函数中，在主函数根据人眼寻找的结果为有的情况下，进行处理。顺次进行人眼区域的锁定，二值化，确定瞳孔宽度，最后将二值化后的图像输入HU氏不变矩函数进行处理得到剩下七维尺度不变特征。其中，如图10所示，HU氏七个不变矩计算流程为：

S1001，算法开始。

S1002，从彩色原图中提取眼部区域。

S1003，缩小搜索区域至原来的1/4。

S1004，二值化处理。

S1005，遍历从h/5到4h/5范围内的所有行。

S1006，求得最大宽度。

S1007，将二值化图像输入HU氏矩函数。

S1008，得到结果。

在本发明的实施例中，判断模块40用于根据所述驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断所述驾驶员是否处于疲劳状态。

其中，根据本发明的一个实施例，判断模块40根据perclos标准和BP（BackPropagation，反向传播）神经网络算法判断所述驾驶员是否处于所述疲劳状态。

最后判断模块40依据perclose和BP神经网络进行分类识别。根据BP判断的结果中正确的结果进行第八维数据的核实，即利用瞳孔宽度及前几分钟测出的瞳孔宽度最大值进行判断，如果宽度小于标准最大值的0.7，则继续判为闭眼的状况。其中，BP神经网络基本结构如图11所示。

根据本发明的一个实施例，如图1所示，上述的驾驶员疲劳预警检测系统还包括：预警模块50，在所述驾驶员处于所述疲劳状态时预警模块50发出报警提示。同时，预警模块50可以与汽车的发动机控制器ECU双向通讯，在紧急的情况下主动干预ECU（例如刹车、减速、亮灯等等）。

其中，本发明实施例的驾驶员疲劳预警检测系统中的整合部分可分为视频采集和报警反馈两个部分，他们虽然在程序中并未起到关键作用，但是作为实现整个算法中穿针引线的部分，需要进行说明。

如图12所示，整合部分的整合流程包括：

S1201，算法开始。

S1202，摄像头挂靠在界面上。

S1203，设置摄像影像的参数。

S1204，判断摄像头是否在线。如果是，执行步骤S1205；如果否，返回步骤S1204，继续判断。

S1205，设置录像参数。

S1206，进行回调函数。

S1207，拆解数据。

S1208，YUV2图像格式转换成RGB图像格式。

S1209，存储图片。

S1210，实时显示反馈界面。

其中，算法在执行上采用了标志位数组的方式，根据60帧内所有的标志位进行综合评定，根据标志位数组内0/1/2的个数进行状态的判断：’0’占40帧以上就是无人在车上的状态；’1’占30帧以上就是当前驾驶员的状态为非正常状态；’2’占30帧以上就是当前驾驶员的状态为正常状态。基于以上结果对驾驶员的状态进行反馈。另外必须要进行说明的是，摄像头需要初始化，因此整个程序在摄像头初始化的过程中不对图像进行处理。

在本发明实施例的驾驶员疲劳预警检测系统学习结束和稳定后，用户可选择经过CAN通讯接入ECU专门接口，在紧急情况下主动干预ECU（刹车、减速、双闪等等）。

因此，本发明实施例的驾驶员疲劳预警检测系统为交互式软件系统，依托DSP平台，具有侦测驾驶员面部状态，以检测其驾驶时精神状态的功能。其中，如图1所示，本发明实施例的驾驶员疲劳预警检测系统可以由视频采集、人脸识别、人眼检测、状态判断四部分组成。并且，该驾驶员疲劳预警检测系统内部模块的顶层图如图13所示。

综上所述，本发明实施例的驾驶员疲劳预警检测系统采用了自主的车内光照情况监测修正，可以进行车内人脸光照的自动修正；并采样智能面部识别技术，可以自动识别车主，从而可以具有防盗功能；以及植入了新的人眼检测机制，学习不同驾驶员的疲劳过程和动作并用神经网络记忆其疲劳特征，使之更具有适应性，智能化；同时实现了与ECU的通信，客户可选择与ECU双向通讯，在紧急情况下主动干预ECU（刹车、减速、双闪等等）；此外，可针对不同车型进行标定使之准确率更高，非常适用于主机厂配合标定集中装配。因此，本发明实施例的驾驶员疲劳预警检测系统使疲劳预警更智能化，提高了适应性，并且能够识别车主身份以进行防盗，可参与车联网，使汽车更具智能性。

根据本发明实施例的驾驶员疲劳预警检测系统，通过视频采集模块采集车内乘员的图像信息，并通过面部识别模块对车内乘员的图像信息分析处理以识别出驾驶员的人脸特征参数，然后获得驾驶员的人脸位置信息，人眼检测模块根据驾驶员的人脸位置信息最终获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息，最后判断模块根据驾驶员的眼睛特征信息判断驾驶员是否处于疲劳状态。因此，本发明实施例的驾驶员疲劳预警检测系统能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，满足用户的需要，并减少误判率。

此外，本发明的实施例还提出了一种汽车，其包括上述的驾驶员疲劳预警检测系统。

根据本发明实施例的汽车，能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，满足用户的需要。

图14为根据本发明实施例的用于汽车的驾驶员疲劳预警检测方法的流程图。如图14所示，该用于汽车的驾驶员疲劳预警检测方法包括以下步骤：

S1，采集车内乘员的图像信息。

S2，通过灰度共生矩阵、彩色空间变换和肤色建模对车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据驾驶员的人脸特征参数获得驾驶员的人脸位置信息。

根据本发明的一个实施例，在步骤S2中，根据灰度共生矩阵对车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据车内乘员的面部纹理特征信息识别出驾驶员。

其中，具体的面部识别、人脸定位如上所述，这里就不再详细赘述。

S3，根据驾驶员的人脸位置信息获取驾驶员的眼部区域信息，并根据驾驶员的眼部区域信息获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息。

根据本发明的一个实施例，在步骤S3中，根据驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定驾驶员的眼部区域，并对驾驶员的眼部区域进行连通域处理以获取驾驶员的眼睛位置，以及根据驾驶员的眼睛位置提取驾驶员的眼部特征参数。

其中，具体的人眼检测过程如上所述，这里就不再详细赘述。

S4，根据驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断驾驶员是否处于疲劳状态。

根据本发明的一个实施例，在步骤S4中，根据perclos标准和BP神经网络算法判断驾驶员是否处于疲劳状态。

同样地，依据perclose和BP神经网络进行分类识别的过程如上所述，这里不再赘述。

根据本发明实施例的用于汽车的驾驶员疲劳预警检测方法，通过采集车内乘员的图像信息，并对车内乘员的图像信息分析处理以识别出驾驶员的人脸特征参数，然后获得驾驶员的人脸位置信息，根据驾驶员的人脸位置信息最终获取驾驶员的眼部特征参数以检测驾驶员的眼睛特征信息，最后根据驾驶员的眼睛特征信息判断驾驶员是否处于疲劳状态。因此，本发明实施例的用于汽车的驾驶员疲劳预警检测方法能够自动识别车内驾驶员，并且可以学习不同驾驶员的疲劳过程和动作，以及记忆驾驶员的疲劳特征，判断出驾驶员是否处于疲劳状态，从而实现对驾驶员不专注精神状态进行预警，保证驾驶安全，并能够减少误判率。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种驾驶员疲劳预警检测系统，其特征在于，包括：

视频采集模块，用于采集车内乘员的图像信息；

面部识别模块，所述面部识别模块通过灰度共生矩阵、彩色空间变换和肤色建模对所述车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据所述驾驶员的人脸特征参数获得所述驾驶员的人脸位置信息；

人眼检测模块，用于根据所述驾驶员的人脸位置信息获取所述驾驶员的眼部区域信息，并根据所述驾驶员的眼部区域信息获取所述驾驶员的眼部特征参数以检测所述驾驶员的眼睛特征信息；

判断模块，用于根据所述驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断所述驾驶员是否处于疲劳状态。

2.如权利要求1所述的驾驶员疲劳预警检测系统，其特征在于，所述面部识别模块根据所述灰度共生矩阵对所述车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据所述车内乘员的面部纹理特征信息识别出所述驾驶员。

3.如权利要求1所述的驾驶员疲劳预警检测系统，其特征在于，所述人眼检测模块根据所述驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定所述驾驶员的眼部区域，并对所述驾驶员的眼部区域进行连通域处理以获取所述驾驶员的眼睛位置，以及根据所述驾驶员的眼睛位置提取所述驾驶员的眼部特征参数。

4.如权利要求1所述的驾驶员疲劳预警检测系统，其特征在于，所述判断模块根据perclos标准和BP神经网络算法判断所述驾驶员是否处于所述疲劳状态。

5.如权利要求1-4任一项所述的驾驶员疲劳预警检测系统，其特征在于，还包括：

预警模块，在所述驾驶员处于所述疲劳状态时所述预警模块发出报警提示。

6.一种汽车，其特征在于，包括如权利要求1-5任一项所述的驾驶员疲劳预警检测系统。

7.一种用于汽车的驾驶员疲劳预警检测方法，其特征在于，包括以下步骤：

S1，采集车内乘员的图像信息；

S2，通过灰度共生矩阵、彩色空间变换和肤色建模对所述车内乘员的图像信息进行处理以获取驾驶员的人脸特征参数，并根据所述驾驶员的人脸特征参数获得所述驾驶员的人脸位置信息；

S3，根据所述驾驶员的人脸位置信息获取所述驾驶员的眼部区域信息，并根据所述驾驶员的眼部区域信息获取所述驾驶员的眼部特征参数以检测所述驾驶员的眼睛特征信息；

S4，根据所述驾驶员的眼睛特征信息与预设的眼睛特征阈值进行比较以判断所述驾驶员是否处于疲劳状态。

8.如权利要求7所述的用于汽车的驾驶员疲劳预警检测方法，其特征在于，在步骤S2中，根据所述灰度共生矩阵对所述车内乘员的图像信息进行处理以获得所述车内乘员的面部纹理特征信息，并根据所述车内乘员的面部纹理特征信息识别出所述驾驶员。

9.如权利要求7所述的用于汽车的驾驶员疲劳预警检测方法，其特征在于，在步骤S3中，根据所述驾驶员的人脸位置信息进行直方图均衡处理和分区处理以锁定所述驾驶员的眼部区域，并对所述驾驶员的眼部区域进行连通域处理以获取所述驾驶员的眼睛位置，以及根据所述驾驶员的眼睛位置提取所述驾驶员的眼部特征参数。

10.如权利要求7所述的用于汽车的驾驶员疲劳预警检测方法，其特征在于，在步骤S4中，根据perclos标准和BP神经网络算法判断所述驾驶员是否处于所述疲劳状态。

Images