CN111291590B

CN111291590B - 驾驶员疲劳检测方法、装置、计算机设备和存储介质

Info

Publication number: CN111291590B
Application number: CN201811485916.5A
Authority: CN
Inventors: 彭斐; 毛茜; 何俏君; 尹超凡; 李彦琳; 谷俊
Original assignee: Guangzhou Automobile Group Co Ltd
Current assignee: Guangzhou Automobile Group Co Ltd
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2021-03-19
Anticipated expiration: 2038-12-06
Also published as: CN111291590A

Abstract

本发明涉及一种驾驶员疲劳检测方法、装置、计算机设备和存储介质，其方法包括：获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值；根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值；根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值；若所述第一图像帧数值与所述第二开度阈值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态。采用本发明方案，可以提高疲劳检测结果的准确率。

Description

驾驶员疲劳检测方法、装置、计算机设备和存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种驾驶员疲劳检测方法、装置、计算机设备和存储介质。

背景技术

交通事故一直是人类面临的对生命财产安全威胁最严重的问题之一，其中大部分交通事故的发生都是由于驾驶员人为因素造成的。在车辆行驶过程中，驾驶员疲劳是造成恶性交通事故的重要原因之一，严重危害交通安全。

随着图像识别处理技术的发展，通过识别处理驾驶员驾驶过程中面部图像信息，判断驾驶员的疲劳状态并报警为预防交通事故的发生提供了一种新的解决方案。

传统的基于面部图像信息的驾驶员疲劳检测方式，是对人眼睁闭状态进行识别，最后通过连续帧的检测状态进行疲劳检测，这种方式，检测结果的准确率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高检测准确率的驾驶员疲劳检测方法、装置、计算机设备和存储介质。

一种驾驶员疲劳检测方法，所述方法包括：

获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值；

根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值；

根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值；

若所述第一图像帧数值与所述第二图像帧数值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态

一种驾驶员疲劳方法装置，所述装置包括：

检测模块，用于获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值；

处理模块，用于根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值；

统计模块，用于根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值；

判别模块，用于若所述第一图像帧数值与所述第二图像帧数值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

若所述第一图像帧数值与所述第二图像帧数值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述驾驶员疲劳检测方法、装置、计算机设备和存储介质，是根据脸部视频的各帧脸部图像中的各人眼开度值确定第一开度阈值和第二开度阈值，并基于第一开度阈值和第二开度阈值进行眼睛状态的区分，将基于人眼开度值大于第一开度阈值的第一图像帧数值和人眼开度值小于第二开度阈值的第二图像帧数值的比值，以及预设的疲劳判定阈值判定所述目标驾驶员处于疲劳状态，可以提升检测结果的准确度。

附图说明

图1为一个实施例中驾驶员疲劳检测方法的应用环境图；

图2为一个实施例中驾驶员疲劳检测方法的流程示意图；

图3为一个实施例中的人眼开度值的获取流程示意图；

图4为一个实施例中的第一开度阈值和第二开度阈值的获取流程示意图；

图5为一个实施例中的人脸特征图像的获取流程示意图；

图6为一个实施例中的眼睛特征点定位模型的训练流程示意图；

图7为一个实施例中的DPM特征提取原理图；

图8为一个实施例中的根滤波器(左)组件滤波器(中)高斯滤波后的2倍空间模型(右)的示意图；

图9为传统的Hog+SVM和一个实施例中的运用的DPM+Latent-SVM的效果对比(a)以及公式对比(b)示意图；

图10为一个实施例中的联级迭代效果示意图；

图11为一个实施例中的混合树模型对由于视点引起的拓扑变化进行编码的示意图；

图12为一个实施例中的人眼特征点定位结果示意图；

图13为另一个实施例中驾驶员疲劳方法装置的结构框图；

图14为另一个实施例中计算机设备的内部结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

需要说明的是，本发明的说明书、权利要求书以及说明书附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后关系。应当理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够除了在这里图示或描述的那些以外的顺序实施。

本申请提供的驾驶员疲劳检测方法，可以应用于如图1所示的应用环境中。其中，红外摄像头采集驾驶员的视频信息，红外摄像头采集的视频信息可以输入终端中进行驾驶员疲劳方法。其中，红外摄像头较佳安装位置是汽车转向盘下方的转向柱上。红外摄像头可以通过有线或者无线的方式与终端进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载终端和便携式可穿戴设备。

在一个实施例中，如图2所示，提供了一种驾驶员疲劳检测方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤S201：获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值；

这里，脸部视频是指对目标驾驶员面部进行拍摄得到的。

具体地，可以获取标驾驶员的一个检测周期内的脸部视频，对该脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值。其中，检测周期的大小可以根据实际需要设定。

步骤S202：根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值；

一般地，第一开度阈值还小于目标驾驶员的人眼最大张开度值，第二开度阈值还大于0，第一开度阈值为用于判定眼睛是否处于完全睁开状态的阈值，第二开度阈值为用于判定眼睛是否处于闭合状态的阈值。

步骤S203：根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值；

其中，人眼开度值大于所述第一开度阈值，表明眼睛处于完全睁开状态，人眼开度值小于所述第二开度阈值，表明眼睛处于闭合状态。第一图像帧数值是所述脸部视频中的人眼开度值小于或者等于所述第一开度阈值的图像帧数，第二图像帧数值是所述脸部视频中的人眼开度值小于或者等于所述第二开度阈值的图像帧数。

具体地，可以根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计一个检测周期内的第一图像帧数值和第二图像帧数值。

步骤S204：若所述第一图像帧数值与所述第二开度阈值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态；

其中，疲劳判定阈值的大小可以根据实际情况设定。

上述驾驶员疲劳检测方法中，是获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值，根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值，根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值，若所述第一图像帧数值与所述第二图像帧数值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态。本实施例方案中，基于第一开度阈值和第二开度阈值进行眼睛状态的区分，将基于人眼开度值大于第一开度阈值的第一图像帧数值和人眼开度值小于第二开度阈值的第二图像帧数值的比值，以及预设的疲劳判定阈值判定所述目标驾驶员处于疲劳状态，可以提升检测结果的准确度。

在其中一个实施例中，为了排除人眼与摄像头之间距离的变化对人眼开度计算造成的影响，提供一种对人眼开度值进行归一化的处理方式。如图3所示，具体地，上述的对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值，可以包括：

步骤S301：对各帧所述脸部图像分别进行眼部特征点定位，得到各帧所述脸部图像中的眼部特征点；

步骤S302：根据各帧所述脸部图像中的眼部特征点，分别确定各帧所述脸部图像中的人眼瞳距值和人眼开度原始值；

具体地，可以根据各帧所述脸部图像中的眼部特征点，分别确定各帧所述脸部图像中的正对瞳孔处的上眼睑的标定点和下眼睑的标定点，根据上眼睑的标定点和下眼睑的标定点来计算人眼开度原始值，其中，人眼开度原始值可以等于上眼睑的标定点和下眼睑的标定点之间的距离。

步骤S303：根据各帧所述脸部图像中的人眼瞳距值和人眼开度原始值，分别确定各帧所述脸部图像中的人眼开度值。

具体地，可以根据

确定各帧所述脸部图像中的人眼开度值，其中，H_i表示第i帧所述脸部图像中的人眼开度值，h_i表示第i帧所述脸部图像中的人眼开度原始值，l_i表示第i帧所述脸部图像中的人眼瞳距值，C表示修正参数，该修正参数的大小可以根据情况设定或者调整。

采用本实施例中的方案，可以有效地排除人眼与摄像头之间距离的变化对人眼开度计算造成的影响。

在其中一个实施例中，如图4所示，上述的根据各所述人眼开度值确定第一开度阈值和第二开度阈值，包括：

步骤S401：根据各所述人眼开度值确定人眼最大张开度值；

具体地，可以比较各所述人眼开度值的大小，得到各所述人眼开度值中的最大值，将最大值作为人眼最大张开度值。也可以将各所述人眼开度值按照从大到小的顺序进行排序，对获取排序中的前N个人眼开度值，对这N个人眼开度值取均值，该均值作为人眼最大张开度值。

步骤S402：将所述最大张开度值分别与预设的第一比例系数和第二比例系数相乘，得到所述第一开度阈值和所述第二开度阈值；

其中，第一比例系数大于第二比例系数，且一般地，第一比例系数和第二比例系数均为大于0且小于1的值，第一比例系数和第二比例系数的大小可以根据实际需要选取，较佳地，第一比例系数为0.8，第二比例系数为0.2。

本实施例中，通过将所述最大张开度值分别与预设的第一比例系数和第二比例系数相乘得到所述第一开度阈值和所述第二开度阈值，算法易于实现，且第一开度阈值和第二开度阈值均基于人眼最大张开度值确定的，人眼最大张开度值又是由各人眼开度值确定的，可以进一步提升检测精度。

在其中一个实施例中，如图5所示，上述的对各帧所述脸部图像分别进行人脸特征点定位，获得各人脸特征图像，可以包括：

步骤S501：提取第一DPM特征图，所述第一DPM特征图为当前脸部图像的DPM特征图，所述当前脸部图像为任意一帧脸部图像；

步骤S502：对所述第一DPM特征图进行采样处理，提取第二DPM特征图，所述第二DPM特征图为对所述第一DPM特征图进行采样处理后的图像的DPM特征图；

步骤S503：将所述第一DPM特征图，用预先训练的根滤波器进行卷积运算，得到所述根滤波器的响应图；

步骤S504：将N倍的所述第二DPM特征图，用预先训练的组件滤波器进行卷积运算，得到所述组件滤波器的响应图，所述组件滤波器的分辨率为所述根滤波器的分辨率的N倍，N为正整数；

步骤S505：根据所述根滤波器的响应图和所述组件滤波器的响应图，得到目标响应图；

步骤S506：根据目标响应图获取当前人脸特征图像。

可以将对各帧所述脸部图像分别作为本实施例中的当前脸部图像，分别采用上述步骤S501～S506进行人脸特征点定位，获得各帧所述脸部图像对应的人脸特征图像。

本实施例中，通过采用采用DPM目标检测算法进行人脸检测，算法的检测准确率被提升，可以同时降低误检率和漏检率。

在其中一个实施例中，对各帧所述脸部图像分别进行眼部特征点定位，得到各帧所述脸部图像中的眼部特征点，可以包括：对各帧所述脸部图像分别进行人脸特征点定位，获得各人脸特征图像；将各所述人脸特征图像分别输入预设的眼睛特征点定位模型，得到各帧所述脸部图像中的眼部特征点。

在其中一个实施例中，如图6所示，上述的眼睛特征点定位模型的训练过程，可以包括：

步骤S601：获取目标图像各个像素点的像素值和各所述像素点出的特征向量；

本实施例中，使用的模型可以是基于混合树和共享的部件V池。将每个面部地标作为一个部分进行建模，并使用全局混合来捕获由于视点引起的拓扑变化。

步骤S602：根据所述像素值和所述特征向量，配置树结构局部模型，并确定在L部分的得分函数；

其中，得分函数为S(I,L,m)＝App_m(I,L)+Shape_m(L)+α^m，

I表示目标图像，l_i＝(x_i,y_i)表示所述目标图像的第i个像素点的像素值，w表示部分模型，m表示树结构是混合型，部分模型是指将所述目标图像中的每个面部特征点分别作为一个部分进行建模得到，a、b、c和d表示弹性参数，α表示混合偏置标量；

本实施例中，

求出了在l_i位置上i处(第i个像素点处)的模板

之和，φ(I,l_i)表示了目标图像l_i像素处的特征向量。

本实施例中，

表示的是混合类型特定空间L排列的排列得分，其中dx＝x_i-x_j和dy＝y_i-y_j表示第i部分到第j部分的位移。公式中的每个参数(指a,b,c,d)可以被解释为不同部分之间的空间约束。

步骤S603：通过求取使所述得分函数得到最大值的L和m的值的方式，得到各混合型的各个部分的最佳配置参数；

具体地，可以枚举所有混合型，对于每个混合型找到各部分的最佳配置参数。

步骤S604：建立训练样本集，所述训练样本集包括设定有标签的正样本和负样本，所述正样本为含有人脸的图像，所述负样本为不含有人脸的图像；

具体地，假定一个全监督场景，在这个场景中有含有人脸的正样本和混合标签以及不含有人脸的负样本。可以用结构预测框架有区别地学习形状参数和外观参数。

步骤S605：根据所述部分模型、所述弹性参数以及所述混合偏置标量构建目标向量，根据所述目标向量修改所述得分函数；

具体地，将部分模型w、弹性参数(a，b，c，d)以及混合偏置标量α全部放进一个向量β中，将上述的得分函数修改成如下形式：S(I,z)＝β·Φ(I,z)。向量Φ(I,z)是稀疏的，在与混合型m相对应的单个区间中具有非零项。

步骤S606：根据所述训练样本集、所述最佳配置参数、修改后的所述得分函数以及预先定义的目标预测函数，学习得到所述眼睛特征点定位模型；

其中，学习得到的眼睛特征点定位模型为：

其中，β表示所述目标向量，z_n＝{L_n,m_n}，C代表目标函数的惩罚项系数，ξ_n表示第n个样本的惩罚项，pos和neg分别代表正样本和负样本，K代表所述目标向量的个数，k代表对应的所述目标向量的编号。

本实施例中，使用机器学习算法定位人脸特征点与并分别对眼睛特征点进行定位，不但定位精度非常高，且对光照与姿态有很强的泛化能力，可以提高眼睛开闭程度计算的精度。

为了便于理解本发明的方案，以下以一个较佳实施例对本发明方案进行详细阐述。

在该实施例中的驾驶员疲劳检测方法包括以下步骤：第一步：视频信息输入；第二步：人脸检测；第三步：人脸特征点定位；第四步：人眼特征点定位；第五步：眨眼检测—计算眼睛的开度，疲劳检测分析。

第一步：采集视频信息。用于视频信息输入的单目红外摄像头(安装于转向盘下方的转向柱上)实时输入驾驶员开车过程中脸部状态信息(图像)。视频输入的频率为30Hz，每帧图像大小为1280×1080像素。其中，红外摄像头能适应车内不同的光线情况，准确捕捉到驾驶员头部姿态信息和面部信息。

第二步：人脸检测。对输入的视频的每一帧图像，本实施例采用DPM(DeformablePart Model)目标检测算法进行人脸检测。DPM算法中应用到了HOG算法中的部分原理：首先是将图片灰度化；然后，如(1)式，采用Gamma校正法对输入图像进行颜色空间的标准化(归一化):

I(x,y)＝I(x,y)^gamma (1)

其中，gamma的取值看具体情况(例如可以取1/2)，如此能够有效地降低图像局部的阴影和光照变化；接下来进行梯度计算，梯度反应的是相邻的像素之间的变化，相邻像素之间变化比较平坦，则梯度较小，反之梯度大，模拟图象f(x,y)任意一点像素(x,y)的梯度是一个矢量：

其中，G_x是沿x方向上的梯度，G_y是沿y方向上的梯度，梯度的幅值及方向角可用如下公式表示：

数字图像中的像素点使用差分来计算的：

因为使用简单的一维离散微分模板[-1,0,1]进行的梯度运算得到的检测效果是最好的，所以采用的计算公式如下：

值，其梯度的幅值及方向计算公式如下：

然后，对于整个目标图片，将其分成互不重叠、大小相同的细胞单元(cell),然后计算出每个细胞单元的梯度大小和方向。DPM保留了HOG图的细胞单元，然后将图片上某细胞单元(图7上是8x8的细胞单元)与其对角线邻域的四个细胞进行归一化操作。提取有符号的HOG梯度，0-360度将产生18个梯度向量，提取无符号的HOG梯度，0-180度将产生9个梯度向量。DPM只提取无符号特征，将产生4*9＝36维特征，将行和列分别相加形成13个特征向量(如7图所示9列相加，4行相加)，为了进一步提高精度，将提取的18维有符号的梯度特征也加进来(如图所示18列相加)，最终得到13+18＝31维梯度特征。

如图8所示，DPM模型采用了一个8*8分辨率的根滤波器(Root filter)(左)和4*4分辨率的组件滤波器(Part filter)(中)。其中，中图的分辨率为左图的2倍，并且组件滤波器的大小是根滤波器的2倍，因此，看的梯度会更加精细。右图为其高斯滤波后的2倍空间模型。

首先，对输入的图像提取DPM特征图(原始图像的DPM特征图)并进行高斯金字塔上采样(缩放图片)，然后再提取高斯金字塔上采样的图片的DPM特征图。将原始图像的DPM特征图和训练好的根滤波器进行卷积运算，从而得到根滤波器的响应图。同时，对于提取到的2倍图像的DPM特征图(高斯金字塔上采样)，用训练好的组件滤波器进行卷积运算，得到组件滤波器的响应图。对得到的组件滤波器的响应图进行精细高斯塔下采样操作，如此一来，根滤波器的响应图和组件滤波器的响应图就具有了相同的分辨率。最后，将两者进行加权平均，得到最后的响应图,亮度越大响应效果越好，由此检测到人脸。其中响应值得分公式：

其中，x₀,y₀,l₀分别为特征点的横坐标、纵坐标、尺度；

为根模型的响应分数；

为部件模型的响应分；2(x₀,y₀)表示组件模型的像素为原始的2倍；b为用于与跟模型进行对齐的不同模型组件之间的偏移系数；2(x₀,y₀)表示组件模型的像素为原始的2倍，所以，像素点*2；v_i为像素点和理想检测点之间的偏移系数；其中其部件模型的详细响应得分公式如下：

类似于公式(8)，我们希望目标函数(D_i,l(x,y))的值越大越好，变量为dx，dy。此外上式中，(x,y)为训练的理想模型的位置；dx，dy是理想模型位置的偏移量，范围是理想位置到图片边缘的位置；R_i,l(x+dx,y+dy)为组件模型的匹配得分；d_i*Φ_d(dx,dy)为组件的偏移损失得分；d_i为偏移损失系数；Φ_d(dx,dy)为组件模型的像素点和组件模型的检测点之间的距离。这个公式表明，组件模型的响应越高，各个组件和其相应的像素点距离越小，则响应分数越高，越有可能是待检测的物体。

训练模型时，要将上面的得出的DPM特征进行训练。DPM在这里用的是Latent-SVM分类法，在这里相对于Linear-SVM分类法增加了Latent变量(潜变量)，Latent变量可以用来决定正样本中哪一个样本作为正样本。LSVM中有很多Latent变量，这是因为给定一张正样本的图片，标注完边界框后，需要在某一位置，某一尺度提出一个最大样本作为某一部分的最大样本。图9(a)是一般的Hog+SVM和运用的DPM+Latent–SVM的效果对比图。一般的Hog+SVM和运用的DPM+Latent-SVM的公式如图9(b)所示。

第三步：人脸特征点定位。在本实施例方案中使用的是LBF算法，采用一个联级的回归器以毫秒为单位进行人脸特征点以及眼部特征点定位。每个回归r_t(,)用当前图片I与形状向量

来预测更新形状向量，具体公式如下：

其中

表明当前的估计向量S，X_i表示图像I中的脸部特征点的(x,y)坐标。联级中最重要的步骤是回归器r_t(,)基于诸如像素灰度特征的预测，这些特征是基于图像I计算和当前形状向量

索引出来的。在这个过程中引入了几何形式的不变性，并且随着级联的进行可以人们可以更加确定脸部的精确语义位置正在被索引。

如果初始估计值

属于此空间，则确保由集合扩展的输出范围位于训练数据的线性子空间中。这样做不需要对预测实施额外的限制，这极大地简化了本方法。此外，简单地选择初始形状作为根据通用面部检测器的边界框输出居中和缩放的训练数据的平均形状。

接下来就是学习级联中的每个回归器，用训练数据集((I₁,S₁),......,(I_n,S_n))来学习回归函数r₀,I_i表示一张脸部图片，S_i表示一个形状向量。初始化的形状估计和目标更新)

如下：

π_i∈{1,......n} (13)

其中i＝(1,......,N)。在这里将这些三元组的总数设置为N＝nR，其中R是每个图像I使用的初始化次数。一个图像的每个初始化形状估计是从(S₁,......,S_n)统一抽样的，不需要替换。

从这个数据中用伴随平方误差损失的总和的梯度树提升，可以学习到回归函数r₀,具体算法如下：

训练数据

学习率0<v<1，具体过程是：

a.初始化：

b.对k从1到K：

①i＝1,…,N:

②针对回归函数r_ik拟合一个回归树，给出一个弱回归函数

③更新：

c.输出：

三元组训练数据进而会更新训练数据为：

联级中的下一个回归器r₁，被设置如下(t＝0)：

这个过程被迭代，直到T回归的级联r₀,r₁,…,r_T-1组合后能给予足够的精度水平。

每个回归函数r_t的核心是在梯度提升算法中适合残差目标的基于树的回归函数。在回归树的每个分离节点上，我们做出基于两个像素之间强度差异阈值的决定。在基于平均形状定义的坐标系中，测试中用的像素坐标是(u,v)。对于任意形状的脸部图像，我们想要索引具有与其形状相同位置的点就如u和v对于平均形状的点。为了实现这一点，在提取特征之前，可以基于当前的形状估计将图像变形为平均形状。因为我们使用这幅图像的非常稀疏的像素代表，所以更有效的做法是去扭曲这些点的位置而不是去扭曲整个图像。

假设k_u是平均形状中与u最接近的面部标志的索引，并定义其与u的偏移为：

然后，对于图像I_i中定义的形状S_i，I_i中的位置这与定义形状图像中的u的定性相似：

其中s_i,R_i是比例矩阵和旋转矩阵,这两者被用来最小化平均形状面部标志点和扭曲点之间的平方差之和：

v′被类似地定义。正式的每个分割是涉及3的决定，参数θ＝(τ，u，v)并且被应用于每个训练和测试样本。

这里的u'和v′用比例矩阵和旋转矩阵定义。计算相似度转换，在测试时间计算量最大这个过程的一部分，只在每个层次完成一次级联。

对于每个回归树，我们使用分段常量函数来近似底层函数，其中常量向量适合于每个叶节点。为了训练回归树，我们在每个树节点随机生成一组候选分割，即θ。然后，我们随意地从这些候选者中选择θ，这个做法最小化了平方误差的总和。如果Q是节点上的训练样例的索引集合，则这对应于最小化：

其中Q_θ,S是样本的索引，r_i是梯度增强算法中为图像i计算的所有残差的矢量，而μ_θ，s定义公式如下：

最佳优化点可以被很容易地找到，因为如果我们重新排列公式或者忽略掉依赖θ的因素，能看到如下公式关系：

当评估不同的θ时，我们只需要计算μ_θ，l正如μ_θ，r可以通过μ和μ_θ，l来计算，过程如下：

在每个节点处的决定基于对一对像素处的强度值的差异进行阈值化。这是一个相当简单的测试，但它比单阈值更强大，因为它对全球照明变化的相对不敏感。不幸的是，使用像素差异的缺点是可能的分割(特征)候选的数量在平均图像中的像素数量上是二次的。这使得很难在没有搜索到很多θ的情况下找到好的θ。但是，通过考虑图像数据的结构，这种限制因素在一定程度上可以得到缓解。我们先介绍一个指数

p(u,v)αe^-λ||u-v|| (29)

在这个距离范围内的像素分割点容易被选择，这样可以有效降低数据集预测错误的数目。

处理缺失的标签，我们引入了范围在0到1之间的变量w_i,j(表示第i个图像的第j个标志点)，则得出新的平方差和公式：

其中W_i是一个向量(w_i,i,......w_i,p)^T变形的对角线矩阵。此外μ_θ,s的公式如下：

梯度增强算法也必须修改以考虑这些权重因子。这可以简单地通过用目标的加权平均值初始化整体模型以及将回归树拟合到加权来完成。此外，拟合回归树的权重值残差算法如下：

其中，联级迭代效果如图10所示。

第四步：人眼特征点定位。本实施例中，使用的模型是基于混合树和共享的部件V池。在这个方法中我们将每个面部地标作为一个部分进行建模，并使用全局混合来捕获由于视点引起的拓扑变化。如11图所示，本实施例中所采用的混合树模型对由于视点引起的拓扑变化进行编码。

树结构局部模型：我们写出每个参数线性的树状结构T_m＝(V_m，E_m)，其中，m表明了这个结构是个混合型的，此外

我们把一张图片标记为I，并且l_i＝(x_i,y_i)用来表示位置i处的像素。我们在L部分的得分配置为：

S(I,L,m)＝App_m(I,L)+Shape_m(L)+α^m (33)

式(34)求出了在l_i位置上i处的模板

之和，其中m表示这里是混合型。φ(I,l_i)表示了在图片I上l_i像素处的特征向量。

式(35)表示的是混合类型特定空间L排列的排列得分，其中dx＝x_i-x_j和dy＝y_i-y_j表示第i部分到第j部分的位移。公式中的每个参数(指a,b,c,d)可以被解释为不同部分之间的空间约束。α^m表示标量一个偏置的标量。

由于本实施例方案中主要运用的是眼部特征点定位的方法，故不考虑整体与部分共享因素。

求取使式子S(I,L,m)得到最大值的参数L和m的值：

简单地枚举所有混合型，对于每个混合型找到各部分的最佳配置。

因为每个混合型T_m＝(V_m，E_m)是一个树形的结构，所以内部最大化可以通过动态编程高效完成。由于缺乏空间，可以采用省略消息传递等式的方式。本实施例中的词汇表中不同部分模板的总数是M'|V|，假定每个部分的维度是D并且有N个候选位置。在所有位置评估所有部分的总代价为：

之后进行距离转化，信息传递代价就被转化为：O(NM|V|)。这使得本实施例方案的整体模型在部件数量和图像大小方面呈线性。

为训练出人眼特征点定位模型。本实施例方案是假定一个全监督场景，在这个场景中有正样本和混合标签以及没有人脸图像的负样本。本实施例方案用结构预测框架有区别地学习形状参数和外观参数。首先需要估计每个混合类型的边缘结构E_m。虽然用树结构来得出人类体型模型是很自然的过程，但是对于人眼特征的树形结构还是不太清晰明了的。

实施例方案使用Chow-Liu算法去找出最大相似性树结构，这个最大想实行结构可以最好地解释高斯分布的特征点位置。给定标签的正样本{I_n,L_n,m_n}和负样本{I_n}，实施例方案中将定义一个结构目标预测函数，假定为z_n＝{L_n,m_n}。公式S(I,L,m)关于部分模型w，弹性参数(a,b,c,d)以及混合偏置α。把这些参数全部放进一个向量β中，这时我们可以把得分函数写成如下形式：

S(I,z)＝β·Φ(I,z) (38)

其中，向量Φ(I,z)是稀疏的，在与混合m相对应的单个区间中具有非零项。

接下来就可以学习到一个如下形式的模型：

式(39)中，C代表目标函数的惩罚项系数(超参数，需要认为调参找出最合适的值)，ξ_n表示对应不同样本的惩罚项(第n个样本的惩罚项)，n对应不同的样本，pos和neg分别代表正负样本，K代表目标向量β的个数，k代表对应的目标向量β编号。

如图12所示，为人眼特征点定位结果示意图。

第五步：眨眼检测—计算眼睛的开度并进行疲劳分析。眨眼时眼睛闭合时间变长是驾驶员疲劳的重要标志之一。在前几步的基础上，已经定位到了人眼区域并找到了人眼特征点。为了计算人眼开度，本实施例方案中，首先要排除人眼与摄像头之间的距离的变化，防止其对人眼开度计算造成影响，本实施例方案中对人眼开度采用归一化。在这个基础上，用单位时间内眼睛闭合时间所占比例来判定驾驶员的疲劳程度。具体如下。

首先，根据人眼的开度值，判断人眼的开闭状态。本实施例方案中选取上一步中定位的人眼特征点，找到正对瞳孔处上眼睑与下眼睑处的标定点来计算人眼开度。但是在大量的实验以及经验中发现，人眼与摄像头的距离越远测得的人眼开度越小，人眼与摄像头的距离越近，测得的人眼开度越大。这不利于后期驾驶员疲劳的检测，为此，要归一化处理人眼与摄像头相对位置变化引起的人眼开度异常变化。本实施例方案中利用上一步中眼部特征点定位可以测得人的瞳距l，瞳距与眼睛开度的变化存在线性关系，假设实际测得的人眼开度(相当于上述的人眼开度原始值)为h，归一化后的人眼开度为H，利用下述公式进行人眼开度值修正：

其中，C表示一个选择的修正参数。

接下来是人眼状态划分。本实施例方案中，根据上面获得的人眼开度值，求得人眼的最大张开度，记为MaxW。假设测得的人眼开度为W，其中状态I表示W＞80％*MaxW

W>80％MaxW，此时眼睛为完全睁开状态；状态II表示20％*MaxW≤W≤80％*MaxW，眼睛为半睁开状态；状态III表示≤W≤20％*MaxW，眼睛为闭合状态。

本实施例中，采用统计该周期(相当于上述的检测周期)内人眼开度小于等于80％最大人眼开度的帧数，记作n，同时统计该周期内人眼开度小于等于20％最大人眼开度的帧数，记作m，即可得到一个比值f，计算公式如下：

f越接近1，则代表驾驶员越接近疲劳状态。经过大量的实验可以得到一个实验阈值T(相当于上述的疲劳判定阈值)，如果f＞T则表明该驾驶员处于疲劳状态，以声音形式预警，提醒驾驶员注意疲劳驾驶。

本实施例方案中，使用DPM算法进行人脸检测，算法的检测准确率大大提升，同时降低误检率与漏检率，提高了光照与人脸姿态的鲁棒性；使用机器学习算法定位人脸特征点与并分别对眼睛特征点进行定位，定位精度非常高同时对光照与姿态有很强的泛化能力，最终算法能够精确估计眼睛开闭程度；对于疲劳检测不仅仅将睁闭眼状态作为主要判据，还包括闭眼时间、单位时间眨眼次数、眼睛开合度等都作为疲劳判据。

在一个实施例中，如图13所示，提供了一种驾驶员疲劳方法装置，包括：检测模块1301、处理模块1302、统计模块1303和判别模块1304，其中：

检测模块1301，用于获取目标驾驶员的脸部视频，对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值；

处理模块1302，用于根据各所述人眼开度值确定第一开度阈值和第二开度阈值，所述第一开度阈值大于所述第二开度阈值；

统计模块1303，用于根据各所述人眼开度值、所述第一开度阈值和所述第二开度阈值，统计所述人眼开度值小于或者等于所述第一开度阈值的第一图像帧数值，以及所述人眼开度值小于或者等于所述第二开度阈值的第二图像帧数值；

判别模块1304，用于若所述第一图像帧数值与所述第二图像帧数值的比值大于预设的疲劳判定阈值，则判定所述目标驾驶员处于疲劳状态。

在其中一个实施例中，检测模块1301可以对各帧所述脸部图像分别进行眼部特征点定位，得到各帧所述脸部图像中的眼部特征点，根据各帧所述脸部图像中的眼部特征点，分别确定各帧所述脸部图像中的人眼瞳距值和人眼开度原始值，根据各帧所述脸部图像中的人眼瞳距值和人眼开度原始值，分别确定各帧所述脸部图像中的人眼开度值。

在一个实施例中，处理模块1302可以根据各所述人眼开度值确定人眼最大张开度值，将所述最大张开度值分别与预设的第一比例系数和第二比例系数相乘，得到所述第一开度阈值和所述第二开度阈值。

在其中一个实施例中，检测模块1301可以对各帧所述脸部图像分别进行人脸特征点定位，获得各人脸特征图像；将各所述人脸特征图像分别输入预设的眼睛特征点定位模型，得到各帧所述脸部图像中的眼部特征点；

其中，所述眼睛特征点定位模型的训练过程，包括：获取目标图像各个像素点的像素值和各所述像素点出的特征向量；根据所述像素值和所述特征向量，配置树结构局部模型，并确定在L部分的得分函数，所述得分函数为S(I,L,m)＝App_m(I,L)+Shape_m(L)+α^m；通过求取使所述得分函数得到最大值的L和m的值的方式，得到各混合型的各个部分的最佳配置参数；建立训练样本集，所述训练样本集包括设定有标签的正样本和负样本，所述正样本为含有人脸的图像，所述负样本为不含有人脸的图像；根据所述部分模型、所述弹性参数以及所述混合偏置标量构建目标向量，根据所述目标向量修改所述得分函数；根据所述训练样本集、所述最佳配置参数、修改后的所述得分函数以及预先定义的目标预测函数，学习得到所述眼睛特征点定位模型；

其中，

I表示目标图像，l_i＝(x_i,y_i)表示所述目标图像的第i个像素点的像素值，w表示部分模型，m表示树结构是混合型，部分模型是指将所述目标图像中的每个面部特征分别作为一个部分进行建模得到，a、b、c和d表示弹性参数，α表示混合偏置标量。

在其中一个实施例中，检测模块1301可以提取第一DPM特征图，所述第一DPM特征图为当前脸部图像的DPM特征图，所述当前脸部图像为任意一帧脸部图像，对所述第一DPM特征图进行采样处理，提取第二DPM特征图，所述第二DPM特征图为对所述第一DPM特征图进行采样处理后的图像的DPM特征图，将所述第一DPM特征图，用预先训练的根滤波器进行卷积运算，得到所述根滤波器的响应图，将N倍的所述第二DPM特征图，用预先训练的组件滤波器进行卷积运算，得到所述组件滤波器的响应图，所述组件滤波器的分辨率为所述根滤波器的分辨率的N倍，N为正整数，根据所述根滤波器的响应图和所述组件滤波器的响应图，得到目标响应图，根据目标响应图获取当前人脸特征图像。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸特征分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上任意一个实施例中的驾驶员疲劳检测方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任意一个实施例中的驾驶员疲劳检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种驾驶员疲劳检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述对所述脸部视频中的各帧脸部图像分别进行人眼开度检测，得到各帧所述脸部图像中的人眼开度值，包括：

对各帧所述脸部图像分别进行眼部特征点定位，得到各帧所述脸部图像中的眼部特征点；

根据各帧所述脸部图像中的眼部特征点，分别确定各帧所述脸部图像中的人眼瞳距值和人眼开度原始值；

根据各帧所述脸部图像中的人眼瞳距值和人眼开度原始值，分别确定各帧所述脸部图像中的人眼开度值。

3.根据权利要求1或2所述的驾驶员疲劳检测方法，其特征在于，所述根据各所述人眼开度值确定第一开度阈值和第二开度阈值，包括：

根据各所述人眼开度值确定人眼最大张开度值；

将所述最大张开度值分别与预设的第一比例系数和第二比例系数相乘，得到所述第一开度阈值和所述第二开度阈值。

4.根据权利要求2所述的驾驶员疲劳检测方法，其特征在于，所述对各帧所述脸部图像分别进行眼部特征点定位，得到各帧所述脸部图像中的眼部特征点，包括：

对各帧所述脸部图像分别进行人脸特征点定位，获得各人脸特征图像；

将各所述人脸特征图像分别输入预设的眼睛特征点定位模型，得到各帧所述脸部图像中的眼部特征点；

其中，所述眼睛特征点定位模型的训练过程，包括：

获取目标图像各个像素点的像素值和各所述像素点处的特征向量；

根据所述像素值和所述特征向量，配置树结构局部模型，并确定在L部分的得分函数，所述得分函数为S(I,L,m)＝App_m(I,L)+Shape_m(L)+α^m；

其中，

I表示目标图像，l_i＝(x_i,y_i)表示所述目标图像的第i个像素点的像素值，w表示部分模型，m表示树结构是混合型，部分模型是指将所述目标图像中的每个面部特征分别作为一个部分进行建模得到，a、b、c和d表示弹性参数，α表示混合偏置标量；φ(I,l_i)表示所述目标图像I上l_i像素处的特征向量；

通过求取使所述得分函数得到最大值的L和m的值的方式，得到各混合型的各个部分的最佳配置参数；

建立训练样本集，所述训练样本集包括设定有标签的正样本和负样本，所述正样本为含有人脸的图像，所述负样本为不含有人脸的图像；

根据所述部分模型、所述弹性参数以及所述混合偏置标量构建目标向量，根据所述目标向量修改所述得分函数；

根据所述训练样本集、所述最佳配置参数、修改后的所述得分函数以及预先定义的目标预测函数，学习得到所述眼睛特征点定位模型。

5.根据权利要求4所述的驾驶员疲劳检测方法，其特征在于，所述对各帧所述脸部图像分别进行人脸特征点定位，获得各人脸特征图像，包括：

提取第一DPM特征图，所述第一DPM特征图为当前脸部图像的DPM特征图，所述当前脸部图像为任意一帧脸部图像；DPM为目标检测算法Deformable Part Model；

对所述第一DPM特征图进行采样处理，提取第二DPM特征图，所述第二DPM特征图为对所述第一DPM特征图进行采样处理后的图像的DPM特征图；

将所述第一DPM特征图，用预先训练的根滤波器进行卷积运算，得到所述根滤波器的响应图；

将N倍的所述第二DPM特征图，用预先训练的组件滤波器进行卷积运算，得到所述组件滤波器的响应图，所述组件滤波器的分辨率为所述根滤波器的分辨率的N倍，N为正整数；

根据所述根滤波器的响应图和所述组件滤波器的响应图，得到目标响应图；

根据目标响应图获取当前人脸特征图像。

6.根据权利要求4所述的驾驶员疲劳检测方法，其特征在于，所述眼睛特征点定位模型为：