CN112016429B - 基于火车驾驶室场景下疲劳驾驶检测方法 - Google Patents

Abstract

本发明属于人脸检测技术领域，具体涉及一种基于火车驾驶室场景下疲劳驾驶检测方法，利用深度学习方法首先进行人脸检测，人脸关键点检测68个关键点，并利用68点计算眼部区域双眼之间的距离，嘴唇之间的距离，利用68点转欧拉角计算头部转向等三种状态进行疲劳状态的第一步判断。之后再提取眼睛部位的视觉特征建立视觉模型进行睁闭眼判断以提升视觉特征的辨别能力，然后结合嘴唇区域睁开闭合特征进行打哈欠判断，并根据睁闭眼和打哈欠频率进一步判断驾驶员是否疲劳，减少单一特征的误判，并减少因为误判导致的误报信号，所以本方案在检测准确性方面采用两种优化策略结合的方案，可以准确的检测出人脸疲劳状态。

Description

基于火车驾驶室场景下疲劳驾驶检测方法

技术领域

本发明属于人脸检测技术领域，具体涉及一种基于火车驾驶室场景下疲劳驾驶检测方法。

背景技术

随着经济飞速发展，城市道路的大规模建设，火车、高铁等公路通车里程逐年增长，交通事故发生率也日益增高，同时现代人生活节奏加快，熬夜现象严重、缺乏锻炼、等造成驾驶员容易疲劳，所以疲劳驾驶成为造成交通事故的主要原因。

如何有效地预防疲劳驾驶，国内外学者采用不同技术研究现有的疲劳驾驶检测方法，按疲劳特征可以分为两大类：基于生理特征的方法和基于行为特征的方法，基于生理特征包括生理信号特征和生理反应特征，基于生理信号的方法提出了基于脑电信号的睡眠检测模型，结果表明脑电信号能够正确地区分清醒状态和睡眠状态，但脑电信号容易受到噪音的干扰并且难以收集，还有部分基于眼电信号的方法，相对于脑电信号而言更易于收集并且可以免疫轻微的噪音，但仍需安装头部设备进行采集；基于行为的方法运用远程视频相机进行实时的图像采集监视眼睑运动、面部朝向和视线方向三种生理特征；基于外部传感器的方法，将分布式压力传感器嵌入方向盘里面测量手握方向盘的压力以及位置集合，每个元件的测量数据统计分析进行疲劳预警，这种传感器结构简单且成本较低，在实际应用中取得了初步的成果，缺点是会受到驾驶人的个人习惯的干扰；车道线检测方法利用一个摄像头捕捉道路前方路况，参照路上的白线判断车辆行驶是否规范从而判断车辆是否处于失控，基于状态这类方法不需要驾驶人直接接触检测装置并且在汽车现有装置的基础上对设备需求较低，实用性很强易于推广，但会受到路面条件和车辆型号的限制。现有技术在安全性、实时性、干扰性等方面都存在问题，如实时性不高，容易干扰驾驶员，检测错误率较高。

随着近年来深度学习在目标检测等领域的成功，深度学习技术也推动了疲劳驾驶检测的研究，如CN201810368035.9提出了基于疲劳检测回归模型的方法，该模型使用卷积神经网络进行无监督的学习特征表达，代替人工设计特征提取的过程，并在后处理中使用LDS(LinearDynamic System)方法减少不利的干扰；再如CN2017215451667利用卷积神经网络提取手部位置的判别信息从而无监督的学习和预测安全与不安全的四种驾驶姿势；又例如CN108309331A提出了一种基于卷积神经网络的计算眨眼频率的眼睛状态识别方法，但疲劳参数过于单一。研究表明使用深度网络直接从图像中学习视觉特征表示相较于手工设计的特征对光照、姿势等条件变化具有更好的鲁棒性，预测精度显著提高。

以上的疲劳驾驶检测方法都取得了一定的效果与进展但仍然存在很大的局限性，基于生理信号特征的检测方法虽然具有较高的精度，但需要驾驶人与检测设备有直接的身体接触以采集信号，这可能干扰到驾驶员的驾驶操作而且设备成本太高，更适用于实验室环境，不适于实际应用；基于行为特征的检测方法不需要驾驶人直接接触检测装置并且在汽车现有装置的基础上对设备需求较低，实用性很强易于推广，但会受到驾驶人个人习惯、路面条件和车辆型号的限制在，雨雪天气或路面情况不理想时检测的准确率较低；在保证一定的准确率和良好的实时性的情况下,基于计算机视觉处理生理反应特征的方法更易于推广，但是人工设计的特征分辨能力较差同时单一依靠某一个，视觉特征可能遇到困难如驾驶人戴眼镜时眼镜反光,可能造成摄像头无法捕捉眼球运动，此外眼睛的开闭程度可能因人而异,不规则的头部运动可能产生误报等等。

发明内容

针对上述不足，本发明提供一种基于火车驾驶室场景下疲劳驾驶检测方法。

本发明通过以下技术方案实现：

一种基于火车驾驶室场景下疲劳驾驶检测方法，包含如下步骤：

S0：获取人脸图片，通过图像采集设备采集火车驾驶室场景下人脸图片；

S1：人脸检测；

S2：人脸关键点检测，使用卷积神经网络获取所述人脸图像的关键点；

S3：对当前帧人脸状态进行判断；

S4：基于步骤S3得出的判断结果，进行多帧人脸状态统计；

S5：判断是否达到设定帧数，若是则输出嘴巴、眼睛和头部状态，若否则返回步骤S1。

进一步地，在步骤S2之后包括步骤S2.1：人脸对齐，利用五官区域的五个关键点位置，计算两点之间的相似变换矩阵，利用相似变换矩阵进行人脸对齐获取对齐之后的人脸。

进一步地，在所述步骤S3中进一步包括：

S3.1：睁闭眼检测，利用步骤S2.1对齐之后的人脸区域，裁剪出左眼眼部区域和右眼眼部区域；利用第一分类模型对当前人脸图片的眼部区域进行睁闭眼分类判断，并输出左右眼睁眼或闭眼状态；

S3.2：张嘴闭嘴检测，利用步骤S2.1对齐之后的人脸区域，裁剪出人脸嘴部区域；利用第二分类模型对人脸嘴部区域进行张嘴闭嘴判断，并输出张嘴或闭嘴状态；

S3.3：头部偏转角分析，利用步骤S2提取出当前图片的68个人脸关键点，选取14个点计算当前人脸的旋转欧拉角，对所述旋转欧拉角与设定的头部偏转角进行比较，判断当前人脸是否存在注意力不集中现象；

S3.4：睁闭眼分析，利用步骤S2提取的当前人脸图片的68个关键点，在步骤S3.3设定的头部偏转角范围之内，选择左眼眼部区域的中心点和右眼眼部区域的中心点，分别计算出左眼上下眼皮距离左眼中心点之间的欧式距离的比值以及右眼上下眼皮距离右眼中心点之间欧式距离的比值；将上述比值分别与设定的睁闭眼阈值进行比较，判断左右眼的睁眼或闭眼状态；

S3.5：张嘴闭嘴分析，利用步骤S2提取的当前人脸图片的68个关键点，在步骤S3.3设定的头部偏转角范围之内，选择嘴部区域中心点，计算嘴部区域上嘴唇与下嘴唇与嘴部中心点之间的欧式距离比值，并将其与嘴巴睁闭设定阈值比较，判断嘴巴的张嘴或闭嘴状态。

进一步地，在步骤S1中，采用libfacedetection作为人脸检测模型。

进一步地，在步骤S2中，使用mobilenet_v2来提取人脸关键点。

进一步地，在步骤S3.4中，所述的将上述比值分别与设定的睁闭眼阈值进行比较，判断左右眼的睁眼或闭眼状态，具体为：若比值小于设定阈值则为闭眼状态，大于阈值则为睁眼状态；

并且结合步骤S3.1睁闭眼检测得出的结果，联合两者的取值做与运算，只有同时为闭眼状态才会得出最终为闭眼状态。

进一步地，在步骤S3.5中，所述的并将其与嘴巴睁闭设定阈值比较，判断嘴巴的张嘴或闭嘴状态，具体为：若比值大于阈值则为张嘴状态，小于阈值则为闭嘴状态；

并且结合步骤S3.2张嘴闭嘴检测得出的结果，联合两者的取值做与运算，只有两者均为张嘴状态才会判断嘴巴为张嘴状态。

进一步地，在步骤S2.1之后还包括：

S2.2：人脸特征提取，根据步骤S2.1对齐之后图像，基于人脸特征提取模型，提取出人脸特征，获得人脸特征提取器；

S2.3：人脸比对，判断当前驾驶火车的驾驶员是否为驾驶员本人，并对首次登陆时间进行记录，此时间作为驾驶员考勤统计。

一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于火车驾驶室场景下疲劳驾驶检测方法的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于火车驾驶室场景下疲劳驾驶检测方法的步骤。

本发明提出一种基于深度学习的方法进行单帧和多帧驾驶员人脸状态疲劳驾驶检测，为了提高整体检测的准确率和实时性，才模型训练压缩和方法实现上都采集了不同的优化策略，对疲劳驾驶状态判断有显著的性能提升。与现有技术相比，本发明至少具有下述的有益效果或优点：

1.本发明从人脸头部偏转角、人脸眼睛闭合、嘴巴章程程度来综合判断是否是人员，疲劳状态；此外，经过多帧数据的统计，来判断是否存在疲劳驾驶，提高了疲劳驾驶判断的准确性。

2.采用Mobilenet_v2做为关键点检测主干网络，并对五官部位的权重进行提升并提高眼部区域关键点检测准确率。同时为了保证检测实时性，对关键点检测模型进行和不同程度的裁剪和量化压缩，进一步提升检测速度。

3.为了提升疲劳状态眼部区域睁闭眼检测准确性，根据人脸关键点检测模型裁剪眼部区域，新增人眼区域睁闭眼分类模型，结合眼部关键点距离计算和分类模型的分类结果进行人眼关键点闭眼判断。

4.为了提升嘴巴区域打哈欠检测准确性，根据人脸关键点检测模型裁剪嘴部区域，并新增嘴部区域睁开闭合分类模型，结合嘴部区域距离计算和分类模型进一步提升打哈欠检测判断准确性。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1是基于视频多帧人脸疲劳状态检测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开了一种基于深度学习的疲劳驾驶检测方法，本方法先进行人脸单帧图片的状态检测和判断，之后利用摄像头采集的视频信息进行多帧统计判断。其主要包括以下步骤：

S1:获取人脸图片，通过图像采集设备采集火车驾驶室场景下人脸图片；。

本实施例可以通过安装在火车驾驶室中的摄像设备获取图片，可以使用libfacedetection人脸检测模型来检测获取的图片中的人脸以获取人脸图像，此外，本实施例还使用MTCNN的Onet网络作为置信度过滤模型，将libfacedetetion人脸结果通过Onet网络，来降低人脸检测的误检率。

S2:人脸关键点检测：通过人脸关键点检测模型对步骤1获取的人脸图像进行关键点检测以输出人脸关键点。本步骤中的人脸关键点为68个，人脸关键点检测模型可以使用mobilenet_v2，并且根据五官区域和轮廓区域有不同的权重，本领域技术人员知晓，本实施例是使用mobilenet_v2模型，但其他人脸关键点检测模型也可以适用。

S3:人脸对齐：将人脸图像进行S2关键点检测之后，利用五官等五个关键点位置，计算两点之间的相似变换矩阵，利用相似变换矩阵进行人脸对齐获取对齐之后的人脸。

S4:睁闭眼检测：利用S3对齐之后的人脸区域，裁剪出左眼部区域和右眼眼部区域，不区分左右眼，整理出睁眼图片和闭眼图片作为两个类别。此处闭眼图片为眼部区域全部闭合的图片，利用裁剪之后的Mobilent_v2作为主干网络，训练人脸睁闭眼分类模型。并利用分类模型对当前人脸图片的眼部区域进行睁闭眼分类判断，同时输出左右眼睁开闭眼状态，此处用0代表睁眼，1代表闭眼状态。

S5:张嘴闭嘴检测：利用S3对齐之后的人脸区域，裁剪出人脸嘴部区域，整理出张嘴闭嘴两个类别的图片，此处闭嘴图片为嘴部区域全部为闭嘴状态。利用裁剪的Mobilenet_v2作为主干网络，训练人脸张嘴闭嘴分类模型。用当前分类模型对人脸嘴部区域进行张嘴闭嘴判断，并输出嘴巴张嘴闭嘴状态，此处用0代表张嘴，1代表闭嘴状态。

S6:头部偏转角分析：利用S2提取出当前图片的68个人脸关键点，选取14个点计算当前人脸的旋转欧拉角。并设定大角度人脸的阈值，当人脸偏航角超过±60度，俯仰角超过±30度，翻滚角超过±30度则可判断头部偏转角过大，当前人脸存在注意力不集中现象。

S7:睁闭眼分析：利用S2提取的当前人脸图片的68个关键点，在S8设定头部偏转角范围之内，选择左眼区域计算左眼眼部区域中心点，计算左眼上下眼皮距离中心点之间的欧式距离的比值；选择右眼区域计算右眼眼部区域中心点，计算右眼上下眼皮距离右眼中心点之间欧式距离的比值；取出右眼比值和右眼比值最小的一个值与设定睁闭眼阈值比较(2.08)，小于设定阈值则为闭眼状态1，大于阈值则为睁眼状态0。

此处为了提高睁闭眼判断正确性，因为上述阈值比较眼部区域睁开太小容易出现误判，比如有些人脸本来眼睛较小，所以这里需要联合S4睁闭眼模型判断的眼睛状态一起做裁决，方法如下：先进行S6中根据阈值进行睁闭眼分析判断，再与S4睁闭眼模型得出的分类结果做与运算，只有同时符合闭眼状态才会得出最终人眼状态。

S8:张嘴闭嘴分析：利用S2提取的当前人脸图片的68个关键点，在S6设定头部偏转角范围之内，选择嘴部区域中心点，计算嘴部区域上嘴唇与下嘴唇与嘴部中心点之间的欧式距离比值，并将其与嘴巴睁闭设定阈值(2.22)比较，大于阈值则为张嘴状态1，小于阈值则为闭嘴状态0。而且此嘴部区域阈值设置较大，因为人打哈欠时嘴巴张合度较大。此处为了提高嘴部区域判断准确度，需要结合S5张嘴闭嘴检测模型得出的结果，联合两者的取值做与运算，只有均为1才会判断嘴巴为张嘴状态。

结合如上所述8个步骤可以对单帧人脸图片进行疲劳驾驶检测分析，并能够正确实时得出三种分析状态，利用这三种状态可以对后台管理人员进行监管报告。

S9:多帧人脸状态分析：结合S1-S8对单帧人脸状态分析，假如火车驾驶室采集的是长视频序列，则需要对多帧状态进行统计，统计流程如下图1所示：首先根据视频序列输入读取每一帧图片，对每输入一帧图片进行单帧人脸状态分析，得出每一张图片最终分析结果并保存到一个缓冲队列，缓冲队列大小为8帧人脸状态保存区域，每次读取八帧疲劳状态分析结果并缓存，直到八帧队列为满，开始从队列头部读取并统计每一帧图片的状态值。统计五帧以上人脸存在睁闭眼或者打哈欠或者注意力不集中事件就进行告警，并在队列尾部一直分析后续帧状态并保存，这样队列一直输出连续帧的人脸状态统计值。

本实施例的方法在瑞星微RK3399平板上，整体疲劳状态判断准确率在96％以上，速度上能每秒25帧到30帧的速度，能满足火车驾驶室对实时性的要求。

本实施例的驾驶行为从人脸头部偏转角、人脸眼睛闭合、嘴巴章程程度来综合判断是否是人员，疲劳状态；此外，经过多帧数据的统计，来判断是否存在疲劳驾驶，提高了疲劳驾驶判断的准确性。

本实施例采用深度学习方法进行驾驶员疲劳驾驶状态检测，基本步骤是首先进行人脸检测，人脸关键点检测68个关键点，并利用68点计算眼部区域双眼之间的距离，嘴唇之间的距离，利用68点转欧拉角计算头部转向等三种状态进行疲劳状态的第一步判断。之后再提取眼睛部位的视觉特征建立视觉模型进行睁闭眼判断以提升视觉特征的辨别能力，然后结合嘴唇区域睁开闭合特征进行打哈欠判断，并根据睁闭眼和打哈欠频率进一步判断驾驶员是否疲劳，相比于现有技术的局部判断减少单一特征的误判，并减少因为误判导致的误报信号，所以本方案在检测准确性方面采用两种优化策略结合的方案，可以准确的检测出人脸疲劳状态。

并且在实时性方面，相比于现有技术本方案在人脸检测、关键点检测、眼部区域、嘴部区域等模型上都做了不同程度了量化压缩，使得整体检测速度相对于传统方法大幅上升，能够达到25-30fps的检测速度，基本能满足系统对实时性要求。

优选的，在步骤S3之后还包括：

S31：人脸特征提取，根据S3对齐之后图像，利用ArcFace训练人脸特征提取模型，压缩了人脸特征的类内间距，扩大了类间间距，使其提取出更具分辨力的人脸特征；ArcFace损失函数采用人脸特征提取目前主流的softmax及其变体损失(A-softmax、arcface、cosface等)获得人脸特征提取器。

S32：人脸比对，建立驾驶人脸标准测试库，尽可能包括驾驶室各个场景下、各种角度下各姿态的人脸样本图像；利用测试库对S31获得的人脸特征提取器对当前输入的人脸图像进行测试，以余弦相似度为评价指标，并对测试结果进行分析，判断当前驾驶火车的驾驶员是否为驾驶员本人，并对首次登陆时间进行记录，此时间作为驾驶人员考勤统计。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现疲劳驾驶检测方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现疲劳驾驶检测方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (6)

1.一种基于火车驾驶室场景下疲劳驾驶检测方法，其特征在于，所述的方法包含如下步骤：

S0：获取人脸图片，通过图像采集设备采集火车驾驶室场景下人脸图片；

S1：人脸检测，使用人脸检测模型对获取的人脸图片进行人脸检测以获取人脸图像；

S2：人脸关键点检测，使用卷积神经网络获取所述人脸图像的关键点；

S3：对当前帧人脸状态进行判断；

S4：基于步骤S3得出的判断结果，进行多帧人脸状态统计；

S5：判断是否达到设定帧数，若是则输出嘴巴、眼睛和头部状态，若否则返回步骤S1；

在步骤S2之后包括步骤S2.1：人脸对齐，利用五官区域的五个关键点位置，计算两点之间的相似变换矩阵，利用相似变换矩阵进行人脸对齐获取对齐之后的人脸；

在所述步骤S3中进一步包括：

S3.1：睁闭眼检测，利用步骤S2.1对齐之后的人脸区域，裁剪出左眼眼部区域和右眼眼部区域；利用第一分类模型对当前人脸图片的眼部区域进行睁闭眼分类判断，并输出左右眼睁眼或闭眼状态；

S3.2：张嘴闭嘴检测，利用步骤S2.1对齐之后的人脸区域，裁剪出人脸嘴部区域；利用第二分类模型对人脸嘴部区域进行张嘴闭嘴判断，并输出张嘴或闭嘴状态；

S3.3：头部偏转角分析，利用步骤S2提取出当前图片的68个人脸关键点，选取14个点计算当前人脸的旋转欧拉角，对所述旋转欧拉角与设定的头部偏转角进行比较，判断当前人脸是否存在注意力不集中现象；

S3.4：睁闭眼分析，利用步骤S2提取的当前人脸图片的68个关键点，在步骤S3.3设定的头部偏转角范围之内，选择左眼眼部区域的中心点和右眼眼部区域的中心点，分别计算出左眼上下眼皮距离左眼中心点之间的欧式距离的比值以及右眼上下眼皮距离右眼中心点之间欧式距离的比值；将上述比值分别与设定的睁闭眼阈值进行比较，判断左右眼的睁眼或闭眼状态；

S3.5：张嘴闭嘴分析，利用步骤S2提取的当前人脸图片的68个关键点，在步骤S3.3设定的头部偏转角范围之内，选择嘴部区域中心点，计算嘴部区域上嘴唇与下嘴唇与嘴部中心点之间的欧式距离比值，并将其与嘴巴张闭设定阈值比较，判断嘴巴的张嘴或闭嘴状态；

在步骤S3.4中，所述的将上述比值分别与设定的睁闭眼阈值进行比较，判断左右眼的睁眼或闭眼状态，具体为：若比值小于设定阈值则为闭眼状态，大于阈值则为睁眼状态；

并且结合步骤S3.1睁闭眼检测得出的结果，联合两者的取值做与运算，只有同时为闭眼状态才会得出最终为闭眼状态；

在步骤S3.5中，所述的并将其与嘴巴张闭设定阈值比较，判断嘴巴的张嘴或闭嘴状态，具体为：若比值大于阈值则为张嘴状态，小于阈值则为闭嘴状态；

并且结合步骤S3.2张嘴闭嘴检测得出的结果，联合两者的取值做与运算，只有两者均为张嘴状态才会判断嘴巴为张嘴状态。

2.根据权利要求1所述的基于火车驾驶室场景下疲劳驾驶检测方法，其特征在于，在步骤S1中，采用libfacedetection作为人脸检测模型。

3.根据权利要求1所述的基于火车驾驶室场景下疲劳驾驶检测方法，其特征在于，在步骤S2中，使用mobilenet_v2来提取人脸关键点。

4.根据权利要求1所述的基于火车驾驶室场景下疲劳驾驶检测方法，其特征在于，在步骤S2.1之后还包括：

S2.2：人脸特征提取，根据步骤S2.1对齐之后图像，基于人脸特征提取模型，提取出人脸特征，获得人脸特征提取器；

S2.3：人脸比对，判断当前驾驶火车的驾驶员是否为驾驶员本人，并对首次登陆时间进行记录，此时间作为驾驶员考勤统计。

5.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-4任一所述的基于火车驾驶室场景下疲劳驾驶检测方法的步骤。

6.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-4任一所述的基于火车驾驶室场景下疲劳驾驶检测方法的步骤。