CN111626272A - 一种基于深度学习的驾驶员疲劳监测系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的驾驶员疲劳监测系统及其使用方法，一种基于深度学习的驾驶员疲劳监测系统，包括图像获取模块、人脸检测模块、图像处理模块与服务器模块；本发明提供了一种基于深度学习的驾驶员疲劳监测系统及其使用方法，可利用此疲劳检测系统可在现今硬件平台上实现监测驾驶员疲劳驾驶、危险驾驶、视线偏离等行为。

Description

一种基于深度学习的驾驶员疲劳监测系统

技术领域

本发明涉及视频图像处理与视觉监测技术领域，尤其是一种基于深度学习的驾驶员疲劳监测系统。

背景技术

汽车安全越来越成为人们必须要考虑的一个问题。除了汽车本身，如果驾驶员没有良好的驾驶习惯，乘车人员也是不安全的，甚至会使安全设备无法发挥其应有的作用。如疲劳驾驶，酒驾，吸烟驾驶，超速，驾乘不系安全带等，一旦发生意外后果将会不堪设想，所以具有安全意识是汽车行驶的第一重点！人的违法行为是造成交通事故的主要原因，由于人的道路交通违法行为造成的事故起数比例为95.24%，死亡人数为95.42%。

道路交通的基本要素就是人、车和道路，其中驾驶员具有特别重要的作用。据交通事故统计表明，在发生车祸的直接或间接原因中，有80%~90%与驾驶员有关系，驾驶人安全意识不强，应对突发情况能力缺失。根据分析，导致事故最直接的原因是驾驶员驾驶行为不佳，其中包括超速，注意力不集中以及操作不当等行为，而疲劳往往是导致产生这些状态的罪魁祸首。

驾驶疲劳是由于驾驶员不间断的持续驾驶所引起的身体机能下降现象，其影响驾驶员的感知、思维判断及肢体协调能力，从而引发交通事故。驾驶疲劳在驾驶员的生理与车辆运行状态上均有直接表现：在生理变化上，主要表现为手脚反应迟钝、眼神呆滞、心情烦躁等，在重度疲劳时甚至会出现连续哈欠、闭眼、低头等现象；在车辆运行状态上，主要表现为车辆的转向频率降低、偏离当前车道等。已有研究表明，在轻度驾驶疲劳状态下，通过适当的语音提醒或音乐播放可恢复驾驶员的部分驾驶能力；但当处于中度甚至重度疲劳时，需要根据实际情况给予车辆主动的干预控制，以避免事故的发生。因此，针对驾驶疲劳研发相应的安全辅助驾驶系统（AdvancedDrivingAssistantSystem，ADAS），实现对驾驶员状态的实时辨识具有重要的实际应用价值。

目前，在驾驶员监测领域，从特征来源来看，主要包括：驾驶员生理参数、车辆操纵信息和驾驶员面部图像等。其中，基于图像表观特征的疲劳检测方法由于其对驾驶员无干扰、视觉系统易于实现的优点，已成为该领域研究的热点。然而，基于图像表观特征的方法由于其自身受外部光照环境及图像背景的影响较大，因此易造成检测算法的检测效能下降。此外，基于静态图像特征的检测方法没有考虑疲劳特征的动态变化特性，这在一定程度上也不利于所开发系统的检测性能提升。

发明内容

为解决上述技术问题，本发明提供了一种基于深度学习的驾驶员疲劳监测系统。

本发明的技术方案为：一种基于深度学习的驾驶员疲劳监测系统，包括图像获取模块、人脸检测模块、图像处理模块与服务器模块；

图像获取模块：用于获取原始图像；

人脸检测模块：利用YOLO v3深度学习算法，进行人脸检测，获得人脸的位置；

图像处理模块：主要包括人脸关键点检测、疲劳状态判断、视野偏离估计与危险驾驶行为识别，所述疲劳状态判断与视野偏离估计前提是需要提取出人脸关键点检测，所述人脸关键点检测根据回归树的人脸关键点检测算法对获取的人脸的位置进行处理，当获得一帧图片后，人脸关键点检测算法会根据人脸检测出的位置坐标，在人脸区域内将默认的特征点位置作为检测的初始位置，之后通过将均方误差作为损失函数进行迭代回归，得到最终的人脸特征点位置，通过计算出的68个特征点能够定位出人脸轮廓、眉毛、眼睛、鼻子和嘴巴部分，完成人脸关键点检测；

某一帧图像迭代的公式表示如下所示：

其中表示第t＋1次迭代估计的位置，表示第t次迭代估计的位置，表示本次迭代的回归器；

所述疲劳状态判断在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，根据每只眼睛的横纵间距之比作为判断依据，判断驾驶员是否处于疲劳状态；

所述视野偏离估计在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，提取左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子中部、嘴巴左角、嘴巴右角7个位置关键点坐标，通过矩阵变换，估计出人脸姿态的角度，从而判断是否偏离；

所述危险驾驶行为识别采用基于深度学习的Resnet图像分类网络，判断正常与危险驾驶；

服务器模块：包括信息融合与后端服务器，所述信息融合将视野偏离估计与危险驾驶行为识别获取的信息通过字符方式叠加在所获取的原始图像上，所述后端服务器将叠加了字符的图像传输至服务器并显示。

优选地，所述横纵间距之比小于5，则表示睁眼；反之，则判断为闭眼，最后再根据闭眼时间和PERCLOS准则，判断驾驶员是否处于疲劳状态。

优选地，所述人脸姿态的角度包括方位角度、俯仰角度和横滚角度。

优选地，所述原始图像的获取主要通过外界传感器获取，并且经过ISP处理。

优选地，所述ISP处理包括自动曝光、锐化与增强。

优选地，所述Resnet图像分类网络为Resnet50图像分类网络。

优选地，所述Resnet50图像分类网络由15个残差块、一个7*7卷积与avgpool层构成，并采集了3400多张不同分类的图像进行训练。

优选地，所述危险驾驶包括抽烟与打电话。

优选地，所述信息融合将危险驾驶、视野偏离、疲劳根据时间进行分级报警，并且当出现几种驾驶员异常行为时，视野偏离报警级别最高，疲劳次之，危险驾驶最低。

与现有技术相比，本发明具有如下有益效果：

利用本发明的疲劳检测系统可在现今硬件平台上实现监测驾驶员疲劳驾驶、危险驾驶、视线偏离等行为，并且相对于现有的疲劳检测系统，本系统将疲劳检测、视野偏离与危险驾驶分开进行监测，使得监测结果精确，并且最终根据危险程度与持续时间进行分级显示，可多层级与多次提醒，使得驾驶员得到多次信息，增大驾驶的安全性，并且本系统利用的算法对监测更加的稳定与准确，具体如下：

（1）本发明采用YOLO v3人脸检测算法，对于低照度、模糊、小目标等图像，人脸检测率大大提高；

（2）本发明采用基于回归树的人脸关键点检测算法，该算法稳定、可靠，从而有效地提高了睁眼、闭眼、视野偏离判断的准确性；

（3）本发明采用Resnet50网络来实现危险驾驶行为分类，该网络识别正确率达到95%。

附图说明

图1为本发明的系统流程示意图；

图2为本发明的YOLO v3网络结构示意图；

图3为本发明的YOLO v3人脸检测效果图；

图4为本发明的人脸关键点迭代回归过程示意图；

图5为本发明的实验过程中危险驾驶—疲劳截图示意图；

图6为本发明的实验过程中危险驾驶—视野偏离截图示意图；

图7为本发明的实验过程中危险驾驶—打电话截图示意图；

图8为本发明的实验过程中危险驾驶—抽烟截图示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的描述中，需要理解的是，术语中“前”、“后”、“左”、“右”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了方便描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制，本发明中各实施例的技术方案可进行组合，实施例中的技术特征亦可进行组合形成新的技术方案。

请参阅图1至图8所示，本发明提供如下技术方案：一种基于深度学习的驾驶员疲劳监测系统，包括图像获取模块、人脸检测模块、图像处理模块与服务器模块；图1为整个系统的系统流程图；

图像获取模块：用于获取原始图像；

人脸检测模块：利用YOLO v3深度学习算法，进行人脸检测，获得人脸的位置；

图像处理模块：主要包括人脸关键点检测、疲劳状态判断、视野偏离估计与危险驾驶行为识别，所述疲劳状态判断与视野偏离估计前提是需要提取出人脸关键点检测，所述人脸关键点检测根据回归树的人脸关键点检测算法对获取的人脸的位置进行处理，当获得一帧图片后，人脸关键点检测算法会根据人脸检测出的位置坐标，在人脸区域内将默认的特征点位置作为检测的初始位置，之后通过将均方误差作为损失函数进行迭代回归，得到最终的人脸特征点位置，通过计算出的68个特征点能够定位出人脸轮廓、眉毛、眼睛、鼻子和嘴巴部分，完成人脸关键点检测；

某一帧图像迭代的公式表示如下所示：

其中

表示第t＋1次迭代估计的位置，

表示第t次迭代估计的位置，

表示本次迭代的回归器；

所述疲劳状态判断获得眼睛、鼻子、嘴巴与脸型的68个关键点后，根据每只眼睛的横纵间距之比作为判断依据。当横纵间距之比小于5，则表示睁眼；反之，则判断为闭眼。最后再根据闭眼时间和PERCLOS准则，判断驾驶员是否处于疲劳状态；

所述视野偏离估计获得左眼睛左角、左眼睛右角、鼻子中部、嘴巴左角、嘴巴右角7个位置关键点坐标，通过矩阵变换，估计出人脸姿态的方位角度、俯仰角度和横滚角度，从而判断是否偏离；

所述危险驾驶行为识别采用基于深度学习的Resnet图像分类网络，判断正常与危险驾驶；

所述信息融合是把危险驾驶、视野偏离、疲劳根据时间进行分级报警，并且当出现几种驾驶员异常行为时，视野偏离报警级别最高，疲劳次之，危险驾驶最低。

所述服务器模块是将信息融合的判断结果通过字符方式叠加在原始图像上，并将图像传输至服务器并显示。在实验过程中分别进行了记录，记录结果为图5至图8，分别为疲劳、视野偏离、打电话与抽烟，其显示结果在图像中的右下角。

进一步，人脸关键点检测的主要位置包括眼睛、鼻子、嘴巴与脸型。

进一步，疲劳状态判断主要根据每只眼睛的横纵间距之比作为判断依据。当横纵间距之比小于5，则表示睁眼；反之，则判断为闭眼。最后再根据闭眼时间和PERCLOS准则，判断驾驶员是否处于疲劳状态。

进一步，视野偏离估计在人脸关键点中提出左眼睛左角、左眼睛右角、鼻子中部、嘴巴左角、嘴巴右角的关键点位置后，估计出人脸姿态的方位角度、俯仰角度和横滚角度，若其中某个角度较大，则判断为视野偏离。

进一步，原始图像的获取主要通过外界传感器获取，并且经过ISP处理。

进一步，ISP处理包括自动曝光、锐化与增强。

进一步，Resnet图像分类网络为Resnet50图像分类网络。

进一步，Resnet50图像分类网络由15个残差块、一个7*7卷积与avgpool层构成，并采集了3400多张不同分类的图像进行训练。

进一步，危险驾驶包括抽烟与打电话。

进一步，信息融合是把危险驾驶、视野偏离、疲劳根据时间进行分级报警。

本发明的工作原理为：

1、人脸检测算法

卷积神经网络(CNN)自发明以来，在图像分类、检测、识别、分割等计算机视觉领域得到了广泛的应用，CNN的强大之处在于它能对图像提取不同尺度的特征：对于较浅的卷积层，其感受野较小，能提取并学习到局部特征；对于较深的卷积层，其感受野较大，能学习到全局和抽象的特征，为了提升人脸检测效果，我们使用了YOLO v3目标检测框架。

YOLO v3是YOLO和YOLOv2之后的YOLO系列的又一篇目标检测算法，是基于YOLOv2的一个改进，速度更快，精度更高，YOLO v3的网络结构如图2所示，其中：

DBL：是yolo_v3的基本组件。就是卷积+BN+Leakyrelu。对于YOLO v3来说，BN和leakyrelu已经是和卷积层不可分离的部分了(最后一层卷积除外)，共同构成了最小组件。

resn：n代表数字，有res1，res2，…，res8等等，表示这个res_block（残缺块）里含有多少个res_unit（残缺单元）。这是yolo_v3的大组件，yolo_v3开始借鉴了ResNet的残缺结构，使用这种结构可以让网络结构更深(从v2的darknet-19上升到v3的darknet-53，前者没有残差结构)。对于res_block的解释，可以在附图2的右下角直观看到，其基本组件也是DBL。

concat：张量拼接，将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

对比其它目标检测算法，YOLO v3有以下特点：1、采用新的网络结构Darknet-53，它借鉴了残差网络residualnetwork的做法，在一些层之间设置了快捷链路（shortcutconnections）；2、利用多尺度特征进行对象检测，使得对小目标检测率大大提高；3、9种尺度的先验框，使得不同尺度的目标得到更好的检测，图3为利用YOLO v3的人脸检测结果的实物图。

2、人脸关键点检测和疲劳状态判断

人脸关键点检测就是在给定的人脸区域，检测出人脸的特定区域的位置，比如脸部轮廓、眉毛、鼻子、眼睛、嘴巴等。人脸关键点检测也可以称为人脸关键点定位或人脸对齐。

判读驾驶员是否闭眼，是根据每只眼睛的横纵间距之比作为判断依据，眼睛的横纵间距之比公式如下：

其中

、

、

、

分别表示第几个特征点的x、y坐标，当W/H小于5，则表示睁眼；反之，则判断为闭眼。

根据闭眼时间、次数，来判断是否处于疲劳，采用PERCLOS(PercentageofeyeLidclosureoverthepupilovertime)判断准则作为检测依据。PERCLOS准则最早由卡内基梅隆研究所提出，现已被广泛用于疲劳检测当中，是一个非常成熟的检测准则；PERCLOS准则通过计算单位时间内眼睛闭合状态的帧数n与单位时间内的总帧数N的比值得到。业内普遍认为当PERCLOS值超过0.4时，被检测人员处于疲劳状态。PERCLOS准则的公式表达如下所示：

3、Resnet网络

Resnet网络是基于每个独立的残差块串联起来的，每个残差块有二个卷积层和一个shortcut层。假设x为残差块的输入，则经过两个卷积层输出F

其中σ代表非线性函数ReLU，

、

为卷积参数。然后通过一个shortcut层，对F和X进行相加，获得输出y

实验证明，这个残差块往往需要两层以上，单单一层的残差块并不能起到提升作用，残差网络的确解决了退化的问题，在训练集和校验集上，都证明了的更深的网络错误率越小。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于深度学习的驾驶员疲劳监测系统，其特征在于：包括图像获取模块、人脸检测模块、图像处理模块与服务器模块；

图像获取模块：用于获取原始图像；

人脸检测模块：利用YOLO v3深度学习算法，进行人脸检测，获得人脸的位置；

图像处理模块：主要包括人脸关键点检测、疲劳状态判断、视野偏离估计与危险驾驶行为识别，所述疲劳状态判断与视野偏离估计前提是需要提取出人脸关键点检测，所述人脸关键点检测根据回归树的人脸关键点检测算法对获取的人脸的位置进行处理，当获得一帧图片后，人脸关键点检测算法会根据人脸检测出的位置坐标，在人脸区域内将默认的特征点位置作为检测的初始位置，之后通过将均方误差作为损失函数进行迭代回归，得到最终的人脸特征点位置，通过计算出的68个特征点能够定位出人脸轮廓、眉毛、眼睛、鼻子和嘴巴部分，完成人脸关键点检测；

某一帧图像迭代的公式表示如下所示：

其中

表示第t＋1次迭代估计的位置，

表示第t次迭代估计的位置，

表示本次迭代的回归器；

所述疲劳状态判断在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，根据每只眼睛的横纵间距之比作为判断依据，判断驾驶员是否处于疲劳状态；

所述视野偏离估计在获得眼睛、鼻子、嘴巴与脸型的68个关键点后，提取左眼睛左角、左眼睛右角、右眼睛左角、右眼睛右角、鼻子中部、嘴巴左角、嘴巴右角7个位置关键点坐标，通过矩阵变换，估计出人脸姿态的角度，从而判断是否偏离；

所述危险驾驶行为识别采用基于深度学习的Resnet图像分类网络，判断正常与危险驾驶；

服务器模块：包括信息融合与后端服务器，所述信息融合将视野偏离估计与危险驾驶行为识别获取的信息通过字符方式叠加在所获取的原始图像上，所述后端服务器将叠加了字符的图像传输至服务器并显示。

2.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述横纵间距之比小于5，则表示睁眼；反之，则判断为闭眼，最后再根据闭眼时间和PERCLOS准则，判断驾驶员是否处于疲劳状态。

3.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述人脸姿态的角度包括方位角度、俯仰角度和横滚角度。

4.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述原始图像的获取主要通过外界传感器获取，并且经过ISP处理。

5.根据权利要求4所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述ISP处理包括自动曝光、锐化与增强。

6.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述Resnet图像分类网络为Resnet50图像分类网络。

7.根据权利要求6所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述Resnet50图像分类网络由15个残差块、一个7*7卷积与avgpool层构成，并采集了3400多张不同分类的图像进行训练。

8.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述危险驾驶包括抽烟与打电话。

9.根据权利要求1所述的一种基于深度学习的驾驶员疲劳监测系统，其特征在于：所述信息融合将危险驾驶、视野偏离、疲劳根据时间进行分级报警，并且当出现几种驾驶员异常行为时，视野偏离报警级别最高，疲劳次之，危险驾驶最低。

Images