CN111160071B - 一种疲劳驾驶检测方法和装置 - Google Patents

Abstract

本申请提供了一种疲劳驾驶检测方法和装置，该方法包括：获取驾驶员的人脸图像以及驾驶员的实际眼距；检测所述人脸图像的关键点；通过预设的深度学习网络模型初步判断所述人脸图像中驾驶员是否闭眼，得到初步判断结果；根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；统计预设时间内连续的人脸图像中二次判断结果为闭眼的帧数；当闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；并发出告警。该方案能够提高疲劳驾驶检测的准确性。

Description

一种疲劳驾驶检测方法和装置

技术领域

本发明涉及安全驾驶技术领域，特别涉及一种疲劳驾驶检测方法和装置。

背景技术

随着汽车的普及程度越来越高，由汽车驾驶因素而带来的安全隐患也越来越多。

驾驶人员在驾车过程中，因身体疲劳而引发交通意外事故的情况时有发生，如何能够对驾驶人员的是否处于困倦乏力等状态进行掌握并及时提醒驾驶人员已成为亟待解决的问题。

现有技术中有以法律形式规定驾驶人员在连续行车几个小时后停车休息一段时间再开车，但这种法律约束力有限；

还有通过检测驾驶人员脉搏的仪器对驾驶人员的身体状况进行监控，但因体质的个体差异，检测的准确性很难保证，告警效果甚微；

还有通过瞳孔特征等基于传统图像处理算法进行疲劳驾驶检测的，对人脸图像的要求比较高，使得疲劳驾驶检测结果不准确。

发明内容

有鉴于此，本申请提供一种疲劳驾驶检测方法和装置，能够提高疲劳驾驶检测的准确性。

为解决疲劳驾驶检测结果不准确的技术问题，本申请的技术方案是这样实现的：

一种疲劳驾驶检测方法，该方法包括：

获取驾驶员的人脸图像以及驾驶员的实际眼距；

检测所述人脸图像的关键点；

通过预设的深度学习网络模型初步判断所述人脸图像中驾驶员是否闭眼，得到初步判断结果；

根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；

统计预设时间内连续的人脸图像中二次判断结果为闭眼的帧数；

当闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；并发出告警。

一种疲劳驾驶检测装置，该装置包括：获取单元、检测单元、判断单元、统计单元、确定单元和告警单元；

所述获取单元，用于获取驾驶员的人脸图像以及驾驶员的实际眼距；

所述检测单元，用于检测所述获取单元获取的人脸图像的关键点；

所述判断单元，用于通过预设的深度学习网络模型初步判断所述获取单元获取的人脸图像中驾驶员是否闭眼，得到初步判断结果；并根据所述检测单元检测到的关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；

所述统计单元，用于统计预设时间内连续的人脸图像中所述判断单元得到的二次判断结果为闭眼的帧数；

所述确定单元，用于确定所述统计单元统计的闭眼的帧数；当确定闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；

所述告警单元，用于当所述确定单元确定所述驾驶员处于疲劳状态时，发出告警。

一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现所述疲劳驾驶检测方法步骤。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述疲劳驾驶检测方法步骤。

由上面的技术方案可知，本申请中通过深度学习模型初步判断人脸图像中驾驶员是否闭眼，得到初步判断结果，根据初步判断结果，图像中的眼距，以及驾驶员的实际眼距二次判断一张人脸图像是否闭眼，得到二次判断结果；再结合多张人脸图像的二次判断结果确定驾驶员当前是否疲劳。该方案能够提高疲劳驾驶检测的准确性。

附图说明

图1为本申请实施例中实现疲劳驾驶检测的流程示意图；

图2为关键点检测效果示意图；

图3为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请实施例中提供一种疲劳驾驶检测方法，通过深度学习模型初步判断人脸图像中驾驶员是否闭眼，得到初步判断结果，根据初步判断结果，图像中的眼距，以及驾驶员的实际眼距二次判断一张人脸图像是否闭眼，得到二次判断结果；再结合多张人脸图像的二次判断结果确定驾驶员当前是否疲劳。该方案能够提高疲劳驾驶检测的准确性。

为了描述方便，本申请实施例中执行疲劳驾驶检测的设备称为检测设备。

该设备通过检测驾驶员是否长时间闭眼来确定是否处于疲劳驾驶状态，在实际应用中，该检测设备可以可拆卸地安装在能够检测到驾驶员人脸图像的位置上，具体安装位置可以由使用者确定。

若将采集装置和本申请实施例中的检测设备分开部署，则本申请实施例中的检测设备放置位置不受限制，只要能与采集装置通信，实时获取到采集装置采集到的人脸图像即可，这里的采集装置置于能够采集到驾驶员的人脸图像的位置即可。

下面结合附图，详细说明本申请实施例中实现疲劳驾驶检测的过程。

参见图1，图1为本申请实施例中实现疲劳驾驶检测的流程示意图。具体步骤为：

步骤101，获取驾驶员的人脸图像以及驾驶员的实际眼距。

本申请实施例中检测设备获取人脸图像，可以是由采集装置发来的人脸图像，也可以是本设备直接采集到的人脸图像。

这里的人脸图像可以为拍照获得的一张一张人脸图像，也可以为获取的视频图像，然后解析成一帧一帧的人脸图像。

其中，驾驶员的实际眼距的获取可以包括但是不限于如下两种实现方式：

根据初步判断结果为睁眼的人脸图像中驾驶员的眼距，确定所述驾驶员的实际眼距；

或，

预先配置所述驾驶员的实际眼距，直接获取即可。

本申请实施例中之所以引进实际眼距这一参数，主要是为了更符合实际需求，实际应用中每个人的眼睛有大有小，因此，睁开眼时的眼距也会有比较大的差距，本申请通过引入驾驶员睁眼时的实际眼距，以便更准确地判断该驾驶员当前是否闭眼。

若该检测设备对应一个驾驶员，则预先配置该驾驶员的实际眼距D；

若该检测设备对应多个驾驶员，则可以针对多个驾驶员分别配置实际眼距，并将针对每个驾驶员配置的实际眼距D与对应驾驶员的人脸图像绑定存储，以便确定每个驾驶员的实际眼距。

步骤102，检测所述人脸图像的关键点。

本步骤中针对一人脸图像进行关键点检测时，先确定人脸区域；确定人脸区域的方法可以如下所述，但不限于下述实现方法：

如使用Cb、Cr椭圆聚类方算法进行肤色提取，经过肤色区域的分析，对人脸区域进行预检测，确定人脸可能区域，然后再根据眼睛的粗略定位进一步确定人脸区域。

本步骤中针对一人脸图像检测关键点的具体实现可以按照现有实现方式实现，本申请不进行限制；如可以采用如下方式：

针对人脸图像中人脸区域进行CNN深度特征提取；

然后进行人脸关键点位置回归，进而获得人脸的关键点。

参见图2，图2为关键点检测效果示意图。图2中给出一人脸图像中检测到的关键点的示意图，使用方框框出人脸区域，人的眼部、鼻子，以及嘴巴周边的点，即示意检测出的关键点。

步骤103，通过预设的深度学习网络模型初步判断所述人脸图像中驾驶员是否闭眼，得到初步判断结果。

本申请实施例中具体实现时，需要预先建立预设的深度学习网络模型，预设的深度学习网络模型的建立，包括：

获取多张不同状态的驾驶员的人脸图像作为样本图像；

训练初始深度学习网络模型，得到预设的深度学习网络模型。

举例实现如下：

取P张睁眼的人脸图像和L张闭眼人脸图像作为样本图像，并针对所述P张睁眼的人脸图像标识为睁眼状态，针对所述L张闭眼人脸图像标识为闭眼状态，将所有样本图像和每张图像对应的标识训练初始深度学习网络，得到一个输入为人脸图像，输出结果为睁眼或闭眼的预设的深度学习网络模型。

步骤104，根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果。

本步骤的具体实现过程可以为：

根据所述关键点，确定该人脸图像中驾驶员的眼距；

将所述人脸图像中驾驶员的眼距与针对初步判断结果设置的加权值的乘积，作为第一乘积；

将预设比例值与所述驾驶员的实际眼距的乘积，作为第二乘积；

判断第一乘积是否大于第二乘积，如果是，确定二次判断结果为睁眼；否则，确定二次判断结果为闭眼。

其中，若初步判断结果为闭眼，则针对初步判断结果设置的加权值设置为小于1；否则，针对初步判断结果设置的加权值设置为大于1；所述预设比例值小于1。

下面结合图2，详细说明根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断人脸图像是否闭眼的过程，具体包括如下步骤：

第一步，检测设备根据所述关键点确定人脸图像中驾驶员的眼距d。

在具体实现时，根据眼部关键点中与经过眼中心的垂直线距离比较近的关键点确定眼距，即上下眼皮之间的距离，这里确定比较近的关键点时，可以为与垂直线距离在预设距离内的关键点。

具体实现时，预设距离的取值根据实际需要确定，本申请不进行限制。如图2中所示的针对每只眼睛确定了6个关键点，以关键点1、关键点2、关键点3和关键点4到经过眼中心的垂直距离比较近的点，则取其中两对上下对称的关键点之间的距离的平均值作为眼距d；至于检测关键点时，最终确定几个关键点同检测方法相关，本申请对此不进行限制，眼距的获取也不限于上述所示方法。

第二步，检测设备确定d与w的乘积是否大于k与D的乘积；如果是，确定二次判断结果为睁眼；否则，确定二次判断结果为闭眼；

其中，w为针对初步判断结果设置的加权值，若初步判断结果为闭眼，则w小于1；否则，则w大于1；D为所述驾驶员的实际眼距；k为预设比例值，且k小于1。K的值可以根据实际需要配置，如0.4等。

步骤105，统计预设时间内连续的人脸图像中二次判断结果为闭眼的帧数。

步骤105的具体实现可以为如下实现，但不限于如下实现：

如将预设时间作为一个滑动窗口，每次滑动时长设置为t，具体实现时，t可以设置为获取两帧图片的时间间隔，但不限于该种限制；

统计在当前滑动窗口内对应获取的人脸图像的二次判断结果为闭眼的帧数。

当统计的结果为闭眼的帧数不大于预设阈值时，进入下一个滑动窗口进行统计。

步骤106，当闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；并发出告警。

本申请实施例中发出告警方式可以为语音提示，音乐提示，报警提示等，可以是一直以一个音调提示，也可以为逐渐加大提示音的分贝的方式提示，本申请对此并不做限制。

本申请实施例中的疲劳驾驶通过深度学习对人脸图像是否闭眼进行初步判断，再结合驾驶员的实际眼距，以及图像中的眼距对人脸图像是否闭眼进行二次判断，进而根据对多张人脸图像的二次判断结果进而确定驾驶员是否疲劳，并在确定驾驶员出现疲劳驾驶的情况下，给与告警，督促其规范自身行为，服从交通法规，对保障出行者的安全起到重大意义。

现有实现中先分割出眼部的位置，然后通过瞳孔特征来判断疲劳，对图像中的人眼的位置要求比较高；而本申请提供的技术方案中使用深度学习网络进行是否闭眼判断，对人脸图像中的人眼的位置要求不高，并且引入驾驶员的实际眼距，能够更准确地确定驾驶员睁闭眼的情况，进而更准确地确定驾驶员是否处于疲劳驾驶的状态。

基于同样的发明构思，本申请实施例中还提出一种疲劳驾驶检测装置。参见图3，图3为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：获取单元301、检测单元302、判断单元303、统计单元304、确定单元305和告警单元306；

获取单元301，用于获取驾驶员的人脸图像以及驾驶员的实际眼距；

检测单元302，用于检测获取单元301获取的人脸图像的关键点；

判断单元303，用于通过预设的深度学习网络模型初步判断获取单元301获取的人脸图像中驾驶员是否闭眼，得到初步判断结果；并根据检测单元302检测到的关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；

统计单元304，用于统计预设时间内连续的人脸图像中判断单元303得到的二次判断结果为闭眼的帧数；

确定单元305，用于确定统计单元304统计的闭眼的帧数；当确定闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；

告警单元306，用于当确定单元305确定所述驾驶员处于疲劳状态时，发出告警。

较佳地，

判断单元303，具体用于根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果时，包括：根据所述关键点，确定该帧人脸图像中驾驶员的眼距；将所述人脸图像中驾驶员的眼距与针对初步判断结果设置的加权值的乘积，作为第一乘积；将预设比例值与所述驾驶员的实际眼距的乘积，作为第二乘积；判断第一乘积是否大于第二乘积，如果是，确定二次判断结果为睁眼；否则，确定二次判断结果为闭眼。

较佳地，

获取单元301，进一步用于根据初步判断结果为睁眼的人脸图像中驾驶员的眼距，确定所述驾驶员的实际眼距；或，获取预先配置所述驾驶员的实际眼距。

较佳地，

所述装置进一步包括：建立单元307；

建立单元307，用于获取多张不同状态的驾驶员的人脸图像作为样本图像；训练初始深度学习网络模型，得到预设的深度学习网络模型。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

另外，本申请实施例中还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现所述疲劳驾驶检测方法的步骤。

此外，还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述疲劳驾驶检测方法的步骤。

综上所述，本申请通过深度学习初步判断人脸图像的睁闭眼，融合初步判断结果，图像中的眼距，以及驾驶员的实际眼距二次判断人脸图像是否闭眼；再结合多张人脸图像的二次判断结果确定驾驶员当前是否疲劳。该方案能够提高疲劳驾驶检测的准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种疲劳驾驶检测方法，其特征在于，该方法包括：

获取驾驶员的人脸图像以及驾驶员的实际眼距；

检测所述人脸图像的关键点；

通过预设的深度学习网络模型初步判断所述人脸图像中驾驶员是否闭眼，得到初步判断结果；

根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；

统计预设时间内连续的人脸图像中二次判断结果为闭眼的帧数；

当闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；并发出告警；

其中，所述根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果，包括：

根据所述关键点，确定人脸图像中驾驶员的眼距；

将所述人脸图像中驾驶员的眼距与针对初步判断结果设置的加权值的乘积，作为第一乘积；

将预设比例值与所述驾驶员的实际眼距的乘积，作为第二乘积；

判断第一乘积是否大于第二乘积，如果是，确定二次判断结果为睁眼；否则，确定二次判断结果为闭眼；

其中，若初步判断结果为闭眼，则针对初步判断结果设置的加权值设置为小于1；否则，针对初步判断结果设置的加权值设置为大于1；所述预设比例值小于1；眼距为上下眼皮之间的距离。

2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员的实际眼距，包括：

根据初步判断结果为睁眼的人脸图像中驾驶员的眼距，确定所述驾驶员的实际眼距；

或，

预先配置所述驾驶员的实际眼距。

3.根据权利要求1或2所述的方法，其特征在于，所述预设的深度学习网络模型的建立，包括：

获取多张不同状态的驾驶员的人脸图像作为样本图像；

训练初始深度学习网络模型，得到预设的深度学习网络模型。

4.一种疲劳驾驶检测装置，其特征在于，该装置包括：获取单元、检测单元、判断单元、统计单元、确定单元和告警单元；

所述获取单元，用于获取驾驶员的人脸图像以及驾驶员的实际眼距；

所述检测单元，用于检测所述获取单元获取的人脸图像的关键点；

所述判断单元，用于通过预设的深度学习网络模型初步判断所述获取单元获取的人脸图像中驾驶员是否闭眼，得到初步判断结果；并根据所述检测单元检测到的关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果；

所述统计单元，用于统计预设时间内连续的人脸图像中所述判断单元得到的二次判断结果为闭眼的帧数；

所述确定单元，用于确定所述统计单元统计的闭眼的帧数；当确定闭眼的帧数大于预设阈值时，确定所述驾驶员处于疲劳状态；

所述告警单元，用于当所述确定单元确定所述驾驶员处于疲劳状态时，发出告警；

其中，

所述判断单元，具体用于根据所述关键点、初步判断结果，以及所述驾驶员的实际眼距二次判断所述人脸图像中驾驶员是否闭眼，得到二次判断结果时，包括：根据所述关键点，确定人脸图像中驾驶员的眼距；将所述人脸图像中驾驶员的眼距与针对初步判断结果设置的加权值的乘积，作为第一乘积；将预设比例值与所述驾驶员的实际眼距的乘积，作为第二乘积；判断第一乘积是否大于第二乘积，如果是，确定二次判断结果为睁眼；否则，确定二次判断结果为闭眼；其中，若初步判断结果为闭眼，则针对初步判断结果设置的加权值设置为小于1；否则，针对初步判断结果设置的加权值设置为大于1；所述预设比例值小于1；眼距为上下眼皮之间的距离。

5.根据权利要求4所述的装置，其特征在于，

所述获取单元，进一步用于根据初步判断结果为睁眼的人脸图像中驾驶员的眼距，确定所述驾驶员的实际眼距；或，获取预先配置所述驾驶员的实际眼距。

6.根据权利要求4或5所述的装置，其特征在于，所述装置进一步包括：建立单元；

所述建立单元，用于获取多张不同状态的驾驶员的人脸图像作为样本图像；训练初始深度学习网络模型，得到预设的深度学习网络模型。

7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一项所述方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一项所述方法的步骤。

Images