CN115359545A - 一种工作人员疲劳检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种工作人员疲劳检测方法、装置、电子设备及存储介质，该方法包括：获取待测工作人员在工作过程中的图像采集数据；根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息；当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息；根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。上述方案提供的方法，通过在确定待测工作人员的表情识别结果异常后，进一步根据待测工作人员的眼动轨迹信息确定其疲劳检测结果，实现了对监控室内工作人员疲劳状态的精确检测。

Description

一种工作人员疲劳检测方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种工作人员疲劳检测方法、装置、电子设备及存储介质。

背景技术

现今，随着物流园区、智慧港口、智慧矿山等都在逐步过渡至无人化自动作业，远程监控室的作用至关重要。监控室的工作人员负责监控室中各种正常情况与异常情况的处理工作，通常一个人需要管理好多设备与区域。同时，监控画面一般为多个，切换频率高，但工作人员的精力有限，在长时间工作时难免会产生疲劳现象，容易造成重要的画面信息遗漏。

在现有技术中的工作人员疲劳检测，一般是通过检测工作人员的操作行为来判断该工作人员是否处于疲劳状态。比如：在检测车辆驾驶员是否存在疲劳驾驶行为，通常是通过识别驾驶员踩刹车踏板的力度和语音，判断驾驶员是否存在疲劳表现。

但是，由于监控室中的工作人员操作行为相对较少，主要工作是检查不同屏幕上显示的监控内容，因此基于现有技术无法实现对监控室内工作人员疲劳状态的精确检测。

发明内容

本申请提供一种工作人员疲劳检测方法、装置、电子设备及存储介质，以解决现有技术无法对监控室内工作人员疲劳状态进行精确检测等缺陷。

本申请第一个方面提供一种工作人员疲劳检测方法，包括：

获取待测工作人员在工作过程中的图像采集数据；

根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息；

当所述待测工作人员的表情识别结果为异常时，根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息；

根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果。

可选的，所述根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息，包括：

基于预设的机器学习模型，根据所述图像采集数据所表征的面部特征，确定所述图像采集数据中的每帧图像上的表情特征；

根据所述图像采集数据中的每帧图像上的表情特征，确定所述待测工作人员的表情识别结果；

其中，所述表情特征至少包括眼部位置信息，所述眼部位置信息包括双眼瞳孔坐标和眼睛边界坐标。

可选的，所述根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息，包括：

根据所述图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

可选的，所述根据所述图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息，包括：

对所述图像采集数据中的每帧图像进行分层处理，以将各所述图像转换为不同像素分辨率的金字塔分层图像；其中，金字塔最高层图像的像素分辨率最低；

针对所述图像采集数据中相邻两帧图像，从金字塔的最高层向下逐层计算所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的各层图像上对应的图像位置，以及各层图像在水平方向上的梯度值和垂直方向上的梯度值；

针对所述相邻两帧图像的任一层图像，根据所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的该层图像上对应的图像位置、该层图像在水平方向上的梯度值和垂直方向上的梯度值，确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始光流值；

根据所述双眼瞳孔特征点在最后一层图像上的光流变化值和初始光流值，以及所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置，确定所述双眼瞳孔特征点在所述相邻两帧图像中后一帧图像上的图像位置；

根据所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置及在所述后一帧图像上的图像位置，确定待测工作人员在所述相邻两帧图像采集期间的眼动轨迹信息；

根据所述待测工作人员在所有所述相邻两帧图像采集期间的眼动轨迹信息，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

可选的，所述根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果，包括：

获取采集所述图像采集数据的目标摄像头在水平方向像素当量和垂直方向像素当量；

根据所述待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向运动范围，以及所述目标摄像头在水平方向像素当量和垂直方向像素当量，确定所述待测工作人员的眼跳范围信息；其中，所述眼跳范围信息包括双眼瞳孔在水平方向上的眼跳幅值和垂直方向上的眼跳幅值；

根据所述待测工作人员的眼跳范围信息，确定所述待测工作人员的疲劳检测结果。

可选的，所述根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果，包括：

获取采集所述图像采集数据的目标摄像头的帧频；

根据所述待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和所述帧频，确定所述待测工作人员的注视时长；

根据所述待测工作人员的注视时长，确定所述待测工作人员的疲劳检测结果。

可选的，在获取待测工作人员在工作过程中的图像采集数据之前，所述方法还包括：

获取若干个摄像头采集的待测工作人员的面部图像；

根据各所述摄像头采集的面部图像表征的面部特征点分布情况，在所述若干个摄像头中挑选目标摄像头。

本申请第二个方面提供一种工作人员疲劳检测装置，包括：

获取模块，用于获取待测工作人员在工作过程中的图像采集数据；

第一确定模块，用于根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息；

第二确定模块，用于当所述待测工作人员的表情识别结果为异常时，根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息；

检测模块，用于根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果。

可选的，所述第一确定模块，具体用于：

基于预设的机器学习模型，根据所述图像采集数据所表征的面部特征，确定所述图像采集数据中的每帧图像上的表情特征；

根据所述图像采集数据中的每帧图像上的表情特征，确定所述待测工作人员的表情识别结果；

其中，所述表情特征至少包括眼部位置信息，所述眼部位置信息包括双眼瞳孔坐标和眼睛边界坐标。

可选的，所述第二确定模块，具体用于：

根据所述图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

可选的，所述第二确定模块，具体用于：

对所述图像采集数据中的每帧图像进行分层处理，以将各所述图像转换为不同像素分辨率的金字塔分层图像；其中，金字塔最高层图像的像素分辨率最低；

针对所述图像采集数据中相邻两帧图像，从金字塔的最高层向下逐层计算所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的各层图像上对应的图像位置，以及各层图像在水平方向上的梯度值和垂直方向上的梯度值；

针对所述相邻两帧图像的任一层图像，根据所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的该层图像上对应的图像位置、该层图像在水平方向上的梯度值和垂直方向上的梯度值，确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始光流值；

根据所述双眼瞳孔特征点在最后一层图像上的光流变化值和初始光流值，以及所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置，确定所述双眼瞳孔特征点在所述相邻两帧图像中后一帧图像上的图像位置；

根据所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置及在所述后一帧图像上的图像位置，确定待测工作人员在所述相邻两帧图像采集期间的眼动轨迹信息；

根据所述待测工作人员在所有所述相邻两帧图像采集期间的眼动轨迹信息，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

可选的，所述检测模块，具体用于：

获取采集所述图像采集数据的目标摄像头在水平方向像素当量和垂直方向像素当量；

根据所述待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向运动范围，以及所述目标摄像头在水平方向像素当量和垂直方向像素当量，确定所述待测工作人员的眼跳范围信息；其中，所述眼跳范围信息包括双眼瞳孔在水平方向上的眼跳幅值和垂直方向上的眼跳幅值；

根据所述待测工作人员的眼跳范围信息，确定所述待测工作人员的疲劳检测结果。

可选的，所述检测模块，具体用于：

获取采集所述图像采集数据的目标摄像头的帧频；

根据所述待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和所述帧频，确定所述待测工作人员的注视时长；

根据所述待测工作人员的注视时长，确定所述待测工作人员的疲劳检测结果。

可选的，所述获取模块，还用于：

获取若干个摄像头采集的待测工作人员的面部图像；

根据各所述摄像头采集的面部图像表征的面部特征点分布情况，在所述若干个摄像头中挑选目标摄像头。

本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请技术方案，具有如下优点：

本申请提供一种工作人员疲劳检测方法、装置、电子设备及存储介质，该方法包括：获取待测工作人员在工作过程中的图像采集数据；根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息；当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息；根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。上述方案提供的方法，通过在确定待测工作人员的表情识别结果异常后，进一步根据待测工作人员的眼动轨迹信息确定其疲劳检测结果，实现了对监控室内工作人员疲劳状态的精确检测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例基于的工作人员疲劳检测系统的结构示意图；

图2为本申请实施例提供的工作人员疲劳检测方法的流程示意图；

图3为本申请实施例提供的一种示例性的眼动轨迹信息示意图；

图4为本申请实施例提供的另一种示例性的眼动轨迹信息示意图；

图5为本申请实施例提供的示例性的摄像头设置场景的结构示意图；

图6为本申请实施例提供的工作人员疲劳检测装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

在现有技术中的工作人员疲劳检测，一般用于检测车辆驾驶员是否存在疲劳驾驶行为，通常是通过识别驾驶员踩刹车踏板的力度和语音，判断驾驶员是否存在疲劳表现，即判断工作人员是否处于疲劳状态。但是，由于监控室中的工作人员操作行为相对较少，主要工作是检查不同屏幕上显示的监控内容，因此基于现有技术无法实现对监控室内工作人员疲劳状态的精确检测。

针对上述问题，本申请实施例提供的工作人员疲劳检测方法、装置、电子设备及存储介质，通过获取待测工作人员在工作过程中的图像采集数据；根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息；当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息；根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。上述方案提供的方法，通过在确定待测工作人员的表情识别结果异常后，进一步根据待测工作人员的眼动轨迹信息确定其疲劳检测结果，实现了对监控室内工作人员疲劳状态的精确检测。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。

首先，对本申请所基于的工作人员疲劳检测系统的结构进行说明：

本申请实施例提供的工作人员疲劳检测方法、装置、电子设备及存储介质，适用于检测监控室的工作人员是否处于疲劳状态。如图1所示，为本申请实施例基于的工作人员疲劳检测系统的结构示意图，主要包括数据采集装置及工作人员疲劳检测装置。数据采集装置具体可以是部署在监控室的摄像头，数据采集装置用于采集待测工作人员在工作过程中的图像采集数据，并将采集到的数据发送给工作人员疲劳检测装置，该装置根据得到的数据，检测待测工作人员当前是否处于疲劳状态。

本申请实施例提供了一种工作人员疲劳检测方法，用于检测监控室的工作人员是否处于疲劳状态。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于对图像采集数据进行分析处理的电子设备。

如图2所示，为本申请实施例提供的工作人员疲劳检测方法的流程示意图，该方法包括：

步骤201，获取待测工作人员在工作过程中的图像采集数据。

其中，图像采集数据主要为待测工作人员在工作过程中的面部图像数据。

步骤202，根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息。

具体地，可以根据图像采集数据所表征眼部和嘴部等面部特征，对该待测工作人员进行微表情识别，以得到对应的表情识别结果，同时得到待测工作工人的眼部位置信息。

步骤203，当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息。

具体地，若确定到待测工作人员的表情识别结果为打哈欠或闭眼等疲劳行为时，则确定该表情识别结果为异常。进一步地，根据图像采集数据中每帧图像的眼部位置信息，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

具体地，在一实施例中，可以根据图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

具体地，可以通过检测图像采集数据中的每帧图像的双眼瞳孔位置坐标的移动情况，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

步骤204，根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。

具体地，可以根据待测工作人员的眼动轨迹信息，判断待测工作人员在图像采集数据采集期间是否存在闭眼或发呆行为，若是，则确定疲劳检测结果为疲劳。其中步骤202为疲劳检测的粗检测阶段，步骤203-204为疲劳检测的精检测阶段。

进一步地，在确定待测工作人员的疲劳检测结果为疲劳的情况下，可以基于监控室的语音设备，通过语音提醒该待测工作人员需要注意监控屏幕。

在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息，包括：

步骤2021，基于预设的机器学习模型，根据图像采集数据所表征的面部特征，确定图像采集数据中的每帧图像上的表情特征；

步骤2022，根据图像采集数据中的每帧图像上的表情特征，确定待测工作人员的表情识别结果。

其中，表情特征至少包括眼部位置信息，眼部位置信息包括双眼瞳孔坐标和眼睛边界坐标。面部特征至少包括面部轮廓、眼睛、眉毛、鼻子和嘴对应的若干个特征点。

需要说明的是，本申请实施例采用的机器学习模型具体可以基于残差掩膜网络构建，残差掩膜网络包含四个主要的残差掩膜块。在不同特征尺寸上操作的每个残差掩膜块包含残差层和掩膜块。以大小为224×224像素的输入图像为例，在通过2×2 MaxPooling层之前，将通过第一个步幅为2的3×3卷积层，从而将其空间大小减少到56×56。接下来，在前一池化层之后获得的特征图通过四个残差掩膜块进行变换，生成四种空间大小的特征图，包括56×56、28×28、14×14和7×7。该网络以平均池层和具有SoftMax的全连接层结束，以产生对应于2种面部表情状态（张嘴和闭眼）的输出结果。

具体地，可以将图像采集数据输入到预设的机器学习模型，以基于该机器学习模型，提取图像采集数据中每帧图像上的面部特征，进而根据图像采集数据中每帧图像上的面部特征，确定每帧图像上对应的表情特征，然后根据确定每帧图像上对应的表情特征表征的眼睛和嘴的形态特征，确定该待测工作人员的表情识别结果。

在上述实施例的基础上，为了进一步提高对监控室内工作人员疲劳状态的检测精度，进而提高疲劳检测结果的准确性，作为一种可实施的方式，在一实施例中，根据图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息，包括：

步骤2031，对图像采集数据中的每帧图像进行分层处理，以将各图像转换为不同像素分辨率的金字塔分层图像；其中，金字塔最高层图像的像素分辨率最低；

步骤2032，针对图像采集数据中相邻两帧图像，从金字塔的最高层向下逐层计算双眼瞳孔位置坐标在相邻两帧图像中前一帧图像的各层图像上对应的图像位置，以及各层图像在水平方向上的梯度值和垂直方向上的梯度值；

步骤2033，针对相邻两帧图像的任一层图像，根据双眼瞳孔位置坐标在相邻两帧图像中前一帧图像的该层图像上对应的图像位置、该层图像在水平方向上的梯度值和垂直方向上的梯度值，确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始光流值；

步骤2034，根据双眼瞳孔特征点在最后一层图像上的光流变化值和初始光流值，以及双眼瞳孔特征点在前一帧图像的最后一层图像上的图像位置，确定双眼瞳孔特征点在相邻两帧图像中后一帧图像上的图像位置；

步骤2035，根据双眼瞳孔特征点在前一帧图像的最后一层图像上的图像位置及在后一帧图像上的图像位置，确定待测工作人员在相邻两帧图像采集期间的眼动轨迹信息；

步骤2036，根据待测工作人员在所有相邻两帧图像采集期间的眼动轨迹信息，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

需要说明的是，通过对图像采集数据中的每帧图像进行分层处理，以将各图像转换为不同像素分辨率的金字塔分层图像，并自顶向底依次将前后两帧图像的金字塔中的同一层图像进行光流检测，直至检测完所有每一层图像，得到最后的输出。由于自顶向底的金字塔图像其分辨率是从低到高，检测每层图像得到的结果都将映射到下一层，减小了下一层图像的遍历范围，也就提高了图像检测效率。

具体地，针对图像采集数据中相邻两帧图像，可以将前一帧图像记为

，后一帧图像记为

，

表示金字塔分层数，

表示金字塔最大分层数。从

开始进行如下迭代计算：

计算图像

中双眼瞳孔特征点

的图像位置：

，

表示双眼瞳孔位置坐标；

计算图像

在

（水平）方向上的梯度：

；

计算图像

在

（水平）方向上的梯度：

，其中

和

分别表示图像坐标系下的像素坐标位置；

计算矩阵

：

，其中

表示滑动窗口大小，这里可以取3。

在进行每一层图像的迭代计算后，根据得到的计算结果确定两帧图像之间的光流值，具体计算过程如下：

对每层图像进行k轮迭代计算，k轮迭代计算内容包括：

进行图像差分的计算：

；

计算向量

：

；

计算光流：

；

计算下一次迭代的初始光流值：

，其中初始值

；

在完成k轮迭代计算后，得到L层图像上的光流变化值

，并确定L-1层图像的初始光流值

，其中，

。以此类推，得到双眼瞳孔特征点在最后一层图像上的光流变化值

和初始光流值

，进而确定双眼瞳孔特征点在这相邻两帧图像上的光流

。

进一步地，可以根据双眼瞳孔特征点在这相邻两帧图像上的光流

和双眼瞳孔特征点在前一帧图像上的最后一层图像（第一帧图像的原图）上的图像位置

，确定双眼瞳孔特征点在后一帧图像上的图像位置

，进而根据这两帧图像上的图像位置变化，确定待测工作人员在相邻两帧图像采集期间的眼动轨迹信息。以此类推，在完成图像采集数据中所有相邻两帧图像的计算后，得到确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

示例性的，如图3所示，为本申请实施例提供的一种示例性的眼动轨迹信息示意图，是不同图像帧间序号下左右瞳孔特征点的轨迹跟踪结果对应XY像素坐标系下的位置，如图4所示，为本申请实施例提供的另一种示例性的眼动轨迹信息示意图，是轨迹坐标在XY平面内的投影，便于后面的指标解算。

在上述实施例的基础上，为了进一步提高疲劳检测结果的准确性，作为一种可实施的方式，在一实施例中，根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果，包括：

步骤2041，获取采集图像采集数据的目标摄像头在水平方向像素当量和垂直方向像素当量；

步骤2042，根据待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向运动范围，以及目标摄像头在水平方向像素当量和垂直方向像素当量，确定待测工作人员的眼跳范围信息；其中，眼跳范围信息包括双眼瞳孔在水平方向上的眼跳幅值和垂直方向上的眼跳幅值；

步骤2043，根据待测工作人员的眼跳范围信息，确定待测工作人员的疲劳检测结果。

具体地，可以根据如下公式，确定待测工作人员的眼跳范围信息：

其中，

表示眼跳范围的大小，

表示像素坐标系下瞳孔在水平方向运动范围或垂直方向运动范围，

表示目标摄像头在水平方向像素当量或垂直方向像素当量。

示例性的，如下表所示，为上述图4对应的眼跳范围信息记录表：

其中，在上表中可以看出，像素坐标系下，左、右瞳孔的轨迹在水平方向上的眼跳范围分别为50pixel和48pixel，对应的世界坐标系下眼跳范围分别为44.48mm和42.70mm ；垂直方向上分别为33pixel和35pixel，对应的世界坐标系下眼跳范围分别为29.36mm和31.14mm。

具体地，在持续5秒内，若待测工作人员的眼跳范围信息表征眼跳幅值在垂直方向上接近0或小于2mm，则判断为闭眼，即确定其疲劳检测结果为疲劳。

具体地，在一实施例中，可以获取采集图像采集数据的目标摄像头的帧频；根据待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和帧频，确定待测工作人员的注视时长；根据待测工作人员的注视时长，确定待测工作人员的疲劳检测结果。

具体地，可以根据如下公式，确定待测工作人员的注视时长：

其中，

表示第t个轨迹坐标上瞳孔停留点的数量，

表示目标摄像头的帧频。

示例性的，以上述图4中的P1点为例，若P1点对应的瞳孔停留点的数量为56，

为0.03，则确定待测工作人员在P1点的注视时长为1.68秒。

具体地，以注视时长检测周期为10分钟为例，在十分钟内待测工作人员在同一块区域的注视时长达到3分钟，则判断为发呆，即确定其疲劳检测结果为疲劳，本申请实施例设置区域大小为150×150pixels。

具体地，在一实施例中，在获取待测工作人员在工作过程中的图像采集数据之前，该方法还包括：

步骤301，获取若干个摄像头采集的待测工作人员的面部图像；

步骤302，根据各摄像头采集的面部图像表征的面部特征点分布情况，在若干个摄像头中挑选目标摄像头。

需要说明的是，本申请实施例提供的方法主要应用于监控室，监控室有多块环抱式部署的用于监控的显示屏，当采用3个摄像头进行待测工作人员的面部图像采集时，这3个摄像头可以设置在显示屏顶部，位置为各列屏幕上端中心位置，如图5所示，为本申请实施例提供的示例性的摄像头设置场景的结构示意图。其中，由于多屏监控场景中多个屏幕之间采用了环抱式的布置，所以cam1和cam3与cam2中间存在一定的安装角度，该角度是可调节的。

具体地，在得到各个摄像头采集的待测工作人员的面部图像后，可以根据各摄像头采集的面部图像表征的面部特征点分布情况，确定哪个摄像头拍到的是待测工作人员的正脸，进而将该摄像头确定为目标摄像头。

本申请实施例提供的工作人员疲劳检测方法，通过获取待测工作人员在工作过程中的图像采集数据；根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息；当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息；根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。上述方案提供的方法，通过在确定待测工作人员的表情识别结果异常后，进一步根据待测工作人员的眼动轨迹信息确定其疲劳检测结果，实现了对监控室内工作人员疲劳状态的精确检测。并且，在硬件设置方面成本较低，只需外置3个外接摄像头。

本申请实施例提供了一种工作人员疲劳检测装置，用于执行上述实施例提供的工作人员疲劳检测方法。

如图6所示，为本申请实施例提供的工作人员疲劳检测装置的结构示意图。该工作人员疲劳检测装置60包括：获取模块601、第一确定模块602、第二确定模块603和检测模块604。

其中，获取模块，用于获取待测工作人员在工作过程中的图像采集数据；第一确定模块，用于根据图像采集数据所表征的面部特征，确定待测工作人员的表情识别结果和眼部位置信息；第二确定模块，用于当待测工作人员的表情识别结果为异常时，根据眼部位置信息，确定待测工作人员的眼动轨迹信息；检测模块，用于根据待测工作人员的眼动轨迹信息，确定待测工作人员的疲劳检测结果。

具体地，在一实施例中，第一确定模块，具体用于：

基于预设的机器学习模型，根据图像采集数据所表征的面部特征，确定图像采集数据中的每帧图像上的表情特征；

根据图像采集数据中的每帧图像上的表情特征，确定待测工作人员的表情识别结果；

其中，表情特征至少包括眼部位置信息，眼部位置信息包括双眼瞳孔坐标和眼睛边界坐标。

具体地，在一实施例中，第二确定模块，具体用于：

根据图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

具体地，在一实施例中，第二确定模块，具体用于：

对图像采集数据中的每帧图像进行分层处理，以将各图像转换为不同像素分辨率的金字塔分层图像；其中，金字塔最高层图像的像素分辨率最低；

针对图像采集数据中相邻两帧图像，从金字塔的最高层向下逐层计算双眼瞳孔位置坐标在相邻两帧图像中前一帧图像的各层图像上对应的图像位置，以及各层图像在水平方向上的梯度值和垂直方向上的梯度值；

针对相邻两帧图像的任一层图像，根据双眼瞳孔位置坐标在相邻两帧图像中前一帧图像的该层图像上对应的图像位置、该层图像在水平方向上的梯度值和垂直方向上的梯度值，确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始光流值；

根据双眼瞳孔特征点在最后一层图像上的光流变化值和初始光流值，以及双眼瞳孔特征点在前一帧图像的最后一层图像上的图像位置，确定双眼瞳孔特征点在相邻两帧图像中后一帧图像上的图像位置；

根据双眼瞳孔特征点在前一帧图像的最后一层图像上的图像位置及在后一帧图像上的图像位置，确定待测工作人员在相邻两帧图像采集期间的眼动轨迹信息；

根据待测工作人员在所有相邻两帧图像采集期间的眼动轨迹信息，确定待测工作人员在图像采集数据采集期间的眼动轨迹信息。

具体地，在一实施例中，检测模块，具体用于：

获取采集图像采集数据的目标摄像头在水平方向像素当量和垂直方向像素当量；

根据待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向运动范围，以及目标摄像头在水平方向像素当量和垂直方向像素当量，确定待测工作人员的眼跳范围信息；其中，眼跳范围信息包括双眼瞳孔在水平方向上的眼跳幅值和垂直方向上的眼跳幅值；

根据待测工作人员的眼跳范围信息，确定待测工作人员的疲劳检测结果。

具体地，在一实施例中，检测模块，具体用于：

获取采集图像采集数据的目标摄像头的帧频；

根据待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和帧频，确定待测工作人员的注视时长；

根据待测工作人员的注视时长，确定待测工作人员的疲劳检测结果。

具体地，在一实施例中，获取模块，还用于：

获取若干个摄像头采集的待测工作人员的面部图像；

根据各摄像头采集的面部图像表征的面部特征点分布情况，在若干个摄像头中挑选目标摄像头。

关于本实施例中的工作人员疲劳检测装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供的工作人员疲劳检测装置，用于执行上述实施例提供的工作人员疲劳检测方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种电子设备，用于执行上述实施例提供的工作人员疲劳检测方法。该电子设备可以是部署在监控室的边缘服务器，作为整个监控室的大脑中枢，负责监控室所有业务的数据处理、命令下发和信息传送。

如图7所示，为本申请实施例提供的电子设备的结构示意图。该电子设备70包括：至少一个处理器71和存储器72。

所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上实施例提供的工作人员疲劳检测方法。

本申请实施例提供的一种电子设备，用于执行上述实施例提供的工作人员疲劳检测方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上任一实施例提供的工作人员疲劳检测方法。

本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的工作人员疲劳检测方法的计算机执行指令，其实现方式与原理相同，不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种工作人员疲劳检测方法，其特征在于，包括：

获取待测工作人员在工作过程中的图像采集数据；

根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息；

当所述待测工作人员的表情识别结果为异常时，根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息；

根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息，包括：

基于预设的机器学习模型，根据所述图像采集数据所表征的面部特征，确定所述图像采集数据中的每帧图像上的表情特征；

根据所述图像采集数据中的每帧图像上的表情特征，确定所述待测工作人员的表情识别结果；

其中，所述表情特征至少包括眼部位置信息，所述眼部位置信息包括双眼瞳孔坐标和眼睛边界坐标。

3.根据权利要求1所述的方法，其特征在于，所述根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息，包括：

根据所述图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像采集数据中的每帧图像的眼部位置信息所表征的双眼瞳孔位置坐标，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息，包括：

对所述图像采集数据中的每帧图像进行分层处理，以将各所述图像转换为不同像素分辨率的金字塔分层图像；其中，金字塔最高层图像的像素分辨率最低；

针对所述图像采集数据中相邻两帧图像，从金字塔的最高层向下逐层计算所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的各层图像上对应的图像位置，以及各层图像在水平方向上的梯度值和垂直方向上的梯度值；

针对所述相邻两帧图像的任一层图像，根据所述双眼瞳孔位置坐标在所述相邻两帧图像中前一帧图像的该层图像上对应的图像位置、该层图像在水平方向上的梯度值和垂直方向上的梯度值，确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始光流值；

根据所述双眼瞳孔特征点在最后一层图像上的光流变化值和初始光流值，以及所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置，确定所述双眼瞳孔特征点在所述相邻两帧图像中后一帧图像上的图像位置；

根据所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置及在所述后一帧图像上的图像位置，确定待测工作人员在所述相邻两帧图像采集期间的眼动轨迹信息；

根据所述待测工作人员在所有所述相邻两帧图像采集期间的眼动轨迹信息，确定所述待测工作人员在所述图像采集数据采集期间的眼动轨迹信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果，包括：

获取采集所述图像采集数据的目标摄像头在水平方向像素当量和垂直方向像素当量；

根据所述待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向运动范围，以及所述目标摄像头在水平方向像素当量和垂直方向像素当量，确定所述待测工作人员的眼跳范围信息；其中，所述眼跳范围信息包括双眼瞳孔在水平方向上的眼跳幅值和垂直方向上的眼跳幅值；

根据所述待测工作人员的眼跳范围信息，确定所述待测工作人员的疲劳检测结果。

6.根据权利要求1所述的方法，其特征在于，所述根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果，包括：

获取采集所述图像采集数据的目标摄像头的帧频；

根据所述待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和所述帧频，确定所述待测工作人员的注视时长；

根据所述待测工作人员的注视时长，确定所述待测工作人员的疲劳检测结果。

7.根据权利要求5或6所述的方法，其特征在于，在获取待测工作人员在工作过程中的图像采集数据之前，所述方法还包括：

获取若干个摄像头采集的待测工作人员的面部图像；

根据各所述摄像头采集的面部图像表征的面部特征点分布情况，在所述若干个摄像头中挑选目标摄像头。

8.一种工作人员疲劳检测装置，其特征在于，包括：

获取模块，用于获取待测工作人员在工作过程中的图像采集数据；

第一确定模块，用于根据所述图像采集数据所表征的面部特征，确定所述待测工作人员的表情识别结果和眼部位置信息；

第二确定模块，用于当所述待测工作人员的表情识别结果为异常时，根据所述眼部位置信息，确定所述待测工作人员的眼动轨迹信息；

检测模块，用于根据所述待测工作人员的眼动轨迹信息，确定所述待测工作人员的疲劳检测结果。

9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。

Images