CN109308445A - 一种基于信息融合的固定岗位人员疲劳检测方法 - Google Patents

Abstract

本发明公开了一种基于信息融合的固定岗位人员疲劳检测方法，解决了单路视频下疲劳特征检测及决策级信息融合问题。首先采用回归树方法对输入图像进行人脸标定，实现高精度的人脸检测；然后，对检测到的人脸采用基于级联卷积神经网络人眼特征点定位技术，实现眼部和嘴部特征点的精确检测，通过对视频的多帧图像特征点进行分析，分别计算PERCLOS参数，眨眼频率以及哈欠频率。接着，采用基于ASM局部定位和人脸特征三角形的方法实现头部姿态估计，从而计算点头频率。最后，采用基于粗糙集理论的信息融合算法实现固定岗位人员的疲劳检测。

Description

一种基于信息融合的固定岗位人员疲劳检测方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于信息融合的固定岗位人员疲劳检测方法。

背景技术

随着计算机以及人工智能技术的发展，越来越多的人更多的从事脑力劳动，比如IT行业工作人员，驾驶员，情报人员等。当面对着枯燥乏味，压力或者责任重大的工作时，容易产生注意力分散，精神疲劳，工作效率降低甚至出现操作失误导致安全隐患。疲劳检测技术能够有效的对这一类作业人员疲劳状态做出警示，以便于提高工作效率，降低安全隐患。

目前，多数疲劳检测算法特别是眼部疲劳特征检测算法采用边缘检测或者阈值分割的方法计算眼部闭合情况。这些算法虽然计算简单，但是受光照影响较大，鲁棒性较差。因此，最终的疲劳检测结果虚警率过高，不能够满足实际产品需求。

发明内容

针对现有技术的不足，本发明公开了一种基于信息融合的固定岗位人员疲劳检测方法，包括如下步骤：

步骤1，对输入图像进行预处理；

步骤2，采用基于HOG特征级联分类器的人脸检测算法实现人脸的检测；梯度方向直方图(HOG，Histogram of Oriented Gradient)是通过计算图像局部梯度方向和梯度强度分布获得，然后利用训练好的级联分类器实现人脸检测。HOG特征提取实现算法流程：1)灰度化；2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。4)将图像划分成小元胞；5)统计每个元胞的梯度直方图(不同梯度的个数)，即可形成每个元胞的描述算子；6)将每几个元胞组成一个块，一个块内所有元胞的特征描述算子串联起来便得到该块的HOG特征描述算子。7)将图像内的所有块的HOG特征描述算子串联起来就可以得到图像目标的HOG特征。

步骤3，在人脸检测的基础上，采用核相关滤波(KCF)目标跟踪算法(Henriques JF,Caseiro R,Martins P,et al.High-Speed Tracking with Kernelized CorrelationFilters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2015,37(3):583-596.)实现人脸的跟踪，获得跟踪区域图像；

步骤4，对于获得的跟踪区域图像，利用回归树集合算法(Kazemi V,SullivanJ.One millisecond face alignment with an ensemble of regression trees[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE ComputerSociety,2014:1867-1874.)，对人脸进行标定和分割；

步骤5，对分割的人脸采用基于级联卷积神经网络人眼特征点定位技术对人眼以及嘴部特征点进行检测(赵雪鹏,孟春宁,冯明奎,等.基于级联卷积神经网络的疲劳检测[J].光电子·激光,2017(5):497-502.)；

步骤6，根据检测到的人眼部和嘴部特征点计算此时的闭合程度，根据设定阈值判断这一帧图像中人脸眼睛闭合状态和嘴部打哈欠状态；

步骤7，在步骤4中人脸标定的基础上，采用基于ASM(Active Shape Model)局部定位和人脸特征三角形的方法(Van Ginneken B,Frangi A F,Staal J J,et al.Activeshape model segmentation with optimal features[J].IEEE Transactions onMedical Imaging,2002,21(8):924-933.)实现头部姿态估计，从而判断出此时头部点头状态；

步骤8，每隔x分钟统计眨眼频率、哈欠频率、点头频率以及PERCLOS参数，对这四个参数采用基于粗糙集理论的信息融合算法(王倩,苗德华,邓三鹏,等.基于粗糙集的汽车驾驶员疲劳监测方法的研究[J].车辆与动力技术,2011(4):18-21.)实现疲劳状态检测。

步骤1包括：

步骤1-1，对输入的大小为1280*960的图像进行尺度缩放操作，将其缩小为原图的二分之一，即640*480，以提高处理速度；

步骤1-2，采用直方图均衡化的方法对图像进行增强；

步骤1-3，采用高斯滤波的方法对增强后的图像进行去噪(E.Spjtvoll."Anonlinear gaussian filter applied to images with discontinuities."Journal ofNonparametric Statistics 8.1(1997):21-43.)。

步骤1-2包括：

步骤1-2-1，列出输入图像和缩小后图像的灰度级，L是灰度级的个数；

步骤1-2-2，统计输入图像中各灰度级的像素个数；

步骤1-2-3，计算输入图像直方图P(i)＝Ni/N，其中P(i)为灰度分布密度，Ni为每一个灰度级对应的像素个数，N为输入图像总的像素个数；

步骤1-2-4，计算累计直方图P(j)＝P(1)+P(2)+P(3)+…+P(i)，其中P(i)为灰度分布密度，P(j)为累计灰度分布密度；

步骤1-2-5，利用灰度值变换函数j＝int[(L-1)P(j)+0.5]，其中，int为取整操作，计算变换后的灰度值j，并四舍五入取整；

步骤1-2-6，确定灰度变换关系i→j，据此将输入图像的灰度值f(m,n)＝i修正为g(m，n)＝j，其中，f(m,n)为原输入灰度函数，g(m，n)为变换后灰度函数，i为输入图像灰度值，j为步骤1-2-5变换后的灰度值，m，n为输入图像的横，纵坐标；

步骤1-2-7，统计变换后个灰度级的像素个数Nj；

步骤1-2-8，计算变换后图像的直方图P(j)＝Nj/N，其中，Nj为步骤1-2-7中变换后个灰度级的像素个数。

步骤2包括：

步骤2-1，对输入图像做灰度化处理；

步骤2-2，采用Gamma校正法(Poynton C.Digital Video and HDTV Algorithmsand Interfaces[M].Morgan Kaufmann Publishers Inc.2003.)对输入图像进行归一化处理，降低光照不均引起的干扰；

步骤2-3，计算输入图像像素的梯度，采用[-1,0,1]梯度算子对输入图像做卷积运算得到水平方向梯度分量，然后采用[1,0,-1]^T梯度算子对图像做卷积运算得到垂直方向的梯度分量，同时将输入图像划分成元胞(每8*8的像素组成一个元胞)，统计每个元胞的梯度直方图；

步骤2-4，将3*3个元胞组成一个小块，每一个小块内所有的元胞特征描述子串联得到小块的HOG特征描述子；

步骤2-5，将输入图像内所有的小块的HOG特征描述子串联即得到整幅输入图像的HOG特征描述子；

步骤2-6，采用Adaboost级联分类器训练人脸正负样本(人脸正负样本来自CMU-PIE人脸数据库)生成的HOG特征级联分类器(慕春雷.基于HOG特征的人脸识别系统研究[D].电子科技大学,2013.)，利用训练好的分类器对当前帧输入图像进行人脸检测，并将其作为人脸跟踪的初始模板。

步骤4包括：

当获得跟踪区域图像后，回归树集合算法会生成一个初始估计特征点，采用梯度增加的算法减小初始估计特征点和背景的平方误差总和，用最小二乘法来最小化误差，得到每一级的级联回归因子(Kazemi V，Sullivan J.One millisecond face alignmentwith an ensemble of regression trees[C]//IEEE Conference on Computer Visionand Pattern Recognition.IEEE Computer Society，2014：1867-1874.)，最后，根据检测到的人脸特征点得到精确人脸分割；

其中，回归树集合算法的公式如下：

其中为当前级回归器的特征标记点，t表示级联序号，r_t表示当前级的回归器，回归器的输入参数为输入图像I和上一级回归器的特征标记点

步骤5包括：所述基于级联卷积神经网络由三个卷积层以及两个池化层构建而成，用于提取眼部4个关键特征点即两个眼角点以及上下眼睑的中心点(赵雪鹏，孟春宁，冯明奎，等.基于级联卷积神经网络的疲劳检测[J].光电子·激光，2017(5)：497-502.)。

步骤6包括：

步骤6-1，采用如下公式计算人脸眼睛闭合度P：

其中，e₁，e₂分别代表上眼睑中心点坐标和下眼睑中心点坐标，e₃，e₄分别代表单眼眼角(嘴角)左坐标、右坐标；

步骤6-2，眼睛闭合状态判定条件如下：

嘴部闭合状态判定条件如下：

其中，t代表P＞0.5状态持续的时间。

步骤7包括：采用ASM算法进行头部建模(Cootes T F,Taylor C J.Active shapemodels[J].Proc British Machine Vision Conf,1992:266--275.)，设定头部模型眼睛、嘴巴坐标点，将实际检测到眼睛和嘴巴特征点与模型进行比对，分析头部的姿态，其中嘴巴和眼睛关键特征点坐标由步骤5获得，根据仿射变换实现人脸姿态的估计：当人处于正面状态时，两眼中心和嘴部中央会构成等腰三角形，当人脸姿态发生左右旋转，摆动以及俯仰变换时，人脸的特征三角同样会发生相应变化，由此推断出人脸的偏转角，论文“赵磊,王增才,王晓锦,等.基于ASM局部定位和特征三角形的列车驾驶员头部姿态估计[J].铁道学报,2016,38(9):52-58.”中给出完整的算法实现。

步骤8中，每隔1分钟统计眨眼频率、哈欠频率、点头频率以及PERCLOS参数，采用如下公式计算PECLOS参数：

其中，PECLOS参数是指单位时间内闭眼时间所占的比例，K1表示闭眼帧数，K2表示总帧数。

有益效果：本发明公开了一种信息融合的固定岗位人员疲劳检测算法，解决了疲劳程度判断虚警率高、鲁棒性低的问题。首先采用回归树方法对输入图像进行人脸标定，实现高精度的人脸检测；然后，对检测到的人脸采用基于级联卷积神经网络人眼特征点定位技术，实现眼部和嘴部特征点的精确检测，通过对视频的多帧图像特征点进行分析，分别计算PERCLOS参数，眨眼频率以及哈欠频率。接着，采用基于ASM局部定位和人脸特征三角形的方法实现头部姿态估计，从而计算点头频率。最后，采用基于粗糙集理论的信息融合算法实现固定岗位人员的疲劳检测。本发明在多种场景下进行了性能测试，疲劳判断准确率达到90％以上，单帧平均运行时间40ms，充分验证了本发明的有效性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明的系统流程示意图。

图2是人脸特征三角形的方法实现头部姿态估计示意图。

图3是疲劳状态综合判断示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明公开了一种基于信息融合的固定岗位人员疲劳检测方法，如图1所示，包括以下步骤：

S1：图像预处理：

图像的大小是影响图像处理速度的重要因素之一。通过对输入图像进行缩放操作，可以有效的提高视频图像中人脸检测效率和准确率；其次，采用直方图均衡化的方法对图像进行增强以及采用高斯滤波的方法对图像进行去噪，便于之后对图像的特征点进行提取。

S2：人脸检测：

采用HOG特征+级联分类器的方式实现人脸检测。HOG特征的提取首先对输入图像做灰度化处理，采用Gamma校正法对图像进行归一化处理，降低光照不均引起的干扰；计算图像像素的梯度，捕捉目标轮廓信息。同时，将图像划分成元胞，统计每个元胞的梯度直方图；然后，将3*3个元胞组成一个小块，每一个小块内所有的元胞特征描述子串联得到小块的HOG特征描述子；最后将图像内所有的小块的HOG特征描述子串联即可得到整幅图像的HOG特征描述子。

采用Adaboost级联分类器训练人脸正负样本生成的HOG特征级联分类器，利用训练好的分类器对当前帧图像进行人脸检测，并将其作为人脸跟踪的初始模板。

S3：采用KCF目标跟踪算法实现人脸跟踪。当人脸发生大幅度偏转时，人脸检测算法容易失效并且速度相对较慢。KCF目标跟踪算法速度更快并且鲁棒性更好。与其他大多数目标跟踪器相比，KCF目标跟踪算法同样属于具有识别能力的分类器，能够将图像中的目标与背景进行区分，但是由于多数采用滑动窗和多尺度的采样方式，导致样本集具有大量冗余信息。而KCF跟踪算法则是采用循环矩阵离散傅里叶变换和核回归滤波方式实现目标跟踪，并降低了运算量，提高了运算速度，满足实时性要求。

S4：利用回归树集合算法，对跟踪到的人脸进行标定和精细分割。当获得跟踪区域图像后，算法会生成一个初始估计特征点，然后采用梯度增加的算法减小初始特征点和背景的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子。最后，根据检测到的人脸特征点可以得到精确人脸分割。

回归树集合算法核心公式如下：

其中t表示级联序号，r_t表示当前级的回归器。回归器的输入参数为图像I和上一级回归器的特征标记点S。

S5：采用基于级联卷积神经网络特征点定位技术对人眼以及嘴部关键特征点进行检测。该网络由三个卷积层以及两个池化层构建而成，用于提取眼部4个关键特征点即两个眼角点以及上下眼睑的中心点。由于采用深层卷积网络结构，更加抽象的眼部特征被提取，其中纹理信息用于定位关键点。嘴部关键特征点的检测方法与眼部方法一致。S6：根据检测到的眼部和嘴部特征点计算此时的闭合程度，根据设定阈值判断当前帧图像中人脸眼睛闭合状态和嘴部打哈欠状态。具体实现如下：

其中，P代表闭合度，e₁，e₂代表上下眼睑(嘴唇)中心点坐标，e₃，e₄代表眼角(嘴角)坐标。

眼睛闭合状态判定条件：

嘴部闭合状态判定条件：

其中，t代表P＞0.5状态持续的时间。

S7：采用人脸特征三角形的方法实现头部姿态估计，该方法首先需要进行头部建模(设定头部模型眼睛、嘴巴坐标点)，将实际检测到眼睛和嘴巴特征点与模型进行比对，然后分析头部的姿态。其中嘴巴和眼睛关键特征点坐标由步骤S5获得。然后根据仿射变换可实现人脸姿态的估计。当人处于正面状态时，如图2所示，两眼中心(A，B两点)和嘴部中央(C点)会构成等腰三角形，当人脸姿态发生左右旋转，摆动以及俯仰变换时，人脸的特征三角同样会发生相应变化，由此可推断出人脸的偏转角。

S8：本发明中疲劳程度的判断总共需要四个技术指标：

(1)PERCLOS疲劳检测判断技术指标

PECLOS是指单位时间内闭眼时间所占的比例，人清醒状态下正常一次眨眼时间大概为150ms左右，也就是3～4帧的时间；当人处于疲劳状态时，一次眨眼时间会变慢，通过计算闭眼时间占总时间的比例检测出人的疲劳状态，PECLOS是实时分析人疲劳程度的重要指标之一。

(2)眨眼频率疲劳检测技术指标

当人处于疲劳状态时，会通过眨眼动作缓解眼部疲劳，也就是疲劳状态下眨眼频率会上升，通过分析单位时间内的眨眼次数可对人的疲劳状态作出判断，该发明中是以1分钟为单位对眨眼次数进行统计，并计算眨眼频率。与PECLOS指标相比，由于其统计周期长，因此实时性不足，但是仍是判断疲劳状态的重要指标之一。一次眨眼过程是眼睛睁开->闭合->睁开的过程，通过计算眼睑关键点的欧式距离即可计算眼睛是否处于闭合状态。

(3)哈欠频率疲劳检测技术指标

打哈欠是人处于疲劳状态的重要表现之一，通过计算单位时间内打哈欠次数，可以有效的判断人的疲劳程度。打哈欠属于一个持续过程，其判断需要从嘴部张开度和持续时间上与说话状态进行区分。一般来讲，一次打哈欠时间大概在3～5秒之间，而正常说话时嘴部一次张开闭合时间在1秒以内。此外，打哈欠另外一个重要判断条件就是张开度，相比正常说话，打哈欠时张开度更大。根据这两个判断条件可哈欠频率，由此作出疲劳判断相应决策。

(4)当头部上下运动频率过高超过一定阈值时，判断为点头频率过高并作出疲劳状态相应决策。

最后，需要综合四个参数作出相应疲劳状态决策，采用基于粗糙集理论的信息融合算法实现疲劳状态综合判断，增加判断疲劳检测精度。整体结构流程如图3所示。

本发明提供了一种基于信息融合的固定岗位人员疲劳检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种基于信息融合的固定岗位人员疲劳检测方法，其特征在于，包括如下步骤：

步骤1，对输入图像进行预处理；

步骤2，采用基于HOG特征级联分类器的人脸检测算法实现人脸的检测；

步骤3，在人脸检测的基础上，采用核相关滤波KCF目标跟踪算法实现人脸的跟踪，获得跟踪区域图像；

步骤4，对于获得的跟踪区域图像，利用回归树集合算法，对人脸进行标定和分割；

步骤5，对分割的人脸采用基于级联卷积神经网络人眼特征点定位技术对人眼以及嘴部特征点进行检测；

步骤6，根据检测到的人眼部和嘴部特征点计算此时的闭合程度，根据设定阈值判断这一帧图像中人脸眼睛闭合状态和嘴部打哈欠状态；

步骤7，在步骤4中人脸标定的基础上，采用基于ASM(Active Shape Model)局部定位和人脸特征三角形的方法实现头部姿态估计，从而判断出此时头部点头状态；

步骤8，每隔x分钟统计眨眼频率、哈欠频率、点头频率以及PERCLOS参数，对这四个参数采用基于粗糙集理论的信息融合算法实现疲劳状态检测。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，对输入的大小为1280*960的图像进行尺度缩放操作，将其缩小为原图的二分之一，即640*480；

步骤1-2，采用直方图均衡化的方法对图像进行增强；

步骤1-3，采用高斯滤波的方法对增强后的图像进行去噪。

3.根据权利要求2所述的方法，其特征在于，步骤1-2包括：

步骤1-2-1，列出输入图像和缩小后图像的灰度级，L是灰度级的个数；

步骤1-2-2，统计输入图像中各灰度级的像素个数；

步骤1-2-3，计算输入图像直方图P(i)＝Ni/N，其中P(i)为灰度分布密度，Ni为每一个灰度级对应的像素个数，N为输入图像总的像素个数；

步骤1-2-4，计算累计直方图P(j)＝P(1)+P(2)+P(3)+…+P(i)，其中P(i)为灰度分布密度，P(j)为累计灰度分布密度；

步骤1-2-5，利用灰度值变换函数j＝int[(L-1)P(j)+0.5]，其中，int为取整操作，计算变换后的灰度值i，并四舍五入取整；

步骤1-2-6，确定灰度变换关系i→i，据此将输入图像的灰度值f(m，n)＝i修正为g(m，n)＝j，其中，i为输入图像灰度值，j为步骤1-2-5变换后的灰度值，m，n为输入图像的横，纵坐标，f(m，n)为原输入灰度函数，g(m，n)为变换后灰度函数；

步骤1-2-7，统计变换后个灰度级的像素个数Nj；

步骤1-2-8，计算变换后图像的直方图P(j)＝Nj/N，其中，Nj为步骤1-2-7中变换后个灰度级的像素个数。

4.根据权利要求3所述的方法，其特征在于，步骤2包括：

步骤2-1，对输入图像做灰度化处理；

步骤2-2，采用Gamma校正法对输入图像进行归一化处理；

步骤2-3，计算输入图像像素的梯度，采用[-1，0，1]梯度算子对输入图像做卷积运算得到水平方向梯度分量，然后采用[1，0，-1]^T梯度算子对图像做卷积运算得到垂直方向的梯度分量，同时将输入图像划分成元胞，每8*8的像素组成一个元胞，统计每个元胞的梯度直方图；

步骤2-4，将3*3个元胞组成一个小块，每一个小块内所有的元胞特征描述子串联得到小块的HOG特征描述子；

步骤2-5，将输入图像内所有的小块的HOG特征描述子串联即得到整幅输入图像的HOG特征描述子；

步骤2-6，采用Adaboost级联分类器训练人脸正负样本生成的HOG特征级联分类器，利用训练好的分类器对当前帧输入图像进行人脸检测，并将其作为人脸跟踪的初始模板。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：当获得跟踪区域图像后，回归树集合算法会生成一个初始估计特征点，采用梯度增加的算法减小初始估计特征点和背景的平方误差总和，用最小二乘法来最小化误差，得到每一级的级联回归因子，最后，根据检测到的人脸特征点得到精确人脸分割；

其中，回归树集合算法的公式如下：

其中为当前级回归器的特征标记点，t表示级联序号，r_t表示当前级的回归器，回归器的输入参数为输入图像I和上一级回归器的特征标记点

6.根据权利要求5所述的方法，其特征在于，步骤5包括：所述基于级联卷积神经网络由三个卷积层以及两个池化层构建而成，用于提取眼部4个关键特征点即两个眼角点以及上下眼睑的中心点。

7.根据权利要求6所述的方法，其特征在于，步骤6包括：

步骤6-1，采用如下公式计算人脸眼睛闭合度P：

其中，e₁，e₂分别代表上眼睑中心点坐标和下眼睑中心点坐标，e₃，e₄分别代表单眼眼角左坐标、右坐标；

步骤6-2，眼睛闭合状态判定条件如下：

嘴部闭合状态判定条件如下：

其中，t代表P＞0.5状态持续的时间。

8.根据权利要求7所述的方法，其特征在于，步骤7包括：采用ASM算法进行头部建模，设定头部模型眼睛、嘴巴坐标点，将实际检测到眼睛和嘴巴特征点与模型进行比对，分析头部的姿态，其中嘴巴和眼睛关键特征点坐标由步骤5获得，根据仿射变换实现人脸姿态的估计：当人处于正面状态时，两眼中心和嘴部中央会构成等腰三角形，当人脸姿态发生左右旋转，摆动以及俯仰变换时，人脸的特征三角同样会发生相应变化，由此推断出人脸的偏转角。

9.根据权利要求8所述的方法，其特征在于，步骤8中，每隔1分钟统计眨眼频率、哈欠频率、点头频率以及PERCLOS参数，采用如下公式计算PECLOS参数：

其中，PECLOS参数是指单位时间内闭眼时间所占的比例，K1表示闭眼帧数，K2表示总帧数。