CN110097012B - 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 - Google Patents

Abstract

本发明公开了一种基于N‑range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：1)采集侧眼图像并预处理；2)通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；4)计算图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域；5)计算矩形框的高宽比，判断睁、闭眼状态；6)疲劳状态分析。本发明具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强，能提高疲劳检测的准确率。

Description

基于N-range图像处理算法的眼动参数监测的疲劳检测方法

技术领域

本发明涉及疲劳检测技术领域，特别涉及一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法。

背景技术

疲劳是由于过度的体力或脑力劳动引起的一种生理现象，是人体正常的生理活动规律。在医学上，疲劳被定义为人体困顿、倦怠的感觉，是需要休息和放松的信号。疲劳主要表现为瞌睡，精力不集中，人体的正常反应减慢，交感神经活动减弱，副交感神经增强等。疲劳表现出来的某些生理、心理和行为科学指标可以通过实验来测定。比如，通过肌电图测定肌肉的疲劳现象，通过脑电图、闪光融合频率测定脑力疲劳现象，以及通过眼电图测定眼睛的视觉和眼睛疲劳等。

为提高作业的安全性，疲劳监测的相关研究方法主要有：基于生理的方法，通过分析驾驶员脑电图的变化；通过分析汽车转向轮上握力的变化、基于驾驶员头部行为的方法以及基于眼动的监测方法。其中基于眼动的方法，使用成本最低，监测效率较高。

目前基于眼动的疲劳监测方法均是利用PERCLOS理论并从正面采集人眼，并进行人眼特征提取。例如Tapan Pradhan(Dhar S,Pradhan T,Gupta S,et al.Implementationof real time Visual Attention Monitoring algorithm of human drivers on anembedded platform[C]//Students Technology Symposium.IEEE,2010)提出了一种基于主成分分析的监测方法。其将眼睛图像分为三个类别：完全睁开、部分睁开和完全闭眼。通过对图像提取主成分，并奇异值分解，分别计算三个类别的最大概率，从而判别当前人眼的状态。这种方法在状态判别上具有较高的准确度，但是实用性较低，将人眼只分为3个状态，丢失了大量的人眼微动作信息，在疲劳判决方面，准确率较低。目前基于眼动的疲劳监测方法普遍存在运算量大、鲁棒性低、准确率较低等缺陷。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法。本发明可用于穿戴式的疲劳检测设备中(如采用眼镜形式的疲劳监测设备)，对人眼图像进行分析，以最终实现疲劳状态判断。

为解决上述技术问题，本发明采用的技术方案是：一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：

1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；

2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；

3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；

4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；

5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；

6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。

优选的是，所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。

优选的是，所述卷积核K进行卷积激活的公式如下式(1)：

其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。

优选的是，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。

优选的是，所述步骤3)具体包括：

3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；

3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；

3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；

3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w₀，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u₀；统计i～255激活级的像素占整幅图像的比例w₁，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u₁；

3-5)按下式(2)计算前景像素和背景像素的方差，：

g＝w₀*w₁*(u₀-u₁)² (2)

3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；

3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。

优选的是，所述步骤4具体包括：

4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：

令所述步骤3)得到的图像共N列，n表示每列的像素数，x₁,x₂,x₃...,x_n表示这组像素的具体激活值：

则每列平均灰度：

每列标准差：

通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；

4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；

4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。

优选的是，所述步骤5)具体包括：

先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即

设定睁闭眼阈值为β_t；

然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比β_x，若β_x≥β_t，则表示当前为睁眼状态，反之则为闭眼状态。

优选的是，其中，所述步骤5)中设定的睁闭眼阈值β_t＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。

优选的是，所述步骤6)中设定的疲劳阈值为0.37。

本发明的有益效果是：本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强，能提高疲劳检测的准确率。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。

附图说明

图1为本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测方法的流程图；

图2为本发明的一种实施例中的卷积核K的结构示意图；

图3为本发明的一种实施例中的眼部区域分割结果示意图；

图4为本发明的一种实施例中的P80评测体系的原理示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

本实施例的一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：

1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；

2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；

3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；

4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个包含眼部区域的矩形框；

5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；

6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。

本发明可用于穿戴式的疲劳检测设备中(如采用眼镜形式的疲劳监测设备)，对人眼图像进行分析，以最终实现疲劳状态判断。本发明中可采用侧眼摄像头实时抓取使用者的侧眼部图像，通过图像处理方法得到侧眼眼睛区域的分割图像，并对所得的图像进行分析，确定设备使用者眼睛当前的状态，进而识别使用者的疲劳状态。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。

其中，图像经过灰度化处理和抗噪处理，能降低环境对图像的影响，确保图像的质量。

其中，眼部区域在横纵方向上均能产生较强的梯度变换，本实施例中提出了一种新型的卷积核K，捕捉横纵方向上的绝对梯度和。所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，参照图2，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。所述卷积核K进行卷积激活的公式如下式(1)：

其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。

其中，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。所述步骤3)具体包括：

3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；

3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；

3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；

3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w₀，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u₀；统计i～255激活级的像素占整幅图像的比例w₁，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u₁；

3-5)按下式(2)计算前景像素和背景像素的方差，：

g＝w₀*w₁*(u₀-u₁)² (2)

3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；

3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。

其中，所述步骤4具体包括：

4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：

令所述步骤3)得到的图像共N列，n表示每列的像素数，x₁,x₂,x₃...,x_n表示这组像素的具体激活值：

则每列平均灰度：

每列标准差：

通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；

4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；

4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。通过该矩形框实现眼部区域分割、

参照图3为一种实施例中眼部区域分割结果示意图，本方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。

在一种实施例中，所述步骤5)具体包括：

先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即

设定睁闭眼阈值为β_t；

然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比β_x，若β_x≥β_t，则表示当前为睁眼状态，反之则为闭眼状态。

在优选的实施例中，所述步骤5)中设定的睁闭眼阈值β_t＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。

本发明通过计算眼睛的高宽比表示眼睛状态，即使在实时监测过程中，因为剧烈的头部运动会使得穿戴式疲劳监测设备(如采用眼镜形式的疲劳监测设备)位移，眼睛的相对位置发生变化，但是眼部的高宽比例依然能够保持较稳定的数值，这是人眼构造特征所决定的。先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即

当人眼闭合时，上下眼睑重合，眼部高宽比β最小；反之人眼完全睁开时眼部高宽比β最大,通常情况下β的取值位于[0,2]之间。

在优选的实施例中，所述步骤6)中设定的疲劳阈值为0.37。

在一种实施例中，选择PERCLOS算法,并选择P80评测体系进行疲劳判断，即计算单位时间内眼睛闭合程度超过80％以上的时间占总时间的百分比。如图4所示，通过测量出，根据下式就能计算出疲劳程度(Fatigue Value，FV)值。

上式中,FV为眼睛闭合时间的百分率,即FV值；t₁为眼睛最大瞳孔闭合到80％瞳孔所用时间；t₂为眼睛最大瞳孔闭合到20％瞳孔所用时间；t₃为眼睛最大瞳孔到下一次20％瞳孔睁开所用时间；t₄为眼睛最大瞳孔到下一次80％瞳孔睁开所用时间。

当人从清醒状态逐渐进入疲劳状态时，由于困倦使得眼睛闭合的持续时间逐渐变长。因此，从清醒到疲劳的过程中，FV值会不断变大。当人员发生瞌睡时，眼睛完全处于闭合状态,FV值为1。查阅大量文献后发现，关于疲劳状态判定的FV值并没有固定的数值，其值应该根据采集方法与评估方法来设定。本发明通过大量实验和数据采集统计，发现绝大多数的疲劳阈值FV都在0.33-0.42之间。据此,本发明选择0.37作为判定疲劳状态的FV阈值。即设定的疲劳阈值为0.37，当一段时间内的FV值超过0.37时，判定人员为疲劳状态。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (8)

1.一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，包括以下步骤：

1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；

2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；

3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；

4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；

5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；

6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态；

所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N'*N'，N'＝2*i'+1，i'＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。

2.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述卷积核K进行卷积激活的公式如下式(1)：

其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。

3.根据权利要求2所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。

4.根据权利要求3所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤3)具体包括：

3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；

3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；

3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；

3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w₀，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u₀；统计i～255激活级的像素占整幅图像的比例w₁，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u₁；

3-5)按下式(2)计算前景像素和背景像素的方差：

g＝w₀*w₁*(u₀-u₁)² (2)

3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；

3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。

5.根据权利要求4所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤4)具体包括：

4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：

令所述步骤3)得到的图像共K列，n表示每列的像素数，x₁,x₂,x₃...,x_n表示这组像素的具体激活值：

则每列平均灰度：

每列标准差：

通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；

4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；

4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。

6.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤5)具体包括：

先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即

设定睁闭眼阈值为β_t；

然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比β_x，若β_x≥β_t，则表示当前为睁眼状态，反之则为闭眼状态。

7.根据权利要求6所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，其中，所述步骤5)中设定的睁闭眼阈值β_t＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。

8.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤6)中设定的疲劳阈值为0.37。

Images