CN112434611B - 基于眼部运动细微特征的早期疲劳检测方法及系统 - Google Patents
基于眼部运动细微特征的早期疲劳检测方法及系统 Download PDFInfo
- Publication number
- CN112434611B CN112434611B CN202011340546.3A CN202011340546A CN112434611B CN 112434611 B CN112434611 B CN 112434611B CN 202011340546 A CN202011340546 A CN 202011340546A CN 112434611 B CN112434611 B CN 112434611B
- Authority
- CN
- China
- Prior art keywords
- blink
- frame
- sequence
- eye movement
- frame sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 121
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 206010016256 fatigue Diseases 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract 31
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 36
- 210000001508 eye Anatomy 0.000 claims description 35
- 230000004397 blinking Effects 0.000 claims description 21
- 230000004434 saccadic eye movement Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 210000003786 sclera Anatomy 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000001711 saccadic effect Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000002618 waking effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉及视频分析技术领域，为基于眼部运动细微特征的早期疲劳检测方法及系统，其方法包括：检测出视频帧序列的人脸位置图像、人脸特征点位置；识别出帧序列中的眨眼帧序列以及眼球运动帧序列，将视频帧序列划分为眨眼与眼球运动交替的帧序列；获取关于每次眨眼的眨眼信息特征、眼球运动信息特征，并融合、组合为眼部运动细微特征序列；训练基于时序的神经网络模型得到疲劳程度检测模型；将需要预测的视频帧序列进行处理，获得人员的眼部运动细微特征序列，输入到疲劳程度检测模型中，判断出当前人员的疲劳程度。本发明可有效检测视频序列中人员的疲劳程度，检测结果包括：清醒、早期疲劳、疲劳，实现早期疲劳的检测。
Description
技术领域
本发明涉及计算机视觉及视频分析技术领域，特别涉及一种基于眼部运动细微特征的早期疲劳检测方法及系统。
背景技术
疲劳检测技术在驾驶、高危作业等多种场景下均有重要的作用，及时的疲劳检测及警告能够有效防止交通意外或高危作业安全事故的发生。研究表明，驾驶员在长时间行驶后，对自我疲劳程度的感知能力会下降；在一些高危工作场景，工人在缺少睡眠的情况下，工作效率会下降，且有更高的安全风险。
目前主流的疲劳检测技术主要基于三种指标：分别是操作行为指标、生理信号指标、脸部反应指标。其中，操作行为指标往往需要在多个操作流程中植入传感器，如驾驶操作的刹车、加速、方向盘转动等等，这些传感器往往需要较高的成本；生理信号指标需要对人员的头部、身体等部位放置信号采集器，这种采集器往往是侵入式的，会对人员的正常行为造成一定影响；脸部反应指标主要通过朝向脸部的视频进行采集，如眼睛闭合程度、眨眼频率等，采集过程只需通过在人员的座位正前方摆放摄像头并进行视频录制即可，有成本低、泛用性强等优点。
目前基于脸部反应指标的疲劳检测技术，其主要基于比较明显的疲劳特征，如基于PERCLOS(眼睛闭合时间占特定时长百分比)的疲劳检测技术、基于哈欠检测的疲劳检测技术等。但意外事故的发生与这些明显的疲劳特征的出现之间的时间间隔往往很短，这些疲劳检测技术无法很好的对早期疲劳进行检测。
发明内容
为了解决现有技术所存在的问题，本发明提供一种基于眼部运动细微特征的早期疲劳检测方法及系统，通过对视频序列中眼部运动细微特征(如眨眼信息、眼球运动信息)的分析提取，本发明可以有效地检测视频序列中人员的疲劳程度，检测结果将输出三种：清醒、早期疲劳、疲劳，实现早期疲劳的检测。
根据本发明的基于眼部运动细微特征的早期疲劳检测方法，包括以下步骤：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；
S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。
根据本发明的基于眼部运动细微特征的早期疲劳检测系统，包括：
特征提取模块，用于按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点；得到对应视频序列的人脸特征点帧序列后，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；最后将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列；
基于时序的神经网络模型训练模块，首先使用已标记疲劳程度的视频训练数据集，对每个视频帧序列采用所述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型；
疲劳程度检测模块，输入需要预测疲劳程度的一段视频帧序列，通过所述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
相对于现有技术，本发明具有如下的优点及效果：
1、本发明针对每一次眨眼，提取了眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率作为眨眼信息特征，针对每两次眨眼间的眼球运动过程，提取了眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度作为眼球运动信息特征。由于提取了这些眼部运动细微特征，使神经网络模型能够关注到足够多的早期疲劳信息，进而能够有效检测出早期疲劳状态。
2、本发明提出了一种眼动信息提取算法，其采用基于眼睛虹膜两侧边缘垂直线位置进行定位，每帧获得共4个垂直线定位点，而现有的瞳孔中心法每帧仅获得2个瞳孔定位点，通过帧差信息，4个定位点相比2个定位点更容易排除异常值，且只需要有1个定位点的帧差信息准确即可准确计算该帧位移，其余3个定位点的帧差信息可以用作排错或推导。因此基于眼睛虹膜两侧边缘垂直线定位的方法具有更高的准确率和稳定性。
3、本发明对眼球运动模式进行了细分判别，在眼球运动提取算法中，针对眼球运动不同帧位移的大小，根据不同阈值划分为3种模式，分别为注视模式、平滑追踪模式、跳视模式，充分描述眼球运动状态，可以更好地识别不同疲劳程度下的不同眼球运动模式，进而提高疲劳程度检测的准确率。
4、本发明采用基于时序的神经网络模型(如LSTM模型)，其能够有效提取视频序列中眼部运动细微特征序列间的时序信息，即每次眨眼、眼球运动间的时序信息，提高疲劳程度检测的准确率。
附图说明
图1是基于眼部运动细微特征的早期疲劳检测算法流程图；
图2是眨眼特征提取算法流程图；
图3是眼球运动信息提取算法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例中基于眼部运动细微特征的早期疲劳检测方法步骤如下：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸68特征点检测算法，检测出对应该帧的人脸68特征点位置。此处提及的人脸检测算法和人脸特征点检测算法可以通过dlib库获得。
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而可以将视频帧序列划分为眨眼与眼球运动交替的帧序列。其中，眨眼与眼球运动交替的顺序可以为“眨眼，眼球运动，眨眼，……，眨眼，眼球运动，眨眼”。
本步骤中的眨眼检测算法，采用当前帧加上当前帧前后各6帧(共13帧)的EAR(eyeaspect ratio，眼睛宽高比)作为特征，训练SVM分类器；然后使用训练好的SVM分类器进行眨眼检测。眼睛宽高比EAR可以通过包围眼睛的6个特征点通过下方公式计算：
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征。
如图2所示，根据步骤S2的眨眼检测算法获得眨眼帧序列，利用眨眼特征提取算法找到眨眼帧序列中EAR值最低的帧作为眨眼当前帧；然后向所述眨眼当前帧的前后两个方向分别查找对应EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；最终计算出单次眨眼的眨眼特征，包括：眨眼持续时间、眨眼幅度、眨眼速度及眨眼频率。各眨眼特征的计算公式如下方所示，其中眨眼频率中的单位时间可以设定为最近10秒；若该次眨眼发生时间距离视频开始时间的间隔时间未达到单位时间，则此次计算中，单位时间取为该间隔时间。
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征，包括：眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度和平滑追踪速度。
如图3所示，首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。各特征的计算公式如下方所示，其中眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式。按照位移值的大小，定义0<注视阈值<平滑追踪阈值<跳视阈值，根据连续两帧的位移与各阈值进行比较，将两帧中的后一帧视为相应模式的眼球运动帧。
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列，融合后的单个特征包括：眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率、眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度及平滑追踪速度。
一段视频帧序列将获取多个眼部运动细微特征。人在疲劳状态下，眨眼会呈现一定的规律模式，如连续的快速眨眼、偶发的长时间闭合眨眼等；此外，人的目光也会趋于呆滞，呈现为眼球运动速度下降，注视时间延长等。因此利用前面定义的眼部运动细微特征，可以刻画出人在不同疲劳状态下的眼部运动表现特征。
S6、对收集的已打上人工标签的视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，经过一定量数据的多轮模型训练后，神经网络模型通过数据学习到人员在不同疲劳程度下的眼部运动模式，进而得到疲劳程度检测模型。
神经网络模型的搭建方式如下：
第一层：9*16的全连接层，输入9维向量，输出16维向量；
第二层：长短期记忆层(LSTM，Long Short-Term Memory)，隐层尺寸设定为16，输入50*16维向量，输出50*16维向量，再将输出压平为800维向量；
第三层：线性回归层，输入800维向量，输出1维标量。
神经网络模型的训练方式为：
数据预处理：对于单一视频的若干眼部运动细微特征序列，每50个眼部运动细微特征序列作为一组数据，采用滑动窗口的方法，步长设定为2，则每滑动2个步长，作为新的一组数据；而对于视频中特征序列不足50个的情况，对空白数据采用0值填充。最后得到来源于不同视频的n组数据，数据维度为n*50*9，标签维度为n*1。此外，清醒、早期疲劳、疲劳的数据标签值分别记为0、0.5、1。
损失函数设定为：
其中N为特征输入序列数，outi为第i个数据经过模型的输出值，labeli为第i个数据的标签值。此外，为防止过拟合，采用L2正则化的方式限制模型权重，其中，W1为全连接层的权重矩阵，W2为线性回归层的权重矩阵。学习率设定为0.01；迭代轮数设定为60；批大小设定为512。
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型将通过此前学习到的知识判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。具体表现为疲劳程度检测模型将眼部运动细微特征序列作为输入，输出一个0～1范围的输出值，最后根据以下公式得到人员的疲劳程度。
疲劳程度的取值范围在0～1之间。
基于相同的发明构思，本实施例还提供基于眼部运动细微特征的早期疲劳检测系统，包括特征提取模块、基于时序的神经网络模型训练模块及疲劳程度检测模块。
在特征提取模块中，首先按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点。此时，已得到对应视频序列的人脸特征点帧序列，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列。此后，对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征。最后，将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列。
在基于时序的神经网络模型训练模块中，首先使用已标记疲劳程度(如清醒、早期疲劳、疲劳)的视频训练数据集，对每个视频帧序列采用上述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，经过一定量数据的多轮模型训练后，可获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型。
而疲劳程度检测模块中，输入需要预测疲劳程度的一段视频帧序列，通过上述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
与本实施例的早期疲劳检测方法相同，本实施例的早期疲劳检测系统中，所采用的眨眼检测算法首先通过包围眼睛部位的6个特征点的位置计算出每帧图像每个眼睛的EAR(eye aspect ratio，眼睛宽高比)，然后对两只眼睛的EAR求平均值。此后，使用滑动窗口的方式，对包含当前帧前后的若干连续帧EAR放入预训练好的SVM分类器中进行分类，识别出当前帧是否为眨眼帧，若是则将这些连续帧作为眨眼帧序列。获得一系列眨眼帧序列后，则每两个相邻的眨眼帧序列之间的帧序列则为眼球运动帧序列。
同样的，眨眼特征提取算法首先通过眨眼检测算法获得眨眼帧序列，然后通过找到该段眨眼帧序列中眼睛宽高比EAR最低值的帧作为眨眼当前帧，然后向其前后两个方向分别查找对应EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧。此外，通过眨眼检测算法可以获得最近若干帧中发生眨眼的次数。通过前述信息则可以计算出单次眨眼的眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率等特征。
同样的，眼球运动信息提取算法首先通过包围眼睛部位的6个特征点的位置计算出眼睛的包围矩形和包围多边形，针对包围多边形进行灰度二值化及形态学相关的图像处理，获得呈现眼球巩膜和虹膜的二值化图像，其中虹膜区域为黑色，巩膜部分为白色，此外，针对眼睛的包围矩形图像区域，其包围多边形以外的区域也处理为白色。此后，使用竖线扫描法从左到右扫描呈现眼球巩膜和虹膜的二值化图像，获取到虹膜的左右两端边缘垂直线的水平坐标(对于被眼角遮盖的边缘，取其眼角坐标)。最后，通过分析每段眼球运动帧序列中，相邻帧的虹膜边缘垂直线与眼睛角点的相对坐标信息，判断眼球的帧位移与不同眼球运动模式阈值之间的大小关系，可以计算出单次眼球运动过程的眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度等特征。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.基于眼部运动细微特征的早期疲劳检测方法，其特征在于，包括以下步骤：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；
S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度；
步骤S4中，首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。
2.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S2中的眨眼检测算法，采用当前帧加上当前帧前后各6帧的眼睛宽高比EAR作为特征，训练SVM分类器；然后使用训练好的SVM分类器进行眨眼检测。
3.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S3中，利用眨眼特征提取算法找到眨眼帧序列中眼睛宽高比EAR值最低的帧作为眨眼当前帧；再向所述眨眼当前帧的前后两个方向分别查找对应眼睛宽高比EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；最终计算出单次眨眼的眨眼特征，包括：眨眼持续时间、眨眼幅度、眨眼速度及眨眼频率。
4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：
其中，眨眼频率中的单位时间设定为若干秒；若该次眨眼发生时间距离视频开始时间的间隔时间未达到单位时间，则此次计算中，单位时间取为该间隔时间。
5.根据权利要求3所述的早期疲劳检测方法，其特征在于，步骤S4中眼球运动信息特征，包括：眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度和平滑追踪速度；眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式；
其中，0<注视阈值<平滑追踪阈值<跳视阈值。
6.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S5中融合后的单个特征包括：眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率、眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度及平滑追踪速度。
7.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S7中疲劳程度的计算方式为：
疲劳程度的取值范围在0～1之间。
8.基于眼部运动细微特征的早期疲劳检测系统，其特征在于，包括：
特征提取模块，用于按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点；得到对应视频帧序列的人脸特征点帧序列后，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；最后将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列；
基于时序的神经网络模型训练模块，首先使用已标记疲劳程度的视频训练数据集，对每个视频帧序列采用所述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型；
疲劳程度检测模块，输入需要预测疲劳程度的一段视频帧序列，通过所述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值；
其中，特征提取模块对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征，过程包括：
首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。
9.根据权利要求8所述的早期疲劳检测系统，其特征在于，
特征提取模块中，眨眼特征提取算法首先通过眨眼检测算法获得眨眼帧序列，然后通过找到该段眨眼帧序列中眼睛宽高比EAR最低值的帧作为眨眼当前帧，然后向其前后两个方向分别查找对应眼睛宽高比EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；通过眨眼检测算法获得若干帧中发生眨眼的次数；计算出单次眨眼的眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率；
眼球运动信息提取算法首先通过包围眼睛部位的多个特征点的位置计算出眼睛的包围矩形和包围多边形，针对包围多边形进行灰度二值化及形态学相关的图像处理，获得呈现眼球巩膜和虹膜的二值化图像，其中虹膜区域为黑色，巩膜部分为白色，针对眼睛的包围矩形图像区域，其包围多边形以外的区域也处理为白色；使用竖线扫描法从左到右扫描呈现眼球巩膜和虹膜的二值化图像，获取到虹膜的左右两端边缘垂直线的水平坐标；最后，通过分析每段眼球运动帧序列中，相邻帧的虹膜边缘垂直线与眼睛角点的相对坐标信息，判断眼球的帧位移与不同眼球运动模式阈值之间的大小关系，计算出单次眼球运动过程的眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340546.3A CN112434611B (zh) | 2020-11-25 | 2020-11-25 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340546.3A CN112434611B (zh) | 2020-11-25 | 2020-11-25 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112434611A CN112434611A (zh) | 2021-03-02 |
| CN112434611B true CN112434611B (zh) | 2023-04-07 |
Family
ID=74697758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011340546.3A Active CN112434611B (zh) | 2020-11-25 | 2020-11-25 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434611B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076885B (zh) * | 2021-04-09 | 2023-11-10 | 中山大学 | 一种基于人眼动作特征的专注度分级方法及系统 |
| CN113627256B (zh) * | 2021-07-09 | 2023-08-18 | 武汉大学 | 基于眨眼同步及双目移动检测的伪造视频检验方法及系统 |
| CN113693552A (zh) * | 2021-08-24 | 2021-11-26 | 东莞市东全智能科技有限公司 | 视觉疲劳监测方法、装置、电子设备及可读存储介质 |
| CN113885699B (zh) * | 2021-09-03 | 2023-12-01 | 南京信息工程大学 | 一种眼标控制方法 |
| CN114863545B (zh) * | 2022-07-05 | 2022-10-21 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
| CN116246257A (zh) * | 2022-12-21 | 2023-06-09 | 虹软科技股份有限公司 | 一种基于视觉的早期疲劳检测方法、装置和存储介质 |
| CN116974370B (zh) * | 2023-07-18 | 2024-04-16 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
| WO2025020186A1 (zh) * | 2023-07-27 | 2025-01-30 | 广州视源电子科技股份有限公司 | 眨眼检测方法、装置、设备和介质 |
| CN117253169A (zh) * | 2023-09-27 | 2023-12-19 | 智点恒创(苏州)智能科技有限公司 | 高危行业的风险智能管控方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3081156A1 (en) * | 2015-04-18 | 2016-10-19 | Toyota Jidosha Kabushiki Kaisha | Sleepiness detecting device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
| CN111985351B (zh) * | 2020-07-29 | 2022-08-05 | 浙江大学 | 一种基于眼动的疲劳检测方法 |
-
2020
- 2020-11-25 CN CN202011340546.3A patent/CN112434611B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3081156A1 (en) * | 2015-04-18 | 2016-10-19 | Toyota Jidosha Kabushiki Kaisha | Sleepiness detecting device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112434611A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及系统 | |
| Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
| Ramzan et al. | A survey on state-of-the-art drowsiness detection techniques | |
| Yan et al. | Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing | |
| CN102054163A (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
| Celona et al. | A multi-task CNN framework for driver face monitoring | |
| CN103839055B (zh) | 一种驾驶员视线方向的检测方法 | |
| CN113989788A (zh) | 一种基于深度学习和多指标融合的疲劳检测方法 | |
| Ursulescu et al. | Driver drowsiness detection based on eye analysis | |
| CN113887386A (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| Nousias et al. | Video-based eye blink identification and classification | |
| Pandey et al. | A survey on visual and non-visual features in Driver’s drowsiness detection | |
| Attivissimo et al. | Performance evaluation of image processing algorithms for eye blinking detection | |
| CN110097012B (zh) | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 | |
| Guo et al. | Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5 | |
| Gomaa et al. | A cnn-lstm-based deep learning approach for driver drowsiness prediction | |
| Cohn et al. | A comparative study of alternative facs coding algorithms | |
| Yin et al. | A driver fatigue detection method based on multi-sensor signals | |
| Shourie et al. | Evolution and Recent Trends in Detecting Driver Drowsiness | |
| Pachouly et al. | Driver Drowsiness Detection using Machine Learning | |
| CN107832699A (zh) | 基于阵列镜头的兴趣点关注度测试方法及装置 | |
| Kaur et al. | Digital eye strain detection system based on svm | |
| CN117351468A (zh) | 结合视角矫正和改进ViViT的驾驶员睡意判断方法 | |
| Lipatova et al. | Researching Effective Systems and Methods for Detecting Drowsiness | |
| Kalisetti et al. | Analysis of driver drowsiness detection methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |