CN109344802A - 一种基于改进的级联卷积神经网的人体疲劳检测方法 - Google Patents
一种基于改进的级联卷积神经网的人体疲劳检测方法 Download PDFInfo
- Publication number
- CN109344802A CN109344802A CN201811268183.XA CN201811268183A CN109344802A CN 109344802 A CN109344802 A CN 109344802A CN 201811268183 A CN201811268183 A CN 201811268183A CN 109344802 A CN109344802 A CN 109344802A
- Authority
- CN
- China
- Prior art keywords
- human eye
- human
- image
- point
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 title abstract description 9
- 210000004218 nerve net Anatomy 0.000 claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims abstract description 12
- 230000001537 neural effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 6
- 210000000744 eyelid Anatomy 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000011895 specific detection Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 210000004279 orbit Anatomy 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 2
- 206010016256 fatigue Diseases 0.000 description 22
- 230000008901 benefit Effects 0.000 description 3
- 208000019914 Mental Fatigue Diseases 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于改进的级联卷积神经网的人体疲劳检测方法，该方法包括步骤：对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域；对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，其中一级网络采用灰度积分投影粗定位与多任务卷积神经(G‑RCNN)网实现人眼的检测与定位，二级网络(PCNN)将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测；利用人眼特征点计算人眼开闭度识别当前人眼状态；S4，根据PERCLOS准则判断人体疲劳状态；本发明可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性。
Description
技术领域
本发明属于图像处理与模式识别领域，特别是一种基于改进的级联卷积神经网的人体疲劳检测方法。
背景技术
疲劳是指机体在一定环境条件下，由于过于长时间或过度紧张的体力或脑力劳动而引起的劳动效率趋向下降的状态，精神疲劳是多种病症的起源。疲劳不仅危害人的身心健康，更会给社会生产生活带来重大安全隐患，尤其是在电力工业、建筑高空作业、车辆驾驶、航空航天、大型复杂工业等高风险作业中，生产操控人员的精神疲劳引起的注意力分散、反应迟钝或身体协调性下降，都可能导致极为严重的生产事故。在汽车驾驶方面，随着中国汽车总量逐年增加，交通事故也更为频发，而驾驶员疲劳驾驶是引发交通事故的重要原因之一。因此，对驾驶员是否疲劳进行检测并及时给予预警对于减少由于疲劳而产生的汽车驾驶事故有着非常重要的实际意义。
目前，对疲劳检测主要分为生理特征信号检测、视觉检测等方式。基于生理特征信号的检测方式具有较高的准确率，但是该方法信号采集设备复杂，相关设备的小型化与实用化也仍有不足，同时佩戴这些设备会对驾驶员驾驶行为造成一些不便，因此目前的主要研究还是在实验室进行。而基于视觉检测的方式在保持较高准确率的同时设备要求低，同时具有非入侵性特点，不会给驾驶员行为带来不便，是疲劳检测的主要研究方向之一。人眼状态是最能反映人体疲劳的因素之一，基于眼睛状态的疲劳检测主要包括人眼位置检测以及人眼状态的识别。Deng等人利用利用肤色模型结合人脸三庭五眼的布局定位人眼，并利用人眼的积分投影区域大小识别人眼状态，这种方法虽然算法简单，但是定位的准确率受环境影响较大，且由于人眼区域在图像中占的比例很小，利用积分投影的人眼状态识别准确率较低。李响等利用图像的矩特征通过计算人眼模板的Zernike矩特征向量与待识别的人脸区域做相似度计算，选取相似度最大的区域作为人眼区域，该方法类似模板匹配法，虽然能够减小环境对于检测结果的影响，但计算量较大，并且结果受选取的人眼模板影响。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高识别率、能够对光照和随机噪声具有较强的鲁棒性的基于改进的级联卷积神经网的人体疲劳检测方法。本发明的技术方案如下：
一种基于改进的级联卷积神经网的人体疲劳检测方法，其包括以下步骤：
S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；
S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；
S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；
S4、利用灰度积分投影对人脸图像进行人眼粗定位；
S5、利用GRCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；
S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用不共享卷积，共享权值的主要优点是减少了参数个数，但是其忽视了图像不同部分特征的差异性，对于人眼特征点的预测，眼睑的高层特征与眼睛其他部位差别比较大，且由于人眼图片较小，经过卷积池化以后特征映射大小进一步缩小，因此在最后一层卷积层前采用3×3的非共享卷积更够对特征点进行更为精确的回归预测，通过检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；
S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。
进一步的，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：
Y＝0.2990*R+0.5870*G+0.1140*B
Cr＝-0.1687*R-0.3313*G+0.5000*B+128
Cb＝0.5000*R-0.4187*G-0.0813*B+128
其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。
进一步的，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:
g＝w0w1(u0-u1)2
g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。
进一步的，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90°范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。
进一步的，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：
对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：
其中x2,x1分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。
进一步的，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：
通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(ez-e-z)/(ez+e-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：
Lerr表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。
进一步的，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：
通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：
其中d为点AB之间的直线距离，d1为点CD之间的距离，d2为点EF之间的距离，具体点如图2。当比值<0.1时，认为当前人眼状态为闭眼状态。
进一步的，所述步骤S7的PERCLOS准则具体包括：
研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间。为了提高容错率并且更为准确的区分疲劳与清醒状态，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。
本发明的优点及有益效果如下：
本发明提供了一种基于基于改进的级联卷积神经网的人体疲劳检测方法，针对头部姿势变化、光线等因素会对人眼定位以及人眼状态检测造成很大影响，并提出两点改进：1)针对人眼检测，结合灰度积分投影与卷积神经网，采用灰度积分投影进行人眼粗定位后将结果输入神经网络进行精定位，加快了检测速度；2)将人眼图像进行2×2分割后利用4个子卷积网络构成的卷积神经网进行特征点回归预测，同时考虑到眼睑与眼部其他特征的差异，在最后一层卷积层采用不同享权值，在一定程度上提高了检测准确率,具体步骤是：首先对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域。对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，一级网络采用灰度积分投影粗定位与多任务卷积神经网实现人眼的检测与定位。二级网络将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测。利用人眼特征点计算人眼开闭度识别当前人眼状态，并根据PERCLOS准则判断人体疲劳状态。利用LFW库与CEW人眼睁闭库训练网络并利用自采集视频帧进行实验，结果表明该方法能实现较好的人眼定位及人眼状态识别,人眼定位准确率可达96.2％，检测速度最快达到了11帧/s，人眼特征点平均识别率达到95.8％，能够较好的反映人体疲劳状态。
附图说明
图1是本发明提供优选实施例基于改进的级联卷积神经网的人体疲劳检测方法流程图；
图2是人眼定位的神经网络结构图；
图3是人眼特征点回归的神经网络结构图；
图4是人眼6特征点位置图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，本发明提供了一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，包括以下步骤：
S1、将图像划由RGB空间映射到YCrCb空间；
Y＝0.2990*R+0.5870*G+0.1140*B
Cr＝-0.1687*R-0.3313*G+0.5000*B+128
Cb＝0.5000*R-0.4187*G-0.0813*B+128
S2、采用Otsu方法采用自适应阈值进行肤色分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域；
S3、求解肤色候选区域最小外接矩形，分割肤色候选区域的最小外接矩形区域图输入CNN分类器获取得分最高的矩形区域图像作为人脸图像；
S4、对于待检测的人脸图像f(x,y)利用灰度积分投影进行人眼粗定位，其水平灰度积分可表示为：
其中x2,x1分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域；
S5、将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼具体包括：
设计了一种3层结构的CNN结合RPN网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，网络结构如如图2。激励函数采用Tanh函数，Tanh函数形式为(ez-e-z)/(ez+e-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：
S6、通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态。特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性提高检测准确率，网络结构如如图4。通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：
S7、PERCLOSE准则是指一定时间内闭眼状态时间占总时间的百分比，是目前视觉疲劳检测方面最有效的指标，在利用人眼特征点计算得人眼状态后利用PERCLOSE准则识别人体疲劳状态。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：
S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；
S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；
S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；
S4、利用灰度积分投影对人脸图像进行人眼粗定位；
S5、利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；
S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；
S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。
2.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：
Y＝0.2990*R+0.5870*G+0.1140*B
Cr＝-0.1687*R-0.3313*G+0.5000*B+128
Cb＝0.5000*R-0.4187*G-0.0813*B+128
其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。
3.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:
g＝w0w1(u0-u1)2
g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。
4.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90。范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。
5.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：
对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：
其中x2,x1分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。
6.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：
通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(ez-e-z)/(ez+e-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：
Lerr表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。
7.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：
通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：
其中d为点A、B之间的直线距离，d1为点C、D之间的距离，d2为点E、F之间的距离，当比值<0.1时，认为当前人眼状态为闭眼状态。
8.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述S7的PERCLOS准则具体包括：
研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268183.XA CN109344802B (zh) | 2018-10-29 | 2018-10-29 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811268183.XA CN109344802B (zh) | 2018-10-29 | 2018-10-29 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344802A true CN109344802A (zh) | 2019-02-15 |
| CN109344802B CN109344802B (zh) | 2021-09-10 |
Family
ID=65312498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811268183.XA Active CN109344802B (zh) | 2018-10-29 | 2018-10-29 | 一种基于改进的级联卷积神经网的人体疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344802B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097012A (zh) * | 2019-05-06 | 2019-08-06 | 苏州国科视清医疗科技有限公司 | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 |
| CN110287759A (zh) * | 2019-03-25 | 2019-09-27 | 广东工业大学 | 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
| CN110532976A (zh) * | 2019-09-03 | 2019-12-03 | 湘潭大学 | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 |
| CN110705544A (zh) * | 2019-09-05 | 2020-01-17 | 中国民航大学 | 基于Faster-RCNN的自适应快速目标检测方法 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN113298772A (zh) * | 2021-05-20 | 2021-08-24 | 南京云智控产业技术研究院有限公司 | 基于深度学习和自适应阈值法的鼻翼黑头图像检测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
| CN104298753A (zh) * | 2014-10-17 | 2015-01-21 | 重庆市云日信息技术有限公司 | 基于人脸图像处理的人才测评方法 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| US20160070868A1 (en) * | 2014-05-31 | 2016-03-10 | Go Doctor Bid, Inc. | System and method for collaborative cross-provider reverse bidding on a component of a consumer medical service |
| CN106228137A (zh) * | 2016-07-26 | 2016-12-14 | 广州市维安科技股份有限公司 | 一种基于关键点定位的atm机异常人脸检测方法 |
| US20160361441A1 (en) * | 2015-04-16 | 2016-12-15 | Alder Biopharmaceuticals, Inc. | Use of anti-pacap antibodies and antigen binding fragments thereof for treatment, prevention, or inhibition of photophobia |
| CN106557752A (zh) * | 2016-11-16 | 2017-04-05 | 信利光电股份有限公司 | 一种基于虹膜识别的安防控制系统及其方法 |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107798335A (zh) * | 2017-08-28 | 2018-03-13 | 浙江工业大学 | 一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 |
| CN107895150A (zh) * | 2016-11-30 | 2018-04-10 | 奥瞳系统科技有限公司 | 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估 |
-
2018
- 2018-10-29 CN CN201811268183.XA patent/CN109344802B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
| US20160070868A1 (en) * | 2014-05-31 | 2016-03-10 | Go Doctor Bid, Inc. | System and method for collaborative cross-provider reverse bidding on a component of a consumer medical service |
| CN104298753A (zh) * | 2014-10-17 | 2015-01-21 | 重庆市云日信息技术有限公司 | 基于人脸图像处理的人才测评方法 |
| CN104809482A (zh) * | 2015-03-31 | 2015-07-29 | 南京大学 | 一种基于个体学习的疲劳检测方法 |
| US20160361441A1 (en) * | 2015-04-16 | 2016-12-15 | Alder Biopharmaceuticals, Inc. | Use of anti-pacap antibodies and antigen binding fragments thereof for treatment, prevention, or inhibition of photophobia |
| CN106228137A (zh) * | 2016-07-26 | 2016-12-14 | 广州市维安科技股份有限公司 | 一种基于关键点定位的atm机异常人脸检测方法 |
| CN106557752A (zh) * | 2016-11-16 | 2017-04-05 | 信利光电股份有限公司 | 一种基于虹膜识别的安防控制系统及其方法 |
| CN107895150A (zh) * | 2016-11-30 | 2018-04-10 | 奥瞳系统科技有限公司 | 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估 |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107798335A (zh) * | 2017-08-28 | 2018-03-13 | 浙江工业大学 | 一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 柳露艳: "" 驾驶员疲劳驾驶检测系统的研究与实现"", 《中国优秀硕士学位论文全文数据库（电子期刊）工程科技Ⅱ辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287759A (zh) * | 2019-03-25 | 2019-09-27 | 广东工业大学 | 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法 |
| CN110097012A (zh) * | 2019-05-06 | 2019-08-06 | 苏州国科视清医疗科技有限公司 | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 |
| CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
| CN110097012B (zh) * | 2019-05-06 | 2022-11-08 | 苏州国科视清医疗科技有限公司 | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 |
| CN110532976A (zh) * | 2019-09-03 | 2019-12-03 | 湘潭大学 | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 |
| CN110705544A (zh) * | 2019-09-05 | 2020-01-17 | 中国民航大学 | 基于Faster-RCNN的自适应快速目标检测方法 |
| CN110705544B (zh) * | 2019-09-05 | 2023-04-07 | 中国民航大学 | 基于Faster-RCNN的自适应快速目标检测方法 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN113298772A (zh) * | 2021-05-20 | 2021-08-24 | 南京云智控产业技术研究院有限公司 | 基于深度学习和自适应阈值法的鼻翼黑头图像检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344802B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344802A (zh) | 一种基于改进的级联卷积神经网的人体疲劳检测方法 | |
| Yang et al. | Driver yawning detection based on subtle facial action recognition | |
| CN101383001B (zh) | 一种快速准确的正面人脸判别方法 | |
| Horng et al. | Driver fatigue detection based on eye tracking and dynamic template matching | |
| CN100452081C (zh) | 一种人眼定位及人眼状态识别方法 | |
| Abtahi et al. | Driver drowsiness monitoring based on yawning detection | |
| Zhang et al. | Driver yawning detection based on deep convolutional neural learning and robust nose tracking | |
| Ji et al. | Eye and mouth state detection algorithm based on contour feature extraction | |
| CN108875642A (zh) | 一种多指标融合的驾驶员疲劳检测的方法 | |
| CN102096823A (zh) | 基于高斯模型和最小均方差的人脸检测方法 | |
| CN107578008A (zh) | 基于分块特征矩阵算法和svm的疲劳状态检测方法 | |
| CN108294759A (zh) | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 | |
| CN102332095A (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN108182409A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN112101103B (zh) | 一种基于深度集成网络的视频驾驶员疲劳检测方法 | |
| CN111062292A (zh) | 一种疲劳驾驶检测装置与方法 | |
| CN106548132A (zh) | 融合眼睛状态和心率检测的疲劳驾驶检测方法 | |
| CN108416291A (zh) | 人脸检测识别方法、装置和系统 | |
| CN110110603A (zh) | 一种基于面部生理信息的多模态唇读方法 | |
| CN108205649A (zh) | 驾驶员开车接打电话的状态识别方法及装置 | |
| Gao et al. | Fatigue state detection from multi-feature of eyes | |
| Anantharajah et al. | Quality based frame selection for video face recognition | |
| Sankaran et al. | A multi-view approach on modular PCA for illumination and pose invariant face recognition | |
| CN115965950A (zh) | 一种基于多特征融合状态识别网络的驾驶员疲劳检测方法 | |
| CN109145855A (zh) | 一种人脸检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |