CN106384096B - 一种基于眨眼检测的疲劳驾驶监测方法 - Google Patents
一种基于眨眼检测的疲劳驾驶监测方法 Download PDFInfo
- Publication number
- CN106384096B CN106384096B CN201610835397.5A CN201610835397A CN106384096B CN 106384096 B CN106384096 B CN 106384096B CN 201610835397 A CN201610835397 A CN 201610835397A CN 106384096 B CN106384096 B CN 106384096B
- Authority
- CN
- China
- Prior art keywords
- image
- eye
- face
- monitored driver
- blink
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 187
- 230000001815 facial effect Effects 0.000 claims abstract description 104
- 238000004458 analytical method Methods 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 210000001747 pupil Anatomy 0.000 claims description 61
- 230000004397 blinking Effects 0.000 claims description 44
- 238000010606 normalization Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 32
- 210000000744 eyelid Anatomy 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000000193 eyeblink Effects 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 5
- 206010016256 fatigue Diseases 0.000 description 52
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006461 physiological response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于眨眼检测的疲劳驾驶监测方法，包括步骤：一、图像采集：将每一个采样时刻所采集的脸部图像同步传送至图像处理器；二、图像处理：图像处理器对各分析处理周期内接收到的脸部图像分别进行分析处理，过程如下：201、第一个分析处理周期内所接收脸部图像分析处理；202、下一个分析处理周期内所接收脸部图像分析处理；203、M‑3次重复步骤202；204、下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断；205、返回步骤204。本发明方法步骤简单、设计合理且实现方便、使用效果好，基于驾驶员脸部图像的眨眼检测能简便、快速对驾驶员的疲劳驾驶状态进行准确监测，实用价值高。
Description
技术领域
本发明属于疲劳驾驶监测技术领域，尤其是涉及一种基于眨眼检测的疲劳驾驶监测方法。
背景技术
根据统计数据，疲劳驾驶在交通事故中占有很大的比率，尤其是在高速公路中疲劳驾驶引发的交通事故比例远高于普通公路，主要包括长时间驾驶、睡眠不足或质量差、生理节律、驾驶人因素等原因。近年来，驾驶员疲劳监测乃至生理心理状态分析吸引了全世界研究者的广泛兴趣，关于疲劳驾驶监测的研究已经取得了一定的成果。
目前，疲劳驾驶检测方法主要有以下4种：第一、基于驾驶员生理信号的疲劳驾驶检测，具体是生物学信息领域中在驾驶员的相应部位安装检测装置或电极，对驾驶员的心率、脑电波或者肌电信号进行监控来判断驾驶员的状态，本方法在早期的研究中取得了较好的效果；北京理工大学的吴绍斌等人利用生理检测仪采集驾驶员的脑电波，对比分析脑电信号的不同频带信号功率谱值和驾驶员的主观疲劳评测之间的关系，结果表明：主观疲劳评测与脑电信号中功率谱值的变化相对应，脑电功率谱的比值(α+θ)/β越大，疲劳等级越高，但由于设备安装繁琐，佩戴不方便，成本很高，造成不能在实际应用中广泛推广；第二、基于驾驶员操作行为的的疲劳驾驶检测，东北大学的王斐等人将脑电图识别与车辆操纵特性相结合来检测驾驶员的疲劳状态，预期为搭建疲劳驾驶检测系统提供理论及实验依据，并设计了模拟驾驶实验，采集被试者的脑电图(EEG)信号和对应的方向盘操纵数据；依据车辆操纵特性评估驾驶员疲劳程度来确定EEG信号的分类标准，并选择支持向量机对EEG信号进行分类以完成对驾驶员精神疲劳状态的定性分析；由于不同驾驶员不同的操作习惯或者不规范的的操作动作造成本方法的检测效果不理想；第三、基于车辆状态信息的检测方法，最具有代表性的是美国Iteris公司研制的AutoVue系统，它通过一个朝向道路前方的CCD摄像头检测驾驶员的行车轨迹，在驾驶员因疲劳而导致无意识偏离车道时(如转向灯不开)，可及时向驾驶员发出警告；Zhong等人利用能量分析和小波分析技术，通过对车辆行驶轨迹和转向盘转动角度情况的监控，也实现了对驾驶员是否疲劳驾驶的检测；但由于现实路况复杂，道路情况变化复杂，在实际环境中检测效果较差；第四、基于驾驶员生理反应特征的检测方法，该方法能准确识别驾驶员的状态，但驾驶员生理反应特征的检测难度较大。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眨眼检测的疲劳驾驶监测方法，其方法步骤简单、设计合理且实现方便、使用效果好，基于驾驶员脸部图像的眨眼检测能简便、快速对驾驶员的疲劳驾驶状态进行准确监测，实用价值高。
为解决上述技术问题，本发明采用的技术方案是：一种基于眨眼检测的疲劳驾驶监测方法，其特征在于，该方法包括以下步骤：
步骤一、图像采集：采用图像采集设备且按照预先设定的采样频率fs，对被监测驾驶员的脸部图像进行采集，并将每一个采样时刻所采集的脸部图像同步传送至图像处理器；所述图像采集设备与图像处理器连接；
其中，fs＝FsHz，Fs为正整数且Fs＝25～35；
步骤二、图像处理：所述图像处理器按照预先设定的分析处理频率f且按照时间先后顺序，对各分析处理周期内接收到的所述脸部图像分别进行分析处理；其中，n为正整数且n＝5、6、10、12或15；
对各分析处理周期内接收到的所述脸部图像分别进行分析处理时，过程如下：
步骤201、第一个分析处理周期内所接收脸部图像分析处理，包括以下步骤：
步骤2011、脸部图像同步存储与眨眼检测：所述图像处理器按照采样时间先后顺序，对本分析处理周期内所接收的N幅所述脸部图像分别进行同步存储，并对所接收的各幅所述脸部图像分别进行眨眼检测；其中，N为一个分析处理周期内所接收的所述脸部图像的数量且N＝n×Fs；
对本分析处理周期内所接收的任一幅所述脸部图像进行眨眼检测时，采用单眼检测方法或双眼检测方法对该脸部图像进行眨眼检测；
其中，采用单眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤A1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼或右眼所处位置进行定位，获得被监测驾驶员的眼部区域图像；
所述眼部区域图像为被监测驾驶员左眼或右眼所处区域的图像；
步骤A2、图像归一化处理：调用图像归一化处理模块，对步骤A1中所述眼部区域图像进行归一化处理；
本步骤中，归一化处理后的所述眼部区域图像的大小为M1×N1个像素点，其中M1为正整数且M1＝75～85，N1为正整数且N1＝28～32；
步骤A3、图像二值化处理：调用图像二值化处理模块，对步骤A2中归一化处理后的所述眼部区域图像进行二值化处理；
步骤A4、瞳孔图像去除：调用图像去除模块，去除步骤A3中二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像；
步骤A5、圆拟合：调用圆拟合模块，对步骤A4中所述眼部图像中上眼睑线所处的圆进行拟合，并对拟合出圆的中心点像素坐标(X0,Y0)进行记录；
步骤A6、眨眼判断：根据步骤A5中所述中心点像素坐标(X0,Y0)，对该脸部图像采集时被测试者是否眨眼进行判断：当Y0＜ym时，判断为该脸部图像采集时被测试者处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被测试者处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；其中，ym为预先设定的眨眼状态判断阈值且ym＝11～14；
采用双眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤B1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼和右眼所处位置分别进行定位，获得被监测驾驶员的两幅所述眼部区域图像；
两幅所述眼部区域图像分别为被监测驾驶员左眼和右眼所处区域的图像；
步骤B2、图像归一化处理：按照步骤A2中所述的方法，对步骤B1中两幅所述眼部区域图像分别进行归一化处理；
步骤B3、图像二值化处理：按照步骤A3中所述的方法，对步骤B2中归一化处理后的两幅所述眼部区域图像分别进行二值化处理，获得二值化处理后的两幅所述眼部区域图像；
步骤B4、瞳孔图像去除：按照步骤A4中所述的方法，分别去除步骤B4中两幅所述眼部图像中瞳孔的图像，获得两幅所述眼部图像；
步骤B5、圆拟合：调用圆拟合模块，对步骤B4中两幅所述眼部图像中上眼睑线所处的圆分别进行拟合，并对拟合出两个圆的中心点像素坐标分别进行记录，两个圆的中心点像素坐标分别记作(X1,Y1)和(X2,Y2)；
步骤B6、眨眼判断：根据步骤B5中拟合出两个圆的所述中心点像素坐标，对该脸部图像采集时被监测驾驶员是否眨眼进行判断：当Y1＜ym且Y2＜ym时，判断为该脸部图像采集时被监测驾驶员处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被监测驾驶员处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；
步骤2012、眨眼次数统计：根据步骤2011中对本分析处理周期内所接收的N幅所述脸部图像的眨眼检测结果，对本分析处理周期内被监测驾驶员的眨眼次数进行统计；
本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期内所接收的N幅所述脸部图像中眨眼检测结果为眨眼的脸部图像的总数量相同；
步骤202、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤203、M-3次重复步骤202，直至完成前M-1个分析处理周期内所接收脸部图像的分析处理过程，获得前M-1个分析处理周期内被监测驾驶员的眨眼次数；
其中，
步骤204、下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断，过程如下：
步骤2041、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤2042、疲劳驾驶判断：根据步骤2041中得出的本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期之前的M-1个分析处理周期内被监测驾驶员的眨眼次数之和Nz，对此时被监测驾驶员是否处于疲劳驾驶状态进行判断：当Nz＞N0时，判断为此时被监测驾驶员处于疲劳驾驶状态；否则，判断为被监测驾驶员处于正常驾驶状态；
其中Nz为预先设定的眨眼次数判断阈值且Nz＝25～30；
步骤205、返回步骤204，按照步骤2041至步骤2042中所述的方法，进行下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A2中所述的M1＝80，N1＝30。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A6中所述的ym＝12。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤一中所述图像采集设备包括实时获取被监测驾驶员的脸部图像的摄像头和按照预先设定的采样频率fs对被监测驾驶员的脸部图像进行采集的图像采集卡，所述摄像头与图像采集卡连接，所述图像采集卡与图像处理器连接。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤一中所述脸部图像的分辨率为1024×768，所述图像采集设备将所采集的视频流同步传送至图像处理器，所述视频流的帧速率为Fs fps。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤2011中对本分析处理周期内所接收的任一幅所述脸部图像进行同步存储之前，所述图像处理器先采用人脸检测分类器判断该脸部图像是否为被监测驾驶员的脸部图像：当判断得出该脸部图像为被监测驾驶员的脸部图像时，再对该脸部图像进行同步存储与眨眼检测；否则，完成该脸部图像的图像处理过程。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A6和步骤B6中判断为该脸部图像采集时被监测驾驶员处于眨眼状态时，说明该脸部图像采集时被监测驾驶员处于闭眼状态；判断为该脸部图像采集时被监测驾驶员处于非眨眼状态时，说明该脸部图像采集时被监测驾驶员处于睁眼状态；
所述人脸检测分类器为基于Haar特征且采用Adaboost算法构建的分类器；对所述人脸检测分类器进行构建之前，先获取训练样本集；所述训练样本集中包括两类训练样本，一类训练样本为采用步骤一中所述图像采集设备采集到的被监测驾驶员处于睁眼状态时的脸部图像，另一类训练样本为采用步骤一中所述图像采集设备采集到的被监测驾驶员处于闭眼状态时的脸部图像。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A4中进行瞳孔图像去除时，将步骤A3中二值化处理后的所述眼部区域图像与步骤A1中所述脸部图像或所述眼部区域图像进行对比，并调用所述图像去除模块，去除二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像；
步骤A5中所述圆拟合模块为最小二乘法圆拟合模块。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A3中调用图像二值化处理模块，对归一化处理后的所述眼部区域图像进行二值化处理时，将所述眼部区域图像中背景区域的各像素点像素值均修改为255，并将所述眼部区域图像中被监测驾驶员眼部的各像素点像素值均修改为0；
步骤A4中进行瞳孔图像去除时，将二值化处理后的所述眼部区域图像中瞳孔所处区域的各像素点像素值均修改为255。
上述一种基于眨眼检测的疲劳驾驶监测方法，其特征是：步骤A4中进行瞳孔图像去除时，先调用九宫格算法获取二值化处理后的所述眼部区域图像中瞳孔的中心点，再获取二值化处理后的所述眼部区域图像中瞳孔所处区域，所获取的瞳孔所处区域为以瞳孔的中心点为圆点的圆形区域，且所获取的瞳孔所处区域中包括被监测驾驶员瞳孔的所有像素点；之后，再将所获取瞳孔所处区域中各像素点的像素值均修改为255。
本发明与现有技术相比具有以下优点：
1、方法步骤简单、设计合理且实现方便，投入成本较低。
2、疲劳驾驶监测速度快，能同步分析处理得出驾驶员的疲劳驾驶状态。
3、所采用的硬件结构简单，仅包括图像采集设备和与图像采集设备连接的图像处理器，其中图像采集设备为常规的图像采集装置，图像处理器为常规的图像处理设备，硬件投入成本低且安装布设简便，只需将图像采集设备布设于驾驶室内即可，接线方便。
4、采用眼部图像作为生理疲劳的决策依据，与传统的行为特征分析、图像处理技术等有着很大的内在优势，提出一种新型的基于驾驶员生理反应特征的疲劳驾驶监测方法。
6、采用计算机视觉技术，通过车内安装摄像头实时捕捉驾驶员的面部信息(即脸部图像)并相应判断得出驾驶员状态，此方法为非接触式检测，使用方便，驾驶员无需佩戴设备，监测过程与正常驾驶情况无异。
7、采用Adaboost(The Adaptive Boosting Algorithm)算法训练的分类器进行人脸识别，识别速度快，检测正确率高。并且，对被监测驾驶员眼睛进行定位后再进行圆拟合，并判断是否处于眨眼状态，避免了人脸部其他区域如鼻孔、嘴部以及额头以上区域对眼部区域检测的影响，能明显地提高了眨眼检测的正确率和检测效率。
8、提出基于圆拟合的眨眼检测方法，能对不同驾驶员人眼进行跟踪定位和检测，适用面广且检测方法简便、设计合理、检测速度快、检测正确率高，仅需对拟合圆中心点的Y轴像素坐标进行阈值比较，便能准确判断眨眼状态，从而判断被监测驾驶员的疲劳状态。
9、所采用的眼部瞳孔图像去除方法简单、设计合理且使用效果好，通过去除瞳孔图像能对眼部区域的噪声和干扰进行减少或消除，提高眨眼检测的准确率。
10、提出一种新的眨眼检测方法，对人的眨眼状态进行检测，鲁棒性好，对现实环境适应性强，并且能采用单眼检测方法或双眼检测方法对该脸部图像进行眨眼检测，检测方式灵活，并且能适应人脸的侧转和倾斜情况，提高了人眼眨眼状态检测的准确率与检测效率。
11、安全可靠，能有效减少疲劳驾驶事故发生概率，当监测出驾驶员处于疲劳驾驶状态时，图像处理器可以及时进行报警以提醒驾驶员。
12、使用效果好且实用价值高，经济效益及社会效益显著，能简便对驾驶员的疲劳驾驶状态进行实时监测，能有效预防疲劳的产生,减少疲劳驾驶事故的发生。先获取被监测驾驶员的眼部区域图像，再去除瞳孔图像获得眼部图像，再采用最小二乘法对眼部区域进行圆拟合，能实现对不同被测者人眼的跟踪定位和检测，同时能有效提高眨眼状态检测的准确率与效率，通过去除瞳孔图像对眼部区域的噪声和干扰进行减少或消除，进一步提高眨眼检测的准确率。并且，本发明操作简便、易于普及、成本低廉、实现简便。
综上所述，本发明方法步骤简单、设计合理且实现方便、使用效果好，基于驾驶员脸部图像的眨眼检测能简便、快速对驾驶员的疲劳驾驶状态进行准确监测，实用价值高。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明对脸部图像进行眨眼检测时的方法流程框图。
图3为本发明所采用疲劳驾驶监测装置的电路原理框图。
图4为本发明所获取被监测驾驶员处于睁眼状态下的眼部区域图像示意图。
图5为采用本发明对图4中眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后所获得拟合圆的结构示意图。
图6为本发明所获取被监测驾驶员处于闭眼状态下的眼部区域图像示意图。
图7为采用本发明对图6中眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后所获得拟合圆的结构示意图。
附图标记说明:
1—图像采集设备；1-1—摄像头；2—图像采集卡；
3—图像处理器。
具体实施方式
如图1所示的一种基于眨眼检测的疲劳驾驶监测方法，包括以下步骤：
步骤一、图像采集：采用图像采集设备1且按照预先设定的采样频率fs，对被监测驾驶员的脸部图像进行采集，并将每一个采样时刻所采集的脸部图像同步传送至图像处理器3；所述图像采集设备1与图像处理器3连接；
其中，fs＝FsHz，Fs为正整数且Fs＝25～35；
步骤二、图像处理：所述图像处理器3按照预先设定的分析处理频率f且按照时间先后顺序，对各分析处理周期内接收到的所述脸部图像分别进行分析处理；其中，n为正整数且n＝5、6、10、12或15；
对各分析处理周期内接收到的所述脸部图像分别进行分析处理时，过程如下：
步骤201、第一个分析处理周期内所接收脸部图像分析处理，包括以下步骤：
步骤2011、脸部图像同步存储与眨眼检测：所述图像处理器3按照采样时间先后顺序，对本分析处理周期内所接收的N幅所述脸部图像分别进行同步存储，并对所接收的各幅所述脸部图像分别进行眨眼检测；其中，N为一个分析处理周期内所接收的所述脸部图像的数量且N＝n×Fs；
对本分析处理周期内所接收的任一幅所述脸部图像进行眨眼检测时，采用单眼检测方法或双眼检测方法对该脸部图像进行眨眼检测；
其中，如图2所示，采用单眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤A1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼或右眼所处位置进行定位，获得被监测驾驶员的眼部区域图像；
所述眼部区域图像为被监测驾驶员左眼或右眼所处区域的图像；
步骤A2、图像归一化处理：调用图像归一化处理模块，对步骤A1中所述眼部区域图像进行归一化处理；
本步骤中，归一化处理后的所述眼部区域图像的大小为M1×N1个像素点，其中M1为正整数且M1＝75～85，N1为正整数且N1＝28～32；
步骤A3、图像二值化处理：调用图像二值化处理模块，对步骤A2中归一化处理后的所述眼部区域图像进行二值化处理；
步骤A4、瞳孔图像去除：调用图像去除模块，去除步骤A3中二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像；
步骤A5、圆拟合：调用圆拟合模块，对步骤A4中所述眼部图像中上眼睑线所处的圆进行拟合，并对拟合出圆的中心点像素坐标(X0,Y0)进行记录；
步骤A6、眨眼判断：根据步骤A5中所述中心点像素坐标(X0,Y0)，对该脸部图像采集时被测试者是否眨眼进行判断：当Y0＜ym时，判断为该脸部图像采集时被测试者处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被测试者处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；其中，ym为预先设定的眨眼状态判断阈值且ym＝11～14；
采用双眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤B1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼和右眼所处位置分别进行定位，获得被监测驾驶员的两幅所述眼部区域图像；
两幅所述眼部区域图像分别为被监测驾驶员左眼和右眼所处区域的图像；
步骤B2、图像归一化处理：按照步骤A2中所述的方法，对步骤B1中两幅所述眼部区域图像分别进行归一化处理；
步骤B3、图像二值化处理：按照步骤A3中所述的方法，对步骤B2中归一化处理后的两幅所述眼部区域图像分别进行二值化处理，获得二值化处理后的两幅所述眼部区域图像；
步骤B4、瞳孔图像去除：按照步骤A4中所述的方法，分别去除步骤B4中两幅所述眼部图像中瞳孔的图像，获得两幅所述眼部图像；
步骤B5、圆拟合：调用圆拟合模块，对步骤B4中两幅所述眼部图像中上眼睑线所处的圆分别进行拟合，并对拟合出两个圆的中心点像素坐标分别进行记录，两个圆的中心点像素坐标分别记作(X1,Y1)和(X2,Y2)；
步骤B6、眨眼判断：根据步骤B5中拟合出两个圆的所述中心点像素坐标，对该脸部图像采集时被监测驾驶员是否眨眼进行判断：当Y1＜ym且Y2＜ym时，判断为该脸部图像采集时被监测驾驶员处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被监测驾驶员处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；
步骤2012、眨眼次数统计：根据步骤2011中对本分析处理周期内所接收的N幅所述脸部图像的眨眼检测结果，对本分析处理周期内被监测驾驶员的眨眼次数进行统计；
本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期内所接收的N幅所述脸部图像中眨眼检测结果为眨眼的脸部图像的总数量相同；
步骤202、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤203、M-3次重复步骤202，直至完成前M-1个分析处理周期内所接收脸部图像的分析处理过程，获得前M-1个分析处理周期内被监测驾驶员的眨眼次数；
其中，
步骤204、下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断，过程如下：
步骤2041、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤2042、疲劳驾驶判断：根据步骤2041中得出的本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期之前的M-1个分析处理周期内被监测驾驶员的眨眼次数之和Nz，对此时被监测驾驶员是否处于疲劳驾驶状态进行判断：当Nz＞N0时，判断为此时被监测驾驶员处于疲劳驾驶状态；否则，判断为被监测驾驶员处于正常驾驶状态；
其中Nz为预先设定的眨眼次数判断阈值且Nz＝25～30；
步骤205、返回步骤204，按照步骤2041至步骤2042中所述的方法，进行下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断。
本实施例中，步骤一中所述的Fs＝30。
实际使用时，可根据具体需要，对步骤一中所述Fs的取值大小进行相应调整。
步骤二中一个所述分析处理周期为n秒。
步骤2042中所述的Nz为连续M个分析处理周期内被监测驾驶员的眨眼次数之和。其中，
本实施例中，步骤二中所述的n＝6，即一个所述分析处理周期为6s。步骤2011中所述的N＝n×Fs＝6×30＝180。实际使用时，可根据具体需要，对步骤二中所述n的取值大小进行相应调整。
步骤203中所述的因而，步骤203中M-3次重复步骤202后，获得前9个分析处理周期内被监测驾驶员的眨眼次数。
步骤2042中根据本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期之前的9个分析处理周期内被监测驾驶员的眨眼次数之和Nz，对此时被监测驾驶员是否处于疲劳驾驶状态进行判断，此处所述的“此时”为本分析处理周期结束时刻。并且，所述的Nz为连续10个分析处理周期内被监测驾驶员的眨眼次数之和。
本实施例中，步骤204中所述的Nz＝28。实际使用时，可根据具体需要，对Nz的取值大小进行相应调整。
本实施例中，步骤一中所述脸部图像的分辨率为1024×768。
实际使用时，步骤一中所述脸部图像的分辨率根据图像采集设备1的分辨率进行确定。
本实施例中，步骤A2中所述的M1＝80，N1＝30。
实际使用时，可根据具体需要，对步骤A2中所述的M1和N1的取值大小分别进行相应调整。
本实施例中，步骤A6中所述的ym＝12。
实际使用时，可根据具体需要，对步骤A6中所述的ym的取值大小分别进行相应调整。
本实施例中，所述图像采集设备1将所采集的视频流同步传送至图像处理器3，所述视频流的帧速率为Fs fps。
并且，所述视频流为由多幅所述脸部图像组成的视频流。本实施例中，所述视频流的帧速率为30fps。
本实施例中，步骤一中所述图像采集设备1包括实时获取被监测驾驶员的脸部图像的摄像头1-1和按照预先设定的采样频率fs对被监测驾驶员的脸部图像进行采集的图像采集卡2，所述摄像头1-1与图像采集卡2连接，所述图像采集卡2与图像处理器3连接。
实际使用时，所述图像采集设备1与图像处理器3组成疲劳驾驶监测装置，详见图3。
本实施例中，所述摄像头1-1为USB摄像头。
并且，所述USB摄像头为常规的USB摄像头。实际使用时，所述摄像头1-1也可以为其他类型的常规摄像头。
本实施例中，所述图像处理器3为PC机。
实际使用时，所述图像处理器3也可以为掌上电脑、智能手机或其它类型的数据处理器。
本实施例中，步骤A2中进行图像归一化处理时，所采用的归一化处理方法为常规的图像归一化方法。
并且，步骤B1中进行眼睛定位时，所采用的定位方法与步骤A1中采用的定位方法相同。
本实施例中，步骤A6和步骤B6中判断为该脸部图像采集时被监测驾驶员处于眨眼状态时，所述图像处理器3还需调用图像标记模块将该脸部图像标记为眨眼图像；并且，判断为该脸部图像采集时被监测驾驶员处于眨眼状态时，所述图像处理器3还需调用图像标记模块将该脸部图像标记为非眨眼图像。
本实施例中，步骤2011中对本分析处理周期内所接收的任一幅所述脸部图像进行同步存储之前，所述图像处理器3先采用人脸检测分类器判断该脸部图像是否为被监测驾驶员的脸部图像：当判断得出该脸部图像为被监测驾驶员的脸部图像时，再对该脸部图像进行同步存储与眨眼检测；否则，完成该脸部图像的图像处理过程。
并且，所采用的人脸检测分类器为常规的人脸检测或人脸识别的分类器。
本实施例中，步骤A6和步骤B6中判断为该脸部图像采集时被监测驾驶员处于眨眼状态时，说明该脸部图像采集时被监测驾驶员处于闭眼状态；判断为该脸部图像采集时被监测驾驶员处于非眨眼状态时，说明该脸部图像采集时被监测驾驶员处于睁眼状态。
本实施例中，所述人脸检测分类器为基于Haar特征且采用Adaboost算法构建的分类器；对所述人脸检测分类器进行构建之前，先获取训练样本集；所述训练样本集中包括两类训练样本，一类训练样本为采用步骤一中所述图像采集设备1采集到的被监测驾驶员处于睁眼状态时的脸部图像，另一类训练样本为采用步骤一中所述图像采集设备1采集到的被监测驾驶员处于闭眼状态时的脸部图像。
其中，所述的Adaboost算法为常规的Adaboost算法。Haar特征的提取方法为常规的Haar特征提取方法，Haar特征也称为Harr特征或Haar-like特征。
所述Adaboost算法的是一种自适应boosting(投票权重)迭代算法。其核心思想是针对同一个训练样本集训练不同分类能力的一般分类器(即弱分类器)，然后将这些弱分类器迭加起来，构成一个更强的强分类器。在训练和检测时每一个强分类器对待检测的Haar特征(也称矩形特征)进行判决，将这些强分类器级联起来就可以生成一个准确的、快速的分类器。它的特点就是检测速度快，因为每一个强分类器都可以否决待检测的矩形特征，所以强分类器就可以把大部分错误的特征给排除掉，最终得到准确率较高的分类结果。
本实施例中，所述训练样本集中包括n0个训练样本，n0个训练样本中第i个训练样本记作(xi,yi)，其中i为正整数且i＝1、2、…、n0，xi为提取出第i个训练样本中脸部图像的Haar特征，yi为人脸检测分类器的输出量且yi＝-1或1，其中yi＝-1表示第i个训练样本为负样本且第i个训练样本中脸部图像不是真正的脸部图像，yi＝1表示第i个训练样本为负样本且第i个训练样本中脸部图像为真正的脸部图像。
采用Adaboost算法构建的分类器时，初始情况下所述训练样本集中每个训练样本的权重都是相同的，且第i个训练样本的权重即为训练样本的初始概率分布。第一次迭代时，利用当前概率分布的训练样本训练弱分类器，并计算弱分类器的错误率，同时选取合适阈值使误差最小，再更新训练样本的权重；这样，经多次循环后，得到多个弱分类器，按更新的权重叠加，最终得到的强分类器。
实验证明，基于Haar特征的Adaboost算法训练出的人脸检测分类器能有效地检测人脸和眼部区域并对眼睛瞳孔位置进行有效定位。实际使用时，检测速度和准确率远远高于其它算法，耗时在几毫秒到几十毫秒之间，达到实时检测要求。
本实施例中，能采用2009年1月14日公开的申请号为200810030010.4且发明名称为《视线跟踪方法及应用该方法的残疾人辅助系统》的发明专利申请文件中公开的视线跟踪方法进行人脸检测与眼睛定位，相应所采用的人脸检测分类器为该发明专利申请文件中公开的分类器。并且，也能采用2011年11月23日公开的申请号为201110200287.9且发明名称为《一种基于AdaBoost算法的人脸检测方法》的发明专利申请文件中公开的人脸检测方法进行人脸检测(也称为人脸识别或人脸检测分类)，相应所采用的人脸检测分类器为该发明专利申请文件中公开的分类器。
同时，能采用2013年9月4日公开的申请号为201310244614.X且发明名称为《一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法》的发明专利申请文件中公开的人脸分类与眼睛定位方法进行人脸检测与眼睛定位，相应所采用的人脸检测分类器为该发明专利申请文件中公开的人脸分类器。因而，步骤A1中调用眼睛定位模块对该脸部图像中被监测驾驶员的左眼或右眼所处位置进行定位时，采用该发明专利申请文件中公开的眼睛定位方法进行定位。
实际使用时，步骤A1中调用眼睛定位模块对该脸部图像中被监测驾驶员的左眼或右眼所处位置进行定位时，也可以采用其它常规的眼睛定位方法。
本实施例中，步骤A3中对归一化处理后的所述眼部区域图像进行二值化处理过程，也称为灰度化处理过程。
本实施例中，步骤A3中调用图像二值化处理模块，对归一化处理后的所述眼部区域图像进行二值化处理时，将所述眼部区域图像中背景区域的各像素点像素值均修改为255，并将所述眼部区域图像中被监测驾驶员眼部的各像素点像素值均修改为0。
本实施例中，步骤A4中所述眼部图像上的平面二维直角坐标系以所述眼部图像的左上角(即左上角的顶点)为坐标原点，以所述眼部图像的长度方向(即所述眼部图像中被监测驾驶员眼部的横向长度方向)为X轴，以所述眼部图像的宽度方向(即所述眼部图像中被监测驾驶员眼部的竖向高度方向)为Y轴。
其中，所述眼部图像上由左至右为X轴正方向，所述眼部图像上由上至下为Y轴正方向。
本实施例中，步骤A5中所述圆拟合模块为最小二乘法圆拟合模块，
并且，步骤A5中进行圆拟合时，采用的是常规的最小二乘法进行圆拟合。
本实施例中，步骤A5中对所述眼部图像中上眼睑线所处的圆进行拟合时，先调用边缘检测模块对所述眼部图像进行边缘检测，具体是对所述眼部图像中的上眼睑线进行边缘检测，并检测出多个边缘点，同时对所检测出各边缘点的像素坐标进行记录。检测出的多个边缘点组成边缘点集合，边缘点集合记作{(x'1,y'1),(x'2,y'2),...,(x'i',y'i'),...,(x'm',y'm')}，其中(x'i',y'i')为边缘点集合中第i'个边缘点的像素坐标，i'为正整数且i'＝1、2、…、m'，m'为边缘点集合中所包括边缘点的总数量。
步骤A5中所述中心点像素坐标(X0,Y0)中，X0为拟合出圆的中心点的X轴像素坐标(即拟合出圆的中心点的X轴坐标)，Y0为拟合出圆的中心点的Y轴像素坐标(即拟合出圆的中心点的Y轴坐标)。其中，拟合出圆的中心点为拟合出圆的圆心，并且拟合出圆的中心点为所述眼部图像中的一个像素点。
相应地，步骤B5中所述中心点像素坐标(X1,Y1)中，X1为拟合出的一个圆中心点的X轴像素坐标(即该圆中心点的X轴坐标)，Y1为拟合出该圆中心点的Y轴像素坐标(即该圆中心点的Y轴坐标)。所述中心点像素坐标(X2,Y2)中，X2为拟合出的另一个圆中心点的X轴像素坐标(即该圆中心点的X轴坐标)，Y2为拟合出该圆中心点的Y轴像素坐标(即该圆中心点的Y轴坐标)。
本实施例中，步骤A5中调用圆拟合模块对所述眼部图像中上眼睑线所处的圆进行拟合时，采用常规的最小二乘法对所述边缘点集合中的多个边缘点进行圆拟合。并且，对所述边缘点集合中的多个边缘点进行圆拟合时，拟合误差求得S的最小值，找出最佳拟合圆，其中r为拟合圆的半径。
本实施例中，步骤A4中进行瞳孔图像去除时，将步骤A3中二值化处理后的所述眼部区域图像与步骤A1中所述脸部图像或所述眼部区域图像进行对比，并调用所述图像去除模块，去除二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像。
本实施例中，步骤A4中进行瞳孔图像去除时，将二值化处理后的所述眼部区域图像中瞳孔所处区域的各像素点像素值均修改为255。
为操作简便，步骤A4中进行瞳孔图像去除时，先调用九宫格算法获取二值化处理后的所述眼部区域图像中瞳孔的中心点，再获取二值化处理后的所述眼部区域图像中瞳孔所处区域，所获取的瞳孔所处区域为以瞳孔的中心点为圆点的圆形区域，且所获取的瞳孔所处区域中包括被监测驾驶员瞳孔的所有像素点；之后，再将所获取瞳孔所处区域中各像素点的像素值均修改为255。
本实施例中，本发明对如图4所示的被监测驾驶员处于睁眼状态下的眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后，拟合出的圆(即拟合圆)详见图5；对如图6所示的被监测驾驶员处于闭眼状态下的眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后，拟合出的圆(即拟合圆)详见图7。
为验证本发明眨眼检测的简便及准确性，对被监测驾驶员处于睁眼状态下和闭眼状态下的多幅眼部区域图像分别进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后，得出多个拟合圆的中心点像素坐标，详见表1：
表1中，序号为0至7的拟合圆为对被监测驾驶员处于睁眼状态下的眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后获得的拟合圆，序号为8至16的拟合圆为对被监测驾驶员处于闭眼状态下的眼部区域图像进行图像归一化处理、图像二值化处理、瞳孔图像去除和圆拟合后获得的拟合圆，由表1能直接、清楚得出：拟合圆中心点的Y轴像素坐标也对睁眼状态下的眼部区域图像与闭眼状态下的眼部区域图像进行明确区分，因而采用本发明能对脸部图像简便、快速且准确进行眨眼检测。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (10)
1.一种基于眨眼检测的疲劳驾驶监测方法，其特征在于，该方法包括以下步骤：
步骤一、图像采集：采用图像采集设备(1)且按照预先设定的采样频率fs，对被监测驾驶员的脸部图像进行采集，并将每一个采样时刻所采集的脸部图像同步传送至图像处理器(3)；所述图像采集设备(1)与图像处理器(3)连接；
其中，fs＝FsHz，Fs为正整数且Fs＝25～35；
步骤二、图像处理：所述图像处理器(3)按照预先设定的分析处理频率f且按照时间先后顺序，对各分析处理周期内接收到的所述脸部图像分别进行分析处理；其中，n为正整数且n＝5、6、10、12或15；
对各分析处理周期内接收到的所述脸部图像分别进行分析处理时，过程如下：
步骤201、第一个分析处理周期内所接收脸部图像分析处理，包括以下步骤：
步骤2011、脸部图像同步存储与眨眼检测：所述图像处理器(3)按照采样时间先后顺序，对本分析处理周期内所接收的N幅所述脸部图像分别进行同步存储，并对所接收的各幅所述脸部图像分别进行眨眼检测；其中，N为一个分析处理周期内所接收的所述脸部图像的数量且N＝n×Fs；
对本分析处理周期内所接收的任一幅所述脸部图像进行眨眼检测时，采用单眼检测方法或双眼检测方法对该脸部图像进行眨眼检测；
其中，采用单眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤A1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼或右眼所处位置进行定位，获得被监测驾驶员的眼部区域图像；
所述眼部区域图像为被监测驾驶员左眼或右眼所处区域的图像；
步骤A2、图像归一化处理：调用图像归一化处理模块，对步骤A1中所述眼部区域图像进行归一化处理；
本步骤中，归一化处理后的所述眼部区域图像的大小为M1×N1个像素点，其中M1为正整数且M1＝75～85，N1为正整数且N1＝28～32；
步骤A3、图像二值化处理：调用图像二值化处理模块，对步骤A2中归一化处理后的所述眼部区域图像进行二值化处理；
步骤A4、瞳孔图像去除：调用图像去除模块，去除步骤A3中二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像；
步骤A4中进行瞳孔图像去除时，将步骤A3中二值化处理后的所述眼部区域图像与步骤A1中所述脸部图像或所述眼部区域图像进行对比，并调用所述图像去除模块，去除二值化处理后的所述眼部区域图像中瞳孔的图像，获得眼部图像；
步骤A4中所述眼部图像上的平面二维直角坐标系以所述眼部图像的左上角顶点为坐标原点，以所述眼部图像的长度方向为X轴，以所述眼部图像的宽度方向为Y轴；其中，所述眼部图像上由左至右为X轴正方向，所述眼部图像上由上至下为Y轴正方向；
步骤A5、圆拟合：调用圆拟合模块，对步骤A4中所述眼部图像中上眼睑线所处的圆进行拟合，并对拟合出圆的中心点像素坐标(X0,Y0)进行记录；
步骤A6、眨眼判断：根据步骤A5中所述中心点像素坐标(X0,Y0)，对该脸部图像采集时被测试者是否眨眼进行判断：当Y0＜ym时，判断为该脸部图像采集时被测试者处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被测试者处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；其中，ym为预先设定的眨眼状态判断阈值且ym＝11～14；
采用双眼检测方法对该脸部图像进行眨眼检测时，过程如下：
步骤B1、眼部区域图像获取：调用眼睛定位模块，对该脸部图像中被监测驾驶员的左眼和右眼所处位置分别进行定位，获得被监测驾驶员的两幅所述眼部区域图像；
两幅所述眼部区域图像分别为被监测驾驶员左眼和右眼所处区域的图像；
步骤B2、图像归一化处理：按照步骤A2中所述的方法，对步骤B1中两幅所述眼部区域图像分别进行归一化处理；
步骤B3、图像二值化处理：按照步骤A3中所述的方法，对步骤B2中归一化处理后的两幅所述眼部区域图像分别进行二值化处理，获得二值化处理后的两幅所述眼部区域图像；
步骤B4、瞳孔图像去除：按照步骤A4中所述的方法，分别去除步骤B4中两幅所述眼部图像中瞳孔的图像，获得两幅所述眼部图像；
步骤B5、圆拟合：调用圆拟合模块，对步骤B4中两幅所述眼部图像中上眼睑线所处的圆分别进行拟合，并对拟合出两个圆的中心点像素坐标分别进行记录，两个圆的中心点像素坐标分别记作(X1,Y1)和(X2,Y2)；
步骤B6、眨眼判断：根据步骤B5中拟合出两个圆的所述中心点像素坐标，对该脸部图像采集时被监测驾驶员是否眨眼进行判断：当Y1＜ym且Y2＜ym时，判断为该脸部图像采集时被监测驾驶员处于眨眼状态，且该脸部图像的眨眼检测结果为眨眼；否则，判断为该脸部图像采集时被监测驾驶员处于非眨眼状态，且该脸部图像的眨眼检测结果为非眨眼；
步骤2012、眨眼次数统计：根据步骤2011中对本分析处理周期内所接收的N幅所述脸部图像的眨眼检测结果，对本分析处理周期内被监测驾驶员的眨眼次数进行统计；
本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期内所接收的N幅所述脸部图像中眨眼检测结果为眨眼的脸部图像的总数量相同；
步骤202、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤203、M-3次重复步骤202，直至完成前M-1个分析处理周期内所接收脸部图像的分析处理过程，获得前M-1个分析处理周期内被监测驾驶员的眨眼次数；
其中，
步骤204、下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断，过程如下：
步骤2041、下一个分析处理周期内所接收脸部图像分析处理：按照步骤2011至步骤2012中所述的方法，对下一个分析处理周期内所接收脸部图像进行分析处理，获得本分析处理周期内被监测驾驶员的眨眼次数；
步骤2042、疲劳驾驶判断：根据步骤2041中得出的本分析处理周期内被监测驾驶员的眨眼次数与本分析处理周期之前的M-1个分析处理周期内被监测驾驶员的眨眼次数之和Nz，对此时被监测驾驶员是否处于疲劳驾驶状态进行判断：当Nz＞N0时，判断为此时被监测驾驶员处于疲劳驾驶状态；否则，判断为被监测驾驶员处于正常驾驶状态；
其中Nz为预先设定的眨眼次数判断阈值且Nz＝25～30；
步骤205、返回步骤204，按照步骤2041至步骤2042中所述的方法，进行下一个分析处理周期内所接收脸部图像分析处理及疲劳驾驶判断。
2.按照权利要求1所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A2中所述的M1＝80，N1＝30。
3.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A6中所述的ym＝12。
4.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤一中所述图像采集设备(1)包括实时获取被监测驾驶员的脸部图像的摄像头(1-1)和按照预先设定的采样频率fs对被监测驾驶员的脸部图像进行采集的图像采集卡(2)，所述摄像头(1-1)与图像采集卡(2)连接，所述图像采集卡(2)与图像处理器(3)连接。
5.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤一中所述脸部图像的分辨率为1024×768，所述图像采集设备(1)将所采集的视频流同步传送至图像处理器(3)，所述视频流的帧速率为Fsfps。
6.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤2011中对本分析处理周期内所接收的任一幅所述脸部图像进行同步存储之前，所述图像处理器(3)先采用人脸检测分类器判断该脸部图像是否为被监测驾驶员的脸部图像：当判断得出该脸部图像为被监测驾驶员的脸部图像时，再对该脸部图像进行同步存储与眨眼检测；否则，完成该脸部图像的图像处理过程。
7.按照权利要求6所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A6和步骤B6中判断为该脸部图像采集时被监测驾驶员处于眨眼状态时，说明该脸部图像采集时被监测驾驶员处于闭眼状态；判断为该脸部图像采集时被监测驾驶员处于非眨眼状态时，说明该脸部图像采集时被监测驾驶员处于睁眼状态；
所述人脸检测分类器为基于Haar特征且采用Adaboost算法构建的分类器；对所述人脸检测分类器进行构建之前，先获取训练样本集；所述训练样本集中包括两类训练样本，一类训练样本为采用步骤一中所述图像采集设备(1)采集到的被监测驾驶员处于睁眼状态时的脸部图像，另一类训练样本为采用步骤一中所述图像采集设备(1)采集到的被监测驾驶员处于闭眼状态时的脸部图像。
8.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A5中所述圆拟合模块为最小二乘法圆拟合模块。
9.按照权利要求1或2所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A3中调用图像二值化处理模块，对归一化处理后的所述眼部区域图像进行二值化处理时，将所述眼部区域图像中背景区域的各像素点像素值均修改为255，并将所述眼部区域图像中被监测驾驶员眼部的各像素点像素值均修改为0；
步骤A4中进行瞳孔图像去除时，将二值化处理后的所述眼部区域图像中瞳孔所处区域的各像素点像素值均修改为255。
10.按照权利要求9所述的一种基于眨眼检测的疲劳驾驶监测方法，其特征在于：步骤A4中进行瞳孔图像去除时，先调用九宫格算法获取二值化处理后的所述眼部区域图像中瞳孔的中心点，再获取二值化处理后的所述眼部区域图像中瞳孔所处区域，所获取的瞳孔所处区域为以瞳孔的中心点为圆点的圆形区域，且所获取的瞳孔所处区域中包括被监测驾驶员瞳孔的所有像素点；之后，再将所获取瞳孔所处区域中各像素点的像素值均修改为255。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610835397.5A CN106384096B (zh) | 2016-09-20 | 2016-09-20 | 一种基于眨眼检测的疲劳驾驶监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610835397.5A CN106384096B (zh) | 2016-09-20 | 2016-09-20 | 一种基于眨眼检测的疲劳驾驶监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106384096A CN106384096A (zh) | 2017-02-08 |
| CN106384096B true CN106384096B (zh) | 2018-07-10 |
Family
ID=57936722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610835397.5A Expired - Fee Related CN106384096B (zh) | 2016-09-20 | 2016-09-20 | 一种基于眨眼检测的疲劳驾驶监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106384096B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108245171B (zh) * | 2017-12-28 | 2020-12-25 | 东软集团股份有限公司 | 获取参数模型的方法、疲劳检测方法及装置、介质及设备 |
| CN109446999B (zh) * | 2018-10-31 | 2021-08-31 | 中电科新型智慧城市研究院有限公司 | 基于统计计算的动态人体运动的快速感知系统及方法 |
| WO2022094787A1 (zh) * | 2020-11-04 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 驾驶员数据处理系统及采集驾驶员数据的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
| CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
| CN101059837A (zh) * | 2007-06-07 | 2007-10-24 | 上海交通大学 | 彩色隐形眼镜的防伪检测方法 |
| CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助系统 |
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
| CN103279752A (zh) * | 2013-06-19 | 2013-09-04 | 山东大学 | 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法 |
| CN103400471A (zh) * | 2013-08-12 | 2013-11-20 | 电子科技大学 | 一种驾驶员疲劳驾驶检测系统及检测方法 |
-
2016
- 2016-09-20 CN CN201610835397.5A patent/CN106384096B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1680779A (zh) * | 2005-02-04 | 2005-10-12 | 江苏大学 | 驾驶员疲劳监测方法及装置 |
| CN1830389A (zh) * | 2006-04-21 | 2006-09-13 | 太原理工大学 | 疲劳驾驶状态监控装置及方法 |
| CN101059837A (zh) * | 2007-06-07 | 2007-10-24 | 上海交通大学 | 彩色隐形眼镜的防伪检测方法 |
| CN101344919A (zh) * | 2008-08-05 | 2009-01-14 | 华南理工大学 | 视线跟踪方法及应用该方法的残疾人辅助系统 |
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
| CN103279752A (zh) * | 2013-06-19 | 2013-09-04 | 山东大学 | 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法 |
| CN103400471A (zh) * | 2013-08-12 | 2013-11-20 | 电子科技大学 | 一种驾驶员疲劳驾驶检测系统及检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106384096A (zh) | 2017-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN105354985B (zh) | 疲劳驾驶监控装置及方法 | |
| Devi et al. | Driver fatigue detection based on eye tracking | |
| Zhang et al. | A novel approach to driving fatigue detection using forehead EOG | |
| US20220175287A1 (en) | Method and device for detecting driver distraction | |
| CN110811649A (zh) | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 | |
| CN113642522B (zh) | 基于音视频的疲劳状态检测方法和装置 | |
| CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
| CN106446822B (zh) | 基于圆拟合的眨眼检测方法 | |
| CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
| CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
| CN106491129B (zh) | 一种基于eog的人体行为识别系统及方法 | |
| CN109063545B (zh) | 一种疲劳驾驶检测方法及装置 | |
| Cuppens et al. | Using spatio-temporal interest points (STIP) for myoclonic jerk detection in nocturnal video | |
| CN101872419A (zh) | 一种汽车驾驶员疲劳检测的方法 | |
| Jia et al. | Real-time fatigue driving detection system based on multi-module fusion | |
| CN118587689B (zh) | 驾驶员疲劳状态检测方法和系统 | |
| CN106384096B (zh) | 一种基于眨眼检测的疲劳驾驶监测方法 | |
| CN115227247A (zh) | 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质 | |
| CN103729646A (zh) | 一种眼睛图像有效性检测方法 | |
| CN118383768A (zh) | 一种司机状态多维度检测系统 | |
| CN110097012A (zh) | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 | |
| Bhoyar et al. | Implementation on visual analysis of eye state using image processing for driver fatigue detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180710 Termination date: 20190920 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |