CN105788176B - 疲劳驾驶监测提醒方法及系统 - Google Patents
疲劳驾驶监测提醒方法及系统 Download PDFInfo
- Publication number
- CN105788176B CN105788176B CN201610352037.XA CN201610352037A CN105788176B CN 105788176 B CN105788176 B CN 105788176B CN 201610352037 A CN201610352037 A CN 201610352037A CN 105788176 B CN105788176 B CN 105788176B
- Authority
- CN
- China
- Prior art keywords
- condition
- level
- state
- mouth
- fatigue state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title description 6
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 210000003128 head Anatomy 0.000 claims description 41
- 210000001747 pupil Anatomy 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 241000405217 Viola <butterfly> Species 0.000 claims description 5
- 230000004399 eye closure Effects 0.000 abstract description 19
- 230000001815 facial effect Effects 0.000 abstract description 4
- 206010016256 fatigue Diseases 0.000 description 101
- 230000000007 visual effect Effects 0.000 description 5
- 206010041349 Somnolence Diseases 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 206010028372 Muscular weakness Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出基于多种面部特征包括点头频率、眼睛闭合百分数和嘴部形状判定疲劳程度的疲劳驾驶预警方法及系统,主要包括人脸图像的采集、人脸图像的检测识别、特征及参数获取、疲劳程度的判断以及对疲劳状态的报警。通过对多种面部特征的采集,有效避免了单一的参数判断疲劳状态显然精确程度不高的问题。
Description
技术领域
本发明涉及汽车导航领域,特别涉及疲劳驾驶监测提醒方法及系统。
背景技术
通常来说,疲劳驾驶是司机进行长时间的驾驶后,产生了困倦瞌睡、四肢无力、注意力不集中和判断能力明显下降的现象,严重的时候甚至会出现精神恍惚以及瞬间的失忆。虽然驾驶员在驾驶时打瞌睡的时间不过几秒钟,但这足以瞬间造成严重的交通事故。所以,疲劳驾驶带来的危害不容小觑。
目前最精准的技术是基于生理学的方法,如脑电波、心跳频率、脉搏频率和呼吸等等。这些技术是侵入式的,因为它们需要在司机的身上附着电极,容易导致他们有烦扰的情绪。为了在晚上也能正常工作,一些研究使用了基于红外LED 的有源照明,几乎所有发表在文献上的主动性系统都在实验室测试过的,但是没有在运动的车上试验过。在一个运动的车上会出现很多挑战,比如说光线的变化、背景的变化和在实际系统中不可不考虑的一些振动。一个叫做副驾驶的工业范例被提出,这个系统有被卡车司机检验过。它用一个简单的减法过程找到眼睛,它仅仅通过计算PERCLOS(眼睛闭合百分数)去测算司机的睡意程度。一个依赖于单一视觉信息的系统,可能会在当不能准确获取视觉特征时出现一些困难,因为它是会出现在实际情况中的。那么,一个单一的视觉信息可能不会总能表示一个人的心理状态。
发明内容
为此,本发明提出一种结合多种面部的参数进行综合分析,然后判断和预警,具体方案如下:疲劳驾驶监测提醒方法,包括步骤:
S1、采集驾驶员脸部图像;
S2、检测脸部图像;
S3、提取眼睛特征值、头部特征值以及嘴部特征值;
S4、通过眼睛特征值来获取眼睛状态,眼睛特征值包括瞳孔中心坐标、瞳孔坐标以及瞳孔纵轴长度;通过头部特征值来获取头部状态,头部特征值包括人脸坐标以及人脸纵坐标,通过嘴部特征值来获取获取嘴部状态,嘴部特征值包括嘴部面积以及嘴部纵轴长度;
S5、根据眼睛状态及眼睛特征值计算眼睛闭合程度及持续时长,根据头部状态及头部特征值获取规定时间内的点头频率,从嘴部特征值中获取嘴部纵轴长度;
S6、建立疲劳等级判断标准并进行疲劳等级判定,将疲劳等级划分为正常状态、一级疲劳状态、二级疲劳状态以及三级疲劳状态,判断优先级按高到低依次为三级疲劳状态、二级疲劳状态、一级疲劳状态、正常状态,
首先进行三级疲劳状态判定,三级疲劳状态判定条件包括:1)眼睛闭合程度大于第一闭合阈值且持续时间超过第一时间阈值,2)在第二时间阈值范围内,点头频率大于等于第一频率阈值,3)嘴部纵轴长度大于第一长度阈值,其中优先级按高到低依次为条件1)、条件2)、条件3),若满足条件1)则判定为三级疲劳状态,不满足条件1)则使用条件2)判断,若满足条件2)则判定为三级疲劳状态,不满足条件2)则使用条件3)判断,若条件3)满足则判定为三级疲劳状态;
若不满足条件3)则进入二级疲劳状态判定,二级疲劳状态判定条件包括:4)眼睛闭合程度小于等于第一闭合阈值大于第二闭合阈值,且持续时间超过第一时间阈值,5)在第二时间阈值范围内,点头频率等于第二频率阈值,6)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件4)、条件5)、条件6),若满足条件4)则判定为二级疲劳状态,不满足条件4)则使用条件5)判断,若满足条件5)则判定为二级疲劳状态,不满足条件5)则使用条件6)判断,若条件6)满足则判定为二级疲劳状态;
若不满足条件6)则进入一级疲劳状态判定,一级疲劳状态判定条件包括:7)眼睛闭合程度小于等于第二闭合阈值大于第三闭合阈值,且持续时间超过第一时间阈值,8)在第二时间阈值范围内,点头频率等于第三频率阈值,9)嘴部纵轴长度小于等于第二长度阈值大于第三长度阈值,其中优先级按高到低依次为条件7)、条件8)、条件9),若满足条件7)则判定为一级疲劳状态,不满足条件7)则使用条件8)判断,若满足条件8)则判定为一级疲劳状态,不满足条件8)则使用条件9)判断,若条件9)满足则判定为一级疲劳状态;
若不满足条件9)则直接判定为正常状态;
S7、进行对应疲劳等级的报警。
其中,步骤S2中所述的检测脸部图像方法为基于Viola and Jones的人脸检测算法。
其中,步骤S3中提取眼睛及头部特征值方法为灰度信息方法,用人脸特征灰度值与其他部分的差异进行区别,先将不同方向上的灰度值和,然后根据和的变化确定相应的特定变化点,然后利用投影灰度值基于统计的方法将不同方向上的变化点位置相结合,最终提取出眼睛及头部特征值。
其中,步骤S3中提取嘴部特征值方法为嘴部轮廓的检测方法,首先对嘴部的区域确定,再将图像灰度化之后利用水平集检测到嘴部轮廓并输出对应的二值图像,进而提取嘴部特征值。
其中,步骤S6中第一闭合阈值>第二闭合阈值>第三闭合阈值。
其中,步骤S6中第一频率阈值>第二频率阈值>第三频率阈值。
其中,步骤S6中第一长度阈值>第二长度阈值>第三长度阈值。
疲劳驾驶监测提醒系统,包括:
图像采集模块, 用于采集驾驶员脸部图像;
人脸检测识别模块,用于检测脸部图像;
特征提取模块,用于提取眼睛特征值、头部特征值以及嘴部特征值;
状态提取模块,用于通过眼睛特征值来获取眼睛状态,眼睛特征值包括瞳孔中心坐标、瞳孔坐标以及瞳孔纵轴长度;通过头部特征值来获取头部状态,头部特征值包括人脸坐标以及人脸纵坐标,通过嘴部特征值来获取获取嘴部状态,嘴部特征值包括嘴部面积以及嘴部纵轴长度;
计算模块,用于根据眼睛状态及眼睛特征值计算眼睛闭合程度及持续时长,根据头部状态及头部特征值获取规定时间内的点头频率,从嘴部特征值中获取嘴部纵轴长度;
疲劳标准建立及判定模块,用于建立疲劳等级判断标准并进行疲劳等级判定,将疲劳等级划分为正常状态、一级疲劳状态、二级疲劳状态以及三级疲劳状态,判断优先级按高到低依次为三级疲劳状态、二级疲劳状态、一级疲劳状态、正常状态,
首先进行三级疲劳状态判定,三级疲劳状态判定条件包括:1)眼睛闭合程度大于第一闭合阈值且持续时间超过第一时间阈值,2)在第二时间阈值范围内,点头频率大于等于第一频率阈值,3)嘴部纵轴长度大于第一长度阈值,其中优先级按高到低依次为条件1)、条件2)、条件3),若满足条件1)则判定为三级疲劳状态,不满足条件1)则使用条件2)判断,若满足条件2)则判定为三级疲劳状态,不满足条件2)则使用条件3)判断,若条件3)满足则判定为三级疲劳状态;
若不满足条件3)则进入二级疲劳状态判定,二级疲劳状态判定条件包括:4)眼睛闭合程度小于等于第一闭合阈值大于第二闭合阈值,且持续时间超过第一时间阈值,5)在第二时间阈值范围内,点头频率大于等于第二频率阈值,6)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件4)、条件5)、条件6),若满足条件4)则判定为二级疲劳状态,不满足条件4)则使用条件5)判断,若满足条件5)则判定为二级疲劳状态,不满足条件5)则使用条件6)判断,若条件6)满足则判定为二级疲劳状态;
若不满足条件6)则进入一级疲劳状态判定,一级疲劳状态判定条件包括:7)眼睛闭合程度小于等于第二闭合阈值大于第三闭合阈值,且持续时间超过第一时间阈值,8)在第二时间阈值范围内,点头频率大于等于第三频率阈值,9)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件7)、条件8)、条件9),若满足条件7)则判定为一级疲劳状态,不满足条件7)则使用条件8)判断,若满足条件8)则判定为一级疲劳状态,不满足条件8)则使用条件9)判断,若条件9)满足则判定为一级疲劳状态;
若不满足条件9)则直接判定为正常状态;
报警模块,用于进行对应疲劳等级的报警。
与现有技术相比,根据单一的参数判断疲劳状态显然精确程度不高,因此,本发明采用综合视觉参数法判断疲劳状态,综合点头频率、PERCLOS和嘴部形状三类参数判断司机处于何种等级的疲劳状态,能够大大提升判断的准确率。
附图说明
图1为本发明一实施例的流程图;
图2为本发明一实施例的疲劳分类标准。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。现结合附图和具体实施方式对本发明进一步说明。
参阅图1,本发明实施例方法的整体流程。它主要包括人脸图像的采集、人脸图像的检测识别、特征及参数获取、疲劳程度的判断以及对疲劳状态的报警。
在检测脸部图像的过程中,本实施例使用基于Viola and Jones的人脸检测算法,该方法由于使用了积分图像的方法来识别图像的特征,另外,由于Adaboost 分类器具有筛选的功能,可以剔除其它不需要的部分,从而加快了检测的时间;准确度提升的原因是由于Adaboost 分类器得到了改进,由原来的单级分类器通过串级成为了级联的分类器,基于Viola and Jones的人脸检测算法和基于肤色的人脸检测算法相比,这种算法的精度明显更高,抗干扰能力更强,因此作为优选的方案,本实施例采用基于Viola and Jones的人脸检测算法。
在特征及参数采集的步骤中,本方法将把PERCLOS(眼睛闭合百分数)作为主要因素,头部和嘴巴的参数将作为次级考虑因素。通过采集眼睛瞳孔的高度、头部的坐标和嘴巴的轮廓来分析驾驶员的PERCLOS、点头频率和嘴部形状,进而判断司机的疲劳状态。在提取眼睛及头部参数中采用基于灰度信息方法,该方法是用人脸特征灰度值与其他部分的差异进行区别,先将不同方向上的灰度值和,然后根据和的变化确定相应的特定变化点,然后利用投影灰度值基于统计的方法将不同方向上的变化点位置相结合,最终找到人脸特征点的位置。此分析法利用亮度将特征点与其它部分进行区分,但是受光照因素的影响较大。为了识别嘴部的形状,开始选用的是基于水平集的方法,在图片当中是适用的,但是在实时系统当中运行则出现了明显的时滞性问题,所以没有采用。由于人嘴巴张开是里面的颜色比较暗,因此采用嘴部轮廓的检测方法,是利用嘴部张开后里面的颜色和周围颜色色差的方法来判断嘴部状态的,首先对嘴部的区域确定,再将图像灰度化之后利用水平集检测到嘴部轮廓并输出对应的二值图像,进而提取嘴部特征值。
提取PERCLOS 特征,PERCLOS的阈值时间取40 帧,眼睛闭合的闭合程度分为40%,70%和80%,考虑以上三个标准,80%的效果最好。根据相关的研究,PERCLOS 反映了人眼的缓慢闭合,这就可以解释为驾驶性的生理疲劳,因此还可以认为是视觉信息采集上的中断。因此,PERCLOS 完全可以精神上的疲劳程度。
点头频率的提取,当司机处于疲劳驾驶时,头部会表现为频繁地点头。本系统将会实时记录头部纵坐标的变化,当头部的纵坐标发生明显的变化直至超过阈值两次后,则判断司机点头一次,点头次数以此类推。本系统在一段时间内实时获取头部的点头频率,并且判断这一段时间内取10 帧)的点头频率的大小进行分等级的预警。
嘴部形状的提取,在驾驶中,司机如果产生疲劳,嘴部会表现为打哈欠。嘴部分的面积会明显增加,但是当司机处于大笑的时候嘴部面积也会增加,因此需要对司机嘴部的形状进行识别。当嘴部面积增加的时候,判断嘴唇部分的水平距离和高度,如果高度明显增加就是打哈欠,如果水平距离明显增加就是大笑。
接着根据各参数及实际情况制定相应的疲劳分类标准,结合图2,示出了本实施例的疲劳分类标准,人的驾驶状态分为了四个等级,其中疲劳状态被分为了三个等级,首先从优先级最高的三级疲劳状态开始判断,如果PERCLOS 满足要求,则无需进行后续的判断,如果不满足要求,则进行点头频率的判断,如果不满足要求,则对嘴部形状进行判断,如果不满足要求,则对二级疲劳状态进行判断,只要按照顺序有一个指标满足要求,则系统会针对这个指标对应的疲劳状态进行报警。
本实施例主要从三个方面来判断驾驶员是否处于疲劳状态:
1、眼睛的闭合程度:当眼睛在一段时间内闭合的程度介于40%和50%之间,则说明司机已经处于一级疲劳状态,当眼睛在一段时间内闭合的程度介于50%到70%之间,则说明司机已经处于二级疲劳状态,当眼睛在一段时间内闭合的程度超过了70%,则说明司机已经处于三级疲劳状态;
2、点头的频率:当司机在一段时间内点头的频率明显升高,则说明司机处于疲劳状态;
3、嘴部的形状:当人的嘴部出现打哈欠的形状时,就说明司机处于疲劳状态。最后本系统根据优先级的顺序,综合以上参数对司机进行分级的报警。
判定完成后,通过声音提醒或震动的方式根据疲劳程度的不同进行相应的报警提醒,本方法结合了多个人体特征判断司机处于何种等级的疲劳状态,能极大的提高其判断的准确率。
基于上述的疲劳驾驶监测提醒方法,本发明提出一种疲劳驾驶监测提醒系统,包括:
图像采集模块, 用于采集驾驶员脸部图像;
人脸检测识别模块,用于检测脸部图像;
特征提取模块,用于提取眼睛特征值、头部特征值以及嘴部特征值;
状态提取模块,用于通过眼睛特征值来获取眼睛状态,眼睛特征值包括瞳孔中心坐标、瞳孔坐标以及瞳孔纵轴长度;通过头部特征值来获取头部状态,头部特征值包括人脸坐标以及人脸纵坐标,通过嘴部特征值来获取获取嘴部状态,嘴部特征值包括嘴部面积以及嘴部纵轴长度;
计算模块,用于根据眼睛状态及眼睛特征值计算眼睛闭合程度及持续时长,根据头部状态及头部特征值获取规定时间内的点头频率,从嘴部特征值中获取嘴部纵轴长度;
疲劳标准建立及判定模块,用于建立疲劳等级判断标准并进行疲劳等级判定,将疲劳等级划分为正常状态、一级疲劳状态、二级疲劳状态以及三级疲劳状态,判断优先级按高到低依次为三级疲劳状态、二级疲劳状态、一级疲劳状态、正常状态,
首先进行三级疲劳状态判定,三级疲劳状态判定条件包括:1)眼睛闭合程度大于70%且持续时间超过3S,2)在5S时间范围内,点头频率大于等于3次,3)嘴部纵轴长度大于35像素,其中优先级按高到低依次为条件1)、条件2)、条件3),若满足条件1)则判定为三级疲劳状态,不满足条件1)则使用条件2)判断,若满足条件2)则判定为三级疲劳状态,不满足条件2)则使用条件3)判断,若条件3)满足则判定为三级疲劳状态;
若不满足条件3)则进入二级疲劳状态判定,二级疲劳状态判定条件包括:4)眼睛闭合程度小于等于70%大于50%,且持续时间超过3S,5)在5S时间范围内,点头频率大于等于2次,6)嘴部纵轴长度小于等于35像素大于25像素,其中优先级按高到低依次为条件4)、条件5)、条件6),若满足条件4)则判定为二级疲劳状态,不满足条件4)则使用条件5)判断,若满足条件5)则判定为二级疲劳状态,不满足条件5)则使用条件6)判断,若条件6)满足则判定为二级疲劳状态;
若不满足条件6)则进入一级疲劳状态判定,一级疲劳状态判定条件包括:7)眼睛闭合程度小于等于50%大于40%,且持续时间超过5S,8)在5S时间范围内,点头频率大于等于1次,9)嘴部纵轴长度小于等于25像素大于15像素,其中优先级按高到低依次为条件7)、条件8)、条件9),若满足条件7)则判定为一级疲劳状态,不满足条件7)则使用条件8)判断,若满足条件8)则判定为一级疲劳状态,不满足条件8)则使用条件9)判断,若条件9)满足则判定为一级疲劳状态;
若不满足条件9)则直接判定为正常状态;
报警模块,用于进行对应疲劳等级的报警。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。
Claims (8)
1.疲劳驾驶监测提醒方法,其特征在于:包括:
S1、采集驾驶员脸部图像;
S2、检测脸部图像;
S3、提取眼睛特征值、头部特征值以及嘴部特征值;
S4、通过眼睛特征值来获取眼睛状态,眼睛特征值包括瞳孔中心坐标、瞳孔坐标以及瞳孔纵轴长度;通过头部特征值来获取头部状态,头部特征值包括人脸坐标以及人脸纵坐标,通过嘴部特征值来获取获取嘴部状态,嘴部特征值包括嘴部面积以及嘴部纵轴长度;
S5、根据眼睛状态及眼睛特征值计算眼睛闭合程度及持续时长,根据头部状态及头部特征值获取规定时间内的点头频率,从嘴部特征值中获取嘴部纵轴长度;
S6、建立疲劳等级判断标准并进行疲劳等级判定,将疲劳等级划分为正常状态、一级疲劳状态、二级疲劳状态以及三级疲劳状态,判断优先级按高到低依次为三级疲劳状态、二级疲劳状态、一级疲劳状态、正常状态,
首先进行三级疲劳状态判定,三级疲劳状态判定条件包括:1)眼睛闭合程度大于第一闭合阈值且持续时间超过第一时间阈值,2)在第二时间阈值范围内,点头频率大于等于第一频率阈值,3)嘴部纵轴长度大于第一长度阈值,其中优先级按高到低依次为条件1)、条件2)、条件3),若满足条件1)则判定为三级疲劳状态,不满足条件1)则使用条件2)判断,若满足条件2)则判定为三级疲劳状态,不满足条件2)则使用条件3)判断,若条件3)满足则判定为三级疲劳状态;
若不满足条件3)则进入二级疲劳状态判定,二级疲劳状态判定条件包括:4)眼睛闭合程度小于等于第一闭合阈值大于第二闭合阈值,且持续时间超过第一时间阈值,5)在第二时间阈值范围内,点头频率等于第二频率阈值,6)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件4)、条件5)、条件6),若满足条件4)则判定为二级疲劳状态,不满足条件4)则使用条件5)判断,若满足条件5)则判定为二级疲劳状态,不满足条件5)则使用条件6)判断,若条件6)满足则判定为二级疲劳状态;
若不满足条件6)则进入一级疲劳状态判定,一级疲劳状态判定条件包括:7)眼睛闭合程度小于等于第二闭合阈值大于第三闭合阈值,且持续时间超过第一时间阈值,8)在第二时间阈值范围内,点头频率等于第三频率阈值,9)嘴部纵轴长度小于等于第二长度阈值大于第三长度阈值,其中优先级按高到低依次为条件7)、条件8)、条件9),若满足条件7)则判定为一级疲劳状态,不满足条件7)则使用条件8)判断,若满足条件8)则判定为一级疲劳状态,不满足条件8)则使用条件9)判断,若条件9)满足则判定为一级疲劳状态;
若不满足条件9)则直接判定为正常状态;
S7、进行对应疲劳等级的报警。
2.如权利要求1所述的方法,其特征在于:步骤S2中所述的检测脸部图像方法为基于Viola and Jones的人脸检测算法。
3.如权利要求1所述的方法,其特征在于:步骤S3中提取眼睛及头部特征值方法为灰度信息方法,用人脸特征灰度值与其他部分的差异进行区别,先将不同方向上的灰度值和,然后根据和的变化确定相应的特定变化点,然后利用投影灰度值基于统计的方法将不同方向上的变化点位置相结合,最终提取出眼睛及头部特征值。
4.如权利要求1所述的方法,其特征在于,步骤S3中提取嘴部特征值方法为嘴部轮廓的检测方法,首先对嘴部的区域确定,再将图像灰度化之后利用水平集检测到嘴部轮廓并输出对应的二值图像,进而提取嘴部特征值。
5.如权利要求1所述的方法,其特征在于,步骤S6中第一闭合阈值>第二闭合阈值>第三闭合阈值。
6.如权利要求1所述的方法,其特征在于,步骤S6中第一频率阈值>第二频率阈值>第三频率阈值。
7.如权利要求1所述的方法,其特征在于,步骤S6中第一长度阈值>第二长度阈值>第三长度阈值。
8.疲劳驾驶监测提醒系统,其特征在于,包括:
图像采集模块, 用于采集驾驶员脸部图像;
人脸检测识别模块,用于检测脸部图像;
特征提取模块,用于提取眼睛特征值、头部特征值以及嘴部特征值;
状态提取模块,用于通过眼睛特征值来获取眼睛状态,眼睛特征值包括瞳孔中心坐标、瞳孔坐标以及瞳孔纵轴长度;通过头部特征值来获取头部状态,头部特征值包括人脸坐标以及人脸纵坐标,通过嘴部特征值来获取获取嘴部状态,嘴部特征值包括嘴部面积以及嘴部纵轴长度;
计算模块,用于根据眼睛状态及眼睛特征值计算眼睛闭合程度及持续时长,根据头部状态及头部特征值获取规定时间内的点头频率,从嘴部特征值中获取嘴部纵轴长度;
疲劳标准建立及判定模块,用于建立疲劳等级判断标准并进行疲劳等级判定,将疲劳等级划分为正常状态、一级疲劳状态、二级疲劳状态以及三级疲劳状态,判断优先级按高到低依次为三级疲劳状态、二级疲劳状态、一级疲劳状态、正常状态,
首先进行三级疲劳状态判定,三级疲劳状态判定条件包括:1)眼睛闭合程度大于第一闭合阈值且持续时间超过第一时间阈值,2)在第二时间阈值范围内,点头频率大于等于第一频率阈值,3)嘴部纵轴长度大于第一长度阈值,其中优先级按高到低依次为条件1)、条件2)、条件3),若满足条件1)则判定为三级疲劳状态,不满足条件1)则使用条件2)判断,若满足条件2)则判定为三级疲劳状态,不满足条件2)则使用条件3)判断,若条件3)满足则判定为三级疲劳状态;
若不满足条件3)则进入二级疲劳状态判定,二级疲劳状态判定条件包括:4)眼睛闭合程度小于等于第一闭合阈值大于第二闭合阈值,且持续时间超过第一时间阈值,5)在第二时间阈值范围内,点头频率大于等于第二频率阈值,6)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件4)、条件5)、条件6),若满足条件4)则判定为二级疲劳状态,不满足条件4)则使用条件5)判断,若满足条件5)则判定为二级疲劳状态,不满足条件5)则使用条件6)判断,若条件6)满足则判定为二级疲劳状态;
若不满足条件6)则进入一级疲劳状态判定,一级疲劳状态判定条件包括:7)眼睛闭合程度小于等于第二闭合阈值大于第三闭合阈值,且持续时间超过第一时间阈值,8)在第二时间阈值范围内,点头频率大于等于第三频率阈值,9)嘴部纵轴长度小于等于第一长度阈值大于第二长度阈值,其中优先级按高到低依次为条件7)、条件8)、条件9),若满足条件7)则判定为一级疲劳状态,不满足条件7)则使用条件8)判断,若满足条件8)则判定为一级疲劳状态,不满足条件8)则使用条件9)判断,若条件9)满足则判定为一级疲劳状态;
若不满足条件9)则直接判定为正常状态;
报警模块,用于进行对应疲劳等级的报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610352037.XA CN105788176B (zh) | 2016-05-25 | 2016-05-25 | 疲劳驾驶监测提醒方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610352037.XA CN105788176B (zh) | 2016-05-25 | 2016-05-25 | 疲劳驾驶监测提醒方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105788176A CN105788176A (zh) | 2016-07-20 |
CN105788176B true CN105788176B (zh) | 2018-01-26 |
Family
ID=56380512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610352037.XA Active CN105788176B (zh) | 2016-05-25 | 2016-05-25 | 疲劳驾驶监测提醒方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105788176B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355837A (zh) * | 2016-09-09 | 2017-01-25 | 常州大学 | 一种基于手机的疲劳驾驶监测方法 |
CN106529421A (zh) * | 2016-10-21 | 2017-03-22 | 燕山大学 | 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统 |
CN106778679B (zh) * | 2017-01-05 | 2020-10-30 | 唐常芳 | 一种基于大数据机器学习的特定人群视频识别方法 |
CN107169481A (zh) * | 2017-06-28 | 2017-09-15 | 上海与德科技有限公司 | 一种提醒方法及装置 |
CN107341468B (zh) * | 2017-06-30 | 2021-05-04 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
CN107685660A (zh) * | 2017-07-21 | 2018-02-13 | 深圳市易成自动驾驶技术有限公司 | 汽车座椅控制方法及系统、存储介质 |
CN107648719A (zh) * | 2017-08-23 | 2018-02-02 | 中国人民解放军总医院 | 基于疲劳检测与觉醒刺激的眼部可穿戴系统 |
CN107992813A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇部状态检测方法及装置 |
CN108985202A (zh) * | 2018-07-03 | 2018-12-11 | 郑素娟 | 收款数额电子分析平台 |
CN110766912B (zh) * | 2018-07-27 | 2022-03-18 | 长沙智能驾驶研究院有限公司 | 驾驶预警方法、设备及计算机可读存储介质 |
CN109522820A (zh) * | 2018-10-29 | 2019-03-26 | 江西科技学院 | 一种疲劳监测方法、系统、可读存储介质及移动终端 |
CN109543655A (zh) * | 2018-12-14 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 疲劳驾驶检测方法、装置、计算机设备和存储介质 |
CN110194174B (zh) * | 2019-05-24 | 2021-02-12 | 江西理工大学 | 一种疲劳驾驶监控系统 |
CN111274881B (zh) * | 2020-01-10 | 2024-05-31 | 中国平安财产保险股份有限公司 | 驾驶安全的监控方法、装置、计算机设备及存储介质 |
CN111754729A (zh) * | 2020-06-23 | 2020-10-09 | 上汽大众汽车有限公司 | 疲劳驾驶提示装置及提示方法 |
CN112319483A (zh) * | 2020-10-15 | 2021-02-05 | 浙江吉利控股集团有限公司 | 一种驾驶状态改善装置及驾驶状态改善方法 |
CN113705373B (zh) * | 2021-08-10 | 2023-12-26 | 江苏钮玮动力科技有限公司 | 一种可调节自适应强的驾驶员面部表情识别系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
CN202472863U (zh) * | 2010-12-31 | 2012-10-03 | 北京星河易达科技有限公司 | 基于图像信息综合评判的驾驶员疲劳监测网络系统 |
CN104732251A (zh) * | 2015-04-23 | 2015-06-24 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机驾驶状态检测方法 |
US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
-
2016
- 2016-05-25 CN CN201610352037.XA patent/CN105788176B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
CN202472863U (zh) * | 2010-12-31 | 2012-10-03 | 北京星河易达科技有限公司 | 基于图像信息综合评判的驾驶员疲劳监测网络系统 |
US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
CN104732251A (zh) * | 2015-04-23 | 2015-06-24 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机驾驶状态检测方法 |
Non-Patent Citations (1)
Title |
---|
驾驶员疲劳状态检测技术研究与工程实现;李志春;《中国博士学位论文全文数据库》;20090630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105788176A (zh) | 2016-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105788176B (zh) | 疲劳驾驶监测提醒方法及系统 | |
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN108960065B (zh) | 一种基于视觉的驾驶行为检测方法 | |
CN103974656B (zh) | 瞌睡检测方法和设备 | |
Yan et al. | Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing | |
CN108446600A (zh) | 一种车辆驾驶员疲劳监测预警系统及方法 | |
CN108309311A (zh) | 一种列车驾驶员实时盹睡检测装置及检测算法 | |
CN102054163A (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
CN107595307A (zh) | 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法 | |
Vinoth et al. | A drowsiness detection using smart sensors during driving and smart message alert system to avoid accidents | |
CN114220158A (zh) | 基于深度学习的疲劳驾驶检测方法 | |
CN107392153A (zh) | 人体疲劳度判定方法 | |
CN111688709A (zh) | 乘员观察装置 | |
Li et al. | Fatigue driving detection system based on face feature | |
CN111696312B (zh) | 乘员观察装置 | |
Liu et al. | Driver fatigue detection through pupil detection and yawing analysis | |
Guo et al. | Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5 | |
Mašanović et al. | Driver monitoring using the in-vehicle camera | |
Jimenez et al. | Detection of the tiredness level of drivers using machine vision techniques | |
Boverie et al. | Driver vigilance diagnostic based on eyelid movement observation | |
CN114529887A (zh) | 一种驾驶行为分析方法及装置 | |
Murugan et al. | Driver hypovigilance detection for safe driving using infrared camera | |
Li et al. | Vision-based estimation of driver drowsiness with ORD model using evidence theory | |
Shaykha et al. | FEER: Non-intrusive facial expression and emotional recognition for driver's vigilance monitoring | |
CN114399752B (zh) | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |