CN114523979A - 一种疲劳驾驶检测方法及系统 - Google Patents
一种疲劳驾驶检测方法及系统 Download PDFInfo
- Publication number
- CN114523979A CN114523979A CN202011196284.8A CN202011196284A CN114523979A CN 114523979 A CN114523979 A CN 114523979A CN 202011196284 A CN202011196284 A CN 202011196284A CN 114523979 A CN114523979 A CN 114523979A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- driving
- vehicle
- face image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及汽车行车安全领域，更具体地，涉及一种疲劳驾驶检测方法及系统，方法包括以下步骤：步骤S1：采集驾驶信息建立数据集；所述数据集包括图像数据集和操作数据集；所述图像数据集用于存储驾驶员的脸部图像；所述操作数据集用于存储车辆的行驶信息；步骤S2：将图像数据集输入第一检测模型，计算出第一疲劳值；步骤S3：将操作数据集输入第二检测模型，计算出第二疲劳值；步骤S4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；步骤S5：根据判断结果采取相应的措施。本发明与现有的技术相比，具有更强的适用性。
Description
技术领域
本发明涉及汽车行车安全领域，更具体地，涉及一种疲劳驾驶检测方法及系统。
背景技术
疲劳驾驶极易引起交通事故，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断能力下降，甚至出现精神恍惚或瞬间记忆消失，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。随着汽车在我国迅速发展与大众化，疲劳驾驶严重威胁到交通安全，疲劳驾驶形成机理、疲劳驾驶行为失误别、疲劳预警与控制技术等正逐渐成为交通安全的主要研究方向。
从疲劳驾驶检测的方式来看，现有的解决方案主要分为以下三类：基于驾驶员生理特征、基于车辆运动特征和基于驾驶员面部特征。生理特征一般包括以下几种：眼电波信号、心电波信号、肌电波信号、脑电波信号等，这些生物信号与驾驶员的状态呈现正相关的趋势。针对驾驶员生理特征的检测，主要是通过穿戴相关的仪器设备，直接获取到驾驶员的信号值，然后分析得出驾驶员的疲劳状态。因为这些信息是通过传感器与人体相接触之后获取的，所以可以直观反应驾驶员的疲劳状态，具有很高的准确率。但是，一般情况下此种方法是侵入性的，驾驶员需要配备信号处理装置获取驾驶员的各种生物信号，因此会对驾驶员产生干扰，此外，信号处理装置价格高昂，难以普及。基于车辆运动特征的疲劳驾驶检测方法只需要获取车辆信息，不需要使用传感器与驾驶员相接触，因此不会对驾驶员产生任何干扰，但是，这种方法会受到很多外部因素的干扰，譬如复杂的路况信息和驾驶员的驾驶习惯等。因此在大多数情况下，它只能作为融合检测中的辅助参考因子。基于驾驶员面部特征虽然安装简单成本低，但是当驾驶员进行移动时，难以判断人眼的开闭情况，并且在夜间光照较弱的情况下，现有的人脸检测难以准确对面部特征进行识别，导致其在夜间检测时准确率较低。因此，目前亟需一种适用性强的疲劳驾驶检测方法及系统。
发明内容
为了解决上述问题，本发明提供一种疲劳驾驶检测方法及系统，该方法及系统与现有的技术相比，具有更强的适用性。
本发明采取的技术方案是：
一种疲劳驾驶检测方法，包括以下步骤：
步骤S1：采集驾驶信息建立数据集；
所述数据集包括图像数据集和操作数据集；
所述图像数据集用于存储驾驶员的脸部图像；所述操作数据集用于存储车辆的行驶信息；
步骤S2：将图像数据集输入第一检测模型，计算出第一疲劳值；
步骤S3：将操作数据集输入第二检测模型，计算出第二疲劳值；
步骤S4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
步骤S5：根据判断结果采取相应的措施。
具体地，基于驾驶员生理特征的检测方法需要驾驶员佩戴侵入式的检测仪器，会妨碍车辆的驾驶操作。因此，本方案采取了基于驾驶员面部特征和基于车辆运动特征相结合的疲劳驾驶检测方法。避免了受外界因素干扰，采集不到清晰的驾驶员脸部图像时，无法准确地判断疲劳状态；同时，也避免了因为复杂的路况和驾驶员的驾驶习惯，无法准确地判断疲劳状态。
进一步地，所述步骤S2包括：
步骤S2.1：对图像数据集中的脸部图像进行清晰度判断，若清晰度低于预定阈值进行步骤S2.2，否则进行步骤S2.3；
步骤S2.2：对脸部图像进行图像降噪和低光增强；
步骤S2.3：根据脸部图像的清晰度获取第一权重；
步骤S2.4：对图像数据集中的脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
步骤S2.5：对完成人脸检测的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
步骤S2.6：从人眼定位后的脸部图像中提第一取疲劳特征；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率；
步骤S2.7：根据第一权重和第一疲劳特征计算出第一疲劳值。
具体地，对采集到的脸部图像进行预处理，使其更为清晰，并且根据脸部图像的清晰度获取第一权重；脸部图像越清晰，第一权重的越高，反之越低。然后，采用Adaboost算法的层叠分类器进行人脸检测；Adaboost算法是一种迭代方法，其核心思想是针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器。该分类器能快速的检测出人脸，并且具有良好的鲁棒性。之后，再使用灰度投影法对脸部图像进行人眼定位；灰度投影法计算量小，因此能快速对人眼进行定位。最后，对第一取疲劳特征提取，根据第一权重和第一取疲劳特征获取到判断疲劳状态的依据之一——第一疲劳值。
进一步地，所述步骤S2.6包括：
步骤S2.61：采用Canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘；
步骤S2.62：根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
步骤S2.63：比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
步骤S2.64：根据开闭状态获取PERCLOS值和眨眼频率。
具体地，现有的人眼定位技术普遍存在不少缺点，使后续难以判断人眼的开闭状态，导致了无法得到准确的PERCLOS值和眨眼频率。难以判断人眼开闭状态的原因一般为：驾驶员动作幅度大或进行转动造成的。上述的灰度投影法虽然对人眼定位的速度快，但相应的定位不够精准，属于粗略定位。因此，本方案还采用了Canny算法推导出更准确的人眼的开闭状态。首先，使用Canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘。之后根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；若重合表明人眼处于闭合状态，若不重合则属于张开状态；此外，人眼还有处于半开闭状态的时候，为了更准确地获取人眼的开闭状态以计算疲劳值，本方案以人眼边缘内的像素值判断人眼的开闭状态。首先，预设一个阈值，当肤色像素的像素点数量大于阈值时，则人眼处于闭合状态，否则处于张开状态。当驾驶员动作幅度大或进行转动时，人眼图像的大小会发生变动，肤色像素的像素点数量会随之发生变动；将预设阈值设计为动态函数，当人眼图像的大小会发生变动时，预设阈值也随人眼图像发生变动，使阈值和像素点数量之间的比较能准确地判断获取人眼的开闭状态。
进一步地，所述步骤S3包括：
步骤S3.1：根据脸部图像的清晰度获取第二权重；
步骤S3.2：根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
步骤S3.3：从驾驶操作和道路行驶规范提取第二疲劳特征；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长；
步骤S3.4：根据第二权重、第二疲劳特征计算出第二疲劳值。
具体地，根据脸部图像的清晰度获取第二权重；脸部图像越清晰，第二权重的越低，反之越高。然后通过GPS获取车辆的行驶信息，车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度。根据道路类型、道路方向能获取当前道路的行驶车速要求和行车线路要求。根据车辆行驶线路和车辆行驶速度获取油门控制和方向盘操作。根据油门控制和方向盘操作符合当前行驶车速要求、行车线路要求的时长以及第二权重获取到判断疲劳状态的依据之二——第二疲劳值。
进一步地，所述步骤S5中的措施为以下至少一项：音响告警、显示器告警、车内警示灯告警、车外警示灯告警、控制车辆减速和发送信息给控制中心。
具体地，当上述的检测判断驾驶员处于疲劳驾驶时，车内的音响会发出警示语音，提示驾驶员停止疲劳驾驶；车内的显示器会显示警示文字，提示驾驶员停止疲劳驾驶；车外的警示灯会开启，提示附近车辆，本车内的驾驶员处于疲劳驾驶；若驾驶员对于上述不进行理会，车内系统会判断道路类型，在不违反交通规则的情况下，强制车辆进行减速；若交通规则不允许，则发送信息给控制中心，再由控制中心发送信息给附近的车辆，通知附近的车辆注意通行。
一种疲劳驾驶检测系统，包括：
采集模块，用于采集驾驶信息；
所述驾驶信息包括驾驶员的脸部图像和车辆的行驶信息；
解析模块，用于对采集模块采集的信息进行解析，计算第一疲劳值和第二疲劳值，并且根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
响应模块，用于根据解析模块的判断结果采取对应的措施。
进一步地，所述解析模块包括：
图像预处理单元，用于根据脸部图像的清晰度计算第一权重以及对脸部图像进行图像降噪和低光增强；
人脸检测单元，用于对脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
人眼定位单元，用于对人脸检测后的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
第一解析单元，用于从人眼定位后的脸部图像中提取第一疲劳特征，并且根据第一权重和第一疲劳特征计算出第一疲劳值；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率。
进一步地，所述第一解析单元包括：
人眼边缘子单元，用于定位人眼边缘；
所述人眼边缘采用Canny算法检测获取；
第一辨别子单元，用于根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
第二辨别子单元，用于比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
PERCLOS值获取子单元，用于根据开闭状态获取PERCLOS值；
眨眼频率获取子单元，用于根据开闭状态变化的次数获取眨眼频率。
进一步地，所述解析模块还包括：
行驶信息预处理单元，用于根据脸部图像的清晰度计算第二权重以及根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过采集模块中的GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
第二解析单元，用于从驾驶操作和道路行驶规范提取第二疲劳特征，并且根据第二权重和第二疲劳特征计算出第二疲劳值；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长。
进一步地，所述响应模块包括：
音响告警单元，用于语音提示驾驶员当前处于疲劳状态；
显示器告警单元，用于文字提示驾驶员当前处于疲劳状态；
车内警示灯告警单元，用于灯光提示驾驶员当前处于疲劳状态；
车外警示灯告警单元，用于灯光提示附近车辆，车内的驾驶员当前处于疲劳状态；
控制车辆减速单元，用于控制车辆进行减速；
通信告警单元，用于发送信息给控制中心，控制中心再发信息给附近其他车辆，以此提示附近车辆，车内的驾驶员当前处于疲劳状态。
与现有技术相比，本发明的有益效果为：
(1)同时使用面部特征和车辆运动特征检测疲劳驾驶，使检测疲劳驾驶方法的适用性更强，受到外界环境影响更小。
(2)第一权重和第二权重的设计使疲劳驾驶的检测更为准确。
(3)将预设阈值设计为动态函数，使获取到的人眼的开闭状态更为准确，为疲劳驾驶的检测提供了有利条件。
附图说明
图1为本发明的疲劳驾驶检测系统结构图；
图2为本发明的解析模块结构图；
图3为本发明的第一解析单元结构图；
图4为本发明的响应模块结构图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例
本实施例提供一种疲劳驾驶检测方法，包括以下步骤：
步骤S1：采集驾驶信息建立数据集；
所述数据集包括图像数据集和操作数据集；
所述图像数据集用于存储驾驶员的脸部图像；所述操作数据集用于存储车辆的行驶信息；
步骤S2：将图像数据集输入第一检测模型，计算出第一疲劳值；
步骤S3：将操作数据集输入第二检测模型，计算出第二疲劳值；
步骤S4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
步骤S5：根据判断结果采取相应的措施。
具体地，基于驾驶员生理特征的检测方法需要驾驶员佩戴侵入式的检测仪器，会妨碍车辆的驾驶操作。因此，本方案采取了基于驾驶员面部特征和基于车辆运动特征相结合的疲劳驾驶检测方法。避免了受外界因素干扰，采集不到清晰的驾驶员脸部图像时，无法准确地判断疲劳状态；同时，也避免了因为复杂的路况和驾驶员的驾驶习惯，无法准确地判断疲劳状态。
进一步地，所述步骤S2包括：
步骤S2.1：对图像数据集中的脸部图像进行清晰度判断，若清晰度低于预定阈值进行步骤S2.2，否则进行步骤S2.3；
步骤S2.2：对脸部图像进行图像降噪和低光增强；
步骤S2.3：根据脸部图像的清晰度获取第一权重；
步骤S2.4：对图像数据集中的脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
步骤S2.5：对完成人脸检测的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
步骤S2.6：从人眼定位后的脸部图像中提第一取疲劳特征；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率；
步骤S2.7：根据第一权重和第一疲劳特征计算出第一疲劳值。
具体地，对采集到的脸部图像进行预处理，使其更为清晰，并且根据脸部图像的清晰度获取第一权重；脸部图像越清晰，第一权重的越高，反之越低。然后，采用Adaboost算法的层叠分类器进行人脸检测；Adaboost算法是一种迭代方法，其核心思想是针对不同的训练集训练同一个弱分类器，然后把在不同训练集上得到的弱分类器集合起来，构成一个最终的强分类器。该分类器能快速的检测出人脸，并且具有良好的鲁棒性。之后，再使用灰度投影法对脸部图像进行人眼定位；灰度投影法计算量小，因此能快速对人眼进行定位。最后，对第一取疲劳特征提取，根据第一权重和第一取疲劳特征获取到判断疲劳状态的依据之一——第一疲劳值。
进一步地，所述步骤S2.6包括：
步骤S2.61：采用Canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘；
步骤S2.62：根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
步骤S2.63：比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
步骤S2.64：根据开闭状态获取PERCLOS值和眨眼频率。
具体地，现有的人眼定位技术普遍存在不少缺点，使后续难以判断人眼的开闭状态，导致了无法得到准确的PERCLOS值和眨眼频率。难以判断人眼开闭状态的原因一般为：驾驶员动作幅度大或进行转动造成的。上述的灰度投影法虽然对人眼定位的速度快，但相应的定位不够精准，属于粗略定位。因此，本方案还采用了Canny算法推导出更准确的人眼的开闭状态。首先，使用Canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘。之后根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；若重合表明人眼处于闭合状态，若不重合则属于张开状态；此外，人眼还有处于半开闭状态的时候，为了更准确地获取人眼的开闭状态以计算疲劳值，本方案以人眼边缘内的像素值判断人眼的开闭状态。首先，预设一个阈值，当肤色像素的像素点数量大于阈值时，则人眼处于闭合状态，否则处于张开状态。当驾驶员动作幅度大或进行转动时，人眼图像的大小会发生变动，肤色像素的像素点数量会随之发生变动；将预设阈值设计为动态函数，当人眼图像的大小会发生变动时，预设阈值也随人眼图像发生变动，使阈值和像素点数量之间的比较能准确地判断获取人眼的开闭状态。
进一步地，所述步骤S3包括：
步骤S3.1：根据脸部图像的清晰度获取第二权重；
步骤S3.2：根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
步骤S3.3：从驾驶操作和道路行驶规范提取第二疲劳特征；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长；
步骤S3.4：根据第二权重、第二疲劳特征计算出第二疲劳值。
具体地，根据脸部图像的清晰度获取第二权重；脸部图像越清晰，第二权重的越低，反之越高。然后通过GPS获取车辆的行驶信息，车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度。根据道路类型、道路方向能获取当前道路的行驶车速要求和行车线路要求。根据车辆行驶线路和车辆行驶速度获取油门控制和方向盘操作。根据油门控制和方向盘操作符合当前行驶车速要求、行车线路要求的时长以及第二权重获取到判断疲劳状态的依据之二——第二疲劳值。
进一步地，所述步骤S5中的措施为以下至少一项：音响告警、显示器告警、车内警示灯告警、车外警示灯告警、控制车辆减速和发送信息给控制中心。
具体地，当上述的检测判断驾驶员处于疲劳驾驶时，车内的音响会发出警示语音，提示驾驶员停止疲劳驾驶；车内的显示器会显示警示文字，提示驾驶员停止疲劳驾驶；车外的警示灯会开启，提示附近车辆，本车内的驾驶员处于疲劳驾驶；若驾驶员对于上述不进行理会，车内系统会判断道路类型，在不违反交通规则的情况下，强制车辆进行减速；若交通规则不允许，则发送信息给控制中心，再由控制中心发送信息给附近的车辆，通知附近的车辆注意通行。
一种疲劳驾驶检测系统，图1为本发明的疲劳驾驶检测系统结构图，如图所示，包括：
采集模块，用于采集驾驶信息；
所述驾驶信息包括驾驶员的脸部图像和车辆的行驶信息；
解析模块，用于对采集模块采集的信息进行解析，计算第一疲劳值和第二疲劳值，并且根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
响应模块，用于根据解析模块的判断结果采取对应的措施。
图2为本发明的解析模块结构图，如图所示，所述解析模块包括：
图像预处理单元，用于根据脸部图像的清晰度计算第一权重以及对脸部图像进行图像降噪和低光增强；
人脸检测单元，用于对脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
人眼定位单元，用于对人脸检测后的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
第一解析单元，用于从人眼定位后的脸部图像中提取第一疲劳特征，并且根据第一权重和第一疲劳特征计算出第一疲劳值；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率。
图3为本发明的第一解析单元结构图，如图所示，所述第一解析单元包括：
人眼边缘子单元，用于定位人眼边缘；
所述人眼边缘采用Canny算法检测获取；
第一辨别子单元，用于根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
第二辨别子单元，用于比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
PERCLOS值获取子单元，用于根据开闭状态获取PERCLOS值；
眨眼频率获取子单元，用于根据开闭状态变化的次数获取眨眼频率。
进一步地，所述解析模块还包括：
行驶信息预处理单元，用于根据脸部图像的清晰度计算第二权重以及根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过采集模块中的GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
第二解析单元，用于从驾驶操作和道路行驶规范提取第二疲劳特征，并且根据第二权重和第二疲劳特征计算出第二疲劳值；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长。
图4为本发明的响应模块结构图，如图所示，所述响应模块包括：
音响告警单元，用于语音提示驾驶员当前处于疲劳状态；
显示器告警单元，用于文字提示驾驶员当前处于疲劳状态；
车内警示灯告警单元，用于灯光提示驾驶员当前处于疲劳状态；
车外警示灯告警单元，用于灯光提示附近车辆，车内的驾驶员当前处于疲劳状态；
控制车辆减速单元，用于控制车辆进行减速；
通信告警单元，用于发送信息给控制中心，控制中心再发信息给附近其他车辆，以此提示附近车辆，车内的驾驶员当前处于疲劳状态。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种疲劳驾驶检测方法，其特征在于，包括以下步骤：
步骤S1：采集驾驶信息建立数据集；
所述数据集包括图像数据集和操作数据集；
所述图像数据集用于存储驾驶员的脸部图像；所述操作数据集用于存储车辆的行驶信息；
步骤S2：将图像数据集输入第一检测模型，计算出第一疲劳值；
步骤S3：将操作数据集输入第二检测模型，计算出第二疲劳值；
步骤S4：根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
步骤S5：根据判断结果采取相应的措施。
2.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于，所述步骤S2包括：
步骤S2.1：对图像数据集中的脸部图像进行清晰度判断，若清晰度低于预定阈值进行步骤S2.2，否则进行步骤S2.3；
步骤S2.2：对脸部图像进行图像降噪和低光增强；
步骤S2.3：根据脸部图像的清晰度获取第一权重；
步骤S2.4：对图像数据集中的脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
步骤S2.5：对完成人脸检测的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
步骤S2.6：从人眼定位后的脸部图像中提第一取疲劳特征；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率；
步骤S2.7：根据第一权重和第一疲劳特征计算出第一疲劳值。
3.根据权利要求2所述的一种疲劳驾驶检测方法，其特征在于，所述步骤S2.6包括：
步骤S2.61：采用Canny算法对脸部图像的人眼区域进行边缘检测，获取人眼边缘；
步骤S2.62：根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
步骤S2.63：比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
步骤S2.64：根据开闭状态获取PERCLOS值和眨眼频率。
4.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于，所述步骤S3包括：
步骤S3.1：根据脸部图像的清晰度获取第二权重；
步骤S3.2：根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
步骤S3.3：从驾驶操作和道路行驶规范提取第二疲劳特征；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长；
步骤S3.4：根据第二权重、第二疲劳特征计算出第二疲劳值。
5.根据权利要求1所述的一种疲劳驾驶检测方法，其特征在于，所述步骤S5中的措施为以下至少一项：音响告警、显示器告警、车内警示灯告警、车外警示灯告警、控制车辆减速和发送信息给控制中心。
6.一种疲劳驾驶检测系统，其特征在于，包括：
采集模块，用于采集驾驶信息；
所述驾驶信息包括驾驶员的脸部图像和车辆的行驶信息；
解析模块，用于对采集模块采集的信息进行解析，计算第一疲劳值和第二疲劳值，并且根据第一疲劳值和第二疲劳值判断驾驶员是否处于疲劳状态；
响应模块，用于根据解析模块的判断结果采取对应的措施。
7.根据权利要求6所述的一种疲劳驾驶检测系统，其特征在于，所述解析模块包括：
图像预处理单元，用于根据脸部图像的清晰度计算第一权重以及对脸部图像进行图像降噪和低光增强；
人脸检测单元，用于对脸部图像进行人脸检测；
所述人脸检测采用Adaboost算法的层叠分类器进行；
人眼定位单元，用于对人脸检测后的脸部图像进行人眼定位；
所述人眼定位采用灰度投影法；
第一解析单元，用于从人眼定位后的脸部图像中提取第一疲劳特征，并且根据第一权重和第一疲劳特征计算出第一疲劳值；
所述第一疲劳特征为以下至少一项：PERCLOS值、瞳孔直径、眨眼频率和嘴巴张合频率。
8.根据权利要求7所述的一种疲劳驾驶检测系统，其特征在于，所述第一解析单元包括：
人眼边缘子单元，用于定位人眼边缘；
所述人眼边缘采用Canny算法检测获取；
第一辨别子单元，用于根据人眼边缘的上边缘和下边缘是否重合判断人眼的开闭状态；
第二辨别子单元，用于比较人眼边缘内的像素点数量与预设阈值，以此再次判断人眼的开闭状态；
所述像素点为肤色像素的像素点；所述预设阈值为动态函数，随脸部图像的变化而变化；
PERCLOS值获取子单元，用于根据开闭状态获取PERCLOS值；
眨眼频率获取子单元，用于根据开闭状态变化的次数获取眨眼频率。
9.根据权利要求6所述的一种疲劳驾驶检测系统，其特征在于，所述解析模块还包括：
行驶信息预处理单元，用于根据脸部图像的清晰度计算第二权重以及根据车辆的行驶信息获取对应的驾驶操作和道路行驶规范；
所述车辆的行驶信息包括：道路类型、道路方向、车辆行驶线路和车辆行驶速度，通过采集模块中的GPS获取；所述驾驶操作为油门控制和方向盘操作；所述道路行驶规范为当前道路的行驶车速要求和行车线路要求；
第二解析单元，用于从驾驶操作和道路行驶规范提取第二疲劳特征，并且根据第二权重和第二疲劳特征计算出第二疲劳值；
所述第二疲劳特征为驾驶操作符合当前道路行驶规范的时长。
10.根据权利要求6所述的一种疲劳驾驶检测系统，其特征在于，所述响应模块包括：
音响告警单元，用于语音提示驾驶员当前处于疲劳状态；
显示器告警单元，用于文字提示驾驶员当前处于疲劳状态；
车内警示灯告警单元，用于灯光提示驾驶员当前处于疲劳状态；
车外警示灯告警单元，用于灯光提示附近车辆，车内的驾驶员当前处于疲劳状态；
控制车辆减速单元，用于控制车辆进行减速；
通信告警单元，用于发送信息给控制中心，控制中心再发信息给附近其他车辆，以此提示附近车辆，车内的驾驶员当前处于疲劳状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196284.8A CN114523979A (zh) | 2020-10-30 | 2020-10-30 | 一种疲劳驾驶检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196284.8A CN114523979A (zh) | 2020-10-30 | 2020-10-30 | 一种疲劳驾驶检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114523979A true CN114523979A (zh) | 2022-05-24 |
Family
ID=81619622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011196284.8A Withdrawn CN114523979A (zh) | 2020-10-30 | 2020-10-30 | 一种疲劳驾驶检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114523979A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118781580A (zh) * | 2024-06-12 | 2024-10-15 | 钧捷科技（北京）有限公司 | 一种固定时长滚动统计眨眼频率的驾驶员疲劳度检测方法 |
-
2020
- 2020-10-30 CN CN202011196284.8A patent/CN114523979A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118781580A (zh) * | 2024-06-12 | 2024-10-15 | 钧捷科技（北京）有限公司 | 一种固定时长滚动统计眨眼频率的驾驶员疲劳度检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107697069B (zh) | 汽车驾驶员疲劳驾驶智能控制方法 | |
| Kaplan et al. | Driver behavior analysis for safe driving: A survey | |
| CN108995654B (zh) | 一种驾驶员状态识别方法及系统 | |
| WO2020078465A1 (zh) | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 | |
| CN107832748B (zh) | 一种共享汽车驾驶员更换系统及方法 | |
| CN106571015A (zh) | 基于互联网络的驾驶行为数据采集方法 | |
| CN108446600A (zh) | 一种车辆驾驶员疲劳监测预警系统及方法 | |
| US20160272217A1 (en) | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape | |
| CN107972671A (zh) | 一种驾驶行为分析系统 | |
| CN105303830A (zh) | 一种驾驶行为分析系统及分析方法 | |
| CN209795467U (zh) | 一种疲劳驾驶检测系统和车辆 | |
| CN105564436A (zh) | 一种高级驾驶辅助系统 | |
| CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
| CN114529887A (zh) | 一种驾驶行为分析方法及装置 | |
| CN106467057A (zh) | 车道偏离预警的方法、装置及系统 | |
| CN106710145A (zh) | 一种引导式驾驶员困倦预防方法 | |
| CN110281944A (zh) | 基于多信息融合的驾驶员状态监测系统 | |
| CN109801475A (zh) | 疲劳驾驶检测方法、装置及计算机可读存储介质 | |
| CN117227740B (zh) | 一种智能驾驶车辆的多模态感知系统及方法 | |
| CN117523537A (zh) | 一种车辆驾驶危险程度动态判断方法 | |
| CN114523979A (zh) | 一种疲劳驾驶检测方法及系统 | |
| CN114419841A (zh) | 驾驶员疲劳驾驶预警系统及方法 | |
| CN118609103A (zh) | 基于智慧交通的车辆驾驶危险行为识别预警方法及系统 | |
| Qureshi et al. | An Effective IOT based Driver's Drowsiness Detection and Monitoring System to Avoid Real-Time Road Accidents | |
| CN210000130U (zh) | 一种汽车自识别减速系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220524 |
|
| WW01 | Invention patent application withdrawn after publication |