CN113838265B - 疲劳驾驶预警方法、装置以及电子设备 - Google Patents
疲劳驾驶预警方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN113838265B CN113838265B CN202111138831.1A CN202111138831A CN113838265B CN 113838265 B CN113838265 B CN 113838265B CN 202111138831 A CN202111138831 A CN 202111138831A CN 113838265 B CN113838265 B CN 113838265B
- Authority
- CN
- China
- Prior art keywords
- fatigue
- value
- fatigue evaluation
- evaluation value
- yawning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 101
- 206010048232 Yawning Diseases 0.000 claims description 57
- 241001282135 Poromitra oscitans Species 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013209 evaluation strategy Methods 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000012854 evaluation process Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 abstract description 13
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 208000003464 asthenopia Diseases 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了一种疲劳驾驶预警方法、装置以及电子设备，本发明的主要构思在于，通过将图像处理技术与疲劳监测技术结合，实现对用户驾驶载具过程中的疲劳驾驶状态进行实时监测，并配置相应的提醒预警功能。具体来说，在驾驶过程中至少需要采集到驾驶员的眼部及嘴部两个维度的人脸信息，并对各维度的人脸信息采用不同的策略进行疲劳评估，之后将疲劳评估结果与驾驶时间进行融合计算获得目标疲劳值，再根据目标疲劳值实时输出相对应的预警信息。本发明克服了单一特征的局限，减小了干扰因素及个体差异对检测结果的影响，同时融合了人脸图像信息以及载具驾驶信息，使得疲劳检测结果及相应的预警机制更为准确可靠，为安全驾驶提供了安全且有效的保障。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种疲劳驾驶预警方法、装置以及电子设备。
背景技术
交通事故持续发生，以车祸为例，由于疲劳驾驶导致的严重车祸占比相对较高，因此如何消除疲劳驾驶的隐患成为相关领域的研究重点。
众所周知，疲劳是一种生理现象，是由于过度的体力或者脑力劳动引起。在医学上，疲劳被定义为由大脑释放的需要休息放松的信号，其主要表现在于正常反应减慢和精力不集中、容易走神等。而人在疲劳、困倦状态时驾驶载具，容易出现眼睛半睁、频繁眨眼的情况，因此可以通过上述两种生理疲劳表现对应的人脸图像特征，来进行疲劳判断。
目前人脸图像特征在疲劳驾驶检测方面也有一定的研究，例如较为常用的人眼状态检测中，通过实时的视频监控图像获取人眼信息，然后根据机器学习算法获取人眼位置，再确定出眼睛睁开状态，最后得到疲劳判定结果。
但是，在驾驶过程中实时获取用户人脸图像所受到的自然干扰因素很多，比如光照、晚上灯光较弱等，在某些特定环境下收集的人脸图像对于人眼信息的检测会带来干扰，进而影响识别结果，所以，单一的人眼信息其检测可靠性较低，而且在现实中，由于驾驶员的个体生理差异，个人对疲劳产生的生理表现不尽相同，所以单一特征提取的检测方案难以满足针对所有用户的预警所需。此外，目前基于图像的疲劳检测方案中也没有区别对待不同的驾驶时间、驾驶距离对于同一级别的疲劳所带来的危害程度。
然而，在交通载具(本发明以汽车为例，但不限于汽车，其他适用的交通载具皆可)驾驶过程中，随着驾驶时间及距离的累积，驾驶员长时间处于精神高度集中、身姿维持相对固定的状态，很容易导致驾驶员出现疲态，进而对驾驶过程中的紧急状况出现响应不及的问题，存在极大的安全隐患。
发明内容
鉴于上述，本发明旨在提供一种疲劳驾驶预警方法、装置以及电子设备，以解决主要依赖眼睛状态进行疲劳驾驶的上述弊端。
本发明采用的技术方案如下：
第一方面，本发明提供了一种疲劳驾驶预警方法，其中包括：
从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征；
分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值；
根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值；
融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
基于目标疲劳值实时输出疲劳驾驶预警信息。
在其中至少一种可能的实现方式中，基于眼部区域特征进行疲劳评估并得到第一疲劳评估值的方式包括：
根据眼部区域特征求取眨眼频率和/或眼睛睁开幅度；
利用眨眼频率和/或眼睛睁开幅度以及预设的频率阈值和/或幅度阈值，获得第一疲劳评估值。
在其中至少一种可能的实现方式中，所述预警方法还包括：
预先检测载具玻璃上的阳光照射强度；
仅在阳光照射强度低于预设的强度阈值时，触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，所述预警方法还包括：
预先结合载具当前所在区域的时间信息、天气信息以及载具行驶方向信息，判断阳光是否会照射到驾驶员的眼睛；
若否，则触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，基于嘴部区域特征进行疲劳评估并得到第二疲劳评估值的方式包括：
根据嘴部区域特征，判断驾驶员的嘴部张开闭合动作及持续时间；
根据嘴部张开闭合状态及持续时间，确定哈欠状态；
根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，基于嘴部区域特征进行疲劳评估并得到第二疲劳评估值的方式包括：
当基于眼部区域特征的疲劳评估处理，判定出驾驶员处于疲劳状态时，检测驾驶员人脸图像中的嘴部区域是否出现手部；
若是，则确定为哈欠状态；
根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，以相邻的哈欠状态之间的时间差表征哈欠频率，且哈欠频率阈值为时间差阈值。
第二方面，本发明提供了一种疲劳驾驶预警装置，其中包括：
人脸图像处理模块，用于从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征；
疲劳评估值计算模块，用于分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值；
动态权重值计算模块，用于根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值；
目标疲劳值计算模块，用于融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
预警输出模块，用于基于目标疲劳值实时输出疲劳驾驶预警信息。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第一疲劳评估单元，所述第一疲劳评估单元具体包括：
眼部动作检测组件，用于根据眼部区域特征求取眨眼频率和/或眼睛睁开幅度；
第一打分组件，用于利用眨眼频率和/或眼睛睁开幅度以及预设的频率阈值和/或幅度阈值，获得第一疲劳评估值。
在其中至少一种可能的实现方式中，所述预警装置还包括：
阳光照射强度检测模块，用于预先检测载具玻璃上的阳光照射强度；
眼部疲劳评估触发模块，用于仅在阳光照射强度低于预设的强度阈值时，触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，所述预警装置还包括：
阳光干扰检测模块，用于预先结合载具当前所在区域的时间信息、天气信息以及载具行驶方向信息，判断阳光是否会照射到驾驶员的眼睛；
眼部疲劳评估触发模块，用于当阳光干扰检测模块输出为否时，触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第二疲劳评估单元，所述第二疲劳评估单元具体包括：
嘴部动作检测组件，用于根据嘴部区域特征，判断驾驶员的嘴部张开闭合动作及持续时间；
哈欠状态确定组件，用于根据嘴部张开闭合状态及持续时间，确定哈欠状态；
第二打分组件，用于根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第二疲劳评估单元，所述第二疲劳评估单元具体包括：
手部检测组件，用于当基于眼部区域特征的疲劳评估处理，判定出驾驶员处于疲劳状态时，检测驾驶员人脸图像中的嘴部区域是否出现手部；
哈欠状态确定组件，用于当手部检测组件输出为是时，确定为哈欠状态；
第二打分组件，用于根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，以相邻的哈欠状态之间的时间差表征哈欠频率，且哈欠频率阈值为时间差阈值。
第三方面，本发明提供了一种电子设备，其中包括：
一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
本发明的主要构思在于，通过将图像处理技术与疲劳监测技术结合，实现对用户驾驶交通载具过程中的疲劳驾驶状态进行实时监测，并配置相应的提醒预警功能。具体来说，在驾驶过程中至少需要采集到驾驶员的眼部及嘴部两个维度的人脸信息，并对各维度的人脸信息采用不同的策略进行疲劳评估，之后将疲劳评估结果与驾驶时间进行加权计算获得目标疲劳值，再根据目标疲劳值的高低实时输出相对应的预警信息。本发明克服了单一特征的局限，减小了干扰因素及个体差异对检测结果的影响，同时融合了人脸图像信息以及载具驾驶信息，使得疲劳检测结果及相应的预警机制更为准确可靠，为安全驾驶提供了安全且有效的保障。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明提供的疲劳驾驶预警方法的实施例的流程图；
图2为本发明提供的疲劳驾驶预警装置的实施例的示意图；
图3为本发明提供的电子设备的实施例的示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
为了解决目前基于图像处理的疲劳驾驶方案中由于依赖单一特征信息，而导致的检测准确率较低、预警可靠性较差的弊端，本发明提出了如下至少一种疲劳驾驶预警方法的实施例，如图1所示的，具体可以包括：
步骤S1、从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征。
在载具运行阶段，也即是驾驶过程中，可以借由车载视觉捕获设备，实时采集驾驶员的人脸图像，这里的人脸图像可以是指单张静态图，也可以是指动态视频中若干帧图像，对此本发明不作限定。
步骤S2、分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值。
在实际操作中，可以通过PERCLOS算法获取人眼疲劳评估结果，PERCLOS是由卷积神经网络对人眼特征点进行处理之后计算出眼睛闭合的时间百分比来识别人眼的状态，而从清醒到疲劳的渐进过程中，此百分比值会不断变大，当对象进入瞌睡时，眼睛完全处于闭合状态，此时百分比值为1。
正常状态下，人类平均每分钟眨眼10～20次，一次眨眼时间为0.2～0.3s，由此，可以设定此时的PERCLOS值为3.3％和10％之间；而当一次眨眼时间达到0.5～3s时，则可以视为处于疲劳状态。在较佳实施例中，对于利用前述策略得到的PERCLOS值，可以进一步转化为统一的由百分制(或其他分制)表征的第一疲劳评估值，例如，可以认为PERCLOS从0开始，对应驾驶员的疲劳评估值为0(初始值)，在PERCLOS增大的过程中，当PERCLOS为60％时，可以对应第一疲劳评估值接近100，这里提供下述针对人眼图像特征的第一疲劳评估值计算示例，其中，SE表征第一疲劳评估值(百分制分数)，P表征PERCLOS值(本领域技术人员可以理解的是，下述公式中涉及的具体数值可以按需调整)：
进一步地，本发明结合真实应用场景，还进行了如下分析：
除了上述基于眨眼频率的处理策略，眼睛的睁开程度也能够表征疲劳与否，因此可以利用人脸图像获取眼睛是否处于睁开状态，且计算出睁开的眼睛与预设的常态下的睁眼特征的差异，例如通过计算眼睛睁开的大小程度占比进行比对考察。
在上述基础上，本发明还考虑到由于车辆在行驶过程中，因行驶方向的差异可能会出现阳光照射前挡风玻璃的情况，使得驾驶员的眼睛睁开的幅度相对较小，此时若依据睁眼程度或者眨眼频率进行疲劳检测，则可能出现误判(还可以理解的是，阳光照射到驾驶员眼睛时，驾驶员还可能通过遮阳板、墨镜等方式遮挡眼睛，因此，此时也较难获取可靠的眼部特征)。由此，在一些较佳实施例中本发明提出，在触发通过眼部图像特征进行疲劳评估之前，先检测出载具玻璃(例如汽车的前挡风玻璃)的阳光照射强度，仅在阳光照射强度低于预设的强度阈值时，才触发基于眼部图像特征的疲劳检测机制。当然，在本发明的其他实施例中，还可以综合载具当前所在区域的时间信息、天气信息以及载具行驶方向信息等作为阳光是否能够照射驾驶员眼睛的判断依据，对此本发明不作赘述。
关于针对嘴部状态的疲劳评估，可以基于目前对于打哈欠频率的计算策略进行设计，这里涉及的打哈欠检测，主要是对于得到的人脸图像进行处理之后，利用卷积神经网络计算用户嘴部的张开状态以及张开状态持续时间，从而判断是否为哈欠。
在判断哈欠状态之后，可以根据统计固定时长的哈欠数进行疲劳检测，例如在1分钟内得到哈欠频率小于预设的第一阈值，则可以认为用户处于清醒状态或者轻度疲劳，而当统计结果到达预设的第二阈值时(例如每分钟1-2次)则可以认为是处于中度疲劳，当统计结果大于预设的第三阈值(例如，2.5次)则可以判定处于严重疲劳状态。如前文所述，在统计得到哈欠频率f的前提下，可将其转化为百分制(或其他分制)的第二疲劳评估值SM(本领域技术人员可以理解的是，下述公式中涉及的具体数值可以按需调整)：
对此维度，本发明还可以补充的是，由于本发明期望疲劳预警机制为实时预警，以此才能确保预警的有效性，因而在本发明的较佳实施例中，可以不统计固定时长之内(如1分钟)的哈欠数量，而是通过识别出的相邻哈欠之间的时间差，来表征前述哈欠频率，以避免在一定时间内进行统计操作带来的延误影响或者由于统计偏差造成误判，从而可以有效确保后续预警输出的时效性。
进一步地，本发明结合真实应用场景，还进行了如下分析：
一部分用户在打哈欠时会下意识的将手遮挡嘴部，而基于人脸图像识别哈欠的前提下，此动作可能导致嘴部特征获取不完整，难以准确检测出打哈欠的动作，甚至在某些场景中可能无法定位嘴部位置，基于此情况，在本发明的一些较佳实施例中提出，可以结合前述眼部特征提取，在判定为可能处于疲劳时(在实际操作中，通过眼部特征识别出处于轻度疲劳即可触发)，如再通过人脸图像检测出用户手部位于脸部下方特定区域时(可以既定出此区域为嘴部区域)，则可以推定此时用户打了一次哈欠，并基于此可以求取出前述哈欠频率并计算出相应的第二疲劳评估值。
步骤S3、根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值。
接续前文，随着车辆行驶时间及行驶距离的增加，驾驶员必然长时间处于精神高度集中、坐姿基本固定的状态，因而由此方面，也可以辅助判定出驾驶员的疲劳程度。针对于此，本发明提出可以设计一个与时间相关的动态权重ω，这样，在前述基于人脸图像获得同等疲劳评估值的状况下，可以通过该动态权重，获得更为准确的疲劳程度等级。例如，在默认情况下ω＝1，随着驾驶时间及驾驶距离的增加，ω值会逐渐递增(需指出的是，可以直接获取车辆的单次行驶时间，当然也可以根据车辆启动后的总里程来推算行驶时间，即行驶时间及行驶距离具有对应关系，可以不限定二者的取舍)。此外，根据相关法规，对于汽车而言，要求不能连续驾驶4个小时，因此在对前述动态权重进行实际设定时，可以设定在初始状态下ω值为1，在连续驾驶4个小时之后ω值线性变为2；而超过4个小时，则将ω值置为一个较大的数字，也即是在后续计算目标疲劳值时可以方便地基于该较大的权重直接判定为处于严重疲劳状态。关于上述对动态权重ω值的计算，可以参考如下示例，其中t表征相对时间(可以从车辆运行信息中获取，且本领域技术人员可以理解的是，下述公式中涉及的具体数值可以按需调整)：
步骤S4、融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
步骤S5、基于目标疲劳值实时输出疲劳驾驶预警信息。
最后，结合上述基于眼部图像特征获得的第一疲劳评估值SE、基于嘴部图像特征获得的第二疲劳评估值SM，以及基于时间维度的动态权重值ω，求取目标疲劳值。而结合三者的计算方式可以有多种选择，例如将ω作为系数，与SE及SM二者之和相乘；或者，将ω作为系数，与SE及SM二者比对出的最大者相乘，等等方式皆可以获得目标疲劳值，而针对不同的结合运算方式，则可以预设相应的预警阈值，当前述结合运算结果大于或等于该预警阈值时，则可以输出既定的预警信息。
进一步地，还可以为目标疲劳值设定不同的等级以表征不同的，也即是可以将预警阈值设为不同的档位，每个档位对应输出不同程度的预警信息内容，对此本发明不作限定和赘述，实施时可以参考现有的多档位预警机制。
综上所述，本发明的主要构思在于，通过将图像处理技术与疲劳监测技术结合，实现对用户驾驶交通载具过程中的疲劳驾驶状态进行实时监测，并配置相应的提醒预警功能。具体来说，在驾驶过程中至少需要采集到驾驶员的眼部及嘴部两个维度的人脸信息，并对各维度的人脸信息采用不同的策略进行疲劳评估，之后将疲劳评估结果与驾驶时间进行加权计算获得目标疲劳值，再根据目标疲劳值的高低实时输出相对应的预警信息。本发明克服了单一特征的局限，减小了干扰因素及个体差异对检测结果的影响，同时融合了人脸图像信息以及载具驾驶信息，使得疲劳检测结果及相应的预警机制更为准确可靠，为安全驾驶提供了安全且有效的保障。
相应于上述各实施例及优选方案，本发明还提供了一种疲劳驾驶预警装置的实施例，如图2所示，具体可以包括如下部件：
人脸图像处理模块1，用于从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征；
疲劳评估值计算模块2，用于分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值；
动态权重值计算模块3，用于根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值；
目标疲劳值计算模块4，用于融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
预警输出模块5，用于基于目标疲劳值实时输出疲劳驾驶预警信息。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第一疲劳评估单元，所述第一疲劳评估单元具体包括：
眼部动作检测组件，用于根据眼部区域特征求取眨眼频率和/或眼睛睁开幅度；
第一打分组件，用于利用眨眼频率和/或眼睛睁开幅度以及预设的频率阈值和/或幅度阈值，获得第一疲劳评估值。
在其中至少一种可能的实现方式中，所述预警装置还包括：
阳光照射强度检测模块，用于预先检测载具玻璃上的阳光照射强度；
眼部疲劳评估触发模块，用于仅在阳光照射强度低于预设的强度阈值时，触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，所述预警装置还包括：
阳光干扰检测模块，用于预先结合载具当前所在区域的时间信息、天气信息以及载具行驶方向信息，判断阳光是否会照射到驾驶员的眼睛；
眼部疲劳评估触发模块，用于当阳光干扰检测模块输出为否时，触发基于眼部区域特征的疲劳评估处理。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第二疲劳评估单元，所述第二疲劳评估单元具体包括：
嘴部动作检测组件，用于根据嘴部区域特征，判断驾驶员的嘴部张开闭合动作及持续时间；
哈欠状态确定组件，用于根据嘴部张开闭合状态及持续时间，确定哈欠状态；
第二打分组件，用于根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，疲劳评估值计算模块包括第二疲劳评估单元，所述第二疲劳评估单元具体包括：
手部检测组件，用于当基于眼部区域特征的疲劳评估处理，判定出驾驶员处于疲劳状态时，检测驾驶员人脸图像中的嘴部区域是否出现手部；
哈欠状态确定组件，用于当手部检测组件输出为是时，确定为哈欠状态；
第二打分组件，用于根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
在其中至少一种可能的实现方式中，以相邻的哈欠状态之间的时间差表征哈欠频率，且哈欠频率阈值为时间差阈值。
应理解以上图2所示的疲劳驾驶预警装置可中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明所涉及的技术构思可适用于多种实施方式，本发明以下述载体作为示意性说明：
(1)一种电子设备。该设备具体可以包括：一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或者等效实施方式的步骤/功能。
该电子设备具体可以为与计算机相关的电子设备，例如但不限于各类交互终端及电子产品等，例如具体的车载智能终端、移动终端等。
图3为本发明提供的电子设备的实施例的结构示意图，具体地，电子设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
进一步地，上述设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。
应理解，该设备900中的各个部件的操作和/或功能，具体可参见前文中关于方法、系统等实施例的描述，为避免重复，此处适当省略详细描述。
应理解，图3所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等，具体在下文中再作介绍。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
(2)一种计算机数据存储介质，在该存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机数据取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。
尤其需指出的是，该存储介质可以是指服务器或相类似的计算机设备，具体地，也即是服务器或类似的计算机设备中的存储器件中存储有前述计算机程序或上述装置。
(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的疲劳驾驶预警方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP。
接续前文，上述设备/终端可以是一台计算机设备，并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image SignalProcessing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random AccessMemory；以下简称：RAM)等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以及，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
Claims (10)
1.一种疲劳驾驶预警方法，其特征在于，包括：
从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征；
分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值；其中所述第二疲劳评估值包括哈欠频率，且以相邻的哈欠状态之间的时间差表征哈欠频率；
根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值；
融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
基于目标疲劳值实时输出疲劳驾驶预警信息。
2.根据权利要求1所述的疲劳驾驶预警方法，其特征在于，基于眼部区域特征进行疲劳评估并得到第一疲劳评估值的方式包括：
根据眼部区域特征求取眨眼频率和/或眼睛睁开幅度；
利用眨眼频率和/或眼睛睁开幅度以及预设的频率阈值和/或幅度阈值，获得第一疲劳评估值。
3.根据权利要求2所述的疲劳驾驶预警方法，其特征在于，所述预警方法还包括：
预先检测载具玻璃上的阳光照射强度；
仅在阳光照射强度低于预设的强度阈值时，触发基于眼部区域特征的疲劳评估处理。
4.根据权利要求2所述的疲劳驾驶预警方法，其特征在于，所述预警方法还包括：
预先结合载具当前所在区域的时间信息、天气信息以及载具行驶方向信息，判断阳光是否会照射到驾驶员的眼睛；
若否，则触发基于眼部区域特征的疲劳评估处理。
5.根据权利要求1所述的疲劳驾驶预警方法，其特征在于，基于嘴部区域特征进行疲劳评估并得到第二疲劳评估值的方式包括：
根据嘴部区域特征，判断驾驶员的嘴部张开闭合动作及持续时间；
根据嘴部张开闭合状态及持续时间，确定哈欠状态；
根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
6.根据权利要求1所述的疲劳驾驶预警方法，其特征在于，基于嘴部区域特征进行疲劳评估并得到第二疲劳评估值的方式包括：
当基于眼部区域特征的疲劳评估处理，判定出驾驶员处于疲劳状态时，检测驾驶员人脸图像中的嘴部区域是否出现手部；
若是，则确定为哈欠状态；
根据哈欠频率以及预设的哈欠频率阈值，获得第二疲劳评估值。
7.根据权利要求5或6所述的疲劳驾驶预警方法，其特征在于，哈欠频率阈值为时间差阈值。
8.一种疲劳驾驶预警装置，其特征在于，包括：
人脸图像处理模块，用于从载具运行时采集的驾驶员人脸图像中，至少获取到眼部区域特征以及嘴部区域特征；
疲劳评估值计算模块，用于分别根据眼部区域特征、嘴部区域特征以及预设的不同的评估策略，得到对应的第一疲劳评估值以及第二疲劳评估值；其中所述第二疲劳评估值包括哈欠频率，且以相邻的哈欠状态之间的时间差表征哈欠频率；
动态权重值计算模块，用于根据载具的运行信息，获取与行驶时间和/或行驶距离相关的动态权重值；
目标疲劳值计算模块，用于融合第一疲劳评估值、第二疲劳评估值以及动态权重值，得到目标疲劳值；
预警输出模块，用于基于目标疲劳值实时输出疲劳驾驶预警信息。
9.一种电子设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行权利要求1～7任一项所述的疲劳驾驶预警方法。
10.一种计算机数据存储介质，其特征在于，所述计算机数据存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行权利要求1～7任一项所述的疲劳驾驶预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111138831.1A CN113838265B (zh) | 2021-09-27 | 2021-09-27 | 疲劳驾驶预警方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111138831.1A CN113838265B (zh) | 2021-09-27 | 2021-09-27 | 疲劳驾驶预警方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113838265A CN113838265A (zh) | 2021-12-24 |
| CN113838265B true CN113838265B (zh) | 2023-05-30 |
Family
ID=78970651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111138831.1A Active CN113838265B (zh) | 2021-09-27 | 2021-09-27 | 疲劳驾驶预警方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838265B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114261395B (zh) * | 2021-12-27 | 2024-04-09 | 深圳市驿航科技有限公司 | 信息提醒方法及相关设备和介质 |
| CN114898530A (zh) * | 2022-04-29 | 2022-08-12 | 中国银行股份有限公司 | 一种疲劳驾驶的检测方法及检测设备 |
| CN114973387A (zh) * | 2022-04-29 | 2022-08-30 | 中国银行股份有限公司 | 一种疲劳驾驶的检测方法及检测设备 |
| CN114601478B (zh) * | 2022-05-11 | 2022-09-02 | 西南交通大学 | 一种提高司机警觉度的方法、装置、设备及可读存储介质 |
| CN118314558B (zh) * | 2024-04-22 | 2024-11-05 | 中国人民解放军军事科学院系统工程研究院 | 一种疲劳驾驶检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN108369766A (zh) * | 2016-05-10 | 2018-08-03 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警系统及预警方法 |
| CN108545080A (zh) * | 2018-03-20 | 2018-09-18 | 北京理工大学 | 驾驶员疲劳检测方法及系统 |
| CN111583585A (zh) * | 2020-05-26 | 2020-08-25 | 苏州智华汽车电子有限公司 | 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质 |
| CN111582086A (zh) * | 2020-04-26 | 2020-08-25 | 湖南大学 | 基于多特征的疲劳驾驶识别方法及系统 |
| CN112224170A (zh) * | 2020-08-25 | 2021-01-15 | 安徽江淮汽车集团股份有限公司 | 车辆控制系统及方法 |
| CN112560568A (zh) * | 2019-09-10 | 2021-03-26 | 佛吉亚内饰工业公司 | 用于检测交通工具驾驶员的打哈欠的方法和装置 |
| CN112784684A (zh) * | 2020-12-25 | 2021-05-11 | 广东美电贝尔科技集团股份有限公司 | 智能执勤分析评价方法及其系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230619A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 基于多特征融合的疲劳驾驶检测方法 |
| CN109934199A (zh) * | 2019-03-22 | 2019-06-25 | 扬州大学 | 一种基于计算机视觉的驾驶员疲劳检测方法及系统 |
| CN112241658B (zh) * | 2019-07-17 | 2023-09-01 | 青岛大学 | 一种基于深度相机的疲劳驾驶预警方法 |
| CN112208544B (zh) * | 2020-10-21 | 2022-10-14 | 合肥工业大学 | 一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统 |
| CN112528919A (zh) * | 2020-12-21 | 2021-03-19 | 苏州中科华影健康科技有限公司 | 一种疲劳驾驶检测方法及装置、计算机可读介质 |
-
2021
- 2021-09-27 CN CN202111138831.1A patent/CN113838265B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN108369766A (zh) * | 2016-05-10 | 2018-08-03 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警系统及预警方法 |
| CN108545080A (zh) * | 2018-03-20 | 2018-09-18 | 北京理工大学 | 驾驶员疲劳检测方法及系统 |
| CN112560568A (zh) * | 2019-09-10 | 2021-03-26 | 佛吉亚内饰工业公司 | 用于检测交通工具驾驶员的打哈欠的方法和装置 |
| CN111582086A (zh) * | 2020-04-26 | 2020-08-25 | 湖南大学 | 基于多特征的疲劳驾驶识别方法及系统 |
| CN111583585A (zh) * | 2020-05-26 | 2020-08-25 | 苏州智华汽车电子有限公司 | 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质 |
| CN112224170A (zh) * | 2020-08-25 | 2021-01-15 | 安徽江淮汽车集团股份有限公司 | 车辆控制系统及方法 |
| CN112784684A (zh) * | 2020-12-25 | 2021-05-11 | 广东美电贝尔科技集团股份有限公司 | 智能执勤分析评价方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113838265A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113838265B (zh) | 疲劳驾驶预警方法、装置以及电子设备 | |
| US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
| CN112289003B (zh) | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 | |
| US20220175287A1 (en) | Method and device for detecting driver distraction | |
| CN113642522B (zh) | 基于音视频的疲劳状态检测方法和装置 | |
| JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| Chang et al. | Driver fatigue surveillance via eye detection | |
| Kumar et al. | Driver assistance system using raspberry pi and haar cascade classifiers | |
| Liu et al. | Driver fatigue detection through pupil detection and yawing analysis | |
| Matsuo et al. | Prediction of drowsy driving by monitoring driver's behavior | |
| Utomo et al. | Driver fatigue prediction using different sensor data with deep learning | |
| CN107169481A (zh) | 一种提醒方法及装置 | |
| DE112019007484T5 (de) | Informationsverarbeitungsvorrichtung, programm und informationsverarbeitungsverfahren | |
| Soman et al. | Internet-of-Things-assisted artificial intelligence-enabled drowsiness detection framework | |
| CN113420656A (zh) | 一种疲劳驾驶检测方法、装置、电子设备及存储介质 | |
| US10945651B2 (en) | Arousal level determination device | |
| JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
| CN117842085A (zh) | 驾驶状态检测与预警方法、系统、电子设备及存储介质 | |
| JP2020013554A (ja) | 覚醒度判定装置 | |
| Ngasri et al. | Automated stand-alone video-based microsleep detection system by using EAR technique | |
| Srivastava | Driver's drowsiness identification using eye aspect ratio with adaptive thresholding | |
| Miyaji | Data mining for safety transportation by means of using Internet survey | |
| CN114103959B (zh) | 一种酒后驾车的监测装置及方法 | |
| Victoreia et al. | Driver fatigue monitoring system using eye closure | |
| Miyaji | Study on the reduction effect of traffic accident by using analysis of Internet survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |