CN110738190A - 一种疲劳驾驶的判断方法、装置及设备 - Google Patents
一种疲劳驾驶的判断方法、装置及设备 Download PDFInfo
- Publication number
- CN110738190A CN110738190A CN201911030590.1A CN201911030590A CN110738190A CN 110738190 A CN110738190 A CN 110738190A CN 201911030590 A CN201911030590 A CN 201911030590A CN 110738190 A CN110738190 A CN 110738190A
- Authority
- CN
- China
- Prior art keywords
- driver
- head
- target image
- sequence data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 36
- 208000003443 Unconsciousness Diseases 0.000 claims description 18
- 125000004122 cyclic group Chemical group 0.000 claims description 17
- 230000002618 waking effect Effects 0.000 claims description 16
- 230000000306 recurrent effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 40
- 206010016256 fatigue Diseases 0.000 description 26
- 206010039203 Road traffic accident Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000028327 extreme fatigue Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Emergency Management (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种疲劳驾驶的判断方法、装置及设备，所述判断方法首先获得包含驾驶人头部图像的目标图像；然后确定所述目标图像中驾驶人的头部姿态信息；随后判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；最后当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。可见，本发明技术方案中，可以依据驾驶人在预定时间段内的头部姿态来确定出驾驶人处于未清醒状态，从而发出提醒信息来尽可能预防交通事故的发生。
Description
技术领域
本发明涉及机器学习技术领域，特别是涉及一种疲劳驾驶的判断方法、装置及设备。
背景技术
随着国内经济的迅速发展以及人民生活水平的逐渐提高，机动车的保有量在不断增大。
与此同时，道路交通事故的数量也呈现出不断上升的趋势。
在道路交通事故中，驾驶人疲劳驾驶是导致交通事故的主要因素之一。
因此，需要在驾驶人疲劳时给与及时提醒，来减少交通事故的发生。
发明内容
为解决上述技术问题，本发明实施例提供了一种疲劳驾驶的判断方法、装置及设备，以在驾驶人出现未清醒状态时，及时给出提醒来尽可能预防交通事故的发生，本发明的技术方案如下：
一种疲劳驾驶的判断方法，包括：
获得包含驾驶人头部图像的目标图像；
确定所述目标图像中驾驶人的头部姿态信息；
判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
优选的，所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
优选的，所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到所述目标图像中的人脸关键点；
将所述人脸关键点映射到头部立体空间中；
在所述头部立体空间中依据所述人脸关键点计算表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
优选的，所述判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果包括：
将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
优选的，所述使用循环记忆神经网络模型识别所述特征序列数据前还包括：
对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述使用循环记忆神经网络模型识别所述特征序列数据包括：将所述使用循环记忆神经网络模型识别所述特征序列。
优选的，所述使用循环记忆神经网络模型识别所述序列数据，得到表征驾驶人是否处于未清醒状态的判断结果包括：
将所述特征序列中每一个欧拉角参数值对应的特征序列分别输入循环记忆神经网络模型中，得到多个所述驾驶人处于未清醒状态的独立概率值；
将所述特征序列中每一个欧拉角参数值对应的特征序列组成的向量输入循环记忆神经网络模型中，得到所述驾驶人处于未清醒状态的相关概率值；
将所述独立概率值以及所述相关概率值进行加权平均或取最大值的方式得到的计算结果作为输出结果；
若所述输出结果大于预设阈值，则确定驾驶人处于未清醒状态。
本发明另一方面提供了一种疲劳驾驶的判断装置，包括：
获得装置；用于获得包含驾驶人头部图像的目标图像；
确定装置；用于确定所述目标图像中驾驶人的头部姿态信息；
判断装置；用于判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
提醒装置；用于当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
优选的，所述判断模块具体包括：
累计单元，用于将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
采样单元，用于对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
确定单元，用于使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
优选的，还包括编码单元：
所述编码单元用于对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述确定单元具体用于：将所述使用循环记忆神经网络模型识别所述特征序列。
本发明另一方面还提供了一种疲劳驾驶的判断设备，包括：
图像采集设备、处理设备以及显示设备；
所述处理设备分别与所述图像采集设备以及所述显示设备相连接；
所述处理设备包括处理器，所述处理器用于执行：
获得包含驾驶人头部图像的目标图像；
确定所述目标图像中驾驶人的头部姿态信息；
判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息；
所述图像采集设备用于采集包含驾驶人头部图像的目标图像；
所述显示设备用于显示所述提醒信息。
本发明实施例所提供的技术方案，与现有技术相比，首先获得包含驾驶人头部图像的目标图像；然后确定所述目标图像中驾驶人的头部姿态信息；随后判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；最后当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。可见，本发明技术方案中，可以依据驾驶人在预定时间段内的头部姿态来确定出驾驶人处于未清醒状态，从而发出提醒信息来尽可能预防交通事故的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种疲劳驾驶的判断方法的流程示意图；
图2是本发明实施例中驾驶人处于未清醒状态时的头部姿态示意图；
图3是本发明实施例提供的一种疲劳驾驶的判断装置的结构示图；
图4是本发明实施例提供的一种疲劳驾驶的判断设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例可以应用到自动驾驶系统、疲劳驾驶监控系统或者车辆相关控制系统中,可以对驾驶人的行为进行识别,根据一段时间内驾驶人的头部姿态信息来确定出驾驶人是否处于未清醒状态,实现在驾驶人在疲劳驾驶时的及时提醒,预防交通事故的发生。
下面对本申请实施例进行详细介绍。
参见图1，图1是本发明实施例中提供的一种疲劳驾驶的判断方法的流程示意图。
本发明提供的一种疲劳驾驶的判断方法，包括：
S101、获得包含驾驶人头部图像的目标图像；
本发明实施例中，先获得目标图像，其中，目标图像中包括有驾驶人的头部图像。
可以理解的是该目标图像是实时获得的，该目标图像可以是3D图像。
可以理解的是，可以通过图像采集装置直接获得该目标图像，也可以是从图像采集装置所保存的位置获得该目标图像。在此不进行限定。
本发明实施例中，驾驶人可以是驾驶车辆的驾驶员或控制机械的操作员等需要进行疲劳驾驶识别的相关人员。
S102、确定所述目标图像中驾驶人的头部姿态信息；
获得了目标图像后，会确定该目标图像中驾驶人的头部姿态信息。
其中，头部姿态信息表征的是驾驶人头部的各个姿态的相关信息。本发明实施例中，头部姿态信息可以为欧拉角信息，欧拉角信息可以包括有仰俯角pitch，左右偏转角yaw以及旋转角roll，用这三个值P，Y，R进行表示。通过这三个值可以表征驾驶人的头部姿态。
本发明实施例中，确定驾驶人头部姿态信息可以包括至少两种方式，具体的。
本发明实施例中，所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
本发明实施例中，可以利用深度神经网络模型直接来实现头部姿态信息的获取。
假设深度神经网络模型用F表示，则头部姿态信息O(P，Y，R)用公式(1)表示为：
O(P,Y,R)＝F(I)……公式(1)
下面对另一种方式进行介绍。
所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到所述目标图像中的人脸关键点；
将所述人脸关键点映射到头部立体空间中；
在所述头部立体空间中依据所述人脸关键点计算表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
本发明实施例中，还可以采用深度学习模型来实现头部姿态信息的获得。
本发明实施例中，可以通过深度神经网络模型来获得目标图像中的人脸关键点，其中，人脸关键点可以是眼、鼻、口等位置所在的点。
得到人脸关键点后，将其映射到头部立体空间中，该头部立体空间用于计算欧拉角参数P，Y，R。
该过程采用公式(2)、(3)可以表示为：
K＝F*(I)……公式(2)
O(P,Y,R)＝Ψ(K)……公式(3)
其中，神经网络模型表示为F*，输入图像表示为I，人脸关键点表示为K，用关键点计算头部姿态信息O(P，Y，R)的函数用Ψ表示。
S103、判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
本发明实施例中，驾驶人在未清醒状态时，在一定时间段内，可以表现出一系列非正常的头部姿态。
参见图2，图2是本发明实施例中驾驶人处于未清醒状态时的头部姿态示意图。
驾驶人在疲劳状态时，会出现表现出瞌睡等未清醒状态，例如在第一时刻t1，头部还处于正常姿态，在第二时刻t2时，由于极端疲劳，因此，会略微低头，在第三时刻t3时，头部会更低，并保持一段时间，在第四时刻t4还是类似t3时刻所处的状态，在第五时刻t5时，会猛的抬头恢复基本正常的姿态。可以理解的是，t1到t5的这个过程，可以理解为驾驶人已经在疲劳驾驶下处于未清醒状态所表现的一系列过程。
可以理解的是，图2的示意图仅是驾驶人处于未清醒状态的一种示例，同理，还可能在t2、t3、t4时刻向后方或侧方偏离，在t5时刻恢复正常姿态，在此不进行赘述。
本发明实施例中，利用该特性，会判断预设时间段内的头部特征信息所构成的特征序列来进行是否表征未清醒状态。
其中，特征序列为按照时间维度不断累积头部特征信息形成的数据序列。欧拉角参数P，Y，R对应的特征序列例如，[p1,p2,p3,...pn,...],[y1,y2,y3,...,yn,...],[r1,r2,r3,...,rn,...]。
本发明实施例中，判断该特征序列是否可以表征如上述图2中所表现出的未清醒状态。
S104、当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
本发明实施例中，若判断结果表征出驾驶人处于未清清醒状态，会发出提醒信息。
其中，发出提醒信息可以是报警指令或者触发如自动驾驶等后续过程的触发指令等。只要可以起到提高安全驾驶的作用即可。在此不进行具体限定。
可见，本发明技术方案中，可以依据驾驶人在预定时间段内的头部姿态来确定出驾驶人处于未清醒状态，即处于疲劳驾驶，从而发出提醒信息来尽可能预防交通事故的发生。
上述实施例中，介绍了判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态的过程，下面对此过程进行详细介绍。
本发明实施例中，所述判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果包括：
将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
本发明实施例中，会在预设时间段内对头部姿态信息进行累计，得到欧拉角序列数据。
例如，欧拉角参数P，Y，R三个值对应在预设时间段内的欧拉角序列数据可以表示为：
[p1,p2,p3,...pn,...],[y1,y2,y3,...,yn,...],[r1,r2,r3,...,rn,...]。
其中，[p1,p2,p3,...pn,...]为P在预设时间段所对应的序列数据，[y1,y2,y3,...,yn,...]为Y在预设时间段对应的序列数据，[r1,r2,r3,...,rn,...]为R在预设时间段对应的序列数据。
得到上述欧拉角序列数据后，设定一定的时间窗T，对欧拉角序列数据的三个值各自对应的序列数据进行滑动采样，得到定长的特征序列数据，例如：[p1,p2,p3,...pT]，[y1,y2,y3,...pT]，[r1,r2,r3,...rT]。
特征序列数据可以反应出在预定时间段内驾驶人头部姿态特征的变化情况，从而作为判别是否处于未清醒状态的依据。
然后采用循环记忆神经网络模型对该特征序列数据进行识别，得到该特征序列数据是否可以表征为未清醒状态的判断结果。例如判断结果可以为清醒或未清醒，判断结果还可以为瞌睡或未瞌睡等可以表征驾驶人状态的结果。
其中，循环记忆神经网络模型可以为长短时记忆模型LSTM(Long Short-TermMemory)模型，或者门控模型GRU(Gated Recurrent Unit)模型。
由于直接将特征序列数据作为循环记忆神经网络模型的输入参数可能会存在变化和不稳定，例如，驾驶人打瞌睡时，驾驶人的头部姿态可能并非是线性移动的，存在一定偏差，因此，本发明实施例中，在输入之前，还包括对特征序列数据进行多层卷积编码的过程。
具体的，所述使用循环记忆神经网络模型识别所述特征序列数据前还包括：
对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述使用循环记忆神经网络模型识别所述特征序列数据包括：将所述使用循环记忆神经网络模型识别所述特征序列。
本发明实施例中，为了使最终的结果更加精确，还会对特征序列数据进行多层卷积编码，来实现局部特征提取从而更有利于循环记忆网络模型的输出结果更加精确。
下面以欧拉角参数的P值在特定时间段T内所采集的序列数据为例进行介绍。是将[p1,p2,p3,...pT]经过多层卷积生成特征序列[p1,p2,p3,...pm]。
其中，依据预设卷积公式进行多层卷积编码；
所述预设卷积公式包括：
(p1,p2,p3,...,pm1)＝K1(p1,p2,p3,...,pT)
(p1,p2,p3,...,pm2)＝K2(p1,p2,p3,...,pm1)
......
(p1,p2,p3,...,pm)＝Ki(p1,p2,p3,...,pmd-1)
其中，所述，K1表示第一层为了进行卷积编码所执行的卷积操作；K2表示第二层为了进行卷积编码所执行的卷积操作；Ki表示第i层为了进行卷积编码所执行的卷积操作；所述(p1,p2,p3,...,pm1)为所述第一层输出的卷积特征序列，所述(p1,p2,p3,...,pT)为欧拉角参数pith值对应的数据序列；
其中，每一个元素值采用预设元素值公式计算得到；所述预设原始值公式包括：
其中，y是后层输出的特征序列，y(k)表示后层特征序列中第k个元素的值，u是卷积核(可以有多个)，N是卷积核长度，h是前层的数据序列，i为正整数。
本发明实施例中，进行了多层卷积编码，因此，可以实现最终的结果更加准确。
本发明实施例中，输入循环记忆神经网络模型并非是直接将序列数据作为输入参数直接输入，而是考虑到了独立性和相关性，输入是两个大的部分，使得最终的结果进一步的精确。
基于此，所述使用循环记忆神经网络模型识别所述序列数据，得到表征驾驶人是否处于未清醒状态的判断结果包括：
将所述特征序列中每一个欧拉角参数值对应的特征序列分别输入循环记忆神经网络模型中，得到多个所述驾驶人处于未清醒状态的独立概率值；
将所述特征序列中每一个欧拉角参数值对应的特征序列组成的向量输入循环记忆神经网络模型中，得到所述驾驶人处于未清醒状态的相关概率值；
将所述独立概率值以及所述相关概率值进行加权平均或取最大值的方式得到的计算结果作为输出结果；
若所述输出结果大于预设阈值，则确定驾驶人处于未清醒状态。
本发明实施例中，将循环记忆网络模型中的输入参数划分为两个大的部分，一个考虑的是独立性，另一个则是相关性。
本发明实施例中，会将每一个欧拉角参数值所对应的特征序列作为独立性的部分进行输入。输出结果为每一个欧拉角参数值对应的独立概率值。本发明实施例中，可以得到三个独立概率值。该三个独立概率值所考虑到的是每一个欧拉角参数下驾驶人是否处于未清醒状态的输出结果，主要针对仰俯角pitch，左右偏转角yaw以及旋转角roll的独立性。例如：[p1,p2,p3,...pm]，[y1,y2,y3,...pm]，[r1,r2,r3,...rm]。
另一个输入考虑到了相关性。是将每一个欧拉角参数值对应的特征序列组成的向量[p1,p2,p3,...pm，y1,y2,y3,...pm，r1,r2,r3,...rm]作为输入参数。得到相关概率值。
然后对这四个概率值进行加权平均计算或者取最大值计算，得到输出结果。判断该输出结果是否大于预设阈值，如果是则确定驾驶人处于未清醒状态。
可以理解的是，可以设置损失函数且利用神经网络固有的反向传播机制更新单元参数，实现该模块循环记忆单元对数据的学习。损失函数的设计可采用常用的交叉熵损失函数，最小二乘损失函数等。该过程参考现有技术，本申请中不进行赘述。
本发明实施例中，实现了序列数据的独立性和相关性的分离学习，使得最终的结果更加精确。
基于上述实施例可以看出，本发明可以根据获得的预设时间段内的头部姿态信息来实现对驾驶人是否处于未清醒状态的输出，可以根据预测结果对驾驶人进行提示或者主动接管驾驶，来有效预防过度疲劳而造成的交通事故。
通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，与上述方法实施例对应的，本发明还公开了一种疲劳驾驶的判断装置。
参见图3，图3是本发明实施例提供的一种疲劳驾驶的判断装置的结构示图。
本发明实施例中，一种疲劳驾驶的判断装置包括：
获得装置1；用于获得包含驾驶人头部图像的目标图像；
确定装置2；用于确定所述目标图像中驾驶人的头部姿态信息；
判断装置3；用于判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
提醒装置4；用于当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
可选的，所述判断模块具体包括：
累计单元，用于将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
采样单元，用于对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
确定单元，用于使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
可选的，还包括编码单元：
所述编码单元用于对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述确定单元具体用于：将所述使用循环记忆神经网络模型识别所述特征序列。
需要说明的是，本发明实施例中所提供的一种疲劳驾驶的判断装置中各个单元的实现可以参照前述实施例中一种疲劳驾驶的判断方法的各个步骤，在此不进行赘述。
本发明实施例所提供的技术方案，与现有技术相比，首先获得包含驾驶人头部图像的目标图像；然后确定所述目标图像中驾驶人的头部姿态信息；随后判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；最后当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。可见，本发明技术方案中，可以依据驾驶人在预定时间段内的头部姿态来确定出驾驶人处于未清醒状态，从而发出提醒信息来尽可能预防交通事故的发生。
另一方面，本发明还提供了一种疲劳驾驶的判断设备。
参见图4，图4是本发明实施例提供的一种疲劳驾驶的判断设备的结构示意图。
本发明提供的一种疲劳驾驶的判断设备，包括：
图像采集设备10、处理设备20以及显示设备30；
所述处理设备20分别与所述图像采集设备10以及所述显示设备30相连接；
所述处理设备10包括处理器，所述处理器用于执行：
获得包含驾驶人头部图像的目标图像；
确定所述目标图像中驾驶人40的头部姿态信息；
判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息；
所述图像采集设备用于采集包含驾驶人头部图像的目标图像；
所述显示设备用于显示所述提醒信息。
其中，图像采集设备10可以是摄像头等传感器，显示装置30可以是车载显示器或显示屏等。
需要说明的是，处理器可以包括上述装置实施例中的各个模块，具体功能实现参考前述实施例即可。在此不进行赘述。
本发明实施例所提供的技术方案，与现有技术相比，首先获得包含驾驶人头部图像的目标图像；然后确定所述目标图像中驾驶人的头部姿态信息；随后判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；最后当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。可见，本发明技术方案中，可以依据驾驶人在预定时间段内的头部姿态来确定出驾驶人处于未清醒状态，从而发出提醒信息来尽可能预防交通事故的发生。
对于装置或设备实施例而言，由于其基本相应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，所述单元或子单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或多个子单元结合一起。另外，多个单元可以或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
另外，所描述系统，装置和方法以及不同实施例的示意图，在不超出本申请的范围内，可以与其它系统，模块，技术或方法结合或集成。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种疲劳驾驶的判断方法，其特征在于，包括：
获得包含驾驶人头部图像的目标图像；
确定所述目标图像中驾驶人的头部姿态信息；
判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
2.根据权利要求1所述的判断方法，其特征在于，所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
3.根据权利要求1所述的判断方法，其特征在于，所述确定所述目标图像中驾驶人的头部姿态信息包括：
将所述目标图像作为输入参数，输入深度神经网络模型中，得到所述目标图像中的人脸关键点；
将所述人脸关键点映射到头部立体空间中；
在所述头部立体空间中依据所述人脸关键点计算表征所述目标图像中驾驶人头部姿态的欧拉角参数，将所述欧拉角参数作为头部姿态信息。
4.根据权利要求1至3任意一项所述的判断方法，其特征在于，所述判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果包括：
将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
5.根据权利要求4所述的判断方法，其特征在于，所述使用循环记忆神经网络模型识别所述特征序列数据前还包括：
对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述使用循环记忆神经网络模型识别所述特征序列数据包括：将所述使用循环记忆神经网络模型识别所述特征序列。
6.根据权利要求5所述的判断方法，其特征在于，所述使用循环记忆神经网络模型识别所述序列数据，得到表征驾驶人是否处于未清醒状态的判断结果包括：
将所述特征序列中每一个欧拉角参数值对应的特征序列分别输入循环记忆神经网络模型中，得到多个所述驾驶人处于未清醒状态的独立概率值；
将所述特征序列中每一个欧拉角参数值对应的特征序列组成的向量输入循环记忆神经网络模型中，得到所述驾驶人处于未清醒状态的相关概率值；
将所述独立概率值以及所述相关概率值进行加权平均或取最大值的方式得到的计算结果作为输出结果；
若所述输出结果大于预设阈值，则确定驾驶人处于未清醒状态。
7.一种疲劳驾驶的判断装置，其特征在于，包括：
获得装置；用于获得包含驾驶人头部图像的目标图像；
确定装置；用于确定所述目标图像中驾驶人的头部姿态信息；
判断装置；用于判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
提醒装置；用于当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息。
8.根据权利要求7所述的判断装置，其特征在于，所述判断模块具体包括：
累计单元，用于将预设时间段内的所述头部姿态信息累计为欧拉角序列数据；
采样单元，用于对所述欧拉角序列数据进行滑动采样，得到特征序列数据；所述特征序列数据用于表征在所述预设时间段内驾驶人的头部所做出的一系列动作；
确定单元，用于使用循环记忆神经网络模型识别所述特征序列数据，得到表征驾驶人是否处于未清醒状态的判断结果。
9.根据权利要求8所述的判断装置，其特征在于，还包括编码单元：
所述编码单元用于对所述特征序列数据进行多层卷积编码，得到特征序列；
则所述确定单元具体用于：将所述使用循环记忆神经网络模型识别所述特征序列。
10.一种疲劳驾驶的判断设备，其特征在于，包括：
图像采集设备、处理设备以及显示设备；
所述处理设备分别与所述图像采集设备以及所述显示设备相连接；
所述处理设备包括处理器，所述处理器用于执行：
获得包含驾驶人头部图像的目标图像；
确定所述目标图像中驾驶人的头部姿态信息；
判断预设时间段内所述头部特征信息构成的特征序列是否表征为驾驶人处于未清醒状态，得到判断结果；
当所述判断结果表征驾驶人处于未清醒状态时，发出提醒信息；
所述图像采集设备用于采集包含驾驶人头部图像的目标图像；
所述显示设备用于显示所述提醒信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911030590.1A CN110738190A (zh) | 2019-10-28 | 2019-10-28 | 一种疲劳驾驶的判断方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911030590.1A CN110738190A (zh) | 2019-10-28 | 2019-10-28 | 一种疲劳驾驶的判断方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110738190A true CN110738190A (zh) | 2020-01-31 |
Family
ID=69271715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911030590.1A Pending CN110738190A (zh) | 2019-10-28 | 2019-10-28 | 一种疲劳驾驶的判断方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738190A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113320449A (zh) * | 2021-07-19 | 2021-08-31 | 浙江吉利控股集团有限公司 | 一种驾驶座椅自动调节方法、系统、介质及电子终端 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN108961678A (zh) * | 2018-04-26 | 2018-12-07 | 华慧视科技（天津）有限公司 | 一种基于人脸检测驾驶员疲劳检测系统及其检测方法 |
| CN109620269A (zh) * | 2019-01-28 | 2019-04-16 | 深圳市赛梅斯凯科技有限公司 | 疲劳检测方法、装置、设备及可读存储介质 |
| CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
| CN109770925A (zh) * | 2019-02-03 | 2019-05-21 | 闽江学院 | 一种基于深度时空网络的疲劳检测方法 |
| CN109820525A (zh) * | 2019-01-23 | 2019-05-31 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN109875568A (zh) * | 2019-03-08 | 2019-06-14 | 北京联合大学 | 一种用于疲劳驾驶检测的头部姿态检测方法 |
| CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
-
2019
- 2019-10-28 CN CN201911030590.1A patent/CN110738190A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107697069A (zh) * | 2017-10-31 | 2018-02-16 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN108961678A (zh) * | 2018-04-26 | 2018-12-07 | 华慧视科技（天津）有限公司 | 一种基于人脸检测驾驶员疲劳检测系统及其检测方法 |
| CN109820525A (zh) * | 2019-01-23 | 2019-05-31 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN109620269A (zh) * | 2019-01-28 | 2019-04-16 | 深圳市赛梅斯凯科技有限公司 | 疲劳检测方法、装置、设备及可读存储介质 |
| CN109770925A (zh) * | 2019-02-03 | 2019-05-21 | 闽江学院 | 一种基于深度时空网络的疲劳检测方法 |
| CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
| CN109886241A (zh) * | 2019-03-05 | 2019-06-14 | 天津工业大学 | 基于长短期记忆网络的驾驶员疲劳检测 |
| CN109875568A (zh) * | 2019-03-08 | 2019-06-14 | 北京联合大学 | 一种用于疲劳驾驶检测的头部姿态检测方法 |
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113320449A (zh) * | 2021-07-19 | 2021-08-31 | 浙江吉利控股集团有限公司 | 一种驾驶座椅自动调节方法、系统、介质及电子终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688203B2 (en) | Systems and methods for providing visual allocation management | |
| JP6264492B1 (ja) | 運転者監視装置、運転者監視方法、学習装置及び学習方法 | |
| US9714037B2 (en) | Detection of driver behaviors using in-vehicle systems and methods | |
| CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| CN104574817A (zh) | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 | |
| WO2008133746A1 (en) | Systems and methods for detecting unsafe conditions | |
| JP7483146B2 (ja) | 相補的分類器を使用して異常を検出するための異常検出器 | |
| CN109190485A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN113052097A (zh) | 一种人体坐姿实时监测系统以及监测方法 | |
| CN117746400A (zh) | 疲劳驾驶检测方法、装置、电子设备及存储介质 | |
| CN113869256A (zh) | 驾驶员疲劳检测方法、系统、设备及存储介质 | |
| CN118918569A (zh) | 一种适用智能座舱的驾驶人注视行为安全提醒方法及装置 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN110738190A (zh) | 一种疲劳驾驶的判断方法、装置及设备 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| CN110837810A (zh) | 一种人脸注意力判断方法、装置、设备及存储介质 | |
| CN116615765A (zh) | 驾驶员状态检测方法、装置及存储介质 | |
| CN114056425B (zh) | 车辆转向控制方法、装置、车辆及存储介质 | |
| CN110751008B (zh) | 基于驾驶行为的处理方法、装置、设备和存储介质 | |
| CN112215115A (zh) | 一种驾驶培训中专注能力评价的方法及相关装置 | |
| Sun et al. | Driver fatigue alarm based on eye detection and gaze estimation | |
| CN113326820B (zh) | 一种行驶环境感知方法、装置、电子设备及存储介质 | |
| CN118552940A (zh) | 一种疲劳驾驶检测方法及装置 | |
| Ravindran et al. | IoT Enabled Ignition Interlock Device | |
| CN118404960A (zh) | 一种车载玻璃调光方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020 Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc. Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101 Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200131 |