CN108960065B - 一种基于视觉的驾驶行为检测方法 - Google Patents

Abstract

一种基于视觉的驾驶行为检测方法，包括：采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级。本发明的一个目的在于完善驾驶员行为监测系统，对驾驶过程中的疲劳驾驶行为（包括瞌睡、哈欠、低头）和分神驾驶行为（包括接打电话、吸烟）进行智能分析，并进行行为提示。

Description

一种基于视觉的驾驶行为检测方法

技术领域

本发明涉及安全驾驶技术领域，特别涉及一种基于视觉的驾驶行为检测方法。

背景技术

中国每年发生交通事故50万起，因交通事故死亡人数均超过10万人。据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于疲劳驾驶所引发的，因而驾驶行为智能分析预警系统具有重要的应用价值。现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒的功能，尤其是对于商业运输车辆而言，长时间以及长途驾驶导致上述疲劳驾驶的发生概率更高。现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，此类系统大多通过限定驾驶员的长途行车时间来避免疲劳驾驶的行为发生，部分车辆具备行车记录以及操作记录功能，不具备疲劳或危险驾驶行为预警系统，因而无法有效保障长途驾驶的行车安全。

近年来市场中出现的部分驾驶疲劳预警系统，或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号)，或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断。此类系统所能预警的疲劳行为比较单一，且对于不同驾驶员的预警一致性相对较差。相对于上述系统，本发明集成包括疲劳与分神在内的不良驾驶行为检测与预警功能，不仅丰富了疲劳驾驶的检测状态类别，而且添加了分神驾驶状态的检测，能够有效提升商业运营车辆驾驶员不良驾驶行为的监管能力，同时降低此类行为所造成的潜在生命与财产损失。

发明内容

本发明的一个目的在于完善驾驶员行为监测系统，对驾驶过程中的疲劳驾驶行为(包括瞌睡、哈欠、低头)和分神驾驶行为(包括接打电话、吸烟)进行智能分析，并进行行为提示，提供一种基于视觉的驾驶行为检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于视觉的驾驶行为检测方法，包括：采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级。

进一步地，所述深度卷积神经网络级联人脸检测网络、疲劳检测网络以及分神检测网络，输入为驾驶室远红外图像，输出为疲劳驾驶行为、分神危险驾驶行为检测结果；所述疲劳检测网络包括：瞌睡检测网络和哈欠行为识别网络；所述分神检测网络包括接打电话行为检测网络和吸烟行为检测网络。

进一步地，所述采集驾驶室图像，提取人脸信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入人脸检测网络，输出人脸关键点位置和人脸特征图谱，将所述人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与录入人脸库的人脸图像进行特征相似度匹配，进行身份验证。

所述疲劳驾驶应用检测包括：瞌睡、哈欠行为、低头行为检测，所述分神驾驶应用检测包括：接打电话和吸烟行为检测；

瞌睡行为检测：对人脸特征图谱进行眼部ROI-pooling，利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式

将关键点位置转换为眼睛张开程度λ，输出当前时刻眼睛睁闭状态S1以及睁闭程度λ；

哈欠行为检测：对人脸特征图谱进行嘴部ROI-pooling，利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2；

低头行为检测：利用人脸检测网络输出的人脸关键点位置信息，根据预先设置的3D人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，旋转矩阵R分解可得面部平面俯仰角φ；

接打电话行为检测：基于人脸检测网络眼部特征点高度及人脸左右边界位置输出，对人脸特征图谱进行耳部ROI-pooling，利用接打电话行为检测网络进行接打电话行为检测，输出接打电话状态S3；

吸烟行为检测：基于人脸检测网络嘴部特征点位置输出，对人脸特征图谱进行嘴部ROI-pooling，利用吸烟行为检测网络进行吸烟状态识别，输出吸烟状态S4。

进一步地，所述基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，包括：

瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态S1计算瞌睡行为置信度C1：C1_t+1＝max(0,C1_t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：

其中，ts为相机采样周期，K1,K2为预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则告警驾驶员；

哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2，根据哈欠行为检测输出的哈欠状态S2计算瞌睡行为置信度C2：C2_t+1＝max(0,C2_t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’预警阈值参数，设定相应的哈欠置信度预警阈值T2，若C2大于T2，则告警驾驶员；

低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：

其中，ts为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则告警驾驶员；

吸烟告警提示：根据所述吸烟行为检测输出的吸烟状态S3计算吸烟行为置信度C3：C3_t+1＝max(0,C3_t+(S3-1)*K3+S3*K4)。其中，K3，K4为分神预警阈值参数；

接打电话告警提示：根据所述接打电话行为检测输出的接打电话状态S4计算吸烟行为置信度C4：C4_t+1＝max(0,C4_t+(S4-1)*K3′+S4*K4′)，其中，K3，K4为分神预警阈值参数。

进一步地，所述驾驶疲劳等级包括：驾驶正常、轻度疲劳以及重度疲劳；所述驾驶疲劳等级判断方法为：根据所述眼部睁闭开度和面部朝向角的俯仰角部分，计算参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15，

基于驾驶员疲劳基线数据λ_ref和φ_ref，设定驾驶疲劳等级判定阈值TH、TM和TL；若

则提示驾驶正常；若

则提示轻度疲劳；若

则提示中度疲劳；若

则提示重度疲劳。

进一步地，所述驾驶疲劳等级的参考指标包括：一定时间内平均吸烟次数M1，一定时间内平均接打电话次数M2；设定驾驶专注等级判定阈值为Th,Tm和Tl；

若β^M1γ^M2>Th，则提示驾驶正常；

若Th>β^M1γ^M2>Tl，则发出轻度专注预警；

若β^M1γ^M2＜Th，则发出专注预警；

其中β为吸烟行为分神贡献系数，γ为接打电话行为分神贡献系数，0＜β＜1，0＜γ＜1。

进一步地，所述发出疲劳预警和分神预警信号的策略包括：若单预警功能满足触发条件，则按照定义的预警信号类型发出相应的预警信号；

若多项预警功能同时满足触发条件，按照优先级：瞌睡>低头>哈欠>吸烟>接打电话的顺序，发出相应预警信号。

本发明的实质性效果：(1)本发明级联人脸检测网络、疲劳检测网络以及分神检测网络多任务检测网络，可对于各类疲劳(闭眼、哈欠、低头等)以及分神等行为在内的危险驾驶行为(吸烟、接打电话等)进行识别与预警，预警应用范围更广，预警以及相应的行为监管有效性更好；(2)此系统所采用的架构具备一定的应用延展性，可按类似行为检测网络架构拓展功能应用；(3)人脸检测中间结果的人脸特征图谱可复用于驾驶员身份比对以及后续行为检测网络输入，并且可以以此为依据建立驾驶员驾驶行为基线；(4)此系统具备相应危险驾驶行为事件预警以及总体驾驶状态提示预警的综合预警方法，相比于单一基于事件触发的预警系统，预警的误报率更低。

附图说明

图1为本发明的一种算法流程总图；

图2为本发明的一种人脸检测神经网络(Face-Net)结构示意图；

图3为本发明的一种深度卷积神经网络框架结构示意图；

图4为本发明的一种人脸ROI以及危险行为ROI示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

一种基于视觉的驾驶行为检测方法，处理流程如图1所示，采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级。

具体包括：

1.深度神经网络架构设计：如图3所示，级联人脸检测网络、疲劳检测网络以及分神检测网络，输入为驾驶室远红外图像，输出为疲劳驾驶行为、分神危险驾驶行为检测结果；

1.1人脸检测网络架构：人脸检测网络架构级联区域建议网络、区域回归网络以及关键点回归网络结构，如图2所示，所述区域建议网络输入为16*16*3图像数据,网络由全卷积架构构成，输出为人脸区域建议框的置信度以及粗略顶点位置；所述区域回归网络输入为32*32*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度以及精确顶点位置；所述关键点回归网络输入为64*64*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度、位置以及人脸关键点位置；

1.2疲劳检测网络：包括瞌睡检测网络和哈欠行为识别网络，基于特定层人脸检测网络输出特征图谱，利用人脸关键点定位输出做ROI-pooling后，并行对相应ROI区域(眼部与嘴部关键点)进行疲劳类型分类(与回归)，即眼部ROI送入瞌睡识别网络进行睁闭眼状态识别以及眼部边缘特征回归，嘴部ROI送入哈欠识别网络进行哈欠行为识别；

1.3分神检测网络：包括接打电话行为检测网络和吸烟行为检测网络，基于特定层人脸检测网络输出特征图谱，利用人脸关键点(嘴部与耳部区域)定位输出做ROI-pooling后，采用区域回归网络结构进行分神行为检测，网络由卷积和全连接架构构成，输入为人脸关键点回归网络浅层特征图谱,输出为分神行为(吸烟)建议框的置信度以及行为顶点回归后位置。

2.深度神经网络离线训练：

2.1离线采集远红外驾驶室场景数据，提取离散时序训练样本80000张，人工标注生成样本标签；标签内容包含：目标类别(0-背景，1-人脸，2-吸烟ROI，3-接打电话ROI)，目标区域(x,y,w,h)以及目标关键点(仅限人脸目标，6个-双眼、鼻尖、嘴角、下颚)，利用图像色域、几何等空间变换，进行样本扩充，若采集样本进一步扩充，此样本扩充可步骤省略。

2.2按照应用间关联逻辑，先后分别训练人脸检测网络，疲劳分类网络以及分神检测网络。对于不同任务的各个网络，分类损失函数L_cls设置为交叉熵，回归损失函数L_reg设置为相应回归点的欧式距离。具体训练过程如下：

2.2.1人脸检测网络训练：利用2.1中整理与标注所得训练样本库，采用随机梯度下降的方式进行训练，学习率，batch size等为可配置参数(默认值为64)，对于不同分支训练任务，分类损失函数L_cls设置为交叉熵，回归损失函数L_reg设置为相应回归点的欧式距离训练分三个步骤顺序执行：

第一步训练区域建议网络，训练样本根据标签生成，训练损失函数设置如下(α1，β1为可配置参数，默认值为0.6和0.4)：Loss1＝α1*L_cls+β1*L_reg；

第二步训练区域回归网络，训练样本根据区域建议网络在原始训练样本集输出结果生成，训练损失函数设置如下(α2，β2为可配置参数，默认值为0.4和0.6)：Loss2＝α2*L_cls+β2*L_reg；

第三步训练区域回归网络，训练样本根据区域回归网络在原始训练样本集输出结果生成，训练损失函数设置如下(α3，β3为可配置参数，默认值为0.2和0.8)：Loss2＝α3*L_cls+β3*L_reg。

2.2.2疲劳与分神检测网络训练：利用2.1中整理与标注所得训练样本库，采用随机梯度下降的方式进行训练，学习率，batch size等为可配置参数(默认值为64)；基于2.2.1中训练所得的人脸检测网络在训练样本库中关键点检测结果，加上部分随机偏差，生成相应的危险驾驶行为的训练ROI，如图4所示，根据2.2.1中类似的训练损失函数设置方法，训练疲劳与分神检测网络；

3.深度神经网络在线应用：对步骤2中离线训练所生成的各级联检测网络进行稀疏化与量化压缩操作，验证压缩后网络精度，进行驾驶行为分析。主要包括人脸检测、身份验证、行为基线读取、行为分析、预警决策、数据记录等模块。详细内容如下：

3.1人脸检测：利用驾驶室远红外补光图像输入构造图像金字塔，输入1中训练所得人脸及关键点检测网络，输出人脸关键点回归网络特征图谱以及人脸关键点位置；

3.2身份验证：将3.1中特征图谱按录入人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配。利用预设相似度阈值，获取驾驶员身份编号；

3.3驾驶行为基线建立与读取：针对疲劳驾驶行为判定，分别对新增以及已有驾驶员疲劳基线进行建立与更新。对于新增驾驶员，利用驾驶开始阶段(预设特定时常t1)的驾驶行为分析结果，建立驾驶员疲劳判别基线,包含平均眼睛开度，平均头部俯仰角等；对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段(预设特定时常t2)驾驶行为分析结果，验证并微调上述疲劳判别基线。

3.4驾驶行为分析：基于3.1中人脸检测网络输出的人脸特征图谱以及人脸关键点位置信息进行ROI-pooling，将相应ROI区域的特征图谱输入各行为检测深度卷积神经网络，并行进行本发明所定义的五种危险驾驶应用检测，详细信息如下：

3.4.1瞌睡行为检测：对人脸特征图谱进行眼部ROI-pooling，然后利用图4中瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点(4个)回归。经如下公式将关键点位置转换为眼睛张开程度λ

输出当前时刻眼睛睁闭状态S1以及睁闭程度λ。

3.4.2哈欠行为检测：基于人脸检测网络嘴部特征点位置输出，对人脸特征图谱进行嘴部ROI-pooling，然后利用图4中哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2；

3.4.3低头行为检测：利用1中人脸检测网络输出的人脸关键点位置信息，根据预先设置的3D人脸模型，通过解决PnP问题，可以得到3x4投影变换矩阵P；利用已知相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，R接偶分解可得面部平面俯仰角φ；

3.4.4接打电话行为检测：基于人脸检测网络眼部特征点高度以及人脸ROI左右边界位置输出，对人脸特征图谱进行耳部ROI-pooling，然后利用图4中接打电话行为检测网络进行接打电话行为检测，输出接打电话状态S3；

3.4.5吸烟行为检测：基于人脸检测网络嘴部特征点位置输出，对人脸特征图谱进行嘴部ROI-pooling，然后利用图4中吸烟行为检测网络进行吸烟状态识别，输出吸烟状态S4；

3.5联合预警决策：根据3.4中在线驾驶员行为分析网络输出结果，基于驾驶员危险驾驶行为判断基线数据，对五种危险驾驶行为进行联合预警决策，各行为预警计算依据以及预警方式如下：

3.5.1瞌睡预警提示：定义疲劳预警参考指标-1瞌睡行为置信度C1和半分钟平均眼部开度。根据3.4.1中瞌睡检测网络输出眼部睁闭状态S1计算瞌睡行为置信度C1：C1_t+1＝max(0,C1_t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：

其中，ts为相机采样周期，K1,K2为可配置疲劳预警阈值参数。

基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

3.5.2哈欠预警提示：定义疲劳预警参考指标-2哈欠行为置信度C2。根据3.4.2中哈欠检测网络输出哈欠状态S2计算瞌睡行为置信度C2：C2_t+1＝max(0,C2_t+(S2-1)*K1′+S2*K2′)。其中，K1’,K2’为可配置疲劳预警阈值参数。

设定相应的哈欠置信度预警阈值T2，若C2大于T2，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

3.5.3低头预警提示：定义疲劳预警参考指标-3半分钟平均头部俯仰角φ0.5。根据3.4.3中所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：

其中，ts为相机采样周期。

基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。

3.5.4吸烟告警提示：定义分神预警参考指标-1吸烟行为置信度C3，根据3.4.4中吸烟检测网络输出吸烟状态S3计算吸烟行为置信度C3，其计算方式如下：C3_t+1＝max(0,C3_t+(S3-1)*K3+S3*K4)。其中，K3，K4为可配置分神预警阈值参数。

3.5.5接打电话告警提示：定义分神预警参考指标-2接打电话行为置信度C4，根据3.4.5中吸烟检测网络输出接打电话状态S4计算吸烟行为置信度C4，其计算方式如下：C4_t+1＝max(0,C4_t+(S4-1)*K3′+S4*K4′)。其中，K3，K4为可配置分神预警阈值参数。

3.5.6总体驾驶疲劳等级：定义总体驾驶疲劳等级参考指标15分钟平均眼部开度λ15，15分钟平均哈欠次数N和15分钟平均头部俯仰角φ15。根据3.4.1中所得眼部睁闭开度和3.4.3中所得的面部朝向角的俯仰角部分，按如下公式分别计算上述指标：

基于驾驶员疲劳基线数据λ_ref和φ_ref，α为哈欠行为疲劳贡献系数(0-1的可配置参数，默认值为0.99)，设定驾驶疲劳等级判定阈值TH，TM和TL。若

则提示驾驶正常；若

则提示轻度疲劳；若

则提示中度疲劳；若

则提示重度疲劳。以图标与提示音方式告警驾驶员行车疲劳等级，注意行车安全，作为优选可通过导航模块提示驾驶员最近距离的休息区域。

3.5.7总体驾驶专注等级：定义总体驾驶疲劳等级参考指标30分钟平均吸烟次数M1，30分钟平均接打电话次数M2。定义β为吸烟行为分神贡献系数(0-1的可配置参数，默认值为0.9)，γ为接打电话行为分神贡献系数(0-1的可配置参数，默认值为0.9)，设定驾驶专注等级判定阈值Th,Tm和Tl。若β^M1γ^M2>Th，则提示驾驶正常；若Th>β^M1γ^M2>Tl，则提示轻度专注预警；若β^M1γ^M2＜Th，则提示专注预警；

3.5.8联合预警策略：若单一预警功能满足触发条件，则按照系统定义的预警信号类型发出相应的视觉和听觉预警信号；若多预警功能同时满足触发条件，按照如下优先级发出相应视觉和听觉预警信号：瞌睡>低头>哈欠>吸烟>接打电话，并辅助显示总体驾驶疲劳以及专注等级。

以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。

Claims (5)

1.一种基于视觉的驾驶行为检测方法，其特征在于，包括：

采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；

基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；

基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级；

所述基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，包括：

瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态S1计算瞌睡行为置信度C1：C1_t+1＝max(0,C1_t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：

其中，t_s为相机采样周期，K1,K2为预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则告警驾驶员；

哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2，根据哈欠行为检测输出的哈欠状态S2计算瞌睡行为置信度C2：C2_t+1＝max(0,C2_t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’预警阈值参数，设定相应的哈欠置信度预警阈值T2，若C2大于T2，则告警驾驶员；

低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的头部俯仰角φ，计算半分钟平均头部俯仰角φ0.5：

其中，t_s为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则告警驾驶员；

吸烟预警提示：根据所述吸烟行为检测输出的吸烟状态S3计算吸烟行为置信度C3：C3_t+1＝max(0,C3_t+(S3-1)*K3+S3*K4)，其中，K3，K4为预警阈值参数；

接打电话预警提示：根据所述接打电话行为检测输出的接打电话状态S4计算吸烟行为置信度C4：C4_t+1＝max(0,C4_t+(S4-1)*K3′+S4*K4′)，其中，K3’，K4’为预警阈值参数；

所述深度卷积神经网络级联人脸检测网络、疲劳检测网络以及分神检测网络，输入为驾驶室远红外图像，输出为疲劳驾驶行为、分神危险驾驶行为检测结果；所述疲劳检测网络包括：瞌睡检测网络和哈欠行为识别网络；所述分神检测网络包括接打电话行为检测网络和吸烟行为检测网络；

所述疲劳驾驶应用检测包括：瞌睡、哈欠行为、低头行为检测，所述分神驾驶应用检测包括：接打电话和吸烟行为检测；

瞌睡行为检测：对人脸特征图谱进行眼部ROI-pooling，利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式

将关键点位置转换为眼部睁闭开度λ，输出当前时刻眼部睁闭状态S1以及眼部睁闭开度λ；

哈欠行为检测：对人脸特征图谱进行嘴部ROI-pooling，利用哈欠行为识别网络进行嘴部开闭状态识别，输出哈欠状态S2；

低头行为检测：利用人脸检测网络输出的人脸关键点位置信息，根据预先设置的3D人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，旋转矩阵R分解可得头部俯仰角φ；

接打电话行为检测：基于人脸检测网络眼部特征点高度及人脸左右边界位置输出，对人脸特征图谱进行耳部ROI-pooling，利用接打电话行为检测网络进行接打电话行为检测，输出接打电话状态S4；

吸烟行为检测：基于人脸检测网络嘴部特征点位置输出，对人脸特征图谱进行嘴部ROI-pooling，利用吸烟行为检测网络进行吸烟状态识别，输出吸烟状态S3。

2.根据权利要求1所述的一种基于视觉的驾驶行为检测方法，其特征在于，所述采集驾驶室图像，提取人脸信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入人脸检测网络，输出人脸关键点位置和人脸特征图谱，将所述人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与录入人脸库的人脸图像进行特征相似度匹配，进行身份验证。

3.根据权利要求1所述的一种基于视觉的驾驶行为检测方法，其特征在于，所述驾驶疲劳等级包括：驾驶正常、轻度疲劳以及重度疲劳；

所述驾驶疲劳等级判断方法为：根据所述眼部睁闭开度和面部朝向角的俯仰角部分，计算参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15，

基于驾驶员疲劳基线数据λ_ref和φ_ref，设定驾驶疲劳等级判定阈值TH、TM和TL；若

则提示驾驶正常；若

则提示轻度疲劳；若

则提示中度疲劳；若

则提示重度疲劳。

4.根据权利要求1所述的一种基于视觉的驾驶行为检测方法，其特征在于，所述驾驶疲劳等级的参考指标包括：一定时间内平均吸烟次数M1，一定时间内平均接打电话次数M2；设定驾驶专注等级判定阈值为Th,Tm和Tl；

若β^M1γ^M2>Th，则提示驾驶正常；

若Th>β^M1γ^M2>Tm，则发出轻度专注预警；

若Tm>β^M1γ^M2>Tl，则发出中度专注预警；

若Tl>β^M1γ^M2，则发出重度专注预警；

其中β为吸烟行为分神贡献系数，γ为接打电话行为分神贡献系数，0＜β＜1，0＜γ＜1。

5.根据权利要求1所述的一种基于视觉的驾驶行为检测方法，其特征在于，所述发出疲劳预警和分神预警信号的策略包括：

若单预警功能满足触发条件，则按照定义的预警信号类型发出相应的预警信号；

若多项预警功能同时满足触发条件，按照优先级：瞌睡>低头>哈欠>吸烟>接打电话的顺序，发出相应预警信号。

Images