CN110807352B - 一种用于危险驾驶行为预警的车内外场景视觉分析方法 - Google Patents

Abstract

本发明公开了一种用于危险驾驶行为预警的车内外场景视觉分析方法，包括如下步骤：S1、数据采集、同步以及预处理；S2、道路场景语义编码；S3、驾驶室场景语义编码；S4、时序危险驾驶行为分类；S5模型前向运算部署以及输出后处理。本技术方案输入为同步前视以及驾驶室场景图像，道路场景以及驾驶室场景经卷积神经网络特征编码后，级联送入基于递归神经网络的时序行为分类器，输出危险驾驶行为类别，用于后续相应预警算法，对于危险驾驶行为的的判定准确。

Description

一种用于危险驾驶行为预警的车内外场景视觉分析方法

技术领域

本发明涉及驾驶员行为辅助系统领域，具体的，涉及一种用于危险驾驶行为预警的车内外场景视觉分析方法。

背景技术

据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于驾驶疲劳或注意力分散造成的。因而主动安全系统以及驾驶员行为分析系统具有重要的应用价值。现有乘用车以及商用车的辅助驾驶系统或根据道路场景重要参数,如预碰撞时间(TTC)以及预压线时间(TLC)等,或根据驾驶室场景重要参数,如眼球开度以及面部朝向等，分别进行危险驾驶行为预警。

然而，此两类系统都有各自的优势与不足；其中，基于道路场景分析的系统无法准确反映驾驶员对车辆操作的专注以及疲劳程度，基于驾驶室场景分析的系统易受安装角度以及视场范围的影响，某些正常驾驶行为会误触发相应预警信号，并且对一些未训练危险行为，系统无法准确发出预警信号。因而，两者系统存在着潜在的互补关系，综合分析车内外场景能够有效提升危险驾驶行为的预警准确性及可靠性，目前，尚未有基于车内外场景视觉联合分析的方法应用于辅助驾驶(预警)系统。

目前尚未有量产车型所部署的辅助驾驶系统综合分析车内外场景后发出相应危险驾驶行为的预警信号(如车距过近、车道偏离、疲劳驾驶、注意力分散等)。现有辅助驾驶系统主要根据：i).车辆动力学参数以及操控信号；ii).视觉系统感知结果；iii).毫米波雷达系统感知结果进行相应驾驶行为预警。其中，所使用视觉系统按场景分析依据可分为两类：i).驾驶室视觉系统，主要通过驾驶员面部图像特征分析进行部分疲劳以及分神驾驶状态的识别，如瞌睡、哈欠等；ii).前视系统，主要通过道路场景图像特征分析进行特定车辆驾驶状态识别，如偏航、预碰撞等。

单独使用上述两种视觉系统进行危险驾驶行为预警存在的潜在问题有：i).基于道路场景分析的系统需要靠特定信号输入识别驾驶员意图(如以转向灯识别变道意图)，容易触发误报警，并且系统无法准确反映驾驶员对车辆操作的专注以及疲劳程度；ii).基于驾驶室场景分析的系统易受安装角度以及视场范围的影响，某些正常驾驶行为会误触发相应预警信号，并且对一些未训练危险行为，系统无法准确发出预警信号。

发明内容

本发明的目的是解决驾驶室视觉系统和前视系统融合度不高导致的对危险驾驶情形判断不准确的问题，提出了一种用于危险驾驶行为预警的车内外场景视觉分析方法，本技术方案输入为同步前视以及驾驶室场景图像，道路场景以及驾驶室场景经卷积神经网络特征编码后，级联送入基于递归神经网络的时序行为分类器，输出危险驾驶行为类别，用于后续相应预警算法，对于危险驾驶行为的的判定准确。

为实现上述技术目的，本发明提供的一种技术方案是，一种用于危险驾驶行为预警的车内外场景视觉分析方法，包括如下步骤：

S1、数据采集、同步以及预处理；

S2、道路场景语义编码；

S3、驾驶室场景语义编码；

S4、时序危险驾驶行为分类；

S5、模型前向运算部署以及输出后处理。

本方案中，首先，采集并同步道路场景以及驾驶室场景图像输入,经格式转换、ROI选取以及缩放等预处理操作后，送入后续深度卷积神经网络模块分析模块；其次，基于前视交通场景图像输入，利用离线训练所得道路场景深度卷积神经网络进行前视场景语义特征描述，激活部分为道路边界、车辆、行人等图像区域，输出编码后道路场景语义特征，与驾驶室场景语义特征级联后送入时序分析模块；然后，基于驾驶室场景图像输入，利用离线训练所得驾驶室场景深度卷积神经网络进行驾驶室场景语义特征描述，激活部分为驾驶员面部以及上半身肢体等图像区域，输出编码后驾驶室场景语义特征，与道路场景语义特征级联后送入时序分析模块；最后，基于上述级联车内外场景特征，根据不同预警应用需求，利用递归神经网络模型或支持向量机对时序行为进行分类。

所述步骤S1包括如下步骤：

S11、道路场景图像预处理：通过前视相机采集道路场景图像数据并存储在图像缓存池中，经卷积神经网络特征描述后级联送入基于递归神经网络的时序行为分类器；

S12、驾驶室场景图像预处理：通过驾驶室相机采集驾驶室场景图像数据并存储在图像缓存池中，经卷积神经网络特征描述后级联送入基于递归神经网络的时序行为分类器。

所述步骤S2包括如下步骤：

S21、道路场景神经网络拓扑：输入为320*180*3通道道路场景RGB图像，主干网络包括有卷积、池化、归一化、激活以及反卷积基础网络；

S22、道路场景训练数据集：采集交通场景数据集，人工标注生成多任务训练标签；

S23、道路场景模型离线训练：综合考虑道路场景神经网络在辅助驾驶系统中的应用以及网络特征的兼容性与可移植性，设计道路场景特征损失函数L_traffic。

所述步骤损失函数L_traffic采用下列计算公式：

L_traffic＝k₁L_obj+k₂L_road

L_ce(y，g)＝glogy+(1-g)log(1-y)

式中，L_obj为目标损失函数，L_road为路面语义损失函数，k1为目标损失函数L_obj的权重系数，k2为路面语义损失函数L_road的权重系数，L_1s(loc_i，g_loc，i)和L_ce(att_ki，g_att，ki)为交叉熵损失函数，L_1s(y，g)为smoothL1损失函数，目标损失函数L_obj包括有各目标的分类损失函数、位置回归损失函数以及属性分类损失函数，α为分类损失函数的权重系数，β为位置回归损失函数的权重系数，λ_j为属性分类损失函数的权重系数，道路语义损失函数L_road由图像像素级交叉熵求和所得。

所述步骤S3包括如下步骤：

S31、驾驶室场景神经网络拓扑：输入为320*180*1通道驾驶室场景红外图像，主干网络包括有卷积、池化、归一化、激活以及反卷积基础网络；

S32、驾驶室场景训练数据集：采集驾驶室场景数据集，人工标注生成多任务训练标签；

S33、驾驶室场景模型离线训练：综合考虑驾驶室场景神经网络在辅助驾驶系统中的应用以及网络特征的兼容性与可移植性，设计驾驶室场景特征损失函数L_driver。

所述损失函数L_driver采用下列计算公式：

L_driver＝μ₁L_fd+μ₂L_gd+μ₃L_hp

式中：L_fd为人脸检测损失函数，L_gd为眼球朝向损失函数，L_hp为面部朝向损失函数，μ₁为人脸检测损失函数L_fd的权重系数，μ₂为眼球朝向损失函数L_gd的权重系数，μ₃为面部朝向损失函数L_hp的权重系数，人脸检测损失函数L_fd包括有人脸分类损失函数、人脸区域回归损失函数以及关键点回归损失函数，α₁为人脸分类损失函数的权重系数，α₂为人脸区域回归损失函数的损失函数，α₃为关键点回归损失函数的权重系数，面部朝向回归损失函数L_hp包括有面部朝向分类损失函数、面部朝向角度回归损失函数以及朝向分类与角度一致性损失函数，β₁为面部朝向分类损失函数的权重系数，β₂为面部朝向角度回归损失函数的权重系数，β₃为朝向分类与角度一致性损失函数的权重系数，眼球朝向回归损失函数L_gd包括有眼球朝向分类损失函数、眼球朝向角度回归损失函数以及眼球朝向分类与角度一致性损失函数，γ₁为眼球朝向分类损失函数的权重系数，γ₂为眼球朝向角度回归损失函数的权重系数，γ₃为眼球朝向分类与角度一致性损失函数的权重系数。

所述步骤S4包括如下步骤：

S41、长短期记忆神经网络拓扑；

S42、长短期记忆神经网络训练数据集；

S43、长短期记忆神经网络离线训练；固化卷积特征层网络参数构造驾驶行为分类损失函数L_behavior，按批量随机梯度下降的方式求优此损失函数L_behavior。

所述损失函数L_behavior采用下列计算公式：

式中：B_i，j为预测行为类别，g_b，ij为行为类别真值，N为独立片段数，T为单独片段帧数。

所述步骤S5中，所述模型包括有道路场景模型、驾驶室场景模型，危险驾驶行为分类模型。

本发明的有益效果：

1、综合分析驾驶员驾驶以及车辆行驶状态，相较于基于单一场景输入的视觉分析系统，本发明的危险行为预警的可靠性较强_；

2、利用深度学习的方法，通过端到端神经网络以及海量驾驶数据训练所生成的行为类别，适用于不同的驾驶人群以及驾驶习惯，相较于基于特定规则以及数值判据的预警系统，本发明的危险行为预警鲁棒性较强；

3、各场景激活区域与各系统单独应用时感兴趣激活区域一致，可以集成于基于神经网络的架构视觉系统中而不引入额外特征运算量，因而本发明的可移植性以及可扩展性也较好。

4、同时识别潜在的危险车辆运动以及潜在的疲劳驾驶状态，关联车辆行驶状态预警与相应驾驶员驾驶状态，从而识别相应危险行车状态的下的驾驶员的驾驶状态以减少正常驾驶状态下部分不必要的误告警。

附图说明

图1为本发明的一种用于危险驾驶行为预警的车内外场景视觉分析方法的方法流程图。

图2为本发明的一种用于危险驾驶行为预警的车内外场景视觉分析方法的具体方法流程。

图3为适用于本发明的一种深度神经网络架构示意图。

具体实施方式

为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：如图1所示，一种用于危险驾驶行为预警的车内外场景视觉分析方法的方法流程图，包括如下步骤：

S1、数据采集、同步以及预处理；

S2、道路场景语义编码；

S3、驾驶室场景语义编码；

S4、时序危险驾驶行为分类；

S5、模型前向运算部署以及输出后处理。

本实施例中，首先，采集并同步道路场景以及驾驶室场景图像输入,经格式转换、ROI选取以及缩放等预处理操作后，送入后续深度卷积神经网络模块分析模块；其次，基于前视交通场景图像输入，利用离线训练所得道路场景深度卷积神经网络进行前视场景语义特征描述，激活部分为道路边界、车辆、行人等图像区域，输出编码后道路场景语义特征，与驾驶室场景语义特征级联后送入时序分析模块；然后，基于驾驶室场景图像输入，利用离线训练所得驾驶室场景深度卷积神经网络进行驾驶室场景语义特征描述，激活部分为驾驶员面部以及上半身肢体等图像区域，输出编码后驾驶室场景语义特征，与道路场景语义特征级联后送入时序分析模块；最后，基于上述级联车内外场景特征，根据不同预警应用需求，利用递归神经网络模型或支持向量机对时序行为进行分类。

如图2所示是一种用于危险驾驶行为预警的车内外场景视觉分析方法的具体方法流程图，

本发明提出了一种用于危险驾驶行为预警的车内外场景视觉联合分析方法，输入为前视相机所采集的道路场景图像(彩色)以及驾驶室相机所采集的驾驶室场景图像(红外)，经CNN(卷积神经网络)特征描述后级联送入基于递归神经网络的时序行为分类器，输出危险驾驶行为类别。前视相机水平视场角50°，左右居中安装于前档玻璃高度1-1.2米处，方向水平向前；驾驶室相机水平视场角50°，采用红外补光，安装于A柱处朝向驾驶员区域，S1、数据采集、同步以及预处理：离线调节配置曝光、增益等采集参数，图像原始数据经采集后标注系统时间戳，匹配时间戳后按相同序号送入各自预处理处理缓存队列，经如下预处理操作后，输入神经网络运算单元。

S11、道路场景图像预处理：读取道路场景图像缓存池顶部图片(YUV格式，1280*720)，先转化为RGB格式，后截取预定义ROI后缩放至道路场景神经网络输入大小(根据相应网络输入接口而定，默认为320*180*3)。

S12、驾驶室场景图像预处理：读取驾驶室场景图像缓存池顶部图片(YUV格式)，先截取Y通道数据，后截取预定义ROI缩放至驾驶室场景神经网络输入大小(根据相应网络输入接口而定，默认为320*180*1)。

S2、道路场景语义编码：道路场景语义编码神经网络如图2所示，输入为前视交通场景图像，经离线数据采集、神经网络模型训练以及在线模型推理，输出道路场景激活语义特征。

S21、道路场景神经网络拓扑：输入为320*180*3通道道路场景RGB图像，主干网络主要由卷积(conv)、池化(pooling)、归一化(BN)、激活(Relu)以及反卷积(deconv)等基础网络操作构成。场景特征包括网络输入的1/4，1/16以及1/64尺度下的特征描述，离线训练所采用计算损失函数的分支包括目标检测分支、道路语义分割分支以及目标属性分类分支。

S22、道路场景训练数据集：采集交通场景数据集，包含不同时间(白天、晚上等)、天气(晴、阴、雨等)、驾驶场景(城市、高速、隧道等)，提取时序离散样本，人工标注生成多任务训练标签，主要包括目标检测标签(目标框形式)、车道边界标签(语义图层形式)以及可行驶区域标签(语义图层形式)。其中，目标框形式包括目标类别(0-其他，1-小车，2-大车，3-行人，4-非机动车，5-信号灯，6-标识牌)，位置(x，Y，W，H)以及其他自定义属性(如标识牌类别、车辆3D属性等)。

S23、道路场景模型离线训练：综合考虑道路场景神经网络在辅助驾驶系统中的应用(包括其他交通参与者、交通信号标识的识别以及车道、道路边界的识别)以及网络特征的兼容性与可移植性，设计道路场景特征损失函数L_traffic如下：

L_traffic＝k₁L_obi+k₂L_road

L_ce(y，g)＝glogy+(1-g)log(1-y)

式中，L_obj为目标损失函数，L_road为路面语义损失函数，k1为目标损失函数L_obj的权重系数，k2为路面语义损失函数L_road的权重系数，L_1s(loc_i，g_loc，i)和L_ce(att_ki，g_att，ki)为交叉熵损失函数，L_1s(y，g)为smoothL1损失函数，目标损失函数L_obj包括有各目标的分类损失函数、位置回归损失函数以及属性分类损失函数，α为分类损失函数的权重系数，β为位置回归损失函数的权重系数，λ_j为属性分类损失函数的权重系数，道路语义损失函数L_road由图像像素级交叉熵求和所得。

采用色彩、几何变换等方式扩充步骤S22中所述训练数据集，利用批量样本梯度下降的方式反向传播上述损失函数梯度信息，更新相应神经网络权重参数。

S3、驾驶室场景语义编码：如图3所示，是适用于本发明的一种深度神经网络架构示意图，驾驶室场景语义编码神经网络如图3所示，输入为驾驶室场景图像，经离线数据采集、神经网络模型训练以及在线模型推理，输出驾驶室场景激活语义特征。

S31、驾驶室场景神经网络拓扑：输入为320*180*1通道驾驶室场景红外图像，与道路场景神经网络类似，主干网络部分由卷积(conv)、池化(pooling)、归一化(BN)、激活(Relu)以及反卷积(deconv)等基础网络操作构成。驾驶室场景特征主要包含神经网络输入的1/4，1/8以及1/16的尺度下的特征描述。

S32、驾驶室场景训练数据集：采集驾驶室场景数据集，包含不同时间(白天、晚上等)、天气(晴、阴、雨等)、驾驶室相机安装位置(中间、a柱等)、驾驶室空间结构(轿车、suv等)以及驾驶员身份(不同外貌、性别等特征的车辆驾驶者)，提取时序离散样本，人工标注生成多任务训练标签，主要包括人脸区域、关键点标签以及面部、眼球朝向标签。其中，人脸区域标签格式同一般目标框标签格式，人脸关键点标签包括13个关键点(包括眼部8个关键点、鼻尖部1个关键点以及口部4个关键点的图像坐标位置)，面部朝向(相机坐标系下头部三自由度转动角度)以及眼球朝向为二自由度角度标签(即面部平面内眼球上下以及左右转动的角度)。

S33、驾驶室场景模型离线训练：综合考虑驾驶室场景神经网络在辅助驾驶系统中的应用(包括疲劳、分神驾驶行为的检测)以及网络特征的兼容性与可移植性，设计驾驶室场景特征损失函数L_driver如下：

L_driver＝μ₁L_fd+μ₂L_gd+μ₃L_hp

式中：L_fd为人脸检测损失函数，L_gd为眼球朝向损失函数，L_hp为面部朝向损失函数，μ₁为人脸检测损失函数L_fd的权重系数，μ₂为眼球朝向损失函数L_gd的权重系数，μ₃为面部朝向损失函数L_hp的权重系数，人脸检测损失函数L_fd包括有人脸分类损失函数、人脸区域回归损失函数以及关键点回归损失函数，α₁为人脸分类损失函数的权重系数，α₂为人脸区域回归损失函数的损失函数，α₃为关键点回归损失函数的权重系数，面部朝向回归损失函数L_hp包括有面部朝向分类损失函数、面部朝向角度回归损失函数以及朝向分类与角度一致性损失函数，β₁为面部朝向分类损失函数的权重系数，β₂为面部朝向角度回归损失函数的权重系数，β₃为朝向分类与角度一致性损失函数的权重系数，眼球朝向回归损失函数L_gd包括有眼球朝向分类损失函数、眼球朝向角度回归损失函数以及眼球朝向分类与角度一致性损失函数，γ₁为眼球朝向分类损失函数的权重系数，γ₂为眼球朝向角度回归损失函数的权重系数，γ₃为眼球朝向分类与角度一致性损失函数的权重系数。

采用色彩、几何变换等方式扩充步骤S32中所述训练数据集，利用批量样本梯度下降的方式反向传播上述损失函数梯度信息，更新相应神经网络权重参数。

S4、时序危险驾驶行为分类：级联上述编码驾驶室内外场景，作为单一时刻行为特征描述，利用长短期记忆神经网络(LSTM，如图3所示)对预定义片段长度行为特征进行分类，输出预定义驾驶行为类别(0-正常驾驶，1-车道偏离，2-前车潜在碰撞，3-疲劳驾驶，4-不专注驾驶)。

S41、LSTM网络拓扑：时序递归单元个数为12(按12.5帧/秒的处理速度，近似为1秒的时序数据所对应的行为)，所使用公式如下：

f_t＝sigmoid(σ_f(x_t，h_t-1))

i_t＝sigmoid(σ_i(x_t，h_t-1))

o_t＝sigmoid(σ_o(x_t，h_t-1))

c_t＝f_t·c_t-1+i_t·tanh(σ_c(x_t，h_t-1))

h_t＝o_t·tanh(c_t)

式中：x_t为输入向量，f_t为遗忘门向量，i_t为更新门向量，h_t为隐层向量，o_t为输出门向量，c_t为元组状态向量。

S42、LSTM网络训练数据集：按1中的数据采集与同步方式采集与4中预定义驾驶行为的相应驾驶室内外场景图像数据，包括步骤S2与步骤S3数据集中描述的场景与工况，按12.5帧的帧率截取相应视频片段(2秒对应一个事件)，每一个视频片段对应一个行为标签。

S43、LSTM网络离线训练：固化卷积特征层网络参数(即梯度不反向传播至此部分)，构造驾驶行为分类损失函数L_behavior如下，按批量随机梯度下降的方式求优此损失函数：

式中：B_i，j为预测行为类别，g_b，ij为行为类别真值，N为独立片段数，T为单独片段帧数。

S5、模型前向运算部署以及模型输出后处理：如步骤S2、步骤3以及步骤4部分所述，模型共包含三个分支，分别为道路场景模型、驾驶室场景模型，危险驾驶行为分类模型。其中步骤S2，和步骤S3部分所包含的分支仅供训练计算损失函数以及反向传播梯度使用，前向运算时只保留相应场景特征层部分，相应模型参数按前端平台运算特性进行数据量化与稀疏化等压缩操作后，按预设定特征通道顺序级联后传入长短记忆模块进行时序驾驶行为在线分类。

本发明一种用于危险驾驶行为预警的车内外场景视觉分析方法的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。

Claims (8)

1.一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：包括如下步骤：

S1、数据采集、同步以及预处理；

S2、道路场景语义编码；

S21、道路场景神经网络拓扑：输入为320*180*3通道道路场景RGB图像，主干网络包括有卷积、池化、归一化、激活以及反卷积基础网络；

S22、道路场景训练数据集：采集交通场景数据集，人工标注生成多任务训练标签；

S23、道路场景模型离线训练：综合考虑道路场景神经网络在辅助驾驶系统中的应用以及网络特征的兼容性与可移植性，设计道路场景特征损失函数L_traffic；

S3、驾驶室场景语义编码；

S4、时序危险驾驶行为分类；

S5、模型前向运算部署以及输出后处理。

2.根据权利要求1所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述步骤S1包括如下步骤：

S11、道路场景图像预处理：通过前视相机采集道路场景图像数据并存储在图像缓存池中，经卷积神经网络特征描述后级联送入基于递归神经网络的时序行为分类器；

S12、驾驶室场景图像预处理：通过驾驶室相机采集驾驶室场景图像数据并存储在图像缓存池中，经卷积神经网络特征描述后级联送入基于递归神经网络的时序行为分类器。

3.根据权利要求1所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述步骤损失函数L_traffic采用下列计算公式：

L_traffic＝k₁L_obj+k₂L_road

L_ce(y，g)＝glogy+(1-g)log(1-y)

式中，L_obj为目标损失函数，L_road为路面语义损失函数，k1为目标损失函数L_obj的权重系数,k2为路面语义损失函数L_road的权重系数，L_1s(loc_i，g_loc，i)和L_ce(att_ki，g_att，ki)为交叉熵损失函数，L_1s(y，g)为smoothL1损失函数，目标损失函数L_obj包括有各目标的分类损失函数、位置回归损失函数以及属性分类损失函数，α为分类损失函数的权重系数，β为位置回归损失函数的权重系数，λ_j为属性分类损失函数的权重系数，道路语义损失函数L_road由图像像素级交叉熵求和所得。

4.根据权利要求1所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述步骤S3包括如下步骤：

S31、驾驶室场景神经网络拓扑：输入为320*180*1通道驾驶室场景红外图像，主干网络包括有卷积、池化、归一化、激活以及反卷积基础网络；

S32、驾驶室场景训练数据集：采集驾驶室场景数据集，人工标注生成多任务训练标签；

S33、驾驶室场景模型离线训练：综合考虑驾驶室场景神经网络在辅助驾驶系统中的应用以及网络特征的兼容性与可移植性，设计驾驶室场景特征损失函数L_driver。

5.根据权利要求4所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述损失函数L_driver采用下列计算公式：

L_driver＝μ₁L_fd+μ₂L_gd+μ₃L_hp

式中：L_fd为人脸检测损失函数，L_gd为眼球朝向损失函数，L_hp为面部朝向损失函数，μ₁为人脸检测损失函数L_fd的权重系数，μ₂为眼球朝向损失函数L_gd的权重系数，μ₃为面部朝向损失函数L_hp的权重系数，人脸检测损失函数L_fd包括有人脸分类损失函数、人脸区域回归损失函数以及关键点回归损失函数，α₁为人脸分类损失函数的权重系数，α₂为人脸区域回归损失函数的损失函数，α₃为关键点回归损失函数的权重系数，面部朝向损失函数L_hp包括有面部朝向分类损失函数、面部朝向角度回归损失函数以及朝向分类与角度一致性损失函数，β₁为面部朝向分类损失函数的权重系数，β₂为面部朝向角度回归损失函数的权重系数，β₃为朝向分类与角度一致性损失函数的权重系数，眼球朝向损失函数L_gd包括有眼球朝向分类损失函数、眼球朝向角度回归损失函数以及眼球朝向分类与角度一致性损失函数，γ₁为眼球朝向分类损失函数的权重系数，γ₂为眼球朝向角度回归损失函数的权重系数，γ₃为眼球朝向分类与角度一致性损失函数的权重系数。

6.根据权利要求1所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述步骤S4包括如下步骤：

S41、长短期记忆神经网络拓扑；

S42、长短期记忆神经网络训练数据集；

S43、长短期记忆神经网络离线训练；固化卷积特征层网络参数构造驾驶行为分类损失函数L_behavior，按批量随机梯度下降的方式求优此损失函数L_behavior。

7.根据权利要求6所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述损失函数L_behavior采用下列计算公式：

式中：B_i，j为预测行为类别，g_b，ij为行为类别真值，N为独立片段数，T为单独片段帧数。

8.根据权利要求1所述的一种用于危险驾驶行为预警的车内外场景视觉分析方法，其特征在于：

所述步骤S5中，所述模型包括有道路场景模型、驾驶室场景模型，危险驾驶行为分类模型。