CN117935231B - 一种无感式疲劳驾驶监测干预方法 - Google Patents

Abstract

本发明公开了一种无感式疲劳驾驶监测预警干预方法，通过监测疲劳监测特征点位降维在平面空间模板的指定区域的适配矩形框中的点间距离变化，并以此计算每个监测时点的疲劳度，实现了对是否出现疲劳驾驶的持续监控，且通过融合了不同驾驶环境、不同驾驶状态下表征疲劳状态的各疲劳特征间的相关性、差异性，提升了疲劳驾驶判断的准确性；疲劳度阈值因人而异且动态更新，减少了误判可能，提升了算法的针对性；通过在具有明确空间相对位置关系的各指定区域中设置尺寸固定且编码唯一的若干矩形框，能够快速计算出各疲劳监测特征点位在平面空间模板的定位位置，且有利于放大疲劳状态特征，利于提升疲劳监测的计算速度。

Description

一种无感式疲劳驾驶监测干预方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种无感式疲劳驾驶监测干预方法。

背景技术

目前，对于疲劳驾驶的监测原理主要有两种：第一种是监测转向操作的频率，第二种是监测转向加速度。监测转向操作频率以识别是否出现疲劳驾驶的基本原理为：当转向操作频率变低时，机器判定疑似进入疲劳驾驶状态，但驾驶在高速公路上，转向操作频率自然变低，该方式并不适于对高速公路驾驶的疲劳监测，且应用在城市道路中进行疲劳驾驶监测，由于监测指标单一，准确度也较低。

监测转向加速度以识别是否疲劳驾驶的原理为：当监测到伴有轻微但突然的转向动作后，机器即判定出现疲劳驾驶，该方法相比较第一种方法监测准确度得到明显提升。但该方法存在如下技术问题：

1、监测时机较晚。其监测到疲劳驾驶的时间点为因疲劳驾驶已出现危险动作的当下，缺乏是否发生疲劳驾驶的持续监测过程，轻微但突然的转向动作可能导致驾驶失控。

2、轻微但突然的转向动作也可能为避让突然出现的障碍物的突发行为，因此，以该监测方式判断是否出现疲劳驾驶准确度并不高。

3、目前市面上所有的疲劳驾驶监测算法都是通用的算法，适用于所有的驾驶员，但不同人的疲劳状态不同，因此算法本身的通用性使得对不同人员的疲劳状态的监测并不精确。

发明内容

本发明以提高疲劳驾驶监测算法本身的安全性以及监测的准确度、针对性为目的，提供了一种无感式疲劳驾驶监测预警干预方法。

为达此目的，本发明采用以下技术方案：

提供一种无感式疲劳驾驶监测预警干预方法，包括步骤：

S1，实时监测疲劳监测特征点位在降维虚拟空间的点间距离变化，以计算每个监测时点的疲劳度；

S2，判断所述疲劳度是否大于动态更新的当前时点对应的疲劳度阈值，

若是，则干预疲劳驾驶；

若否，则生成提示信息以提示驾驶员确认疲劳状态，并在驾驶员确认后转入步骤S3；

S3，记录确认信息并更新所述疲劳度阈值。

作为优选，步骤S1中，所述疲劳度的计算方法包括步骤：

S11，根据当前驾驶环境和驾驶状态获取对应的疲劳监测特征集合；

S12，从实时采集的每帧人脸图像中提取所述疲劳监测特征集合中记载的每个疲劳监测特征点位，并降维映射到平面空间模板中的对应指定区域的适配矩形框中，不同类型的所述指定区域相互间呈“△”形排布；

S13，获取当前监测时点关联的距离变化历史特征时序序列，/>表示序列/>中的第/>个元素的距离变化量，所述距离变化量为处于不同的所述指定区域中的两两所述疲劳监测特征点位间的距离变化的均值，1＜i＜n；

S14，抽取所述距离变化历史特征时序序列中的前/>个元素构成第一数组，剩余元素构成第二数组，然后分别计算所述第一数组和所述第二数组中的各元素的所述距离变化量的均值，分别记为/>，并将/>与/>的差值绝对值作为/>时点的所述疲劳度。

作为优选，步骤S11中，当所述驾驶环境为白天和/或所述驾驶状态为驾驶速度低于预设速度阈值时，对应获取的所述疲劳监测特征集合中包括瞳孔关键点和脸部关键点，

当所述驾驶环境为黑夜和/或所述驾驶状态为驾驶速度大于等于预设的所述速度阈值时，对应获取的所述疲劳监测特征集合中包括所述脸部关键点，

所述脸部关键点包括眼睑关键点、颧骨关键点和下巴关键点。

作为优选，步骤S12中的所述平面空间模板中包括至少2个所述指定区域，每个所述指定区域中包括若干个尺寸不同且编号唯一的矩形框，不同类型的所述疲劳监测特征点位被降维映射到对应的所述指定区域中的适配的所述矩形框内，具体方法包括步骤：

S121，截取包含同类型的所述疲劳监测特征点位的区域图像，然后计算类型对应的所述指定区域中的每个所述矩形框容置所述区域图像后，所述区域图像与容置的所述矩形框的面积交并比，并将交并比最大的所述矩形框作为适配对象；

S122，计算所述疲劳监测特征点位的三维坐标并进行二维降维；

S123，将降维后的二维坐标点位与所述适配对象中的参考点位对齐后，实现对所述疲劳监测特征点位与适配的所述矩形框的空间关系降维映射。

作为优选，步骤S122中，计算所述疲劳监测特征点位的三维坐标的方法包括步骤：

S1221，在同一时刻以不同视角采集人脸图像，然后提取每个视角下采集的人脸图像中的耳垂关键点和下巴关键点，并以离地最近的所述下巴关键点作为三维坐标计算的第一参照点位，以第二视角或第三视角中的离地最远的耳垂关键点作为三维坐标计算的第二参照点位；

S1222，对第二视角或第三视角下未检测到所述第一参照点位和或所述第二参照点位的人脸图像，计算所述第一参照点位和/或所述第二参照点位在该视角下分别对应的第一虚拟点位，和/或第二虚拟点位；

S1223，设定所述第一参照点位在三维坐标系下的z轴坐标为“0”值，以所述第二参照点位与所述第一参照点位的垂直距离为所述第二参照点位在z轴上的坐标值，然后根据每个所述疲劳监测特征点位与所述第一参照点位或所述第一虚拟点位，以及与所述第二参照点位或所述第二虚拟点位的空间距离关系，解出所述疲劳监测特征点位的三维坐标。

作为优选，步骤S1222中，计算所述第一虚拟点位的方法包括步骤：

A1，获取头部在当前帧相对于未转动的初始状态的转动角度；

A2，获取未作为所述第一参照点位的另一下巴关键点在当前视角下采集的人脸图像中的定位位置；

A3，根据所述另一下巴关键点的所述定位位置和步骤A1获取的所述转动角度，以及所述另一下巴关键点与所述第一参照点位的空间位置关系，计算出所述第一参照点位在当前视角下的人脸图像中的所述第一虚拟点位。

作为优选，步骤S1223中，所述疲劳监测特征点位在三维空间的x轴坐标值为：所述疲劳监测特征点位在第一视角下与所述第二参照点位或所述第二虚拟点位的水平距离；

y轴坐标值为：所述疲劳监测特征点位在第二视角或第三视角下与所述第二参照点位或所述第二虚拟点位的水平距离；

z轴坐标值为：任意视角下所述疲劳监测特征点位与所述第一参照点位或所述第一虚拟点位的垂直距离。

作为优选，步骤S122中，对所述疲劳监测特征点位进行二维降维的方法为：

同张人脸图像中的各所述疲劳监测特征点位的三维坐标中，轴类型对应且轴坐标值相同的个数至少为“1”；

步骤S123中，对齐所述二维坐标点位和所述参考点位的方法为：

抽取同类型的各所述疲劳监测特征点位中的任意一个作为对齐对象；

匹配出所述对齐对象在所述矩形框中对应的所述参考点位；

将所述对齐对象与匹配到的所述参考点位对齐后，以将所述区域图像容置到所述矩形框中；

计算各所述疲劳监测特征点位被容置后的容置坐标。

作为优选，所述疲劳监测特征点位的类型包括眼睑类型，瞳孔类型和嘴型类型中的任意一种或多种，其中，眼睑类型的所述疲劳监测特征点位包括上眼睑关键点和/或下眼睑关键点；

瞳孔类型的所述疲劳监测特征点位包括上瞳孔关键点、下瞳孔关键点、左瞳孔关键点、右瞳孔关键点中的任意一个或多个；

嘴型类型的所述疲劳监测特征点位为下巴关键点；

当判定动态更新的所述疲劳度阈值大于第一阈值或小于第二阈值时，机器置所述疲劳度阈值为初始值，或者，以车辆熄火为指令，机器置所述疲劳度阈值为所述初始值；所述第一阈值大于所述第二阈值。

作为优选，当所述驾驶环境为黑夜和/或所述驾驶状态为驾驶速度大于等于预设的速度阈值时，的计算方法包括步骤：

B1，指定上眼睑关键点和下巴关键点为的计算依据；

B2，判断所述上眼睑关键点和所述下巴关键点的疲劳趋势是否相同，

若是，则计算所述上眼睑关键点反疲劳趋势运动后的坐标对称位点，以放大疲劳特征，然后转入步骤B3；

若否，则不计算所述坐标对称位点；

B3，定义、/>时刻所述下巴关键点与所述坐标对称位点或与所述上眼睑关键点的距离分别为/>、/>，计算/>与/>的差值绝对值作为/>。

本发明具有以下有益效果：

1、通过监测疲劳监测特征点位降维在平面空间模板的指定区域的适配矩形框中的点间距离变化，并以此计算每个监测时点的疲劳度，实现了对是否发生疲劳驾驶的持续监控，且点间距离变化特征融合了不同驾驶环境、不同驾驶状态下表征疲劳状态的各疲劳特征间的相关性、差异性，使得对是否发生疲劳驾驶的判断更加准确。

2、用于判断是否发生疲劳驾驶的疲劳度阈值因人而异，且在驾驶过程中，机器会根据驾驶员的疲劳状态确认指令，不断更新疲劳度阈值，使得每个监测时点计算的点间距离变化特征具有更合理的疲劳度阈值，进而使得本发明提供的疲劳驾驶监测算法对不同驾驶员、不同驾驶环境和不同驾驶时点具有更强的针对性。

3、计算疲劳度时，通过在平面空间模板中设置多个与疲劳监测特征点位的类型对应的指定区域，并在每个指定区域中设置多个尺寸固定且编码唯一的矩形框，不同尺寸的矩形框能够满足不同大小的人脸图像的容置，利于保障疲劳驾驶监测算法对不同驾驶员的针对性；另外，矩形框中的参考点位的坐标事先确定，当疲劳监测特征点位二维降维并与对应矩形框中的参考点位对齐后，能够根据矩形框的唯一编码快速获取参考点位的坐标，进而能够根据矩形框内的各疲劳监测特征点位间的坐标相对关系，以及各疲劳监测特征点位与参考点位的坐标相对关系，快速计算出各疲劳监测特征点位在平面空间模板中的定位位置，这有利于大幅度提升疲劳度的计算速度，很好地满足了本发明无感式疲劳驾驶应用场景对监测实时性的高要求。

4、提供了一套简单、高效的降维算法，能够快速计算出实时检测到的疲劳监测特征点位的三维坐标并快速降维到二维空间，然后将指定的疲劳监测特征点位与对应的矩形框中的参考点位对齐后，依赖各疲劳监测特征点位在二维空间的坐标相对位置关系，以及事先确定的参考点位在平面空间模板中的坐标位置，能够快速计算出各疲劳监测特征点位在平面空间模板中的定位位置，由此将实时检测到的处于三维空间下的各疲劳监测特征点位映射到平面空间模板中的相应矩形框中，这使得实时疲劳度的计算成为可能。

5、不同指定区域在平面空间模板中的位置关系实现确定，当不同指定区域中的疲劳监测特征点位的疲劳趋势相同时，通过计算指定的疲劳监测特征点位的反疲劳趋势运动的坐标对称点来放大疲劳特征，以便于能够捕捉到更丰富的疲劳特征，这有助于提升是否出现疲劳驾驶的判断准确度。

6、仅依靠眼睑关键点、颧骨关键点、下巴关键点和瞳孔关键点，并通过对这些点位进行物理三维空间与平面空间模板间的坐标降维映射，并通过疲劳度的计算和疲劳度阈值的动态更新，即实现了对不同驾驶员在不同驾驶环境或驾驶状态下是否出现疲劳驾驶的准确判断，算法本身监测的点位数量较少，疲劳度的计算方法简单，保证本发明的无感式疲劳驾驶监测预警场景对算法响应实时性的高要求。

7、以很好地表征了不同类型的疲劳监测特征点位表征疲劳状态的相关性和差异性，不以某类疲劳监测特征点位表征的疲劳状态为最终判定的疲劳状态，对是否出现疲劳的判定更加准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的无感式疲劳驾驶监测预警干预方法的实现步骤图；

图2是平面空间模板以及计算疲劳度的示例图；

图3是以第一视角采集的一人脸图像的示例图；

图4为对图3所示的人脸以第二视角同时采集到的人脸图像的示例图；

图5是以另一下巴关键点计算第一参照点位对应的第一虚拟点位的原理图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的一种无感式疲劳驾驶监测预警干预方法，如图1所示，包括步骤：

S1，实时监测疲劳监测特征点位在降维虚拟空间的点间距离变化，以计算每个监测时点的疲劳度；

S2，判断疲劳度是否大于动态更新的当前时点对应的疲劳度阈值，

若是，则干预疲劳驾驶；

若否，则生成提示信息以提示驾驶员确认疲劳状态；

S3，记录确认信息并更新疲劳度阈值。

步骤S1中，疲劳度的计算方法具体包括如下步骤：

S11，根据当前驾驶环境和驾驶状态获取对应的疲劳监测特征集合，驾驶环境包括白天和黑夜，驾驶状态则由速度阈值划分，将驾驶速度低于预设的速度阈值的车辆状态定义为第一驾驶状态，将驾驶速度大于等于该速度阈值的车辆状态定义为第二驾驶状态。疲劳驾驶或者夜晚时，人体的瞳孔会不同程度的放大，因此可以通过瞳孔的放大特征来判断是否出现疲劳驾驶，但夜晚瞳孔自然放大，且光线不足，因此将瞳孔的放大特征作为驾驶环境为白天的疲劳监测特征。当驾驶速度过快时，瞳孔通常也会自然放大，而在速度低于预设值时，非疲劳状态下瞳孔通常不会放大，因此当驾驶速度低于预设值时监测到瞳孔具有放大特征或具有放大趋势，可作为判断是否出现疲劳驾驶的一项指标。因此本发明中，当驾驶环境为白天，和/或驾驶状态为第一驾驶状态时，对应获取的疲劳监测特征集合中包括瞳孔关键点。但瞳孔关键点的收缩特征难以捕捉，仅靠瞳孔关键点特征来判断是否出现疲劳驾驶准确度不够理想，因此，对应获取的疲劳监测特征集合中还包括脸部关键点，脸部关键点包括眼睑关键点、颧骨关键点和下巴关键点。疲劳监测特征点位的数量越多，算法需要计算的数据量越大，算法越复杂，因此本发明的其中一个技术优势是，仅依靠眼睑关键点、颧骨关键点、下巴关键点和瞳孔关键点这几个点位即可实现对白天或第一驾驶状态下是否出现疲劳驾驶的准确判断。

另外，当驾驶环境为黑夜，和/或驾驶状态为驾驶速度大于等于预设的速度阈值时，瞳孔的收缩特征已经难以真实反应疲劳状态，因此，当驾驶环境为黑夜，和/或驾驶状态为驾驶速度大于等于预设的速度阈值时，对应获取的疲劳监测特征集合中包括脸部关键点，而不包括瞳孔关键点。此时为了确保是否出现疲劳驾驶的判断的准确性，可以结合现有技术中的转向加速度监测等方法。

S12，从实时采集的每帧人脸图像中提取所获取的疲劳监测特征集合中记载的每个疲劳监测特征点位，并降维映射到平面空间模板中的对应指定区域的适配矩形框中；

如图2中所示，平面空间模板中包括至少2个指定区域100，每个指定区域100中包括若干个尺寸不同且编号唯一的矩形框200，不同类型的疲劳监测特征点位被降维映射到对应的指定区域100中的适配的矩形框200内，具体方法包括步骤：

S121，截取包含同类型的疲劳监测特征点位的区域图像，然后计算类型对应（疲劳监测特征点位的类型与指定区域的类型相对应）的指定区域中的每个矩形框容置该区域图像后，区域图像与容置的矩形框的面积交并比，并将交并比最大的矩形框作为适配对象；

此处对疲劳监测特征点位的类型的含义解释如下：

疲劳监测特征点位的类型包括眼睑类型、瞳孔类型和嘴型类型，其中眼睑类型的疲劳监测特征点位包括图2中所示的上眼睑关键点1、下眼睑关键点2；

瞳孔类型的疲劳监测特征点位包括图2中所示的上瞳孔关键点3、下瞳孔关键点4、左瞳孔关键点5和右瞳孔关键点6；

嘴型类型的疲劳监测特征点位为图2中所示的下巴关键点7。

截取包含同类型的疲劳监测特征点位的区域图像的方法举例如下：

比如要截取眼睑图像时，以识别到的上眼睑关键点、下眼睑关键点、左眼睑关键点、右眼睑关键点为边界，通过矩形框选的方式将这4个关键点围合的矩形区域作为待截取的眼睑图像。包含各瞳孔关键点的图像图像的截取方式与截取眼睑图像的方式原理相同，不再赘述。另外，嘴型类型的区域图像为鼻尖到下巴间的区域图像，截取原理与眼睑图像相同。

这里需要特别说明的是，不同类型的指定区域间的位置关系设置是否合理直接影响疲劳驾驶监测算法响应的实时性，为了放大不同指定区域间的疲劳监测特征点位间的距离变化特征的差异性，本发明采用三角方式排布不同类型的指定区域，即如图2中所示，用于容置瞳孔区域图像的指定区域，用于容置眼睑区域图像的指定区域和用于容置嘴型区域图像的指定区域之间呈三角形排布。

S122，计算疲劳监测特征点位的三维坐标并进行二维降维，三维坐标的计算方法具体包括如下步骤：

S1221，在同一时刻以不同视角采集人脸图像，然后提取每个视角下采集的人脸图像中的耳垂关键点和下巴关键点，并以离地最近的下巴关键点作为三维坐标计算的第一参照点位，以第二视角或第三视角中的离地最远的耳垂关键点作为三维坐标计算的第二参照点位；

下巴关键点和耳垂关键点离地的远近可通过设置离地参照点位来判断，比如设定胸口某一点位为离地参照点位，只需要计算下巴关键点或耳垂关键点和该离地参照点位的距离即可判断离地远近，距离越短离地越近，距离越远离地越远。如图3所示，下巴关键点包括左下巴关键点101和右下巴关键点102，耳垂关键点的附图标记为103。这里需要说明的是，同一时刻以3个视角采集人脸图像，第二视角和第三视角的视角相对且均与第一视角呈90°。

S1222，对第二视角或第三视角下未检测到第一参照点位和/或第二参照点位的人脸图像，计算第一参照点位和/或第二参照点位在该视角下分别对应的第一虚拟点位、和/或第二虚拟点位；

举例而言，假设三维空间下，从图3所示的人脸的左侧由左向右以第二视角采集人脸图像，此时，第二视角下采集不到右耳垂关键点，假设右耳垂关键点此时离地相比较左耳垂关键点更远，则右耳垂关键点作为第二参照点位，此时便需要计算第二参照点位在该视角下对应的第二虚拟点位。

另外举例而言，比如三维空间下，从图3所示的人脸的左侧由左向右以第二视角采集人脸图像，此时，第二视角下采集不到图3中所示的左下巴关键点101。假设左下巴关键点101此时离地最近，则左下巴关键点作为第一参照点位，此时边需要计算第一参照点位在第二视角下对应的第一虚拟点位。

以下以第一虚拟点位为例，对本发明计算虚拟点位的方法进行简要说明：

计算第一虚拟点位的方法包括步骤：

A1，获取头部在当前帧相对未转动的初始状态的转动角度，转动角度包括左转角度、右转角度、俯视角度和仰视角度（头部球形转动角度）；

A2，获取未作为第一参照点位的另一下巴关键点在当前视角下采集的人脸图像中的定位位置，比如图4中的下巴关键点102未作为第一参照点位，即获取该下巴关键点102在该视角下采集的人脸图像中的定位位置，对下巴关键点102在当前视角下的人脸图像进行定位的方法采用的是现有方法，因此不作具体说明；

A3，根据另一下巴关键点的定位位置和步骤A1获取的转动角度，以及另一下巴关键点与第一参照点位的空间位置关系，计算出第一参照点位在当前视角下的人脸图像中的第一虚拟点位。

图5中，另一下巴关键点102的定位位置已知，转动角度已知，另一下巴关键点与第一参照点位的空间位置关系已知，即另一下巴关键点102与第一参照点位的直线距离固定且已知，因此根据这3个已知关系，可以快速计算出图5中所示的第一虚拟点位300。

第二虚拟点位的计算原理与第一虚拟点位相同，不再赘述。

S1223，设定第一参照点位在三维坐标系下的z轴坐标为“0”值，以第二参照点位与第一参照点位的垂直距离为第二参照点位在z轴上的坐标值，然后根据每个疲劳监测特征点位与第一参照点位或第一虚拟点位，以及与第二参照点位或第二虚拟点位的空间距离关系，求解出每个疲劳监测特征点位的三维坐标。

具体而言，疲劳监测特征点位在三维空间的x轴坐标值为：疲劳监测特征点位在第一视角下与第二参照点位或第二虚拟点位的水平距离；

y轴坐标值为：疲劳监测特征点位在第二视角或第三视角下与第二参照点位或第二虚拟点位的水平距离；

z轴坐标值为：任意视角下疲劳监测特征点位与第一参照点位或第一虚拟点位的垂直距离。

步骤S122中，对疲劳监测特征点位进行二维降维的方法为：

同张人脸图像中的各疲劳监测特征点位的三维坐标中，轴类型对应且轴坐标值相同的个数至少为“1”。比如两个点位的三维坐标分别为（x1，y1，z1）和（x2，y2，z2），则x1和x2的轴类型对应，对应的均为x轴，y1和y2的轴类型对应，对应的均为y轴，轴类型对应且轴坐标值相同指的是，比如z1和z2的值比如均为“0”。

计算到每个疲劳监测特征点位的三维坐标并进行二维降维后，将不同类型的疲劳监测特征点位降维映射到平面空间模板的指定区域的适配矩形框内的方法转入步骤：

S123，将降维后的二维坐标点位与适配对象中的参考点位对齐后，实现疲劳监测特征点位与适配的矩形框的空间关系降维映射。

对齐二维坐标点位和参考点位的方法具体如下：

抽取同类型中各疲劳监测特征点位中的任意一个作为对齐对象；

匹配出对齐对象在矩形框中对应的参考点位；

将对齐对象与匹配到的参考点位对齐后，以将包含有该类型的各疲劳监测特征点位的区域图像容置到矩形框中；

计算各疲劳监测特征点位被容置后的容置坐标。

本发明中，图2中所示的上眼睑关键点1、上瞳孔关键点3待对齐的参考点位为适配的矩形框的上长边的中点；

下眼睑关键点2、下瞳孔关键点4、下巴关键点7待对齐的参考点位为适配对象的下长边的中点；

左瞳孔关键点5待对齐的参考点位为适配对象的左短边的中点；

右瞳孔关键点6待对齐的参考点位为适配对象的右短边的中点。

疲劳监测特征点位被容置后的容置坐标的计算原理简述如下：

适配对象中的每个参考点位在平面空间模板中的定位坐标是事先确定已知的，每个疲劳监测特征点位从三维空间降维后的二维坐标在上述步骤中已经计算得到，当指定的一个疲劳监测特征点位与参考点位对齐后，根据其他疲劳监测特征点位与对齐的参考点位的坐标空间关系，可以快速映射得到每个疲劳监测特征点位在矩形框中的坐标，即容置坐标，这不需要复杂的计算过程，进一步满足了本发明应用场景中对疲劳驾驶监测响应实时性的高要求。

将疲劳监测特征集合中的每个疲劳监测特征点位降维映射到平面空间模板中的对应指定区域的适配矩形框中后，疲劳度的计算方法转入步骤：

S13，获取当前监测时点关联的距离变化历史特征时序序列/>，/>表示序列/>中的第/>个元素的距离变化量，距离变化量为处于不同的指定区域中的两两疲劳监测特征点位间的距离变化的均值；

按照时间顺序排序，为当前监测时点/>的上一帧，/>与当前监测时点/>距离最远。

以下对的计算方法进行说明：

当驾驶环境为黑夜和/或驾驶状态为驾驶速度大于等于预设的速度阈值时，的计算方法包括如下步骤：

B1，指定上眼睑关键点和下巴关键点位的计算依据；

B2，判断上眼睑关键点和下巴关键点的疲劳趋势是否相同，

若是，则计算上眼睑关键点反疲劳趋势运动后的坐标对称位点，以放大疲劳特征，然后转入步骤B3；

若否，则跳转到步骤B4；

B3，定义时刻下巴关键点与坐标对称位点的距离为/>，定义/>时刻下巴关键点与上眼睑关键点或与其在/>时刻对应的坐标对称位点的距离为/>，计算/>与/>的差值绝对值作为/>；

B4，计算时刻下巴关键点与上眼睑关键点的距离/>，并计算/>时刻下巴关键点与上眼睑关键点或与其在/>时刻对应的坐标对称位点的距离为/>，然后计算/>与/>的差值绝对值作为/>。

这里需要说明的是，指定的上眼睑关键点为图2中所示的上眼睑关键点1，亦可指定下眼睑关键点2作为的计算依据，下巴关键点为上述的左下巴关键点或右下巴关键点中的任意一个均可。

判断不同类型的关键点的疲劳趋势是否相同的方法简述如下：

上述的步骤S11中，获取的疲劳监测特征集合中包含颧骨关键点，颧骨关键点和下巴关键点的距离变化可以表征出下巴关键点所表征的疲劳趋势，比如颧骨关键点和下巴关键点的距离相比初始值（嘴唇闭合状态）变长，则表示人脸可能处于打哈欠的疲惫状态，当前帧相比较上一帧，该距离的长度在增加，则表示其疲劳趋势为由弱到强。

通过眼睑关键点来判断疲劳趋势的原理也相同，比如图2中所示的上眼睑关键点1与下眼睑关键点2间的间距在当前帧相比较上一帧更短，则表示其眼睑关键点表征的疲劳趋势为由弱到强。这里需要说明的是，为了避免正常眨眼的上眼睑和下眼睑关键点的距离变化对疲劳状态的误判，本发明中，采用距离变化历史特征时序序列来表征一定持续时长内的距离变化的均值，减少了误判情况的发生。

通过瞳孔关键点老判断疲劳趋势的原理也相同，不再赘述。

此处还需要说明的是，当容置在平面空间模板的不同指定区域的不同类型的疲劳监测特征点位出现相同的疲劳趋势时，相比较/>可能变化不大，比如如图2中所示，若下巴关键点7从/>的第一位置10移动到/>的第二位置20，上眼睑关键点1从/>的第三位置30移动到/>的第四位置40，下巴关键点7与上眼睑关键点1在/>时刻的距离/>相比较在/>时刻的距离/>没有明显变化，即当疲劳趋势相同时，疲劳状态的变化特征并不明显，为了解决这个问题，本发明采用计算上眼睑关键点的范疲劳趋势运动的坐标对称位点，并计算下巴关键点与坐标对称位点间的距离来放大疲劳状态的变化特征。

上眼睑关键点的坐标对称位点的计算方式简述如下：

以时刻上眼睑关键点在平面空间模板中的定位位置为对称参考点，以/>时刻上眼睑关键点在平面空间模板中的定位位置为原始位点，将原始位点以对称参考点为中心翻转为坐标对称点，坐标对称点、对称参考点和原始位点呈一直线，且坐标对称点与对称参考点，原始位点与对称参考点的距离相同。

此处还想说明的是，当驾驶环境为白天和/或驾驶状态为驾驶速度低于预设的速度阈值时，假设以图2中所示的右瞳孔关键点6、上眼睑关键点1和下巴关键点7作为的计算依据，则/>为右瞳孔关键点6与上眼睑关键点1在/>时刻相比较/>时刻的距离变化量，右瞳孔关键点6与下巴关键点7在/>时刻相比较/>时刻的距离变化量，以及上眼睑关键点1与下巴关键点7在/>时刻相比较/>时刻的距离变化量，这3个距离变化量的均值。在计算这3个距离变化量时，若计算某个距离变化量的两个疲劳监测特征点位的疲劳趋势相同，则通过上述的方法计算指定的疲劳监测特征点位的坐标对称位点，然后再计算距离变化量以放大距离变化差异。需要强调的是，本发明考虑了不同类型的疲劳监测特征点位表征疲劳状态的相关性和差异性，即/>为不同指定区域间的两两疲劳监测特征点位间的距离变化量的均值。

获取到距离变化历史特征时序序列后，疲劳度的计算方法转入步骤：

S14，抽取距离变化历史特征时序序列中的前/>个元素构成第一数组，剩余元素构成第二数组，然后分别计算第一数组和第二数组中的各元素的距离变化量的均值，分别记为/>，并将/>与/>的差值绝对值作为/>时点的疲劳度。

以下对步骤S3中更新疲劳度阈值的方法进行简要说明：

步骤S2计算出的疲劳度具有相对应的疲劳特征（平面空间模板中跨指定区域的两两疲劳监测特征点位的距离变化关系），本发明提供了一份疲劳度阈值对照表，表中记录了疲劳特征样本与疲劳度阈值间的对应关系。驾驶员在步骤S2中若确认未进入疲劳状态，则机器计算当前的疲劳特征与疲劳度阈值对照表中的各疲劳特征样本的特征相似度，并将相似度最高的疲劳特征样本对应的疲劳度阈值更新为下一监测时刻判断是否出现疲劳的依据；若驾驶员在步骤S2中确认已进入疲劳状态，则不更新该疲劳度阈值。

此处需要说明的是，人为确认疲劳次数越多，比如确认未进入疲劳状态的次数越多，理论情况下，疲劳度阈值会越来越大，这对驾驶安全不利，因此为了避免出现这个问题，本发明中，当机器判定动态更新的疲劳度阈值大于第一阈值或小于第二阈值时，机器置疲劳度阈值为初始值，或者，以车辆熄火为指令，机器置疲劳度阈值为初始值，第一阈值大于第二阈值。

另外，无感式的疲劳驾驶监测还可结合路况进行伴随分析，以提高判断是否疲劳的准确性。比如，对于不同的路况，比如路况1和路况2，路况1相比较路况2条件更差，同个用户在路况1和路况2若计算到相同的疲劳度，则针对路况1设置的疲劳度阈值相比较针对路况2设置的疲劳度阈值可以设置的更低。因为更差的路况条件，车主更容易集中精神，因此对于不同路况若设置相同的疲劳度阈值会影响疲劳驾驶的判断准确度。

综上，本发明通过监测疲劳监测特征点位降维在平面空间模板的指定区域的适配矩形框中的点间距离变化，并以此计算每个监测时点的疲劳度，实现了对是否出现疲劳驾驶的持续监控，且通过融合了不同驾驶环境、不同驾驶状态下表征疲劳状态的各疲劳特征间的相关性、差异性，提升了疲劳驾驶判断的准确性；疲劳度阈值因人而异且动态更新，减少了误判可能，提升了算法的针对性；通过在具有明确空间相对位置关系的各指定区域中设置尺寸固定且编码唯一的若干矩形框，能够快速计算出各疲劳监测特征点位在平面空间模板的定位位置，且有利于放大疲劳状态特征，利于提升疲劳监测的计算速度。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (9)

1.一种无感式疲劳驾驶监测预警干预方法，其特征在于，包括步骤：

S1，实时监测疲劳监测特征点位在降维虚拟空间的点间距离变化，以计算每个监测时点的疲劳度；

S2，判断所述疲劳度是否大于动态更新的当前时点对应的疲劳度阈值，

若是，则干预疲劳驾驶；

若否，则生成提示信息以提示驾驶员确认疲劳状态，并在驾驶员确认后转入步骤S3；

S3，记录确认信息并更新所述疲劳度阈值；

步骤S1中，所述疲劳度的计算方法包括步骤：

S11，根据当前驾驶环境和驾驶状态获取对应的疲劳监测特征集合；

S12，从实时采集的每帧人脸图像中提取所述疲劳监测特征集合中记载的每个疲劳监测特征点位，并降维映射到平面空间模板中的对应指定区域的适配矩形框中，不同类型的所述指定区域相互间呈“△”形排布；

S13，获取当前监测时点关联的距离变化历史特征时序序列/>，/>表示序列/>中的第/>个元素的距离变化量，所述距离变化量为处于不同的所述指定区域中的两两所述疲劳监测特征点位间的距离变化的均值，1＜i＜n；

S14，抽取所述距离变化历史特征时序序列中的前/>个元素构成第一数组，剩余元素构成第二数组，然后分别计算所述第一数组和所述第二数组中的各元素的所述距离变化量的均值，分别记为/>，并将/>与/>的差值绝对值作为/>时点的所述疲劳度。

2.根据权利要求1所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S11中，当所述驾驶环境为白天和/或所述驾驶状态为驾驶速度低于预设速度阈值时，对应获取的所述疲劳监测特征集合中包括瞳孔关键点和脸部关键点，

当所述驾驶环境为黑夜和/或所述驾驶状态为驾驶速度大于等于预设的所述速度阈值时，对应获取的所述疲劳监测特征集合中包括所述脸部关键点，

所述脸部关键点包括眼睑关键点、颧骨关键点和下巴关键点。

3.根据权利要求1所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S12中的所述平面空间模板中包括至少2个所述指定区域，每个所述指定区域中包括若干个尺寸不同且编号唯一的矩形框，不同类型的所述疲劳监测特征点位被降维映射到对应的所述指定区域中的适配的所述矩形框内，具体方法包括步骤：

S121，截取包含同类型的所述疲劳监测特征点位的区域图像，然后计算类型对应的所述指定区域中的每个所述矩形框容置所述区域图像后，所述区域图像与容置的所述矩形框的面积交并比，并将交并比最大的所述矩形框作为适配对象；

S122，计算所述疲劳监测特征点位的三维坐标并进行二维降维；

S123，将降维后的二维坐标点位与所述适配对象中的参考点位对齐后，实现对所述疲劳监测特征点位与适配的所述矩形框的空间关系降维映射。

4.根据权利要求3所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S122中，计算所述疲劳监测特征点位的三维坐标的方法包括步骤：

S1221，在同一时刻以不同视角采集人脸图像，然后提取每个视角下采集的人脸图像中的耳垂关键点和下巴关键点，并以离地最近的所述下巴关键点作为三维坐标计算的第一参照点位，以第二视角或第三视角中的离地最远的耳垂关键点作为三维坐标计算的第二参照点位；

S1222，对第二视角或第三视角下未检测到所述第一参照点位和或所述第二参照点位的人脸图像，计算所述第一参照点位和/或所述第二参照点位在该视角下分别对应的第一虚拟点位，和/或第二虚拟点位；

S1223，设定所述第一参照点位在三维坐标系下的z轴坐标为“0”值，以所述第二参照点位与所述第一参照点位的垂直距离为所述第二参照点位在z轴上的坐标值，然后根据每个所述疲劳监测特征点位与所述第一参照点位或所述第一虚拟点位，以及与所述第二参照点位或所述第二虚拟点位的空间距离关系，解出所述疲劳监测特征点位的三维坐标。

5.根据权利要求4所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S1222中，计算所述第一虚拟点位的方法包括步骤：

A1，获取头部在当前帧相对于未转动的初始状态的转动角度；

A2，获取未作为所述第一参照点位的另一下巴关键点在当前视角下采集的人脸图像中的定位位置；

A3，根据所述另一下巴关键点的所述定位位置和步骤A1获取的所述转动角度，以及所述另一下巴关键点与所述第一参照点位的空间位置关系，计算出所述第一参照点位在当前视角下的人脸图像中的所述第一虚拟点位。

6.根据权利要求4或5所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S1223中，所述疲劳监测特征点位在三维空间的x轴坐标值为：所述疲劳监测特征点位在第一视角下与所述第二参照点位或所述第二虚拟点位的水平距离；

y轴坐标值为：所述疲劳监测特征点位在第二视角或第三视角下与所述第二参照点位或所述第二虚拟点位的水平距离；

z轴坐标值为：任意视角下所述疲劳监测特征点位与所述第一参照点位或所述第一虚拟点位的垂直距离。

7.根据权利要求3所述的无感式疲劳驾驶监测预警干预方法，其特征在于，步骤S122中，对所述疲劳监测特征点位进行二维降维的方法为：

同张人脸图像中的各所述疲劳监测特征点位的三维坐标中，轴类型对应且轴坐标值相同的个数至少为“1”；

步骤S123中，对齐所述二维坐标点位和所述参考点位的方法为：

抽取同类型的各所述疲劳监测特征点位中的任意一个作为对齐对象；

匹配出所述对齐对象在所述矩形框中对应的所述参考点位；

将所述对齐对象与匹配到的所述参考点位对齐后，以将所述区域图像容置到所述矩形框中；

计算各所述疲劳监测特征点位被容置后的容置坐标。

8.根据权利要求7所述的无感式疲劳驾驶监测预警干预方法，其特征在于，所述疲劳监测特征点位的类型包括眼睑类型，瞳孔类型和嘴型类型中的任意一种或多种，其中，眼睑类型的所述疲劳监测特征点位包括上眼睑关键点和/或下眼睑关键点；

瞳孔类型的所述疲劳监测特征点位包括上瞳孔关键点、下瞳孔关键点、左瞳孔关键点、右瞳孔关键点中的任意一个或多个；

嘴型类型的所述疲劳监测特征点位为下巴关键点；

当判定动态更新的所述疲劳度阈值大于第一阈值或小于第二阈值时，机器置所述疲劳度阈值为初始值，或者，以车辆熄火为指令，机器置所述疲劳度阈值为所述初始值；所述第一阈值大于所述第二阈值。

9.根据权利要求1-5、7-8中的任意一项所述的无感式疲劳驾驶监测预警干预方法，其特征在于，当所述驾驶环境为黑夜和/或所述驾驶状态为驾驶速度大于等于预设的速度阈值时，的计算方法包括步骤：

B1，指定上眼睑关键点和下巴关键点为的计算依据；

B2，判断所述上眼睑关键点和所述下巴关键点的疲劳趋势是否相同，

若是，则计算所述上眼睑关键点反疲劳趋势运动后的坐标对称位点，以放大疲劳特征，然后转入步骤B3；

若否，则不计算所述坐标对称位点；

B3，定义、/>时刻所述下巴关键点与所述坐标对称位点或与所述上眼睑关键点的距离分别为/>、/>，计算/>与/>的差值绝对值作为/>。