CN112450933A - 一种基于人体多类特征的驾驶疲劳监测方法 - Google Patents

Abstract

本发明公开了一种基于人体多类特征的驾驶疲劳监测方法，包括驾驶员脑电信号监测和驾驶员头部姿态监测。驾驶员脑电信号监测是利用脑电信号计算其熵值，通过降维形成脑电信号驾驶疲劳监测指标；驾驶员头部姿态信息监测是利用微型红外温度传感器记录驾驶员头部姿态信息，产生头部姿态驾驶疲劳监测指标。最后，利用Pearson相关分析分析脑电信号监测指标和头部姿态信息监测指标之间的相关性，降低各种干扰对监测指标的影响，从而形成驾驶员多类特征的驾驶疲劳综合监测。其识别程度高，系统易于建立，方法易于实现，达到更加准确监测驾驶员疲劳状态的目的，减少因驾驶疲劳带来的交通隐患。具有科学合理，适用性强，效果佳的优点。

Description

一种基于人体多类特征的驾驶疲劳监测方法

技术领域

本发明涉及实时检测驾驶员驾驶疲劳状态的方法，是一种基于人体多类特征的驾驶疲劳 监测方法。

背景技术

近年来，汽车越来越成为人们普遍的出行工具，汽车在为人们出行带来便利的同时，也 引发了严重的交通事故。据统计，在城市事故案件当中，公路交通事故属于危害性最大的事 件。根据道路交通事故统计数据可知，90％的交通事故是由驾驶员的人为因素造成，其次是 道路环境因素和车辆故障因素。57％的驾驶人认为疲劳驾驶是一个严重的问题，50％以上的 被调查者有过疲劳驾驶的经历，20％的驾驶人在过去的一年中至少有一次在驾驶过程中睡着 或者打盹。

虽然，国内外学者在驾驶疲劳判别方法研究方面已有大量的研究成果，但现有检测方案 大多以采集单一特征或同类特征融合作为监测指标，单一指标虽然都可用来评价驾驶员的疲 劳程度，无法达到理想的效果，因此还是有可能对驾驶造成危险，出现交通意外。

有鉴于此，本发明针对上述现有技术缺失，提出一种基于多类特征的驾驶疲劳监测方法， 以有效克服上述问题。

发明内容

本发明目的在于，针对现有技术存在的不足，提供科学合理，适用性强，效果佳的基于 人体多类特征的驾驶疲劳监测方法，用以汽车驾驶过程中监测驾驶员的疲劳状态。

为实现上述目的，本发明所采用的技术方案为：一种基于人体多类特征的驾驶疲劳监测 方法，其特征在于，它包括驾驶员脑电信号监测和驾驶员头部姿态监测步骤：

1)驾驶员脑电信号监测：

(a)使用脑电采集设备采集驾驶员导联的脑电信号；

(b)对采集到的脑电信号进行预处理，得到预处理后的脑电信号；

(c)对与处理后的脑电信号进行小波包分解，提取对应波段的脑电信号；

(d)计算对应波段脑电信号的熵值，构建脑电信号对应波段熵值矩阵；

(e)对熵值矩阵进行降维分析，提取表征驾驶疲劳的脑电信号指标；

2)驾驶员头部姿态监测：

(f)定位驾驶员脸部区域；

(j)分离驾驶员脸部器官特征；

(g)提取驾驶员脸部器官特征；

(h)计算驾驶员头部异常率和点头率。

进一步优选，所述步骤1)的(a)、(b)和(c)，选取AF3和AF4两导联信号，经过预处理后，提取β波频段，即12～32Hz。

进一步优选，所述步骤1)的(d)，计算β波频段脑电信号熵值，构建脑电信号熵值矩阵：

分别计算AF3导联β波频段的近似熵A₁、样本熵B₁；分别计算AF4导联β波频段的近似熵A₂、样本熵B₂；构建熵值矩阵

S＝[A₁，B₁，A₂，B₂]。

进一步优选，所述步骤1)的(e)，对熵值矩阵S进行降维分析，提取表征驾驶疲劳特征 指标的过程为：对由AF3和AF4导联近似熵和样本熵组成的熵值矩阵S进行因子分析，通过 主成分分析，提取特征值大于1的主元，对因子载荷矩阵进行旋转，得出旋转后的因子载荷 矩阵，求出因子得分表达式，得到脑电信号中表征驾驶疲劳的主要指标。

进一步优选，所述步骤2)的(f)，定位驾驶员脸部区域的过程为：对红外面扫描温度传 感器获取的驾驶员脸部图像进行灰度变换，然后对灰度图像进行二值化，最后定位出驾驶员 脸部区域。

进一步优选，所述步骤2)的(j)，分离驾驶员脸部器官特征的过程为：对驾驶员的脸部 区域图像进行两次区域生长，在两次分割的基础上进行二值化，分离出驾驶员脸部器官特征。

进一步优选，所述步骤2)的(g)，提取驾驶员脸部器官特征为：对二值化图像的基础上 进行Harris角点检测，提取出驾驶员脸部器官特征。

进一步优选，所述步骤2)的(h)，计算驾驶员头部异常率和点头率的过程为：

分别计算驾驶员左右眉毛特征点的平均值，以左眉毛特征点平均值为基准点，以红外温 度传感器扫描区域水平中心线和垂直中心线为坐标轴建立x-y坐标系，计算基准点与红外温 度传感器扫描区域x轴线的距离l，驾驶员清醒时基准点与红外温度传感器扫描区域x轴线的 距离记为l1，当距离l小于0.44l1时，认为进行了一次点头，点头率f_nod为：

其中，N_nod为T时间内发生头动作次数，f_nod为点头率；

分别计算驾驶员左右眉毛特征点平均值与y轴之间的距离，分别记为vl、vr，左特征点与 y轴之间的距离为负值，右特征点与y轴之间的距离为正值，驾驶员清醒时左右眉毛特征点平 均值与y轴之间的距离，分别记为vl1、vr1，当vl小于2vl1或vr大于2vr1时，认为驾驶员 头部处于异常状态；以驾驶员左右眉毛特征点平均值连接线的中垂线为基准线，当基准线与 y轴之间的夹角小于-8.18°或者大于7.26°时，判定驾驶员头部处于异常状态。头部异常率f_ab为：

其中，N_ab为时间段T内监测出现异常状态的次数，f_ab为头部异常率。

进一步优选，利用Pearson相关分析分别计算脑电信号驾驶疲劳监测指标、点头率f_nod和头部异常率f_ab之间的相关性，若表现出较强的相关性，说明这三种指标均受干扰影响较小， 可以作为驾驶疲劳判别的指标，达到多类特征的驾驶疲劳监测。

本发明的一种基于人体多类特征的驾驶疲劳监测方法，与现有技术相比，其识别程度高， 系统易于建立，方法易于实现，达到更加准确监测驾驶员疲劳状态的目的，减少因驾驶疲劳 带来的交通隐患。具有科学合理，适用性强，效果佳等优点。

附图说明

图1为本发明的一种基于人体多类特征的驾驶疲劳监测方法流程图；

图2为红外温度传感器扫描驾驶员脸部区域示意图；

图3为红外面扫描温度传感器示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步说明。

本发明的一种基于人体多类特征的驾驶疲劳监测方法，它包括驾驶员脑电信号监测和驾 驶员头部姿态监测步骤：

1)驾驶员脑电信号监测：

(a)使用脑电采集设备采集驾驶员导联的脑电信号；

(b)对采集到的脑电信号进行预处理，得到预处理后的脑电信号；

(c)对与处理后的脑电信号进行小波包分解，提取对应波段的脑电信号；

(d)计算对应波段脑电信号的熵值，构建脑电信号对应波段熵值矩阵；

(e)对熵值矩阵进行降维分析，提取表征驾驶疲劳的脑电信号指标；

2)驾驶员头部姿态监测：

(f)定位驾驶员脸部区域；

(j)分离驾驶员脸部器官特征；

(g)提取驾驶员脸部器官特征；

(h)计算驾驶员头部异常率和点头率。

进一步优选，所述步骤1)的(a)、(b)和(c)，选取AF3和AF4两导联信号，经过预处理后，提取β波频段，即12～32Hz。

进一步优选，所述步骤1)的(d)，计算β波频段脑电信号熵值，构建脑电信号熵值矩阵：

分别计算AF3导联β波频段的近似熵A₁、样本熵B₁；分别计算AF4导联β波频段的近似熵A₂、样本熵B₂；构建熵值矩阵

S＝[A₁，B₁，A₂，B₂]。

进一步优选，所述步骤1)的(e)，对熵值矩阵S进行降维分析，提取表征驾驶疲劳特征 指标的过程为：对由AF3和AF4导联近似熵和样本熵组成的熵值矩阵S进行因子分析，通过 主成分分析，提取特征值大于1的主元，对因子载荷矩阵进行旋转，得出旋转后的因子载荷 矩阵，求出因子得分表达式，得到脑电信号中表征驾驶疲劳的主要指标。

进一步优选，所述步骤2)的(f)，定位驾驶员脸部区域的过程为：对红外面扫描温度传 感器获取的驾驶员脸部图像进行灰度变换，然后对灰度图像进行二值化，最后定位出驾驶员 脸部区域。

进一步优选，所述步骤2)的(j)，分离驾驶员脸部器官特征的过程为：对驾驶员的脸部 区域图像进行两次区域生长，在两次分割的基础上进行二值化，分离出驾驶员脸部器官特征。

进一步优选，所述步骤2)的(g)，提取驾驶员脸部器官特征为：对二值化图像的基础上 进行Harris角点检测，提取出驾驶员脸部器官特征。

进一步优选，所述步骤2)的(h)，计算驾驶员头部异常率和点头率的过程为：

分别计算驾驶员左右眉毛特征点的平均值，以左眉毛特征点平均值为基准点，以红外温 度传感器扫描区域水平中心线和垂直中心线为坐标轴建立x-y坐标系，计算基准点与红外温 度传感器扫描区域x轴线的距离l，驾驶员清醒时基准点与红外温度传感器扫描区域x轴线的 距离记为l1，当距离l小于0.44l1时，认为进行了一次点头，点头率f_nod为：

其中，N_nod为T时间内发生头动作次数，f_nod为点头率；

分别计算驾驶员左右眉毛特征点平均值与y轴之间的距离，分别记为vl、vr，左特征点与 y轴之间的距离为负值，右特征点与y轴之间的距离为正值，驾驶员清醒时左右眉毛特征点平 均值与y轴之间的距离，分别记为vl1、vr1，当vl小于2vl1或vr大于2vr1时，认为驾驶员 头部处于异常状态；以驾驶员左右眉毛特征点平均值连接线的中垂线为基准线，当基准线与 y轴之间的夹角小于-8.18°或者大于7.26°时，判定驾驶员头部处于异常状态。头部异常率f_ab为：

其中，N_ab为时间段T内监测出现异常状态的次数，f_ab为头部异常率。

进一步优选，利用Pearson相关分析分别计算脑电信号驾驶疲劳监测指标、点头率f_nod和头部异常率f_ab之间的相关性，若表现出较强的相关性，说明这三种指标均受干扰影响较小， 可以作为驾驶疲劳判别的指标，达到多类特征的驾驶疲劳监测。

参照图1，具体实施例的一种基于人体多类特征的驾驶疲劳监测方法，包括驾驶员脑电 信号监测和驾驶员头部姿态监测。驾驶员脑电信号监测具体包括以下几个步骤：

步骤1、使用脑电采集设备Emotiv采集到导联的脑电信号；

步骤2、选取导联脑电信号中的AF3和AF4两导联脑电信号，对所选脑电信号进行0.4Hz5 阶巴特沃斯高通滤波和50Hz陷波滤波作预处理。

步骤3、对进行预处理后的脑电信号作4层小波包分解，小波基函数选取db4，重构12～32Hz脑电信号，即β波频段；

步骤4.1、计算AF3和AF4导联β波频段脑电信号近似熵：

①长度为N的脑电信号记为x(1),x(2),...,x(N)，定义m维向量：

X_m(i)＝{x(i),x(i+1),...,x(i+m-1)}；1≤i≤N-m+1

②定义任意两个m维向量X_m(i)和X_m(j)之间的距离为：

d[X_m(i),X_m(j)]＝max[x(i+k)-x(j+k)]；0≤k≤m-1；i≠j；i,j≤N-m

③给定一个阈值r，计算上述任意两个元素的最大值小于这个阈值总数：

④定义一个比值：

⑤先对

求对数，再求其对所有i的平均值，记作B^m(r)，则：

⑥维数加1，即m+1维时，重复①～⑤，可得到

和B^m+1(r)。

⑦近似熵AE为：

当N为有限值时，ApEn可记为：

ApEn(m,r,N)＝B^m(r)-B^m+1(r)

其中，参数r是预先设定的相似容限。

在这里，选取r＝0.2SD(SD是原始序列的标准差)，m＝2。

将AF3和AF4导联计算所得的近似熵分别记为A₁和A₂。

步骤4.2、计算AF3和AF4导联β波频段脑电信号样本熵：

①长度为N的脑电信号记为x(1),x(2),...,x(N)，定义m维向量：

X_m(i)＝{x(i),x(i+1),...,x(i+m-1)}；1≤i≤N-m+1

②对任意两个m维向量进行计算：

d[X_m(i),X_m(j)]＝max[x(i+k)-x(j+k)]；0≤k≤m-1；i≠j；i,j≤N-m

③给定一个阈值r，计算上述两个元素的最大差值小于这个阈值的总数：

④定义一个比值：

为C与总数的比，求其均值：

其中，

为m维序列比的均值。

⑤信号增加到m+1维，重复以上步骤，可得m+1维序列的比例的均值：

⑥样本熵SE为：

当N为有限值时可用如下公式计算：

这里，选取r＝0.2SD(SD是原始序列的标准差)，m＝2。

将AF3和AF4导联计算所得的样本熵分别记为B₁和B₂。

步骤4.3、根据步骤4.1和步骤4.2计算所得的AF3和AF4导联的熵值，构建成熵值矩阵：

S＝[A₁,B₁,A₂,B₂]

步骤5、对熵值矩阵S进行因子分析，通过主成分分析，提取特征值大于1的主元，对因子载荷矩阵进行旋转，得出旋转后的因子载荷矩阵，求出因子得分表达式，获取表征驾驶疲劳的主要指标。

参照图1，一种基于人体多类特征的驾驶疲劳监测方法，包括驾驶员脑电信号监测和驾 驶员头部姿态监测。驾驶员头部姿态监测具体包括以下几个步骤：

步骤1、利用红外面扫描温度传感器，如图3所示，获取驾驶员脸部红外扫描图像，随 后对扫描图像进行灰度变换，然后对灰度图像进行二值化，最后定位出驾驶员脸部区域。

步骤2、在背景区域中分别选取左上、左下、右上和右下四个种子点，设定阈值为0.1， 将驾驶员脸部区域与背景分离出来。然后在驾驶员脸部区域边缘选取一个种子点，设定阈值 为0.15，进行第二次人脸区域生长，在区域生长的基础上设定自适应阈值将图像进行二值化， 有效的将驾驶员脸部器官特征凸显出来。

步骤3、在二值化图像的基础上进行Harris角点检测，提取出驾驶员脸部器官特征，具 体过程为：

设定一个固定大小的窗口，让窗口在图像区域平移，将窗口平移(u,v)产生的灰度变化 定位E(u,v)，E(u,v)表示为：

其中w(x,y)为高斯窗口函数，(x,y)为像素点坐标。

I(x+u,y+v)＝I(x,y)+I_xu+I_yv+O(u²,v²)

O(u,v)的大小可以忽略，于是有：

得到：

其中，I_x和I_y为3×3的窗口模板。

设定2×2阶矩阵M的特征值为λ_max和λ_min。λ_max表示的是图像像素快速变化的地方，λ_min表示的是图像像素缓慢变化的地方，角点处的特征就是两个方向上变化都比较明显的点，也 就是λ_max和λ_min都比较大并且数值相当。

R＝det(M)-k(traceM)²

其中，det(M)＝λ₁λ₂，trace(M)＝λ₁+λ₂，k＝0.05。

根据设定的阈值，当R大于阈值时，即可认为是角点。

步骤4、参照图2和图3，计算驾驶员头部异常率和点头率，具体过程为：

步骤4.1、分别计算驾驶员左右眉毛特征点的平均值，以左眉毛特征点平均值为基准点， 以红外温度传感器扫描区域水平中心线和垂直中心线为坐标轴建立x-y坐标系，计算基准点 与红外温度传感器扫描区域x轴线的距离l，驾驶员清醒时基准点与红外温度传感器扫描区域 x轴线的距离记为l1，当距离l小于0.44l1时，认为进行了一次点头。点头率f_nod为：

其中，N_nod为T时间内发生头动作次数，f_nod为点头率。

步骤4.2、分别计算驾驶员左右眉毛特征点平均值与y轴之间的距离，分别记为vl、vr， 左特征点与y轴之间的距离为负值，右特征点与y轴之间的距离为正值，驾驶员清醒时左右 眉毛特征点平均值与y轴之间的距离，分别记为vl1、vr1，当vl小于2vl1或vr大于2vr1时， 认为驾驶员头部处于异常状态；以驾驶员左右眉毛特征点平均值连接线的中垂线为基准线， 当基准线与y轴之间的夹角小于-8.18°或者大于7.26°时，判定驾驶员头部处于异常状态。头 部异常率f_ab为：

其中，N_ab为时间段T内监测出现异常状态的次数，f_ab为头部异常率。

分别将熵值表征的脑电信号疲劳特征、点头率f_nod和头部异常率f_ab的驾驶疲劳阈值设置 为清醒时熵值的0.4倍、点头率f_nod为0.125、头部异常率f_ab为0.153。当熵值小于设定阈值 或点头率f_nod和头部异常率f_ab大于设定阈值时，利用Pearson相关分析计算脑电疲劳特征、 点头率f_nod和头部异常率f_ab之间的相关性，Pearson相关分析具体过程为：

其中，X_i和Y_i分别代表两类不同的特征，n为特征个数。若三者之间有较强的相关性， 则排除了由各种干扰所引起的误差，说明三种指标受干扰影响较小，都可作为驾驶疲劳评判 的标准，从而认为驾驶员处于驾驶疲劳状态，同时发出报警信息，提醒驾驶员停车休息，实 现多类特征的综合驾驶疲劳监测，减小因单一特征或同类特征融合作为监测指标所带来的局 限性，实现更加准确的驾驶疲劳监测。

本发明一种基于人体多类特征的驾驶疲劳监测方法所涉及的测量器具均为市售产品。

以上实施例仅用以说明本发明而非限制本发明所描述的技术方案。因此，尽管本说明书 参照上述的各个实施例对本发明已进行了详细的说明，但仍可对本发明进行修改或同等替换。 其技术方案及其改进，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，它包括驾驶员脑电信号监测和驾驶员头部姿态监测步骤：

1)驾驶员脑电信号监测：

(a)使用脑电采集设备采集驾驶员导联的脑电信号；

(b)对采集到的脑电信号进行预处理，得到预处理后的脑电信号；

(c)对与处理后的脑电信号进行小波包分解，提取对应波段的脑电信号；

(d)计算对应波段脑电信号的熵值，构建脑电信号对应波段熵值矩阵；

(e)对熵值矩阵进行降维分析，提取表征驾驶疲劳的脑电信号指标；

2)驾驶员头部姿态监测：

(f)定位驾驶员脸部区域；

(j)分离驾驶员脸部器官特征；

(g)提取驾驶员脸部器官特征；

(h)计算驾驶员头部异常率和点头率。

2.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤1)的(a)、(b)和(c)，选取AF3和AF4两导联信号，经过预处理后，提取β波频段，即12～32Hz。

3.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤1)的(d)，计算β波频段脑电信号熵值，构建脑电信号熵值矩阵：分别计算AF3导联β波频段的近似熵A₁、样本熵B₁；分别计算AF4导联β波频段的近似熵A₂、样本熵B₂；构建熵值矩阵

S＝[A₁，B₁，A₂，B₂]。

4.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤1)的(e)，对熵值矩阵S进行降维分析，提取表征驾驶疲劳特征指标的过程为：对由AF3和AF4导联近似熵和样本熵组成的熵值矩阵S进行因子分析，通过主成分分析，提取特征值大于1的主元，对因子载荷矩阵进行旋转，得出旋转后的因子载荷矩阵，求出因子得分表达式，得到脑电信号中表征驾驶疲劳的主要指标。

5.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤2)的(f)，定位驾驶员脸部区域的过程为：对红外面扫描温度传感器获取的驾驶员脸部图像进行灰度变换，然后对灰度图像进行二值化，最后定位出驾驶员脸部区域。

6.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤2)的(j)，分离驾驶员脸部器官特征的过程为：对驾驶员的脸部区域图像进行两次区域生长，在两次分割的基础上进行二值化，分离出驾驶员脸部器官特征。

7.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤2)的(g)，提取驾驶员脸部器官特征为：对二值化图像的基础上进行Harris角点检测，提取出驾驶员脸部器官特征。

8.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，所述步骤2)的(h)，计算驾驶员头部异常率和点头率的过程为：

分别计算驾驶员左右眉毛特征点的平均值，以左眉毛特征点平均值为基准点，以红外温度传感器扫描区域水平中心线和垂直中心线为坐标轴建立x-y坐标系，计算基准点与红外温度传感器扫描区域x轴线的距离l，驾驶员清醒时基准点与红外温度传感器扫描区域x轴线的距离记为l1，当距离l小于0.44l1时，认为进行了一次点头，点头率f_nod为：

其中，N_nod为T时间内发生头动作次数，f_nod为点头率；

分别计算驾驶员左右眉毛特征点平均值与y轴之间的距离，分别记为vl、vr，左特征点与y轴之间的距离为负值，右特征点与y轴之间的距离为正值，驾驶员清醒时左右眉毛特征点平均值与y轴之间的距离，分别记为vl1、vr1，当vl小于2vl1或vr大于2vr1时，认为驾驶员头部处于异常状态；以驾驶员左右眉毛特征点平均值连接线的中垂线为基准线，当基准线与y轴之间的夹角小于-8.18°或者大于7.26°时，判定驾驶员头部处于异常状态。头部异常率f_ab为：

其中，N_ab为时间段T内监测出现异常状态的次数，f_ab为头部异常率。

9.根据权利要求1所述的一种基于人体多类特征的驾驶疲劳监测方法，其特征在于，利用Pearson相关分析分别计算脑电信号驾驶疲劳监测指标、点头率f_nod和头部异常率f_ab之间的相关性，若表现出较强的相关性，说明这三种指标均受干扰影响较小，能够作为驾驶疲劳判别的指标，达到多类特征的驾驶疲劳监测。

Images