CN106128032A - 一种疲劳状态监测及预警方法及其系统 - Google Patents

Abstract

本发明公开了一种疲劳状态监测及预警方法，包括以下步骤：(1)预设疲劳状态监测及预警系统；(2)通过生理信息采集模块定时采集被测人员的脑电信号，生理信息采集模块采集大脑产生的生物电信号，并送入智能芯片中，智能芯片将生物电信号中的噪音及扰动进行滤除，并将滤除后的有用生物电信号进行放大；(3)无线通信模块将有用生物电信号传至监测模块；(4)监测模块对有用生物电信号进行分析处理，并判别被测人员是否处于疲劳状态；(5)当主控单元判别被测人员处于疲劳状态时，预警单元发出警示提醒。还公开了一种疲劳状态监测及预警系统。该疲劳状态监测及预警方法及其系统，抗干扰能力强，可靠性高，提高判别的速度及准确度。

Description

一种疲劳状态监测及预警方法及其系统

技术领域

本发明涉及疲劳检测领域，尤其涉及一种疲劳状态监测及预警方法及其系统。

背景技术

随着中国经济的腾飞，越来越多的人都购置了私家车，然而交通事故也随之攀升，究其原因，驾驶员疲劳特别是严重的疲劳驾驶是导致交通事故频发的重要诱因。事故资料统计显示，35％-45％的交通死亡事故可归因于驾驶疲劳。驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。驾驶员都有可能处于疲劳驾驶，而这样是极其危险的，而目前用于预防疲劳大致分为两类，一个是主动的，一个是被动的。主动方式就是驾驶员当感知到自己开车处于比较疲劳时就要保证足够的休息时间。但由于人们的生活节奏较快，工作压力大，导致驾驶员往往不太注意休息，进而导致事故的发生。另外一个是被动方式，就是通过一个外置的工具进行判断。

目前国内外预防疲劳驾驶的产品都同时存在着相应的缺陷：

1、挂在耳朵上的，功能就是低头就会报警；然而疲劳打瞌睡不一定要低头，而等到低头那时就有点晚了；

2、使用提神物品，高强度的工作会对以后的身心健康造成不良的后果；

3、手表式，通过脉搏的跳动来估计人的疲劳；对于疲劳的判断数据源单一，由此可能存在误判；

4、人眼监测，通过摄像头捕获人眼图像，实现疲劳监测；同样的缺点是生理数据单一，可信度有待考证；

5.方向盘触摸式，利用在方向盘上安装一些传感器来感知驾驶员是否握住方向盘。原理是当驾驶员疲劳时，反应变慢，操作方向盘的动作也会减缓，车辆可能偏离车道，或突然修正车道；缺点要在方向盘安装一个传感器，这样会破坏方向盘原有的结构，还有这个不太适合各种路况，如超车，并线，转弯等情况会存在误报。

因此，开发出一种判别及时、快速、准确的疲劳状态监测及预警方法，显得较为迫切。

发明内容

针对上述不足，本发明的目的在于提供一种疲劳状态监测及预警方法及其系统，以解决现有疲劳状态监测方法判别速度慢、准确度低的问题。本发明提供的疲劳状态监测及预警方法及其系统，抗干扰能力强，可靠性高，大大提高了疲劳状态判别的速度及准确度。

本发明为达到上述目的所采用的技术方案是：

一种疲劳状态监测及预警方法，其特征在于，包括以下步骤：

(1)预设一疲劳状态监测及预警系统，其包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，所述监测模块包括相互连接的主控单元与预警单元，该主控单元包括预处理子单元、模型建立子单元与融合子单元；

(2)通过所述生理信息采集模块定时采集被测人员的脑电信号，所述生理信息采集模块中的干态电极传感器采集大脑产生的生物电信号，并将采集到的生物电信号送入智能芯片中，该智能芯片将混杂于生物电信号中的噪音及运动产生的扰动进行滤除，并将滤除后的有用生物电信号进行放大处理；

(3)所述无线通信模块将放大处理后有用生物电信号传至监测模块；

(4)所述监测模块中的主控单元对有用生物电信号进行分析处理，其中，所述预处理子单元对有用生物电信号进行预处理，预处理包括对有用生物电信号数据进行解析、去噪与滤波处理；所述模型建立子单元对预处理后的有用生物电信号建立数学模型，即分别建立频段功率值、频段功率百分比、频段功率比值与频段功率加和比值，并计算出脑电疲劳值，并判别被测人员是否处于疲劳状态；

(5)当所述主控单元判别被测人员处于疲劳状态时，所述预警单元发出警示提醒；否则，重复步骤(2)-(5)。

作为本发明的进一步改进，所述步骤(1)中的主控单元还包括特征提取子单元与融合子单元；所述步骤(2)还包括：所述生理信息采集模块定时采集被测人员的人眼图像信号；所述步骤(3)还包括：所述无线通信模块将人眼图像信号传至监测模块；所述步骤(4)还包括：所述预处理子单元对人眼图像信号进行预处理，预处理包括对人眼图像信号数据进行去噪、灰度化与均衡化处理；所述特征提取子单元对预处理后的人眼图像信号提取人眼特征，并计算得到人眼疲劳值；所述融合子单元将脑电疲劳值和人眼疲劳值进行融合，并分析计算出疲劳等级，判别被测人员是否处于疲劳状态。

作为本发明的进一步改进，所述步骤(4)还包括：所述特征提取子单元以Adaboost算法为核心实现人眼定位，截取出人眼部分图像，增加Otsu自适应二值化算法，采用求平均值的算法提取人眼特征，设计出动态滑动窗口人眼状态判断算法，从而判断眼睛闭合阈值的状态，最后通过改进Perclos人眼疲劳检测算法，得到人眼疲劳值。

作为本发明的进一步改进，所述步骤(4)中对人眼图像信号数据进行灰度化处理，采用的公式为：Y＝0.30R+0.59G+0.11B，对彩色图像中RGB三分量进行加权平均，得到合理的灰度图像。

作为本发明的进一步改进，所述步骤(4)中的Otsu自适应二值化算法具体包括：对于图像I(x，y)，前景和背景的分割阈值为T，属于前景像素点数占整个人眼图像的比例为ω0，其平均灰度为μ0；背景像素点数占整个人眼图像的比例为ω1，其平均灰度为μ1，人眼图像的总平均灰度为μ，类间方差为g，且人眼图像大小为M×N，人眼图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则得出以下公式：

N0+N1＝M×N，ω0+ω1＝1，

μ＝ω0×μ0+ω1×μ1，g＝ω0×(μ0-μ)²+ω1×(μ1-μ)²，

得出：g＝ω0×ω1×(μ0-μ1)²；采用遍历的方法得到使类间方差g对应的最大阈值T，最后根据阈值T，对灰度图像进行二值化，即当图像灰度值大于阈值T时，赋值为255，否则赋值为0。

作为本发明的进一步改进，在所述步骤(4)中，所述特征提取子单元对人眼图像信号提取人眼特征的步骤为：计算人眼图像垂直方向上黑色线段所占黑色像素点个数的平均值，平均每条黑色线段所占黑色像素点的个数＝(总黑色像素点的个数/垂直黑色线段的条数)，根据被测人员在睁眼状态下平均每条黑色线段所占黑色像素点的个数大于在闭眼状态下平均每条黑色线段所占黑色像素点的个数，并结合平均每条黑色线段所占黑色像素点的个数，判断被测人员为睁眼状态或闭眼状态；然后，在单位时间内进行多次采样，以采集到的帧数为单位，计算眼睛闭合状态帧数占总帧数的百分比，公式为：其中，P表示一段时间内眼睛闭合状态的帧数占所采集的总帧数的比例。

作为本发明的进一步改进，所述步骤(4)的预处理步骤包括：采用常数补偿算法对前一个值进行修补，下一个点的值由上一个点来确定，下一个点的值取＝当前该点的值－(上一个点的值)1/60+再加上一个点的值。

作为本发明的进一步改进，所述步骤(1)中的主控单元还包括检验子单元；所述步骤(4)还包括：所述检验子单元根据被测人员的专注度、冥想度与建立的数学模型进行T检验处理，该T检验公式为：

$\left\{\right|t|=|\frac{\stackrel{\‾}{d}}{s_d/\sqrt{n}}|\≥t_{\mathrm{\α}}\left(n\right)\}$

其中，d’是样本均值，Sd是样本方差，n是样本个数，α是置信区间。

一种实施上述方法的疲劳状态监测及预警系统，其特征在于，包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，用于定时采集被测人员的生理信息；所述无线通信模块用于将生理信息发送至监测模块；所述监测模块包括相互连接的主控单元与预警单元，所述主控单元用于对生理信息进行处理并进行疲劳程度判别，所述预警单元用于发出警示提醒；所述主控单元包括预处理子单元、模型建立子单元与融合子单元。

作为本发明的进一步改进，所述主控单元还包括特征提取子单元、融合子单元与检验子单元。

本发明的有益效果为：根据脑电波数据和人眼特征值可以实时反映人体的疲劳情况的特性，对被测人员脑电信号与人眼图像进行采集，实现多模态生物特征的疲劳状态监测，多元数据源决定了该疲劳状态监测及预警可靠性提升，抗客观因素干扰的能力增强，不易因部分数据受干扰而直接导致最终疲劳值判别的准确度，大大提高了疲劳状态判别的速度及准确度，安全性高；只对人体特征值进行采集，不受驾驶过程中驾驶员的正常驾驶动作干扰，数据受影响度接近零。

上述是发明技术方案的概述，以下结合附图与具体实施方式，对本发明做进一步说明。

附图说明

图1为本发明实施例的未经过处理的脑电波折线图；

图2为本发明实施例的经过除噪后的脑电波折线图；

图3为本发明实施例的经过滑动窗口算法的脑电波折线图；

图4为本发明实施例的经过慢速学习算法的脑电波折线图；

图5为本发明实施例与传统脑电波算法的对比图；

图6为本发明实施例的睁眼、闭眼二值化图片对比图；

图7为本发明实施例的人眼特征提取流程图；

图8为本发明实施例的BP学习算法的前馈型神经网络示意图；

图9为本发明实施例的移动端应用流程示意图；

图10为本发明实施例的算法流程图。

具体实施方式

为更进一步阐述本发明为达到预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明的具体实施方式详细说明。

从医学的角度看，某些生理特征，如眨眼、心跳、血压、脑电波等生理信号的变化可以反映驾驶员疲劳的程度。而本发明通过对被测人员的脑电信号与人眼图像信号进行采集，在采用多模式信号采集的情况下，判别被测人员是否处于疲劳状态。

实施例一：

本实施例提供一种疲劳状态监测及预警方法，包括以下步骤：

(1)预设一疲劳状态监测及预警系统，其包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，所述监测模块包括相互连接的主控单元与预警单元，该主控单元包括预处理子单元、模型建立子单元与融合子单元；

(2)通过所述生理信息采集模块定时采集被测人员的脑电信号，所述生理信息采集模块中的干态电极传感器采集大脑产生的生物电信号，并将采集到的生物电信号送入智能芯片中，该智能芯片将混杂于生物电信号中的噪音及运动产生的扰动进行滤除，并将滤除后的有用生物电信号进行放大处理；

(3)所述无线通信模块将放大处理后有用生物电信号传至监测模块；

(4)所述监测模块中的主控单元对有用生物电信号进行分析处理，其中，所述预处理子单元对有用生物电信号进行预处理，预处理包括对有用生物电信号数据进行解析、去噪与滤波处理；所述模型建立子单元对预处理后的有用生物电信号建立数学模型，即分别建立频段功率值、频段功率百分比、频段功率比值与频段功率加和比值，并计算出脑电疲劳值，并判别被测人员是否处于疲劳状态；

(5)当所述主控单元判别被测人员处于疲劳状态时，所述预警单元发出警示提醒；否则，重复步骤(2)-(5)。

在本实施中，可以采用耳机对被测人员的脑电信号进行采集，优选的，可以采用MindSet耳机，智能芯片可以采用ThinkGear芯片。所述智能芯片将混杂于生物电信号中的噪音及运动产生的扰动进行滤除，同时，通过NeuroSky eSense算法解读出描述被测人员当前精神状态的eSense参数(专注度、冥想度)。

所述监测模块集成在移动终端上，移动终端或者叫移动通信终端是指可以在移动中使用的计算机设备，包括手机、笔记本、平板电脑、POS机甚至包括车载电脑。随着网络和技术朝着越来越宽带化的方向的发展，移动通信产业将走向真正的移动信息时代。另一方面，随着集成电路技术的飞速发展，移动终端的处理能力已经拥有了强大的处理能力。移动终端正在从简单的通话工具变为一个综合信息处理平台。这也给移动终端增加了更加宽广的发展空间。

参见图1至图5，为采用仪器Mind Sensor II for Windows Version 4.0测量脑电波信号，获取被测人员在不同疲劳状态下的脑电波数据。应用本身软件对脑电波数据进行消噪处理，再进行快速傅立叶转换将其以时域为主脑电波数据转化为频域数据。依次提取样本不同疲劳状态下脑电波数据片断。分析不同疲劳状态下不同波段的变化特征，主要从以下四方面进行分析：频段功率值、频段功率百分比、频段功率比值、频段功率加和比值。相对现有技术，现有技术仅仅直观的通过两个数值，即专注度和冥想度进行分析。本实施例的分析是基于实际实验，通过数学建模方式，得出几个比例关系，在实际中效果理想。通过多组实验，也表明与预算值比较接近，符合驾驶环境下，大脑疲劳的数值状态。

实施例二：

参见图6与图7，本实施例与实施例一的主要区别在于：所述步骤(1)中的主控单元还包括特征提取子单元与融合子单元；所述步骤(2)还包括：所述生理信息采集模块定时采集被测人员的人眼图像信号；所述步骤(3)还包括：所述无线通信模块将人眼图像信号传至监测模块；所述步骤(4)还包括：所述预处理子单元对人眼图像信号进行预处理，预处理包括对人眼图像信号数据进行去噪、灰度化与均衡化处理；所述特征提取子单元对预处理后的人眼图像信号提取人眼特征，并计算得到人眼疲劳值；所述融合子单元将脑电疲劳值和人眼疲劳值进行融合，并分析计算出疲劳等级，判别被测人员是否处于疲劳状态。

所述步骤(4)还包括：所述特征提取子单元以Adaboost算法为核心实现人眼定位，截取出人眼部分图像，增加Otsu自适应二值化算法，采用求平均值的算法提取人眼特征，设计出动态滑动窗口人眼状态判断算法，从而判断眼睛闭合阈值的状态，最后通过改进Perclos人眼疲劳检测算法，得到人眼疲劳值。

所述步骤(4)中对人眼图像信号数据进行灰度化处理，采用的公式为：Y＝0.30R+0.59G+0.11B，对彩色图像中RGB三分量进行加权平均，得到合理的灰度图像。由于摄像头采集到的图像是彩色图像，而人眼定位算法需要对灰度图像进行处理，所以需要对采集到的图像进行灰度化。彩色图像中的每个像素颜色由R、G、B三个分量决定，每个分量取值范围为0到255，灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，灰度值取值范围同样为0到255。

而图像均衡化是将一已知灰度概率密度分布的图像，经过某种变换，变成一幅具有均匀灰度概率分布的新图像，其结果是扩展了像元取值的动态范围，从而达到了增强图像整体对比度的效果。

所述步骤(4)中的Otsu自适应二值化算法具体包括：对于图像I(x，y)，前景和背景的分割阈值为T，属于前景像素点数占整个人眼图像的比例为ω0，其平均灰度为μ0；背景像素点数占整个人眼图像的比例为ω1，其平均灰度为μ1，人眼图像的总平均灰度为μ，类间方差为g，且人眼图像大小为M×N，人眼图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则得出以下公式：

N0+N1＝M×N，ω0+ω1＝1，

μ＝ω0×μ0+ω1×μ1，g＝ω0×(μ0-μ)²+ω1×(μ1-μ)²，

得出：g＝ω0×ω1×(μ0-μ1)²；采用遍历的方法得到使类间方差g对应的最大阈值T，最后根据阈值T，对灰度图像进行二值化，即当图像灰度值大于阈值T时，赋值为255，否则赋值为0。使用Otsu阈值分割算法在一定程度上能有效改善光线带来的影响，增强系统对复杂环境的适应性。

在所述步骤(4)中，所述特征提取子单元对人眼图像信号提取人眼特征的步骤为：计算人眼图像垂直方向上黑色线段所占黑色像素点个数的平均值，平均每条黑色线段所占黑色像素点的个数＝(总黑色像素点的个数/垂直黑色线段的条数)，根据被测人员在睁眼状态下平均每条黑色线段所占黑色像素点的个数大于在闭眼状态下平均每条黑色线段所占黑色像素点的个数，并结合平均每条黑色线段所占黑色像素点的个数，判断被测人员为睁眼状态或闭眼状态；然后，在单位时间内进行多次采样，以采集到的帧数为单位，计算眼睛闭合状态帧数占总帧数的百分比，公式为：其中，P表示一段时间内眼睛闭合状态的帧数占所采集的总帧数的比例。

由于考虑到性能因素，单位时间内一秒不可能进行几百次的判断。所以本实施例对PERCLOS人眼检测方法进行改进。不是以时间为单位，而是以采集到的帧数为单位。即一定时间内采集一定的帧数，眼睛闭合帧数占总帧数的百分比。

根据以上方法可判断出每一帧数据的状态，但是不能只根据当前一帧驾驶员眼睛的状态来判断是否疲劳，需要对一段时间内驾驶员眼睛状态的连续数据进行统计，判断出驾驶员的疲劳状态。本系统连续采集若干帧图像数据，若P大于等于90％，则判断驾驶员为严重疲劳状态，若P处于60％～90％之间，则判断驾驶员为轻度疲劳状态，若P小于60％，则判断驾驶员为正常状态。具体可以参考下面三个标准:(P70:指眼睑遮住瞳孔的面积超过70％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。P80:指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。EM:指眼睑遮住瞳孔的面积超过50％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。

所述步骤(4)的预处理步骤包括：采用常数补偿算法对前一个值进行修补，下一个点的值由上一个点来确定，下一个点的值取＝当前该点的值－(上一个点的值)1/60+再加上一个点的值。

所述步骤(1)中的主控单元还包括检验子单元；所述步骤(4)还包括：所述检验子单元根据被测人员的专注度、冥想度与建立的数学模型进行T检验处理，该T检验公式为：

$\left\{\right|t|=|\frac{\stackrel{\‾}{d}}{s_d/\sqrt{n}}|\≥t_{\mathrm{\α}}\left(n\right)\}$

其中，d’是样本均值，Sd是样本方差，n是样本个数，α是置信区间。经过多种测试数据的组合，最后得出的结论是在置信区间a＝0.025n＝500时attention和meditation对应的t值都是小于2.4的，说明观察值|t|不落在拒绝域内，故接受H假使，认为使用两种预处理得到的结果无显著差异。

本实施例采用移动终端摄像头对被测人员的人眼图像进行采集，移动终端摄像头指的是移动终端通过内置或外接的数码相机进行拍摄静态图片或短片拍摄。

本实施例与现有技术的区别是采用了Adaboost算法作为核心，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下面分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。该算法由Freund和Schapire根据在线分配算法提出的一种比较流行的处理方法，该算法具有以下特性：不需要预先知道弱分类器的误差；可以深入挖掘弱分类器算法的能力。优选的，本实施例采用OpenCV图像函数库开发出人眼疲劳监测系统，通过眨眼行为来判断驾驶员的疲劳状态。

如图8-10所示，采用BP学习算法的前馈型神经网络，BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。输入层，从定义上讲，相当于外界的刺激，是刺激的来源，并将刺激传递给神经元。

对于该信息融合的疲劳驾驶算法设计来说，上述的脑电波疲劳信息和人眼疲劳信息都是该算法的输入层，也即神经元。为了该算法的扩展性，因此该算法不仅支持这两种神经元，还可以支持多种神经元的输入。如除了脑电波疲劳信息，人眼疲劳信息，还有方向盘动作状态信息，连续驾驶时间信息，心跳脉搏信息，体温信息，或者周围环境等其他信息都是可以作为该算法的输入层(神经元)。

隐藏层，表示神经元相互之间传递刺激和信号。而神经元的刺激量累积是由相邻的神经元传递过来的。用Xj表示信号量的累积，Yi表示神经元传递过来的刺激量，Wi表示神经元刺激量的权重，得到公式:

Y_j＝∑Y_iW_i＝(Y₁*W₁)+(Y₂*W₂)+...+(Y_i*W_i)+...+(Y_n*W_n)

一旦Xj完成了积累后，该神经元会想周围还为完成累积的神经元发送信号，将其表示为Yj可以得到:Y_j＝F(X_j)

输入样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练。首先，将训练输入送入网络以获得激励响应，其次，将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差，然后将输入激励和响应误差相乘，从而获得权重的梯度，最后，将这个梯度乘上一个比例并取反后加到权重上。使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。

经过以上的分析，对于获取数据的时间间隔，就有可能有不同的取法了，理论上是时时刻刻的取值的。但是，这样就太占系统cpu了，那到底是多少时间取一次数据比较好呢，试着1ms,10ms,100ms,500ms,1s,5s等不同的取数据，然后分析。在TG_BAUD_9600波特率情况下大概每500ms各个值就会有变化。

在100ms取一次数据获得的数据，分别对应attention meditation raw deltatheta alpha1alpha2......本次采集数据所有有效的数据大概都是5次一次刷新，而其中的raw列就每次都刷新，这个raw波段，实验此次不会涉及到，只是说明每次都是有实际从硬件取到值的，如果项目以后要进行改进的话，就可以从这个Raw波段进行数据的最原始采集，然后根据这个Raw再重新计算上面获取到的非Raw数据。

对于取多少的问题，对比实验后，此次实验进行测试的时候是1s取一次。(如果该算法用于实际，觉得这个取值的时间间隔可以根据实际需要进行变化。)在这里就出现了一个问题，每次从硬件中取到的数都不一样，假设1s取一次的话，会不会丢失疲劳信息的有效数据呢？还有就是，按道理人脑是时时刻刻都再发射脑电波的。如果准确的说，1s有无数次采样的话，会有无数种结果。到底是否可以1s取一次？还是多久取一次值。(这个时间间隔叫做采样间隔)。是否有影响，经查资料，这个跟时域和频域有关。截取其中的一段，可以看到，这些线波动很大，基本看不到有效的关系。

本发明实施例还提供了实施上述方法的疲劳状态监测及预警系统，其包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，用于定时采集被测人员的生理信息；所述无线通信模块用于将生理信息发送至监测模块；所述监测模块包括相互连接的主控单元与预警单元，所述主控单元用于对生理信息进行处理并进行疲劳程度判别，所述预警单元用于发出警示提醒；所述主控单元包括预处理子单元、模型建立子单元与融合子单元。所述主控单元还包括特征提取子单元、融合子单元与检验子单元。

本实施例疲劳状态监测及预警系统通过由MindSet耳机进行对人的脑电波进行数据采集，和通过视像头对人眼的特征进行采集。将采集后的数据分别进行预处理，在脑电波分部主要通过噪点分析、滑动均值滤波算法、慢速自学习算法、两种算法进行T检验处理对采集的脑电波数据进行数据分析计算。在人眼部分由摄像头采集的图片信息通过图像预处理、Otsu自适应二值化算法、人眼特征值提取、PERCLOS人眼疲劳检测并量化对采集数据进行处理，最终再将脑电波计算后的数据与人眼数据进行融合得到最终疲劳值。

同时，本实施例疲劳状态监测及预警系统采用“车载终端层--云端处理层--移动端监控层”架构，是信息融合的疲劳驾驶算法的设计与实现。信息采集的车载层，是由多种传感器组成，负责被检测人员的各个特征参数，本次有脑电采集设备，视频采集设备。云端处理层是接收多个设备预处理后的信息，进行分析和整合，系统自动根据不同的参数，作出综合的评价。移动端监控层显示绘制疲劳信息特征折线图。

本发明采集多元数据源，并且基于BP神经网络，提出一种多模态生物特征(脑电波和人眼检测)融合的疲劳驾驶检测算法框架，摆脱以往数据源单一的缺陷，相比更具可靠性和准确性。利用BP神经网络的反馈机制，当误差超过指定的值，那么就会逆推回到上一层中对隐含层中神经元的信号量(权重)进行修正，从而达到学习的过程，进而降低误差，提高最终疲劳值的准确性。

本发明的重点主要在于：根据脑电波数据和人眼特征值可以实时反映人体的疲劳情况的特性，对被测人员脑电信号与人眼图像进行采集，实现多模态生物特征的疲劳状态监测，多元数据源决定了该疲劳状态监测及预警可靠性提升，抗客观因素干扰的能力增强，不易因部分数据受干扰而直接导致最终疲劳值判别的准确度，大大提高了疲劳状态判别的速度及准确度，安全性高；只对人体特征值进行采集，不受驾驶过程中驾驶员的正常驾驶动作干扰，数据受影响度接近零。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故采用与本发明上述实施例相同或近似的技术特征，均在本发明的保护范围之内。

Claims (10)

1.一种疲劳状态监测及预警方法，其特征在于，包括以下步骤：

(1)预设一疲劳状态监测及预警系统，其包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，所述监测模块包括相互连接的主控单元与预警单元，该主控单元包括预处理子单元、模型建立子单元与融合子单元；

(2)通过所述生理信息采集模块定时采集被测人员的脑电信号，所述生理信息采集模块中的干态电极传感器采集大脑产生的生物电信号，并将采集到的生物电信号送入智能芯片中，该智能芯片将混杂于生物电信号中的噪音及运动产生的扰动进行滤除，并将滤除后的有用生物电信号进行放大处理；

(3)所述无线通信模块将放大处理后有用生物电信号传至监测模块；

(4)所述监测模块中的主控单元对有用生物电信号进行分析处理，其中，所述预处理子单元对有用生物电信号进行预处理，预处理包括对有用生物电信号数据进行解析、去噪与滤波处理；所述模型建立子单元对预处理后的有用生物电信号建立数学模型，即分别建立频段功率值、频段功率百分比、频段功率比值与频段功率加和比值，并计算出脑电疲劳值，并判别被测人员是否处于疲劳状态；

(5)当所述主控单元判别被测人员处于疲劳状态时，所述预警单元发出警示提醒；否则，重复步骤(2)-(5)。

2.根据权利要求1所述的疲劳状态监测及预警方法，其特征在于，所述步骤(1)中的主控单元还包括特征提取子单元与融合子单元；所述步骤(2)还包括：所述生理信息采集模块定时采集被测人员的人眼图像信号；所述步骤(3)还包括：所述无线通信模块将人眼图像信号传至监测模块；所述步骤(4)还包括：所述预处理子单元对人眼图像信号进行预处理，预处理包括对人眼图像信号数据进行去噪、灰度化与均衡化处理；所述特征提取子单元对预处理后的人眼图像信号提取人眼特征，并计算得到人眼疲劳值；所述融合子单元将脑电疲劳值和人眼疲劳值进行融合，并分析计算出疲劳等级，判别被测人员是否处于疲劳状态。

3.根据权利要求2所述的疲劳状态监测及预警方法，其特征在于，所述步骤(4)还包括：所述特征提取子单元以Adaboost算法为核心实现人眼定位，截取出人眼部分图像，增加Otsu自适应二值化算法，采用求平均值的算法提取人眼特征，设计出动态滑动窗口人眼状态判断算法，从而判断眼睛闭合阈值的状态，最后通过改进Perclos人眼疲劳检测算法，得到人眼疲劳值。

4.根据权利要求2所述的疲劳状态监测及预警方法，其特征在于，所述步骤(4)中对人眼图像信号数据进行灰度化处理，采用的公式为：Y＝0.30R+0.59G+0.11B，对彩色图像中RGB三分量进行加权平均，得到合理的灰度图像。

5.根据权利要求3所述的疲劳状态监测及预警方法，其特征在于，所述步骤(4)中的Otsu自适应二值化算法具体包括：对于图像I(x，y)，前景和背景的分割阈值为T，属于前景像素点数占整个人眼图像的比例为ω0，其平均灰度为μ0；背景像素点数占整个人眼图像的比例为ω1，其平均灰度为μ1，人眼图像的总平均灰度为μ，类间方差为g，且人眼图像大小为M×N，人眼图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则得出以下公式：

N0+N1＝M×N，ω0+ω1＝1，

μ＝ω0×μ0+ω1×μ1，g＝ω0×(μ0-μ)²+ω1×(μ1-μ)²，

得出：g＝ω0×ω1×(μ0-μ1)²；采用遍历的方法得到使类间方差g对应的最大阈值T，最后根据阈值T，对灰度图像进行二值化，即当图像灰度值大于阈值T时，赋值为255，否则赋值为0。

6.根据权利要求2所述的疲劳状态监测及预警方法，其特征在于，在所述步骤(4)中，所述特征提取子单元对人眼图像信号提取人眼特征的步骤为：计算人眼图像垂直方向上黑色线段所占黑色像素点个数的平均值，平均每条黑色线段所占黑色像素点的个数＝(总黑色像素点的个数/垂直黑色线段的条数)，根据被测人员在睁眼状态下平均每条黑色线段所占黑色像素点的个数大于在闭眼状态下平均每条黑色线段所占黑色像素点的个数，并结合平均每条黑色线段所占黑色像素点的个数，判断被测人员为睁眼状态或闭眼状态；然后，在单位时间内进行多次采样，以采集到的帧数为单位，计算眼睛闭合状态帧数占总帧数的百分比，公式为：其中，P表示一段时间内眼睛闭合状态的帧数占所采集的总帧数的比例。

7.根据权利要求2所述的疲劳状态监测及预警方法，其特征在于，所述步骤(4)的预处理步骤包括：采用常数补偿算法对前一个值进行修补，下一个点的值由上一个点来确定，下一个点的值取＝当前该点的值－(上一个点的值)1/60+再加上一个点的值。

8.根据权利要求2所述的疲劳状态监测及预警方法，其特征在于，所述步骤(1)中的主控单元还包括检验子单元；所述步骤(4)还包括：所述检验子单元根据被测人员的专注度、冥想度与建立的数学模型进行T检验处理，该T检验公式为：

$\left\{\right|t|=|\frac{\stackrel{\‾}{d}}{S_d/\sqrt{n}}|\≥t_{\mathrm{\α}}\left(n\right)\}$

其中，d’是样本均值，S_d是样本方差，n是样本个数，α是置信区间。

9.一种实施上述权利要求1-8至少一所述方法的疲劳状态监测及预警系统，其特征在于，包括生理信息采集模块、无线通信模块与监测模块，其中，所述生理信息采集模块内置干态电极传感器与智能芯片，用于定时采集被测人员的生理信息；所述无线通信模块用于将生理信息发送至监测模块；所述监测模块包括相互连接的主控单元与预警单元，所述主控单元用于对生理信息进行处理并进行疲劳程度判别，所述预警单元用于发出警示提醒；所述主控单元包括预处理子单元、模型建立子单元与融合子单元。

10.根据权利要求9所述的疲劳状态监测及预警系统，其特征在于，所述主控单元还包括特征提取子单元、融合子单元与检验子单元。