CN109875583B - 一种基于ar技术的疲劳驾驶检测系统及方法 - Google Patents
一种基于ar技术的疲劳驾驶检测系统及方法 Download PDFInfo
- Publication number
- CN109875583B CN109875583B CN201910123859.4A CN201910123859A CN109875583B CN 109875583 B CN109875583 B CN 109875583B CN 201910123859 A CN201910123859 A CN 201910123859A CN 109875583 B CN109875583 B CN 109875583B
- Authority
- CN
- China
- Prior art keywords
- driver
- signal
- electroencephalogram
- signals
- fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000005284 excitation Effects 0.000 claims abstract description 15
- 230000001939 inductive effect Effects 0.000 claims abstract description 13
- 210000004556 brain Anatomy 0.000 claims description 60
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000000763 evoking effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 10
- 206010016256 fatigue Diseases 0.000 description 103
- 238000013210 evaluation model Methods 0.000 description 14
- 230000000638 stimulation Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000002269 spontaneous effect Effects 0.000 description 5
- 238000007654 immersion Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000019914 Mental Fatigue Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 210000000857 visual cortex Anatomy 0.000 description 3
- 230000002618 waking effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 208000028327 extreme fatigue Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于AR技术的疲劳驾驶检测系统及方法，所述系统包括：AR设备，用于将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；脑电信号采集设备，用于采集所述驾驶者的EEG信号；疲劳状态判断模块，用于根据所述EEG信号判断所述驾驶者的疲劳状态。应用本发明可以在通过驾驶者的EEG信号判断驾驶者的疲劳状态前不需进行模型的训练，大大提高了驾驶者疲劳状态检测方案的可行性。
Description
技术领域
本发明涉及AR技术领域，特别是指一种基于AR技术的疲劳驾驶检测系统及方法。
背景技术
疲劳驾驶，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断能力下降，甚至出现精神恍惚或瞬间记忆消失，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。目前，国内外的一些研究通过记录EEG信号，对疲劳驾驶进行评估，并分析准确率与反应时间以及其EEG信号变化之间的关系。研究报告指出，大脑的功能和组织会受到精神疲劳的影响，而且脑网络拓补结构也会受到精神疲劳的调节。
现有的一种基于脑电图识别的疲劳驾驶检测方案中，将脑电采集单元采集的驾驶者的EEG(脑电波，Electroencephalogram)信号，以及测量的驾驶者操纵方向盘的旋转角度输入到疲劳驾驶状态评估模型中，由疲劳驾驶状态评估模型评估驾驶者当前的疲劳状态。
该疲劳驾驶状态评估模型在进行疲劳状态评估前，需要先进行训练；也就是说，需要采集驾驶者在清醒状态、疲劳状态及非常疲劳状态下的EEG信号及相应方向盘驾驶操作信息对疲劳驾驶状态评估模型进行训练，使得该疲劳驾驶状态评估模型可以针对该驾驶者进行正确的疲劳状态评估。
然而，由于不同驾驶者身体差异较大，不同驾驶者的EEG信号差异也就很大；因此，不同驾驶者所使用的疲劳驾驶状态评估模型，需要针对不同的驾驶者个体分别进行训练；也就是说，由一个驾驶者训练得到的疲劳驾驶状态评估模型是不能用于评估另外一个驾驶者的疲劳状态的。这使得现有的基于脑电图识别的疲劳驾驶检测方案的实际可行性较差，驾驶者需要对疲劳驾驶状态评估模型进行长时间的训练，分别获取清醒状态、疲劳状态及非常疲劳状态下的EEG信号才能完成对疲劳驾驶状态评估模型的训练。
发明内容
有鉴于此，本发明的目的在于提出一种基于AR技术的疲劳驾驶检测系统及方法，在通过驾驶者的EEG信号判断驾驶者的疲劳状态前不需进行模型的训练，大大提高了驾驶者疲劳状态检测方案的可行性。
基于上述目的本发明提供一种基于AR技术的疲劳驾驶检测系统，包括：
AR设备，用于将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；
脑电信号采集设备，用于采集所述驾驶者的脑电波EEG信号；
疲劳状态判断模块，用于根据所述EEG信号判断所述驾驶者的疲劳状态。
进一步，所述AR设备还用于针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。
较佳地，所述脑电信号采集设备具体用于采集所述驾驶者的枕部的稳态视觉诱发电位SSVEP信号。
较佳地，所述疲劳状态判断模块具体用于通过所述EEG信号构建脑网络，进而计算所述脑网络的小世界特性；在计算的小世界特性小于疲劳评估阈值时，判断所述驾驶者处于疲劳状态。
进一步，所述疲劳状态判断模块还用于在构建脑网络前，对所述脑电信号采集设备输出的EEG信号进行预处理：将其中噪声大于设定值，以及眼电电极的通道的EEG信号剔除。
其中，所述脑电信号采集设备具体包括：
电极帽，佩戴于所述驾驶者头上，用于通过电极探测所述驾驶者头部若干处的脑电波信号；
设置有信号放大器的信号采集板，与所述电极帽相连，用于将所述电极帽探测的脑电信号进行放大处理后输出至所述疲劳状态判断模块。
较佳地，所述信号采集板上还包括缓冲器；
所述缓冲器连接于所述电极帽和信号放大器之间，用于增大输入阻抗，消除噪声，提高信号放大的效果。
本发明还提供一种基于AR技术的疲劳驾驶检测方法，包括：
将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；
根据采集的所述驾驶者的EEG信号判断所述驾驶者的疲劳状态。
进一步，在所述将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处时，还包括：
针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。
较佳地，所述采集的所述驾驶者的EEG信号，具体为：
采集的所述驾驶者的枕部的稳态视觉诱发电位SSVEP信号。
本发明实施例的技术方案中，通过AR设备将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；进而根据采集的所述驾驶者的EEG信号判断所述驾驶者的疲劳状态。这样，将AR中的场景作为脑电信号激励目标，相比于传统的人脑控制系统，AR能为用户提供更积极主动、更丰富多彩、更具激励性的情境反馈(与大脑思维信息输出密切关联)模式。因此，使用AR可以提高BCI(Brain Computer Interface，脑机接口)的可学习性并缩短训练时间，而且，虚拟场景可作为BCI用户在实际使用之前最廉价、最逼真、最可靠、最安全的训练和测试场景。总结来说，在虚拟环境下进行脑电信号的采集和分析，可以增加被试的沉浸感，被试在虚拟测试场景中更容易激励产生稳定的脑电信号，从而提高效率，在短期内取得优异成绩。
而且，采用稳态视觉诱发电位(SSVEP)作为目标脑电信号，其优势是可以通过场景中闪烁的目标来激发产生相应的信号，且该模式所展现的场景须能紧密、无间断地整合与集成BCI对诱发思维脑电的各种刺激需求，并尽可能保证场景的真实可信以使用户保持深度的沉浸感而不会被中断。
事实上，当人脑受到一个固定频率的视觉刺激的时候，大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，该响应可以通过脑电信号采集设备采集的EEG信号中的SSVEP信号体现出来。相比于其它常用的脑电范式，比如自发脑电信号，SSVEP信号具有相对较高的信噪比，易于检测，从而便于疲劳状态判断模块根据EEG信号判断所述驾驶者的疲劳状态。
此外，将AR与脑机接口技术结合的关键在于能有效地激励驾驶员产生脑电信号用于检测疲劳状态，同时还考虑到了实际使用中系统的便携化及可行性。
也就是说，通过巧妙地利用汽车中所应用的AR技术所显示的内容来作为驾驶者的诱发脑电信号的激励信号，利用诱发脑电信号易于检测的特点直接判断驾驶者的疲劳状态，一方面不再需要采集其它物理量，比如驾驶者操纵方向盘的旋转角度用于辅助判断驾驶者的疲劳状态；另一方面，也不需要针对不同的驾驶者个体来训练适用于驾驶者个体的疲劳驾驶状态评估模型；从而大大提高了检测方案的可行性。
更优地，本发明实施例的技术方案中，AR设备在将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃时，还可以加入场景标记功能，例如，依次为从路况视频图像中识别出的各个建筑物编号数字1、2、3...，并针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。以显示数字的方式激励、诱发脑电信号，这样即使脑电信号采集设备在记录脑电信号受到一定的环境干扰，疲劳状态判断模块也可以利用matlab软件通过数字的标识进行分类处理，从而在根据所述EEG信号判断所述驾驶者的疲劳状态时，具有更强的抗干扰能力，得到更准确的判断结果。
附图说明
图1为本发明实施例提供的一种基于AR技术的疲劳驾驶检测系统架构图；
图2为本发明实施例提供的AR设备的架构图；所采用的子块部分重叠直方图均衡化方法流程图；
图3为本发明实施例提供的一种基于AR技术的疲劳驾驶检测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明的发明人考虑到，现有技术中虽然通过采集驾驶者的EEG(脑电波，Electroencephalogram)信号来判断驾驶者的疲劳状态，但这种疲劳状态的判断是通过对驾驶者的自发脑电信号的检测做出的。由于自发脑电信号受环境影响较大，因此，现有技术中还需要测量的驾驶者操纵方向盘的旋转角度用于辅助判断驾驶者的疲劳状态；而且，自发脑电信号因人体素质差异也较大，因此，还需要针对不同的驾驶者个体来训练适用于驾驶者个体的疲劳驾驶状态评估模型。
然而，如果给人体以某种刺激后经过一定的潜伏期，在大脑的特定区域会出现明显的电位变化反应，称为诱发脑电信号；其特点是诱发的电位变化与刺激信号之间有严格的时间关系。当大脑处于疲劳状态时，由于大脑对外界刺激的反应能力急剧下降，则诱发脑电信号就会较大脑清醒时刻弱。
基于此，本发明的发明人进一步考虑到，增强现实(Augmented Reality，AR)技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR技术可以将真实世界信息和虚拟世界信息“无缝”集成，把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。因此，可以利用汽车中所应用的AR技术所显示的内容来作为驾驶者的诱发脑电信号的激励信号，进而则通过采集的驾驶者的EEG信号，利用诱发脑电信号易于检测的特点直接判断驾驶者的疲劳状态，而不用预先进行评估模型的训练。这样，一方面不再需要采集其它物理量，比如驾驶者操纵方向盘的旋转角度用于辅助判断驾驶者的疲劳状态；另一方面，也不需要针对不同的驾驶者个体来训练适用于驾驶者个体的疲劳驾驶状态评估模型；从而大大提高了检测方案的可行性。
下面结合附图详细说明本发明技术方案。
本发明实施例提供的一种基于AR技术的疲劳驾驶检测系统，架构如图1所示，包括：AR设备101、脑电信号采集设备102、疲劳状态判断模块103。
其中，AR设备101用于拍摄路况视频图像，并将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号。
脑电信号采集设备102用于采集所述驾驶者的EEG信号。
疲劳状态判断模块103用于根据所述EEG信号判断所述驾驶者的疲劳状态。
事实上，当人脑受到一个固定频率的视觉刺激的时候，大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，该响应可以通过脑电信号采集设备102采集的EEG信号中的SSVEP(稳态视觉诱发电位，Steady-State Visual EvokedPotentials)信号体现出来。相比于其它常用的脑电范式，比如自发脑电信号，SSVEP信号具有相对较高的信噪比，易于检测，从而便于疲劳状态判断模块103根据EEG信号判断所述驾驶者的疲劳状态。
具体地，如图2所示，AR设备101中可以包括：摄像头201、路况信息处理模块202，以及光源显示模块203和光学投影模块204。
其中，摄像头201用于拍摄路况视频图像；
路况信息处理模块202用于从摄像头201拍摄的路况视频图像中识别出障碍物后，根据识别的障碍物在所述图像中的位置，通过所述光源显示模块203和光学投影模块204在汽车的前挡风玻璃相应位置处以设定频率闪烁显示所述障碍物的标记。
更优地，AR设备101在将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃时，还可以加入场景标记功能，例如，依次为从路况视频图像中识别出的各个建筑物编号数字1、2、3...，并针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。以显示数字的方式激励、诱发脑电信号，这样即使脑电信号采集设备102在记录脑电信号受到一定的环境干扰，疲劳状态判断模块103也可以利用matlab(matrix&laboratory，矩阵工厂)软件通过数字的标识进行分类处理，从而在根据所述EEG信号判断所述驾驶者的疲劳状态时，具有更强的抗干扰能力，得到更准确的判断结果。
更优地，为了保证足够快的信息传输速度，可以进行通道优化，即只采集少量的数据来实现脑网络的评估，研究表明，大脑枕部区域是SSVEP信号幅值最高的区域，因此，脑电信号采集设备102仅采集所述驾驶者的枕部的SSVEP信号输出至疲劳状态判断模块103进行定性的分析，可以大大减少采集的数据量，提高采集速率。
具体地，上述的脑电信号采集设备102可以包括：电极帽和信号采集板。
其中，电极帽佩戴于所述驾驶者头上，用于通过电极探测所述驾驶者头部若干处的脑电波信号；较佳地，电极帽用于通过电极探测所述驾驶者枕部的脑电波信号。
信号采集板与所述电极帽相连，信号采集板上设置有信号放大器；
信号采集板用于将所述电极帽探测的脑电信号进行放大处理后输出至所述疲劳状态判断模块103。
更优地，电极帽还可汲取导电膏并向各个电极注射适量导电膏。
上述的电极帽key8i根据“10-20国际标准导联”方法制造，电极帽上所有脑电信号采集通道的位置和名称都按照标准制定。将标准电极帽与信号采集板中的信号放大器连接起来进行脑电信号的采集；电极帽还可向各个电极注射适量导电膏，从参考电极和GND电极开始直至其它电极，使导电膏与大脑皮层或皮肤接触，电极帽与导电膏如图1所示。
具体地，上述的疲劳状态判断模块103可以设置于计算机、上位机等智能设备中；疲劳状态判断模块103可以通过所述EEG信号构建脑网络，进而计算所述脑网络的小世界特性；在计算的小世界特性小于疲劳评估阈值时，判断所述驾驶者处于疲劳状态。
事实上，脑电信号采集设备102采集的EEG信号是一种多通道的数据，可以用多维矩阵表示；疲劳驾驶的评估实质上就是对多维脑电数据进行分析，通过脑网络的聚集性指标来反映驾驶者的精神疲劳状态；而采集的多通道的EEG数据中通常会存在噪声，从而影响对疲劳状态的判断；因此，作为一种更优的实施方式，疲劳状态判断模块103可以先对脑电信号采集设备102输出的EEG信号进行预处理：对于脑电信号采集设备102输出的多通道的EEG信号，将其中噪声大于设定值，以及眼电电极的通道的EEG信号剔除。事实上，预处理的目的主要是剔除噪声较大或有效信息较少的信号通道，可以达到降低EEG数据的维度，提高信噪比，优化分类准确率的效果。最主要的是要去除眼电伪迹，因为EEG信号中混有的眼电成分对信号的分析处理造成极大干扰。使用Matlab中的EEGLAB工具包可以从通道选择工具栏里选中四个眼电电极、参考电极以及其他干扰成分并去除掉，再使用一个1～25Hz的带通滤波器进行滤波来筛选EEG信号。
更优地，由于基于AR的脑电采集环境会充斥着复杂的因素，导致产生的信号非常微弱并伴有大量噪声，需要在脑电采集环节加入缓冲装置；由此，上述的脑电信号采集设备102中的信号采集板还可包括：缓冲器；该缓冲器连接于所述电极帽和信号放大器之间，用于增大输入阻抗，消除噪声，提高信号放大的效果。此外，相比于其他常用的脑电范式，SSVEP具有相对较高的信噪比，结合这两点，可以保证系统在实际使用时，脑电信号放大器可以正常工作；
进而，疲劳状态判断模块103基于预处理后的EEG信号构建脑网络，计算所述脑网络的小世界特性；在计算的小世界特性小于疲劳评估阈值时，判断所述驾驶者处于疲劳状态。
进一步，疲劳状态判断模块103还用于在判断出驾驶者当前处于疲劳状态时，进行预警提示。
基于上述的基于AR技术的疲劳驾驶检测系统，本发明实施例提供的一种基于AR技术的疲劳驾驶检测方法，流程如图3所示，包括如下步骤：
步骤S301：获取路况视频图像。
本步骤中，通过摄像头201的拍摄，实时获取当前路况的路况视频图像。较佳地，摄像头201的摄像角度与汽车的驾驶者的视角方向一致，高度一样，从而摄像头拍摄获取的路况视频图像，与驾驶者透过前档风玻璃视觉观察到的图像景物类似。
步骤S102：从路况视频图像中识别出的障碍物。
本步骤中，路况信息处理模块202获取摄像头201拍摄的路况视频图像，并从路况视频图像中识别出障碍物。目前成功率高且成功应用于车辆或行人识别的智能算法包括卷积神经网络、adaboost等算法，本发明采用卷积神经网络算法对图像中的车辆或行人进行识别：从互联网爬取多幅车辆与行人或其它障碍物的各个角度的正样本及没有车辆与行人等其它障碍物的较模糊负样本，对卷积神经网络进行训练和验证，分别得到针对各种障碍物，比如车辆和行人的分类器，使用分类器可以从图像中识别出相应的障碍物。
步骤S103：将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号。
本步骤中，路况信息处理模块202根据识别的障碍物在其所在图像中的位置，在图像中以提示框框出所述障碍物；进而，将所述提示框在所述图像的坐标系中的位置、尺寸信息，转换为光源显示模块203的显示屏幕的坐标系中相应的位置、尺寸信息；根据转换得到的位置、尺寸信息，通过光源显示模块203在显示屏幕的相应位置处以设定频率闪烁显示作为所述障碍物的标记的提示框；而显示屏幕所显示的画面经光学投影模块204的光学折射作用投影显示到所述汽车的前挡风玻璃。
这样，就可以在前挡风玻璃上，相应位置处以设定频率闪烁作为所述障碍物的标记的提示框，而所述障碍物的标记的位置由于正好与驾驶者透过前挡风玻璃所观察到的障碍物的位置相应，因此，在视觉效果上呈现了一种前挡风玻璃上显示的提示信息，比如提示框的虚像，将前方障碍物，比如车辆或行人的实像框出，从而提示驾驶者前方障碍物目标所在位置；同时，闪烁显示的作为所述障碍物的标记的提示框，对驾驶者的大脑造成视觉刺激，从而可以作为驾驶者的诱发脑电信号的激励信号。
更优地，本步骤中，在将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处时，AR设备101中的路况信息处理模块202还可以加入场景标记功能，例如，将从路况视频图像中识别出的各个建筑物，分别进行数字标记1、2、3...，并针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。以显示数字的方式激励、诱发脑电信号，这样即使脑电信号采集设备102在记录脑电信号受到一定的环境干扰，疲劳状态判断模块103也可以利用matlab(matrix&laboratory，矩阵工厂)软件通过数字的标识进行分类处理，从而在根据所述EEG信号判断所述驾驶者的疲劳状态时，具有更强的抗干扰能力，得到更准确的判断结果。
步骤S104：根据采集的所述驾驶者的EEG信号判断所述驾驶者的疲劳状态。
较佳地，脑电信号采集设备102采集的所述驾驶者的EEG信号，具体可以是所述驾驶者的枕部的稳态视觉诱发电位SSVEP信号，从而实现通道优化，保证足够快的信息传输速度；脑电信号采集设备102将采集的驾驶者的枕部的SSVEP信号输出至疲劳状态判断模块103。
疲劳状态判断模块103可以先对脑电信号采集设备102输出的EEG信号进行预处理：对于脑电信号采集设备102输出的多通道的EEG信号，将其中噪声大于设定值，以及眼电电极的通道的EEG信号剔除。事实上，预处理的目的主要是剔除噪声较大或有效信息较少的信号通道，可以达到降低EEG数据的维度，提高信噪比，优化分类准确率的效果。最主要的是要去除眼电伪迹，因为EEG信号中混有的眼电成分对信号的分析处理造成极大干扰。使用Matlab中的EEGLAB工具包可以从通道选择工具栏里选中四个眼电电极、参考电极以及其他干扰成分并去除掉，再使用一个1～25Hz的带通滤波器进行滤波来筛选EEG信号。
进而，疲劳状态判断模块103基于预处理后的EEG信号构建脑网络：建网过程就是通过复杂网络理论对多维脑电数据构建脑网络并对网络的指标进行分析，由于是多通道同时采集数据，因此定义每个通道为脑网络中的一个节点，不同的数据认为是网络的不同状态，通过计算后，在数据具有相关性的节点间建立连边，构成脑网络。
脑网络构建完成后，疲劳状态判断模块103通过计算脑网络的小世界特性来评估驾驶员的疲劳状态：在计算的小世界特性小于疲劳评估阈值时，判断所述驾驶者处于疲劳状态。Matlab有相应计算方法的工具包，可以直接调用。
步骤S105：若判断结果为驾驶者当前处于疲劳状态，则进行预警提示。
为了提高系统的实用性和准确性，上述用于与小世界特性进行比较的疲劳评估阈值是在应用于实际驾驶之前，预先通过大量的被试者的脑电实验获得的；实验的目的是采集大量的数据构建脑网络，从而得出较为准确的疲劳评估阈值。为了消除性别对实验结果的影响，被试者应尽量保证男女人数均衡。此外，所有被试者的身体状况均为良好，未修正或矫正视力大约为1.0，没有大脑癫痫或其他相关疾病且大脑从未受损，且自愿参加实验。被试者在实验时进行模拟驾驶训练并实时地采集脑电信号，当基于采集的脑电信号所构建的脑网络的小世界特性有明显的下降时进行记录，通过比较大量记录的小世界特性的数据进行疲劳评估阈值确定。相关研究通过模拟驾驶实验获得被试在疲劳状态下的EEG信号并构建脑网络，发现疲劳行为会使脑网络的小世界特性降低。因此在该系统的实际使用中，通过实时地计算驾驶员的脑网络小世界特性，并与实验得出的阈值进行比较，当小于阈值时上位机会发出报警，提醒司机停车进行休息以降低事故发生概率。
本发明实施例的技术方案中，通过AR设备将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；进而根据采集的所述驾驶者的EEG信号判断所述驾驶者的疲劳状态。这样，将AR中的场景作为脑电信号激励目标，相比于传统的人脑控制系统，AR能为用户提供更积极主动、更丰富多彩、更具激励性的情境反馈(与大脑思维信息输出密切关联)模式。因此，使用AR可以提高BCI(Brain Computer Interface，脑机接口)的可学习性并缩短训练时间，而且，虚拟场景可作为BCI用户在实际使用之前最廉价、最逼真、最可靠、最安全的训练和测试场景。总结来说，在虚拟环境下进行脑电信号的采集和分析，可以增加被试的沉浸感，被试在虚拟测试场景中更容易激励产生稳定的脑电信号，从而提高效率，在短期内取得优异成绩。
而且，采用稳态视觉诱发电位(SSVEP)作为目标脑电信号，其优势是可以通过场景中闪烁的目标来激发产生相应的信号，且该模式所展现的场景须能紧密、无间断地整合与集成BCI对诱发思维脑电的各种刺激需求，并尽可能保证场景的真实可信以使用户保持深度的沉浸感而不会被中断。
事实上，当人脑受到一个固定频率的视觉刺激的时候，大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，该响应可以通过脑电信号采集设备采集的EEG信号中的SSVEP信号体现出来。相比于其它常用的脑电范式，比如自发脑电信号，SSVEP信号具有相对较高的信噪比，易于检测，从而便于疲劳状态判断模块根据EEG信号判断所述驾驶者的疲劳状态。
此外，将AR与脑机接口技术结合的关键在于能有效地激励驾驶员产生脑电信号用于检测疲劳状态，同时还考虑到了实际使用中系统的便携化及可行性。
也就是说，通过巧妙地利用汽车中所应用的AR技术所显示的内容来作为驾驶者的诱发脑电信号的激励信号，利用诱发脑电信号易于检测的特点直接判断驾驶者的疲劳状态，一方面不再需要采集其它物理量，比如驾驶者操纵方向盘的旋转角度用于辅助判断驾驶者的疲劳状态；另一方面，也不需要针对不同的驾驶者个体来训练适用于驾驶者个体的疲劳驾驶状态评估模型；从而大大提高了检测方案的可行性。
更优地，本发明实施例的技术方案中，AR设备在将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃时，还可以加入场景标记功能，例如，依次为从路况视频图像中识别出的各个建筑物编号数字1、2、3...，并针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。以显示数字的方式激励、诱发脑电信号，这样即使脑电信号采集设备在记录脑电信号受到一定的环境干扰，疲劳状态判断模块也可以利用matlab软件通过数字的标识进行分类处理，从而在根据所述EEG信号判断所述驾驶者的疲劳状态时，具有更强的抗干扰能力，得到更准确的判断结果。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于AR技术的疲劳驾驶检测系统，其特征在于，包括：
AR设备，用于将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；
脑电信号采集设备，用于采集所述驾驶者的脑电波EEG信号；
疲劳状态判断模块，用于根据所述EEG信号判断所述驾驶者的疲劳状态。
2.根据权利要求1所述的系统，其特征在于，
所述AR设备还用于针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。
3.根据权利要求1所述的系统，其特征在于，
所述脑电信号采集设备具体用于采集所述驾驶者的枕部的稳态视觉诱发电位SSVEP信号。
4.根据权利要求1-3任一所述的系统，其特征在于，
所述疲劳状态判断模块具体用于通过所述EEG信号构建脑网络，进而计算所述脑网络的小世界特性；在计算的小世界特性小于疲劳评估阈值时，判断所述驾驶者处于疲劳状态。
5.根据权利要求4所述的系统，其特征在于，
所述疲劳状态判断模块还用于在构建脑网络前，对所述脑电信号采集设备输出的EEG信号进行预处理：将其中噪声大于设定值，以及眼电电极的通道的EEG信号剔除。
6.根据权利要求1所述的系统，其特征在于，所述脑电信号采集设备具体包括：
电极帽，佩戴于所述驾驶者头上，用于通过电极探测所述驾驶者头部若干处的脑电波信号；
设置有信号放大器的信号采集板，与所述电极帽相连，用于将所述电极帽探测的脑电信号进行放大处理后输出至所述疲劳状态判断模块。
7.根据权利要求6所述的系统，其特征在于，所述信号采集板上还包括缓冲器；
所述缓冲器连接于所述电极帽和信号放大器之间，用于增大输入阻抗，消除噪声，提高信号放大的效果。
8.一种基于AR技术的疲劳驾驶检测方法，其特征在于，包括：
将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处，作为驾驶者的诱发脑电信号的激励信号；
根据采集的所述驾驶者的EEG信号判断所述驾驶者的疲劳状态。
9.根据权利要求8所述的方法，其特征在于，在所述将从路况视频图像中识别出的障碍物，以设定频率闪烁显示于汽车的前挡风玻璃相应位置处时，还包括：
针对从路况视频图像中识别出的每个建筑物，在前挡风玻璃上投影显示该建筑物时，还显示该建筑物的数字标记。
10.根据权利要求8或9所述的方法，其特征在于，所述采集的所述驾驶者的EEG信号，具体为：
采集的所述驾驶者的枕部的稳态视觉诱发电位SSVEP信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910123859.4A CN109875583B (zh) | 2019-02-19 | 2019-02-19 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910123859.4A CN109875583B (zh) | 2019-02-19 | 2019-02-19 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109875583A CN109875583A (zh) | 2019-06-14 |
| CN109875583B true CN109875583B (zh) | 2021-01-29 |
Family
ID=66928593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910123859.4A Active CN109875583B (zh) | 2019-02-19 | 2019-02-19 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109875583B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112114662A (zh) * | 2020-08-03 | 2020-12-22 | 西安交通大学 | 一种现实增强的自适应动态多场景诱发脑控方法 |
| CN111938672B (zh) * | 2020-08-20 | 2024-01-23 | 京东方科技集团股份有限公司 | 基于虚拟现实环境的视觉特性检测方法及相关设备 |
| CN114504329B (zh) * | 2022-01-30 | 2023-09-22 | 天津大学 | 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统 |
| FR3135806A1 (fr) * | 2022-05-17 | 2023-11-24 | Orange | Projecteur, gestionnaire d’objets connectés, Interface neuronale directe, equipement electronique connecté, procédé d’initialisation de projecteur et procéde de contrôle d’un equipement electronique |
| CN118494496A (zh) * | 2024-04-28 | 2024-08-16 | 岚图汽车科技有限公司 | 驾驶互动激励方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1248426A (zh) * | 1999-10-29 | 2000-03-29 | 清华大学 | 基于脑电稳态诱发响应的控制装置 |
| CN101530329A (zh) * | 2009-03-06 | 2009-09-16 | 北京理工大学 | 半实物驾驶疲劳视景仿真系统平台 |
| CN103767715A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测装置 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN204016312U (zh) * | 2014-07-22 | 2014-12-17 | 杭州电子科技大学 | 一种基于生物电技术的驾驶疲劳检测模拟系统 |
| CN206867229U (zh) * | 2017-01-06 | 2018-01-12 | 深圳市小白马能源科技有限公司 | 一种基于vr技术驾驶员心理测试装置 |
| CN108515909A (zh) * | 2018-04-04 | 2018-09-11 | 京东方科技集团股份有限公司 | 一种汽车抬头显示系统及其障碍物提示方法 |
| CN109074748A (zh) * | 2016-05-11 | 2018-12-21 | 索尼公司 | 图像处理设备、图像处理方法和可移动体 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155736B2 (en) * | 2009-03-16 | 2012-04-10 | Neurosky, Inc. | EEG control of devices using sensory evoked potentials |
| CN101576772B (zh) * | 2009-05-14 | 2011-07-27 | 天津工程师范学院 | 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法 |
| CN101571748A (zh) * | 2009-06-04 | 2009-11-04 | 浙江大学 | 一种基于增强现实的脑机交互系统 |
| US9256711B2 (en) * | 2011-07-05 | 2016-02-09 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display |
| EP2895970B1 (en) * | 2012-09-14 | 2018-11-07 | InteraXon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| KR101648017B1 (ko) * | 2015-03-23 | 2016-08-12 | 현대자동차주식회사 | 디스플레이 장치, 차량 및 디스플레이 방법 |
-
2019
- 2019-02-19 CN CN201910123859.4A patent/CN109875583B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1248426A (zh) * | 1999-10-29 | 2000-03-29 | 清华大学 | 基于脑电稳态诱发响应的控制装置 |
| CN101530329A (zh) * | 2009-03-06 | 2009-09-16 | 北京理工大学 | 半实物驾驶疲劳视景仿真系统平台 |
| CN103767715A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测装置 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN204016312U (zh) * | 2014-07-22 | 2014-12-17 | 杭州电子科技大学 | 一种基于生物电技术的驾驶疲劳检测模拟系统 |
| CN109074748A (zh) * | 2016-05-11 | 2018-12-21 | 索尼公司 | 图像处理设备、图像处理方法和可移动体 |
| CN206867229U (zh) * | 2017-01-06 | 2018-01-12 | 深圳市小白马能源科技有限公司 | 一种基于vr技术驾驶员心理测试装置 |
| CN108515909A (zh) * | 2018-04-04 | 2018-09-11 | 京东方科技集团股份有限公司 | 一种汽车抬头显示系统及其障碍物提示方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于脑电信号的疲劳驾驶状态研究;陈骥驰，等;《汽车工程》;20180525;第40卷(第5期);515-520 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109875583A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| CN109726771B (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| CN108615110B (zh) | 基于视觉特性的驾驶风险评估系统 | |
| CN109646022B (zh) | 儿童注意力评估系统及其方法 | |
| CN110151203B (zh) | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 | |
| CN110495895B (zh) | 一种基于眼动跟踪的疲劳检测方法与系统 | |
| CN113743471A (zh) | 一种驾驶评估方法及其系统 | |
| CN103340637A (zh) | 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法 | |
| CN107480716B (zh) | 一种结合eog和视频的扫视信号识别方法及系统 | |
| CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
| CN118587689B (zh) | 驾驶员疲劳状态检测方法和系统 | |
| CN112957049A (zh) | 基于脑机接口设备技术的注意力状态监测装置及方法 | |
| CN116955943A (zh) | 基于眼动序列时空语义特征分析的驾驶分心状态识别方法 | |
| CN118644826A (zh) | 基于深度学习的多模态信息融合驾驶安全方法及系统 | |
| CN107480635A (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及系统 | |
| Ani et al. | A critical review on driver fatigue detection and monitoring system | |
| CN118262477A (zh) | 一种基于面部视频的疲劳驾驶状态检测方法 | |
| CN116383711A (zh) | 一种基于眼动信号的驾驶能力评测方法 | |
| Ueno et al. | Relation between human alertness, velocity wave profile of saccade, and performance of visual activities | |
| CN116098634A (zh) | 一种基于刺激事件的脑功能检测评估方法、装置及系统 | |
| CN108495584A (zh) | 用于通过触觉界面确定眼球运动的装置和方法 | |
| Lou et al. | Fatigue Driving Detection Based on Facial Features | |
| US20240021307A1 (en) | Computer-Implemented Method for Detecting a Microsleep State of Mind of a Person by Processing at Least One EEG Trace Using an Artificial Intelligence Algorithm and System Configured to Implement Such Method | |
| JP6550952B2 (ja) | 脳波の分析方法および分析装置 | |
| TW201604842A (zh) | 結合眼球影像與腦波之疲勞偵測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |