CN118303897A - 一种脑电信号采集与训练一体化系统 - Google Patents

Abstract

一种脑电信号采集与训练一体化系统，属于脑电信号技术领域。所述的脑电信号采集与训练一体化系统包括脑电采集模块、以及载入上位机的SSVEP刺激与标注模块、离线训练模块和脑电信号分析模块。基于SSVEP训练范式进行全自动的特征提取，基于深度学习智能算法完成对脑电信号的处理和训练。可以实现对于脑电信号更加精准高效的处理，为视觉刺激脑电信号检测与训练提供可靠的技术支持。

Description

一种脑电信号采集与训练一体化系统

技术领域

本发明实施例涉及脑电信号技术领域，尤其涉及一种脑电信号采集与训练一体化系统。

背景技术

脑电波信号作为一种重要的神经生理信号，对于研究人类大脑活动及应用于神经科学、心理学和医学诊断等领域具有重要意义，脑机接口技术，在受试者与外部设备之间创建的直接连接，从而实现脑与设备的信息交换。脑电信号的采集与分析对于理解认知功能、情绪状态、疾病诊断以及康复训练等具有深远影响。

然而，面对脑电波信号的高维度、高复杂度、高噪声等特点，传统提取方法存在一定局限性；对于接收刺激后脑电信号的处理和训练，现有的基于SSVEP(稳态视觉诱发电位，Steady-State Visual Evoked Potentials)的脑机接口系统，在采集受试者数据的过程中需要采用“人工标注-数据训练”的方式，对于用户而言门槛较高，限制了其在实际应用中的可用性和易用性；此外，某些系统对于受试者的要求较高，需复杂的电极布置，还需长时间的训练以提高识别准确率。

因此，本发明旨在提供一种优化的脑电信号采集与训练系统，能够更加高效、经济的实现脑电信号的采集和训练，一定程度上提高了处理的效率和准确性。

发明内容

所述的一种脑电信号采集与训练一体化系统利用轻量级八导联电极帽进行采集与无线传输，基于SSVEP训练范式进行全自动的特征提取，基于深度学习智能算法完成对脑电信号的处理和训练。可以实现对于脑电信号更加精准高效的处理，为视觉刺激脑电信号检测与训练提供可靠的技术支持。

本发明的技术方案：

一种脑电信号采集与训练一体化系统，所述的脑电信号采集与训练一体化系统包括：脑电采集模块、以及载入上位机的SSVEP刺激与标注模块、离线训练模块和脑电信号分析模块；

所述脑电采集模块：用于采集受试者的SSVEP信号并进行数据预处理；

所述的脑电采集模块包括干电极、高阻前置放大器、双极性电流注入单元、共模电位驱动单元、共模补偿电位合成单元、直流耦合基线抑制单元、滤波与增益单元、主模数转换器、微控制器、辅助模数转换器。

干电极包括参考电极、共模驱动电极和测量电极，参考电极与共模驱动电极应当分别连接到受试者头部两侧无关电位点，测量电极连接受试者的枕后不同部位；进一步地，所述的干电极由PA12尼龙-碳纤维复合材料制成，基于FDM技术成型的梳式干电极。

高阻前置放大器：对输入的微弱信号进行缓冲与初步放大；

直流耦合基线抑制单元：用于基线校正以维持基线位置稳定，避免信号经过滤波与增益单元时导致增益级饱和。

滤波与增益单元：对经过基线校正的高阻前置放大器信号进行带通滤波，保留用于分析的频率成分。并提供主模数转换器采集信号所需的高增益。

主模数转换器：将滤波和增益单元后的电压信号，转换为数字信号。并由内部数字抽样滤波器对频率响应进行整形。

双极性电流注入单元：通过注入微电流测量响应的方式，测量电极与人体的接触阻抗并监视导联是否脱落。双极性电流注入规避了单极性电流注入导致的电解反应问题。

辅助模数转换器：将双极性电流注入单元的阻抗相关电压信号转换为数字信号供微控制器读取。

共模电位驱动单元：将人体电位驱动至高阻前置放大器输入范围以内，可选用固定参考电位或来自共模补偿电位合成单元的共模补偿电位作为输入。

共模补偿电位合成单元：受控合成适宜的共模电位补偿点，作为共模电位驱动单元输入时，进一步提高系统共模抑制能力。

微控制器：协同高阻前置放大器、双极性电流注入单元、共模电位驱动单元、共模补偿电位合成单元、直流耦合基线抑制单元、滤波与增益单元、主模数转换器、辅助模数转换器正常工作，与上位机通信以传输所采集的数据。

上位机：模数转换器转化后的数字信号通过微控制器无线传输给上位机并进行存储，SSVEP刺激与标注模块、离线训练模块和脑电信号分析模块均在上位机中实现。

所述SSVEP刺激与标注模块：基于SSVEP训练范式，用于向受试者显示SSVEP刺激动画并对脑电采集模块采集的SSVEP信号进行自动标注，并将时域、频域图在线实时呈现在分析界面上；具体过程如下：

(2.1)SSVEP训练范式：将受试者所看屏幕分成九块区域，该九块区域显示不同刺激频率闪烁的图案，通过不同刺激频率的闪频图案刺激受试者的视觉系统，引发大脑皮层产生稳态视觉诱发电位；在一段时间内对受试者进行多组周期性的SSVEP内容的视觉刺激，获取SSVEP信号；SSVEP信号经过脑电采集模块的数据预处理后，通过无线通信发送给上位机，并进行存储。

(2.2)在受试者进行SSVEP内容的视觉刺激过程中，每个测量电极对应接收采集传输的一个SSVEP信号序列，提取存储于上位机的SSVEP信号序列，并基于SSVEP训练范式，对多组SSVEP信号序列按照预设训练时间周期进行划分，并对各周期内SSVEP信号序列实现自动标记，标记刺激开始时间、刺激结束时间点以及刺激内容，获得标注好的原始数据训练集。

(2.3)对多组SSVEP信号序列进行数据预处理，提取时域与频域特征，并图形化界面上实时地显示受试者脑电信号的时域和频域图。

所述离线训练模块：基于深度学习神经网络对SSVEP刺激与标注模块标注后的数据集进行处理和训练；具体步骤：

(3.1)对原始数据训练集的数据进行数据处理，包括：去基线漂移、插值坏导、滤波和独立成分分析；

(3.2)将步骤(3.1)处理后的数据输入信号填充单元对截取的信号进行零填充：首先对待输入的脑电信号使用零填充技术对截取的信号在时域上进行填充补零，然后对填充后的信号进行快速傅里叶变换得到功率谱密度，并且对各个通道的信号进行归一化处理，将归一化处理后的功率谱密度输入频域卷积神经网络。其中，频域卷积神经网络为单层卷积神经网络，使用Leaky ReLU作为激活函数，并添加归一化层和dropout层优化过拟合现象。

(3.3)将步骤(3.1)处理后的数据输入时空特征提取单元，对输入的SSVEP信号进行时空特征提取，其中时空特征提取单元包括了时间特征提取单元和空间特征提取单元；时间特征提取单元设计的卷积核大小为Nc×1，空间特征提取单元设计的卷积核大小为1×Nc；在时间特征提取单元和空间特征提取单元中使用PReLU作为激活函数，同时添加dropout层和归一化层，并且为每个卷积神经网络和全连接网络都进行了光谱归一化处理；

(3.4)将提取的时空特征和进行零填充的信号进行组合，输入时空特征编码单元进行时空特征之间的依赖性编码；时空特征编码单元是由双向长短时记忆网络组成；

(3.5)将依赖性编码后的时空特征输入分类器，其中分类器是由三个密集层组成的全连接模块；分类器使用三层全连接层，在最后一个全连接层中使用softmax激活函数输出预测刺激频率，给全连接层进行光谱归一化限制权重矩阵的最大奇异值。

所述脑电信号分析模块：载入训练好的模型进而实现对SSVEP受试者脑电信号的实时分析。

本发明的有益效果：

(1)本申请的脑电信号采集与训练一体化平台集成了脑电信号的采集与传输，SSVEP刺激呈现、波形图与频谱图的实时显示、以及对脑电信号数据集的切分，标注，预处理与训练等多种功能。用户可以在同一个平台上完成整个数据处理和训练流程，简化了操作流程，提高了脑机接口实验的效率和稳定性，可以将更多时间放在对综合应用的创新与探索.

(2)本申请实现的脑电采集模块，实现了连续受控的双极性微电流注入。避免了传统手段使用单极性电流源注入所导致，电极与人体界面发生电解反应导致接触质量下降的问题。双极性电流注入单元由微控制发生的调制信号控制，该调制信号远离信号调理电路的通频带。避免了电流注入对带内信号的干扰。双极性电流注入所产生的响应经采集后，由微控制器与前述调制信号进行同步解调，换算为阻抗相关项。避免了为测量注入电流响应扩宽信号调理电路带宽的额外开销。总体上，在保证性能的前提下，使得脑电信号测量过程中的实时阻抗测量与导联脱落检测更加实用。

(3)本申请的SSVEP刺激与标注模块与离线训练模块协同互补，提高了模型训练的效率与模型准确率。与传统的SSVEP分析算法--典型相关性分析(Canonical CorrelationAnalysis，简称CCA)算法相比，CCA算法主要是将多通道的SSVEP信号以及对应的刺激频率构造的sin cos参考信号通过两个空间滤波器投影到低维空间中，然后计算两者之间的相关性，这样的处理方式高度依赖于手工制作的数据特征提取和校准数据，并且人工参考信号缺乏脑电信号数据的真实信息。而本模块中保存的原始数据不再需要繁琐的数据处理流程，而是直接通过预先设置好的数据处理流程即可得到特征更加明显的SSVEP信号。

(4)本申请的离线训练模块，通过添加信号填充单元，增加了SSVEP信号在信号频域内有用的频段信息，使得在频域频谱上区分不同类别的SSVEP信号的特征更加明显，之后将通过信号填充单元的信号与提取的时空特征之间进行组合，使得组合之后的数据既有原始的特征也有未来的特征，从而使得特征信息更加丰富，更加有利于对刺激频率的预测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现

有技术描述中所需要使用的附图作简单地介绍。

图1为本申请实施例中提供的脑电采集模块的示意图。

图2为本申请实施例中提供的SSVEP刺激与标注模块的示意图。

图3为本申请实施例中提供的离线训练模块的示意图。

具体实施方式

下面将结合本公开实例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于公开保护的范围。

在此说明，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。

脑机接口技术(Brain Computer Interface，BCI)形成于20世纪70年代，是一门设计纳米技术、生物技术、心理认知科学、计算机科学、生物医学工程和应用数学等多学科的交叉技术。脑机接口是一种不依赖大脑外周神经与肌肉正常输出通道的控制系统，通过采集和分析人脑生物信号，在人脑与计算机或其他电子设备间建立起直接交流和控制的通道，从而使人类可以直接通过大脑来表达意愿或操纵设备，而不需要语言或肢体的动作。

SSVEP(Steady-State Visual Evoked Potentials)是一种控制范式，主要用于研究大脑对视觉刺激的反应。它通常通过在计算机显示器上呈现高对比度的闪烁图形来诱发脑电位。当受试者集中注意力在这些图形上时，可以在大脑的初级视觉皮层上检测到与刺激振荡频率相匹配的信号。这种范式依赖于激发对参与刺激的响应，而对响应的检测是通过在枕区寻找匹配的频率(及其谐波)响应来进行的。

虽然脑机接口作为一种全新的交互方式，具有广阔的应用前景，但是其目前的实际应用还存在着许多限制和不足。首先，当前的脑机接口技术仍然无法真正地突破人脑的局限性，例如一些重要的神经活动无法被准确地探测和记录。其次，脑机接口的稳定性也难以得到保障，由于生理和非生理原因，预测人类神经活动的准确度存在很大差异。其次，传统的基于ssvep的脑机接口系统有采集装置复杂、采集过程繁琐、无法实现全过程自动采集等问题，给脑电信号的高效获取带来一定阻碍。此外，传统的脑机接口系统在脑电信号的处理和模型训练中，在处理方式和准确率上仍有很大的进步空间。

面对这些挑战，近年来，随着新材料、无线技术、深度学习和神经网络等技术的发展成熟，人们开始尝试使用更加先进高效的方法来进行脑电波信号的采集和处理，以期能够更好地挖掘脑电波信号中的潜在规律和特征，提高采集、传输、分类和识别的准确性和鲁棒性。

在本申请的脑电采集模块中，如附图1所示包括：干电极、高阻前置放大器、共模电位驱动单元、共模补偿电位合成单元、直流耦合基线抑制单元、滤波与增益单元、主模数转换器、双极性电流注入单元、微控制器、辅助模数转换器。

干电极：干电极布置在受试者头部，其中参考电极与共模驱动电极布置在头部不同的无关电位点处，人体视觉皮层中枢主要位于枕后区域，为获得与视觉刺激高相关度的SSVEP信号，将测量电极布置于枕后区域，其具有的梳状结构能够穿过受试者的头发，于头皮表面采集脑电信号，测试电极具有的尖端结构能够在一定程度上破坏体表角质层，提高信号质量。干电极所拾取的信号通过含屏蔽层的单芯线缆连接至后级高阻前置放大器，屏蔽线缆实现对线缆运动所造成伪迹与外界电磁噪声的抑制，该屏蔽线缆在采集系统端接入系统参考地，该参考地电位在系统正常工作时接近干电极所拾取脑电信号的共模电位，使得屏蔽线缆芯线与屏蔽层容性耦合程度降低，由此抑制测量电极与参考电极间由于输入不平衡产生的差模噪声。

高阻前置放大器：对于每一个测试电极，存在对应的高阻前置放大器通道，高阻前置放大器使用三运放结构仪表放大器结构，提供高输入阻抗、差模增益与基本的共模抑制能力。测量电极与参考电极之间的微弱差动信号通过高阻前置放大器进行缓冲与初步放大，电极与人体接触表面电化学反应产生的极化电压，在前置放大器输出上表现为基线位置的偏移。通过拆分高阻前置放大器增益控制电阻，可以提取单个高阻前置放大器通道的输入信号共模成分。此共模成分经过缓冲后，作为共模电位驱动单元的输入。

共模电位驱动单元：共模电位驱动单元用于调整人体所处共模电位，微控制器首先选用高阻前置放大器电路输入范围中点作为共模电位驱动单元输入，驱动人体电位进入高祖前置放大器输入范围。而后共模电位驱动单元的输入信号转为共模补偿电位合成单元的输出，与期望的输入范围中心比较后，反相注入至人体。实现更佳的共模抑制效果。

共模补偿电位合成单元：共模补偿电位合成单元将来自高阻前置放大器的各通道共模成分合成为信号整体共模成分。实际应用过程中，微控制器调整共模补偿电位合成单元的输入复用器，使用指定的数个前置放大器通道作为共模补偿电位的合成，规避工作异常的导联共模补偿电位的不良影响。

直流耦合基线抑制单元：直流耦合基线抑制单元负责修正前述高阻前置放大器的输出偏移，以便滤波及增益级的正常工作。直流耦合基线抑制单元根据预先设定的时间常数，提取前置放大器输出中的基线成分，与理想基线电压进行比较后，直流耦合基线抑制单元将重新偏置高阻前置放大器的输出，以维持基线位置稳定。

滤波与增益单元：滤波与增益单元对经过基线校正的前置放大器输出信号进行带通滤波，并提供便于主模数转换器的采集。

主模数转换器：主模数转换器对SSVEP信号进行同步采集，保证不同通道间的相位同步。并利用内部数字抽取滤波器对频率响应进行进一步整形。

双极性电流注入单元：双极性电流注入单元是能够输出双极性微小电流的受控恒流源单元。当存在可用的注入回流环路时，此单元根据输入信号向干电极输出微电流。通过切换其内部用于输出电流检测的负载，可以在±0-5uA+±10nA两挡位输出电流动态范围之间切换，适应不同的待测阻抗范围。恒流源正常建立时，与阻抗相关的电压产生于双极性电流注入单元的电压输出端口。恒流源缺乏足够回流路径无法建立时，电压输出端口表现为饱和状态。

辅助模数转换器：辅助模数转换器测量双极性电流注入单元的阻抗相关电压输出端口转换结果由微控制器读取，转换为阻抗测量结果或导联脱落信号。

微控制器：微控制器协同各个模块实现信号采集。微控制器配置主模数转换器的数字抽样滤波器配置，并收集主模数转换器的转换数据。微控制器发生用于双极性电流注入单元，目的用于实现接触阻抗测量与导联脱落检测的激励信号。该激励信号位于高阻前置放大器通带范围外50倍频程以外，避免对带内信号的污染。微控制器从辅助模数转换器读取双极性电流注入单元的电压输出，以激励信号为参考进行同步解调，经换算后得到接触阻抗大小乃至阻抗脱落发生。微控制器控制共模补偿电位合成单元的输入复用器，选择指定的前置放大器通道以合成出输入共模成分。微控制器调整共模电位驱动单元，切换其输入信号。

在本申请的SSVEP刺激与标注模块中，如附图2所示，基于SSVEP训练范式，用于向受试者显示SSVEP刺激动画并对脑电采集模块采集的SSVEP信号进行自动标注，并将时域、频域图在线实时呈现在分析界面上；包括：2.1：基于SSVEP训练范式，按照预设的训练周期，在一段时间内进行多组周期性的SSVEP内容的视觉刺激，获得SSVEP信号，并存储在上位机内。2.2：提取存储于上位机的SSVEP信号序列，并基于SSVEP训练范式，对多组SSVEP信号序列按照预设训练时间周期进行划分与自动标记，获得标注好的原始数据训练集。2.3：对多组SSVEP信号序列进行数据预处理，提取时域与频域特征，并图形化界面上实时地显示受试者SSVEP信号的时域和频域图。

在所述步骤2.1中，基于SSVEP训练范式，将受试者所看的屏幕分为九块刺激区域，该九块区域显示不同刺激频率闪烁的图案，呈现在刷新率为60Hz，分辨率为1280*800像素的显示器上，刺激区域排列为3X3矩阵。在SSVEP训练范式中，每次进行训练会按照预设的训练周期进行：在单次训练周期开始前，会预先确定好本次训练周期内的刺激内容，刺激内容包含本次训练周期内受试者应当注视的刺激区域序号，并使用特殊的颜色对本次训练周期内刺激内容对应的刺激区域进行标注，引导受试者注视该区域。在此次训练周期开始时，屏幕内的九块刺激区域会显示不同刺激频率闪烁的图案。受试者通过在训练周期内注视对应的刺激区域，引发大脑皮层产生稳态视觉诱发电位，获取到SSVEP信号。在一段时间内进行多组周期性的SSVEP内容的视觉刺激，获取SSVEP信号；SSVEP信号经过脑电采集模块的数据预处理后，通过无线通信发送给上位机，并进行存储。

在所述步骤2.2中，受试者进行SSVEP内容的视觉刺激过程中，每个测量电极对应接收采集传输的一个SSVEP信号序列，提取存储于上位机的SSVEP信号序列，并基于SSVEP训练范式，对多组SSVEP信号序列按照预设训练时间周期进行划分，并对各周期内SSVEP信号序列实现自动标记，标记刺激开始时间、刺激结束时间点以及刺激内容，获得标注好的原始数据训练集。

在所述步骤2.3中，对多组SSVEP信号序列进行数据预处理，提取时域与频域特征，并图形化界面上实时地显示受试者SSVEP信号的时域和频域图。为了提高信号的质量和可用性，对步骤2.2中提取到的以采样时间为顺序的多组SSVEP信号序列进行预处理，包括陷波滤波、带通滤波、去噪，以获得经过预处理后的多组SSVEP信号序列及其对应的时域图。通过对经过预处理后的多组SSVEP信号序列进行快速傅里叶变换，提取其频域特征，以获得SSVEP信号序列的频域图，在图形化界面上实时地显示受试者脑电信号的时域和频域图。在时域图展示了信号随时间变化的波形特征，而频域图展示了信号在不同频率下的能量分布。这种实时可视化能够帮助实验人员监测受试者的脑电活动，以及刺激条件对信号的影响，从而提供及时反馈。

本申请的离线训练模块，如附图3所示，基于深度学习神经网络，在对SSVEP刺激与标注模块标注后的原始数据进行数据处理后，将处理完的SSVEP信号输入神经网络中进行特征提取以及分类预测，进行模型训练。包括：3.1.对原始数据训练集进行数据处理，操作包括：去基线漂移、插值坏导、滤波和独立成分分析；3.2.将待输入的SSVEP信号输入信号填充单元对截取的信号进行零填充；3.3.将待输入的SSVEP信号输入时空特征提取单元，对输入的SSVEP信号进行时空特征提取，其中时空特征提取单元包括了时间特征提取单元和空间特征提取单元；3.4.将提取的时空特征和进行填充的信号进行组合输入神经网络层中设计的时空特征编码单元进行时空特征之间的依赖性编码；3.5.将编码的时空特征输入神经网络层中设计的分类器，其中分类器是由三个密集层组成的全连接模块。

在所述步骤3.1中，对保存的原始数据进行去基线漂移：考虑到整理后的数据存在基线漂移时，在之后深度学习模型的输入之前进行的快速傅里叶变换分析、相关性分析和功率谱密度分析等时会出现畸变，造成低频出现尖峰，甚至淹没主频成分，从而严重影响精度。此处将整理后的数据通过小波变换的多尺度分解，在分解的低频系数中得到信号的基线趋势，用原始信号减去该基线趋势来进行抑制基线漂移的影响。接着进行插值坏导：考虑到设计的采集系统在采集的时候可能会出现SSVEP信号空间分辨率低，对于表现不佳的通道，由于每一个通道应该和周围通道的输出相似，用周围的几个通道的输出平均值进行模拟代替某个表现不佳的通道。接着进行滤波：考虑到运动伪迹和工频干扰对脑电信号的产生干扰非常大，依据自身采集的数据来看，在频谱图上能看到一个很大的50Hz成分，在数据进行插值坏导之后通过设计4～70Hz的IIR带通滤波器和陷波滤波器过滤掉不必要的噪声；最后进行独立成分分析(ICA)：考虑到眼动，眨眼，肌肉，心脏和线的噪音会严重污染脑电图活动，这在脑电解释和分析中会产生非常严重问题。此处基于ICA算法得到的空间滤波器的伪影校正，通过线性分解从SSVEP数据中分离并去除多种伪影，从数据中提取了不同大脑和伪影源的独立时程，通过消除伪影源的贡献来得出伪影校正的SSVEP信号。ICA找到一个“分解”矩阵W，该矩阵将多通道头皮数据分解或线性分解为时间上独立且空间固定的分量之和。输出数据矩阵的行是ICA分量激活的时间过程。

在所述步骤3.2中，将待输入的SSVEP信号输入信号填充单元对截取的信号进行填充：首先对待输入的脑电信号使用零填充技术(zero-padding)对截取的信号在时域上进行填充补零，然后对填充后的信号进行快速傅里叶变换得到功率谱密度，并且对各个通道的信号进行归一化处理，将归一化处理后的功率谱密度输入频域卷积神经网络。其中，频域卷积神经网络为单层卷积神经网络，卷积核的维度为3×3。信号通过频域卷积神经网络，使得提取的特征之间扩大了不同类别之间的差异，以使得具有非线性变换能力的深度学习模型能更好的区分不同的类别。对SSVEP数据集而言，选用信号频域内有用的频段信息作为网络的输入，不仅减少了数据输入的维度，也减少了网络的复杂度。

在所述步骤3.3中，将待输入的SSVEP信号输入时空特征提取单元，对输入的SSVEP信号进行时空特征提取，输入的SSVEP信号维度是Nc×Nt，其中Nc表示电极通道数，Nt表示采样点的数量：时间特征提取单元是在同一个序列的时间维度进行二维卷积提取时间特征，空间特征提取单元是对八个电极通道对应的八个序列的空间维度上在同一时间进行二维卷积操作提取空间特征，其中时间特征提取单元设计的卷积核大小为Nc×1，空间特征提取单元设计的卷积核大小为1×Nc。为了改善训练过程中出现的梯度消失和梯度爆炸，给时间特征提取单元和空间特征提取单元进行光谱归一化，限制权重矩阵的最大奇异值。

在所述步骤3.4中，将提取的时空特征和进行填充的信号进行组合输入神经网络层中设计的时空特征编码单元进行时空特征之间的依赖性编码：由于在提取时空特征设计的卷积核得到的感受野不够深，通过该操作只能得到时间或空间上某一方向的局部特征，为了通过局部特征来映射全局特征，将提取的时间特征和空间特征与原始的填充信号进行组合，使得组合后的数据既有原始的时空特征也有未来的时空特征，将组合后的数据输入神经网络层中设计的时空特征编码单元进行时空特征之间的依赖性编码，根据时空特征之间彼此的依赖性建立编码对时空特征进行筛选，从正向和反向提取时空特征的依赖关系，将两个方向所提取的特征进行拼接，得到时序时空特征依赖性编码，其中时空特征编码单元是由双向长短时记忆网络(Bi-LSTM)组成。

在所述步骤3.5中，将编码的时空特征输入设计网络层中设计的分类器：在之前的步骤中得到了时空特征依赖性编码，这些编码的信息维度被压缩且特征信息与刺激频率信息之间紧密连接，为了了解编码信息时空特征和分类的刺激频率直接的映射关系，此处分类器使用三层全连接层，在最后一个全连接层中使用softmax激活函数输出预测刺激频率，为了防止参数过多导致梯度爆炸，此处也给全连接层进行光谱归一化限制权重矩阵的最大奇异值。

模型在SSVEP数据集上的超参数

在频域神经网络中使用了Leaky ReLU作为激活函数增加模型的非线性能力，并添加归一化层和dropout层优化过拟合现象；在时间特征提取单元和空间特征提取单元中使用了PReLU作为激活函数增加模型的非线性能力，同时也添加了dropout层和归一化层，并且为每个卷积神经网络和全连接网络都进行了光谱归一化处理防止出现梯度消失和梯度爆炸。

本申请的脑电信号分析模块，通过载入离线训练模块训练好的模型，在受试者进行SSVEP训练时，实现对采集到的SSVEP信号进行实时识别分析。

综上，基于本申请实施例的一种脑电信号采集与训练一体化系统被阐明，其充分利用脑电波信号的丰富信息，并结合基于SSVEP的脑电信号采集与处理技术、基于深度学习的人工智能技术对其进行处理和分析，从而描述和刻画脑电波信号的内在规律和波形特征模式，实现对被测者不同视觉刺激的分类和识别。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (1)

1.一种脑电信号采集与训练一体化系统，其特征在于，所述的脑电信号采集与训练一体化系统包括：脑电采集模块、以及载入上位机的SSVEP刺激与标注模块、离线训练模块和脑电信号分析模块；

所述脑电采集模块：用于采集受试者的SSVEP信号并进行数据预处理；

所述的脑电采集模块包括干电极、高阻前置放大器、双极性电流注入单元、共模电位驱动单元、共模补偿电位合成单元、直流耦合基线抑制单元、滤波与增益单元、主模数转换器、微控制器、辅助模数转换器；

干电极包括参考电极、共模驱动电极和测量电极，参考电极与共模驱动电极应当分别连接到受试者头部两侧无关电位点，测量电极连接受试者的枕后不同部位；进一步地，所述的干电极由PA12尼龙-碳纤维复合材料制成，基于FDM技术成型的梳式干电极；

高阻前置放大器：对输入的微弱信号进行缓冲与初步放大；

直流耦合基线抑制单元：用于基线校正以维持基线位置稳定，避免信号经过滤波与增益单元时导致增益级饱和；

滤波与增益单元：对经过基线校正的高阻前置放大器信号进行带通滤波，保留用于分析的频率成分；并提供主模数转换器采集信号所需的高增益；

主模数转换器：将滤波和增益单元后的电压信号，转换为数字信号；并由内部数字抽样滤波器对频率响应进行整形；

双极性电流注入单元：通过注入微电流测量响应的方式，测量电极与人体的接触阻抗并监视导联是否脱落；双极性电流注入规避了单极性电流注入导致的电解反应问题；

辅助模数转换器：将双极性电流注入单元的阻抗相关电压信号转换为数字信号供微控制器读取；

共模电位驱动单元：将人体电位驱动至高阻前置放大器输入范围以内，可选用固定参考电位或来自共模补偿电位合成单元的共模补偿电位作为输入；

共模补偿电位合成单元：受控合成适宜的共模电位补偿点，作为共模电位驱动单元输入时，进一步提高系统共模抑制能力；

微控制器：协同高阻前置放大器、双极性电流注入单元、共模电位驱动单元、共模补偿电位合成单元、直流耦合基线抑制单元、滤波与增益单元、主模数转换器、辅助模数转换器正常工作，与上位机通信以传输所采集的数据；

上位机：模数转换器转化后的数字信号通过微控制器无线传输给上位机并进行存储，SSVEP刺激与标注模块、离线训练模块和脑电信号分析模块均在上位机中实现；

所述SSVEP刺激与标注模块：基于SSVEP训练范式，用于向受试者显示SSVEP刺激动画并对脑电采集模块采集的SSVEP信号进行自动标注，并将时域、频域图在线实时呈现在分析界面上；具体过程如下：

(2.1)SSVEP训练范式：将受试者所看屏幕分成九块区域，该九块区域显示不同刺激频率闪烁的图案，通过不同刺激频率的闪频图案刺激受试者的视觉系统，引发大脑皮层产生稳态视觉诱发电位；在一段时间内对受试者进行多组周期性的SSVEP内容的视觉刺激，获取SSVEP信号；SSVEP信号经过脑电采集模块的数据预处理后，通过无线通信发送给上位机，并进行存储；

(2.2)在受试者进行SSVEP内容的视觉刺激过程中，每个测量电极对应接收采集传输的一个SSVEP信号序列，提取存储于上位机的SSVEP信号序列，并基于SSVEP训练范式，对多组SSVEP信号序列按照预设训练时间周期进行划分，并对各周期内SSVEP信号序列实现自动标记，标记刺激开始时间、刺激结束时间点以及刺激内容，获得标注好的原始数据训练集；

(2.3)对多组SSVEP信号序列进行数据预处理，提取时域与频域特征，并图形化界面上实时地显示受试者脑电信号的时域和频域图；

所述离线训练模块：基于深度学习神经网络对SSVEP刺激与标注模块标注后的数据集进行处理和训练；具体步骤：

(3.1)对原始数据训练集的数据进行数据处理，包括：去基线漂移、插值坏导、滤波和独立成分分析；

(3.2)将步骤(3.1)处理后的数据输入信号填充单元对截取的信号进行零填充：首先对待输入的脑电信号使用零填充技术对截取的信号在时域上进行填充补零，然后对填充后的信号进行快速傅里叶变换得到功率谱密度，并且对各个通道的信号进行归一化处理，将归一化处理后的功率谱密度输入频域卷积神经网络；其中，频域卷积神经网络为单层卷积神经网络，使用Leaky ReLU作为激活函数，并添加归一化层和dropout层优化过拟合现象；

(3.3)将步骤(3.1)处理后的数据输入时空特征提取单元，对输入的SSVEP信号进行时空特征提取，其中时空特征提取单元包括了时间特征提取单元和空间特征提取单元；时间特征提取单元设计的卷积核大小为Nc×1，空间特征提取单元设计的卷积核大小为1×Nc；在时间特征提取单元和空间特征提取单元中使用PReLU作为激活函数，同时添加dropout层和归一化层，并且为每个卷积神经网络和全连接网络都进行了光谱归一化处理；

(3.4)将提取的时空特征和进行零填充的信号进行组合，输入时空特征编码单元进行时空特征之间的依赖性编码；时空特征编码单元是由双向长短时记忆网络组成；

(3.5)将依赖性编码后的时空特征输入分类器，其中分类器是由三个密集层组成的全连接模块；分类器使用三层全连接层，在最后一个全连接层中使用softmax激活函数输出预测刺激频率，给全连接层进行光谱归一化限制权重矩阵的最大奇异值；

所述脑电信号分析模块：载入训练好的模型进而实现对SSVEP受试者脑电信号的实时分析。