CN109620223A - 一种脑卒中康复系统脑机接口关键技术方法 - Google Patents

Abstract

本发明公开一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，包括以下步骤：步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；步骤2：改进后的OVR‑CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；步骤3：利用DCGANs网络模型，其中卷积神经网络加入到生成式模型进行二次特征提取并分类。采用本发明的技术方案，将卷积网络再引入到生成式模型当中来做无监督的训练来提高生成网络的学习效果，实现对患者运动想象脑电信号最终的精准分类，为量表评定病患康复程度提供客观的数据支撑。

Description

一种脑卒中康复系统脑机接口关键技术方法

技术领域

本发明属于康复治疗神经学科技术领域，涉及一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法。

背景技术

脑卒中(俗称:脑中风Stroke)，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一种常见的脑血液循环障碍性疾病。卒中患者神经通路(传导通路)因脑组织局部缺血坏死而造成损害临床上表现为各种不同的人体功能障碍：如运动障碍、视觉障碍以及语言与认知障碍等。由于其发病率较高，具有极高的致残率，严重威胁人类健康。美国心脏协会(AHA)2018年心脏病与卒中统计数据更新显示，全球范围内卒中死亡占总死亡的11.8％，成为仅次于心脏病的第二大死因。而在我国对中国大陆31个省155个城市和农村进行了入户调查发现，脑卒中发病粗率为345.1/10万人年，在心血管疾病中其患病率及死亡率仅次于高血压位于第二，给社会和家庭带来沉重的精神压力和巨大的经济负担。

当前从治疗手段分析，国内外脑卒中康复系统主要聚焦于临床康复训练系统与。临床康复训练系统多采用基于神经生理学基础的康复训练，主要是根据运动发育控制原理与大脑可塑性原理，利用共同运动、协同作用和姿势反射等神经运动机制，通过医师对患者临床的康复评定，对患者的功能状态和潜在能力进行判断，然后“对症下药”，进行相应的康复训练。目前临床上关于脑卒中运动功能评定的方法很多，如简式Fugl-Meyer运动功能评分法、Brunnstrom等级评测法等。这些量表评定的方法，都依赖于医生的检查和观察，属于人工评定，虽然临床上广泛使用，但评定结果容易受到康复医师主观因素的影响，且量表分级指标较多，需要康复医师全程参与，而有限的医师数量面对庞大的病患群体往往力不从心，甚至延误最佳治疗时机。目前我国的现状是临床康复资源(诸如康复医师、治疗师、护理人员、床位等)愈发紧张，且存在严重的区域不平衡，且对于神经系统损伤，目前医学界还没有能力完全修复。如何通过主动康复训练解决中风病人的病后运动功能障碍问题，是当今医学的研究热点和难点。

因而研究高性能脑卒中康复系统脑机接口帮助无法通过正常输出通路的患者完成主动康复训练，从而改善运动机能恢复正常活动行为，对于我国脑卒中治疗在神经学科与信息学科交叉领域具有十分重要的研究意义与发展前景。

已有医学研究表明，绝大多数脑卒中，脑和肢体神经通路瘫痪患者均未受损，因此基于运动想象的BCI可用于重建损伤的脑卒中区域，即BCI恢复功能使用运动想象和神经反馈的损伤运动控制，增强运动控制网络重建的学习。

其中共空间模式(Common Spatial Pattern,CSP)被证明是最有效的方法之一，其借助迁移学习的思想将其他被试的脑电信号引入到CSP学习过程中，保证了被试的脑电信号协方差的估计偏差较好，在小训练样本数据中应用广泛。但随着训练样本的增加，其分类准确率增长缓慢；并伴随时间复杂度的上升，限制算法的实际应用。

近年来，随着深度学习的研究深入，很多脑电样本数据可以引入到诸如卷积神经网络框架中进行训练处理，需要相对大量的训练样本。卷积层数会依据样本量进行选取，一旦样本量数据太小，造成识别错误率大大提升。对于多类运动想象脑电信号，样本量一般为中小量，而单纯引用深度学习框架得不到充分训练，难以发挥CNN算法的优势。GoodfellowIan在论文《GenerativeAdversarial Nets》中提出了生成对抗网络(GenerativeAdversarial Nets,GANs)，为我们解决因无法持续大量采集病患数据而导致的小样本分布不平衡问题提供了新的思路。

综上所述，利用脑机接口技术识别患者的运动想象脑电信号,可将患者运动意愿翻译成控制命令驱动康复装置动作,帮助患者完成主动康复训练,有利于改善运动功能恢复效果。而针对此技术的算法也在日益更新，但在应用上还未趋于成熟。

发明内容

本发明提供一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，针对研究运动功能障碍患者的康复训练领域，实现一种功能障碍患者的主动康复治疗方法，从而精确判别患者的运动姿态和肢体运动位置，提出了采用小波包变换结合快速独立分析方法进行脑电信号的预处理，主要是对原始的运动想象脑电信号进行滤波，尽可能地减少脑电信号中的各种噪声，提高信噪比。基于改进的生成对抗网络模型DCGANs，将卷积网络再引入到生成式模型当中来做无监督的训练来提高生成网络的学习效果，实现对患者运动想象脑电信号最终的精准分类。

为实现上述目的，本发明采用如下的技术方案：

一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，包括以下步骤：

步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；

步骤2：改进后的OVR-CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；

步骤3：利用DCGANs网络模型，其中卷积神经网络加入到生成式模型进行二次特征提取并分类。

步骤1具体包括：小波包变换和快速独立分量分析两个过程：

首先对原始的EEG进行WPT，确定WPT的分解层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；

再对己经滤除高频噪声后的信号进行FastICA变换，FastICA逆变换和FastICA逆变换，得到滤除噪声后的脑电信号。

步骤2具体为：OVR-CSP是将四类运动想象任务分为四个新的两类分类问题，得到四个投影矩阵，经过投影后可得五组相应的空域特征；

具体计算过程如下:设X_i(i＝1,2,3,4)为四类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N，OVR-CSP算法的基本原理是，分别计算四类数据的归一化协方差矩阵R_i，即：

可得混合空间协方差矩阵R为：

其中，为四类任务多次实验的平均协方差矩阵，对R进行特征值分解，得：

R＝UVU^T

其中，U为R的特征向量，V为R的特征值矩阵；对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：

P＝V^-1/2U^T

OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：

将经过预处理的脑电信号X划分为新的两类分别是X₁，X₁′，向第i类模式下的投影方向进行投影,得：

Z₁＝(U₁′)^TP₁X₁,Z₁′＝(U₁′)^TP₁X₁′(i＝1,2,3,4)

四类数据经过投影后的矩阵的协方差矩阵值为

再对协方差矩阵的特征向量进行归一化，得：

其中，n为特征向量的列数，

以此作为特征向量进行分类学习。

步骤3具体为：用于运动想象脑电信号分类的深度卷积生成对抗网络(DeepConvolutional GANs,DCGANs)首次将卷积神经网络(Convolutional Neural Network,CNN)引入GANs结构,利用卷积层强大的特征提取能力来提高GANs的效果。将DCGANs结构命名为EEGANs网络结构。EEGGANs的网络结构在生成网络G为四层结构，使用微步幅转置卷积层(fractional-strided convolutions)即Deconv实现从随机噪声向量(1×100)进行四维重塑后，将其送入生成器逐步上采样至伪样本X_fake(64×64×1)。传统的CNN网络特征映射结构采用Sigmoid函数作为卷积网络的激活函数，本发明拟采用修正线性单元(RectifiedLinear Units,ReLU)函数使训练后的网络具备适度的稀疏性，同时可以很好地解决反向传播参数调优过程中传统激活函数可能产生的梯度消失问题，加速了网络的收敛。每个上采样层都使用5×5大小的卷积核进行步幅为2的转置卷积运算。其深度从512逐渐降到64，再由RPCA降维至1。最后一层输出一个64×64×64的张量经过RPCA降维输出并使用双曲正切函数Tanh将数值压缩在-1和1之间。

判别网络D也是一个带有BN(输入层除外)的4层CNN，为解决ReLU的梯度消失而导致的网络无法进行反向传播问题，采用Leaky ReLU进行激活。最后，判别器需要输出概率，并在最后使用Softmax函数进行分类。

所述网络训练数据需归一化处理：

在DCGANs的训练过程中，一般采用批归一化(Batch Norm,BN)强行将数据拉回到均值为0，方差为1的正态分布上，避免发生梯度消失。但BN对batch_size的大小比较敏感，如果batch_size太小，则计算的均值、方差不足以代表整个数据分布。

为解决以上问题，本发明受BN(批归一化)、IN(实例归一化)、LN(层归一化)当前三种归一化方式的启发，提出一种自适应归一化(Adaptive Norm)方法提高模型泛化能力，避免因解决不同的问题采用相同归一化方法带来的局部代替整体的问题。与强化学习不同，AN使用可微分学习，为一个深度网络中的每一个归一化层确定合适的归一化操作。

附图说明

图1本发明提出的技术路线图

图2本发明提出的基于运动想象脑电信号特征提取方法示意图。

图3本发明的脑电信号小波包分解示意图。

图4本发明的脑电信号的预处理示意图。

图5本发明提出的半监督学习模型EEGGANs网络结构。

图6本发明提出的EEGGANs的生成网络G的网络结构。

具体实施方式

如图2所示，本发明采用一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，将CSP与DCGANs两种算法相结合并进行改进，对运动想象脑电信号进行二次特征提取及分类。与直接输入原始脑电信号相比，不仅增大了信号之间的区分度，并且使用DCGANs解决了样本资源不均衡问题，最终输出多个运动想象分类。如图1所示，一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，包括以下步骤：

步骤1：脑电信号预处理，包括小波包变换和快速独立分量分析两个过程：

首先，对原始的运动想象脑电信息进行WPT，确定WPT的分解层数，利用小波包变换滤除脑电信号中的高频噪声时，考虑到表征脑电信号ERD/ERS现象的功率谱的增强或减弱频率范围主要体现在8～30Hz，因此，对于采样频率为128Hz可确定WPT的分解层数为五层，通过小波包分解确定频率范围在8～30Hz。最后确定要滤除高频噪声所在的频带，并对相应的频带置零，如图3为小波包分解示意图。

然后，再对己经滤除高频噪声后的信号进行FastICA变换，得到各通道的脑电信号的独立成分，再分别计算各个独立成分与原始的EEG信号的C3,C4通道的相关系数，保留相关系数高于设定的阈值的独立成分，再FastICA逆变换，得到滤除噪声后的脑电信号。WPT与FastICA两种算法对脑电信号进行预处理，滤除了脑电信号的噪声与部分干扰信号，便于后续的特征提取和分类。

步骤2:利用OVR-CSP算法对多类运动想象EEG信号进行特征提取。

假设W类信号需要求得的投影矩阵的个数是W，每个样本投影后可得到W组空域结果，该结果即为提取到的每一类的运动想象脑电信号的特征，最后将方差作为分类器的输入。提取后的特征可以形成一维特征数据。大大简化了卷积神经网络结构：既可以增大各EEG信号之间的区分度，还可以减小卷积神经网络输入样本的数据大小。如图4所示为基于OVR-CSP的四类运动想象任务(Data sets IIIa数据集分别是左手、右手、脚和舌头)特征提取。

OVR-CSP是将四类运动想象任务分为四个新的两类分类问题，得到四个投影矩阵，经过投影后可得四组相应的空域特征。具体计算过程如下:设X_i(i＝1,2,3,4)为四类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N。OVR-CSP算法的基本原理是，分别计算四类数据的归一化协方差矩阵R_i，即：

可得混合空间协方差矩阵R为：

其中为四类任务多次实验的平均协方差矩阵。对R进行特征值分解，得：

R＝UVU^T

其中，U为R的特征向量；V为R的特征值矩阵。对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：

P＝V^-1/2U^T

和经典的两类CSP算法不同的是，OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余三类则为另一类，即：

将经过预处理的脑电信号X划分为新的两类分别是X₁，X₁′，向第i类模式下的投影方向进行投影,得：

Z₁＝(U₁′)^TP₁X₁,Z₁′＝(U₁′)^TP₁X₁′(i＝1,2,3,4)

四类数据经过投影后的矩阵的协方差矩阵值为再对协方差矩阵的特征向量进行归一化，得：

(n为特征向量的列数)

以此作为特征向量进行分类学习。

步骤3：利用改造后DCGANs网络进行二次特征提取并分类。

本发明设计了一种用于运动想象脑电信号分类的DCGANs结构，命名为EEGGANs网络结构，EEGGANs网络结构如图5和6。该网络生成网络G和判别网络D组成，其中成网络G和判别网络D都采用4层CNN模型构造，最后1层为Softmax分类层。本课题在实现半监督分类任务时，需要对DCGANs的结构做一定改动，即把D网络的输出层替换成Softmax分类器。假设训练数据有K类，在训练半监督学习模型的时候，把G网络生成样本归为第K+1类，而Softmax分类器也增加一个输出神经元，用于表示D网络的输入为“虚假”数据的概率。由于该模型既可以利用有标签的训练样本，也可以从无标签的生成数据中学习，故称为“半监督”分类。此外，本课题增加了条件扩展为条件模型，如果G网络和D网络都适用于某些额外的条件c(如某类标签y)则可通过将c附加到网络中进行调节，指导数据生成过程。

该网络结构以判定网络D作为分类器(Classifier)，生成网络G用于从随机噪声生成伪样本X_fake，训练集中包含有标签样本X_label、无标签样本X_unlabel以及伪样本X_fake。其中X_label包含BCI竞赛数据集以及带标签真实病患EEG数据集；X_unlabel表示病患配合不足或医师未标记类别的真实EEG数据集。分类器接受样本对于K(K＝30)分类问题，输出K+1维估计，再经过Softmax函数得到概率集合P：其前K维对应原有运动想象类别，最后一维对应“伪样本”类，p_i的最大值则对应为类别估计标签y_i。系统的优化函数如下

为精确计算运动想象类别输出，本课题定义三种损失函数，对于训练集中的有标签样本X_label，计算估计的标签是否正确的概率，记为L_label。

对于训练集中的无标签样本X_unlabel，考察是否估计为“真”，即计算不估计为K+1类的概率，记为L_unlabel。

对于生成器产生的伪样本X_fake，考察是否估计为“伪”。即计算估计为K+1类的概率，记为L_fake。

假设EEGGANs的输入数据可表示为具有三个维度的特征图，这里每个维度分别代表样本数目N、样本纬度H，和样本纬度W。假设特征图中每一个元素表示为h_nij，则输出的归一化数值记为

其中γ和β分别代表缩放系数与偏移系数。w_k、w′_k分别对应采纳BN、IN、LN时的权重系数。

式中，λ_k为控制参数，初始值为1，利用Softmax函数对控制参数λ_k进行归一化，即∑_k∈Ωw_k＝1。采用自适应归一化方式，使系统根据样本数目和批次大小，自适应地学习出合适的归一化方式，保持高精度的数学表达。

此外，为了加速网络收敛，在分类器判别网络D中，引入权重ε，得到分类器优化目标：

其中f_i，j为输入的运动想象特征训练样本，即经过OVR-CSP归一化后协方差矩阵的特征向量；y为样本对应的类别标签(已确定类别)；f(f_i，j)为经过EEGGANs的网络输出。然后输出层开始反向传播调整网络中卷积核的权值。最后经过EEGGANs的训练，输出L_D的值，L_D的值越小，说明训练效果越好，分类结果越精确。f(f_i，j)的输出为左，右手，舌头，脚的分类。并将运动想象的分类结果作为BCI控制命令传达给机械上下肢，作为量化评定指标。相比仅凭医师的经验评定指标，提供了客观的数据支撑，反馈给康复医师。康复医师再进行不断的更新评测模型，进而作为指导治疗的新方法，为脑卒中患者进行有效的康复训练，直到帮助患者早日康复。

综上所述，在头皮脑电信号EEG特征提取的过程中，本发明引入patches的思想将信号分解为小的数据片段，组成协方差矩阵，再通过矩阵估计提取运动想象脑电信号的基于OVR-CSP方法的分类特征向量；将高维特征向量映射至低维空间后，设计一种高鲁棒性的半监督学习模型EEGGANs进行运动想象精准分类。因此应用于运动功能障碍患者的康复训练领域，帮助患者参与到主动康复训练，有利于改善运动功能恢复效果，为量表评定病患康复程度提供客观的数据支撑。

Claims (4)

1.一种基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，其特征在于，包括以下步骤：

步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；

步骤2：改进后的OVR-CSP算法可对滤除噪声后的多类运动想象EEG信号进行特征提取，得到每一类的运动想象脑电信号的特征，形成一维特征数据，同时将方差作为分类器的输入；

步骤3：利用DCGANs网络模型，其中卷积神经网络加入到生成式模型进行二次特征提取并分类。

2.如权利要求1所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于，步骤1具体包括：小波包变换和快速独立分量分析两个过程：

首先对原始的EEG进行WPT，确定WPT的分解层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；

再对己经滤除高频噪声后的信号进行FastICA变换，FastICA逆变换和FastICA逆变换，得到滤除噪声后的脑电信号。

3.如权利要求2所述的基于脑机接口辅助康复医疗的共空间模式与深度学习方法，其特征在于步骤2具体为：OVR-CSP是将四类运动想象任务分为四个新的两类分类问题，得到四个投影矩阵，经过投影后可得五组相应的空域特征；

具体计算过程如下:设X_i(i＝1,2,3,4)为四类任务的N*T脑电信号，N为采集信号的通道个数，T为每一通道的采样点数，T≥N，OVR-CSP算法的基本原理是，分别计算四类数据的归一化协方差矩阵R_i，即：

可得混合空间协方差矩阵R为：

其中，为四类任务多次实验的平均协方差矩阵，对R进行特征值分解，得：

R＝UVU^T

其中，U为R的特征向量，V为R的特征值矩阵；对特征值矩阵进行降序排列，按照排序后的位置对特征向量作相同的调整，则白化矩阵P为：

P＝V^-1/2U^T

OVR-CSP在计算投影矩阵时，将其中一类归为一类，而其余四类则为另一类，即：

将经过预处理的脑电信号X划分为新的两类分别是X₁，X₁′，向第i类模式下的投影方向进行投影,得：

Z₁＝(U₁′)^TP₁X₁,Z₁′＝(U₁′)^TP₁X₁′(i＝1,2,3,4)

四类数据经过投影后的矩阵的协方差矩阵值为RZ_i＝Z_iZ_i ^T(i＝1,2,3,4),

再对协方差矩阵的特征向量进行归一化，得：

其中，n为特征向量的列数，

以此作为特征向量进行分类学习。

4.如权利要求1所述的基于生成对抗网络的脑卒中康复系统脑机接口关键技术方法，其特征在于，步骤3具体为：设计用于运动想象脑电信号分类的DCGANs结构，命名为EEGGANs网络结构，该网络生成网络G和判别网络D组成，其中成网络G和判别网络D都采用4层CNN模型构造，最后1层为Softmax分类层；

该网络结构以判定网络D作为分类器(Classifier)，生成网络G用于从随机噪声生成伪样本X_fake，训练集中包含有标签样本X_label、无标签样本X_unlabel以及伪样本X_fake，其中X_label包含BCI竞赛数据集以及带标签真实病患EEG数据集；X_unlabel表示病患配合不足或医师未标记类别的真实EEG数据集。分类器接受样本对于K(K＝30)分类问题，输出K+1维估计，再经过Softmax函数得到概率集合P：其前K维对应原有运动想象类别，最后一维对应“伪样本”类，p_i的最大值则对应为类别估计标签y_i，系统的优化函数如下：

为精确计算运动想象类别输出，定义三种损失函数，对于训练集中的有标签样本X_label，计算估计的标签是否正确的概率，记为L_label，

对于训练集中的无标签样本X_unlabel，考察是否估计为“真”，即计算不估计为K+1类的概率，记为L_unlabel，

对于生成器产生的伪样本X_fake，考察是否估计为“伪”，即计算估计为K+1类的概率，记为L_fake，

假设EEGGANs的输入数据可表示为具有三个维度的特征图，这里每个维度分别代表样本数目N、样本纬度H，和样本纬度W，假设特征图中每一个元素表示为h_nij，则输出的归一化数值记为

其中，γ和β分别代表缩放系数与偏移系数，w_k、w′_k分别对应采纳BN、IN、LN时的权重系数。

式中，λ_k为控制参数，初始值为1，利用Softmax函数对控制参数λ_k进行归一化，即∑_k∈Ωw_k＝1，采用自适应归一化方式，使系统根据样本数目和批次大小，自适应地学习出合适的归一化方式，

了加速网络收敛，在分类器判别网络D中，引入权重ε，得到分类器优化目标：

其中，f_i，j为输入的运动想象特征训练样本，即经过OVR-CSP归一化后协方差矩阵的特征向量；y为样本对应的类别标签；f(f_i，j)为经过EEGGANs的网络输出。然后输出层开始反向传播调整网络中卷积核的权值，最后经过EEGGANs的训练，输出L_D的值，L_D的值越小，说明训练效果越好，分类结果越精确，f(f_i，j)的输出为左，右手，舌头，脚的分类，并将运动想象的分类结果作为BCI控制命令传达给机械上下肢，作为量化评定指标。