CN107961007A - 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 - Google Patents

Abstract

本发明请求保护一种结合卷积神经网络(CNN)和长短时记忆网络(LSTM)的脑电识别方法，首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行去均值、滤波、归一化等预处理；其次，将预处理后的数据输入卷积层和池化层提取空间特征；然后，在池化层后直接接入LSTM，提取脑电数据的时序信息，最后经过Dropout和全连接层，完成分类任务。本发明能充分利用脑电信号的时空特征，提取脑电数据的空间和时序信息，从而提高脑电信号的分类准确率，也为研究脑电识别提供了一个新的途径。

Description

一种结合卷积神经网络和长短时记忆网络的脑电识别方法

技术领域

本发明属于脑电信号的特征提取及识别领域，特别是一种结合卷积神经网络(CNN)和长短时记忆网络(LSTM)的脑电识别方法。

背景技术

脑-机接口(BCI)是一种不依赖于肌肉和外围神经，就可以实现人脑和计算机或其他设备的通信的新的交互方式。在医疗领域、认知科学、心理学、军事领域和生活娱乐等领域都具有巨大的实用价值，特别是在医疗领域，BCI技术可以帮助那些天生或后天损伤了肌肉神经的(例如脑瘫、肌萎缩侧索硬化等)病人正常的和外界进行交流甚至康复。

脑电信号(EEG)处理是BCI系统的关键技术，包括脑电信号预处理、特征提取和分类3个部分。常用的脑电信号特征提取方法有小波变换、共同空间模式(CSP)等。常用的特征分类方法包括线性判别式分析(LDA)，贝叶斯分类器(Bayesian Classifier)，支持向量机(SVM)等。脑电信号是一种复杂的非线性随机时序信号，而且脑电信号有大量的噪音(例如，低信号噪声比和不完整的信号脑电信号)，并且具有高维多通道的特点，因此很难对其进行建模。然而，深度学习具有强大的处理非线性和高维数据的能力，能够自动从原始数据中学习并提取有效信息，因此很多深度学习的方法也被应用到脑电信号的分析中。

现有的深度学习方法如DBN、DSN等对EEG数据进行处理时，往往忽略了脑电信号的时间序列信息，还有不同电极的多通道对应大脑不同区域的空间信息，所以处理过程中一些隐含的有用信息可能没有被利用到，导致模型的分类准确率不高。

公开号为CN107239142A的专利：一种结合公共空间模式算法和EMD的脑电信号特征提取方法，分别对单个受试者的C3、C4两个通道中的信号进行预处理，然后进行经验模式分解，得到一系列固有模态函数IMFi，随后将单次试验的C3、C4通道前三阶IMF分量合并，最后分别进行公共空间模式分解。但是脑电信号是一种典型的时序信号，该方法忽略了脑电信号间隐藏的有用信息。

公开号为CN105559777A的专利：基于小波包和LSTM型RNN神经网络的脑电识别方法，首先，利用平均功率谱法分析脑电信号的时域特性，然后对脑电信号进行小波包分解，并构成脑电特征。最后，以LSTM型RNN神经网络作为分类器对脑电信号进行分类。该方法考虑到了脑电的时序信息，但脑电信号维数高，通道数多，信噪比低，导致用传统方法特征提取会有些困难，而深度神经网络具有强大的学习能力，能够自动从原始数据中提取有效信息，通过卷积运算，可以使原信号增强，并且降低噪声，提高信噪比；采用权值共享策略，可以大大减少计算量；通过LSTM网络提取脑电信号间的时序信息。结合CNN和LSTM的网络可以充分利用脑电信号的时空信息提高脑电信号的识别率。

基于此，本发明提出一种结合CNN和LSTM的脑电识别方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高脑电信号的识别率的结合卷积神经网络和长短时记忆网络的脑电识别方法。本发明的技术方案如下：结合卷积神经网络和长短时记忆网络的脑电识别方法，其包括以下步骤：

1)、首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理；

2)、其次，将预处理后的数据输入卷积神经网络，所述卷积神经网络从上至下包括两层卷积和两层池化，通过卷积池化提取脑电数据的空间特征；

3)、然后，将步骤2)提取的脑电数据空间特征直接输入长短时记忆LSTM网络，提取脑电数据的时序信息，所述LSTM网络改进在于：通过在每个LSTM单元中引入门结构，即sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重或者占比；以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。

4)、最后将提取的脑电数据的时序信息经过Dropout和全连接层，完成分类任务。

进一步的，所述步骤1)对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理，具体包括：

去均值：即将每个样本的幅值都减去其平均幅值，使脑电信号的均值为零；

带通滤波：对脑电信号进行8-30Hz的带通滤波；

归一化：对滤波后的脑电信号进行归一化使其在[0,1]范围内。

进一步的，所述步骤2)将经过预处理后的脑电信号重构成三维数据，建立卷积神经网络，包括两层卷积和两层池化，卷积部分分别使用16和32个5*5的内核，最大池化使用2*2的过滤器，步幅都是1。

进一步的，所述卷积层的计算公式为：

其中，表示第l层输出的特征图m的激活值，f()为激活函数，P表示选择的输入特征图集合，表示卷积运算，表示卷积函数，是偏置量；

卷积后得到的特征图在小邻域进行下采样得到新的特征，池化的计算公式如下：

其中，分别为l层中特征图的偏置系数，down()为下采样函数，这样便提取到脑电数据的空间特征。

进一步的，所述步骤3)使用LSTM网络提取脑电数据的时序信息，其计算过程如下：

(1)设当前时刻为t，候选cell的值为计算公式如下：

式中，x_t为t时刻的输入数据，h_t-1为t-1时刻隐藏层的输出值，W_xc、W_hc分别为对应的权值，b_c为第一偏置量；

(2)输入门是决定让多少新的信息加入到cell状态中来，其计算公式如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)

式中，W_xi、W_hi分别是对应的权值，σ表示logistic sigmoid函数，b_i是第二偏置量；

(3)遗忘门是决定cell的哪些信息是要去掉的，其计算公式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)

式中，W_xf、W_hf分别是对应的权值，b_f是第三偏置量；

(4)当前时刻t，cell的状态值c_t，其计算公式如下：

式中，⊙表示逐点相乘；

(5)输出门是决定cell的哪些部分要输出，其计算公式如下：

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

式中，W_xo、W_ho分别是对应的权值，b_o是第四偏置量；

(6)LSTM单元的输出：

h_t＝o_t⊙tanh(c_t)

进一步的，所述Emotion脑电信号采集仪总共包含16个电极，其中CMS和DRL为两个参考电极，电极根据国际10-20标准电极安放法安放，信号的采样频率为128Hz，采集到的脑电信号经过放大和滤波之后，通过无线USB接收器传输到计算机上。

本发明的优点及有益效果如下：

本发明为采用CNN和LSTM网络相结合的脑电信号识别方法。脑电信号维数高，通道数多，信噪比低，导致特征提取困难；脑电信号的数据信息不是静态的，它的幅值、频率、方差等随时间不断变化，一般网络无法利用脑电信号间的时序性。由于CNN网络是空间上卷积，不同的大脑区域对应不同的大脑活动，因此可以利用CNN提取分布在大脑不同区域的电极所采集脑电数据的空间信息，而且通过卷积运算，可以使原信号增强，并且降低噪声，提高信噪比；采用权值共享策略，可以大大减少计算量；另外，脑电信号是一种典型的时序信号，而LSTM网络可以真正有效的利用脑电信号中的时序信息。因此，通过CNN-LSTM网络结构可以充分利用脑电信号的时空信息提高脑电信号的识别率。

附图说明

图1是本发明提供优选实施例基于BCI系统结构图；

图2为基于CNN-LSTM的脑电识别方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本实施例提供的基于CNN-LSTM的脑电识别方法，包括以下步骤：

(1)采集脑电信号数据，脑电信号采集装置采用的是Emotion脑电信号采集仪。Emotiv总共包含16个电极，其中CMS和DRL为两个参考电极，电极根据国际10-20标准电极安放法安放。信号的采样频率为128Hz，采集到的脑电信号经过放大和滤波之后，通过无线USB接收器传输到计算机上。实验在一个相对安静的环境下进行，实验开始时(t＝0s)，受试者静坐在椅子上，保持放松状态；t＝2s时，受试者根据电脑屏幕上的提示开始进行相应的想象左手或右手运动的实验任务；当t＝4s时，停止想象任务。每个受试者对每类想象任务完成后，稍作休息再重复以上试验。接着对原始数据进行预处理，为了提高脑电信号的信噪比，降低眼电、心电、肌电等信号伪迹等背景噪声，需要对原始数据进行包括去均值、带通滤波、归一化的预处理。将每个样本幅值都减去其平均幅值使其均值为零，便于对其过程进行分析。由于想象左右手运动时发生的事件相关同步/去同步现象在主要表现在mu节律(8～13Hz)和beta节律(14～30Hz)上，因此对脑电信号进行8～30Hz的带通滤波。对滤波后的脑电信号进行归一化使其在[0,1]范围内。

(2)使用CNN网络提取脑电数据的空间特征。将步骤102滤波后的脑电信号重构成三维，将数据输入CNN网络进行特征提取。卷积神经网络包括两层卷积和两层池化，卷积部分分别使用16和32个5*5的内核，最大池化使用2*2的过滤器，步幅都是1。卷积计算公式为：

其中，表示第l层输出的特征图m的激活值，f()为激活函数，P表示选择的输入特征图集合，表示卷积运算，表示卷积函数，是偏置量。

卷积后得到的特征图在小邻域进行下采样得到新的特征，池化的计算公式如下：

其中，分别为l层中特征图的偏置系数，down()为下采样函数。这样便提取到脑电数据的空间特征。

(3)使用LSTM网络提取脑电数据的时序特征。传统的循环神经网络(RNN)能够在输入序列内学习复杂的时间信息。然而，当输入序列的长度太长时，网络可能会出现消失或爆炸的梯度问题，这将使得更难从更长的时间上下文中学习信息。LSTM网络通过在每个LSTM单元中引入门结构(sigmoid层输出(是一个向量)的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重(或者占比)。比如，0表示“不让任何信息通过”，1表示“让所有信息通过”。)来解决这个问题，以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。因此，选取LSTM网络对脑电数据进一步提取时序信息，将上一层池化层的输出作为输入，输入到LSTM。计算过程如下：

1)当前时刻t，候选cell的值为计算公式如下：

式中，x_t为t时刻的输入数据，h_t-1为t-1时刻隐藏层的输出值，W_xc、W_hc分别为对应的权值，b_c为第一偏置量。

2)输入门是决定让多少新的信息加入到cell状态中来，其计算公式如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (4)

式中，W_xi、W_hi分别是对应的权值，σ表示logistic sigmoid函数，b_i是第二偏置量。

3)遗忘门是决定cell的哪些信息是要去掉的，其计算公式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (5)

式中，W_xf、W_hf分别是对应的权值，b_f是第三偏置量。

4)当前时刻t，cell的状态值c_t，其计算公式如下：

式中，⊙表示逐点相乘。

5)输出门是决定cell的哪些部分要输出，其计算公式如下：

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (7)

式中，W_xo、W_ho分别是对应的权值，b_o是第四偏置量。

6)LSTM单元的输出：

h_t＝o_t⊙tanh(c_t) (8)

(4)加入Dropout和全连接层。为了防止过拟合现象，引入Dropout，让在前向传导的时候，让某个神经元的激活值以一定的概率P让其停止工作，减弱相邻神经元间的依赖性，从而增强网络的泛化能力。最后全连接层中的Softmax完成分类预测。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，包括以下步骤：

1)、首先使用Emotiv采集仪采集脑电信号数据，并对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理；

2)、其次，将预处理后的数据输入卷积神经网络，所述卷积神经网络从上至下包括两层卷积和两层池化，通过卷积池化提取脑电数据的空间特征；

3)、然后，将步骤2)提取的脑电数据空间特征直接输入长短时记忆LSTM网络，提取脑电数据的时序信息，所述LSTM网络改进在于：通过在每个LSTM单元中引入门结构，即sigmoid层输出的每个元素都是一个在0和1之间的实数，表示让对应信息通过的权重或者占比；以确定如何忘记来自先前输入的信息，并且在长距离序列中新输入可用时更新信息。

4)、最后将提取的脑电数据的时序信息经过Dropout和全连接层，完成分类任务。

2.根据权利要求1所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤1)对采集到的脑电信号进行包括去均值、滤波、归一化在内的预处理，具体包括：

去均值：即将每个样本的幅值都减去其平均幅值，使脑电信号的均值为零；

带通滤波：对脑电信号进行8-30Hz的带通滤波；

归一化：对滤波后的脑电信号进行归一化使其在[0,1]范围内。

3.根据权利要求2所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤2)将经过预处理后的脑电信号重构成三维数据，建立卷积神经网络，包括两层卷积和两层池化，卷积部分分别使用16和32个5*5的内核，最大池化使用2*2的过滤器，步幅都是1。

4.根据权利要求3所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述卷积层的计算公式为：

其中，表示第l层输出的特征图m的激活值，f()为激活函数，P表示选择的输入特征图集合，表示卷积运算，表示卷积函数，是偏置量；

卷积后得到的特征图在小邻域进行下采样得到新的特征，池化的计算公式如下：

其中，分别为l层中特征图的偏置系数，down()为下采样函数，这样便提取到脑电数据的空间特征。

5.根据权利要求4所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤3)使用LSTM网络提取脑电数据的时序信息，其计算过程如下：

(1)设当前时刻为t，候选cell的值为计算公式如下：

式中，x_t为t时刻的输入数据，h_t-1为t-1时刻隐藏层的输出值，W_xc、W_hc分别为对应的权值，b_c为第一偏置量；

(2)输入门是决定让多少新的信息加入到cell状态中来，其计算公式如下：

i_t＝σ(W_xix_t+W_hih_t-1+b_i)

式中，W_xi、W_hi分别是对应的权值，σ表示logistic sigmoid函数，b_i是第二偏置量；

(3)遗忘门是决定cell的哪些信息是要去掉的，其计算公式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f)

式中，W_xf、W_hf分别是对应的权值，b_f是第三偏置量；

(4)当前时刻t，cell的状态值c_t，其计算公式如下：

式中，⊙表示逐点相乘；

(5)输出门是决定cell的哪些部分要输出，其计算公式如下：

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

式中，W_xo、W_ho分别是对应的权值，b_o是第四偏置量；

(6)LSTM单元的输出：

h_t＝o_t⊙tanh(c_t)。

6.根据权利要求1-5之一所述的结合卷积神经网络和长短时记忆网络的脑电识别方法，其特征在于，所述步骤4，将LSTM层的输出通过一个Dropout层，系数为0.5，防止过拟合现象，最后加一个全连接层，对序列中的每个脑电样本进行预测，完成分类。