CN109376751B - 一种基于卷积神经网络的人脑功能网络分类方法 - Google Patents
一种基于卷积神经网络的人脑功能网络分类方法 Download PDFInfo
- Publication number
- CN109376751B CN109376751B CN201810956207.4A CN201810956207A CN109376751B CN 109376751 B CN109376751 B CN 109376751B CN 201810956207 A CN201810956207 A CN 201810956207A CN 109376751 B CN109376751 B CN 109376751B
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- human brain
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的人脑功能网络分类方法,属于脑科学研究领域。其特征在于,具体包括以下步骤:获取静息态fMRI数据并预处理;生成仿真数据;数据集划分;基于卷积神经网络的人脑功能网络分类。本发明所述方法基于卷积神经网络,利用独立权重(Element‑wise Filters)为人脑功能网络数据的每一条边和节点赋予独一无二的权重,从而构建包含“边到节点”层和“节点到图”层的多层神经网络。本发明所述方法可以更好的利用人脑功能网络数据的拓扑结构信息并进行特征表达,从而提升分类效果,且该方法合理可靠,可为神经精神疾病诊断提供有力的帮助。
Description
技术领域
本发明属于脑科学研究领域,具体地说,本发明涉及一种基于卷积神经网 络的人脑功能网络分类方法。
背景技术
人脑是人体最重要的器官之一,包含了大量的神经元细胞。通过多个神经元、 神经元集群或者多个脑区之间的相互作用,人脑能够完成各种复杂的任务。人 脑的结构和功能非常复杂,远远超出我们当前的认知能力。因此,探索并理解 人类大脑的工作机制,揭开大脑之谜,无疑是非常有意义的事情。近年来,科 学技术不断发展,越来越多的脑成像技术被应用到脑研究中,如磁共振成像 (Magnetic Resonance Imaging,MRI)、脑电图(Electroencephalography,EEG)、脑 磁图(Magnetoencephalography,MEG)、计算机断层扫描(Computer Tomography, CT)等。其中,随着功能磁共振成像(functional MagneticResonance Imaging,fMRI) 技术的不断完善,人们能够从脑功能连接的层面刻画各脑区之间的功能交互。 目前,构造人脑功能网络并进行进一步分析的方法已经成为脑科学研究中的一 个热点。已有研究表明,许多神经和精神疾病通常伴随着部分脑区之间连接的 中断或异常整合,因此,人脑功能网络分析为探索脑疾病与潜在脑结构异常之 间的关联提供了一个新的途径。
人脑功能网络是对大脑功能连接的一种简单表示。构建人脑功能网络时,节 点通常表示体素或感兴趣区域,而边则表示一对节点之间的功能连接强度。功 能连接强度主要依靠计算fMRI时间序列信号的皮尔逊相关、偏相关以及小波变 换等相似性度量。人脑功能网络与图像和其他医学图像都是标准的网格型数据, 但它们之间最重要的不同之处在于,人脑功能网络本质是具有拓扑属性的图 (Graph),而非图像(Image),并且,人脑功能网络中的每个元素在样本间具 有一致的解剖学意义。
基于机器学习的人脑功能网络分类方法主要可分为传统机器学习方法和深 度学习方法,能够自动地对个体进行分类。传统机器学习方法主要包括支持向 量机(SupportVector Machine,SVM)和最小绝对收缩和选择算子(Least absolute shrinkage andselection operator,LASSO)等,已经在精神分裂症(Schizophrenia)、 轻度认知障碍(Mild Cognitive Impairment,MCI)等精神疾病研究中取得了成 功的应用。然而,人脑功能网络数据存在样本量小,特征维数高等特点,传统 机器学习方法仅使用简单的浅层分类模型,,无法充分挖掘到人脑功能网络的高 级特征。同时,这些方法将人脑功能网络重塑为一维向量作为输入,无法有效 地利用人脑功能网络数据中的拓扑结构信息。因此,基于传统机器学习方法的 人脑功能网络分类效果有待进一步提升。
机器学习中的深度学习方法可以通过对数据进行非线性映射,从而使数据 降维,同时更好地保持原始数据的判别信息,以其显著的分类效果,已经在各 个领域成为主流方法。特别地,深度学习方法在医学图像分类任务上也已经得 到了很好的应用。最近几年,研究者开始尝试将深度学习算法应用于人脑功能 网络分类。
目前,基于深度学习算法的人脑功能网络分类方法主要有基于全连接神经 网络的方法和基于卷积神经网络的方法。基于全连接神经网络(Full connected NeuralNetwork,FCNN)的方法同样将人脑功能网络重塑为向量作为输入,然 后通过构建多层全连接神经网络,使其具备强大的特征表达能力,从而提高了 分类效果。然而,这种方法参数非常多,因此容易产生过拟合的问题。基于卷 积神经网络(Convolutional Neural Network,CNN)的方法采用权值共享机制, 在一定程度上解决了过拟合的问题;同时,该方法通过设计特殊的卷积操作, 在一定程度上考虑了人脑功能网络中的拓扑结构信息。但是,这种方法假设来 自于同一节点的边对不同的节点具有相同的重要性,这一假设导致了卷积神经网络模型无法充分利用脑网络中的拓扑结构信息,影响了对脑疾病的诊断效果。
发明内容
本发明针对上述现有方法存在的问题,提出一种基于独立权重的卷积神经 网络(Convolutional Neural Networks with Element-wise Filters,CNN-EW),用于 人脑功能网络的分类。本发明所述方法的网络结构介于全连接神经网络和传统 卷积神经网络之间。一方面,相较于全连接神经网络,本发明所述方法能够在 较大程度上减少训练参数;另一方面,本发明所述方法可以更好的利用人脑功 能网络数据的拓扑结构信息,以更准确地进行神经精神疾病诊断。
为实现上述目的,本发明采用的技术方案为一种基于卷积神经网络的人脑 功能网络分类方法。本发明的流程如图1所示,首先,获取静息态fMRI数据并进 行预处理,利用预处理后fMRI时间序列信号计算各个脑区间的功能连接强度, 构建真实的人脑功能网络数据集;其次,根据真实的人脑功能网络数据集,生 成相同数量的仿真数据;接着,将真实数据集和仿真数据集分别划分为训练集、 验证集和测试集;最后,通过基于独立权重的卷积神经网络(CNN-EW),对人 脑功能网络进行分类。
步骤(1)获取静息态fMRI数据并预处理:
步骤(1.1)静息态fMRI数据获取:从ABIDE(Autism Brain Imaging DataExchange)获取自闭症(Autism spectrum disorder,ASD)静息态fMRI数据;
步骤(1.2)数据预处理:主要包括层间时间校正(Slice Timing Correction)、 头动校正(Motion Realignment)、空间标准化(Normalization)、空间平滑滤波(Smoothing)、干扰信号去除(Nuisance Signal Removal)和配准(Registration) 等步骤。
步骤(1.3)感兴趣区域选取:选用AAL(Anatomical Automatic Labeling) 模板的90个大脑区域作为感兴趣区域,并得到各个受试者相应脑区的平均fMRI 时间序列信号;
步骤(1.4)构建人脑功能网络:人脑功能网络表示为G=(V,E),其中,V 表示以感兴趣区域为节点的集合,为功能连接矩阵,功能连接矩阵以 任意节点(vi,vj)之间的功能连接强度作为组成元素,vi,vj∈V。功能连接强度的 计算方式主要包括皮尔逊相关、偏相关以及小波变换等。包含N个样本的人脑功 能网络数据集表示为{(G(1),y(1)),……,(G(N),y(N))};其中,y(n)∈{0,1},0表示对 照组受试者,1表示ASD组受试者。
步骤(2)生成仿真数据:为了将所述方法与现有人脑功能网络分类方法进 行对比,除了使用对受试者进行磁共振扫描所获得的真实数据以外,还利用 “Resting StatefMRI Functional Connectivity-Based Classification Using a ConvolutionalNeural Network Architecture”(Meszlenyi et al.,2017)的提出的方法 生成一组仿真数据集。仿真数据集的生成过程主要包括:分别确定对照组和ASD 组的功能连接矩阵模板、生成高斯噪声以及构建仿真人脑功能网络数据集。
步骤(3)数据集划分:分别将ABIDE数据集和仿真数据集按照划分为训 练集、验证集和测试集,划分比例为3:1:1。其中,训练集用于学习神经网络 的参数;验证集用于确定网络结构和超参数;测试集用于验证神经网络分类效 果。
步骤(4)基于卷积神经网络的人脑功能网络分类:
步骤(4.1)将ABIDE数据集或仿真数据集对应的训练集、验证集作为神经 网络的输入;
步骤(4.2)如图3所示,构建一个包含输入层、“边到节点”(E2N)层、“节 点到图”(N2G)层、全连接层以及Softmax分类器的神经网络。其中,上述“边 到节点”(E2N)层利用本发明所述的基于独立权重的卷积神经网络,提取人脑 功能网络各个节点的特征;“节点到图”(N2G)层利用传统卷积神经网络,提取 整个人脑功能网络的特征。
步骤(4.2.1)输入层:令表示输入到第l+1层神经网络的第m 个特征图,其中,Rl和Cl分别表示第l层特征图的行数和列数,m∈{1,2,...,Ml},Ml表示神经网络中第l+1层输入数据的特征图个数,或全连阶层输入数据的维度。 输入层为下一层提供输入数据,即A1=E,其中,表示通过 相似性度量得到的功能连接矩阵。
步骤(4.2.2)“边到节点”(E2N)层:
f(■)为一种激活函数;r,c,i,o,“:”为特征图、权重参数或偏置项的下标索引,分别 表示行索引、列索引、输入通道索引、输出通道索引以及全部索引。
步骤(4.2.3)“节点到图”(N2G)层:
步骤(4.2.4)全连接层:首先初始化权重参数和偏置然后,以步骤(4.2.3)的特征图作为所述全连接层的输入,通过式(3)对步骤 (4.2.3)得到的特征图进行线性组合,并通过激活函数进行非线性特征变换。 神经网络中包含零或多个所述全连接层。
步骤(4.2.5)Sotfmax分类器:所述多层神经网络的输出层是Softmax分类 器。首先,初始化权重和偏置bl∈RK,K表示类别个数,令θsoftmax= {Wl,bl};然后,式(4)给出了Softmax分类器将第n个样本第l层的特征图分类为类别j的概率:
本发明所述的一种基于卷积神经网络的人脑功能网络分类方法,其代价函 数如式(5)所示:
步骤(4.3)针对步骤(4.1)中的训练集,利用Adam自适应优化算法最小 化步骤(4.2)中所述代价函数,并根据模型在验证集上的分类准确率确定神经 网络的结构和超参数。
步骤(4.4)首先,将步骤(4.1)中的训练集和测试集输入到由步骤(4.3) 确定的模型中;然后,利用10次五折交叉验证法,得到对ASD患者的分类准 确率,由此实现对脑疾病发现和诊断帮助。
与现有方法相比,本发明具有以下明显的优势和有益效果:
本发明提出一种基于独立权重的卷积神经网络(CNN-EW),用于人脑功能 网络的分类。所述网络结构介于全连接神经网络和卷积神经网络之间,具有以 下两个优势:1)相较于全连接神经网络,本发明所述方法能够在较大程度上减 少训练参数,降低过拟合风险;2)相较于传统机器学习算法和其他深度学习算 法,本发明所述方法可以更好的利用人脑功能网络数据的拓扑结构信息,以更 准确的进行脑疾病诊断。
本发明基于卷积神经网络,利用独立权重可以更好地利用人脑功能网络数 据的拓扑结构信息并进行特征表达,在仿真数据集和真实fMRI数据集上均取得 最好的结果,且所述方法合理可靠,可为脑疾病发现提供有力的帮助。
附图说明
图1:一种基于卷积神经网络的人脑功能网络分类方法流程图
图2:数据划分方法。
图3:一种基于独立权重的卷积神经网络的结构图。
图4:两种“边到节点”(E2N)层示意图。
具体实施方式
下面以仿真数据集和真实fMRI数据集为例,说明本发明的具体实施步骤: 步骤(1)获取静息态fMRI数据并预处理:
步骤(1.1)静息态fMRI数据获取:我们从ABIDE(Autism Brain Imaging DataExchange,http://fcon_1000.projects.nitrc.org/indi/abide/)获取自闭症(Autismspectrum disorder,ASD)数据进行分析,共包含1112名被试的静息态功能磁共 振成像(rs-fMRI)数据。
步骤(1.2)数据预处理:为了能够轻松复现和扩展所述方法,所有预处理 数据均从Preprocessed Connectomes Project(PCP, http://preprocessed-connectomes-project.org/abide/)获得。PCP项目公开发布和共 享了由四个不同预处理流程对ABIDE中各个站点数据进行预处理后的数据。本 发明所用数据由Data Processing Assistant forResting-State fMRI(DPARSF)软件 执行预处理操作。为避免扫描开始时的匀场效应及受试者初入环境的不适应对 结果造成影响,首先去除每个被试的前4个时间点,随后使用DPARSF对各个 被试数据进行预处理。数据预处理流程主要包括:层间时间校正(slicetiming correction)、头动校正(Motion realignment)、空间标准化(Normalisation)、空间平滑滤波(Smoothing)、干扰信号去除(Nuisance Signal Removal)和配准(Registration)等。
步骤(1.3)感兴趣区域选取:真实fMRI数据通常具有几十万个体素,直 接使用全脑时间序列信号构成的人脑功能网络维度会非常高,机器学习模型难 以学到其复杂的特征。因此,本发明选用AAL(Anatomical Automatic Labeling) 模板中的90个大脑区域作为感兴趣区域,一方面能够极大地减少数据的维数, 降低计算复杂度;另一方面,AAL模板各个分区与宏观的人脑结构相对应,增 加了结果的可解释性。fMRI数据预处理后得到的各个体素的时间序列信号,在 各个脑区内对时间序列信号取平均,即得到各个脑区的平均fMRI时间序列信号。
步骤(1.4)构建人脑功能网络:人脑功能网络可表示为G=(V,E),其中, V表示以感兴趣区域为节点的集合,E表示以每对节点之间的功能连接强度作为 边的功能连接矩阵。功能连接强度由Pearson相关系数计算得到。
真实fMRI数据构建的人脑功能网络数据集可表示为 {(G(1),y(1)),......,(G(N),y(N))},N为样本个数;y(n)∈{0,1},0表示对照组受试者, 1表示ASD组受试者。
步骤(1.2)获取的预处理数据中,有16个受试者的数据异常,最终样本个 数N=1096,其中,对照组有569名受试者,ASD组有527名受试者。
步骤(2)生成仿真数据:
利用经过步骤(1)所得到的数据集,生成仿真数据集。仿真数据集的生成 过程主要包括:分别确定对照组和ASD组功能的连接矩阵模板、生成高斯噪声 以及构建仿真人脑功能网络数据集。
步骤(2.1)确定对照组和ASD组的功能连接矩阵模板:首先从真实数据集 中随机选择一个对照组受试者功能连接矩阵Ehc_rand,作为对照组的功能连接矩 阵模板Thc∈R90 ×90;。然后再创建ASD组的功能连接矩阵模板,具体步骤为: 首先,随机选择一个ASD组受试者功能连接矩阵Easd_rand;然后,随机确定nroi个感兴趣区域,在本发明中,nroi=20;最后,用Easd_rand中的nroi个感兴趣区 域相应行和列替换Ehc中的相应的行和列,将经过替换后的功能连接矩阵作为 ASD组功能连接矩阵模板Tasd∈R90×90。
步骤(2.2)生成高斯噪声矩阵:首先,随机生成服从N(0,1)分布的高斯噪 声矩阵;然后,考虑到功能连接矩阵是对称矩阵,通过对高斯噪声矩阵和其转 置矩阵求平均,并将对角线元素赋值为0,得到对称的高斯噪声矩阵;最后,将 高斯噪声矩阵标准化到[-1,1],最终的高斯噪声矩阵记为Nnoise∈R90×90。
步骤(2.3)构建仿真人脑功能网络数据集:如式(6)所示,将噪声矩阵扩 大Lw倍,然后与功能连接矩阵模板相加,即得到一个仿真功能连接矩阵。在本 发明中,噪声水平Lw=5。
Esyn=Thc/asd+Lw×Nnoise (6)
为了更接近本研究所用的ABIDE真实数据集,仿真数据集包含1096个仿 真数据,对照组和ASD组仿真数据数量比例为1∶1。
步骤(3)数据集划分:
分别将ABIDE真实数据集和仿真数据集划分为训练集、验证集和测试集。 其中,训练集用于从数据中学习神经网络的参数;验证集用于确定网络结构和 超参数;测试集用于验证神经网络分类效果。
ABIDE数据集中的数据来自17个独立站点,由于各站点之间没有事先协调, 因此扫描设备、参数、诊断和评估标准等在不同站点之间有所不同。考虑到不 同站点数据的差异性,并尽量保证训练集、验证集和测试集数据分布的一致性, 如图2所示,我们按照以下步骤对ABIDE真实数据集进行双重分层交叉验证数 据划分:首先,将来自17个独立站点的数据,按照样本标签划分为2个第一重 分层子数据集,同时按照不同的站点分别划分为17个第二重分层子数据集。经 过双重分层后的数据集记为数据集X。然后,从分层后的数据中按照传统五折交 叉验证方法,每次取20%的数据作为验证集Xvalid,用于确定所述方法的网络结 构和超参数。其中,综合考虑站点信息和样本标签信息,Xvalid中的每个数据均 从X中双重分层采样得到。最后,将X剩余80%的数据,按照3∶1划分训练集 Xtrain和测试集Xtest。其中,综合考虑站点信息和样本标签信息,Xtrain和Xtest中的 每个数据均从通过双重分层采样得到。
由步骤(2)获得仿真数据集S,对其进行数据划分的过程如下:首先,按 照传统五折交叉验证方法,每次从S中取20%的数据作为验证集Svalid;然后对 S剩余80%的数据用按照3∶1划分训练集Strain和测试集Stest。与ABIDE真实 fMRI数据集的数据划分不同在于,对仿真数据集进行数据划分时,不用考虑站 点信息进行分层采样,只要根据样本标签信息进行分层采样即可。
步骤(4)基于卷积神经网络的人脑功能网络分类:
步骤(4.1)分别将ABIDE真实fMRI数据集的训练集Xtrain、验证集Xvalid, 或仿真数据集的训练集Strain、验证集Svalid作为神经网络的输入;
步骤(4.2)构建神经网络模型:
步骤(4.2.1)输入层:令表示输入到第l+1层神经网络的第m 个特征图,其中,Rl×Cl表示特征图的大小,m∈{1,2,...,Ml},Ml表示神经网络中 第l+1层输入数据的特征图个数,或全连阶层输入数据的维度。输入层为下一层 提供输入数据,即A1=E,其中,表示通过相似性度量得到 的功能连接矩阵。在具体实施方案中,|V|=90;仅使用Pearson相关系数得到 的功能连接矩阵,因此M1=1。
步骤(4.2.2)“边到节点”(E2N)层:
步骤(4.2.2.2)以步骤(4.2.1)输出的特征图作为所述“边到节点”(E2N) 层的输入,根据式(1)完成基于独立权重的卷积操作,提取出人脑功能网络各 个节点的特征f(■)为激活函数;r,c,i,o,“:”为特征图、权重参 数或偏置项的下标索引,分别表示行索引、列索引、输入通道索引、输出通道 索引以及全部索引。
以含有5个感兴趣区域的人脑功能网络数据为例,图4简单地展示了基于 卷积神经网络的“边到节点”(E2N)层和基于独立权重的卷积神经网络的“边到 节点”(E2N)层,并附上其相应的人脑功能网络数据的结构示意图。可清楚的 看出,本发明所述方法为每条边赋予独一无二的权重,可以更好的利用并表达 人脑功能网络数据。
步骤(4.2.3)“节点到图”(N2G)层:
步骤(4.2.4)全连接层:首先初始化权重参数和偏置其中,l=3,M4=96。;然后,以步骤(4.2.3)的特征图作为所述全连接层的 输入,通过式(3)对步骤(4.2.3)得到的特征图进行线性组合,并通过激活函 数进行非线性特征变换。神经网络中可包含零或多个所述全连接层。在具体实 施过程中,仅包含一个所述全连接层。
步骤(4.2.5)Sotfmax分类器:首先,初始化权重和偏置bl∈RK, K=2表示类别个数,令θsoftmax={Wl,bl},其中,l=4;然后,式(4)给出 了Softmax分类器将第n个样本第l层的特征图分类为类别j的概率:
本发明所述的一种基于卷积神经网络的人脑功能网络分类方法,其代价函数 如式(5)所示:
步骤(4.3)针对步骤(4.1)中的训练集,利用Adam自适应优化算法最小 化步骤(4.2)中所述的一种基于卷积神经网络的人脑功能网络分类方法的代价 函数。在训练过程中,批大小为96,学习率为1×10-4。根据训练好的模型在验 证集上的分类准确率,确定λ=5×10-3为较合适的正则化参数。
步骤(4.4)将真实fMRI数据集或仿真数据集的训练集Xtrain(Strain)和测 试集Xtest(Stest)输入到由步骤(4.3)确定的模型中,然后利用10次五折交叉验 证法,得到对ASD患者的分类准确率。
为了说明本发明所述方法的有益效果,在具体实施过程中,我们在多种不 同算法上进行对比试验,算法说明如表1所示。
表1对比算法及相关说明
表1中,LCNN_sml代表本发明所述的方法,CCNN_sml代表基于传统卷积神 经网络的人脑功能网络分类方法,LCNN_sml和CCNN_sml具有相同的神经网络 结构。为了使全连接神经网络各层具有与LCNN_sml和CCNN_sml更近似的意义, 以DNN作为全连接神经网络的代表,将其设计为除了输入层和输出层以外,还 包含128和96个神经元的4层全连接神经网络。另外,具体实施过程中还选择了 广泛使用的传统机器学习算法--支持向量机(SupportVector Machine,SVM)和最 小绝对收缩和选择算子(LeastAbsolute Shrinkage andSelection Operator,LASSO)。
表2 5种算法在仿真数据集上的分类准确率
表3 5种算法在真实数据集上的分类准确率、灵敏度和特异度
本发明基于卷积神经网络,使用独立权重(Element-wise Filters),为人脑功 能网络的每一条边和节点赋予的权重,以更好的利用人脑功能网络数据的拓扑 结构信息进行特征表达。如表2和表3所示,本发明所述方法在仿真数据集和 真实fMRI数据集上均取得最好的结果。因此,本发明所述方法合理可靠,可为 脑疾病诊断提供有力的帮助。
Claims (1)
1.一种基于卷积神经网络的人脑功能网络分类方法,其特征在于:首先,获取静息态fMRI数据并进行预处理,利用预处理后fMRI时间序列信号计算各个脑区间的功能连接强度,构建真实的人脑功能网络数据集;其次,根据真实的人脑功能网络数据集,生成相同数量的仿真数据;接着,将真实数据集和仿真数据集分别划分为训练集、验证集和测试集;最后,通过基于独立权重的卷积神经网络CNN-EW,对人脑功能网络进行分类;
步骤(1)获取静息态fMRI数据并预处理:
步骤(1.1)静息态fMRI数据获取:从ABIDE获取自闭症静息态fMRI数据;
步骤(1.2)数据预处理:包括层间时间校正、头动校正、空间标准化、空间平滑滤波、干扰信号去除和配准步骤;
步骤(1.3)感兴趣区域选取:选用AAL模板的90个大脑区域作为感兴趣区域,并得到各个受试者相应脑区的平均fMRI时间序列信号;
步骤(1.4)构建人脑功能网络:人脑功能网络表示为G=(V,E),其中,V表示以感兴趣区域为节点的集合,为功能连接矩阵,功能连接矩阵以任意节点(vi,vj)之间的功能连接强度作为组成元素,vi,vj∈V;功能连接强度的计算方式主要包括皮尔逊相关、偏相关以及小波变换;包含N个样本的人脑功能网络数据集表示为{(G(1),y(1)),......,(G(N),y(N))};其中,y(n)∈{0,1},0表示对照组受试者,1表示ASD组受试者;
步骤(2)生成仿真数据:仿真数据集的生成过程包括:分别确定对照组和ASD组的功能连接矩阵模板、生成高斯噪声以及构建仿真人脑功能网络数据集;
步骤(3)数据集划分:分别将ABIDE数据集和仿真数据集按照划分为训练集、验证集和测试集,划分比例为3∶1∶1;其中,训练集用于学习神经网络的参数;验证集用于确定网络结构和超参数;测试集用于验证神经网络分类效果;
步骤(4)基于卷积神经网络的人脑功能网络分类:
步骤(4.1)将ABIDE数据集或仿真数据集对应的训练集、验证集作为神经网络的输入;
步骤(4.2)构建一个包含输入层、“边到节点”E2N层、“节点到图”N2G层、全连接层以及Softmax分类器的神经网络;其中,上述“边到节点”E2N层利用基于独立权重的卷积神经网络,提取人脑功能网络各个节点的特征;“节点到图”N2G层利用传统卷积神经网络,提取整个人脑功能网络的特征;
步骤(4.2.1)输入层:令表示输入到第l+1层神经网络的第m个特征图,其中,Rl和Cl分别表示第l层特征图的行数和列数,m∈{1,2,...,Ml},Ml表示神经网络中第l+1层输入数据的特征图个数,或全连阶层输入数据的维度;输入层为下一层提供输入数据,即A1=E,其中,表示通过相似性度量得到的功能连接矩阵;
步骤(4.2.2)“边到节点”E2N层:
f(■)为一种激活函数;r,c,i,o,“:”为特征图、权重参数或偏置项的下标索引,分别表示行索引、列索引、输入通道索引、输出通道索引以及全部索引;
步骤(4.2.3)“节点到图”N2G层:
步骤(4.2.4)全连接层:首先初始化权重参数和偏置 然后,以步骤(4.2.3)的特征图作为所述全连接层的输入,通过式(3)对步骤(4.2.3)得到的特征图进行线性组合,并通过激活函数进行非线性特征变换;神经网络中包含零或多个全连接层;
步骤(4.2.5)Sotfmax分类器:多层神经网络的输出层是Softmax分类器;首先,初始化权重和偏置bl∈RK,K表示类别个数,令θsoftmax={Wl,bl};然后,式(4)给出了Softmax分类器将第n个样本第l层的特征图分类为类别j的概率:
代价函数如式(5)所示:
步骤(4.3)针对步骤(4.1)中的训练集,利用Adam自适应优化算法最小化步骤(4.2)中所述代价函数,并根据模型在验证集上的分类准确率确定神经网络的结构和超参数;
步骤(4.4)首先,将步骤(4.1)中的训练集和测试集输入到由步骤(4.3)确定的模型中;然后,利用10次五折交叉验证法,得到对ASD患者的分类准确率,由此实现对脑疾病发现和诊断帮助。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810956207.4A CN109376751B (zh) | 2018-08-21 | 2018-08-21 | 一种基于卷积神经网络的人脑功能网络分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810956207.4A CN109376751B (zh) | 2018-08-21 | 2018-08-21 | 一种基于卷积神经网络的人脑功能网络分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109376751A CN109376751A (zh) | 2019-02-22 |
CN109376751B true CN109376751B (zh) | 2022-03-22 |
Family
ID=65404350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810956207.4A Active CN109376751B (zh) | 2018-08-21 | 2018-08-21 | 一种基于卷积神经网络的人脑功能网络分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109376751B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097968B (zh) * | 2019-03-27 | 2020-06-30 | 中国科学院自动化研究所 | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 |
CN110110776B (zh) * | 2019-04-28 | 2021-11-05 | 大连理工大学 | 一种构建病人与健康人的静息态复数fMRI数据ICA-CNN分类框架的方法 |
CN110136109B (zh) * | 2019-05-08 | 2022-07-22 | 常州大学 | 一种基于膨胀卷积神经网络的mci分类方法 |
CN110197729A (zh) * | 2019-05-20 | 2019-09-03 | 华南理工大学 | 基于深度学习的静息态fMRI数据分类方法和装置 |
CN110503197A (zh) * | 2019-07-11 | 2019-11-26 | 厦门大学 | 基于神经网络算法的不均匀磁场下脑代谢物浓度量化方法 |
CN110522448B (zh) * | 2019-07-12 | 2023-04-11 | 东南大学 | 一种基于图卷积神经网络的脑网络分类方法 |
CN110389978B (zh) * | 2019-07-17 | 2020-10-23 | 北京智能工场科技有限公司 | 一种基于复用的竞赛数据集自动化处理系统及方法 |
CN110569880A (zh) * | 2019-08-09 | 2019-12-13 | 天津大学 | 一种利用人工神经网络模型对视觉刺激解码方法 |
CN111009321A (zh) * | 2019-08-14 | 2020-04-14 | 电子科技大学 | 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法 |
CN110473635B (zh) * | 2019-08-14 | 2023-02-28 | 电子科技大学 | 一种青少年脑结构网络和脑功能网络关系模型的分析方法 |
CN110598793B (zh) * | 2019-09-12 | 2022-07-08 | 常州大学 | 一种大脑功能网络特征分类方法 |
CN110751216A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种基于改进卷积神经网络的裁判文书行业分类方法 |
CN110916661B (zh) * | 2019-11-21 | 2021-06-08 | 大连理工大学 | 一种ICA-CNN分类的fMRI脑内数据时间预滤波增广方法 |
CN110870770B (zh) * | 2019-11-21 | 2021-05-11 | 大连理工大学 | 一种ICA-CNN分类的fMRI空间激活图平滑增广方法 |
CN111563533B (zh) * | 2020-04-08 | 2023-05-02 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
CN111681292B (zh) * | 2020-05-18 | 2023-04-07 | 陕西科技大学 | 基于卷积神经网络的任务fMRI大脑解码和可视化方法 |
CN111627553A (zh) * | 2020-05-26 | 2020-09-04 | 四川大学华西医院 | 首发精神分裂症个体化预测模型的构建方法 |
CN112328544B (zh) * | 2020-09-18 | 2022-01-11 | 广州中望龙腾软件股份有限公司 | 一种多学科仿真数据分类方法、设备及存储介质 |
CN113040715B (zh) * | 2021-03-09 | 2023-06-02 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
CN113239734A (zh) * | 2021-04-15 | 2021-08-10 | 中南大学 | 基于stft和卷积神经网络的模式识别方法、系统和介质 |
CN113313232B (zh) * | 2021-05-19 | 2023-02-14 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
CN113762487B (zh) * | 2021-08-17 | 2023-11-10 | 西北大学 | 基于神经架构搜索及dbn网络的脑功能网络生成方法及系统 |
CN113616209B (zh) * | 2021-08-25 | 2023-08-04 | 西南石油大学 | 基于时空注意力机制的精神分裂症患者甄别方法 |
CN113693563B (zh) * | 2021-08-27 | 2023-10-13 | 北京工业大学 | 一种基于超图注意力网络的脑功能网络分类方法 |
CN113539435B (zh) * | 2021-09-17 | 2021-12-14 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
CN113951830B (zh) * | 2021-11-15 | 2023-09-12 | 北京工业大学 | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 |
CN113920123B (zh) * | 2021-12-16 | 2022-03-15 | 中国科学院深圳先进技术研究院 | 一种成瘾性脑网络分析方法及装置 |
CN114391826B (zh) * | 2022-01-24 | 2024-10-11 | 西北大学 | 一种基于边缘驱动图神经网络的人类表征预测方法及装置 |
CN115221946A (zh) * | 2022-06-25 | 2022-10-21 | 河南省人民医院 | 基于功能磁共振影像的脑神经信号分类优化方法及分类系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292343A (zh) * | 2017-06-23 | 2017-10-24 | 中南大学 | 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法 |
CN107680082A (zh) * | 2017-09-11 | 2018-02-09 | 宁夏医科大学 | 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
CN107133651B (zh) * | 2017-05-12 | 2018-03-16 | 太原理工大学 | 基于超网络判别子图的功能磁共振影像数据分类方法 |
-
2018
- 2018-08-21 CN CN201810956207.4A patent/CN109376751B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292343A (zh) * | 2017-06-23 | 2017-10-24 | 中南大学 | 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法 |
CN107680082A (zh) * | 2017-09-11 | 2018-02-09 | 宁夏医科大学 | 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109376751A (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109376751B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
CN113040715B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
Wang et al. | Single slice based detection for Alzheimer’s disease via wavelet entropy and multilayer perceptron trained by biogeography-based optimization | |
Yang et al. | A deep neural network study of the ABIDE repository on autism spectrum classification | |
CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
Liang et al. | A convolutional neural network combined with prototype learning framework for brain functional network classification of autism spectrum disorder | |
CN111863244B (zh) | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 | |
Bedel et al. | Dreamr: Diffusion-driven counterfactual explanation for functional mri | |
Pei et al. | Data augmentation for fMRI-based functional connectivity and its application to cross-site ADHD classification | |
CN105117731A (zh) | 一种大脑功能网络的社团划分方法 | |
Feng et al. | A review of methods for classification and recognition of ASD using fMRI data | |
CN110598793A (zh) | 一种大脑功能网络特征分类方法 | |
CN112418337A (zh) | 基于脑功能超网络模型的多特征融合数据分类方法 | |
CN110090017A (zh) | 一种基于lstm的脑电信号源定位方法 | |
CN111436929A (zh) | 一种神经生理信号的生成和识别方法 | |
CN111090764A (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
CN114748053A (zh) | 一种基于fMRI高维时间序列的信号分类方法及装置 | |
CN114862834B (zh) | 一种静息态功能磁共振影像数据分类方法 | |
CN114595715B (zh) | 一种基于多时间尺度的孤独症功能磁共振信号分类方法 | |
CN103020653A (zh) | 基于网络分析的结构和功能磁共振图像联合分类方法 | |
Qiang et al. | A deep learning method for autism spectrum disorder identification based on interactions of hierarchical brain networks | |
CN111488934A (zh) | 脑影像数据处理方法、存储介质、计算机设备和装置 | |
CN115730269A (zh) | 多模态神经生物信号处理方法、装置、服务器及存储介质 | |
CN115496953A (zh) | 基于时空图卷积的脑网络分类方法 | |
CN110322969A (zh) | 一种基于宽度学习的fMRI数据分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |