CN118351406A - 一种全局优化的有监督多模态影像融合方法 - Google Patents
一种全局优化的有监督多模态影像融合方法 Download PDFInfo
- Publication number
- CN118351406A CN118351406A CN202410397870.0A CN202410397870A CN118351406A CN 118351406 A CN118351406 A CN 118351406A CN 202410397870 A CN202410397870 A CN 202410397870A CN 118351406 A CN118351406 A CN 118351406A
- Authority
- CN
- China
- Prior art keywords
- modality
- matrix
- correlation
- mode
- mixing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 65
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 210000004556 brain Anatomy 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 33
- 238000012880 independent component analysis Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 210000004884 grey matter Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 230000003936 working memory Effects 0.000 abstract description 11
- 238000002610 neuroimaging Methods 0.000 abstract description 6
- 208000020016 psychiatric disease Diseases 0.000 abstract description 6
- 230000003930 cognitive ability Effects 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000002195 synergetic effect Effects 0.000 abstract description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 13
- 101001056160 Homo sapiens Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Proteins 0.000 description 9
- 102100026552 Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Human genes 0.000 description 9
- 241001482237 Pica Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- ADHFMENDOUEJRK-UHFFFAOYSA-N 9-[(4-fluorophenyl)methyl]-n-hydroxypyrido[3,4-b]indole-3-carboxamide Chemical compound C1=NC(C(=O)NO)=CC(C2=CC=CC=C22)=C1N2CC1=CC=C(F)C=C1 ADHFMENDOUEJRK-UHFFFAOYSA-N 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- -1 jICA Proteins 0.000 description 4
- 201000000980 schizophrenia Diseases 0.000 description 4
- 210000004885 white matter Anatomy 0.000 description 4
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 3
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000020925 Bipolar disease Diseases 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- High Energy & Nuclear Physics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种全局优化的有监督多模态影像融合方法，预处理各模态脑影像数据，并进行特征提取；将得到的各模态特征进行预处理，得到预处理后的各模态的特征矩阵；计算得到的各模态独立成分的独立性；求解最大化各模态独立成分的独立性、各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性时混合矩阵的最优解。通过最大化独立成分的独立性，并同时最大化各模态独立成分之间以及独立成分与参考信息之间的相关性平方和，从而得到全局最优解。通过引入工作记忆评分作为参考信息，针对性地识别出与临床指标相关并且在空间上相对独立的协同共变成分。从而深入挖掘认知能力与多模态神经影像在精神疾病中的交互关系。
Description
技术领域
本发明涉及医学影像分析，具体是涉及一种全局优化的有监督多模态影像融合方法。
背景技术
近年来，神经成像技术的迅猛发展使得研究人员能够利用多种成像方法采集同一被试在不同模态下的神经影像，从而能够以多维度的方式提供关于大脑解剖结构或功能的信息。例如，常见的结构成像技术包括结构磁共振成像(Structure Magnetic ResonanceImaging，sMRI)，它可以用于评估每个体素上灰质和白质的局部浓度或体积的变化，从而反映相应的解剖结构变化。而在功能成像领域，功能磁共振成像(Functional MagneticResonance Imaging，fMRI)则基于血氧水平依赖信号，反映大脑在任务态或静息状态下脑部神经元的活动情况。上述所有成像方式有自己的优势同时也存在一些局限性，单独采用某种成像模式无法同时获得大脑功能和结构的完整信息，尽管扫描对象的多模态影像数据共存，然而实际操作中却常常被分开单独分析，或者仅仅是对两种磁共振影像数据的分析结果进行简单比较或相关，模态间的互补信息无法得到充分利用。多模态数据融合分析方法能够融合各模态数据之间的互补信息，更深入地了解与神经精神疾病相关的病理机制，从而提高诊断和预测精度。
有监督融合方法更具有目标导向性，因为它利用参考信息来指导融合分析，从而能够从大型复杂数据集中精确定位感兴趣的特定成分，有效提升特征提取的目标性。pICA-R(pICA with references)是一种利用基因作为参考信息来引导多模态融合的方法。然而，该方法中的参考信息仅限于空间成分分布，例如特定脑区或特定位点，而无法涵盖被试个体的指标，比如被试样本的各种行为学评分。此外，融合效果严重依赖于基因信息的精确性。MCCAR+jICA(multi-set CCA with reference+joint ICA)，在保持原有联合源分离基础性能的同时，可以进一步检测出与参考信息有显著相关性的共变多模态特征，然而该方法分阶段优化目标函数，可能导致第一阶段提取得到的相关性在第二阶段分析中丢失。
发明内容
发明目的：针对以上缺点，本发明提供一种提高精度的全局优化的有监督多模态影像融合方法。
技术方案：为解决上述问题，本发明采用一种全局优化的有监督多模态影像融合方法，包括以下步骤：
(1)预处理各模态脑影像数据，并进行特征提取，得到各模态特征；
(2)将得到的各模态特征进行预处理，得到预处理后的各模态的特征矩阵；
(3)根据各模态的特征矩阵、各模态的混合矩阵和各模态的权重矩阵计算得到的各模态独立成分的独立性；
(4)求解最大化各模态独立成分的独立性、各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性时混合矩阵的最优解；
(5)根据步骤(4)中得到的混合矩阵，计算与参考信息相关的多模态的共变成分和混合矩阵。
进一步的，所述步骤(3)中各模态独立成分的独立性通过信息熵函数H(·)描述，最大化各模态独立成分的独立性的计算公式为：
Uk＝Wk·Xk+Wk0；
其中，E(.)为期望值；为概率密度函数；Yk、Uk为计算的中间变量；Wk为混合矩阵Ak的解混矩阵；Ak为模态k的混合矩阵；Wk0为模态k的偏置权重矩阵；Xk为模态k预处理后的特征矩阵。
进一步的，所述步骤(4)中求解最大化各模态独立成分的独立性、各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性的求解公式为：
其中，mk(k＝1,2)为模态k的独立成分的个数；A1i为模态1的混合矩阵的第i列；A2j为模态2的混合矩阵的第j列；refh表示参考信息矩阵的第h列；Corr(A1i，A2j)表示A1i与A2j的相关性；Corr(A1i，refk)表示A1i与refh的相关性；Corr(A2j，refh)表示A2j与refh的相关性；α1、α2、α3表示正则化参数。
进一步的，采用梯度下降算法对求解公式进行循环迭代，直至收敛，得到混合矩阵的最优解：
各模态的解混矩阵的迭代规则满足：
其中，λk为模态k进行独立成分分析的学习率；I为单位矩阵；T为矩阵的转置。
进一步的，所述步骤(4)中最大化各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性的步骤具体包括：
(41)计算各模态的混合矩阵以及参考信息之间的相关性，选取相关性最大的三元组A1i、A2j以及refk作为受约束项；
(42)将相关性平方和相对于A1i、A2j分别求偏导数，并令之等于0，得到含有A1i、A2j的偏微分方程；
(43)设定一初始点，将所述A1i、A2j进行迭代更新，并确保相关性平方和的值增加，直至相关性平方和收敛，并将此时的A1i、A2j作为本次迭代过程的最优解；
(44)根据步骤(43)所述最优解更新A1、A2，并重复步骤(41)、(42)和(43)，得到最优解A1i、A2j。
进一步的，所述步骤(43)中A1i、A2j进行迭代更新的迭代更新规则满足：
其中，Std(·)为标准差；Cov(·)为协方差；var(·)为方差；分别表示A1i、A2j、refk的平均值；η11、η12、η21、η22均为通过梯度下降算法求得的下降步长；λc1和λc2为学习率。
进一步的，所述步骤(1)中各模态影像包括功能磁共振影像fMRI、结构磁共振影像sMRI。所述功能磁共振影像fMRI提取得到的模态特征包括分数低频波动振幅；所述结构磁共振影像sMRI提取得到的模态特征包括灰质体积。所述步骤(2)中将得到的各模态特征进行预处理包括：矩阵化、中心化、白化和利用主成分分析方法进行降维。
有益效果：本发明相对于现有技术，其显著优点是通过最大化独立成分的独立性，并同时最大化各模态独立成分之间以及独立成分与参考信息之间的相关性平方和，从而得到全局最优解。通过引入工作记忆评分作为参考信息，针对性地识别出与临床指标相关并且在空间上相对独立的协同共变成分。从而深入挖掘认知能力与多模态神经影像在精神疾病中的交互关系，为理解精神疾病的病理机制和制定个性化治疗方案提供有力支持。
附图说明
图1为本发明中多模态脑影像融合方法的流程示意图；
图2(a)为MCCA、jICA、MCCA+jICA、separate ICA、PICA、MCCAR、MCCAR+jICA和本发明融合方法估计得到的各模态目标成分与参考信息之间的相关性绝对值与各模态目标成分与参考信息之间真实的相关性绝对值的对比示意图；
图2(b)为MCCA、jICA、MCCA+jICA、separate ICA、PICA、MCCAR、MCCAR+jICA和本发明融合方法相对于各模态目标成分与参考信息之间真实的相关性绝对值求平均的混合矩阵和独立成分的精确度的对比示意图；
图3(a)为MCCA、jICA、MCCA+jICA、separate ICA、PICA、MCCAR、MCCAR+jICA和本发明supervised PICA方法相对于14个噪声水平求平均的独立成分的精确度的示意图；
图3(b)为MCCA、jICA、MCCA+jICA、separate ICA、PICA、MCCAR、MCCAR+jICA和supervised PICA方法相对于14个噪声水平求平均的混合矩阵的精确度的示意图；
图4(a)为本发明融合方法检测到的与工作记忆评分相关的多模态联合共变成分的空间视图；
图4(b)为各模态在精神分裂症病患组与健康对照组的组间差异图；
图4(c)为各模态与工作记忆评分的相关性拟合图；
图4(d)为各模态之间的相关性拟合图。
具体实施方式
如图1所示，本实施例中的一种全局优化的有监督多模态影像融合方法，包括以下步骤：
S1：对各个模态脑影像数据进行预处理并提取其特征。
各个模态可以是静息态功能脑影像fMRI、结构磁共振影像sMRI和弥散张量图像dMRI等脑成像技术。在本实施例中，采用fMRI和sMRI两个模态，而在实际应用中可以根据需求任意选取多种模态进行实施。
尽管本实施例仅以精神分裂症的多模态数据融合为例进行说明，但本发明的保护范围并不仅限于此。各模态的数据可以涵盖所有精神障碍疾病的多模态数据，包括但不限于精神分裂症、抑郁症等精神疾病，以及非精神疾病如双相情感障碍等的多模态数据。
本实施例中对静息态功能脑影像fMRI提取低频波动的分数振幅fALFF作为其特征，对于fMRI的预处理及特征提取具体为：在MATLAB 2019环境下基于统计参数映射的标准预处理，对数据进行如下处理：(1)头动校正，对每个时间点的图像进行调整，确保在分析过程中保持脑结构的准确对应；(2)层间时间校正，调整fMRI图像中不同层次(切片)之间的获取时间差异；(3)标准化到蒙特利尔MNI标准空间并重采样；优选地，重采样成3×3×3mm；(4)回归掉6个头动参数和白质(WM)、灰质(GM)、脑脊液(CSF)；(5)使用8毫米半最大值全宽(full width half max，FWHM)高斯核进行空间平滑；(6)将0.01至0.08赫兹的低频功率范围内的振幅值之和除以整个可检测功率谱的振幅之和，以计算出低频波动的分数振幅(fractional amplitude of low-frequency fluctuations，fALFF)。
本实施例中对结构磁共振影像sMRI提取灰质体积GMV作为其特征，对于sMRI的预处理及特征提取具体为：(1)使用SPM12中的统一分割方法，将sMRI数据标准化到蒙特利尔MNI标准空间并重采样；优选地，重采样成3×3×3mm；(2)分割为灰质、白质和脑脊液，结果输出为灰质体积；(3)用8毫米半最大值全宽高斯滤波核对灰质做平滑；(4)检测被试的异常值确保分割正确。
对每个被试的fMRI和sMRI数据进行上述预处理后，各模态的特征被转换为3D矩阵。对于fMRI，能够使用的特征包括分数低频波动振幅特征。对于sMRI，能够使用的模态特征包括灰质体积特征。
S2：对各模态特征进行预处理，包括矩阵化、中心化、白化和利用主成分分析方法进行降维。
矩阵化的处理过程可以为：将步骤S1处理后得到的每个被试的各个模态的3D特征矩阵拉长成行向量(1×L)，其中L为体素个数，将所有被试的3D矩阵都进行转换，则得到N×L的矩阵Xk(k＝1,2)，N表示被试个数，k表示模态数目。对2个模态fMRI和sMRI都进行上述转换，则得到2个模态的特征矩阵。
接着，对上述特征矩阵进行中心化和白化，以消除数据的平移影响，使其具有相同的方差并且互相不相关，以确保两个模态的特征数值在相同的范围内。
最后，采用主成分分析方法对上述特征矩阵进行降维，以去除冗余信息和不相关的特征，从而降低计算复杂度并减少噪声干扰。这有助于保留数据的主要变化方向，提高模型的泛化性能。
S3：基于步骤S2得到的降维后的各模态特征，加入参考信息矩阵，同时最大化各模态成分的独立性、模态之间的相关性以及成分与参考信息之间的相关性，采用梯度下降算法进行循环迭代，直至收敛。
具体地，根据以下公式实现最大化：
在公式(1)中，H(·)为保证各模态独立成分独立性的信息熵函数；mk(k＝1,2)表示模态k相互独立的成分个数；A1i表示模态1的混合矩阵的第i列；A2j表示模态2的混合矩阵的第j列；refk表示参考信息矩阵的第k列；Corr(A1i,A2j)表示A1i与A2j的相关性；Corr(A1i,refk)表示A1i与refk的相关性；Corr(A2j,refk)表示A2j与refk的相关性；α1、α2、α3表示控制 和之间权重的正则化参数并确保算法优化过程的收敛性。
具体地，根据以下公式对各模态特征进行并行独立成分分析：
其中，与分别表示Y1和Y2的概率密度函数；E(.)为期望值；H(.)为熵函数；Wk(k＝1,2)为混合矩阵Ak的逆，即为Ak的解混矩阵；Wk0(k＝1,2)为模态k的偏置权重矩阵；Xk(k＝1,2)表示模态k经过预处理后的特征矩阵。
对于ICA的求解，这里采用目前广泛使用的Infomax(信息极大)算法。
求解公式(1)的最大化问题具体可以包括：计算A1、A2以及ref各列的相关性，选取相关性最大的三元组A1i、A2j以及refk作为受约束项。将相关性平方和相对于A1i、A2j分别求偏导数，并令之等于0，得到含有所述A1i、A2j的偏微分方程。由于目标函数中的相关性平方和是A1i、A2j的二次方程，因此相关性平方和分别对A1i、A2j的偏微分是A1i、A2j的线性函数，所以可以求得近似解。设定一初始点，将所述A1i、A2j通过所述公式(1)进行迭代更新，并确保所述相关性平方和的值增加，当满足目标函数的收敛准则时，迭代停止，并将此时的A1i、A2j作为本次迭代过程的最优解。根据每次迭代过程得到的最优解更新A1、A2，重复上述步骤，直至得到稳定解，即为公式(1)的最优解。
其中，参考信息用于指导多模态融合，其包括但不限于工作记忆评分、认知评分、症状评分、某一位点的基因。参考信息可以根据实际研究目的进行选取。
S4：由步骤S3可得到与参考信息显著相关的多模态共变成分和混合矩阵，从而实现全局优化的有监督多模态脑影像融合。
图2(a)对比了各方法估计得到的各模态目标成分与参考信息之间的相关性绝对值与各模态目标成分与参考信息之间真实的相关性绝对值。
在本实施例中，MCCA是指多组别典型相关分析；jICA是指联合独立成分分析；separate ICA是指分别进行单个模态的独立成分分析；PICA是指并行独立成分分析；MCCAR是指有监督的多变量典型相关分析；MCCAR+jICA是指有监督的多变量典型相关分析+联合独立成分分析；supervised PICA是指有监督的并行独立成分分析。另外，truecorrelation是指真实的相关性。
通过图2(a)可见，本发明实施例提出的方法在真实相关性较小的情况下仍能够提取与参考信息相关的独立成分。随着真实相关性的增加，本发明实施例提出的方法在提取独立成分方面表现出较强的鲁棒性。
图2(b)示例性地示出了各方法相对于各模态目标成分与参考信息之间的相关性绝对值求平均的混合矩阵Ak和独立成分Sk的精确度。
精确度是指各方法得到的混合矩阵、独立成分与真实的混合矩阵、成分的相关性，两者的相关性越高则表明精确度越高。
通过图2(b)可以看出，本发明实施例提出的方法在混合矩阵Ak和独立成分Sk的精确度上相较于其他有监督多模态融合方法是最优的，这说明了使用全局优化求解方法的重要性和必要性。
图3(a)示例性地示出了各方法中相对于14个噪声水平(峰值信噪比PSNR＝[-1110])求平均的独立成分Sk的精确度。图3(b)示例性地示出了各方法相对于14个噪声水平(峰值信噪比PSNR＝[-11 10])求平均的混合矩阵Ak的精确度。通过图3(a)和图3(b)可以看出，本发明实施例提出的方法在不同噪声影响下提取独立成分的能力较为稳定，在混合矩阵Ak和独立成分Sk的精确度上都是最优的。
如表1所示，为各方法在峰值信噪比PSNR＝7的情况下提取出与reference显著相关的独立成分能力的对比结果。其中，real corr为真实的相关性；A～A*为本发明示例里提出的方法提取得到的混合矩阵的精确度；S～S*为本发明示例里提出的方法提取得到的独立成分的精确度。
表1各方法提取出与参考信息显著相关的独立成分能力的对比结果
下面对本发明示例里提出的方法进行的测试进行详细说明。
本实例中模拟数据的产生：使用simTB工具箱分别模拟了与fMRI和sMRI数据具有相同维数的两个数据集，每个数据集分别包含6个不同分布的脑网络，以及两个随机混合矩阵。
本实例中真实数据的来源：使用Function Biomedical Informatics ResearchNetwork(FBIRN)Phase III study数据集，该数据集包含了294个被试(147精神分裂症患者，147个人口统计学信息相匹配的正常对照组)，所有被试的工作记忆评分均已使用CMINDS认知评测系统评估。利用这些数据对本发明实施例提出的方法进行了测试。将工作记忆评分作为参考信息。
图4(a)、图4(b)、图4(c)和图4(d)示例性地示出了本发明实施例在数据集FBIRN上的结果，所述IC为独立成分。其中，图4(a)是本发明实施例提出的方法检测到的与工作记忆评分相关的多模态共变成分的空间视图，可以看出其包含的脑区位置以及激活程度与现有的研究基本一致；图4(b)是各模态的组间差异图；图4(c)是各模态与工作记忆评分Workingmemory的相关性拟合图；图4(d)是模态之间相关性的拟合图。综上所述，可以看出本发明提出的方法可以分离出具有组间差异、模态间相互关联并且与工作记忆评分显著相关的独立成分。
Claims (9)
1.一种全局优化的有监督多模态影像融合方法，其特征在于，包括以下步骤：
(1)预处理各模态脑影像数据，并进行特征提取，得到各模态特征；
(2)将得到的各模态特征进行预处理，得到预处理后的各模态的特征矩阵；
(3)根据各模态的特征矩阵、各模态的混合矩阵和各模态的权重矩阵计算得到的各模态独立成分的独立性；
(4)求解最大化各模态独立成分的独立性、各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性时混合矩阵的最优解；
(5)根据步骤(4)中得到的混合矩阵，计算与参考信息相关的多模态的共变成分和混合矩阵。
2.根据权利要求1所述的有监督多模态影像融合方法，其特征在于，所述步骤(3)中各模态独立成分的独立性通过信息熵函数H(·)描述，最大化各模态独立成分的独立性的计算公式为：
Uk＝Wk·Xk+Wk0；
其中，E(.)为期望值；为概率密度函数；Yk、Uk为计算的中间变量；Wk为混合矩阵Ak的解混矩阵；Ak为模态k的混合矩阵；Wk0为模态k的偏置权重矩阵；Xk为模态k预处理后的特征矩阵。
3.根据权利要求2所述的有监督多模态影像融合方法，其特征在于，所述步骤(4)中求解最大化各模态独立成分的独立性、各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性的求解公式为：
其中，mk(k＝1,2)为模态k的独立成分的个数；A1i为模态1的混合矩阵的第i列；A2j为模态2的混合矩阵的第j列；refh表示参考信息矩阵的第h列；Corr(A1i,A2j)表示A1i与A2j的相关性；Corr(A1i,refk)表示A1i与refh的相关性；Corr(A2j,refh)表示A2j与refh的相关性；α1、α2、α3表示正则化参数。
4.根据权利要求3所述的有监督多模态影像融合方法，其特征在于，采用梯度下降算法对求解公式进行循环迭代，直至收敛，得到混合矩阵的最优解：
各模态的解混矩阵的迭代规则满足：
其中，λk为模态k进行独立成分分析的学习率；I为单位矩阵；T为矩阵的转置。
5.根据权利要求4所述的有监督多模态影像融合方法，其特征在于，所述步骤(4)中最大化各模态的混合矩阵之间的相关性以及各模态的混合矩阵与参考信息之间的相关性的步骤具体包括：
(41)计算各模态的混合矩阵以及参考信息之间的相关性，选取相关性最大的三元组A1i、A2j以及refk作为受约束项；
(42)将相关性平方和相对于A1i、A2j分别求偏导数，并令之等于0，得到含有A1i、A2j的偏微分方程；
(43)设定一初始点，将所述A1i、A2j进行迭代更新，并确保相关性平方和的值增加，直至相关性平方和收敛，并将此时的A1i、A2j作为本次迭代过程的最优解；
(44)根据步骤(43)所述最优解更新A1、A2，并重复步骤(41)、(42)和(43)，得到最优解A1i、A2j。
6.根据权利要求5所述的有监督多模态影像融合方法，其特征在于，所述步骤(43)中A1i、A2j进行迭代更新的迭代更新规则满足：
其中，Std(·)为标准差；Cov(·)为协方差；var(·)为方差；分别表示A1i、A2j、refk的平均值；η11、η12、η21、η22均为通过梯度下降算法求得的下降步长；λc1和λc2为学习率。
7.根据权利要求1所述的有监督多模态影像融合方法，其特征在于，所述步骤(1)中各模态影像包括功能磁共振影像fMRI、结构磁共振影像sMRI。
8.根据权利要求7所述的有监督多模态影像融合方法，其特征在于，所述功能磁共振影像fMRI提取得到的模态特征包括分数低频波动振幅；所述结构磁共振影像sMRI提取得到的模态特征包括灰质体积。
9.根据权利要求1所述的有监督多模态影像融合方法，其特征在于，所述步骤(2)中将得到的各模态特征进行预处理包括：矩阵化、中心化、白化和利用主成分分析方法进行降维。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410397870.0A CN118351406A (zh) | 2024-04-03 | 2024-04-03 | 一种全局优化的有监督多模态影像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410397870.0A CN118351406A (zh) | 2024-04-03 | 2024-04-03 | 一种全局优化的有监督多模态影像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118351406A true CN118351406A (zh) | 2024-07-16 |
Family
ID=91823747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410397870.0A Pending CN118351406A (zh) | 2024-04-03 | 2024-04-03 | 一种全局优化的有监督多模态影像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118351406A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119339873A (zh) * | 2024-12-16 | 2025-01-21 | 北京凯普顿医药科技开发有限公司 | 一种神经系统影像分析方法和装置 |
-
2024
- 2024-04-03 CN CN202410397870.0A patent/CN118351406A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119339873A (zh) * | 2024-12-16 | 2025-01-21 | 北京凯普顿医药科技开发有限公司 | 一种神经系统影像分析方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Lightweight attention convolutional neural network for retinal vessel image segmentation | |
| Cao et al. | Deformable image registration using a cue-aware deep regression network | |
| CN109376751B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| Ben Rabeh et al. | Segmentation of brain MRI using active contour model | |
| CN106023194A (zh) | 基于静息态功能连接的杏仁核谱聚类分割方法 | |
| CN105117731A (zh) | 一种大脑功能网络的社团划分方法 | |
| Wismüller et al. | Fully automated biomedical image segmentation by self-organized model adaptation | |
| CN108903942A (zh) | 一种利用复数fMRI空间源相位识别空间差异的方法 | |
| CN104361318A (zh) | 一种基于弥散张量成像技术的疾病诊断辅助系统及方法 | |
| CN117172294B (zh) | 一种稀疏脑网络的构建方法、系统、设备和存储介质 | |
| CN113892936B (zh) | 一种基于全卷积神经网络的可解释脑龄预测方法 | |
| CN118351406A (zh) | 一种全局优化的有监督多模态影像融合方法 | |
| CN113052800B (zh) | 一种阿尔茨海默症影像分析方法与装置 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| MEVIS | Improved bias-corrected fuzzy c-means segmentation of brain mri data | |
| CN112863664A (zh) | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 | |
| CN115937581A (zh) | 一种多站点fMRI数据的分类识别方法 | |
| Bazay et al. | Assessing the impact of preprocessing pipelines on fMRI based autism spectrum disorder classification: ABIDE II results | |
| Li et al. | Scdm: Unified representation learning for eeg-to-fnirs cross-modal generation in mi-bcis | |
| CN114782371A (zh) | 一种基于人工智能的脑区自动分割方法 | |
| Zhu et al. | Multi-View Modeling Method for Functional MRI Images | |
| Dessouky et al. | Effective features extracting approach using MFCC for automated diagnosis of Alzheimer’s disease | |
| Khatri et al. | Convolution Driven Vision Transformer for the Prediction of Mild Cognitive Impairment to Alzheimer’s disease Progression | |
| Sen | Generalized Prediction Model for Detection of Psychiatric Disorders | |
| Sun et al. | Enhancing Functional Brain Network Construction for Neurological Disorder Diagnosis through Modularity-Driven Regularization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |