CN115937588A - 一种多模态阿尔茨海默病病理图像分类方法 - Google Patents

Abstract

本发明公开了一种多模态阿尔茨海默病病理图像分类方法、系统及计算机可读存储介质，包括以下步骤：S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；S4：将完整数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；S5：将多模态影像特征输入多模态特征融合网络，提取并生成融合特征图；S6：将所述融合特征图输入到分类器中输出分类结果。本发明能够精确定位病理图像的病理区域，提高了病理图像的分类精度。

Description

一种多模态阿尔茨海默病病理图像分类方法

技术领域

本发明涉及生物信息技术领域，更具体地，涉及一种多模态阿尔茨海默病病理图像分类方法、系统及计算机可读存储介质。

背景技术

阿尔茨海默病是老年人中最严重的神经系统疾病之一，其特征是进行性记忆相关损害，如记忆退化和认知缺陷。阿尔茨海默病是一种不可治愈和不可逆的疾病的主要原因是没有任何药物治疗被证明在逆转阿尔茨海默病进展方面足够有效。因此，在阿尔茨海默病痴呆前驱阶段，即轻度认知障碍的早期检测对于应用一些干预和治疗来减缓向阿尔茨海默病转化的进展具有重要的临床意义。由于阿尔茨海默病的相关脑结构变化出现得更早，比健忘的可见症状更明显。MRI和PET是阿尔茨海默病进展和轻度认知障碍转化预测的有效生物标志物。结构磁共振成像(sMRI)，一种测量脑组织结构的成像技术，可以量化形态学异常，如灰质、白质。正电子发射断层扫描(PET)可以测量大脑的代谢过程。这些不同的医学成像技术从不同的角度使用不同的成像技术测量同一大脑区域，可能携带互补信息。因此，融合来自不同模态的医学影像可以帮助模型做出更加准确的判断。

近年来，许多基于多模态诊断的研究取得了显著进展。现有的研究通常将整个影像分割成不同尺度的多个区域。基于尺度的划分，现有的研究大致可以分为三个研究方向：基于体素的方法、基于ROI的方法和基于图像块的方法。然而由于临床上往往由于时间成本、经济成本等问题导致难以或无法获得病人的所有模态的医学影像。在这种情况下，跨模态医学影像重建是一种新颖而有效的解决方案。此外，由于神经网络的黑箱特性，很少有深度学习方法对病理位置有特定的输出，这忽略了医疗实践中的可解释性问题。

现有技术公开了一种基于卷积神经网络的阿尔茨海默病变区域的检测方法，将病灶检测任务分成提取特征，病灶定位和病灶分类三步。本发明的步骤是训练改进的AlexNet神经网络模型，用于提取原始脑部核磁共振图像的特征，生成特征图；然后训练区域生成网络模型，生成proposal，用于定位出脑部核磁共振图像的病变区域；接着将特征图和proposal送入后续分类网络进行分类训练，用于分类病变区域处于哪个发病阶段。该方案没有结合MRI和PET影像，无法精确精确定位病理图像的病理区域。

发明内容

本发明提供一种多模态阿尔茨海默病病理图像分类方法、系统及计算机可读存储介质，能够精确定位病理图像的病理区域，提高了病理图像的分类精度。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供了一种多模态阿尔茨海默病病理图像分类方法，其特征在于，包括以下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

S6：将所述融合特征图输入到分类器中输出分类结果。

进一步的，利用可变形自注意力机制自适应调整所选定的数据集中每个图像块的尺度和位置，并定位具有鉴别特征的病理区域。

进一步的，在步骤S6中，融合特征图在分类器中通过全局平均池化层压缩为一维向量，随后利用一个带有Sigmod函数的全卷积层对特征图进行卷积运算与激活，输出阿尔茨海默病病理图像分类结果。

进一步的，三维循环一致生成对抗网络包括：两个生成器网络和两个判别器网络，分别记作：G₁,G₂,D₁,D₂，每个所述生成器包括编码器、解码器，生成器由9个残差块、5个3x3x3卷积层、4个下采样层和4个上采样层组成，每个残差块包括三个直连的卷积层，每个卷积层的卷积核大小为3×3×3，并选取ReLU作为激活函数，在下采样层将输出特征映射的大小减半通道数翻倍。在上采样层，通过反卷积层实现输出特征映射的大小扩展，通过跳跃连接，将子网络的特征图与特征图连接起来；

所述判别器包含5个Conv层，分别有16、32、64、128和1个通道，判别器输入一对真实和合成的图像，并输出一个二值指示器。

进一步的，三维循环一致生成对抗网络使用循环一致损耗来学习MRI和PET之间的双向映射，旨在保证两种模式之间的交互关系。

进一步的，三维循环一致生成对抗网络包含两个互补的损失函数，包括对抗损失函数L_g、循环一致损失函数L_c，具体如下：

L_g(X_MRI,X_PET；G₁,G₂,D₁,D₂)＝log(D₂(X_PET))+log(1-D₂(G₁(X_MRI)))+log(D₁(X_MRI))+log(1-D₁(G₂(X_PET)))

L_c(X_MRI,X_PET；G₁,G₂)＝||G₂(G₁(X_MRI))-X_PET||₁+||G₁(G₂(X_PET))-X_PET||₁

其中，X_MRI表示MRI影像，X_PET表示PET影像，抗损失函数L_g确保生成的图像原则上与真实图像无法区分，循环一致损失函数L_c保证了MRI影像和PET影像之间的交互关系。

进一步的，可变形自注意力机制模块的处理过程为：

设置输入为单MRI模态的影像X_MRI∈R^H×W×D×C，其中H代表影像的长度，W代表影像的宽度，D代表影像的深度，C代表影像的特征维度，X_MRI首先通过线性层的补丁嵌入模块将N个相同大小和位置的贴片划分为一系列图像块，设定H、W、D大小相等，嵌入图像块大小为s×s×s，其中

整个图像块序列在X_MRI上看作是一个大小为s×s×s的均匀网格，图像块的系列表示为{X_i}_{(0≤i≤N-1)}，对于每一个图像块X_i，将其左前坐标和右后坐标表示为

和

其中：

之后，每一个图像块X_i都会通过偏移预测网络预测一个位置偏移量和尺寸缩放量，位置偏移和尺寸缩放可用参数Δposition＝(Δx,Δy,Δz)和Δscale＝(Δh,Δw,Δd)表示，对于每个变形后的图像块

更新后的左前坐标和右后坐标表示为

和

其中：

由于每个变形后的图像块大小均不同，故采样和插值的方法来提取特征，在每一个图像块内采样一个统一的尺寸为k×k×k的网格

由于网格的坐标通常是分数，因此，p_j的值通过三线性插值计算8个相邻点C_j的加权平均值得到，具体公式如下：

p_j＝H_Trilinear(C_j,(x_j,y_j,z_j))(j∈(0,k³-1))

之后，变形后的图像块

通过d维的线性层映射投影成特征向量并被嵌入到一个扁平化的特征图

中，然后，通过一个标准的多头自注意力模块将

作为输入并生成三组可学习的特征向量，分别为q∈R^N×d、k∈R^N×d、v∈R^N×d；W_q∈R^N×d、W_k∈R^N×d、W_v∈R^N×d是三个可学习的线性嵌入矩阵，具体公式如下：

Y＝Concat{Atten₁v₁,...,Atten_Mv_M}W_o

其中

d_m＝d/M，Atten_m表示不同图像块之间的相似性矩阵，其通过q_m和k_m相乘得到并可作为v_m的加权权重，通过将M个注意力矩阵Atten_m拼接变换得到输出的最终特征Y∈R^N×d。

进一步的，多模态特征融合网络的处理过程为：

设置多模态特征融合网络的输入为：Y_MRI∈R^N×d、Y_PET∈R^N×d，其中d为特征维度，N为图像块数量，其中，N＝k×k×k；

将两种模态的特征图在d维度上拼接在一起并将维度调整为Y∈R^2d×k×k×k；

设定Y＝{Y₁,Y₂,...,Y_2d}，其中Y_i∈R^k×k×k，沿通道轴最大池化表示为：

Y_max＝ChannelMaxPooling(Y)

其中

沿通道轴的平均池化表示为：

Y_mean＝ChannelAvreagePooling(Y)

其中

然后将这两个特征图连接起来，计算出一个空间注意图：

A_spatial＝σ(W([Y_max；Y_mean]))

其中σ为sigmoid激活函数，W为卷积层权值，[；]为拼接操作，最终多模态注意力特征图F表示为：

其中，

表示逐元素相乘。

本发明第二方面提供了一种多模态阿尔茨海默病病理图像分类系统，该系统包括：存储器、处理器，所述存储器中包括一种多模态阿尔茨海默病病理图像分类方法程序，所述一种多模态阿尔茨海默病病理图像分类方法程序被所述处理器执行时实现如下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

S6：将所述融合特征图输入到分类器中输出分类结果。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括多模态阿尔茨海默病病理图像分类方法程序，所述多模态阿尔茨海默病病理图像分类方法程序被处理器执行时，实现项所述的一种多模态阿尔茨海默病病理图像分类方法的步骤。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过三维循环一致生成对抗网络有效利用图像上下文和潜在向量实现MRI影像生成缺失的PET影像；利用可变形自注意力机制模块能够自适应调整所选定的每个图像块的大小和位置，并定位具有鉴别特征的病理区域，同时利用多模态特征融合网络自适应的提取MRI和PET的潜在互补特征，提高了病理图像的分类精度。

附图说明

图1为本发明一种多模态阿尔茨海默病病理图像分类方法流程图。

图2为本发明实施例三维循环一致生成对抗网络示意图。

图3为本发明实施例三维循环一致生成对抗网络的生成器示意图。

图4为本发明实施例三维循环一致生成对抗网络的判别器示意图。

图5为本发明实施例可变形自注意力机制模块网络示意图。

图6为本发明实施例多模态特征融合网络示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，本发明第一方面提供了一种多模态阿尔茨海默病病理图像分类方法，其特征在于，包括以下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

需要说明的是，如图2所示，为了弥补生成PET图像与真实PET图像之间的差距，本发明提出了具有循环一致机制的端到端三维生成对抗网络。该方法不仅注重从MR图像合成感知真实的PET图像，而且注重反映不同受试者的不同大脑属性。该三维循环一致生成对抗网络包括：两个生成器网络和两个判别器网络，分别记作：G₁,G₂,D₁,D₂。在一个具体实施例中，可以选择3DU-Net网络结构并引入残差模块来作为生成器网络，命名为3D-ResUNet生成器。为了更直观地展示三维循环一致生成对抗网络的运算过程，MRI影像和PET影像分别记作X_MRI和X_PET。基于MRI和PET之间的潜在相关性，考虑通过学习生成器G₁:X_MRI→X_PET，为MRI扫描的受试者(即样本)生成缺失的PET图像。同时，要求G是一对一的映射，即存在一个生成器G₂:X_PET→X_MRI，以保持映射的一致性。使用循环一致损耗来学习MRI和PET之间的双向映射，旨在保证两种模式之间的交互关系。

更具体的，如图3所示，每个所述生成器包括编码器、解码器，生成器由9个残差块、5个3x3x3卷积层、4个下采样层和4个上采样层组成，每个残差块包括三个直连的卷积层，每个卷积层的卷积核大小为3×3×3，并选取ReLU作为激活函数，在下采样层将输出特征映射的大小减半通道数翻倍。在上采样层，通过反卷积层实现输出特征映射的大小扩展，通过跳跃连接，将子网络的特征图与特征图连接起来；

如图4所示，所述判别器包含5个Conv层，分别有16、32、64、128和1个通道，判别器输入一对真实和合成的图像，并输出一个二值指示器。该二值指示器可以反馈出真实样本和其对应的合成图像是否可区分。

三维循环一致生成对抗网络包含两个互补的损失函数，包括对抗损失函数L_g、循环一致损失函数L_c，具体如下：

L_g(X_MRI,X_PET；G₁,G₂,D₁,D₂)＝log(D₂(X_PET))+log(1-D₂(G₁(X_MRI)))+log(D₁(X_MRI))+log(1-D₁(G₂(X_PET)))

L_c(X_MRI,X_PET；G₁,G₂)＝||G₂(G₁(X_MRI))-X_PET||₁+||G₁(G₂(X_PET))-X_PET||₁

其中，X_MRI表示MRI影像，X_PET表示PET影像，抗损失函数L_g确保生成的图像原则上与真实图像无法区分，循环一致损失函数L_c保证了MRI影像和PET影像之间的交互关系。

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

需要说明的是，利用可变形自注意力机制模块自适应调整所选定的数据集中每个图像块的尺度和位置，并定位具有鉴别特征的病理区域。

如图5所示为可变形自注意力机制模块网络示意图，可变形自注意力机制模块的处理过程为：

设置输入为单MRI模态的影像X_MRI∈R^H×W×D×C，其中H代表影像的长度，W代表影像的宽度，D代表影像的深度，C代表影像的特征维度，X_MRI首先通过线性层的补丁嵌入模块将N个相同大小和位置的贴片划分为一系列图像块，设定H、W、D大小相等，嵌入图像块大小为s×s×s，其中

整个图像块序列在X_MRI上看作是一个大小为s×s×s的均匀网格，图像块的系列表示为{X_i}_{(0≤i≤N-1)}，对于每一个图像块X_i，将其左前坐标和右后坐标表示为

和

其中：

之后，每一个图像块X_i都会通过偏移预测网络预测一个位置偏移量和尺寸缩放量，位置偏移和尺寸缩放可用参数Δposition＝(Δx,Δy,Δz)和Δscale＝(Δh,Δw,Δd)表示，对于每个变形后的图像块

更新后的左前坐标和右后坐标表示为

和

其中：

由于每个变形后的图像块大小均不同，故采样和插值的方法来提取特征，在每一个图像块内采样一个统一的尺寸为k×k×k的网格

由于网格的坐标通常是分数，因此，p_j的值通过三线性插值计算8个相邻点C_j的加权平均值得到，具体公式如下：

p_j＝H_Trilinear(C_j,(x_j,y_j,z_j))(j∈(0,k³-1))

之后，变形后的图像块

通过d维的线性层映射投影成特征向量并被嵌入到一个扁平化的特征图

中，然后，通过一个标准的多头自注意力模块将

作为输入并生成三组可学习的特征向量，分别为q∈R^N×d、k∈R^N×d、v∈R^N×d；W_q∈R^N×d、W_k∈R^N×d、W_v∈R^N×d是三个可学习的线性嵌入矩阵，具体公式如下：

Y＝Concat{Atten₁v₁,...,Atten_Mv_M}W_o

其中

d_m＝d/M，Atten_m表示不同图像块之间的相似性矩阵，其通过q_m和k_m相乘得到并可作为v_m的加权权重，通过将M个注意力矩阵Atten_m拼接变换得到输出的最终特征Y∈R^N×d。

实施例2

基于上述过程，本实施例详细阐述，融合特征图的提取过程。

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

如图6所示为多模态特征融合网络示意图，多模态特征融合网络的处理过程为：

设置多模态特征融合网络的输入为：Y_MRI∈R^N×d、Y_PET∈R^N×d，其中d为特征维度，N为图像块数量，其中，N＝k×k×k；

将两种模态的特征图在d维度上拼接在一起并将维度调整为Y∈R^2d×k×k×k；

设定Y＝{Y₁,Y₂,...,Y_2d}，其中Y_i∈R^k×k×k，沿通道轴最大池化表示为：

Y_max＝ChannelMaxPooling(Y)

其中

沿通道轴的平均池化表示为：

Y_mean＝ChannelAvreagePooling(Y)

其中

然后将这两个特征图连接起来，计算出一个空间注意图：

A_spatial＝σ(W([Y_max；Y_mean]))

其中σ为sigmoid激活函数，W为卷积层权值，[；]为拼接操作，最终多模态注意力特征图F表示为：

其中，

表示逐元素相乘。

S6：将所述融合特征图输入到分类器中输出分类结果。

融合特征图在分类器中通过全局平均池化层压缩为一维向量，随后利用一个带有Sigmod函数的全卷积层对特征图进行卷积运算与激活，输出阿尔茨海默病病理图像分类结果。

实施例3

本发明第二方面提供了一种多模态阿尔茨海默病病理图像分类系统，该系统包括：存储器、处理器，所述存储器中包括一种多模态阿尔茨海默病病理图像分类方法程序，所述一种多模态阿尔茨海默病病理图像分类方法程序被所述处理器执行时实现如下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

S6：将所述融合特征图输入到分类器中输出分类结果。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括多模态阿尔茨海默病病理图像分类方法程序，所述多模态阿尔茨海默病病理图像分类方法程序被处理器执行时，实现项所述的一种多模态阿尔茨海默病病理图像分类方法的步骤。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种多模态阿尔茨海默病病理图像分类方法，其特征在于，包括以下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

S6：将所述融合特征图输入到分类器中输出分类结果。

2.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，利用可变形自注意力机制自适应调整所选定的数据集中每个图像块的尺度和位置，并定位具有鉴别特征的病理区域。

3.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，在步骤S6中，融合特征图在分类器中通过全局平均池化层压缩为一维向量，随后利用一个带有Sigmod函数的全卷积层对特征图进行卷积运算与激活，输出阿尔茨海默病病理图像分类结果。

4.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，三维循环一致生成对抗网络包括：两个生成器网络和两个判别器网络，分别记作：G₁,G₂,D₁,D₂，每个所述生成器包括编码器、解码器，生成器由9个残差块、5个3x3x3卷积层、4个下采样层和4个上采样层组成，每个残差块包括三个直连的卷积层，每个卷积层的卷积核大小为3×3×3，并选取ReLU作为激活函数，在下采样层将输出特征映射的大小减半通道数翻倍，在上采样层，通过反卷积层实现输出特征映射的大小扩展，通过跳跃连接，将子网络的特征图与特征图连接起来；

所述判别器包含5个Conv层，分别有16、32、64、128和1个通道，判别器输入一对真实和合成的图像，并输出一个二值指示器。

5.根据权利要求4所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，三维循环一致生成对抗网络使用循环一致损耗来学习MRI和PET之间的双向映射。

6.根据权利要求4所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，三维循环一致生成对抗网络包含两个互补的损失函数，包括对抗损失函数L_g、循环一致损失函数L_c，具体如下：

L_g(X_MRI,X_PET；G₁,G₂,D₁,D₂)

＝log(D₂(X_PET))+log(1-D₂(G₁(X_MRI)))+log(D₁(X_MRI))+log(1-D₁(G₂(X_PET)))L_c(X_MRI,X_PET；G₁,G₂)

＝||G₂(G₁(X_MRI))-X_PET||₁+||G₁(G₂(X_PET))-X_PET||₁

其中，X_MRI表示MRI影像，X_PET表示PET影像，抗损失函数L_g确保生成的图像原则上与真实图像无法区分，循环一致损失函数L_c保证了MRI影像和PET影像之间的交互关系。

7.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，可变形自注意力机制模块的处理过程为：

设置输入为单MRI模态的影像X_MRI∈R^H×W×D×C，其中H代表影像的长度，W代表影像的宽度，D代表影像的深度，C代表影像的特征维度，X_MRI首先通过线性层的补丁嵌入模块将N个相同大小和位置的贴片划分为一系列图像块，设定H、W、D大小相等，嵌入图像块大小为s×s×s，其中

整个图像块序列在X_MRI上看作是一个大小为s×s×s的均匀网格，图像块的系列表示为{X_i}_{(0≤i≤N-1)}，对于每一个图像块X_i，将其左前坐标和右后坐标表示为

和

其中：

之后，每一个图像块X_i都会通过偏移预测网络预测一个位置偏移量和尺寸缩放量，位置偏移和尺寸缩放可用参数Δposition＝(Δx,Δy,Δz)和Δscale＝(Δh,Δw,Δd)表示，对于每个变形后的图像块

更新后的左前坐标和右后坐标表示为

和

其中：

由于每个变形后的图像块大小均不同，故采样和插值的方法来提取特征，在每一个图像块内采样一个统一的尺寸为k×k×k的网格

由于网格的坐标通常是分数，因此，p_j的值通过三线性插值计算8个相邻点C_j的加权平均值得到，具体公式如下：

p_j＝H_Trilinear(C_j,(x_j,y_j,z_j))(j∈(0,k³-1))

之后，变形后的图像块

通过d维的线性层映射投影成特征向量并被嵌入到一个扁平化的特征图

中，然后，通过一个标准的多头自注意力模块将

作为输入并生成三组可学习的特征向量，分别为q∈R^N×d、k∈R^N×d、v∈R^N×d；W_q∈R^N×d、W_k∈R^N×d、W_v∈R^N×d是三个可学习的线性嵌入矩阵，具体公式如下：

Y＝Concat{Atten₁v₁,...,Atten_Mv_M}W_o

其中

d_m＝d/M，Atten_m表示不同图像块之间的相似性矩阵，其通过q_m和k_m相乘得到并可作为v_m的加权权重，通过将M个注意力矩阵Atten_m拼接变换得到输出的最终特征Y∈R^N×d。

8.根据权利要求7所述的一种多模态阿尔茨海默病病理图像分类方法，其特征在于，多模态特征融合网络的处理过程为：

设置多模态特征融合网络的输入为：Y_MRI∈R^N×d、Y_PET∈R^N×d，其中d为特征维度，N为图像块数量，其中，N＝k×k×k；

将两种模态的特征图在d维度上拼接在一起并将维度调整为Y∈R^2d×k×k×k；

设定Y＝{Y₁,Y₂,...,Y_2d}，其中Y_i∈R^k×k×k，沿通道轴最大池化表示为：

Y_max＝ChannelMaxPooling(Y)

其中

沿通道轴的平均池化表示为：

Y_mean＝ChannelAvreagePooling(Y)

其中

然后将这两个特征图连接起来，计算出一个空间注意图：

A_spatial＝σ(W([Y_max；Y_mean]))

其中σ为sigmoid激活函数，W为卷积层权值，[；]为拼接操作，最终多模态注意力特征图F表示为：

其中，

表示逐元素相乘。

9.一种多模态阿尔茨海默病病理图像分类系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种多模态阿尔茨海默病病理图像分类方法程序，所述一种多模态阿尔茨海默病病理图像分类方法程序被所述处理器执行时实现如下步骤：

S1：选择同时具有MRI和PET影像的样本，基于对抗生成训练策略来训练得到三维循环一致生成对抗网络；

S2：选择只具有MRI而缺失PET影像的样本，通过所述三维循环一致生成对抗网络生成缺失的PET影像；

S3：利用生成的PET影像补全数据集中缺失的PET影像，得到完整的MRI和PET数据集；

S4：将完整的MRI和PET数据集输入可变形自注意力机制模块，提取不同模态下的多模态影像特征；

S5：将多模态影像特征输入多模态特征融合网络，提取MRI和PET间潜在的互补特征并生成融合特征图；

S6：将所述融合特征图输入到分类器中输出分类结果。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括多模态阿尔茨海默病病理图像分类方法程序，所述多模态阿尔茨海默病病理图像分类方法程序被处理器执行时，实现如权利要求1至8中任一项所述的一种多模态阿尔茨海默病病理图像分类方法的步骤。

Images