CN117974832B - 基于生成对抗网络的多模态肝脏医学图像扩充算法 - Google Patents

Abstract

本发明公开了基于生成对抗网络的多模态肝脏医学图像扩充算法，方法为：获取数据集并进行预处理；制作训练数据集；构建多尺度残差连接模块；构建多级损失函数模块；构建通道增强自注意力模块；构建门控卷积模块；结合多尺度残差连接模块、多级损失函数模块、通道增强自注意力模块和门控卷积模块；构建多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估。本发明能够高效的生成大量高质量的多种模态的肝脏医学图像用于扩充现有的医学图像数据，缓解目前可公开获取且可用的肝脏医学图像数据稀缺的情况。

Description

基于生成对抗网络的多模态肝脏医学图像扩充算法

技术领域

本发明涉及医学图像数据集扩充领域，特别是涉及基于生成对抗网络的多模态肝脏医学图像扩充算法。

背景技术

随着深度学习技术的不断发展，计算机断层扫描、磁共振成像、正电子发射断层扫描等医学图像数据集已经被广泛应用于训练计算机辅助诊断系统。计算机辅助诊断系统在医学领域中发挥着重要的作用，为医生提供了强大的支持，有助于提高医学诊断的准确性、效率和全面性，是现代医学诊断领域中不可或缺的一个重要工具。但是，源自对患者隐私和伦理的高度保护、法律法规限制、高昂的数据采集成本以及医疗机构的合规性要求，使得可公开获取的医学图像数据集十分稀缺。数据的稀缺性会限制计算机辅助诊断系统中集成的深度学习模型的训练和性能，因为这些模型通常需要大量的标记数据来学习有效的特征表示和模式。因此，如何解决可公开获取的医学图像数据集稀缺的问题，对于推动医学图像诊断领域走向更深更广的应用是至关重要的。

医学图像生成方法对于解决医学图像数据集稀缺问题具有关键作用，该方法通过利用现有有限的数据集，可以合成更多的虚拟图像，从而扩充训练数据。其中，生成模型，尤其是生成对抗网络技术，能够学习并模拟原始数据的分布，生成与真实数据相似但又具有一定差异性的图像。这种图像能够增加模型在面对不同场景和变化时的适应性，提高模型的泛化能力。通过医学图像生成方法，研究者们能够在较小的数据集上构建出更强大、具有更广泛适应性的深度学习模型，从而设计出性能强大的计算机辅助诊断系统，提升医生的诊断准确率，降低误诊和漏诊情况的发生。

但目前已有的基于生成对抗网络的医学图像生成方法通常直接生成整张全新的医学图像，对网络的特征学习能力要求很高，同时现有的数据集数量难以驱动大参数量的深度学习生成模型，使得生成的图像通常缺乏足够的结构信息以及图像质量较低。这将导致生成的图像存在部分区域的边界模糊或失真，这种情况会完全改变图像的含义，从而使得生成的医学图像与原数据集差异过大，无法使用。因此，本发明借助图像修复的设计思路提出了一种基于生成对抗网络的多模态肝脏医学图像扩充算法，本发明提出的方法可以生成具有详细的纹理和合理的结构的肝脏医学图像，能够有效的扩充现有的肝脏医学图像数据集，缓解目前肝脏医学图像数据集稀缺的情况。

发明内容

本发明的目的是提供基于生成对抗网络的多模态肝脏医学图像扩充算法，用于缓解目前肝脏医学图像数据集稀缺问题的解决方案，借助图像修复的思想，针对性的对医学图像的肝脏区域进行高质量生成。

为实现上述目的，本发明提供如下方案：基于生成对抗网络的多模态肝脏医学图像扩充算法，方法步骤如下：

步骤S1：获取数据集，并对数据集中的计算机断层扫描图像数据进行预处理；

步骤S2：基于步骤S1预处理后的数据集，制作训练数据集；

步骤S3：基于步骤S2制作的训练数据集，构建多尺度残差连接模块，防止训练数据集网络退化；

步骤S4：基于步骤S2制作的训练数据集的结构和多层次特征，构建多级损失函数模块；

步骤S5：整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系，构建通道增强自注意力模块；

步骤S6：消除步骤S3至步骤S5带来的参数量增加，构建门控卷积模块；

步骤S7：结合步骤S3的多尺度残差连接模块、步骤S4的构建多级损失函数模块、步骤S5的通道增强自注意力模块和步骤S6的门控卷积模块；构建多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估；

步骤S3中多尺度残差连接模块，具体为：

采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块；将3×3卷积核中提取 的特征图、5×5卷积核中提取的特征图和7×7卷积核中提取的特征图连接起来，并 使用3×3的卷积核融合连接的特征，得到多尺度卷积模块输出的特征即获得的新特征图F； 基于获得的新特征图F得到多尺度残差连接模块；

步骤S4中构建多级损失函数模块，具体为：

多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成；内容损失关注于生成图像与真实图像在特定层的表示上的相似性，通过计算生成图像与真实图像在生成器的某一中间层的特征差异来实现；对抗损失区分开生成图像与真实图像；通过组合感知损失、内容损失和对抗损失得到最终的多级损失。

进一步的，步骤S1中对数据集中的计算机断层扫描图像数据进行预处理；具体为：

步骤S11，将三维格式的公开数据集拆分为二维的切片数据集；

步骤S12，对三维格式的公开数据集中的计算机断层扫描图像数据进行豪斯菲尔德单位值调整。

进一步的，步骤S2中制作训练数据集；具体为：

步骤S21，获取步骤S1中预处理完成的数据集，将分辨率调整为256×256；

步骤S22，将分辨率调整后的数据集部分用作训练集，另外部分用作验证集；随后进行基于生成对抗网络的多模态肝脏医学图像数据集扩充模型的训练和验证。

进一步的，步骤S3中多尺度残差连接模块，具体步骤为：

步骤S31，采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块；特征提取方程如公式(1)所示：

（1）；

其中，表示3×3卷积核中提取的特征图，表示3×3卷积操作，表示输入特征 图，表示5×5卷积核中提取的特征图，表示5×5卷积操作，表示7×7卷积核中提取的 特征图，表示7×7卷积操作；

步骤S32，将3×3卷积核中提取的特征图、5×5卷积核中提取的特征图和7×7 卷积核中提取的特征图连接起来，并使用3×3的卷积核融合连接的特征，得到多尺度卷 积模块输出的特征，表示为公式(2)所示：

（2）；

其中，表示获得的新特征图，表示特征串联；

基于获得的新特征图得到多尺度残差连接模块，输出方程见公式(3)所示：

（3）；

其中，表示多尺度残差连接模块的输出。

进一步的，步骤S4中构建多级损失函数模块，多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成；具体为：

步骤S41，计算感知损失，感知损失的公式见公式(4)所示：

（4）；

其中，表示感知损失，表示生成器，表示计算的层数，表示对生成 器第层进行求和，表示计算欧几里得范数的平方，表示生成器第层特征的元素个 数，表示生成器中第层的特征提取，表示输出特征图；

步骤S42，计算内容损失，具体公式为公式(5)所示：

（5）；

其中，表示内容损失值，表示选择的中间层的特征提取；

步骤S43，计算对抗损失，对抗损失的公式见公式(6)所示：

（6）；

其中，表示对抗损失值，表示鉴别器，表示分布值，表示输 出特征图y对应的真实数据分布，表示生成器对输入特征图x运算后的分布，表示对数函数；

步骤S44，计算最终的多级损失，具体见公式(7)所示：

（7）；

其中，表示多级损失函数值，、和表示权重参数，用于平衡组合感知 损失、内容损失和对抗损失的贡献。

进一步的，步骤S5中构建通道增强自注意力模块，具体为：

步骤S51，将自注意力机制和卷积块注意力模块结合生成通道增强自注意力模块，将通道增强自注意力模块融入到生成器中；

步骤S52，生成器将输入特征图输入到自注意力机制和卷积块注意力模块中进 行计算，产生自注意力机制和卷积块注意力模块的输出特征；

步骤S53，获得自注意力机制和卷积块注意力模块两个输出特征后，通过串联的形式进行最终通道增强自注意力模块的输出特征计算，整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系，具体如公式(8)所示：

（8）；

其中，表示通道增强自注意力模块的输出，表示自 注意力机制， CBAM表示卷积块注意力模块自注意力计算，自注意力机制通过学习权重来为 输入的特征图中的每个特征值分配不同的注意力。

进一步的，步骤S6中构建门控卷积模块，具体如下：

计算门控卷积值，门控卷积的具体计算过程见公式(9)所示：

（9）；

其中，表示对输入特征图x和输出特征图y的门控卷积操作， 的输出值在0至1之间，表示门控卷积的输入特征值，表示求和操作，表示像 素域，和表示两个不同的卷积核，表示门控卷积最终的计算值，和表示两个 不同的激活函数，表示元素相乘。

进一步的，步骤S7中设计多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估；具体如下：

步骤S71，将步骤S3至步骤S6构建的模块整合成多模态肝脏医学图像数据集扩充模型，进行测试实验验证模型的可行性和可靠程度；

步骤S72，在步骤S1中数据集上进行实验，获取生成的计算机断层扫描图像和磁共振成像图像；

步骤S73，采用峰值信噪比、结构相似度指数以及平均绝对值指标全面评估生成的计算机断层扫描图像和磁共振成像图像的质量；

步骤S74，利用步骤S73中峰值信噪比、结构相似度指数以及平均绝对值指标去量化生成图像的质量，为算法性能的分析评估提供客观依据。

本发明的有益效果是：

（1）本发明构建多尺度残差连接模块，建立输入和输出图像之间的残差学习关系并有效解决深层网络容易退化导致梯度消失或者爆炸的问题。

（2）本发明构建多级损失函数模块，促使网络生成更加合理图纹理特征。

（3）本发明构建通道增强自注意力模块，使得提高模型对医学图像局部和全局信息的感知能力并加强对通道间关系的学习，使生成的图像更加关注与纹理细节。

（4）本发明构建门控卷积模块，提升模型的收敛速度，提高生成图像的准确性和对关键结构的关注度。

（5）本发明能够高效的生成大量高质量的多种模态医学图像用于扩充现有的医学图像数据，缓解目前可公开获取的医学图像数据稀缺的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供基于生成对抗网络的多模态肝脏医学图像扩充算法流程图。

图2为本发明提供数据集制作过程图。

图3为本发明提供多尺度残差连接模块结构图。

图4为本发明提供通道增强自注意力模块结构图。

图5为本发明基于生成对抗网络的多模态肝脏医学图像扩充算法的实验结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明涉及深度学习、计算机视觉、生成对抗网络框架相关技术领域，尤其是关于深度学习和计算机视觉中的关于图像生成、图像修复的深度学习神经网络的设计和训练。本发明的目的是提供基于生成对抗网络的多模态肝脏医学图像扩充算法，借助图像修复的思路作为局部医学图像生成方法，并引入了多尺度残差连接模块、多级损失函数模块、通道增强自注意力模块以及门控卷积技术，以能够高效的生成大量高质量的多种模态医学图像用于扩充现有的医学图像数据为目的，缓解目前可公开获取的肝脏医学图像数据稀缺的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明采用图1所示流程图，方法及处理的关键步骤包括：

步骤S1：获取数据集，并对数据集中的计算机断层扫描图像数据进行预处理；

步骤S2：基于步骤S1预处理后的数据集，制作训练数据集；

步骤S3：基于步骤S2制作的训练数据集和防止训练数据集网络退化，构建多尺度残差连接模块；

步骤S4：基于需要充分提取步骤S2制作的训练数据集的复杂结构和多层次特征，构建多级损失函数模块；

步骤S5：整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系，构建通道增强自注意力模块；

步骤S6：消除步骤S3至步骤S5带来的参数量增加，构建门控卷积模块；

步骤S7：结合步骤S3的多尺度残差连接模块、步骤S4的多级损失函数模块、步骤S5的通道增强自注意力模块和步骤S6的门控卷积模块；构建多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估。

在以上7个主要步骤中，其中步骤S1和步骤S2是发明实施的基础，步骤S3至步骤S6最为核心，步骤S7是发明实施的论证。以上步骤的具体实施如下：

进一步的，步骤S1，具体设计为：

本发明所使用的数据集包括磁共振成像图像和计算机断层扫描图像，原始的医学图像均为三维的数据格式，但本发明针对的是二维格式的数据。因此第一步的预处理操作是将三维格式的数据集拆分为二维的切片数据。特别的，针对计算机断层扫描图像数据还需要进行豪斯菲尔德单位值调整的操作步骤。这是因为，计算机断层扫描图像中的像素值通常以豪斯菲尔德单位值表示，这是由于计算机断层扫描测量的组织密度与水的密度之间的差异。豪斯菲尔德单位值的调整是为了使计算机断层扫描图像的灰度值能够更直观地反映组织的生物学特性，同时方便医生对图像进行解释和诊断。在计算机断层扫描图像中，豪斯菲尔德单位值通常以零为水的密度，负值表示相对较低密度，正值表示相对较高密度。总体而言，通过豪斯菲尔德单位值的调整，医生可以更准确地识别和评估图像中的各种组织和异常，提高了图像的临床可用性。不同的调整步骤可能根据具体的临床任务和医生的需求而有所不同。

进一步的，步骤S2，具体设计为：

在步骤S1对数据集进行预处理后，需要进一步的进行用于实验的数据集的制作过程。在实验中，采用的计算机断层扫描图像来自计算机断层扫描图像分割挑战大赛的公开数据集，这是当前最大的开源肝脏分割数据集之一。计算机断层扫描图像分割挑战大赛的公开数据集包含了130名患者的计算机断层扫描图像，以及医生对这些图像中的肝脏和肿瘤进行的分割标注。将其中的130个三维计算机断层扫描图像用作训练集，另外70个三维计算机断层扫描图像用作验证集。这些图像涵盖了原发性肝脏肿瘤（如肝细胞癌和肝癌）以及继发性肿瘤（如来自结肠直肠癌的转移病变）的共同部位。为了统一处理，计算机断层扫描的像素值被调整到一个范围内，即[-800，100]豪斯菲尔德单位值。由于硬件性能限制，将这些数据集中所有切片的分辨率都调整为256×256，然后进行模型的训练和验证。磁共振成像图像数据集来自计算机断层扫描-磁共振成像联合健康腹部器官分割公开数据集，该数据集是一款专注于健康腹部器官（计算机断层扫描和磁共振成像图像）分割任务的医学图像数据集。计算机断层扫描-磁共振成像联合健康腹部器官分割公开数据集包含来自计算机断层扫描和磁共振成像扫描的高分辨率图像，涵盖肝脏、脾脏、胰腺、左肾和右肾多个器官。每个图像都经过专业医学影像专家的手动标注，提供了有关腹部器官的准确分割掩码。计算机断层扫描-磁共振成像联合健康腹部器官分割公开数据集的主要用途是促进医学图像分割算法的研发和评估，研究人员可借此训练和测试自动或半自动的分割方法，提高对健康腹部器官的准确分割。各数据包含的训练集和测试集数量如表1所示。

表1 数据集信息表

本发明实验均是基于以上两个数据集中的肝脏区域展开研究，利用数据集中包含的标注图像通过一定的调整使其成为实验中使用的掩码图像。因为本发明使用的是图像修复的思路进行实验，因此必须先获得包括缺损部分的医学图像，体现在本发明中就是需要优先获得缺损肝脏区域的医学图像。如图2所示，实验数据集基于原始的三维切片与其对应的肝脏部位标签值进行一定的运算得到需要的肝脏数据格式。

进一步的，步骤S3，具体设计为：

为了有效应对网络的退化问题、提升模型训练效果，在网络的生成器中设计并加入了多尺度残差连接模块，旨在建立输入和输出之间的残差学习关系，并将其融入了生成器的编码阶段中。在该模块中，采用3×3、5×5和7×7大小的卷积以及规范化、激活函数和连接操作来形成多尺度卷积模块。多尺度残差连接模块能够充分利用了三个不同尺度特征之间的优势，以提取更为详细的特征细节信息，从而有助于医学图像结构细节的高质量生成。与此同时，该结构可有效解决深层网络容易退化，导致梯度消失或者爆炸的问题，其结构如图3所示。

进一步的，步骤S4，具体设计为：

在医学图像生成任务中，使用多级损失函数是一种有效的策略，因为医学图像具有复杂的结构和多层次特征。通过在生成模型中引入感知损失、内容损失和对抗损失，可以更好地平衡模型对细节和整体结构的关注，处理数据的层次结构复杂性、噪声、类别不平衡问题，从而提高生成图像的质量和适用性，使其更符合医学领域的实际需求，因此设计了一种多级损失函数并将其融入到的生成算法中。所涉及的多级损失函数包括感知损失、内容损失和对抗损失三部分组成。其中，感知损失通常用于比较生成图像和真实图像在更高层次特征上的相似性，可以使用预训练的卷积神经网络（如VGG16网络）的中间层来计算。内容损失关注于生成图像与真实图像在特定层的表示上的相似性，可以通过计算两者在网络的某一中间层的特征差异来实现对抗损失基于生成对抗网络的思想，通过将生成图像与真实图像区分开。

进一步的，步骤S5，具体设计为：

自注意力并不总是能够很好地处理通道间的关系，而卷积块注意力模块则专注于通过通道注意力来强调不同通道的重要性。因此，为了提高模型对医学图像局部和全局信息的感知能力的同时，加强对通道间关系的学习，使得生成的图像更加关注与纹理细节，将自注意力机制和卷积块自注意力结合提出了一种通道增强自注意力模块并将其融入到网络的生成器中，其结构如图4所示。

在通道增强自注意力模块中包括自注意力机制和卷积块注意力模块中的空间和通道注意力机制共三个部分的注意力机制。在获得了自注意力和卷积块注意力模块的两个输出特征后再通过串联的形式进行最终的输出特征计算。

自注意力机制通过学习权重来为序列中的每个元素分配不同的注意力。在自注意力机制的计算过程中，首先通过三个线性变换得到查询值、关键值和计算值的表示。然后，计算查询值和关键值之间的相似度，采用点积的方式对相似度进行缩放计算并得到注意力分数。接下来，将注意力分数通过激活函数进行归一化并得到注意力权重。最后，将注意力权重与计算值相乘，得到自注意力机制的输出。

获得自注意力的输出后，还需要将输入特征图输入到卷积 块自注意力模块中计算另一部分的特征值，卷积块自注意力模块首先通过全局最大池化和 全局平均池化提取输入特征图在通道维度上的全局信息，通过全连接层后这些全局信息被 映射到两个权重向量，分别表示最大池化和平均池化权重向量。这两个权重向量经过激活 函数和批量归一化后，形成了通道注意力权重。同时，通过1×1卷积，生成了水平和垂直方 向的特征图，用于捕捉输入特征图在空间维度上的重要性，这些特征图通过激活函数、相 乘、归一化操作后形成了空间注意力权重。最终，将通道和空间注意力权重相乘，得到整合 后的注意力权重矩阵。这个矩阵用于加权输入特征图，产生卷积块自注意力模块的输出，从而完成了通道增强自注意力机制的计算过程。

进一步的，步骤S6，具体设计为：

门控卷积在医学图像生成领域具有重要的潜在益处。通过引入门控机制，门控卷积能够有效解决医学图像生成任务中的核心痛点并加快模型的训练速度。针对本发明的医学图像生成任务：首先，门控卷积有助于建模医学图像中的长程依赖关系，提高了对图像整体结构的理解能力；其次，通过抑制无关信息，网络更专注于关键区域，提高了生成图像的准确性和对关键结构的关注度。门控卷积还能处理医学图像的高度复杂结构，增强特征的表示能力，使得网络更能够学习和生成复杂的医学图像，提高生成图像的质量和真实感；同时，门控卷积改善了训练的稳定性，有助于应对深层网络训练中的梯度消失或爆炸问题；最终，门控卷积提高了对医学图像细节的捕捉能力，为生成高质量、清晰度高且富有细节的医学图像提供了潜在的解决方案。

进一步的，步骤S7，具体设计为：

使用峰值信噪比、结构相似性指数和平均绝对值误差这3个评价指标，在两个医学图像数据集计算机断层扫描图像分割挑战大赛的公开数据集和计算机断层扫描-磁共振成像联合健康腹部器官分割公开数据集上进行图像生成实验，其生成的实验结果如图5所示：

在图5中，左边3列为计算机断层扫描图像分割挑战大赛的公开数据集中的计算机断层扫描图像，掩码为数据集中对应与肝脏位置的标注，右边3列为计算机断层扫描-磁共振成像联合健康腹部器官分割公开数据集中的磁共振成像图像，掩码也为对应肝脏位置的标注，第一行表示真实的肝脏医学图像，第二行表示真实肝脏图像对应的肝脏区域标注，第三行表示缺失肝脏区域的图像，第四行表示最后生成的肝脏医学图像。从图中可以看到，使用本发明提出的方法生成的图像无论是计算机断层扫描图像还是磁共振成像图像，对应与肝脏位置的纹理和细节都无比接近真实的医学图像，同时从主观视觉的角度来看，生成区域与原图像中的肝脏区域又不完全一致，保持了丰富的特征多样性。

为客观的评价生成图像的效果，实验选取了3个广泛使用并认可的客观指标，包括结构相似度指数，峰值信噪比，平均绝对值方差来评价本发明算法在肝脏医学图像生成领域的性能。其中，结构相似度SSIM不仅可以衡量图像的失真程度，其值越小代表图像失真程度越低，反之越高，而且也可以用于衡量两张图像的相似程度，本质上是一个感知模型，其计算公式如公式(10)所示：

（10）；

其中，SSIM表示结构相似度，和分别表示一组生成图像和真实的图像，和分 别代表和的灰度平均值，和分别代表，灰度值的标准差，代表和灰度值的协 方差，、为常数，可避免分母为0带来的计算错误问题。

峰值信噪比基于对应像素点之间的误差，也就是基于误差敏感的图像评价标准，该指标未考虑人眼的视觉特性，因此可能出现与主观感受不一致的结果，常结合其他指标综合评价，但峰值信噪比值越大图像质量越好，其表达式如公式(11)所示：

（11）；

其中，，表示峰值信噪比，表示对数函数，表示X与Y的最 大像素值的平方，表示或者的全部像素个数，和分别表示两个不同的图像。

平均绝对值误差是一种用于衡量预测值误差的指标。对于一组预测值和相应的实际观测值，平均绝对误差的计算公式如公式（12）所示：

（12）；

其中，表示平均绝对值误差，是样本数量，是第个样本的实际观测值，是第个样本的预测值，平均绝对误差计算过程涉及对每个样本的绝对误差取平均。绝对 误差是实际观测值与预测值之间的差的绝对值。越小表示模型的预测越准确。

按照本发明所提出的方法，生成的新的肝脏医学图像的客观评价指标值均较好，具体的实验评估结果如表2所示：

表2 本发明生成肝脏图像客观评估结果

本发明系统使用计算机视觉前沿技术研究成果，通过设计高质量的多模态的肝脏医学图像扩充模型对肝脏医学图像数据集进行扩充，以支持后续大型分割模型的训练；通过以上一整套流程，实现高质量的肝脏医学图像数据集扩充。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：方法步骤如下：

步骤S1：获取数据集，并对数据集中的计算机断层扫描图像数据进行预处理；

步骤S2：基于步骤S1预处理后的数据集，制作训练数据集；

步骤S3：基于步骤S2制作的训练数据集，构建多尺度残差连接模块，防止训练数据集网络退化；

步骤S4：基于步骤S2制作的训练数据集的结构和多层次特征，构建多级损失函数模块；

步骤S5：整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系，构建通道增强自注意力模块；

步骤S6：消除步骤S3至步骤S5带来的参数量增加，构建门控卷积模块；

步骤S7：结合步骤S3的多尺度残差连接模块、步骤S4的多级损失函数模块、步骤S5的通道增强自注意力模块和步骤S6的门控卷积模块；构建多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估；

步骤S3中多尺度残差连接模块，具体为：

采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块；将3×3卷积核中提取的特征图、5×5卷积核中提取的特征图/>和7×7卷积核中提取的特征图/>连接起来，并使用3×3的卷积核融合连接的特征，得到多尺度卷积模块输出的特征即获得的新特征图F；基于获得的新特征图F得到多尺度残差连接模块；

步骤S4中构建多级损失函数模块，具体为：

多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成；内容损失关注于生成图像与真实图像在特定层的表示上的相似性，通过计算生成图像与真实图像在生成器的某一中间层的特征差异来实现；对抗损失区分开生成图像与真实图像；通过组合感知损失、内容损失和对抗损失得到最终的多级损失；

步骤S5中构建通道增强自注意力模块，具体为：

步骤S51，将自注意力机制和卷积块注意力模块结合生成通道增强自注意力模块，将通道增强自注意力模块融入到生成器中；

步骤S52，生成器将输入特征图输入到自注意力机制和卷积块注意力模块中进行计算，产生自注意力机制和卷积块注意力模块的输出特征；

步骤S53，获得自注意力机制和卷积块注意力模块两个输出特征后，通过串联的形式进行最终通道增强自注意力模块的输出特征计算，整合步骤S2制作的训练数据集中的位置信息和捕捉中长距离的依赖关系，具体如公式(8)所示：

（8）；

其中，表示通道增强自注意力模块的输出，/>表示自注意力机制， CBAM表示卷积块注意力模块自注意力计算，自注意力机制通过学习权重来为输入特征图/>中的每个特征值分配不同的注意力。

2.根据权利要求1所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S1中对数据集中的计算机断层扫描图像数据进行预处理；具体为：

步骤S11，将三维格式的公开数据集拆分为二维的切片数据集；

步骤S12，对三维格式的公开数据集中的计算机断层扫描图像数据进行豪斯菲尔德单位值调整。

3.根据权利要求2所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S2中制作训练数据集；具体为：

步骤S21，获取步骤S1中预处理完成的数据集，将分辨率调整为256×256；

步骤S22，将分辨率调整后的数据集部分用作训练集，另外部分用作验证集；随后进行基于生成对抗网络的多模态肝脏医学图像数据集扩充模型的训练和验证。

4.根据权利要求3所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S3中多尺度残差连接模块，具体步骤为：

步骤S31，采用3×3、5×5和7×7卷积核来形成多尺度残差连接模块；特征提取方程如公式(1)所示：

（1）；

其中，表示3×3卷积核中提取的特征图，/>表示3×3卷积操作，/>表示输入特征图，表示5×5卷积核中提取的特征图，/>表示5×5卷积操作，/>表示7×7卷积核中提取的特征图，/>表示7×7卷积操作；

步骤S32，将3×3卷积核中提取的特征图、5×5卷积核中提取的特征图/>和7×7卷积核中提取的特征图/>连接起来，并使用3×3的卷积核融合连接的特征，得到多尺度卷积模块输出的特征，表示为公式(2)所示：

（2）；

其中，表示获得的新特征图，/>表示特征串联；

基于获得的新特征图F得到多尺度残差连接模块，输出方程见公式(3)所示：

（3）；

其中，表示多尺度残差连接模块的输出。

5.根据权利要求4所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S4中构建多级损失函数模块，多级损失函数模块包括感知损失、内容损失和对抗损失三部分组成；具体为：

步骤S41，计算感知损失，感知损失的公式见公式(4)所示：

（4）；

其中，表示感知损失，/>表示生成器，/>表示计算的层数，/>表示对生成器第层进行求和，/>表示计算欧几里得范数的平方，/>表示生成器第/>层特征的元素个数，/>表示生成器第/>层的特征提取，/>表示输出特征图；

步骤S42，计算内容损失，具体公式为公式(5)所示：

（5）；

其中，表示内容损失，/>表示选择的特征提取；

步骤S43，计算对抗损失，对抗损失的公式见公式(6)所示：

（6）；

其中，表示对抗损失值，/>表示鉴别器，/>表示期望值，/>表示输出特征图y对应的真实数据分布，/>表示生成器对输入特征图x运算后的分布，/>表示对数函数；

步骤S44，计算最终的多级损失，具体见公式(7)所示：

（7）；

其中，表示多级损失函数值，/>、/>和/>表示权重参数，用于平衡组合感知损失、内容损失和对抗损失的贡献。

6.根据权利要求5所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S6中构建门控卷积模块，具体如下：

计算门控卷积值，门控卷积的具体计算过程见公式(9)所示：

（9）；

其中，表示对输入特征图x和输出特征图y的门控卷积操作，/>的输出值在0至1之间，/>表示门控卷积的输入特征值，/>表示求和操作，/>表示像素域，和/>表示两个不同的卷积核，/>表示门控卷积最终的计算值，/>和/>表示两个不同的激活函数，/>表示元素相乘。

7.根据权利要求6所述的基于生成对抗网络的多模态肝脏医学图像扩充算法，其特征是：步骤S7中设计多模态肝脏医学图像数据集扩充模型，对多模态肝脏医学图像数据集扩充模型进行实验和评估；具体如下：

步骤S71，将步骤S3至步骤S6构建的模块整合成多模态肝脏医学图像数据集扩充模型，进行测试实验验证模型的可行性和可靠程度；

步骤S72，在步骤S1中数据集上进行实验，获取生成的计算机断层扫描图像和磁共振成像图像；

步骤S73，采用峰值信噪比、结构相似度指数以及平均绝对值指标全面评估生成的计算机断层扫描图像和磁共振成像图像的质量；

步骤S74，利用步骤S73中峰值信噪比、结构相似度指数以及平均绝对值指标去量化生成图像的质量，为算法性能的分析评估提供客观依据。