CN116152235A - 一种肺癌ct到pet的医学图像跨模态合成方法 - Google Patents
一种肺癌ct到pet的医学图像跨模态合成方法 Download PDFInfo
- Publication number
- CN116152235A CN116152235A CN202310409782.3A CN202310409782A CN116152235A CN 116152235 A CN116152235 A CN 116152235A CN 202310409782 A CN202310409782 A CN 202310409782A CN 116152235 A CN116152235 A CN 116152235A
- Authority
- CN
- China
- Prior art keywords
- image
- pet
- data
- format
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 206010058467 Lung neoplasm malignant Diseases 0.000 title claims abstract description 20
- 201000005202 lung cancer Diseases 0.000 title claims abstract description 20
- 208000020816 lung neoplasm Diseases 0.000 title claims abstract description 20
- 238000001308 synthesis method Methods 0.000 title claims abstract description 13
- 238000002600 positron emission tomography Methods 0.000 title description 98
- 238000002591 computed tomography Methods 0.000 title description 77
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 27
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000003902 lesion Effects 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000001575 pathological effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000011158 quantitative evaluation Methods 0.000 description 5
- 102000017452 PET domains Human genes 0.000 description 4
- 108050005650 PET domains Proteins 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 230000002285 radioactive effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012636 positron electron tomography Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医疗影像领域，特别涉及一种肺癌CT到PET的医学图像跨模态合成方法，所述合成方法包括以下步骤：对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像。
Description
技术领域
本发明涉及一种肺癌CT到PET的医学图像跨模态合成方法。
背景技术
PET为正电子发射断层扫描成像技术，被广泛应用于各种癌症的分期和监测治疗，与正常组织相比，PET中使用的放射性示踪剂是许多癌症的有用标记物，有助于检测和定位恶性肿瘤；虽然PET成像具有多种优点，但PET使用的放射性成分会具有一定的危险性，同时整体价格较为昂贵，因此PET并不能得到广泛的应用。
随着深度学习算法在医学图像处理领域的发展，采用深度学习的算法来实现实现跨模态医学图像合成，以在不进行PET扫描的情况下即可实现PET图像的人工智能合成，辅助医生进行肺癌疾病的诊断。
现有的医学图像跨模态的合成方法通常包括基于生成对抗网络开发的两种模式：有监督的Pix2Pix模型和无监督的循环一致性模型；然而上述两种模式在实际应用中都不够理想；Pix2Pix模型虽然具有出色的性能，但需要成对或像素良好对齐的图像来作为基础；循环一致性模型虽然对训练数据要求不那么严格，但其最佳输出不是唯一解；进一步的，以卷积神经网络为主干的生成对抗网络在许多医学图像合成任务中虽然被称为最先进的模型，然而，基于卷积神经网络设计得到的生成器是利用紧凑的过滤器来执行局部处理，这种归纳偏差损害了上下文特征的学习，对于复杂解剖结构的医学图像来说，在全局特征的捕捉和远程交互建模以及显示病变区域方面仍然存在很大缺陷。
发明内容
本发明实施例提供了一种肺癌CT到PET的医学图像跨模态合成方法，方法设计合理，基于卷积神经网络、全卷积Transformer和RegGAN技术，采用数据预处理后的CT和PET数据集对模型进行训练，能够在训练的过程中，捕捉图像的局部信息和全局上下文信息，学习CT域图像到PET域图像的映射关系，进而准确迅速的完成从肺部CT图像到PET图像的合成，不同与仅基于卷积神经网络的医学图像合成模型和仅基于生成器和鉴别器的生成对抗网络模式，可以更好的捕捉与健康组织相关的病变组织的信息，合成的PET图像也能够较为清晰的反馈出病灶的位置，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像，将极大的降低由放射性成分对特定人群造成的风险，减轻用户的经济负担，显示了良好的临床应用潜力，解决了现有技术中存在的问题。
本发明为解决上述技术问题所采用的技术方案是：
一种肺癌CT到PET的医学图像跨模态合成方法，所述合成方法包括以下步骤：
S1，对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；
S2，基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，所述框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN-Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出；
所述生成器采用编码器-中间信息瓶颈层-解码器的结构，在编码器和解码器内分别设有卷积块以利用卷积操作的局部精度优势；所述中间信息瓶颈层采用全卷积Transformer模块和残差卷积块的混合结构，以捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构，也能在合成图像中实现高局部化和提升上下文敏感度以及高度的真实感；所述编码器和解码器用于通过卷积层来保持学习结构中的局部精度和归纳偏差；
S3，将成对的CT数据集和PET数据集输入到生成的框架模型进行训练，生成器和鉴别器在交替迭代的博弈过程中共同进化，以使生成器学习到最接近真实样本的数据分布；
S4, 保存经过训练后的模型，将npy格式的二维切片输入到训练好后的模型中，即可获得相应的PET图像。
对CT数据和PET数据进行数据预处理包括以下步骤：
S1.1，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；
S1.2，使用FSL工具把PET图像线性配准到CT图像上；
S1.3，将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[-1,1]之间；
S1.4，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。
利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式包括以下步骤：
S1.1.1，构建DICOM序列文件阅读器，打包整合后将数据转换为array格式；
S1.1.2，获取DICOM序列文件基本信息，将array格式转换为img格式并保存为NIFIT格式。
使用FSL工具把PET图像线性配准到CT图像上包括以下步骤：
S1.2.1，使用FSL工具将CT图像设置为固定图像，将PET图像设置为浮动图像；
S1.2.2，将CT图像和PET图像的自由度设置为12，采用代价函数设置交互信息，采用插值算法选择三线性插值，从而将PET图像配置到CT图像上。
所述全卷积Transformer模块包括卷积注意力模块和视野聚焦模块，所述卷积注意力模块用于学习远程语义上下文，所述视野聚焦模块用于使用多分辨率空洞卷积来学习局部和全局上下文；
在卷积注意力模块中，首先通过卷积嵌入层以将输入映射成指定数量的特征嵌入；其次卷积投影通过深度可分离卷积对每个特征嵌入进行投影以生成Q、K和V；最后对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算；
在视野聚焦模块中，采用多分支空调卷积层，以利用不同大小的感受野来获取较多数量的空间上下文信息，从而提取医学图像的细粒度信息，通过求和来融合多分支卷积层的特征。
在生成器G之后增设配准网络R作为标签噪声模型以提高合成图像G（x）的质量，具体的，修正损失为：
其中，x为输入的源域的CT图像， 
为目标域的PET图像，/>
是变形场，/>
表示重采样操作；
进一步的，可通过损失函数公式来评估变形场的光滑度并最小化变形场的梯度，损失函数公式为：
其中，x为输入的源域的CT图像， 
为目标域的PET图像， />
是变形场。
所述生成器G和鉴别器D之间的对抗性目标函数为：
其中，x为输入的源域的CT图像， 
为目标域的PET图像，/>
是变形场。
所述数据集以8：2的比例随机划分为训练集和测试集。
本发明采用上述结构，通过对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；通过设计得到的框架模型来捕捉图像的局部信息和全局上下文信息，来学习CT域图像到PET域图像的映射关系；通过对框架模型进行训练，以使生成器学习到最接近真实样本的数据分布；通过对训练后的框架模型进行保存，结合npy格式的二维切片得到相应的PET图像，具有精准实用、经济安全的优点。
附图说明
图1为本发明的跨模态医学图像合成模型示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。
如图1中所示，一种肺癌CT到PET的医学图像跨模态合成方法，所述合成方法包括以下步骤：
S1，对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；
S2，基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，所述框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN-Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出；
所述生成器采用编码器-中间信息瓶颈层-解码器的结构，在编码器和解码器内分别设有卷积块以利用卷积操作的局部精度优势；所述中间信息瓶颈层采用全卷积Transformer模块和残差卷积块的混合结构，以捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构，也能在合成图像中实现高局部化和提升上下文敏感度以及高度的真实感；所述编码器和解码器用于通过卷积层来保持学习结构中的局部精度和归纳偏差；
S3，将成对的CT数据集和PET数据集输入到生成的框架模型进行训练，生成器和鉴别器在交替迭代的博弈过程中共同进化，以使生成器学习到最接近真实样本的数据分布；
S4, 保存经过训练后的模型，将npy格式的二维切片输入到训练好后的模型中，即可获得相应的PET图像。
对CT数据和PET数据进行数据预处理包括以下步骤：
S1.1，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；
S1.2，使用FSL工具把PET图像线性配准到CT图像上；
S1.3，将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[-1,1]之间；
S1.4，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。
利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式包括以下步骤：
S1.1.1，构建DICOM序列文件阅读器，打包整合后将数据转换为array格式；
S1.1.2，获取DICOM序列文件基本信息，将array格式转换为img格式并保存为NIFIT格式。
使用FSL工具把PET图像线性配准到CT图像上包括以下步骤：
S1.2.1，使用FSL工具将CT图像设置为固定图像，将PET图像设置为浮动图像；
S1.2.2，将CT图像和PET图像的自由度设置为12，采用代价函数设置交互信息，采用插值算法选择三线性插值，从而将PET图像配置到CT图像上。
所述全卷积Transformer模块包括卷积注意力模块和视野聚焦模块，所述卷积注意力模块用于学习远程语义上下文，所述视野聚焦模块用于使用多分辨率空洞卷积来学习局部和全局上下文；
在卷积注意力模块中，首先通过卷积嵌入层以将输入映射成指定数量的特征嵌入；其次卷积投影通过深度可分离卷积对每个特征嵌入进行投影以生成Q、K和V；最后对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算；
在视野聚焦模块中，采用多分支空调卷积层，以利用不同大小的感受野来获取较多数量的空间上下文信息，从而提取医学图像的细粒度信息，通过求和来融合多分支卷积层的特征。
在生成器G之后增设配准网络R作为标签噪声模型以提高合成图像G（x）的质量，具体的，修正损失为：
其中，x为输入的源域的CT图像，
为目标域的PET图像，/>
是变形场，/>
表示重采样操作；
进一步的，可通过损失函数公式来评估变形场的光滑度并最小化变形场的梯度，损失函数公式为：
其中，x为输入的源域的CT图像，
为目标域的PET图像， />
是变形场。
所述生成器G和鉴别器D之间的对抗性目标函数为：
其中，x为输入的源域的CT图像， 
为目标域的PET图像，/>
是变形场。
所述数据集以8：2的比例随机划分为训练集和测试集。
本发明实施例中的一种肺癌CT到PET的医学图像跨模态合成方法的工作原理为：基于卷积神经网络、全卷积Transformer和RegGAN技术，采用数据预处理后的CT和PET数据集对模型进行训练，能够在训练的过程中，捕捉图像的局部信息和全局上下文信息，学习CT域图像到PET域图像的映射关系，进而准确迅速的完成从肺部CT图像到PET图像的合成，不同与仅基于卷积神经网络的医学图像合成模型和仅基于生成器和鉴别器的生成对抗网络模式，可以更好的捕捉与健康组织相关的病变组织的信息，合成的PET图像也能够较为清晰的反馈出病灶的位置，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像，将极大的降低由放射性成分对特定人群造成的风险，减轻用户的经济负担，显示了良好的临床应用潜力和普及应用范围。
进一步的，本申请的目标是构建一个深度学习网络，利用卷积神经网络和全卷积Transformer在计算机视觉中的优势并结合到RegGAN模式，以改善医学图像合成质量。
在整体方案中，所述合成方法主要包括以下步骤：数据预处理、模型设计、模型训练和合成图片。
对于数据预处理步骤，是对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；具体的，首先利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；再使用FSL工具把PET图像线性配准到CT图像上；再次将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[-1,1]之间；最后将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。
DICOM格式为医学数字成像和通信格式，为在医院采集的原始数据；NIFIT格式为神经影像信息学技术倡议格式，经过转换并在原始数据中删除患者的隐私数据。
经由数据预处理后，在RegCAN模式下设计得到框架模型，所述框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN-Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出。
其中，基于全卷积Transformer模块的生成器采用编码器-中间信息瓶颈层-解码器的结构，通过中间信息瓶颈层来提取特定任务信息，编码器和解码器利用卷积层来保持学习结构表示中的局部精度和归纳偏差。
优选的，全卷积Transformer模块包括卷积注意力模块和视野聚焦模块，所述卷积注意力模块用于学习远程语义上下文，所述视野聚焦模块用于使用多分辨率空洞卷积来学习局部和全局上下文。
在卷积注意力模块中，首先通过卷积嵌入层以将输入映射成指定数量的特征嵌入；其次卷积投影通过深度可分离卷积对每个特征嵌入进行投影以生成Q、K和V；最后对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算。
在视野聚焦模块中，采用多分支空调卷积层，以利用不同大小的感受野来获取较多数量的空间上下文信息，从而提取医学图像的细粒度信息，通过求和来融合多分支卷积层的特征。
进一步的，本申请的鉴别器使用由五个卷积层和一个全连接层组成的二分类器。
对于配准网络，采用基于ResUNet的可变形配准来校正生成器合成的结果，通过训练卷积神经网络模型来来预测可变形矢量场，从而省去耗时的梯度求导过程，可以提高计算效率；因此为了获得更好的合成效果，在生成器G之后添加配准网络R作为标签噪声模型，提高合成图像G(x)的质量。
具体的，修正损失为：
其中，x为输入的源域的CT图像，
为目标域的PET图像，/>
是变形场，/>
表示重采样操作。
此外，并通过以下损失函数公式，以评估变形场的光滑度并最小化变形场的梯度：
底层网络框架仍然涉及GAN的零和博弈思想，生成器G和鉴别器D被连续训练以在训练过程中相互竞争，并最终被引入到期望的理想状态。在这个过程中，通过训练生成器G从输入的CT图像x产生目标域图像G(x)，并训练鉴别器D能够区分真实PET图像y和合成的PET图像G(x)。对抗性损失目标函数如下：
其中，生成器G和鉴别器D相互对抗，G最小化该目标函数，D最大化该目标函数。
对于本申请的实验装置，数据集以8：2的比例随机划分为训练集和测试集，从扫描的肺癌患者全身CT/PET数据中，挑选每位患者的肺部CT和PET二维切片，将这些切片重采样到256×256大小，并归一化到[-1,1]；深度学习模型采用相应的语言在特定的图形处理器进行训练，使用优化器，进而获取相应的医学图像。
本申请的框架模型能更好的捕捉与健康组织相关的病变组织的信息，合成的PET图像也能够较为清晰的看到病灶的位置。
一般情况下，是使用三种客观的指标来对合成的PET图像进行定量评估，包括归一化平均绝对误差、峰值信噪比和结构相似性指标；归一化平均绝对误差是基于像素测量合成图像和真实图像之间的差异，值越低则表明合成图像的质量越好；峰值信噪比是人类对重建质量感知的近似值，能够量化图像合成的质量，值越高越好；结构相似性量化了合成图像和真实图像之间的整体相似性，值越接近于1则表明合成图像与真实的目标图像越相似。
经过定量评估之后，从定量评估结果中可以看出，合成的PET图像相比于真实的PET图像，归一化平均绝对误差较低、峰值信噪比较高、结构相似性指标接近1，表明生成的PET图像质量较高并且与真实的PET图像形状相似。
特别说明的是，和现有一些技术相对比，本申请也具有明显的创新和改进，现根据每项技术的特性来进行具体阐述：
在名称为“跨模态医学图像合成方法、系统、终端及存储介质”的申请文件中，在3DCGAN的基础上进行改进，生成器为U-Net；生成器使用的损失函数为MAE，判别器使用的损失函数为MSE；方法比较老旧、缺乏创新性，并没有加入图像预处理的步骤，也没有加入图像生成的定量评估和定性评估，只能在一定程度上解决在成对数据有限的情况下提高特定受试者多模态影像的合成效果。
在名称为“一种基于生成式对抗网络的多模态医学图像合成方法”的申请文件中，只适用于单一模态输入的问题，没有加入图像预处理的步骤，仅加入实验结果定量评估没有加入实验结果定性评估，没有针对单一任务进行微调，临床应用前景有一定的局限性。
在名称为“一种医学图像跨模态合成方法、系统及可读存储介质”的申请文件中，在生成器的下三层的跳转连接中加入了swin-transformer块来提取全局特征，改进比较简单，仅加入实验结果定量评估没有加入实验结果定性评估。
与上述三个申请文件相比，本申请是仅针对于肺癌CT到PET图像的合成，更有针对性，在RegGAN的基础上设计模型，整个框架除生成器、鉴别器外还加入了配准网络；配准网络用来求得随机变形场来校正生成器的输出；生成器使用编码器-中间信息瓶颈层-解码器的结构。编码器和解码器仅包含卷积块以便利用卷积操作的局部精度优势；中间信息瓶颈层使用全卷积Transformer和残差卷积块的混合结构，能够更好的捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构。
综上所述，本发明实施例中的一种肺癌CT到PET的医学图像跨模态合成方法基于卷积神经网络、全卷积Transformer和RegGAN技术，采用数据预处理后的CT和PET数据集对模型进行训练，能够在训练的过程中，捕捉图像的局部信息和全局上下文信息，学习CT域图像到PET域图像的映射关系，进而准确迅速的完成从肺部CT图像到PET图像的合成，不同与仅基于卷积神经网络的医学图像合成模型和仅基于生成器和鉴别器的生成对抗网络模式，可以更好的捕捉与健康组织相关的病变组织的信息，合成的PET图像也能够较为清晰的反馈出病灶的位置，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像，将极大的降低由放射性成分对特定人群造成的风险，减轻用户的经济负担，显示了良好的临床应用潜力和普及应用范围。
上述具体实施方式不能作为对本发明保护范围的限制，对于本技术领域的技术人员来说，对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
本发明未详述之处，均为本技术领域技术人员的公知技术。
Claims (8)
1.一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，所述合成方法包括以下步骤：
S1，对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；
S2，基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，所述框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN-Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出；
所述生成器采用编码器-中间信息瓶颈层-解码器的结构，在编码器和解码器内分别设有卷积块以利用卷积操作的局部精度优势；所述中间信息瓶颈层采用全卷积Transformer模块和残差卷积块的混合结构，以捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构，也能在合成图像中实现高局部化和提升上下文敏感度以及高度的真实感；所述编码器和解码器用于通过卷积层来保持学习结构中的局部精度和归纳偏差；
S3，将成对的CT数据集和PET数据集输入到生成的框架模型进行训练，生成器和鉴别器在交替迭代的博弈过程中共同进化，以使生成器学习到最接近真实样本的数据分布；
S4, 保存经过训练后的模型，将npy格式的二维切片输入到训练好后的模型中，即可获得相应的PET图像。
2.根据权利要求1所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，对CT数据和PET数据进行数据预处理包括以下步骤：
S1.1，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；
S1.2，使用FSL工具把PET图像线性配准到CT图像上；
S1.3，将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[-1,1]之间；
S1.4，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。
3.根据权利要求2所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式包括以下步骤：
S1.1.1，构建DICOM序列文件阅读器，打包整合后将数据转换为array格式；
S1.1.2，获取DICOM序列文件基本信息，将array格式转换为img格式并保存为NIFIT格式。
4.根据权利要求2所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，使用FSL工具把PET图像线性配准到CT图像上包括以下步骤：
S1.2.1，使用FSL工具将CT图像设置为固定图像，将PET图像设置为浮动图像；
S1.2.2，将CT图像和PET图像的自由度设置为12，采用代价函数设置交互信息，采用插值算法选择三线性插值，从而将PET图像配置到CT图像上。
5.根据权利要求1所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于：所述全卷积Transformer模块包括卷积注意力模块和视野聚焦模块，所述卷积注意力模块用于学习远程语义上下文，所述视野聚焦模块用于使用多分辨率空洞卷积来学习局部和全局上下文；
在卷积注意力模块中，首先通过卷积嵌入层以将输入映射成指定数量的特征嵌入；其次卷积投影通过深度可分离卷积对每个特征嵌入进行投影以生成Q、K和V；最后对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算；
在视野聚焦模块中，采用多分支空调卷积层，以利用不同大小的感受野来获取较多数量的空间上下文信息，从而提取医学图像的细粒度信息，通过求和来融合多分支卷积层的特征。
6.根据权利要求1所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于：在生成器G之后增设配准网络R作为标签噪声模型以提高合成图像G（x）的质量，具体的，修正损失为：
进一步的，可通过损失函数公式来评估变形场的光滑度并最小化变形场的梯度，损失函数公式为：
7.根据权利要求6所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，所述生成器G和鉴别器D之间的对抗性目标函数为：
8.根据权利要求1所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于：所述数据集以8：2的比例随机划分为训练集和测试集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310409782.3A CN116152235A (zh) | 2023-04-18 | 2023-04-18 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310409782.3A CN116152235A (zh) | 2023-04-18 | 2023-04-18 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152235A true CN116152235A (zh) | 2023-05-23 |
Family
ID=86358523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310409782.3A Withdrawn CN116152235A (zh) | 2023-04-18 | 2023-04-18 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152235A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
| CN118351211A (zh) * | 2024-06-18 | 2024-07-16 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 |
| CN118967866A (zh) * | 2024-10-21 | 2024-11-15 | 南京航空航天大学 | 基于切片连续性和语义分割增强的pet-ct图像合成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| US20200311932A1 (en) * | 2019-03-28 | 2020-10-01 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Synthetic Medical Image Generation |
| CN113012086A (zh) * | 2021-03-22 | 2021-06-22 | 上海应用技术大学 | 一种跨模态图像的合成方法 |
| CN114240753A (zh) * | 2021-12-17 | 2022-03-25 | 平安医疗健康管理股份有限公司 | 跨模态医学图像合成方法、系统、终端及存储介质 |
| CN115311183A (zh) * | 2022-08-08 | 2022-11-08 | 广东工业大学 | 一种医学图像跨模态合成方法、系统及可读存储介质 |
-
2023
- 2023-04-18 CN CN202310409782.3A patent/CN116152235A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200111194A1 (en) * | 2018-10-08 | 2020-04-09 | Rensselaer Polytechnic Institute | Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle) |
| US20200311932A1 (en) * | 2019-03-28 | 2020-10-01 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Synthetic Medical Image Generation |
| CN113012086A (zh) * | 2021-03-22 | 2021-06-22 | 上海应用技术大学 | 一种跨模态图像的合成方法 |
| CN114240753A (zh) * | 2021-12-17 | 2022-03-25 | 平安医疗健康管理股份有限公司 | 跨模态医学图像合成方法、系统、终端及存储介质 |
| CN115311183A (zh) * | 2022-08-08 | 2022-11-08 | 广东工业大学 | 一种医学图像跨模态合成方法、系统及可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| LINGKE KONG 等: "Breaking the Dilemma of Medical Image-to-image Translation", ARXIV, pages 1 - 18 * |
| 刘培: "基于配准对抗神经网络的RegGAN模型将CBCT图像转换为伪CT用于鼻咽癌自适应放疗可行性的研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 02, pages 072 - 2768 * |
| 肖晨晨 等: "融合残差和对抗网络的跨模态PET图像合成方法", 《计算机工程与应用》, vol. 58, no. 01, pages 218 - 223 * |
| 胡圣烨: "基于深度学习的医学影像跨模态合成", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 01, pages 060 - 53 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422788A (zh) * | 2023-12-19 | 2024-01-19 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
| CN117422788B (zh) * | 2023-12-19 | 2024-03-26 | 英瑞云医疗科技(烟台)有限公司 | 一种基于ct脑梗图像生成dwi图像的方法 |
| CN118351211A (zh) * | 2024-06-18 | 2024-07-16 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 |
| CN118351211B (zh) * | 2024-06-18 | 2024-08-30 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 |
| CN118967866A (zh) * | 2024-10-21 | 2024-11-15 | 南京航空航天大学 | 基于切片连续性和语义分割增强的pet-ct图像合成方法 |
| CN118967866B (zh) * | 2024-10-21 | 2025-02-07 | 南京航空航天大学 | 基于切片连续性和语义分割增强的pet-ct图像合成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dar et al. | Image synthesis in multi-contrast MRI with conditional generative adversarial networks | |
| US11430140B2 (en) | Medical image generation, localizaton, registration system | |
| CN110163897B (zh) | 一种基于合成超声图像的多模态图像配准方法 | |
| CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
| Yang et al. | Synthesizing multi-contrast MR images via novel 3D conditional Variational auto-encoding GAN | |
| CN113808106B (zh) | 一种基于深度学习的超低剂量pet图像重建系统及方法 | |
| CN116129235B (zh) | 一种脑梗ct到mri常规序列的医学图像跨模态合成方法 | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN118351211B (zh) | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 | |
| CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
| CN103020976A (zh) | 一种基于带权模糊互信息的三维医学图像配准方法及系统 | |
| CN117710681A (zh) | 基于数据增强策略的半监督医学影像分割方法 | |
| CN117958970A (zh) | 一种基于ct与激光口扫的口腔手术实时导航方法 | |
| CN112150564B (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| Cai et al. | Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis | |
| Han et al. | A deep learning model for multi-domain MRI synthesis using generative adversarial networks | |
| CN118071865B (zh) | 一种脑梗ct到t1的医学图像跨模态合成方法及装置 | |
| CN117974832B (zh) | 基于生成对抗网络的多模态肝脏医学图像扩充算法 | |
| Chen et al. | Counterfactual condition diffusion with continuous prior adaptive correction for anomaly detection in multimodal brain mri | |
| CN113205567A (zh) | 基于深度学习的mri影像合成ct影像的方法 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| Huang et al. | 3d hand bones and tissue estimation from a single 2d x-ray image via a two-stream deep neural network | |
| Zanzaney et al. | Super Resolution in Medical Imaging | |
| CN115937588A (zh) | 一种多模态阿尔茨海默病病理图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230523 |
|
| WW01 | Invention patent application withdrawn after publication |