[go: up one dir, main page]

CN113792736B - 基于深度学习的医学图像处理方法、设备及介质 - Google Patents

基于深度学习的医学图像处理方法、设备及介质 Download PDF

Info

Publication number
CN113792736B
CN113792736B CN202111235591.7A CN202111235591A CN113792736B CN 113792736 B CN113792736 B CN 113792736B CN 202111235591 A CN202111235591 A CN 202111235591A CN 113792736 B CN113792736 B CN 113792736B
Authority
CN
China
Prior art keywords
image
medical image
region
feature
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111235591.7A
Other languages
English (en)
Other versions
CN113792736A (zh
Inventor
杨海波
廖术
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202111235591.7A priority Critical patent/CN113792736B/zh
Publication of CN113792736A publication Critical patent/CN113792736A/zh
Application granted granted Critical
Publication of CN113792736B publication Critical patent/CN113792736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的医学图像处理方法、设备及介质，其中该方法包括：获取初始医学图像；获取所述初始医学图像中影响诊断的感兴趣区域；通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。本发明能够解决现有技术中医学图像影响医生诊断时需要重新进行扫描的问题。

Description

基于深度学习的医学图像处理方法、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的医学图像处理方法、设备及介质。
背景技术
医学成像技术是各种疾病的重要检查和筛选方式。例如，扩散加权成像(diffusion-weighted imaging，DWI)是唯一能够检测活体组织内水分子扩散运动的无创性方法，主要用于超早期脑缺血诊断。
然而，在实际应用中，扫描得到的医学图像中可能存在各种不利因素而影响医生诊断。比如，由于患者的自主运动导致图像中产生伪影、由于扫描部位出血导致医生难以准确辨识、或者由于图像中关键诊断区域不明显(例如前列腺DWI图像中存在膀胱区域，导致前列腺区域不能凸显，影响医生观察)等。对此，通常需要对患者进行重新扫描，这不但增加了放射科医生以及患者的负担，而且对患者每进行一次扫描所产生的辐射都会对患者造成伤害。
发明内容
针对现有技术中医学图像影响医生诊断时需要重新进行扫描的问题，本发明提供一种基于深度学习的医学图像处理方法、设备及介质。
为了实现上述目的，本发明提供一种基于深度学习的医学图像处理方法，包括：
获取初始医学图像；
获取所述初始医学图像中影响诊断的感兴趣区域；
通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
获取所述感兴趣区域的掩码图；
基于所述初始医学图像，获取第一图像特征；
基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
优选地，所述基于所述第一图像特征和第二图像特征，生成所述目标医学图像，包括：
将所述第一图像特征和第二图像特征进行融合，得到融合特征；
基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
优选地，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括若干训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
优选地，所述基于所述掩码图，获取第二图像特征，包括：
对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。
优选地，在对所述感兴趣区域进行优化时，所述方法还包括：
根据输入的第一目标扫描参数，对所述初始医学图像的扫描参数进行转换。
优选地，当所述初始医学图像中不包括所述感兴趣区域时，所述方法还包括：
根据输入的第二目标扫描参数，对所述初始医学图像的扫描参数进行转换。
为了实现上述目的，本发明还提供一种基于深度学习的医学图像处理方法，包括：
获取初始医学图像；
根据输入的目标扫描参数，对所述初始医学图像的扫描参数进行转换，得到与所述初始医学图像对应的转换医学图像。
优选地，所述方法还包括：
获取所述初始医学图像中影响诊断的感兴趣区域；
通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
获取所述感兴趣区域的掩码图；
基于所述初始医学图像，获取第一图像特征；
基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
优选地，所述基于所述第一图像特征和第二图像特征，生成所述目标医学图像，包括：
将所述第一图像特征和第二图像特征进行融合，得到融合特征；
基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
优选地，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
优选地，所述基于所述掩码图，获取第二图像特征，包括：
对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。为了实现上述目的，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法。
通过采用上述技术方案，本发明具有如下有益效果：
本发明通过获取所述初始医学图像中影响诊断的感兴趣区域，并对所述感兴趣区域进行优化，以得到与所述初始医学图像对应的目标医学图像，从而有助于医生更好更快的诊断图像中的病灶，进而不再需对患者进行重新扫描，既减少了放射科医生及患者的负担，缩短了看病流程、节约了成本，又降低了辐射对患者造成的伤害。此外，本发明仅对影响诊断的感兴趣区域进行优化，优化效率高。
附图说明
图1为本发明实施例1的基于深度学习的医学图像处理方法的流程图；
图2为本发明实施例1中多任务学习模型的训练流程图；
图3为本发明实施例1中步骤S13的实现流程图；
图4为本发明实施例1中步骤S134的实现流程图；
图5为本发明实施例1中图像生成模型的训练流程图；
图6为本发明实施例2中图像生成模型的训练流程图；
图7为本发明实施例3的基于深度学习的医学图像处理方法的流程图；
图8为本发明实施实施例3中步骤S14的实现流程图；
图9为本发明实施实施例3中参数转换模型的训练流程图；
图10为本发明实施例5的基于深度学习的医学图像处理系统的结构框图；
图11为本发明实施例6的电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
实施例1
本实施例提供一种基于深度学习的医学图像处理方法，如图1所示，该方法具体包括以下步骤：
S11，获取初始医学图像。
在本实施例中，初始医学图像是指根据医学成像技术扫描得到的图像，即通过医学成像设备对扫描部位进行扫描得到的医学图像，例如MR图像(如DWI图像)、CT图像、T2W图像等等。其中，扫描部位可以包括生物体的组织、器官等。
S12，获取所述初始医学图像中影响诊断的感兴趣区域。
在本实施例中，可以采用预先训练的多任务学习模型获取所述初始医学图像中影响诊断的感兴趣区域。其中，影响诊断的感兴趣区域可以是图像中的伪影或噪声区域，也可以是图像中除关键诊断部位以外的其它区域。
在具体实现过程，将初始医学图像输入到该多任务学习模型后，该多任务学习模型即判断该初始医学图像是否影响诊断，并在该初始医学图像影响诊断时输出其中影响诊断的感兴趣区域的掩码图。
其中，本实施例在对多任务学习模型进行训练时，如图2所示，具体训练过程如下：
S21，获取若干第一训练图像，并对各第一训练图像进行是否影响诊断的标签标记(例如当第一训练图像不影响诊断时，标签标记为0，反之，标签标记为1)，同时在影响诊断的各第一训练图像中标注出影响诊断的感兴趣区域的掩码，得到对应的第一金标准。
S22，将第一训练图像输入至待训练的多任务学习模型中进行处理，该多任务学习模型将输出所述第一训练图像是否影响诊断的判断结果，并在第一训练图像影响诊断时输出其中影响诊断的感兴趣区域的掩码图；
S23，根据所述多任务学习模型输出的结果及所述第一金标准，计算相应的第一损失函数。所述第一损失函数用于表征所述多任务学习模型输出的结果与所述第一金标准之间的误差。
S24，根据第一损失函数对所述多任务学习模型进行迭代训练，直到满足预设的第一训练终止条件。
由于多任务学习模型在训练过程中学习了第一金标准，而第一金标准中既包含了各第一训练图像是否影响诊断的标签，又包含了第一训练图像影响诊断时的感兴趣区域掩码，因而通过上述步骤训练得到的多任务学习模型，能够准确判断初始医学图像是否影响诊断，同时能够在该初始医学图像影响诊断时，准确输出影响诊断的感兴趣区域的掩码图。
需要说明的是，训练图像中可能存在某些区域有伪影或失真、但并不影响医生诊断的情况，对于这些区域，并不将其标注为是影响诊断的感兴趣区域。
在本实施例中，多任务学习模型是指能够同时完成多个任务的学习模型，如前所述能够同时完成图像分类和分割任务。应该理解，本实施例的多任务学习模型还可以根据需要完成其它任务，只需在训练时进行相应学习即可。其中，多任务学习模型可以使用自然图像处理技术中的很多模型(比如MASK R-CNN模型)实现。
S13，通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。
可见，本实施例通过获取所述初始医学图像中影响诊断的感兴趣区域，并对所述感兴趣区域进行优化，以得到与所述初始医学图像对应的目标医学图像。从而，能够有助于医生更好更快的诊断病灶，进而不再需对患者进行重新扫描，既减少了放射科医生及患者的负担，缩短了看病流程、节约了成本，又降低了辐射对患者造成的伤害。此外，本发明仅对影响诊断的感兴趣区域进行优化，而对于某些即使有伪影或失真但不影响医生诊断的区域，并不进行优化，从而提高了优化效率。
在本实施例中，步骤S13通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。具体地当感兴趣区域包括图像中的伪影或噪声区域时，通过对所述感兴趣区域进行修复处理实现优化，以将感兴趣区域修复成清晰图像，便于医生进行识别；当感兴趣区域是图像中除关键诊断部位以外的其它区域时，通过对所述感兴趣区域进行抑制处理实现优化，以将感兴趣区域处理成简单背景(如纯色背景)，从而使关键诊断部位凸显，便于医生观察。
在本实施例中，如图3所示，不论是对感兴趣区域进行修复处理还是抑制处理，步骤S13均可以通过如下步骤实现：
S131，获取所述感兴趣区域的掩码图。
在本实施例中，可以通过获取前述多任务学习模型的输出结果得到所述感兴趣区域的掩码图。
S132，基于所述初始医学图像，获取第一图像特征。
在本实施例中，可以通过预先训练的恒等映射模型的编码模块作为特征提取器来提取所述初始医学图像的高维特征，记为第一图像特征。
本实施例中的恒等映射模型可以采用图像映射领域的卷积神经网络或者自编码模型实现。其中，自编码模型包括编码模块和解码模块，卷积神经网络可以设计为包括下采样结构和上采样结构，下采样结构即可作为编码模块，上采样模块即可作为解码模块。
在对恒等映射模型进行训练时，可以增加相应的约束(即损失函数)，使恒等映射模型兼容配准功能。
S133，基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征。
在本实施例中，第二图像特征可以通过两种方式获取：方式一、采用预先训练的特征压缩模型直接对所述掩码图进行特征提取和压缩处理，得到所述第二图像特征；方式二、通过特征压缩模型对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征，具体地，首先在初始医学图像中提取出掩码图对应的区域，再通过特征压缩模型对提取出的区域进行特征提取和压缩处理。其中，方式一有利于去除掩码图中原图信息的干扰，方式二有利于保留和强调掩码中原图的信息，具体选择那种方式取决于任务需要，例如，如果需要对感兴趣区域进行抑制，则方式一较佳，如果需要对感兴趣区域进行修复，则方式二较佳。
具体地，特征压缩模型可以复用前述恒等映射模型的编码模块，也可以采用视觉领域训练好的特征提取器实现，本实施对此不做具体限制。
S134，基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
本实施例通过获取所述感兴趣区域的掩码图，并基于所述初始医学图像，获取第一图像特征，同时基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；最后基于所述第一图像特征和第二图像特征，生成目标医学图像，由于第一图像特征反映了初始医学图像的整体特征，第二图像特征反映了感兴趣区域掩码图的局部图像特征，因而通过结合第一图像特征和第二图像特征生成目标医学图像，能够提高目标医学图像的准确性，有助于医生更好更快地诊断病灶。
在本实施例中，如图4所示，步骤S134的具体实现过程如下：
S1341，将所述第一图像特征和第二图像特征进行融合，得到融合特征。
在本实施例中，可以通过将第一图像特征和第二图像特征进行对应拼接、相加或相乘等其中一种方式来实现两者的融合。其中，拼接是指将对应像素点的第一图像特征和第二图像特征进行拼接得到融合特征，相加是指将对应像素点的第一图像特征和第二图像特征进行相加得到融合特征，相乘是指将对应像素点的第一图像特征和第二图像特征进行相乘得到融合特征。
S1342，基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
在本实施例中，所生成的目标医学图像即为对初始医学图像进行优化后得到的图像。
本实施例通过融合第一图像特征和第二图像特征能够便于图像生成模型处理，同时由于图像生成模型预先经过了训练，从而能够准确生成与融合特征对应的目标医学图像。
在本实施例中，如图5所示，所述图像生成模型的训练过程如下：
S31，获取数据集，所述数据集包括第二训练图像以及与所述第二训练图像对应的第二金标准。其中，当所训练的图像生成模型是为了对感兴趣区域进行修复处理时，所述第二金标准包括与第二训练图像对应的修复金标准图像；当所训练的图像生成模型是为了对感兴趣区域进行抑制处理时，所述第二金标准包括与第二训练图像对应的抑制金标准图像。
S32，获取所述第二训练图像中的感兴趣区域，并按照以下步骤获取第二训练图像对应的融合特征：获取所述第二训练图像中的感兴趣区域掩码图；基于所述第二训练图像，获取第三图像特征，基于第二训练图像中的感兴趣区域掩码图，获取与所述第三图像特征维度相同的第四图像特征；将所述第三图像特征和第四图像特征进行融合，得到第二训练图像对应的融合特征。
S33，将第二训练图像对应的融合特征输入至待训练的图像生成模型中进行处理，该图像生成模型将输出所述第二训练图像对应的预测医学图像。
S34，根据所述图像生成模型输出的结果及所述第二金标准，计算相应的第二损失函数。所述第二损失函数用于表征所述图像生成模型输出的结果与所述第二金标准之间的误差。
S35，根据第二损失函数对所述图像生成模型进行迭代训练，直到满足预设的第二训练终止条件。
本实施例利用根据所述图像生成模型输出的结果及所述第二金标准计算得到的第二损失函数进行监督学习，对图像生成模型进行迭代训练，使得模型能够很好地学习到第二金标准中的特征，最终训练得到精确的图像生成模型。
此外，由于医学领域很难获得大量配对良好的样本对(一般不会有大量患者愿意进行重复扫描)，因而所述图像生成模型优选采用非配对的数据集训练得到，训练得到的模型即为非配对的图像生成模型。
具体地，非配对的数据集是指其中的第二训练图像与对应的金标准并非相匹配的扫描图像，两者可以来自于不同的患者。例如，第二训练图像为患者甲的前列腺区域DWI图像，而其对应的金标准为患者乙的前列腺区域DWI图像，其中第二训练图像影响医生诊断，其对应的金标准不影响医生诊断。采用非配对数据集训练图像生成模型的理论依据是，不同患者同一部位的组织结构特征是相似的。
本实施例通过采用非配对的数据集来训练图像生成模型，使得训练得到的图像生成模型能够利用大数据中相似的组织结构特征来修复图像，从而无需借助大量的配对数据也可有效地对医学图像进行修复，克服医学成像中难以获得大量配对良好数据的缺陷。
具体地，本实施例中的图像生成模型可以采用非配对的图像生成对抗网络实现。
此外，当图像生成模型在训练时增加与第二训练图像的扫描参数不同、模态不同的医学训练图像作为输入图像时，能够借助不同扫描参数、不同模态的金标准中的信息对图像生成模型进行辅助训练，提高了图像生成模型的准确性。
实施例2
在实际医学成像过程中，针对不同部位或者不同疾病，不同医院可能设置不同的扫描参数。例如，对于DWI图像，B值的设置尤为重要，合理的B值设置可以提高病变检出的能力。然而，针对具体患者具体部位具体疾病，B值的设置并不是唯一的，需要有多年阅片经验的医生给出良好得建议，否则可能需要重复拍片或者多次拍片才能得到期望的DWI图像。
对此，本实施例在实施例1的基础上作了进一步改进。具体地，当在步骤S13之前接收到用户输入的目标扫描参数(本实施例记为第一目标扫描参数)时，本实施例在步骤S13对感兴趣区域进行优化的同时，还可以根据输入的第一目标扫描参数，对所述初始医学图像的原始扫描参数进行转换，以使得到的目标医学图的扫描参数转换为所述第一目标扫描参数。
对此，本实施例可以基于多任务学习的思想训练步骤S1342采用的所述图像生成模型，以使其在对感兴趣区域进行优化的同时，还能对所述初始医学图像的扫描参数进行同步转换，如图6所示，其具体训练过程如下：
S41，获取数据集，所述数据集包括若干第二训练图像以及与所述第二训练图像对应的第三金标准。所述第三金标准包括与所述第二训练图像对应的修复金标准图像或抑制金标准图像，其中，所述修复金标准图像或抑制金标准图像的扫描参数为所述第一目标扫描参数且不影响诊断，所述训练图像的扫描参数为所述原始扫描参数。
S42，获取所述第二训练图像中的感兴趣区域，并按照以下步骤获取第二训练图像对应的融合特征：获取所述第二训练图像中的感兴趣区域掩码图；基于所述第二训练图像，获取第三图像特征，基于第二训练图像中的感兴趣区域掩码图，获取与所述第三图像特征维度相同的第四图像特征；将所述第三图像特征和第四图像特征进行融合，得到第二训练图像对应的融合特征。
S43，将第二训练图像对应的融合特征输入至待训练的图像生成模型中进行处理，该图像生成模型将输出所述第二训练图像对应的预测医学图像；
S44，根据所述图像生成模型输出的结果及所述第三金标准，计算相应的第三损失函数。所述第三损失函数用于表征所述图像生成模型输出的结果与所述第三金标准之间的误差。
S45，根据第三损失函数对所述图像生成模型进行迭代训练，直到满足预设的第三训练终止条件。
通过上述步骤训练得到的图像生成模型能够在对感兴趣区域进行优化的同时，还能对所述初始医学图像的扫描参数进行同步转换。
此外，在对图像生成模型进行训练时，还可以增加相应的约束(即损失函数)，以使医学图像在优化和扫描参数转换前后的诊断结果不变或者提升。
本实施例通过在对感兴趣区域进行优化的同时，根据输入的第一目标扫描参数，对所述初始医学图像的扫描参数进行转换，从而能够得到指定扫描参数的目标医学图像，进一步避免多次拍片或重复拍片的情况发生。
在一种可选的实施方式中，当在步骤S13之前接收到用户输入的目标模态时，本实施例在步骤S13对感兴趣区域进行优化的同时，还可以根据输入的目标模态，对所述初始医学图像的模态进行转换，以使得到的目标医学图的模态为所述目标模态。对此，在采用上述步骤S41～S45对图像生成模型进行训练时，所述第三金标准应替换为与所述第二训练图像对应、且模态为所述目标模态的修复金标准图像或抑制金标准图像。
例如，假设初始医学图像为DWI图像，当接收到用户输入的目标模态为T2W时，则在对初始医学图像的感兴趣区域进行优化的同时，将初始医学图像转换为T2W模态。
可见，本实施方式能够同时实现图像的优化功能和模态转换功能，满足了用户的多样化需求，提高了用户体验。
实施例3
本实施例是对实施例1的进一步改进。如图7所示，在本实施例中，当多任务学习模型判断该初始医学图像不影响诊断，即不需要对其进行优化，并且接收到用户输入的目标扫描参数(本实施例记为第二目标扫描参数)时，所述医学图像处理方法还可以包括：S14，根据输入的第二目标扫描参数，直接对所述初始医学图像的扫描参数进行转换。
如图8所示，步骤S14的具体实现过程如下：
S141，基于所述初始医学图像，获取第一图像特征。
在本实施例中，同样可以通过预先训练的恒等映射模型的编码模块提取所述初始医学图像的高维特征，记为第一图像特征。
S142，通过预先训练的参数转换模型对所述第一图像特征和所述第二目标扫描参数进行处理，得到与所述初始医学图像对应的转换医学图像。其中，初始医学图像的扫描参数为可以等于或不等于转换医学图像的扫描参数。
在本实施例中，参数转换模型可以采用预先训练的恒等映射模型的解码模块实现。
本实施例通过在所述初始医学图像中不包括影响诊断的感兴趣区域时，直接根据输入的第二目标扫描参数对所述初始医学图像的扫描参数进行转换，从而能够实现单独的图像扫描参数转换功能，满足不同扫描参数需求。
如图9所示，本实施具体可以采用如下步骤训练参数转换模型：
S51，获取第三训练图像以及与所述第三训练图像对应的第四金标准。其中，所述第四金标准包括与所述第三训练图像对应的标准转换医学图像。
S52，获取第三训练图像对应的第五图像特征，并将第三训练图像对应的第五图像特征输入至待训练的参数转换模型中进行处理，该参数转换模型将输出所述第三训练图像对应的转换医学图像。
S53，根据所述参数转换模型输出的结果及所述第四金标准，计算相应的第四损失函数。所述第四损失函数用于表征所述参数转换模型输出的结果与所述第四金标准之间的误差。
S54，根据第四损失函数对所述参数转换模型进行迭代训练，直到满足预设的第四训练终止条件。
本实施例利用根据所述参数转换模型输出的结果及所述第四金标准计算得到的第四损失函数进行监督学习，对参数转换模型进行迭代训练，使得模型能够很好地学习到第四金标准中的特征，最终训练得的参数转换模型能够准确地对所述初始医学图像的扫描参数进行转换。
其中，参数转换模型可以根据具体部位或具体疾病进行一定转换范围的学习。例如，当参数转换模型用于转换头颅DWI图像时，一般将该图像的B值转换为1000，当然，B值越高，对弥散运动越敏感，但是SNR下降。对于头颅DWI图像而言，高于1000的B值，虽然可能能够对不敏感的病变提高检出率，但是相对于信噪比的下降，提供的效能已经不明显。
需要说明的是，前述各实施例中各模型的任务可以变化，例如，通过增加不同的约束可以完成更多的任务。此外，各模型之间是相辅相成的关系，可以互为验证工具，也可以互为输入工具，可以调整顺序，也可以多次使用。比如调用非配对的图像生成模型之后，可以将生成之后和之前的数据分别输入多任务学习模型，以检测生成的图像是否影响诊断。
实施例4
本实施例提供一种基于深度学习的医学图像处理方法，具体包括以下步骤：
获取初始医学图像；
根据输入的目标扫描参数，对所述初始医学图像的扫描参数进行转换，得到与所述初始医学图像对应的转换医学图像。
本实施例通过根据输入的目标扫描参数直接对所述初始医学图像的扫描参数进行转换，从而能够实现图像扫描参数转换功能，满足不同扫描参数需求。
优选地，所述方法还包括：
获取所述初始医学图像中影响诊断的感兴趣区域；
通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。
本实施例通过获取所述初始医学图像中影响诊断的感兴趣区域，并对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。从而，能够有助于医生更好更快的诊断病灶，进而不再需对患者进行重新扫描，既减少了放射科医生及患者的负担，缩短了看病流程、节约了成本，又降低了辐射对患者造成的伤害。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
获取所述感兴趣区域的掩码图；
基于所述初始医学图像，获取第一图像特征；
基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
优选地，所述基于所述第一图像特征和第二图像特征，生成所述目标医学图像，包括：
将所述第一图像特征和第二图像特征进行融合，得到融合特征；
基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
优选地，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括若干训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
优选地，所述基于所述掩码图，获取第二图像特征，包括：
对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。
需要说明的是，本实施例中各步骤的具体实现过程可参考实施例1-3中的相关部分说明，在此不再赘述。
实施例5
本实施例提供一种基于深度学习的医学图像处理系统，如图10所示，该系统包括：
图像获取模块11，用于获取初始医学图像；
区域获取模块12，用于获取所述初始医学图像中影响诊断的感兴趣区域；
优化模块13，用于通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。
优选地，所述优化模块具体通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
优选地，所述优化模块包括：
掩码图获取单元，用于获取所述感兴趣区域的掩码图；
第一特征获取单元，用于基于所述初始医学图像，获取第一图像特征；
第二特征获取单元，用于基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
图像生成单元，用于基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
优选地，所述图像生成单元具体用于：
将所述第一图像特征和第二图像特征进行融合，得到融合特征；
基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
优选地，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
优选地，所述第二特征获取单元具体用于对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。
优选地，所述优化模块还用于根据输入的第一目标扫描参数，对所述初始医学图像的扫描参数进行转换。
优选地，所述系统还包括：转换模块14，用于当所述初始医学图像中不包括所述感兴趣区域时，根据输入的第二目标扫描参数，对所述初始医学图像的扫描参数进行转换。
本实施例通过获取所述初始医学图像中影响诊断的感兴趣区域，并对所述感兴趣区域进行优化，以得到与所述初始医学图像对应的目标医学图像。从而，能够有助于医生更好更快的诊断病灶，进而不再需对患者进行重新扫描，既减少了放射科医生及患者的负担，缩短了看病流程、节约了成本，又降低了辐射对患者造成的伤害。此外，本发明仅对影响诊断的感兴趣区域进行优化，而对于某些即使有伪影或失真但不影响医生诊断的区域，并不进行优化，从而提高了优化效率。
实施例6
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现本发明实施例1、2、3或4中的医学图像处理方法。
具体地，上述医学图像处理方法包括以下步骤：获取初始医学图像；获取所述初始医学图像中影响诊断的感兴趣区域；通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。进一步优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：获取所述感兴趣区域的掩码图；基于所述初始医学图像，获取第一图像特征；基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
图11示出了本实施例的硬件结构示意图，如图11所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1、2、3或4的医学图像处理方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例7
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例1、2、3或4的医学图像处理方法的步骤。具体地，上述医学图像处理方法包括以下步骤：获取初始医学图像；获取所述初始医学图像中影响诊断的感兴趣区域；通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像。优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。进一步优选地，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：获取所述感兴趣区域的掩码图；基于所述初始医学图像，获取第一图像特征；基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；基于所述第一图像特征和第二图像特征，生成所述目标医学图像。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现本发明实施例1、2、3或4的医学图像处理方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于深度学习的医学图像处理方法，其特征在于，包括：
获取初始医学图像；
获取所述初始医学图像中影响诊断的感兴趣区域；
通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像；
在对所述感兴趣区域进行优化时，所述方法包括：
接收输入的第一目标扫描参数；
根据所述第一目标扫描参数，对所述初始医学图像的扫描参数进行转换；
所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
获取所述感兴趣区域的掩码图；
基于所述初始医学图像，获取第一图像特征；
基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
基于所述第一图像特征和第二图像特征，生成所述目标医学图像；
所述基于所述第一图像特征和第二图像特征，生成所述目标医学图像，包括：
将所述第一图像特征和第二图像特征进行融合，得到融合特征；
基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
2.根据权利要求1所述的医学图像处理方法，其特征在于，所述通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像，包括：
通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
3.根据权利要求1所述的医学图像处理方法，其特征在于，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括若干训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
4.根据权利要求1所述的医学图像处理方法，其特征在于，所述基于所述掩码图，获取第二图像特征，包括：
对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。
5.一种基于深度学习的医学图像处理系统，其特征在于，所述医学图像处理系统包括图像获取模块、区域获取模块和优化模块；
所述图像获取模块用于获取初始医学图像；
所述区域获取模块用于获取所述初始医学图像中影响诊断的感兴趣区域；
所述优化模块用于通过对所述感兴趣区域进行优化，得到与所述初始医学图像对应的目标医学图像；
所述优化模块还用于接收输入的第一目标扫描参数，根据所述第一目标扫描参数，对所述初始医学图像的扫描参数进行转换；
所述优化模块包括掩码图获取单元、第一特征获取单元、第二特征获取单元和图像生成单元；
所述掩码图获取单元用于获取所述感兴趣区域的掩码图；
所述第一特征获取单元用于基于所述初始医学图像，获取第一图像特征；
所述第二特征获取单元用于基于所述掩码图，获取与所述第一图像特征维度相同的第二图像特征；
所述图像生成单元用于基于所述第一图像特征和第二图像特征，生成所述目标医学图像；
所述图像生成单元还用于将所述第一图像特征和第二图像特征进行融合，得到融合特征；基于所述融合特征，通过预先训练的图像生成模型生成所述目标医学图像。
6.根据权利要求5所述的医学图像处理系统，其特征在于，所述优化模块还用于通过对所述感兴趣区域进行修复处理或抑制处理，得到与所述初始医学图像对应的目标医学图像。
7.根据权利要求5所述的医学图像处理系统，其特征在于，所述图像生成模型基于预先获取的数据集训练得到，所述数据集包括训练图像以及与所述训练图像对应的金标准，其中，所述金标准为修复金标准图像或抑制金标准图像。
8.根据权利要求5所述的医学图像处理系统，其特征在于，所述第二特征获取单元还用于对所述初始医学图像以及所述掩码图进行特征提取和压缩处理，得到所述第二图像特征。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN202111235591.7A 2021-10-22 2021-10-22 基于深度学习的医学图像处理方法、设备及介质 Active CN113792736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111235591.7A CN113792736B (zh) 2021-10-22 2021-10-22 基于深度学习的医学图像处理方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111235591.7A CN113792736B (zh) 2021-10-22 2021-10-22 基于深度学习的医学图像处理方法、设备及介质

Publications (2)

Publication Number Publication Date
CN113792736A CN113792736A (zh) 2021-12-14
CN113792736B true CN113792736B (zh) 2024-08-27

Family

ID=79185311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111235591.7A Active CN113792736B (zh) 2021-10-22 2021-10-22 基于深度学习的医学图像处理方法、设备及介质

Country Status (1)

Country Link
CN (1) CN113792736B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630634B (zh) * 2023-05-29 2024-01-30 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967196A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 图像修复方法及装置、电子设备和介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095144A1 (en) * 2001-11-21 2003-05-22 Trevino Scott E. Method and apparatus for prescribing an imaging scan and determining user input validity
US9070181B2 (en) * 2007-12-21 2015-06-30 General Electric Company System and method for extracting features of interest from an image
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10573031B2 (en) * 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
CN111161275B (zh) * 2018-11-08 2022-12-23 腾讯科技（深圳）有限公司 医学图像中目标对象的分割方法、装置和电子设备
CN110428415B (zh) * 2019-08-05 2022-05-13 上海联影医疗科技股份有限公司 医学图像的质量评估方法、装置、设备及存储介质
CN111325714B (zh) * 2020-01-21 2024-03-26 上海联影智能医疗科技有限公司 感兴趣区域的处理方法、计算机设备和可读存储介质
CN111544023B (zh) * 2020-04-09 2023-06-30 赛诺联合医疗科技（北京）有限公司 一种基于pet数据的感兴趣区域实时定位的方法和系统
CN111583184A (zh) * 2020-04-14 2020-08-25 上海联影智能医疗科技有限公司 图像分析方法、网络、计算机设备和存储介质
CN111553864B (zh) * 2020-04-30 2023-11-28 深圳市商汤科技有限公司 图像修复方法及装置、电子设备和存储介质
CN112652031A (zh) * 2020-12-30 2021-04-13 上海联影智能医疗科技有限公司 伪影校正分析方法、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967196A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 图像修复方法及装置、电子设备和介质

Also Published As

Publication number Publication date
CN113792736A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109961491B (zh) 多模态图像截断补偿方法、装置、计算机设备和介质
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
Rutherford et al. Automated brain masking of fetal functional MRI with open data
CN110991636B (zh) 生成式对抗网络的训练方法及装置、图像增强方法及设备
US9142030B2 (en) Systems, methods and computer readable storage media storing instructions for automatically segmenting images of a region of interest
CN110728673A (zh) 一种目标部位分析方法、装置、计算机设备及存储介质
CN110910465B (zh) 一种运动伪影校正方法和系统
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN112150571A (zh) 一种图像运动伪影消除方法、装置、设备及存储介质
Zhang et al. C2‐GAN: Content‐consistent generative adversarial networks for unsupervised domain adaptation in medical image segmentation
CN111145160A (zh) 钙化区域所处冠脉分支的确定方法、装置、服务器及介质
CN116071401A (zh) 基于深度学习的虚拟ct图像的生成方法及装置
CN113792736B (zh) 基于深度学习的医学图像处理方法、设备及介质
CN111882544B (zh) 基于人工智能的医学影像显示方法及相关装置
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
US20220277452A1 (en) Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency
US20230334698A1 (en) Methods and systems for positioning in an medical procedure
CN115761134A (zh) 孪生模型的生成方法、系统、核磁共振装置和介质
CN115564763A (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
CN115511773B (zh) 一种血管中心线提取方法、装置、设备和可读存储介质
WO2024095434A1 (ja) 画像処理プログラム、画像処理方法、検出プログラム、検出方法、および情報処理装置
CN118521670B (zh) 图像伪影去除方法、图像伪影去除模型的训练方法及装置
Tian et al. MANet-CycleGAN: An Unsupervised LDCT Image Denoising Method Based on Channel Attention and Multi-scale Features
Awoniya et al. Recent Development and Applications of Deep Learning in Medical Imaging
CN118898547A (zh) 基于Unet网络-扩散模型的肝脏MRI图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant