CN116128895A - 医学图像分割方法、装置和计算机可读存储介质 - Google Patents
医学图像分割方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116128895A CN116128895A CN202310086039.9A CN202310086039A CN116128895A CN 116128895 A CN116128895 A CN 116128895A CN 202310086039 A CN202310086039 A CN 202310086039A CN 116128895 A CN116128895 A CN 116128895A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- sample
- target object
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 116
- 238000003384 imaging method Methods 0.000 claims abstract description 56
- 238000007499 fusion processing Methods 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims description 75
- 230000004927 fusion Effects 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 27
- 238000002597 diffusion-weighted imaging Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000009792 diffusion process Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 210000002307 prostate Anatomy 0.000 description 47
- 238000010586 diagram Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 12
- 230000003902 lesion Effects 0.000 description 10
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000005481 NMR spectroscopy Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请涉及一种医学图像分割方法、装置和存储介质。所述方法包括：获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。采用本方法能够提高医学图像分割模型分割目标对象的病灶区域的精度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种医学图像分割方法、装置和计算机可读存储介质。
背景技术
随着人工智能(Artificial Intelligence，AI)以及基于AI的深度学习图像处理的技术逐渐发展，深度学习算法已广泛用于医学影像辅助诊断系统研发与应用中。基于深度学习的前列腺器官分割技术可以帮助放射科医生提高阅片效率并降低误诊率和漏诊率。
现有技术中，通过核磁图像中的加权成像(T2 Weighted，T2W)序列图像自动的分割出前列腺器官区域和前列腺病灶区域。前列腺器官的病灶区域可能存在多个，而传统技术对于前列腺病灶区域的分割精度偏低，不能找出所有病灶区域，从而影响医生对于前列腺器官中真实病灶区域的判断，影响手术的规划。
发明内容
基于此，有必要针对上述技术问题，提供一种医学图像分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种医学图像分割方法。所述方法包括：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
在其中一个实施例中，第一图像包括基于磁共振检查中加权成像方式得到的序列图像，第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，第三图像包括基于磁共振检查中表观弥散系数序列图像。
在其中一个实施例中，第一图像、第二图像和第三图像是对目标对象在同一视角下拍摄得到。
在其中一个实施例中，医学图像分割模型的训练过程，包括：
获取目标对象的训练图像样本以及对应的标签图像，训练图像样本包括第一图像样本、第二图像样本和第三图像样本，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到，标签图像包括目标对象的病灶勾画区域以及目标对象的勾画区域；
通过待训练的医学图像分割模型，对第一图像样本、第二图像样本和第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对第一样本特征图、第二样本特征图和第三样本特征图进行融合处理，得到预测样本分割图像，预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，预测样本分割图像包括对目标对象的预测病灶勾画区域以及目标对象的预测勾画区域；
基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，得到训练后的医学图像分割模型。
在其中一个实施例中，基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，包括：
基于标签图像与第一预测样本分割图像间的差异，确定第一损失值；
基于标签图像与第二预测样本分割图像间的差异，确定第二损失值；
基于第一损失值与第二损失值，更新医学图像分割模型的参数。
在其中一个实施例中，对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像，包括：
将第一特征图、第二特征图和第三特征图分别与各自的预设权重相乘，得到第一特征图相应的第一权重特征图、第二特征图相应的第二权重特征图、以及第三特征图相应的第三权重特征图；
对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像。
在其中一个实施例中，预测分割图像包括第一预测分割图像；医学图像分割模型包括3D神经网络子模型；对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像，包括：
对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵；
对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理，得到第一融合特征图；将重要系数矩阵与第一融合特征图进行相乘，得到参考融合特征图；
将参考融合特征图输入3D神经网络子模型，得到目标对象的第一预测分割图像。
在其中一个实施例中，预测分割图像包括第二预测分割图像；医学图像分割模型还包括分类网络子模型；对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像，包括：
对第二权重特征图和第三权重特征图进行融合处理，得到第二融合特征图；
根据第二融合特征图，通过分类网络子模型，得到第一概率矩阵和第二概率矩阵，第一概率矩阵用于描述目标对象的病灶所在区域的概率，第二概率矩阵用于描述目标对象所在区域的概率；
根据第一概率矩阵和第二概率矩阵，对第一权重特征图进行加权，得到目标对象的第二预测分割图像。
第二方面，本申请还提供了一种医学图像分割装置。所述装置包括：
图像获取模块，用于获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
特征提取模块，通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
上述医学图像分割方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。由于第二图像和第三图像与第一图像相比，对病灶的显示程度具有差异，将第二图像和第三图像各自相应的特征图融合到第一图像的特征图上，可以将第二图像和第三图像上提取的病灶区域的特征融合至第一图像的特征图中，可以增强第一图像的特征图中对病灶区域的表征，从而提升医学图像分割模型对目标对象的病灶的识别勾勒效果，进而提高医学图像分割模型分割病灶区域的精度。
附图说明
图1为一个实施例中医学图像分割方法的流程示意图；
图2为一个实施例中核磁共振成像的示意图；
图3为一个实施例中提取特征图的示意图；
图4为一个实施例中3D U-Net神经网络的结构示意图；
图5为一个实施例中对医学图像进行图像变换处理的示意图；
图6为一个实施例中计算第二损失值的流程示意图；
图7为一个实施例中医学图像分割模型的结构示意图；
图8为一个实施例中预测样本分割图像的示意图；
图9为一个实施例中各序列图像的特征图进行加权融合的流程示意图；
图10为一个实施例中各序列图像的特征图进行加权融合矩阵的计算示意图；
图11为一个实施例中概率矩阵的示意图；
图12为一个实施例中医学图像分割方法的流程示意图；
图13为一个实施例中医学图像分割装置的结构框图；
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种医学图像分割方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
101、获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
102、通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
其中，目标对象可以是动物或人体的组织或器官。比如，目标对象可以为前列腺器官，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到指的是第一图像、第二图像和第三图像均是通过不同的核磁共振成像(Nuclear MagneticResonance Imaging，MRI)得到的。第二图像和第三图像是用于辅助确定目标对象的病灶区域。
具体地，将目标对象的第一图像、第二图像和第三图像分别输入到医学图像分割模型的不同的卷积神经网络通道中，分别提取目标对象中病灶区域特征，得到第一图像相应的第一特征图、第二图像相应的第二特征图和第三图像相应的第三特征图，然后对第一特征图、第二特征图和第三特征图进行加权融合，得到融合后的特征图，将融合后的特征图输入至神经网络，通过神经网络提取目标对象的病灶特征，输出包含预测病灶勾画区域以及目标对象的预测勾画区域的预测分割图像。
其中，对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像，包括：
在医学图像分割模型中，对第一特征图、第二特征图和第三特征图进行融合处理，得到融合特征图；然后对融合特征图进行处理，得到目标对象的预测分割图像。
以目标对象为前列腺器官为例，对融合特征图进行处理，得到目标对象的预测分割图像，包括：将融合特征图的病灶区域相应的概率矩阵中，概率值大于第一预设值的概率值相应像素点的像素值置1，其余像素点的像素值置0，得到病灶区域对应的第一区域特征图，将融合特征图的前列腺器官区域相应的概率矩阵中，概率值大于第二预设值相应像素点的像素值置1，其余像素点的像素值置0，得到前列腺器官区域对应的第二区域特征图。将第一区域特征图加载到第二区域特征图中，并且对相应像素点的像素值求和，得到第三区域特征图，对第三区域特征进行图像处理，可以得到前列腺器官的病灶区域以及前列腺器官区域。将包含前列腺器官的病灶区域以及前列腺器官区域的图像作为目标对象的预测分割图像。
在一个示例中，在得到包含前列腺器官的病灶区域以及前列腺器官区域的分割图像后，将分割图像作为二值图像，分别利用边界算法找寻分割图像外边界坐标点，在找寻前列腺器官区域的轮廓坐标点时，需要将前列腺器官区域A与病灶区域B作为一个整体区域T，从而确定前列腺器官区域A的边界点坐标；而确定病灶区域B的边界点时，则需要将除病灶区域B之外的所区域作为一个整体区域U，从而确定病灶区域B的边界点坐标。
本发明实施例提供的方法，通过医学图像分割模型，可以完整的分割出前列腺器官中的病灶区域，提高确定前列腺器官中的病灶区域中的准确性，从而提高医生对于前列腺器官中病灶区域判断的准确性，进而提高手术规划的安全性。
结合上述实施例的内容，在一个实施例中，第一图像包括基于磁共振检查中加权成像方式得到的序列图像，第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，第三图像包括基于磁共振检查中表观弥散系数序列图像。
第一图像包括加权成像(T2 weighted，T2W)序列图像，加权成像方式中序列重复时间长，回波时间长，形成T2加权成像方式，图像的灰度主要由组织的T2弛豫快慢决定，显示组织病变的情况较好，也是组织的横断面图像。
第二图像包括弥散加权成像(Diffusion Weighted Imaging，DWI)序列图像，弥散加权成像方式是利用正常组织和病理组织之间水扩散程度和方向的差别成像，由于一般恶性肿瘤细胞生长密集，自由水分较少，在恶性肿瘤中产生弥散受限，会形成高信号，因此，弥散加权成像常用于诊断肿瘤。
第三图像包括表观弥散系数(Apparent diffusion coefficient，ADC)序列图像，表观弥散系数序列图像是在弥散扩散成像(DWI)基础上测量得到的图像，主要用来描述组织结构中水分子弥散的快慢，在成像上和DWI序列图像的表现相反，肿瘤区域会呈现暗的现象，常用于与DWI序列图像共同判断肿瘤。
本发明实施例提供的方法，通过统一第一图像、第二图像和第三图像的拍摄视角，使得第一图像、第二图像和第三图像的拍摄内容保持一致，从而可以提高第一特征图、第二特征图和第三特征图的融合效率以及准确率。
当然，第一图像、第二图像和第三图像也可以是其他类型的医学图像。值得一提的是，本发明实施例中，是通过医学图像分割模型对第一图像进行分割，也就是说，得到的预测分割图像是基于第一图像分割得到的。第二图像和第三图像在医学图像分割模型中用于辅助第一图像进行分割。
本发明实施例提供的方法，通过医学图像分割模型对第一图像进行分割，并通过第二图像和第三图像进行辅助分割，可以提高预测分割图像的分割准确度。
结合上述实施例的内容，在一个实施例中，第一图像、第二图像和第三图像是对目标对象在同一视角下拍摄得到。
第一图像、第二图像和第三图像均是对目标对象所在相同部位以同一拍摄视角进行核磁共振检查拍摄得到的核磁共振成像。比如，第一图像为对前列腺器官的横断面的T2W序列图像，则第二图像为对前列腺器官的横断面的DWI序列图像，第三图像为对前列腺器官的横断面的ADC序列图像。
待分割医学图像可以是矢状面(sagittal plane，SAG)、COR冠状面(coronalplane，COR)或横断面(transverse plane，TRA)的核磁共振成像。图2为T2W序列图像、DWI序列图像和ADC序列图像的矢状面、冠状面和横断面的示意图，其中SAG表示矢状面、COR为冠状面、TRA为横断面的成像，T1W和T2W分别表示T1、T2加权方式的核磁共振成像，b表示强度。
结合上述实施例的内容，在一个实施例中，对第一图像、第二图像和第三图像进行特征提取之前，包括：
对待分割医学图像进行图像变换处理，得到张量形式的医学图像矩阵，张量形式的医学图像矩阵中包含图像像素值。
以目标对象为前列腺器官为例，将待分割图像进行图像变换处理，得到包括图像像素值、且图像形式为张量形式的待分割图像。其中，待分割图像指的是张量形式的特征矩阵。
本发明实施例提供的方法，通过对待分割医学图像进行图像变换处理，获取待分割医学图像的图像信息，可以降低待分割医学图像的复杂程度，从而提高医学图像分割模型的分割效率。
结合上述实施例的内容，在一个实施例中，医学图像分割模型的训练过程，包括：
获取目标对象的训练图像样本以及对应的标签图像，训练图像样本包括第一图像样本、第二图像样本和第三图像样本，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到，标签图像包括目标对象的病灶勾画区域以及目标对象的勾画区域；
其中，目标对象可以是动物或人体的组织或器官。比如，目标对象可以为前列腺器官，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到指的是第一图像样本、第二图像样本和第三图像样本均是通过不同的核磁共振成像得到的。第二图像样本和第三图像样本是用于辅助确定目标对象的病灶区域。本发明中，图像样本均指的是医学图像。
标签图像指的是医生对第一图像样本中目标对象的病灶区域和目标对象区域进行勾画后得到区域勾画图像；相应的，标签图像包括病灶勾画区域和目标对象勾画区域。比如，目标对象为前列腺器官，第一图像样本为T2W序列图像样本，则标签图像为医生对T2W序列图像样本中的病灶区域和目标对区域进行勾画后的图像。
需要说明的是，本发明中核磁图像、核磁图像序列、核磁共振成像和核磁共振图像均指的是通过核磁共振检查得到的图像。
通过待训练的医学图像分割模型，对第一图像样本、第二图像样本和第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对第一样本特征图、第二样本特征图和第三样本特征图进行融合处理，得到预测样本分割图像，预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，预测样本分割图像包括对目标对象的预测病灶勾画区域以及目标对象的预测勾画区域。
具体地，医学图像分割模型包括三个通道的卷积神经网络子模型，将第一图像样本、第二图像样本和第三图像样本分别输入至各卷积神经网络通道后，分别得到第一图像样本相应的第一样本特征图、第二图像样本相应的第二样本特征图和第三图像样本相应的第三样本特征图。
值得一提的是，在将训练图像样本输入至医学图像分割模型之前，需要对训练图像样本和标签图像进行图像变换处理，得到图像变换处理后的训练图像样本和标签图像，然后根据图像变换处理后的训练图像样本和标签图像对待训练的医学图像分割模型进行训练。其中，图像变换处理包括图像尺寸归一化处理和高斯滤波滤除处理，将这些进行归一化处理和高斯滤波滤除处理后核磁共振成像，转化为张量形式，得到核磁共振成像的数值矩阵。
将目标对象的第一图像样本、第二图像样本和第三图像样本输入至待训练的医学图像分割模型的不同的卷积神经网络通道中，分别提取目标对象中病灶区域特征，得到第一样本特征图、第二样本特征图和第三样本特征图，然后对第一样本特征图、第二样本特征图和第三样本特征图进行加权融合，得到融合后的样本特征图，对融合后的样本特征图继续在通过神经网络提取目标对象的病灶特征，输出包含预测病灶勾画区域以及目标对象的预测勾画区域的预测样本分割图像。
比如，将前列腺器官的T2W、DWI、ADC三个核磁图像样本，输入至待训练的医学图像分割模型的不同的卷积神经网络通道中，分别提取前列腺器官中病灶区域特征，得到三个通道输出的样本特征图，对三个通道输出的样本特征图进行加权融合，得到融合后的样本特征图；然后对融合后的样本特征图再通过神经网络进行特征提取，得到前列腺器官的病灶特征和前列腺器官的特征，最后输出包含前列腺器官区域以及前列腺器官中的病灶区域的预测样本分割图像。
基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，得到训练后的医学图像分割模型。
具体地，通过标签图像分别与第一样本预测分割图像和第二样本预测分割图像间的差异值，并根据差异值对医学图像分割模型进行下一次训练，将所有差异值中最小的差异值对应的医学图像分割模型作为训练完成的医学图像分割模型，从而得到训练后的医学图像分割模型。
本发明实施例提供的方法，由于病灶区域在不通成像的图像中信号强度不同，因此通过多种成像方式的图像样本对医学图像分割模型进行训练，可以提高医学图像分割模型对病灶区域的识别勾勒能力，从而提高医学图像分割模型的分割精度。
结合上述实施例的内容，在一个实施例中，第一图像样本包括基于磁共振检查T2W序列图像的图像样本，第二图像样本包括基于磁共振检查DWI序列图像的图像样本，第三图像样本包括基于磁共振检查ADC序列图像的图像样本。
具体地，第一图像样本为T2W序列图像、第二图像样本为扩散加权(diffusion-weighted imaging，DWI)序列图像、第三图像样本为表观弥散系数(Apparent DiffusionCoefficient，ADC)序列图像。
此外，第一图像样本、第二图像样本和第三图像样本均是对目标对象所在相同部位以同一角度进行核磁共振检查拍摄得到的核磁共振成像。比如，第一图像样本为对前列腺器官的横断面的T2W序列图像，则第二图像样本为对前列腺器官的横断面的DWI序列图像，第三图像样本为对前列腺器官的横断面的ADC序列图像。第二图像样本和第三图像样本是用于辅助确定目标对象的病灶区域。
图3为一个示例中，对第一图像样本、第二图像样本和第三图像样本进行特征提取的示意图，图3中，卷积神经网络为3D U-Net神经网络。
图4为3D U-Net神经网络的结构示意图。U-Net为医学图像分割模型中的一种卷积神经网络结构，其中包括对输入特征进行通道数量变换的输入层、卷积层、上采样层、下采样层、和最后的输出层。下采样是缩小图像尺寸(同时每次下采样后都会增加通道数量)，上采样与下采样相反，上下采样变换尺度可以增加通道数量实现对特征的清晰表征，也利用浅层特征信息。特征图拼接是将第一层的输出与倒数第二层上采样后进行拼接，实现特征重复利用，整体呈现U型结构。图5为一个示例中，对医学图像进行图像变换处理的示意图。
本发明实施例提供的方法，通过三维的卷积神经网络通道分别提取T2W、DWI、ADC序列图像的特征，相比对一种类型的序列图像进行特征图的提取，本发明可以通过医学图像分割模型提取多种类型的特征图，从而提高根据特征图提取目标对象的病灶区域的准确度。
结合上述实施例的内容，在一个实施例中，基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，包括：
基于标签图像与第一预测样本分割图像间的差异，确定第一损失值；
基于标签图像与第二预测样本分割图像间的差异，确定第二损失值；
基于第一损失值与第二损失值，更新医学图像分割模型的参数。
其中，计算第一损失值和第二损失值所采用的损失函数可以相同也可以不同。比如，第一损失值(或第二损失值)可以通过确定标签图像与第一预测样本分割图像(或第二预测样本分割图像)间的相似度计算得到。
值得一提的是，本发明实施例中的第一损失值和第二损失值指的是上述内容中的差异值。
标签图像与第一预测分割图像的相似度计算方法，包括：
Dice＝2*∑(T*P/∑(T+P)(1)；
DiceLoss1＝1-Dice(2)；
公式(1)和(2)中，T表示标签图像，P表示第一预测样本分割图像，Dice表示标签图像与第一预测样本分割图像的相似度，DiceLoss1为第一损失值。同理通过此方法，也可以将计算出第二损失值。
在一个示例中，计算第二损失值DiceLoss2的流程示意图如图6所示。
具体地，通过第一损失值DiceLoss1与第二损失值DiceLoss2共同作用于医学图像分割模型的训练，其中，待训练的医学图像分割模型的第一损失值DiceLoss1与第二损失值DiceLoss2的权重相同，即医学图像分割模型的损失值为Loss＝DiceLoss1+DiceLoss2。在训练过程中，第一损失值DiceLoss1与第二损失值DiceLoss2的权重可以自行调整。通过向医学图像分割模型回传损失值Loss，更新医学图像分割模型的参数，在多次训练完成后，确定最小损失值Loss，选取该最小Loss值对应的医学图像分割模型作为训练后的医学图像分割模型。图7为一个示例中，医学图像分割模型的结构示意图。
图8为医学图像分割模型在训练过程中获取的预测样本分割图像的示意图，图7中，a为训练图像样本中的第一图像样本，b为标签图像，c为一个预测样本分割图像，其中，b和c中的A区域是未出现病变的前列腺器官区域，B区域是前列腺器官中的病灶区域。
本发明实施提供的方法，通过第一预测样本分割图像输出计算的第一损失值DiceLoss1和第一预测样本分割图像输出计算出的第二损失值DiceLoss2，调节第一损失值loss1和第二损失值DiceLoss2在损失值Loss的中的权重，从而确定模型的损失值Loss，可以加快医学图像分割模型的收敛速度，从而提高医学图像分割模型训练的效率。
结合上述实施例的内容，在一个实施例中，对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像，包括：
将第一特征图、第二特征图和第三特征图分别与各自的预设权重相乘，得到第一特征图相应的第一权重特征图、第二特征图相应的第二权重特征图、以及第三特征图相应的第三权重特征图；
对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像。
其中，第一特征图、第二特征图和第三特征图各自的预设权重是提前设置的，第一特征图对应的预设权重大于第二特征图相应的预设权重以及第三特征图相应的预设权重，此外，第二特征图相应的预设权重和第三特征图相应的预设权重相等。比如，第一特征图相应的预设权重为0.5，第二特征图和第三特征图相应的预设权重均为0.25。
本发明实施例提供的方法，通过对第一特征图、第二特征图和第三特征图进行融合处理，可以将不同类型的序列图像的特征图融合至一张特征图中，从而可以提高相应特征图中特征种类的多样性，进而增强目标对象的病灶区域的表征。此外，设置第一特征图对应的预设权重均大于第二特征图相应的预设权重以及第三特征图相应的预设权重，可以增强医学图像分割模型对第一特征图对应的第一特征图上病灶区域的判断准确性，从而提高增强医学图像分割模型的分割精度。
结合上述实施例的内容，在一个实施例中，预测分割图像包括第一预测分割图像；医学图像分割模型包括3D神经网络子模型；对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像，包括：
对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵；
对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理，得到第一融合特征图；将重要系数矩阵与第一融合特征图进行相乘，得到参考融合特征图；
将参考融合特征图输入3D神经网络子模型，得到目标对象的第一预测分割图像。
其中，第一特征图、第二特征图和第三特征图均包括多个特征图。
对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵，指的是：将第一特征图F输入全局平均池化网络，进行全局平均池化网络操作处理，得到第一特征图中每个特征图对应的单一值m，再对M进行1×1的卷积学习，得到第一特征图中每个特征图的重要系数M，根据第一特征图中每个特征图的重要系数M，构建第一特征图的重要系数矩阵。
以第一图像为前列腺器官的横断面的T2W序列图像，第二图像为前列腺器官的横断面的DWI序列图像，第三图像为前列腺器官的横断面的ADC序列图像为例，对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理进行加权融合时，由于T2W序列图像在观察前列腺器官或前列腺器官病灶的比重高，本发明将T2W序列图像作为主体，ADC序列图像和DWI序列图像作为辅助，将ADC序列图像相应的特征图赋予高权重、ADC序列图像和DWI序列图像相应的特征图赋予低权重，将加权后的第一权重特征图、第二权重特征图和第三权重特征图进行相加融合，得到第一融合特征图。然后，将第一融合特征图与重要系数矩阵相乘，得到参考融合特征图，并将参考融合特征图输入至3D神经网络子模型中，得到第一预测分割图像。
图9为对各序列图像的特征图进行加权融合的流程示意图，其中，ω0、ω1、ω2分别为T2W序列图像相应的特征图、DWI序列图像相应的特征图和ADC序列图像相应的特征图各自的预设权重。
图10为对各序列图像的特征图进行加权融合矩阵的计算示意图，融合后的第一融合特征图
其中，ω0、ω1、ω2分别为T2W序列图像相应的特征图、DWI序列图像相应的特征图矩阵和ADC序列图像相应的特征图各自的预设权重，利用点乘对各序列图像的特征图中的元素A进行加权，并将加权后的三个权重特征图对应元素位置相加，获得融合后T2W的特征图矩阵。
在得到融合后T2W的特征图矩阵之后，对第一融合特征图的重要系数矩阵[[m1],[m2],...,[mn]]进行1*1卷积学习后与T2W的特征图矩阵相乘，得到参考融合特征图。图10中，m1指的是T2W序列图像相应的特征图中第一个特征图的单一值，m2指的是T2W序列图像相应的特征图中第2个特征图的单一值，mn指的是T2W序列图像相应的特征图中第n个特征图的单一值。M1指的是T2W序列图像相应的特征图中第一个特征图的重要系数，M2指的是T2W序列图像相应的特征图中第2个特征图的重要系数，Mn指的是T2W序列图像相应的特征图中第n个特征图的重要系数。
本发明实施例提供的方法，通过对第一特征图、第二特征图和第三特征图进行融合处理，可以将不同类型的序列图像的特征图融合得到第一融合特征图，通过具有主导地位的第一特征图的重要系数矩阵与第一融合特征图相乘，得到参考融合特征图，可以在参考融合特征图中突出第一特征图中的特征，从而增强第一特征图中目标对象的病灶区域的表征，进而提高获取目标对象的病灶区域的精度。此外，参考融合特征图会随着第一特征图变化而变化，使得医学图像分割模型在对各特征图进行加权融合时，可以自适应调节，从而扩展了医学图像分割模型的应用范围。
结合上述实施例的内容，在一个实施例中，预测分割图像包括第二预测分割图像；医学图像分割模型还包括分类网络子模型；对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像，包括：
对第二权重特征图和第三权重特征图进行融合处理，得到第二融合特征图；
根据第二融合特征图，通过分类网络子模型，得到第一概率矩阵和第二概率矩阵，第一概率矩阵用于描述目标对象的病灶所在区域的概率，第二概率矩阵用于描述目标对象所在区域的概率；
根据第一概率矩阵和第二概率矩阵，对第一权重特征图进行加权，得到目标对象的第二预测分割图像。
其中，分类网络子模型可以为sigmoid激活函数。具体地，对第二权重特征图和第三权重特征图进行相加融合后，得到第二融合特征图，然后将第二融合特征图通过sigmoid激活函数处理，得到用于描述病灶所在区域的第一概率矩阵以及用于描述目标对象所在区域的第二概率矩阵。将第一概率矩阵和第二概率矩阵分别与第一特征图进行点乘运算，得到第二预测分割图像。
图11为一个示例中，标签图像与任一预测分割图像的概率矩阵的示意图。
本发明实施例提供的方法，通过对第二特征图和第三特征图进行融合处理，可以得到第二融合特征图，通过第二融合特征图中目标对象所在区域的概率矩阵以及病灶的所在的概率矩阵，可以增强目标对象的病灶区域和目标对象在第一特征图中的表征，从而提高从第一特征图中确定目标对象所在区域和目标对象的病灶所在区域的准确度。
在一个实施例中，一种医学图像分割方法，如图12所示，所述方法还包括：
1201、获取前列腺器官的T2W、DWI和ADC序列图像；
1202、将前列腺器官的T2W、DWI和ADC序列图像分别输入至训练后的医学图像分割模型中不同的卷积神经网络通道中；
1203、基于训练后的医学图像分割模型，分别提取前列腺器官中病灶区域的特征；
1204、对卷积神经网络通道输出的特征图进行加权融合，将融合后的特征图输入至卷积神经网络中，提取前列腺器官的病灶特征，最后输出T2W序列图像上的前列腺器官的病灶区域。
本发明实施例提供的方法，通过训练后的医学图像分割模型，识别列腺器官中病灶区域，可以降低医生对前列腺器官中病灶区域误判的风险，进而提高前列腺手术的治愈率，减少因病灶位置确定不准确对病人造成的损伤。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的医学图像分割方法的医学图像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像分割装置实施例中的具体限定可以参见上文中对于医学图像分割方法的限定，在此不再赘述。
在一个实施例中，如图13所示，提供了一种医学图像分割装置，包括：图像获取模块1301和特征提取模块1302，其中：
图像获取模块1301，用于获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
特征提取模块1302，通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，图像获取模块1301，包括：第一图像包括基于磁共振检查中加权成像方式得到的序列图像，第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，第三图像包括基于磁共振检查中表观弥散系数序列图像。
在一个实施例中，图像获取模块1301，还包括：第一图像、第二图像和第三图像是对目标对象在同一视角下拍摄得到。
在一个实施例中，特征提取模块1302，包括：图像变换子模块，用于对待分割医学图像进行图像变换处理，得到张量形式的医学图像矩阵，张量形式的医学图像矩阵中包含图像像素值。
在一个实施例中，特征提取模块1302，还包括：
图像获取子模块，用于获取目标对象的训练图像样本以及对应的标签图像，训练图像样本包括第一图像样本、第二图像样本和第三图像样本，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到，标签图像包括目标对象的病灶勾画区域以及目标对象的勾画区域；
特征提取子模块，用于通过待训练的医学图像分割模型，对第一图像样本、第二图像样本和第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对第一样本特征图、第二样本特征图和第三样本特征图进行融合处理，得到预测样本分割图像，预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，预测样本分割图像包括对目标对象的预测病灶勾画区域以及目标对象的预测勾画区域；
参数更新提取子模块，用于基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，得到训练后的医学图像分割模型。
在一个实施例中，参数更新提取子模块，包括：
第一损失确定单元，用于基于标签图像与第一预测样本分割图像间的差异，确定第一损失值；
第二损失确定单元，用于基于标签图像与第二预测样本分割图像间的差异，确定第二损失值；
参数更新单元，用于基于第一损失值与第二损失值，更新医学图像分割模型的参数。
在一个实施例中，特征提取模块1302，还包括：
相乘子模块，用于将第一特征图、第二特征图和第三特征图分别与各自的预设权重相乘，得到第一特征图相应的第一权重特征图、第二特征图相应的第二权重特征图、以及第三特征图相应的第三权重特征图；
融合处理子模块，用于对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，融合处理子模块，还包括：
第一融合处理单元，用于对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵；对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理，得到第一融合特征图；将重要系数矩阵与第一融合特征图进行相乘，得到参考融合特征图；
输入单元，用于将参考融合特征图输入3D神经网络子模型，得到目标对象的第一预测分割图像。
在一个实施例中，融合处理子模块，还包括：
第二融合处理单元，用于对第二权重特征图和第三权重特征图进行融合处理，得到第二融合特征图；根据第二融合特征图，通过分类网络子模型，得到第一概率矩阵和第二概率矩阵，第一概率矩阵用于描述目标对象的病灶所在区域的概率，第二概率矩阵用于描述目标对象所在区域的概率；
上述医学图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像分割方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
第一图像包括基于磁共振检查中加权成像方式得到的序列图像，第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，第三图像包括基于磁共振检查中表观弥散系数序列图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
第一图像、第二图像和第三图像是对目标对象在同一视角下拍摄得到。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取目标对象的训练图像样本以及对应的标签图像，训练图像样本包括第一图像样本、第二图像样本和第三图像样本，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到，标签图像包括目标对象的病灶勾画区域以及目标对象的勾画区域；
通过待训练的医学图像分割模型，对第一图像样本、第二图像样本和第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对第一样本特征图、第二样本特征图和第三样本特征图进行融合处理，得到预测样本分割图像，预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，预测样本分割图像包括对目标对象的预测病灶勾画区域以及目标对象的预测勾画区域；
基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，得到训练后的医学图像分割模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于标签图像与第一预测样本分割图像间的差异，确定第一损失值；基于标签图像与第二预测样本分割图像间的差异，确定第二损失值；基于第一损失值与第二损失值，更新医学图像分割模型的参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一特征图、第二特征图和第三特征图分别与各自的预设权重相乘，得到第一特征图相应的第一权重特征图、第二特征图相应的第二权重特征图、以及第三特征图相应的第三权重特征图；
对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵；
对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理，得到第一融合特征图；将重要系数矩阵与第一融合特征图进行相乘，得到参考融合特征图；
将参考融合特征图输入3D神经网络子模型，得到目标对象的第一预测分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对第二权重特征图和第三权重特征图进行融合处理，得到第二融合特征图；
根据第二融合特征图，通过分类网络子模型，得到第一概率矩阵和第二概率矩阵，第一概率矩阵用于描述目标对象的病灶所在区域的概率，第二概率矩阵用于描述目标对象所在区域的概率；
根据第一概率矩阵和第二概率矩阵，对第一权重特征图进行加权，得到目标对象的第二预测分割图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标对象的待分割医学图像，待分割医学图像包括第一图像、第二图像和第三图像，第一图像、第二图像和第三图像是通过对目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对第一图像、第二图像和第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对第一特征图、第二特征图和第三特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
第一图像包括基于磁共振检查中加权成像方式得到的序列图像，第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，第三图像包括基于磁共振检查中表观弥散系数序列图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
第一图像、第二图像和第三图像是对目标对象在同一视角下拍摄得到。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取目标对象的训练图像样本以及对应的标签图像，训练图像样本包括第一图像样本、第二图像样本和第三图像样本，第一图像样本、第二图像样本和第三图像样本是通过对目标对象采用不同核磁成像方式成像得到，标签图像包括目标对象的病灶勾画区域以及目标对象的勾画区域；
通过待训练的医学图像分割模型，对第一图像样本、第二图像样本和第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对第一样本特征图、第二样本特征图和第三样本特征图进行融合处理，得到预测样本分割图像，预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，预测样本分割图像包括对目标对象的预测病灶勾画区域以及目标对象的预测勾画区域；
基于标签图像分别与第一预测样本分割图像和第二预测样本分割图像间的差异，更新医学图像分割模型的参数，得到训练后的医学图像分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于标签图像与第一预测样本分割图像间的差异，确定第一损失值；基于标签图像与第二预测样本分割图像间的差异，确定第二损失值；基于第一损失值与第二损失值，更新医学图像分割模型的参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一特征图、第二特征图和第三特征图分别与各自的预设权重相乘，得到第一特征图相应的第一权重特征图、第二特征图相应的第二权重特征图、以及第三特征图相应的第三权重特征图；
对第一权重特征图、第二权重特征图、以及第三权重特征图进行融合处理，得到目标对象的预测分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第一特征图进行全局平均池化操作，得到第一特征图的重要系数矩阵；对第一权重特征图、第二权重特征图和第三权重特征图进行融合处理，得到第一融合特征图；将重要系数矩阵与第一融合特征图进行相乘，得到参考融合特征图；将参考融合特征图输入3D神经网络子模型，得到目标对象的第一预测分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第二权重特征图和第三权重特征图进行融合处理，得到第二融合特征图；
根据第二融合特征图，通过分类网络子模型，得到第一概率矩阵和第二概率矩阵，第一概率矩阵用于描述目标对象的病灶所在区域的概率，第二概率矩阵用于描述目标对象所在区域的概率；
根据第一概率矩阵和第二概率矩阵，对第一权重特征图进行加权，得到目标对象的第二预测分割图像。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种医学图像分割方法，其特征在于，所述方法包括：
获取目标对象的待分割医学图像，所述待分割医学图像包括第一图像、第二图像和第三图像，所述第一图像、所述第二图像和所述第三图像是通过对所述目标对象采用不同核磁成像方式成像得到；
通过医学图像分割模型，对所述第一图像、所述第二图像和所述第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对所述第一特征图、所述第二特征图和所述第三特征图进行融合处理，得到所述目标对象的预测分割图像。
2.根据权利要求1所述的方法，其特征在于，所述第一图像包括基于磁共振检查中加权成像方式得到的序列图像，所述第二图像包括基于磁共振检查中弥散加权成像方式得到的序列图像，所述第三图像包括基于磁共振检查中表观弥散系数序列图像。
3.根据权利要求1所述的方法，其特征在于，所述第一图像、所述第二图像和所述第三图像是对所述目标对象在同一视角下拍摄得到。
4.根据权利要求1所述的方法，其特征在于，所述医学图像分割模型的训练过程，包括：
获取目标对象的训练图像样本以及对应的标签图像，所述训练图像样本包括第一图像样本、第二图像样本和第三图像样本，所述第一图像样本、所述第二图像样本和所述第三图像样本是通过对所述目标对象采用不同核磁成像方式成像得到，所述标签图像包括所述目标对象的病灶勾画区域以及所述目标对象的勾画区域；
通过待训练的医学图像分割模型，对所述第一图像样本、所述第二图像样本和所述第三图像样本进行特征提取，得到相应的第一样本特征图、第二样本特征图和第三样本特征图；对所述第一样本特征图、所述第二样本特征图和所述第三样本特征图进行融合处理，得到预测样本分割图像，所述预测样本分割图像包括第一预测样本分割图像和第二预测样本分割图像，所述预测样本分割图像包括对所述目标对象的预测病灶勾画区域以及所述目标对象的预测勾画区域；
基于所述标签图像分别与所述第一预测样本分割图像和所述第二预测样本分割图像间的差异，更新所述医学图像分割模型的参数，得到训练后的医学图像分割模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述标签图像分别与所述第一预测样本分割图像和所述第二预测样本分割图像间的差异，更新所述医学图像分割模型的参数，包括：
基于所述标签图像与第一预测样本分割图像间的差异，确定第一损失值；
基于所述标签图像与第二预测样本分割图像间的差异，确定第二损失值；
基于所述第一损失值与所述第二损失值，更新所述医学图像分割模型的参数。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图、所述第二特征图和所述第三特征图进行融合处理，得到所述目标对象的预测分割图像，包括：
将所述第一特征图、所述第二特征图和所述第三特征图分别与各自的预设权重相乘，得到所述第一特征图相应的第一权重特征图、所述第二特征图相应的第二权重特征图、以及所述第三特征图相应的第三权重特征图；
对所述第一权重特征图、所述第二权重特征图、以及所述第三权重特征图进行融合处理，得到所述目标对象的预测分割图像。
7.根据权利要求6所述的方法，其特征在于，所述预测分割图像包括第一预测分割图像；所述医学图像分割模型包括3D神经网络子模型；所述对所述第一权重特征图、所述第二权重特征图、以及所述第三权重特征图进行融合处理，得到所述目标对象的预测分割图像，包括：
对所述第一特征图进行全局平均池化操作，得到所述第一特征图的重要系数矩阵；
对所述第一权重特征图、所述第二权重特征图和所述第三权重特征图进行融合处理，得到第一融合特征图；将所述重要系数矩阵与所述第一融合特征图进行相乘，得到参考融合特征图；
将所述参考融合特征图输入所述3D神经网络子模型，得到所述目标对象的第一预测分割图像。
8.根据权利要求6所述的方法，其特征在于，所述预测分割图像包括第二预测分割图像；所述医学图像分割模型还包括分类网络子模型；所述对所述第一权重特征图、所述第二权重特征图、以及所述第三权重特征图进行融合处理，得到所述目标对象的预测分割图像，包括：
对所述第二权重特征图和所述第三权重特征图进行融合处理，得到第二融合特征图；
根据所述第二融合特征图，通过所述分类网络子模型，得到第一概率矩阵和第二概率矩阵，所述第一概率矩阵用于描述所述目标对象的病灶所在区域的概率，所述第二概率矩阵用于描述所述目标对象所在区域的概率；
根据所述第一概率矩阵和所述第二概率矩阵，对所述第一权重特征图进行加权，得到所述目标对象的第二预测分割图像。
9.一种医学图像分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标对象的待分割医学图像，所述待分割医学图像包括第一图像、第二图像和第三图像，所述第一图像、所述第二图像和所述第三图像是通过对所述目标对象采用不同核磁成像方式成像得到；
特征提取模块，通过医学图像分割模型，对所述第一图像、所述第二图像和所述第三图像进行特征提取，得到相应的第一特征图、第二特征图和第三特征图，并对所述第一特征图、所述第二特征图和所述第三特征图进行融合处理，得到所述目标对象的预测分割图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086039.9A CN116128895A (zh) | 2023-01-18 | 2023-01-18 | 医学图像分割方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086039.9A CN116128895A (zh) | 2023-01-18 | 2023-01-18 | 医学图像分割方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128895A true CN116128895A (zh) | 2023-05-16 |
Family
ID=86302551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310086039.9A Pending CN116128895A (zh) | 2023-01-18 | 2023-01-18 | 医学图像分割方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128895A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993762A (zh) * | 2023-09-26 | 2023-11-03 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
-
2023
- 2023-01-18 CN CN202310086039.9A patent/CN116128895A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993762A (zh) * | 2023-09-26 | 2023-11-03 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN116993762B (zh) * | 2023-09-26 | 2024-01-19 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210225027A1 (en) | Image region localization method, image region localization apparatus, and medical image processing device | |
| CN111640120B (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN111161275B (zh) | 医学图像中目标对象的分割方法、装置和电子设备 | |
| US10853409B2 (en) | Systems and methods for image search | |
| CN110570394B (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN109035261B (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN114693933B (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| CN115965750B (zh) | 血管重建方法、装置、计算机设备和可读存储介质 | |
| CN112308846A (zh) | 血管分割方法、装置及电子设备 | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| CN113313728A (zh) | 一种颅内动脉分割方法及系统 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN107516314B (zh) | 医学图像超体素分割方法和装置 | |
| CN113487536A (zh) | 图像分割方法、计算机设备和存储介质 | |
| US12211204B2 (en) | AI driven longitudinal liver focal lesion analysis | |
| CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| CN116128895A (zh) | 医学图像分割方法、装置和计算机可读存储介质 | |
| CN117911435A (zh) | 医学图像的病灶分割方法、装置、计算机设备和存储介质 | |
| CN113177953B (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 | |
| CN115272674A (zh) | 图像分割模型的训练方法、图像分割的方法及装置 | |
| CN114299010A (zh) | 脑部肿瘤图像的分割方法、装置、计算机设备和存储介质 | |
| CN115546089A (zh) | 医学图像分割方法、病理图像处理方法、装置、设备 | |
| CN117115187B (zh) | 颈动脉壁分割方法、装置、计算机设备和存储介质 | |
| Lewis et al. | Quantifying the importance of spatial anatomical context in cadaveric, non-contrast enhanced organ segmentation | |
| EP4475071A1 (en) | Method for determining a probability of the presence of at least one candidate lesion in at least one medical image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |