[go: up one dir, main page]

CN112581458A - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN112581458A
CN112581458A CN202011547781.8A CN202011547781A CN112581458A CN 112581458 A CN112581458 A CN 112581458A CN 202011547781 A CN202011547781 A CN 202011547781A CN 112581458 A CN112581458 A CN 112581458A
Authority
CN
China
Prior art keywords
segmentation
label
lesion
training
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011547781.8A
Other languages
English (en)
Other versions
CN112581458B (zh
Inventor
黄高
黄瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011547781.8A priority Critical patent/CN112581458B/zh
Publication of CN112581458A publication Critical patent/CN112581458A/zh
Application granted granted Critical
Publication of CN112581458B publication Critical patent/CN112581458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例提供了一种图像处理方法和装置，该方法包括：获取预先训练好的2D分割模型和3D分类模型；将待处理的电子计算机断层扫描CT图像输入2D分割模型，获取2D的病灶分割结果；将2D的病灶分割结果拼接成3D的病灶分割结果，并从3D的病灶分割结果中提取出3D的病灶区域；将3D的病灶区域和电子计算机断层扫描CT图像拼接成多通道的3D病灶数据，输入3D分类模型，获取每个病灶区域的分类结果。通过该实施例方案，实现了迅速地得到分割和分类结果，极大地提升了诊断效率。

Description

一种图像处理方法和装置
技术领域
本文涉及医学图像处理技术，尤指一种图像处理方法和装置。
背景技术
脑部出血是一种危害性很高的疾病，很多情况下都会对人体健康造成严重的损害。脑部出血患者主要通过拍摄脑部CT(电子计算机断层扫描)进行确诊。不同种类的脑部出血往往需要不同的诊疗手段，对它们的正确分类非常重要。比如急性脑出血很有可能危及生命，病人必须得到迅速的诊断，以减少神经功能的损伤。但是许多地区的医疗资源不够平衡，不同医生的专业水平差距较大，一些经验尚浅的医生很可能会造成误诊和漏诊。他们需要有力的支持，以提高作出判断的信心。另外，为了制定恰当的手术方案，医生需要提前对出血部分的位置和大小作出较为准确的判断，这要求医生必须精确分割出血部位。但分割和分类的过程往往会使放射科医生投入大量的时间和精力，这给许多医生数量严重不足的医院带来了很大的压力。
发明内容
本申请实施例提供了一种图像处理方法和装置，能够迅速地得到分割和分类结果，极大地提升诊断效率。
本申请实施例提供了一种图像处理方法，所述方法可以包括：
获取预先训练好的2D分割模型和3D分类模型；
将待处理的电子计算机断层扫描CT图像输入所述2D分割模型，获取2D的病灶分割结果；
将所述2D的病灶分割结果拼接成3D的病灶分割结果，并从所述3D的病灶分割结果中提取出3D的病灶区域；
将所述3D的病灶区域和所述电子计算机断层扫描CT图像拼接成多通道的3D病灶数据，输入所述3D分类模型，获取每个病灶区域的分类结果。
在本申请的示例性实施例中，所述获取预先训练好的2D分割模型和3D分类模型可以包括：
直接调取存储的2D分割模型和3D分类模型；或者，
创建所述2D分割模型和所述3D分类模型。
在本申请的示例性实施例中，创建所述2D分割模型可以包括：
获取多个3D的第一CT图像以及关于所述第一CT图像的已经确定分割结果的3D的第一分割结果图像，根据所述第一CT图像和所述第一分割结果图像获取第一训练集；
采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型；其中，所述2D分割网络U-net用于分割出图像中具有病灶的区域，从而获取包含病灶区域的图像和未包含病灶区域的图像；所述多标签分类器用于标识出所述包含病灶区域的图像中的多种不同的病变特征。
在本申请的示例性实施例中，所述根据所述第一CT图像和所述第一分割结果图像获取第一训练集可以包括：
将所述第一CT图像和所述第一分割结果图像按通道划分为多组2D切片；所述2D切片包括2DCT切片和2D分割结果切片；
将所述2DCT切片中包含病灶区域的图像作为阳性样本，未包含病灶区域的图像作为阴性样本；将每个2DCT切片按照m个CT值范围进行截取和归一化，并按顺序进行拼接，获得m个通道的训练数据，构成所述2D分割网络U-net的训练数据；m为正整数；
将所述2D分割结果切片中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述2D分割结果切片中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签作为所述2D分割网络U-net的训练标签；
在所述2D分割结果切片中具有任意的第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第三标签；在所述2D分割结果切片中不具有该第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第四标签；将用于标记全部K种病变类型在病变区域是否出现的第三标签和第四标签作为所述多标签分类器的训练标签；k和K均为正整数；
由所述2D分割网络U-net的训练数据、所述2D分割网络U-net的训练标签以及所述多标签分类器的训练标签组成所述第一训练集。
在本申请的示例性实施例中，所述采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型可以包括：
51、以标准正态分布对所述2D分割网络U-net的第一参数以及所述多标签分类器的第二参数进行初始化，并设置训练代数t＝0，并设定总训练代数E；t为0和正整数，E为正整数；
52、当t≤2E/5时，从所述2D分割网络U-net的训练数据中的阳性样本中随机取出B个数据；当2E/5＜t≤E时，从所述2D分割网络U-net的训练数据中的全部阳性样本和随机抽取出的部分阴性样本所构成的数据集中随机取出B个数据；B为正整数；将所述B个数据输入所述2D分割网络U-net的编码器，获得B个特征；将所述B个特征输入所述多标签分类器，获得B个病变类型分类结果；将所述B个特征和所述B个病变类型分类结果进行数据处理后输入所述2D分割网络U-net的解码器，获得B个分割结果；
53、根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg；根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls；并根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L；
54、根据所述模型总损失L求解新的第一参数和第二参数，并采用新的第一参数和第二参数更新原来的第一参数和第二参数；
55、令训练代数t＝t+1，对t进行判断，当t≤E时，返回步骤52，当t＞E时，获得所述第一参数对应的2D分割网络U-net和所述第二参数对应的多标签分类器，并由该2D分割网络U-net和该多标签分类器组成所述2D分割模型。
在本申请的示例性实施例中，所述根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg可以包括：根据下述第一关系式计算所述分割损失Lseg：
Figure BDA0002856915880000041
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure BDA0002856915880000042
为所述B个分割结果，
Figure BDA0002856915880000043
为所述B个分割结果对应的2D分割网络U-net的训练标签；
所述根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls可以包括：根据下述第二关系式计算所述多标签分类损失Lcls：
Figure BDA0002856915880000044
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure BDA0002856915880000045
为所述B个病变类型分类结果，
Figure BDA0002856915880000046
为所述B个病变类型分类结果对应的多标签分类器的训练标签；
所述根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L可以包括：根据下述第三关系式计算所述模型总损失L：
L＝Lseg+k1*Lcls；
其中，k1为可调节的比例系数。
在本申请的示例性实施例中，创建所述3D分类模型可以包括：
获取多个3D的第二CT图像以及关于所述第二CT图像的已经确定分割结果的3D的第二分割结果图像，根据所述第二CT图像和所述第二分割结果图像获取第二训练集；
采用所述第二训练集对创建的3D ResNet-101网络进行训练，获取所述3D分类模型。
在本申请的示例性实施例中，所述根据所述第二CT图像和所述第二分割结果图像获取第二训练集可以包括：
将所述第二分割结果图像中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述第二分割结果图像中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签进行二值化处理获取二值化的3D分割标签；
对所述3D分割标签提取连通域，获得分割结果中所有的3D病灶区域，并根据3D病灶区域所在图像设置3D病灶区域对应的病变标签；
将具有病变标签的3D病灶区域的数据分别与所述第二CT图像的数据进行拼接，获取3D病灶训练数据，与相应的病变标签一起组成所述第二训练集；其中，所述3D病灶训练数据中任意的第p个病灶标签tp＝k用于表征第p个病灶区域的病变类型为第k种。
在本申请的示例性实施例中，所述采用所述第二训练集对创建的3DResNet-101网络进行训练，获取所述3D分类模型可以包括：
91、以标准正态分布对所述3D ResNet-101网络的第三参数进行初始化，并设置训练代数t′＝0，并设定总训练代数E′；t′为0和正整数，E′为正整数；
92、从所述第二训练集中随机取出B′个数据；B′为正整数；将所述B′个数据输入所述3D ResNet-101网络，获得B′个分类结果；
93、根据所述B′个分类结果计算分类损失L；
94、根据所述分类损失L求解新的第三参数，并采用新的第三参数更新原来的第三参数；
95、令训练代数t′＝t′+1，对t′进行判断，当t′≤E′时，返回步骤92，当t′＞E′时，获得所述第三参数对应的3D ResNet-101网络，并将该3D ResNet-101网络作为所述3D分类模型。
本申请实施例还提供了一种图像处理装置，可以包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一项所述的图像处理方法。
与相关技术相比，本申请实施例可以包括：获取预先训练好的2D分割模型和3D分类模型；将待处理的电子计算机断层扫描CT图像输入所述2D分割模型，获取2D的病灶分割结果；将所述2D的病灶分割结果拼接成3D的病灶分割结果，并从所述3D的病灶分割结果中提取出3D的病灶区域；将所述3D的病灶区域和所述电子计算机断层扫描CT图像拼接成多通道的3D病灶数据，输入所述3D分类模型，获取每个病灶区域的分类结果。通过该实施例方案，实现了迅速地得到分割和分类结果，极大地提升了诊断效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的图像处理方法流程图；
图2为本申请实施例的2D分割模型创建方法流程图；
图3为本申请实施例的3D分类模型创建方法流程图；
图4为本申请实施例的图像处理装置组成框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种图像处理方法，如图1所示，所述方法可以包括步骤S101-S104：
S101、获取预先训练好的2D分割模型和3D分类模型；
S102、将待处理的电子计算机断层扫描CT图像输入所述2D分割模型，获取2D的病灶分割结果；
S103、将所述2D的病灶分割结果拼接成3D的病灶分割结果，并从所述3D的病灶分割结果中提取出3D的病灶区域；
S104、将所述3D的病灶区域和所述电子计算机断层扫描CT图像拼接成多通道的3D病灶数据，输入所述3D分类模型，获取每个病灶区域的分类结果。
在本申请的示例性实施例中，本申请实施例提出了一种基于多任务学习的图像处理方案，综合考虑病变区域的分割和分类这两个目标，构建了一个先进行2D(2维)分割，再进行3D(3维)分类的预测模型(即2D分割模型和3D分类模型)，能够有效辅助医生诊断，提高诊断效率和准确率。
在本申请的示例性实施例中，可以以脑部出血诊断为例来说明本申请实施例方案，可以综合考虑脑部出血分割和分类这两个目标。
在本申请的示例性实施例中，可以首先将病人的脑部CT图像逐切片通过2D分割模型，得到各自的病灶分割结果，再按顺序拼接构成3D的分割结果；然后从中提取出全部的3D病灶区域，分别输入3D分类模型，得到各个病灶的分类结果；最后可以将不同病灶的判断结果整合到一张3D图像中，得到该病人脑部CT图像分割和分类的最终结果。
在本申请的示例性实施例中，在训练2D分割模型时，可以使用多模式的输入以加速模型收敛，并可以利用多标签分类任务来增强分割结果，从而抑制假阳性区域的出现。
在本申请的示例性实施例中，本申请实施例综合考虑脑部出血分割和分类这两个相辅相成的目标任务，利用深度学习技术辅助医生进行诊断，能够有效地提高诊断效率和准确率。
在本申请的示例性实施例中，所述获取预先训练好的2D分割模型和3D分类模型可以包括：
直接调取存储的2D分割模型和3D分类模型；或者，
创建所述2D分割模型和所述3D分类模型。
在本申请的示例性实施例中，在应用本申请实施例方案时，可以直接调取预先训练好并存储的2D分割模型和3D分类模型进行性利用，也可以随时根据大量的训练数据和预设的深度学习网络创建该2D分割模型和3D分类模型。下面对所述2D分割模型和所述3D分类模型的创建过程分别详细介绍。
在本申请的示例性实施例中，如图2所示，创建所述2D分割模型可以包括步骤S201-S202：
S201、获取多个3D的第一CT图像以及关于所述第一CT图像的已经确定分割结果的3D的第一分割结果图像，根据所述第一CT图像和所述第一分割结果图像获取第一训练集。
在本申请的示例性实施例中，所述根据所述第一CT图像和所述第一分割结果图像获取第一训练集可以包括：
将所述第一CT图像和所述第一分割结果图像按通道划分为多组2D切片；所述2D切片包括2DCT切片和2D分割结果切片；
将所述2DCT切片中包含病灶区域的图像作为阳性样本，未包含病灶区域的图像作为阴性样本；将每个2D CT切片按照m个CT值范围进行截取和归一化，并按顺序进行拼接，获得m个通道的训练数据，构成所述2D分割网络U-net的训练数据；m为正整数；
将所述2D分割结果切片中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述2D分割结果切片中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签作为所述2D分割网络U-net的训练标签；
在所述2D分割结果切片中具有任意的第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第三标签；在所述2D分割结果切片中不具有该第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第四标签；将用于标记全部K种病变类型在病变区域是否出现的第三标签和第四标签作为所述多标签分类器的训练标签；k和K均为正整数；
由所述2D分割网络U-net的训练数据、所述2D分割网络U-net的训练标签以及所述多标签分类器的训练标签组成所述第一训练集。
在本申请的示例性实施例中，下面对上述的获取第一训练集的方案进行详细介绍。
在本申请的示例性实施例中，可以从医院或相关单位采集多个患者的脑出血CT数据(即3D的第一CT图像)，其中第j位患者的CT数据记为xj，xj为一个A×H×W的三维矩阵，A为CT数据的通道数，H和W分别为CT数据的高度和宽度，每个xj和一个与之等大的分割结果yj相对应，yj的每个像素均为一个取值在0到K之间的整数，可以由专业的医生标注而成，其中K为待诊断的脑出血的全部种类数，yj的像素为k代表患者脑部该位置有第k种脑出血，像素为0代表患者脑部该位置没有出血。
在本申请的示例性实施例中，可以将3D的CT数据(即3D的第一CT图像)和3D的分割结果(第一分割结果图像)按通道划分为一系列的2D切片，即H×W的二维矩阵，构建2D分割网络的训练数据和训练标签，同时构建多标签分类任务的训练标签，由训练数据和训练标签组成第一训练集，训练数据和训练标签的详细获取方法可以通过下述方案实现。
在本申请的示例性实施例中，可以将2D的CT切片按图像中是否包含病灶区域分为阳性样本和阴性样本两种，每个切片分别按照m个CT值范围进行截取和归一化，并按顺序拼接得到m通道的训练数据ai，ai为一个m×H×W的三维矩阵。
在本申请的示例性实施例中，可以将2D分割结果中像素非零的区域的标签记为1(第一标签)，代表患者脑部该位置有出血，像素为零的区域的标签仍记为0(第二标签)，代表患者脑部该位置没有出血，作为2D分割网络的训练标签
Figure BDA0002856915880000101
Figure BDA0002856915880000102
为一个H×W的二维矩阵。
在本申请的示例性实施例中，可以将2D分割结果中K种脑出血的有无表示为一个K×1的向量，作为多标签分类网络的训练标签
Figure BDA0002856915880000103
Figure BDA0002856915880000104
代表患者该切片中含有第k种脑出血，
Figure BDA0002856915880000105
代表患者该切片中不包含第k种脑出血。
在本申请的示例性实施例中，该2D分割网络可以为标准的2D分割网络U-net，多标签分类网络可以为预设的多标签分类器。因此，可以建立一个标准的2D分割网络U-net，设其编码器和解码器的传递函数分别为g，h，参数分别为Θ1，Θ2；并建立一个多标签分类器，该多标签分类器可以由两个卷积层、一个全局平均池化层和一个输出层构成，设其传递函数为f，参数为Ψ。
在本申请的示例性实施例中，在获取第一训练集、该2D分割网络U-net和多标签分类器后，便可以通过第一训练集对2D分割网络U-net和多标签分类器进行训练，获取2D分割模型。
S202、采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型；其中，所述2D分割网络U-net用于分割出图像中具有病灶的区域，从而获取包含病灶区域的图像和未包含病灶区域的图像；所述多标签分类器用于标识出所述包含病灶区域的图像中的多种不同的病变特征。
在本申请的示例性实施例中，所述采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型可以包括步骤51-55：
51、以标准正态分布对所述2D分割网络U-net的第一参数以及所述多标签分类器的第二参数进行初始化，并设置训练代数t＝0，并设定总训练代数E；t为0和正整数，E为正整数。
在本申请的示例性实施例中，对创建的2D分割网络U-net和多标签分类器进行训练主要是对2D分割网络U-net的参数Θ1，Θ2和多标签分类器的参数Ψ进行训练。
在本申请的示例性实施例中，初始化时，设置训练代数t＝0，并设置定总训练代数E。
52、当t≤2E/5时，从所述2D分割网络U-net的训练数据中的阳性样本中随机取出B个数据；当2E/5＜t≤E时，从所述2D分割网络U-net的训练数据中的全部阳性样本和随机抽取出的部分阴性样本所构成的数据集中随机取出B个数据；B为正整数；将所述B个数据输入所述2D分割网络U-net的编码器，获得B个特征；将所述B个特征输入所述多标签分类器，获得B个病变类型分类结果；将所述B个特征和所述B个病变类型分类结果进行数据处理后输入所述2D分割网络U-net的解码器，获得B个分割结果。
在本申请的示例性实施例中，若t≤2E/5，可以从上述的阳性样本随机取出B个数据，记为
Figure BDA0002856915880000111
若2E/5＜t≤E，可以从上述的全部阳性样本和随机抽取出的1/10阴性样本所构成的数据集中随机取出B个数据，记为
Figure BDA0002856915880000121
对应的分割标签为2D分割网络U-net的训练标签
Figure BDA0002856915880000122
中的
Figure BDA0002856915880000123
对应的分类标签为多标签分类网络的训练标签
Figure BDA0002856915880000124
中的
Figure BDA0002856915880000125
将B个训练数据
Figure BDA0002856915880000126
输入2D分割网络U-net，根据下式得到B个与之对应的特征
Figure BDA0002856915880000127
多标签分类器的输出
Figure BDA0002856915880000128
以及2D分割网络U-net的输出
Figure BDA0002856915880000129
Figure BDA00028569158800001210
Figure BDA00028569158800001211
Figure BDA00028569158800001212
Figure BDA00028569158800001213
Figure BDA00028569158800001214
在本申请的示例性实施例中，第i个训练数据ai输入2D分割模型后，可以执行以下流程：
先经过编码器输出一个特征ci，将特征ci输入多标签分类器，经过两个卷积层得到特征ui，再经过全局平均池化层得到特征gapi，最后输出多标签分类结果
Figure BDA00028569158800001215
用输出层中代表第k类的神经元
Figure BDA00028569158800001216
和全局平均池化层中c′个神经元之间的权重W1，W2，...，Wc′对特征ui的c′个通道加权求和得到类别k的特征激活图mapik，同理可得各个类别的特征激活图mapi1，mapi2，...，mapiK，相加得到总激活图cami，将cami复制多份和ci拼接，输入解码器得到分割结果
Figure BDA00028569158800001217
记为：
ci＝g(ai；Θ1)；
Figure BDA00028569158800001218
Figure BDA00028569158800001219
Figure BDA00028569158800001220
Figure BDA00028569158800001221
ci为一个c×h×w的向量，ui为一个c′×h′×w′的向量，gapi为一个c′×1×1的向量，
Figure BDA00028569158800001222
为一个K×1的向量，mapi1，mapi2，...，mapiK均为1×h×w的向量，cami为一个1×h×w的向量，
Figure BDA0002856915880000131
为一个H×W的二维矩阵。
53、根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg；根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls；并根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L。
在本申请的示例性实施例中，可以计算Dice loss得到分割损失Lseg，计算二分类交叉熵损失得到多标签分类损失Lcls。
在本申请的示例性实施例中，所述根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg可以包括：根据下述第一关系式计算所述分割损失Lseg：
Figure BDA0002856915880000132
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure BDA0002856915880000133
为所述B个分割结果，
Figure BDA0002856915880000134
为所述B个分割结果对应的2D分割网络U-net的训练标签；
所述根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls可以包括：根据下述第二关系式计算所述多标签分类损失Lcls：
Figure BDA0002856915880000135
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure BDA0002856915880000136
为所述B个病变类型分类结果，
Figure BDA0002856915880000137
为所述B个病变类型分类结果对应的多标签分类器的训练标签；
所述根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L可以包括：根据下述第三关系式计算所述模型总损失L：
L＝Lseg+k1*Lcls；
其中，k1为可调节的比例系数。
Figure BDA0002856915880000141
54、根据所述模型总损失L求解新的第一参数和第二参数，并采用新的第一参数和第二参数更新原来的第一参数和第二参数。
在本申请的示例性实施例中，可以对损失L进行反向求导，得到L对2D分割网络的参数Θ1，Θ2、多标签分类器参数Ψ的偏导数
Figure BDA0002856915880000142
和
Figure BDA0002856915880000143
可以利用以下计算式更新Θ1，Θ2和Ψ：
Figure BDA0002856915880000144
Figure BDA0002856915880000145
Figure BDA0002856915880000146
其中，η为学习率，由以下计算式计算获得：
Figure BDA0002856915880000147
其中，t和E为当前训练代数和总训练代数，cos代表余弦函数，η0为初始学习率。
55、令训练代数t＝t+1，对t进行判断，当t≤E时，返回步骤52，当t＞E时，获得所述第一参数对应的2D分割网络U-net和所述第二参数对应的多标签分类器，并由该2D分割网络U-net和该多标签分类器组成所述2D分割模型。
在本申请的示例性实施例中，令训练代数t＝t+1，对t进行判断，若t≤E，则返回步骤52，若t＞E，则得到与步骤54的参数Θ1，Θ2和Ψ相对应的2D分割网络和多标签分类器，两者组成2D分割模型。
在本申请的示例性实施例中，如图3所示，创建所述3D分类模型可以包括步骤S301-S302：
S301、获取多个3D的第二CT图像以及关于所述第二CT图像的已经确定分割结果的3D的第二分割结果图像，根据所述第二CT图像和所述第二分割结果图像获取第二训练集。
在本申请的示例性实施例中，所述根据所述第二CT图像和所述第二分割结果图像获取第二训练集可以包括：
将所述第二分割结果图像中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述第二分割结果图像中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签进行二值化处理获取二值化的3D分割标签；
对所述3D分割标签提取连通域，获得分割结果中所有的3D病灶区域，并根据3D病灶区域所在图像设置3D病灶区域对应的病变标签；
将具有病变标签的3D病灶区域的数据分别与所述第二CT图像的数据进行拼接，获取3D病灶训练数据，与相应的病变标签一起组成所述第二训练集；其中，所述3D病灶训练数据中任意的第p个病灶标签tp＝k用于表征第p个病灶区域的病变类型为第k种。
在本申请的示例性实施例中，可以将3D CT数据(多个3D的第二CT图像)xj的分割结果yj中像素非零的标签记为1，像素为零的标签仍记为0，得到二值化的3D分割标签zj，对zj提取连通域，得到分割结果中所有的3D病灶区域rj1，rj2，rj3…(每位患者的病灶区域数量可能不等)，它们均为与yj等大的三维矩阵，像素为1代表患者脑部该位置是病灶，像素为0代表患者脑部该位置不是病灶。
在本申请的示例性实施例中，可以将提取出的病灶区域rj1，rj2，rj3…，分别和患者原始的3D CT数据xj拼接，构成两通道的3D病灶训练数据，由该3D病灶训练数据组成第二训练集。其中，第p个病灶数据记为dp，dp是一个2×A×H×W的四维矩阵；每个dp与一个脑出血标签tp相对应，tp为一个取值在1到K之间的整数，其中K为待诊断的脑出血种类数，tp＝k代表该病灶为第k种脑出血。
S302、采用所述第二训练集对创建的3D ResNet-101网络进行训练，获取所述3D分类模型。
在本申请的示例性实施例中，可以建立一个标准的3D ResNet-101网络(3D分类网络)作为病灶分类模型(未训练的3D分类模型)，设该3D分类网络的参数(第三参数)为Φ，将第p个病灶训练数据dp作为该3D分类网络的输入，可以记为
Figure BDA0002856915880000161
其中，n为3D分类网络的传递函数，
Figure BDA0002856915880000162
为一个K×1的向量。
在本申请的示例性实施例中，所述采用所述第二训练集对创建的3DResNet-101网络进行训练，获取所述3D分类模型可以包括步骤91-95：
91、以标准正态分布对所述3D ResNet-101网络的第三参数进行初始化，并设置训练代数t′＝0，并设定总训练代数E′；t′为0和正整数，E′为正整数。
在本申请的示例性实施例中，可以以标准正态分布对的3D分类模型参数Φ进行初始化，对参数Φ进行训练，以得到用于3D分类的神经网络。初始化时，设置训练代数t′＝0，并设定总训练代数E′。
92、从所述第二训练集中随机取出B′个数据；B′为正整数；将所述B′个数据输入所述3D ResNet-101网络，获得B′个分类结果。
在本申请的示例性实施例中，可以随机从3D病灶训练数据中取出B′个数据，记为
Figure BDA0002856915880000163
对应的脑出血标签为
Figure BDA0002856915880000164
将B′个3D病灶训练数据输入标准的3DResNet-101网络，根据下式得到B′个与之对应的分类网络输出
Figure BDA0002856915880000165
Figure BDA0002856915880000166
其中，n和Φ分别为前面定义的3D分类模型的传递函数和参数。
93、根据所述B′个分类结果计算分类损失L。
在本申请的示例性实施例中，计算分类损失L，可以定义为：
Figure BDA0002856915880000167
94、根据所述分类损失L求解新的第三参数，并采用新的第三参数更新原来的第三参数。
在本申请的示例性实施例中，对损失L进行反向求导，得到L对分类网络参数Φ的偏导数
Figure BDA0002856915880000171
利用以下计算式更新Φ：
Figure BDA0002856915880000172
其中，η′为学习率。
95、令训练代数t′＝t′+1，对t′进行判断，当t′≤E′时，返回步骤92，当t′＞E′时，获得所述第三参数对应的3D ResNet-101网络，并将该3DResNet-101网络作为所述3D分类模型。
在本申请的示例性实施例中，令训练代数t′＝t′+1，对t′进行判断，若t′≤E′，则步骤92，若t′＞E′，则得到与步骤94的参数Φ相对应的3D分类网络，作为3D分类模型。
在本申请的示例性实施例中，获取2D分割模型和3D分类模型以后，可以将待诊断患者的3D CT数据
Figure BDA0002856915880000173
逐切片进行数据预处理，然后输入2D分割模型，把输出结果按顺序拼接构成3D的分割结果
Figure BDA0002856915880000174
通过提取连通域得到2D分割模型预测出的所有3D病灶区域
Figure BDA0002856915880000175
(通过现有数据提取方法即可实现)，分别和患者原始的3D CT数据
Figure BDA0002856915880000176
拼接构成两通道的3D病灶数据
Figure BDA0002856915880000177
(通过现有数据拼接方法即可实现)，依次输入3D分类模型，最后将其输出的各个病灶判断类别
Figure BDA0002856915880000178
对应到各个病灶区域上整合成一张3D图像，即得到该患者脑部CT图像分割和分类的最终结果，图中每个像素均为一个取值在0到K之间的整数，像素为k代表患者脑部该位置有第k种脑出血，像素为0代表患者脑部该位置没有出血，从而实现基于多任务学习的脑部出血诊断。
在本申请的示例性实施例中，利用基于深度学习的医疗影像分析模型(2D分割模型和3D分类模型)可以迅速地得到分割和分类结果，极大地提升了医生的诊断效率。对图像的语义分割即是对图像完成像素级的分类，所以对脑部出血的分割和分类是相辅相成的。
在本申请的示例性实施例中，本申请实施例方案提出的基于多任务学习的医学图像处理方法，其特点和优点包括：
1、综合考虑脑部出血分割和分类这两个目标，构建了一个先进行2D分割，再进行3D分类的预测模型。本申请实施例方案首先将病人的脑部CT图像逐切片通过2D分割模型，得到各自的病灶分割结果，再按顺序拼接构成3D的分割结果；然后从中提取出全部的3D病灶区域，分别输入3D分类模型，得到各个病灶的分类结果；最后将不同病灶的判断结果整合到一张3D图像中，得到该病人脑部CT图像分割和分类的最终结果。本申请实施例方案将多标签分类任务作为2D分割的辅助任务，可以使编码器从图像中获取更多有效信息，在一定程度上指导分割主任务的训练，进而提升分割网络的效果；同时，受到网络可解释性的启发，使用分类任务中的CAM图(类别对特征的激活图)来增强分割结果，能够更加充分地利用分类的结果，实现分类任务对分割任务的极大帮助。此外，对于2D分割模型，通过把CT值截取至不同的范围构成多模式的输入，能够更充分地利用CT数据的特征，提取出更丰富的信息，各通道关注的信息不同，通过相互协同可以进一步提升模型的效果，加速模型收敛；并且，在训练2D分割模型的初始阶段只使用全部的阳性样本，待网络已经基本收敛时再从阴性样本中随机抽取一部分数据加入到训练集中，通过这种方式可以避免训练过程出现大的波动，同时减少在测试集上测试时出现的假阳性区域，从而提升最终的分割效果。
2、综合考虑脑部出血分割和分类这两个相辅相成的目标任务，构建了一个先进行2D分割，再进行3D分类的预测模型，通过将多标签分类任务作为2D分割的辅助任务等方式尽可能地令两个任务相互促进，可以有效地增强分割结果，抑制假阳性区域的出现，提升模型的准确性。另外，采用多模式输入来训练2D分割模型，使模型提取出更丰富的信息，极大地加速收敛；通过合理地利用数据集中的数据进行训练，模型的训练更加稳定，性能也得到了提升。该模型能够很好地辅助医生进行诊断，有效地提高诊断效率和准确率。
本申请实施例还提供了一种图像处理装置1，如图4所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现上述任意一项所述的图像处理方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取预先训练好的2D分割模型和3D分类模型；
将待处理的电子计算机断层扫描CT图像输入所述2D分割模型，获取2D的病灶分割结果；
将所述2D的病灶分割结果拼接成3D的病灶分割结果，并从所述3D的病灶分割结果中提取出3D的病灶区域；
将所述3D的病灶区域和所述电子计算机断层扫描CT图像拼接成多通道的3D病灶数据，输入所述3D分类模型，获取每个病灶区域的分类结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取预先训练好的2D分割模型和3D分类模型包括：
直接调取存储的2D分割模型和3D分类模型；或者，
创建所述2D分割模型和所述3D分类模型。
3.根据权利要求2所述的图像处理方法，其特征在于，创建所述2D分割模型包括：
获取多个3D的第一CT图像以及关于所述第一CT图像的已经确定分割结果的3D的第一分割结果图像，根据所述第一CT图像和所述第一分割结果图像获取第一训练集；
采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型；其中，所述2D分割网络U-net用于分割出图像中具有病灶的区域，从而获取包含病灶区域的图像和未包含病灶区域的图像；所述多标签分类器用于标识出所述包含病灶区域的图像中的多种不同的病变特征。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述第一CT图像和所述第一分割结果图像获取第一训练集包括：
将所述第一CT图像和所述第一分割结果图像按通道划分为多组2D切片；所述2D切片包括2DCT切片和2D分割结果切片；
将所述2DCT切片中包含病灶区域的图像作为阳性样本，未包含病灶区域的图像作为阴性样本；将每个2DCT切片按照m个CT值范围进行截取和归一化，并按顺序进行拼接，获得m个通道的训练数据，构成所述2D分割网络U-net的训练数据；m为正整数；
将所述2D分割结果切片中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述2D分割结果切片中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签作为所述2D分割网络U-net的训练标签；
在所述2D分割结果切片中具有任意的第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第三标签；在所述2D分割结果切片中不具有该第k种病变类型时，将用于指示该切片是否具有第k种病变类型的标签标记为第四标签；将用于标记全部K种病变类型在病变区域是否出现的第三标签和第四标签作为所述多标签分类器的训练标签；k和K均为正整数；
由所述2D分割网络U-net的训练数据、所述2D分割网络U-net的训练标签以及所述多标签分类器的训练标签组成所述第一训练集。
5.根据权利要求3所述的图像处理方法，其特征在于，所述采用所述第一训练集对创建的2D分割网络U-net和多标签分类器进行训练，获取所述2D分割模型包括：
51、以标准正态分布对所述2D分割网络U-net的第一参数以及所述多标签分类器的第二参数进行初始化，并设置训练代数t＝0，并设定总训练代数E；t为0和正整数，E为正整数；
52、当t≤2E/5时，从所述2D分割网络U-net的训练数据中的阳性样本中随机取出B个数据；当2E/5＜t≤E时，从所述2D分割网络U-net的训练数据中的全部阳性样本和随机抽取出的部分阴性样本所构成的数据集中随机取出B个数据；B为正整数；将所述B个数据输入所述2D分割网络U-net的编码器，获得B个特征；将所述B个特征输入所述多标签分类器，获得B个病变类型分类结果；将所述B个特征和所述B个病变类型分类结果进行数据处理后输入所述2D分割网络U-net的解码器，获得B个分割结果；
53、根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg；根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls；并根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L；
54、根据所述模型总损失L求解新的第一参数和第二参数，并采用新的第一参数和第二参数更新原来的第一参数和第二参数；
55、令训练代数t＝t+1，对t进行判断，当t≤E时，返回步骤52，当t＞E时，获得所述第一参数对应的2D分割网络U-net和所述第二参数对应的多标签分类器，并由该2D分割网络U-net和该多标签分类器组成所述2D分割模型。
6.根据权利要求5所述的图像处理方法，其特征在于，
所述根据所述B个分割结果和所述B个分割结果对应的2D分割网络U-net的训练标签计算分割损失Lseg包括：根据下述第一关系式计算所述分割损失Lseg：
Figure FDA0002856915870000031
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure FDA0002856915870000032
为所述B个分割结果，
Figure FDA0002856915870000033
为所述B个分割结果对应的2D分割网络U-net的训练标签；
所述根据所述B个病变类型分类结果和所述B个病变类型分类结果对应的多标签分类器的训练标签计算多标签分类损失Lcls包括：根据下述第二关系式计算所述多标签分类损失Lcls：
Figure FDA0002856915870000034
其中，b＝1，2，...，B；smooth为用于平滑的常系数，⊙表示矩阵对应元素相乘；
Figure FDA0002856915870000035
为所述B个病变类型分类结果，
Figure FDA0002856915870000036
为所述B个病变类型分类结果对应的多标签分类器的训练标签；
所述根据所述分割损失Lseg和所述多标签分类损失Lcls计算模型总损失L包括：根据下述第三关系式计算所述模型总损失L：
L＝Lseg+k1*Lcls；
其中，k1为可调节的比例系数。
7.根据权利要求2所述的图像处理方法，其特征在于，创建所述3D分类模型包括：
获取多个3D的第二CT图像以及关于所述第二CT图像的已经确定分割结果的3D的第二分割结果图像，根据所述第二CT图像和所述第二分割结果图像获取第二训练集；
采用所述第二训练集对创建的3D ResNet-101网络进行训练，获取所述3D分类模型。
8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述第二CT图像和所述第二分割结果图像获取第二训练集包括：
将所述第二分割结果图像中像素非零的像素区域标记为第一标签，代表该区域具有病变；将所述第二分割结果图像中像素为零的像素区域标记为第二标签，代表该区域没有病变；将所述第一标签和所述第二标签进行二值化处理获取二值化的3D分割标签；
对所述3D分割标签提取连通域，获得分割结果中所有的3D病灶区域，并根据3D病灶区域所在图像设置3D病灶区域对应的病变标签；
将具有病变标签的3D病灶区域的数据分别与所述第二CT图像的数据进行拼接，获取3D病灶训练数据，与相应的病变标签一起组成所述第二训练集；其中，所述3D病灶训练数据中任意的第p个病灶标签tp＝k用于表征第p个病灶区域的病变类型为第k种。
9.根据权利要求7所述的图像处理方法，其特征在于，所述采用所述第二训练集对创建的3D ResNet-101网络进行训练，获取所述3D分类模型包括：
91、以标准正态分布对所述3D ResNet-101网络的第三参数进行初始化，并设置训练代数t′＝0，并设定总训练代数E′；t′为0和正整数，E′为正整数；
92、从所述第二训练集中随机取出B′个数据；B′为正整数；将所述B′个数据输入所述3DResNet-101网络，获得B′个分类结果；
93、根据所述B′个分类结果计算分类损失L；
94、根据所述分类损失L求解新的第三参数，并采用新的第三参数更新原来的第三参数；
95、令训练代数t′＝t′+1，对t′进行判断，当t′≤E′时，返回步骤92，当t′＞E′时，获得所述第三参数对应的3D ResNet-101网络，并将该3D ResNet-101网络作为所述3D分类模型。
10.一种图像处理装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1-9任意一项所述的图像处理方法。
CN202011547781.8A 2020-12-24 2020-12-24 一种图像处理方法和装置 Active CN112581458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011547781.8A CN112581458B (zh) 2020-12-24 2020-12-24 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011547781.8A CN112581458B (zh) 2020-12-24 2020-12-24 一种图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN112581458A true CN112581458A (zh) 2021-03-30
CN112581458B CN112581458B (zh) 2024-03-26

Family

ID=75139536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011547781.8A Active CN112581458B (zh) 2020-12-24 2020-12-24 一种图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN112581458B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223014A (zh) * 2021-05-08 2021-08-06 中国科学院自动化研究所 基于数据增强的脑部图像分析系统、方法及设备
CN113469972A (zh) * 2021-06-30 2021-10-01 沈阳东软智能医疗科技研究院有限公司 标注医学切片图像的方法、装置、存储介质及电子设备
CN113657458A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 气道分类方法及其装置、计算机可读存储介质
CN114494935A (zh) * 2021-12-15 2022-05-13 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
CN114897760A (zh) * 2021-10-29 2022-08-12 北京富通东方科技有限公司 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统
WO2024109859A1 (zh) * 2022-11-24 2024-05-30 深圳先进技术研究院 一种肿瘤基因突变分类方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165810A1 (en) * 2016-12-13 2018-06-14 Shanghai Sixth People's Hospital Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network
CN111430025A (zh) * 2020-03-10 2020-07-17 清华大学 一种基于医疗影像数据扩增的疾病诊断方法
US20200278408A1 (en) * 2019-03-01 2020-09-03 The Regents Of The University Of California Systems, Methods and Media for Automatically Segmenting and Diagnosing Prostate Lesions Using Multi-Parametric Magnetic Resonance Imaging Data
CN111932559A (zh) * 2020-08-26 2020-11-13 上海市公共卫生临床中心 基于深度学习的新冠肺炎肺部病灶区域分割系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165810A1 (en) * 2016-12-13 2018-06-14 Shanghai Sixth People's Hospital Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network
US20200278408A1 (en) * 2019-03-01 2020-09-03 The Regents Of The University Of California Systems, Methods and Media for Automatically Segmenting and Diagnosing Prostate Lesions Using Multi-Parametric Magnetic Resonance Imaging Data
CN111430025A (zh) * 2020-03-10 2020-07-17 清华大学 一种基于医疗影像数据扩增的疾病诊断方法
CN111932559A (zh) * 2020-08-26 2020-11-13 上海市公共卫生临床中心 基于深度学习的新冠肺炎肺部病灶区域分割系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YULIN WANG ET AL: "Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification", 《ARXIV:2010.05300》, 11 October 2020 (2020-10-11), pages 1 - 16 *
孔小函 等: "基于卷积神经网络和多信息融合的三维乳腺超声分类方法", 中国生物医学工程学报, vol. 37, no. 04, 31 August 2018 (2018-08-31), pages 414 - 422 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223014A (zh) * 2021-05-08 2021-08-06 中国科学院自动化研究所 基于数据增强的脑部图像分析系统、方法及设备
CN113469972A (zh) * 2021-06-30 2021-10-01 沈阳东软智能医疗科技研究院有限公司 标注医学切片图像的方法、装置、存储介质及电子设备
CN113469972B (zh) * 2021-06-30 2024-04-23 沈阳东软智能医疗科技研究院有限公司 标注医学切片图像的方法、装置、存储介质及电子设备
CN113657458A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 气道分类方法及其装置、计算机可读存储介质
CN113657458B (zh) * 2021-07-27 2024-11-19 浙江大华技术股份有限公司 气道分类方法及其装置、计算机可读存储介质
CN114897760A (zh) * 2021-10-29 2022-08-12 北京富通东方科技有限公司 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统
CN114494935A (zh) * 2021-12-15 2022-05-13 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
CN114494935B (zh) * 2021-12-15 2024-01-05 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
WO2024109859A1 (zh) * 2022-11-24 2024-05-30 深圳先进技术研究院 一种肿瘤基因突变分类方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112581458B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
Gandomkar et al. MuDeRN: Multi-category classification of breast histopathological image using deep residual networks
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Li et al. Multi-step cascaded networks for brain tumor segmentation
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
Dalmış et al. Using deep learning to segment breast and fibroglandular tissue in MRI volumes
CN112581458A (zh) 一种图像处理方法和装置
Singh et al. Conditional generative adversarial and convolutional networks for X-ray breast mass segmentation and shape classification
US20200074634A1 (en) Recist assessment of tumour progression
Mukhlif et al. An extensive review of state-of-the-art transfer learning techniques used in medical imaging: Open issues and challenges
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Wang et al. Uncertainty-guided efficient interactive refinement of fetal brain segmentation from stacks of MRI slices
CN104484886B (zh) 一种mr图像的分割方法及装置
CN114998362B (zh) 基于双分割模型的医学图像分割方法
Gamage et al. Instance-based segmentation for boundary detection of neuropathic ulcers through Mask-RCNN
Hu et al. Brain tumor segmentation on multimodal mr imaging using multi-level upsampling in decoder
CN112085113A (zh) 一种重症肿瘤影像识别系统及方法
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Wang et al. A deep learning based pipeline for image grading of diabetic retinopathy
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
Debnath et al. Brain tumour segmentation using memory based learning method
Puch et al. Global planar convolutions for improved context aggregation in brain tumor segmentation
Wong et al. Building disease detection algorithms with very small numbers of positive samples
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant