[go: up one dir, main page]

CN110047081A - 胸部x光图像的实例分割方法、装置、设备及介质 - Google Patents

胸部x光图像的实例分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN110047081A
CN110047081A CN201910231342.7A CN201910231342A CN110047081A CN 110047081 A CN110047081 A CN 110047081A CN 201910231342 A CN201910231342 A CN 201910231342A CN 110047081 A CN110047081 A CN 110047081A
Authority
CN
China
Prior art keywords
chest
ray image
module
instance segmentation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910231342.7A
Other languages
English (en)
Inventor
江瑞
汪洁
谢震
李志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910231342.7A priority Critical patent/CN110047081A/zh
Publication of CN110047081A publication Critical patent/CN110047081A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种胸部X光图像的实例分割方法、装置、设备及介质，其中，方法包括：获取待检测的胸部X光图像；将所述胸部X光图像输入经过训练得到的实例分割模型中；通过所述实例分割模型对所述胸部X光图像进行实例分割，包括提取所述胸部X光图像的图像特征，获取所述胸部X光图像中待选的物体区域以及对应的提议框，获取所述物体区域内的物体类别并回归出对应的提议框的坐标，对对应的提议框内的物体进行分割；输出所述胸部X光图像中的解剖结构的分割结果。本发明能够准确地检测、分类以及分割出胸部X光图像中的重要解剖结构，实现了胸部X光图像中各个器官的实例分割。

Description

胸部X光图像的实例分割方法、装置、设备及介质
技术领域
本发明涉及医学图像处理技术领域，具体地，涉及一种胸部X光图像的实例分割方法、装置、设备及介质。
背景技术
胸部X光图像解剖结构的自动分割是实现计算机辅助诊断系统的一个前提任务，其研究由来已久。传统的用于胸部X光图像器官分割的方法大致可以分为四类：基于规则的方法；像素分类的方法；基于可变模型的方法；混合的方法。基于规则的方法包含一系列步骤和精心设计的规则(例如阈值、形态学计算等)，这类方法繁琐且只能找到大致解。基于像素分类的方法通过对器官内外区域的像素值进行建模来将像素分成前景(器官)和背景。由于很难依靠单一的像素值就区分出胸片中的器官，这类方法往往依赖后处理来提升效果。可变模型由于其形状的灵活性而应用广泛，其中主动形状模型(active shape models，ASM)和主动外观模型(active appearance models，AAM)常被用于肺野分割。这类方法容易受到高对比度的肋骨边缘影响而陷入局部最小；分割效果依赖于初始模型的正确性；以及参数众多所引起的不稳定的输出。而混合的方法则结合上述多种方法来提高效果。尽管这些传统方法在胸部X光图像各器官分割中取得不错的结果，但其效果仍然不及深度学习。
目前深度学习应用于胸片各器官分割的方法大致可以分为三类：基于块的分类；全卷积网络；对抗学习。基于块的分类是对以图片中的每个像素为中心的一个小块进行分类而达到对每个像素进行标注的结果。这种方法处理繁琐，计算量较大而耗时。全卷积网络广泛应用于图像语义分割，能够对输入图像中的每个像素点进行标注。这种方法的分割结果往往存在空洞或者小的错误预测区域，需要依赖后处理来提高效果。对抗学习的方法则将器官的结构信息引入卷积分割网络来提高分割效果。尽管深度学习方法在胸部X光图像器官分割中取得很好的结果，但是这些方法要么只分割肺野，要么只分割肺野和心脏，无法对肺野、心脏、锁骨这三种重要解剖结构同时进行实例分割。
发明内容
鉴于以上问题，本发明的目的是提供一种胸部X光图像的实例分割方法、装置、设备及介质，以解决现有的分割方法无法对肺野、心脏、锁骨这三种重要解剖结构同时进行实例分割的问题。
为了实现上述目的，本发明的一个方面是提供一种胸部X光图像的实例分割方法，包括：
获取待检测的胸部X光图像；将所述胸部X光图像输入经过训练得到的实例分割模型中；通过所述实例分割模型对所述胸部X光图像进行实例分割；输出所述胸部X光图像中的解剖结构的分割结果；其中，通过所述实例分割模型对所述胸部X光图像进行实例分割，包括：通过图像特征提取模块提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；通过兴趣区域对齐模块获取待选的物体区域的特征；通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标；通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割。
优选地，所述图像特征提取模块采用残差特征金字塔网络进行图像特征的提取，其中，所述残差特征金字塔网络包括多个卷积模块，每个卷积模块均包括特征提取层。
优选地，通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框，包括：
选择滑动窗口，在所述残差特征金字塔网络的最后一个特征提取层上滑动；在每个滑动窗口的位置随机产生多个提议框；获取每个提议框内属于前景或背景的概率，并回归出每个提议框的初步坐标；根据所述提议框属于前景或背景的概率以及初步坐标，获取所述胸部X光图像中待选的物体区域以及对应的提议框。
优选地，通过兴趣区域对齐模块获取待选的物体区域的特征，包括：通过兴趣区域对齐的方式获取待选的物体区域对应的特征金字塔；根据对应的特征金字塔，通过双线性插值的方式得到待选的物体区域的特征。
优选地，通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标，包括：将获得的待选物体区域的特征输入两层全连接层；通过将最后一层全连接层的输出输入分类输出层，得到所述物体区域内的物体类别；通过将最后一层全连接层的输出输入回归输出层，得到对应的提议框的坐标。
优选地，通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割，包括：将获得的待选物体区域的特征输入全卷积神经网络构成的分割模块中，其中，所述全卷积神经网络包括四层3×3的卷积层和一层1×1的卷积层；通过所述全卷积神经网络输出对应的提议框内的二值分割结果。
优选地，所述实例分割模型的训练包括：构建训练集，所述训练集包括胸部X光原始图像以及标注的解剖结构的分割图像；对所述训练集进行扩增处理，包括：对所述训练集中的原始图像和标注的分割图像进行同步的旋转、水平翻转或缩放处理；利用扩增后的训练集训练所述实例分割模型。
为了实现上述目的，本发明的另一个方面是提供一种胸部X光图像的实例分割装置，包括：
图像获取模块，获取待检测的胸部X光图像；图像输入模块，将所述胸部X光图像输入经过训练得到的实例分割模型中；实例分割模块，通过所述实例分割模型对所述胸部X光图像进行实例分割；结果输出模块，输出所述胸部X光图像中的解剖结构的分割结果；其中，所述实例分割模型包括：图像特征提取模块，提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；区域提议模块，根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；兴趣区域对齐模块，获取待选的物体区域的特征；检测分类回归模块，获取所述物体区域内的物体类别并回归出对应的提议框的坐标；分割模块，与所述检测分类回归模块平行设置，对对应的提议框内的物体进行分割。
为了实现上述目的，本发明的再一个方面是提供一种电子设备，包括：一个或多个处理器；存储器，用于存储胸部X光图像的实例分割程序，当所述实例分割程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的胸部X光图像的实例分割方法。
为了实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括胸部X光图像的实例分割程序，所述胸部X光图像的实例分割程序被处理器执行时，实现如上所述的胸部X光图像的实例分割方法的步骤。
与现有技术相比，本发明具有以下优点和有益效果：
本发明通过实例分割模型对所述胸部X光图像进行实例分割，能够准确地检测、分类以及分割出胸部X光图像中的重要解剖结构，包括肺野、心脏和锁骨，并能够区分出左肺和右肺，以及左锁骨和右锁骨，实现了胸部X光图像中各个器官的实例分割。
附图说明
图1是本发明所述胸部X光图像的实例分割方法的流程示意图；
图2是本发明所述胸部X光图像的实例分割装置的构成框图；
图3是本发明中胸部X光图像的实例分割程序的模块示意图；
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
图1是本发明所述胸部X光图像的实例分割方法的流程示意图，如图1所示，本发明所述胸部X光图像的实例分割方法，包括以下步骤：
步骤S1，获取待检测的胸部X光图像，其中，胸部X光图像中的解剖结构包括肺野、心脏以及锁骨等器官，并且，肺野包括左肺和右肺，锁骨包括左锁骨和右锁骨，待检测的胸部X光图像中可以包括解剖结构中的一种或多种，也就是说，对于待检测的胸部X光图像既可以仅包括肺野、心脏和锁骨中的一种或两种，也可以包括全部器官，通过本发明的实例分割方法，可以将图像中的全部器官进行分割并区分。
步骤S2，将所述胸部X光图像输入经过训练得到的实例分割模型中。
步骤S3，通过所述实例分割模型对所述胸部X光图像进行实例分割。具体地，包括：通过图像特征提取模块提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；通过兴趣区域对齐模块获取待选的物体区域的特征；通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标；通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割。
步骤S4，输出所述胸部X光图像中的解剖结构的分割结果，通过实例分割模型对胸部X光图像进行的实例分割，可以同时输出图像中左肺、右肺、心脏、左锁骨以及右锁骨的位置框的坐标、类别以及分割结果图，从而准确地检测、分类以及分割出胸部X光图像中的重要解剖结构。
本发明的一个实施例中，所述图像特征提取模块采用残差特征金字塔网络进行图像特征的提取，其中，所述残差特征金字塔网络包括多个卷积模块，每个卷积模块均包括特征提取层，以提取图像特征。具体地，残差特征金字塔网络以残差网络作为图像特征提取模块中的主干网络，并结合了特征金字塔网络的网络结构，残差特征金字塔网络结构充分利用了残差网络中每个卷积模块输出的特征以达到更好的特征提取效果，其中，每个卷积模块均用来提取图像特征，并且卷积模块提取的特征之间存在跳跃连接，使得不同尺度下的图像特征都会用于后续的分割预测中，提高分割预测的准确率。
区域提议模块的构成为区域提议网络，以作为主干网络的残差网络的最后一个特征提取层作为基础对提取的图像特征进行处理。进一步地，通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框，包括：选择滑动窗口，在所述残差特征金字塔网络的最后一个特征提取层上滑动，例如，使用3×3的滑动窗口；在每个滑动窗口的位置随机产生多个提议框，提议框为矩形框，框选图像中的一定面积的区域，可能包括物体，也可能仅包括背景；通过每个提议框对应的低维特征(例如256维)获取每个提议框内属于前景(物体)或背景的概率，并回归出每个提议框的初步坐标；根据所述提议框属于前景或背景的概率以及初步坐标，获取所述胸部X光图像中待选的物体区域(存在前景)以及对应的提议框，具体地，将属于前景的提议框作为待选的物体区域，一并获得对应的提议框的初步坐标。
本发明的一个实施例中，获取每个提议框内属于前景或背景的概率，并回归出每个提议框的初步坐标，包括：对于每个提议框，通过一层3×3卷积、一层1×1卷积和一层softmax函数层输出该提议框内属于前景或背景的概率；在上述两层卷积层的基础上再加一层1×1卷积，回归出该提议框的初步坐标。若每个滑动窗口位置随机产生k个提议框，则通过区域提议模块得到2k个分类概率(前景或背景)，4k个初步坐标。
实例分割模型的工作过程分为两个阶段，第一阶段为，通过残差特征金字塔网络提取的图像特征输入区域提议模块中，输出提议框的初步坐标和是否存在前景(物体)的分类。第二阶段，通过兴趣区域对齐模块获取待选的物体区域的特征，并将获取的待选区域的特征作为输入，最终输出图像中的解剖结构的位置框(即矩形提议框)、类别以及分割结果。
具体地，通过兴趣区域对齐模块获取待选的物体区域的特征，包括：通过兴趣区域对齐的方式获取待选的物体区域(即是存在物体的提议框)对应的特征金字塔；根据对应的特征金字塔，通过双线性插值的方式得到待选的物体区域的特征，而不需要对提议框的边缘进行四舍五入。
本发明的一个实施例中，通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标，包括：将获得的待选物体区域的特征输入两层全连接层；通过将最后一层全连接层的输出输入分类输出层，输出对应提议框的类别标签，得到所述物体区域内的物体类别，例如，属于肺野还是心脏等器官；通过将最后一层全连接层的输出输入回归输出层，得到对应的提议框的坐标，此处的提议框的坐标是对提议框的初步坐标进行调整后的坐标值，通过对兴趣区域对齐的方式获取的准确特征的进一步处理得到的提议框坐标更加准确。其中，最后一层全连接层的输出是分别输入分类输出层和回归输出层的，可以同时进行，也可以先后进行，以便于得到类别标签和提议框的坐标。
本发明的一个实施例中，通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割，包括：将获得的待选物体区域的特征输入全卷积神经网络构成的分割模块中，其中，所述全卷积神经网络包括四层3×3的卷积层和一层1×1的卷积层，可以以按照兴趣区域对齐的方式获取的待选的物体区域的特征作为输入；通过所述全卷积神经网络输出对应的提议框内的二值分割结果(深度为k维，k为物体类别数量)，以真实类别标签所对应的二值分割结果(其中，每个像素采用sigmoid函数计算概率，得到二值化图像)作为所预测的分割结果，并以此计算损失函数。
本发明的一个实施例中，所述实例分割模型的训练包括：构建训练集，所述训练集包括胸部X光原始图像以及标注的解剖结构的分割图像，其中，训练集中的样本从公开的JSRT/SCR数据集中进行选择；对所述训练集进行扩增处理(例如，进行10倍扩增)；利用扩增后的训练集训练所述实例分割模型。优选地，扩增处理包括：对所述训练集中的原始图像和标注的分割图像进行同步的旋转、水平翻转或缩放处理，具体地，旋转方式为以10°范围内随机采样的角度旋转，旋转后所产生的空隙用0填充。缩放处理是使得图像在0.9～1.1倍之间以随机采样的系数进行变化。需要说明的是，对胸部X光图像和对应的人工标注的分割图进行同步扩增，即所扩增的胸部X光图像和扩增的分割标注图是一一对应的。
本发明的一个实施例中，使用经过数据扩增处理的训练集端到端训练实例分割模型，对胸部X光图像中各解剖结构进行实例分割。实例分割模型训练以基于损失函数最小作为模型收敛条件，采用如下多任务损失函数：L＝Lrpn-cls+Lrpn-box+Lcls+Lbox+Lmask，
其中，Lrpn-cls为区域提议模块的分类损失函数，该分类只区分前景和背景；Lcls为检测分类回归模块对提议框的分类损失函数，该分类是区分物体的具体类别再加一个背景类别；Lrpn-cls和Lcls两个分类损失函数都采用负对数损失函数，即Lclass(p，u)＝-logpu，其中，u为真实的类别标签，p为预测为真实类别标签的概率；Lrpn-box为区域提议模块对提议框坐标的回归损失函数，Lbox为检测分类回归模块对提议框坐标的回归损失函数，两个回归损失函数均采用Huber损失函数；Lmask为分割模块的损失函数，采用二值交叉熵损失函数。
本发明的一个实施例中，以随机梯度下降的优化方式训练模型，模型的初始参数采用COCO数据集训练所得的参数，然后使用胸部X光图像和手工标注的解剖器官分割图对所有初始参数进行微调。学习率设置为0.0001，动量设置为0.9，批大小设置为2。训练的轮数(epoch)设置为300，每一轮训练1000次，每一轮训练结束后，随机取测试集的50张图片进行测试，选择测试效果最好的epoch保存模型参数，作为训练好的实例分割模型。其中，测试集中的测试样本从公开的JSRT/SCR数据集中进行选择，与训练集相同，包括胸部X光原始图像以及标注的解剖结构的分割图像。将任意一张待测的胸部X光图像输入训练好的实例分割模型中，可以输出图像中左肺、右肺、心脏、左锁骨和右锁骨的分割结果，本发明可以以平均0.2秒/张的速度完成对图像中各器官的分割。
本发明的一个实施例中，图像特征提取模块中的残差网络采用ResNet101，在模型训练过程中，将兴趣区域数量设置为100，实际的最多实例数设置为20，检测到的实例数为10，非极大值抑制后的兴趣区域数量在训练和测试时分别为500和250。胸部X光图像的大小采用256×256，分割模块输出的二值分割结果大小设置为56×56。
图2是本发明所述胸部X光图像的实例分割装置的构成框图，如图2所示，本发明所述胸部X光图像的实例分割装置，包括：
图像获取模块1，获取待检测的胸部X光图像；
图像输入模块2，将所述胸部X光图像输入经过训练得到的实例分割模型中；
实例分割模块3，通过所述实例分割模型对所述胸部X光图像进行实例分割；
结果输出模块4，输出所述胸部X光图像中的解剖结构的分割结果；
其中，所述实例分割模型包括：图像特征提取模块31，提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；区域提议模块32，根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；兴趣区域对齐模块33，获取待选的物体区域的特征；检测分类回归模块34，获取所述物体区域内的物体类别并回归出对应的提议框的坐标；分割模块35，与所述检测分类回归模块平行设置，对对应的提议框内的物体进行分割。
本发明的一个实施例中，所述图像特征提取模块31采用残差特征金字塔网络进行图像特征的提取，其中，所述残差特征金字塔网络包括多个卷积模块，每个卷积模块均包括特征提取层，以提取图像特征。具体地，残差特征金字塔网络以残差网络作为图像特征提取模块中的主干网络，并结合了特征金字塔网络的网络结构，残差特征金字塔网络结构充分利用了残差网络中每个卷积模块输出的特征以达到更好的特征提取效果，其中，每个卷积模块均用来提取图像特征，并且卷积模块提取的特征之间存在跳跃连接，使得不同尺度下的图像特征都会用于后续的分割预测中，提高分割预测的准确率。
区域提议模块32的构成为区域提议网络，以作为主干网络的残差网络的最后一个特征提取层作为基础对提取的图像特征进行处理。进一步地，区域提议模块32包括：窗口滑动单元，选择滑动窗口，在所述残差特征金字塔网络的最后一个特征提取层上滑动，例如，使用3×3的滑动窗口；提议框产生单元，在每个滑动窗口的位置随机产生多个提议框，提议框为矩形框，框选图像中的一定面积的区域，可能包括物体，也可能仅包括背景；初步坐标回归单元，通过每个提议框对应的低维特征(例如256维)获取每个提议框内属于前景(物体)或背景的概率，并回归出每个提议框的初步坐标；区域获取单元，根据所述提议框属于前景或背景的概率以及初步坐标，获取所述胸部X光图像中待选的物体区域(存在前景)以及对应的提议框，具体地，将属于前景的提议框作为待选的物体区域，一并获得对应的提议框的初步坐标。
本发明的一个实施例中，初步坐标回归单元包括一层3×3卷积、一层1×1卷积、一层softmax函数层和一层1×1卷积层，通过下述方式获取每个提议框内属于前景或背景的概率，并回归出每个提议框的初步坐标，具体地，对于每个提议框，通过一层3×3卷积、一层1×1卷积和一层softmax函数层输出该提议框内属于前景或背景的概率；在上述两层卷积层的基础上再加一层1×1卷积，回归出该提议框的初步坐标。若每个滑动窗口位置随机产生k个提议框，则通过区域提议模块得到2k个分类概率(前景或背景)，4k个初步坐标。
实例分割模型的工作过程分为两个阶段，第一阶段为，通过残差特征金字塔网络提取的图像特征输入区域提议模块中，输出提议框的初步坐标和是否存在前景(物体)的分类。第二阶段，通过兴趣区域对齐模块获取待选的物体区域的特征，并将获取的待选区域的特征作为输入，最终输出图像中的解剖结构的位置框(即矩形提议框)、类别以及分割结果。
具体地，兴趣区域对齐模块33通过下述方式获取待选的物体区域的特征，包括：通过兴趣区域对齐的方式获取待选的物体区域(即是存在物体的提议框)对应的特征金字塔；根据对应的特征金字塔，通过双线性插值的方式得到待选的物体区域的特征，而不需要对提议框的边缘进行四舍五入。
本发明的一个实施例中，检测分类回归模块34包括两层全连接层、分类输出层和回归输出层，通过下述方式获取所述物体区域内的物体类别并回归出对应的提议框的坐标，具体地，包括：将获得的待选物体区域的特征输入两层全连接层；通过将最后一层全连接层的输出输入分类输出层，输出对应提议框的类别标签，得到所述物体区域内的物体类别，例如，属于肺野还是心脏等器官；通过将最后一层全连接层的输出输入回归输出层，得到对应的提议框的坐标，此处的提议框的坐标是对提议框的初步坐标进行调整后的坐标值，通过对兴趣区域对齐的方式获取的准确特征的进一步处理得到的提议框坐标更加准确。其中，最后一层全连接层的输出是分别输入分类输出层和回归输出层的，可以同时进行，也可以先后进行，以便于得到类别标签和提议框的坐标。
本发明的一个实施例中，分割模块35通过下述方式对对应的提议框内的物体进行分割，包括：将获得的待选物体区域的特征输入全卷积神经网络构成的分割模块中，其中，所述全卷积神经网络包括四层3×3的卷积层和一层1×1的卷积层，可以以按照兴趣区域对齐的方式获取的待选的物体区域的特征作为输入；通过所述全卷积神经网络输出对应的提议框内的二值分割结果(深度为k维，k为物体类别数量)，以真实类别标签所对应的二值分割结果(其中，每个像素采用sigmoid函数计算概率，得到二值化图像)作为所预测的分割结果，并以此计算损失函数。
本发明的一个实施例中，所述实例分割装置还包括训练模块，对实例分割模型进行训练。所述训练模块包括：训练集构建单元，构建训练集，所述训练集包括胸部X光原始图像以及标注的解剖结构的分割图像，其中，训练集中的样本从公开的JSRT/SCR数据集中进行选择；训练集扩增单元，对所述训练集进行扩增处理(例如，进行10倍扩增)；训练单元，利用扩增后的训练集训练所述实例分割模型。优选地，训练集扩增单元通过下述方式对训练集中的图像进行扩增处理，具体地，包括：对所述训练集中的原始图像和标注的分割图像进行同步的旋转、水平翻转或缩放处理，其中，旋转方式为以10°范围内随机采样的角度旋转，旋转后所产生的空隙用0填充。缩放处理是使得图像在0.9～1.1倍之间以随机采样的系数进行变化。需要说明的是，对胸部X光图像和对应的人工标注的分割图进行同步扩增，即所扩增的胸部X光图像和扩增的分割标注图是一一对应的。
本发明的一个实施例中，训练模块使用经过数据扩增处理的训练集端到端训练实例分割模型，从而便于对胸部X光图像中各解剖结构进行实例分割。实例分割模型训练以基于损失函数最小作为模型收敛条件，采用如下多任务损失函数：
L＝Lrpn-cls+Lrpn-box+Lcls+Lbox+Lmask，
其中，Lrpn-cls为区域提议模块的分类损失函数，该分类只区分前景和背景；Lcls为检测分类回归模块对提议框的分类损失函数，该分类是区分物体的具体类别再加一个背景类别；Lrpn-cls和Lcls两个分类损失函数都采用负对数损失函数，即Lclass(p，u)＝-logpu，其中，u为真实的类别标签，p为预测为真实类别标签的概率；Lrpn-box为区域提议模块对提议框坐标的回归损失函数，Lbox为检测分类回归模块对提议框坐标的回归损失函数，两个回归损失函数均采用Huber损失函数；Lmask为分割模块的损失函数，采用二值交叉熵损失函数。
本发明的一个实施例中，以随机梯度下降的优化方式训练模型，模型的初始参数采用COCO数据集训练所得的参数，然后使用胸部X光图像和手工标注的解剖器官分割图对所有初始参数进行微调。学习率设置为0.0001，动量设置为0.9，批大小设置为2。训练的轮数(epoch)设置为300，每一轮训练1000次，每一轮训练结束后，随机取测试集的50张图片进行测试，选择测试效果最好的epoch保存模型参数，作为训练好的实例分割模型。其中，测试集中的测试样本从公开的JSRT/SCR数据集中进行选择，与训练集相同，包括胸部X光原始图像以及标注的解剖结构的分割图像。将任意一张待测的胸部X光图像输入训练好的实例分割模型中，可以输出图像中左肺、右肺、心脏、左锁骨和右锁骨的分割结果，本发明可以以平均0.2秒/张的速度完成对图像中各器官的分割。
本发明的一个实施例中，图像特征提取模块中的残差网络采用ResNet101，在模型训练过程中，将兴趣区域数量设置为100，实际的最多实例数设置为20，检测到的实例数为10，非极大值抑制后的兴趣区域数量在训练和测试时分别为500和250。胸部X光图像的大小采用256×256，分割模块输出的二值分割结果大小设置为56×56。
本发明所述胸部X光图像的实例分割应用于电子设备，所述电子设备可以是电视机、智能手机、平板电脑、计算机等终端设备。
所述电子设备，包括：一个或多个处理器；存储器，用于存储胸部X光图像的实例分割程序，当所述实例分割程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如下所述的胸部X光图像的实例分割方法：
获取待检测的胸部X光图像；将所述胸部X光图像输入经过训练得到的实例分割模型中；通过所述实例分割模型对所述胸部X光图像进行实例分割；输出所述胸部X光图像中的解剖结构的分割结果；其中，通过所述实例分割模型对所述胸部X光图像进行实例分割，包括：通过图像特征提取模块提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；通过兴趣区域对齐模块获取待选的物体区域的特征；通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标；通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割。
所述电子设备还包括网络接口和通信总线等。其中，网络接口可以包括标准的有线接口、无线接口，通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质，可以是闪存、硬盘、光盘等非易失性存储介质，也可以是插接式硬盘等，且并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中，存储器存储的软件程序包括胸部X光图像的实例分割程序，并可以向处理器提供该胸部X光图像的实例分割程序，以使得处理器可以执行该胸部X光图像的实例分割程序，实现胸部X光图像的实例分割方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等，可以运行存储器中的存储程序，例如，本发明中胸部X光图像的实例分割程序。
所述电子设备还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子设备中处理的信息以及用于显示可视化的工作界面。
所述电子设备还可以包括用户接口，用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
在其他实施例中，胸部X光图像的实例分割程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器中，并由处理器执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。图3是本发明中胸部X光图像的实例分割程序的模块示意图，如图3所示，所述胸部X光图像的实例分割程序可以被分割为：图像获取模块1、图像输入模块2、实例分割模块3和结果输出模块4。上述模块所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
图像获取模块1，获取待检测的胸部X光图像；
图像输入模块2，将所述胸部X光图像输入经过训练得到的实例分割模型中；
实例分割模块3，通过所述实例分割模型对所述胸部X光图像进行实例分割；
结果输出模块4，输出所述胸部X光图像中的解剖结构的分割结果。
本发明的一个实施例中，计算机可读存储介质可以是任何包含或存储程序或指令的有形介质，其中的程序可以被执行，通过存储的程序指令相关的硬件实现相应的功能。例如，计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此，可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括胸部X光图像的实例分割程序，所述胸部X光图像的实例分割程序被处理器执行时，实现如下的胸部X光图像的实例分割方法：
获取待检测的胸部X光图像；将所述胸部X光图像输入经过训练得到的实例分割模型中；通过所述实例分割模型对所述胸部X光图像进行实例分割；输出所述胸部X光图像中的解剖结构的分割结果；其中，通过所述实例分割模型对所述胸部X光图像进行实例分割，包括：通过图像特征提取模块提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；通过兴趣区域对齐模块获取待选的物体区域的特征；通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标；通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割。
本发明之计算机可读存储介质的具体实施方式与上述胸部X光图像的实例分割方法、装置以及电子设备的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种胸部X光图像的实例分割方法，其特征在于，包括：
获取待检测的胸部X光图像；
将所述胸部X光图像输入经过训练得到的实例分割模型中；
通过所述实例分割模型对所述胸部X光图像进行实例分割；
输出所述胸部X光图像中的解剖结构的分割结果；
其中，通过所述实例分割模型对所述胸部X光图像进行实例分割，包括：通过图像特征提取模块提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；通过兴趣区域对齐模块获取待选的物体区域的特征；通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标；通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割。
2.根据权利要求1所述的胸部X光图像的实例分割方法，其特征在于，所述图像特征提取模块采用残差特征金字塔网络进行图像特征的提取，其中，所述残差特征金字塔网络包括多个卷积模块，每个卷积模块均包括特征提取层。
3.根据权利要求2所述的胸部X光图像的实例分割方法，其特征在于，通过区域提议模块根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框，包括：
选择滑动窗口，在所述残差特征金字塔网络的最后一个特征提取层上滑动；
在每个滑动窗口的位置随机产生多个提议框；
获取每个提议框内属于前景或背景的概率，并回归出每个提议框的初步坐标；
根据所述提议框属于前景或背景的概率以及初步坐标，获取所述胸部X光图像中待选的物体区域以及对应的提议框。
4.根据权利要求2所述的胸部X光图像的实例分割方法，其特征在于，通过兴趣区域对齐模块获取待选的物体区域的特征，包括：
通过兴趣区域对齐的方式获取待选的物体区域对应的特征金字塔；
根据对应的特征金字塔，通过双线性插值的方式得到待选的物体区域的特征。
5.根据权利要求1所述的胸部X光图像的实例分割方法，其特征在于，
通过检测分类回归模块获取所述物体区域内的物体类别并回归出对应的提议框的坐标，包括：
将获得的待选物体区域的特征输入两层全连接层；
通过将最后一层全连接层的输出输入分类输出层，得到所述物体区域内的物体类别；
通过将最后一层全连接层的输出输入回归输出层，得到对应的提议框的坐标。
6.根据权利要求1所述的胸部X光图像的实例分割方法，其特征在于，
通过与所述检测分类回归模块平行设置的分割模块对对应的提议框内的物体进行分割，包括：
将获得的待选物体区域的特征输入全卷积神经网络构成的分割模块中，其中，所述全卷积神经网络包括四层3×3的卷积层和一层1×1的卷积层；
通过所述全卷积神经网络输出对应的提议框内的二值分割结果。
7.根据权利要求1所述的胸部X光图像的实例分割方法，其特征在于，所述实例分割模型的训练包括：
构建训练集，所述训练集包括胸部X光原始图像以及标注的解剖结构的分割图像；
对所述训练集进行扩增处理，包括：对所述训练集中的原始图像和标注的分割图像进行同步的旋转、水平翻转或缩放处理；
利用扩增后的训练集训练所述实例分割模型。
8.一种胸部X光图像的实例分割装置，其特征在于，包括：
图像获取模块，获取待检测的胸部X光图像；
图像输入模块，将所述胸部X光图像输入经过训练得到的实例分割模型中；
实例分割模块，通过所述实例分割模型对所述胸部X光图像进行实例分割；
结果输出模块，输出所述胸部X光图像中的解剖结构的分割结果；
其中，所述实例分割模型包括：图像特征提取模块，提取所述胸部X光图像的图像特征，并将提取的图像特征传输至区域提议模块；区域提议模块，根据提取的图像特征获取所述胸部X光图像中待选的物体区域以及对应的提议框；兴趣区域对齐模块，获取待选的物体区域的特征；检测分类回归模块，获取所述物体区域内的物体类别并回归出对应的提议框的坐标；分割模块，与所述检测分类回归模块平行设置，对对应的提议框内的物体进行分割。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储胸部X光图像的实例分割程序，
当所述实例分割程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的胸部X光图像的实例分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括胸部X光图像的实例分割程序，所述胸部X光图像的实例分割程序被处理器执行时，实现如权利要求1至7中任一项所述的胸部X光图像的实例分割方法的步骤。
CN201910231342.7A 2019-03-26 2019-03-26 胸部x光图像的实例分割方法、装置、设备及介质 Pending CN110047081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910231342.7A CN110047081A (zh) 2019-03-26 2019-03-26 胸部x光图像的实例分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910231342.7A CN110047081A (zh) 2019-03-26 2019-03-26 胸部x光图像的实例分割方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN110047081A true CN110047081A (zh) 2019-07-23

Family

ID=67275248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910231342.7A Pending CN110047081A (zh) 2019-03-26 2019-03-26 胸部x光图像的实例分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110047081A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN111242956A (zh) * 2020-01-09 2020-06-05 西北工业大学 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN111325729A (zh) * 2020-02-19 2020-06-23 青岛海信医疗设备股份有限公司 基于生物医学影像的生物组织的分割方法和通信终端
CN111325742A (zh) * 2020-03-03 2020-06-23 北京深睿博联科技有限责任公司 一种正位胸片中基于空间关系的异常检测方法及系统
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113256672A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113781500A (zh) * 2021-09-10 2021-12-10 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
CN109345527A (zh) * 2018-09-28 2019-02-15 广西师范大学 一种基于MaskRcnn的膀胱肿瘤检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
CN109345527A (zh) * 2018-09-28 2019-02-15 广西师范大学 一种基于MaskRcnn的膀胱肿瘤检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ETC.: ""Mask R-CNN"", 《ARXIV:1703.06870V3[CS.CV]》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN111242956A (zh) * 2020-01-09 2020-06-05 西北工业大学 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN111325729A (zh) * 2020-02-19 2020-06-23 青岛海信医疗设备股份有限公司 基于生物医学影像的生物组织的分割方法和通信终端
CN111325742A (zh) * 2020-03-03 2020-06-23 北京深睿博联科技有限责任公司 一种正位胸片中基于空间关系的异常检测方法及系统
CN111325742B (zh) * 2020-03-03 2023-09-26 北京深睿博联科技有限责任公司 一种正位胸片中基于空间关系的异常检测方法及系统
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113111885B (zh) * 2021-04-14 2022-11-29 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113256672A (zh) * 2021-05-20 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113256672B (zh) * 2021-05-20 2024-05-28 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113781500A (zh) * 2021-09-10 2021-12-10 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质
CN113781500B (zh) * 2021-09-10 2024-04-05 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110047081A (zh) 胸部x光图像的实例分割方法、装置、设备及介质
US11200424B2 (en) Space-time memory network for locating target object in video content
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
CN107103613B (zh) 一种三维手势姿态估计方法
CN109960742B (zh) 局部信息的搜索方法及装置
CN111161275A (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN110020620A (zh) 一种大姿态下的人脸识别方法、装置及设备
CN111104962A (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN109359539B (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN108875732A (zh) 模型训练与实例分割方法、装置和系统及存储介质
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
CN107958230B (zh) 人脸表情识别方法及装置
CN108230323A (zh) 一种基于卷积神经网络的肺结节假阳性筛选方法
WO2019200702A1 (zh) 去网纹系统训练方法、去网纹方法、装置、设备及介质
WO2020168648A1 (zh) 一种图像分割方法、装置及计算机可读存储介质
US20240169518A1 (en) Method and apparatus for identifying body constitution in traditional chinese medicine, electronic device, storage medium and program
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN116311083B (zh) 一种人群计数模型训练方法及系统
CN115272887A (zh) 基于无人机检测的海岸带垃圾识别方法、装置以及设备
CN116778482B (zh) 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
CN114519881A (zh) 人脸位姿估计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723