[go: up one dir, main page]

CN108062749A - 肛提肌裂孔的识别方法、装置和电子设备 - Google Patents

肛提肌裂孔的识别方法、装置和电子设备 Download PDF

Info

Publication number
CN108062749A
CN108062749A CN201711322591.4A CN201711322591A CN108062749A CN 108062749 A CN108062749 A CN 108062749A CN 201711322591 A CN201711322591 A CN 201711322591A CN 108062749 A CN108062749 A CN 108062749A
Authority
CN
China
Prior art keywords
image
levator ani
classifier
prediction map
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711322591.4A
Other languages
English (en)
Other versions
CN108062749B (zh
Inventor
倪东
王娜
王慧芳
王毅
雷柏英
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wisonic Medical Technology Co ltd
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711322591.4A priority Critical patent/CN108062749B/zh
Publication of CN108062749A publication Critical patent/CN108062749A/zh
Application granted granted Critical
Publication of CN108062749B publication Critical patent/CN108062749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种肛提肌裂孔的识别方法、装置和电子设备，涉及数据处理的技术领域，该方法包括：通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像，其中，分割图像中包括肛提肌轮廓；在分割图像中识别LH的关键位置点；基于关键位置点确定LH的参数，从而实现LH的识别，本发明缓解了在采用传统的方法来对LH超声图像进行切割处理时，分割精度较低的技术问题。

Description

肛提肌裂孔的识别方法、装置和电子设备
技术领域
本发明涉及数据处理的技术领域，尤其是涉及一种肛提肌裂孔的识别方法、装置和电子设备。
背景技术
盆底超声因具有实时成像、费用低、无辐射的优点，成为盆底疾病主要的影像检查手段。在对盆底超声进行处理的过程中，通常利用轨迹球手动描记肛提肌轮廓并测量其参数；而手动测量严重受主观经验影响、且测量步骤繁琐、耗时长、误差大。针对该问题，相关领域的专家尝试使用全自动测量方法来测量LH参数。但是以计算机辅助手段自动分割盆底超声图像时面临以下几点挑战：图像中声影、散斑等噪声干扰大；成像条件不同，图像呈现不同的强度分布；采集三维容积数据时，探头的位置、加压不当，都会导致图像质量欠佳，影响后续处理；肛提肌单侧或双侧损伤，影响肛提肌裂孔(levator hiatus,简称LH)的识别。
LH边缘分割是其生物参数测量的首要条件。Sindhwani曾提出基于水平集的半自动肛提肌轮廓描绘工具，因其需要手动标记两点—耻骨联合后下缘点，耻骨直肠肌底部前缘点，耗费时间精力，但是该方法容易受主观经验影响而导致不同观察者间存在测量误差。随着深度学习的蓬勃发展，在医学超声图像处理领域相比传统方法有更好的性能表现。卷积神经网络(Convolution Neural Networks,CNNs)在前景分类有良好应用，但用于分割时需提供感兴趣区域以辅助分类器检测，且patch-size限制感知区域大小，只能提取图像局特征，导致分类性能受限。
发明内容
有鉴于此，本发明的目的在于提供一种肛提肌裂孔的识别方法、装置和电子设备，以缓解了在采用传统的方法来对LH超声图像进行切割处理时，分割精度较低的技术问题。
第一方面，本发明实施例提供了一种肛提肌裂孔的识别方法，包括：通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，所述全卷积神经网络为预先设置在上下文模型的神经网络；基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像，其中，所述分割图像中包括肛提肌轮廓；在所述分割图像中识别所述LH的关键位置点；基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别。
进一步地，通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图包括：将所述全卷积神经网络嵌入在所述上下文模型中，得到级联的A-FCN分类器；基于所述级联的A-FCN分类器对所述超声图像进行分析处理，得到对应的LH预测图；将所述级联的A-FCN分类器中最后一级分类器输出的LH预测图作为所述LH边缘预测图。
进一步地，基于所述级联的A-FCN分类器对所述超声图像进行分析处理，得到对应的LH预测图包括：获取第k-1级分类器输出的第一LH预测图；通过第k级分类器将所述第一LH预测图和所述超声图像进行融合分析处理，得到第二LH预测图，以使第k+1级分类器基于所述第二LH预测图和所述超声图像进行融合分析处理；其中，所述第k-1级分类器为所述第k级分类器的前一级分类器，第k+1级分类器为所述第k级分类器的前一级分类器，k依次取1至n，n为所述级联的A-FCN分类器中分类器的数量。
进一步地，基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像包括：将所述LH边缘预测图输入至所述活动轮廓模型中，以通过PAC算法对所述LH边缘预测图进行处理，得到目标模型，其中，所述目标模型中携带以下至少一种约束信息：LH的形状、LH的纹理、LH的边缘；将测试集数据输入所述目标模型中，对所述目标模型特征点周围进行采样，得到最优预测特征点，并基于所述最优预测特征点确定所述超声图像的边缘形状预测图，以得到所述分割图像。
进一步地，所述方法还包括：获取训练样本，其中，所述训练样本为包含LH的样本，且所述训练样本中预先标注了LH的主特征点和次特征点；基于所述训练样本对所述活动轮廓模型进行训练，以使所述活动轮廓模型生成所述LH的约束条件。
进一步地，在所述分割图像中识别所述LH的关键位置点包括：在所述分割图像中确定尿道组织的中心点坐标，耻骨联合后下缘点，耻骨直肠肌底部前缘点；基于所述尿道组织的中心点坐标确定两侧肛提肌附着点。
进一步地，在所述分割图像中确定尿道组织的中心点坐标包括：在所述分割图像中确定第一目标点，第二目标点，第三目标点和第四目标点，其中，所述第一目标点为所述肛提肌轮廓中位于最左边的点，所述第二目标点为所述肛提肌轮廓中位于最右边的点，所述第三目标点为所述肛提肌轮廓中位于最顶端的点，所述第三目标点为所述肛提肌轮廓的中心点；基于所述第一目标点，所述第二目标点，所述第三目标点和所述第四目标点确定UROI区域，其中，所述UROI区域为包含尿道组织的ROI区域；对所述UROI区域进行分割，得到所述尿道组织的组织轮廓；基于所述组织轮廓确定所述尿道组织的中心点坐标。
进一步地，基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别包括：基于所述关键位置点确定像素距离；获取所述像素距离和实际物理距离的比例关系，所述实际物理距离为肛提肌裂孔的实际物理距离；基于所述比例关系确定所述LH的参数。
第二方面，本发明实施例还提供了一种肛提肌裂孔的识别装置，包括：第一处理单元，用于通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，所述全卷积神经网络为预先设置在上下文模型的神经网络；第二处理单元，用于基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像，其中，所述分割图像中包括肛提肌轮廓；识别单元，用于在所述分割图像中识别所述LH的关键位置点；确定单元，用于基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。
在本发明实施例中，首先通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；然后，基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像；接下来，在分割图像中识别LH的关键位置点；最后，基于关键位置点确定LH的参数，从而实现LH的识别。在本发明实施例中，通过将改进的全卷积神经网络嵌入在上下文模型中进行融合处理，得到不同尺寸不同层次的特征，缓解了在采用传统的方法来对LH超声图像进行切割处理时，分割精度较低的技术问题，从而实现了对LH超声图像进行精细处理的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种肛提肌裂孔的识别方法的流程图；
图2是根据本发明实施例的一种改进的全卷积神经网络的框架图；
图3是根据本发明实施例的一种分割结果的展示图；
图4是根据本发明实施例的一种一致性散点图；
图5是根据本发明实施例的一种手动测量与全自动测量结果的Bland-Altman图；
图6是根据本发明实施例的一种肛提肌裂孔的识别装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
根据本发明实施例，提供了一种肛提肌裂孔的识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种肛提肌裂孔的识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；
在本发明实施例中，首先通过改进的全卷积神经网络(以下均简称为A-FCN神经网络)对待处理的肛提肌裂孔(levator hiatus,简称LH)的超声图像进行处理，从而得到LH的边缘预测图，其中，在该边缘预测图中包括LH的轮廓，也即肛提肌轮廓。
上下文模型(Auto-context)是一种能有效识别物体的统计模型，Auto-context模型是一个迭代的过程。通过该迭代过程，能够不同尺寸不同层次的特征，从而成功解决A-FCN神经网络分割结果细节粗糙的问题。
步骤S104，基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像，其中，分割图像中包括肛提肌轮廓；
在本发明实施例中，在通过改进的全卷积神经网络得到LH边缘预测图之后，还可以通过活动轮廓模型(以下均简称为ASM)来对LH边缘预测图进行进一步分割，从而完善LH边缘预测图中的分割结果。
步骤S106，在分割图像中识别LH的关键位置点；
在本发明实施例中，在确定出超声图像的分割图像之后，就可以识别LH的关键位置点，包括：耻骨联合后下缘、两侧肛提肌附着点、耻骨直肠肌底部前缘点、尿道中心点。
步骤S108，基于关键位置点确定LH的参数，从而实现LH的识别；
在本发明实施例中，在确定出关键位置点之后，就可以基于关键位置点确定LH的参数，包括：前后径、左右径、两侧肛提肌尿道间隙、周长、面积。
在本发明实施例中，首先通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；然后，基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像；接下来，在分割图像中识别LH的关键位置点；最后，基于关键位置点确定LH的参数，从而实现LH的识别。在本发明实施例中，通过将改进的全卷积神经网络嵌入在上下文模型中进行融合处理，得到不同尺寸不同层次的特征，缓解了在采用传统的方法来对LH超声图像进行切割处理时，分割精度较低的技术问题，从而实现了对LH超声图像进行精细处理的技术效果。
下面，将结合具体实施方式对本发明实施例进行具体介绍。
在本发明实施例中，在通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理之前，首先要对LH超声图像进行预处理，其中，该预处理过程描述如下：
获取到肛提肌裂孔在平面下的LH超声图像后，可以首先由多位(例如，三位)经验丰富的医生标注数据，且每位医生标注两次，前后两次标注间隔一周；为降低医生之间因主观经验等不同和医生自身因观察角度等不同导致的测量误差，取六次标注的平均值作为监督学习的label。由于，肛提肌超声图像存在边界模糊、伪影、噪声，对后续的分割处理干扰极大，所以预处理中采用直方图均衡化的方法增强对比度，使图像更加清晰，后面的评估结果将进一步证明均衡化处理的有效性。
由于深度学习往往需要大量的训练样本，而临床数据采集比较困难，数据集过小会使网络训练出现过拟合现象，为丰富图像训练集，更好地提取肛提肌图像特征，泛化模型，防止过拟合，以随机裁剪、平移、缩放、旋转、镜像等方式进行数据增强。从而得到大量的训练样本，通过该大量的训练样本，能够对上述A-FCN神经网络进行训练。
需要说明的是，在本发明实施例中，该A-FCN神经网络为在FCN-8s模型的基础上进行调整之后，得到的网络模型。
对于图像的分割任务，传统机器学习方法或者基于深度卷积神经网络(DeepConvolutional Neural Network,DCNN)模型的通常做法是：取图像中pixel周围的小区域(patch)输入样本训练分类器，测试阶段是分类器同样对测试图中以每个像素点为中心的patch进行分类，实现图像中每个像素点的分类，当类别为2，即完成图像分割。这种方式存在两种明显的缺陷：(1)计算效率低，因为图像中每个像素都要调用分类器进行卷积等运算，且相邻patch重复性大，极大地占用存储空间，且很大程度上延长了分类检测时间；(2)所选patch-size限制了感受野的大小，只能提取patch周围的局部特征，无法挖掘尺寸更大的前景与背景信息，严重限制分类器性能。
Long等提出全卷积神经网络(FCN)，全卷积神经网络以端到端、点到点的方式对任意尺寸的输入图像完成像素级分割，有效解决了上述基于patch的图像分割问题。相比经典的DCNN模型使用全连接层获取固定长度的特征向量实现分类的过程，FCN将全连接层全部替换为卷积层获取与原图对应的特征图，此外，FCN还包含反卷积层，因为经过多层卷积和池化层后，获取的特征图尺寸越来越小，分辨率也越来越低，为得到与原图尺寸相同的类别预测图，使用反卷积层对最后一个卷积层的feature map进行上采样，使它恢复到输入图像相同尺寸，从而实现对每个像素产生一个预测值，同时保留了原始输入图像中的空间信息，最后，使用soft-max分类器在上采样的特征图上完成逐像素分类，得到一张分割好的图像。
FCN模型包括FCN-8s模型，FCN-16s模型，以及FCN-32s模型。在本发明实施例中，以FCN-8s模型为基础(baseline)提出LH超声图像目标与背景区域分类器A-FCN。在本发明实施例中，主要对FCN-8s模型进行如下调整：
第一、删除了FCN8s模型中的最后两层卷积层。删除该两层卷积层的原因是，这两层卷积输出均为4096类特征图，且在其后面连接一个21类别的卷积，以实现21类别分割，但是，该结构对于本发明实施例中将肛提肌超声图像中背景区域与感兴趣区域(ROI区域)进行二分类的任务来讲，参数量太大；且由于医学图像相对自然图像数量较少，因此，无需太深的网络；而且原神经网络训练耗时长、内存占用大；
第二、删掉该FCN-8s模型中loss前的crop层，并添加了融合层，将pooling5和pooling4得到的特征图进行融合，强化特征学习，并且将第一层卷积层的pad参数设为1。
首先，神经网络卷积层输入输出特征图尺寸计算公式(1)如下：
其中，F为输入的特征图的空间尺寸，F0为输出的特征图尺寸，K即为卷积核函数尺寸(Kernel Size)，S为布幅(Stride)，P是扩展填充的参数(Padding)，通常用零扩充图像的边缘。FCN-8s为了保证原始图像在不断卷积的过程中边缘信息不丢失，同时满足尺寸要求，将第一层卷积中pad设为100，即将原图像的边缘用零扩展100个像素点，图像尺寸扩大，后经过池化层尺寸缩小，经反卷积图像尺寸扩大至和原尺寸相近，前后特征图融合前，需用crop层将输出的特征图裁剪成原图相同尺寸。
A-FCN之所以把第一层卷积参数中的pad参数设为1，是因为：本申请所研究的数据中目标区域位于超声图像中心，图像边缘均为意义较小的背景，在A-FCN中，删掉FCN-8s最后两层卷积后，当卷积层中核函数K＝3、布幅S＝1时，若将填充参数P设为1，则由公式(1)得，输出特征图尺寸始终等于输入特征图尺寸；经池化层下采样，其输出特征图像尺寸势必会以1/2比例缩小，再经反卷积层图像尺寸以2倍比例扩大，不存在边缘丢失的问题，所以前后层信息融合时就无需使用crop层裁剪特征图。
为防止过拟合，在本发明实施例中，采用全卷积神经网络的迁移学习策略，并结合数据增强技术设计网络训练，测试时经卷积层生成两个类别的粗略的预测概率图，目标区域LH的预测图记作Mlh，背景(background)记作Mbg，之后反卷积层将粗略输出经上采样得到密集的像素级概率图，即M'lh、M'bg，如图2中展示的为M'lh，在密集的预测概率图后使用softmax函数，即可得到目标区域LH的分割结果。
在一个可选实施方式中，步骤S102，通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图包括如下步骤：
步骤S1021，将全卷积神经网络嵌入在上下文模型中，得到级联的A-FCN分类器；
步骤S1022，基于级联的A-FCN分类器对超声图像进行分析处理，得到对应的LH预测图；
步骤S1023，将级联的A-FCN分类器中最后一级分类器输出的LH预测图作为LH边缘预测图。
A-FCN神经网络虽然能更高效输出目标区域(即，LH区域)的预测图，但仍存在以下问题：第一、对图像中的细节不敏感，所得结果不够精细；第二、FCN对各个像素分类，没有充分考虑像素与像素之间的关系，忽略了基于像素分类中通常使用的空间规整(spatialregularization)步骤，缺乏空间一致性。为了解决上述问题，在本发明实施例中，使用了上下文模型Auto-context来对A-FCN的输出结果进行优化，从而实现更加精细的对超声图像进行处理的目的。
在本发明实施例中，首先将改进的全卷积神经网络(即，A-FCN神经网络)嵌入在上下文模型Auto-context中，得到级联的A-FCN分类器。进而，根据级联的A-FCN分类器对超声图像进行分析处理，得到对应的LH预测图。在得到对应的LH预测图之后，将级联的A-FCN分类器中最后一级分类器输出的LH预测图作为LH边缘预测图。
在另一个可选的实施方式中，基于级联的A-FCN分类器对超声图像进行分析处理，得到对应的LH预测图包括如下步骤：
步骤S11，获取第k-1级分类器输出的第一LH预测图；
步骤S12，通过第k级分类器将第一LH预测图和超声图像进行融合分析处理，得到第二LH预测图，以使第k+1级分类器基于第二LH预测图和超声图像进行融合分析处理；
其中，第k-1级分类器为第k级分类器的前一级分类器，第k+1级分类器为第k级分类器的前一级分类器，k依次取1至n，n为级联的A-FCN分类器中分类器的数量。
具体地，由于Auto-context核心思想是级联的A-FCN分类器中的第k级分类器同时利用LH超声图像的灰度图像的外观特征和第k-1级分类器获取的LH的预测图的上下文特征来得第k级分类器的LH预测图。第k-1级分类器包含感兴趣目标(即，LH)的基本形状、前景、背景的轮廓分割等有价值的信息。在本发明实施例中，通过上下文特征与LH超声图像的灰度特征的联合，得到比k-1级分类器更有效的特征描述，实现预测图的概率精细化。
上述过程可以通过公式(2)来进行描述yk＝hk(Jk(x,yk-1))。其中，hk是第k级分类器的模型映射函数，x,yk-1分别是肛提肌超声图像(即，LH的超声图像)和第k-1级分类器输出的LH概率图。J(·)是将x,yk-1结合的并行级联间操作。
在本发明实施例中，将一张肛提肌超声图像(即，上述LH超声图像)和第k-1级分类器获取到的LH概率图联合成三通道图像，作为第k级分类器的输入，以实现对A-FCN输出的LH预测图实现轮廓细化和空间一致性优化。
如图2所示的总体框架图，如图2所示，首先，将经过上述预处理之后得到的LH超声图像(即，Ultrasound Image)和对应的label输入到第0级分类器(Level 0—A-FCN)中，以迁移学习方式提取LH超声图像的多尺度视觉特征，从而获得肛提肌裂孔(LH)的预测图，即上述描述的LH预测图。然后，将A-FCN嵌入到Auto-context中，把第0级获取的LH概率图与LH超声图像进行多通道融合(Multi-View Fusion)后输入到第1级分类器(Level 1—A-FCN)，从而得到新的LH预测图。进而，第1级分类器得到的LH预测图与LH超声图像进行融合后输入到第2级分类器中，以此类推，也即，第3级分类器至第n级分类器均执行上述描述的过程，以实现不断的迭代过程，直到获得较好的分割结果。
需要说明的是，在本发明实施例中，第0级分类器(Level 0—A-FCN)由VGG16模型初始化参数，第1级分类器(Level 1—A-FCN)用第0级分类器参数初始化，以此类推，第k级分类器对第k-1级分类器进行迁移再学习。
在本发明实施例中，在得到LH边缘预测图之后，就可以基于活动轮廓模型ASM对LH边缘预测图进行处理，得到超声图像的分割图像，在该分割图像中，包括精细处理之后得到的肛提肌轮廓。
在本发明实施例中，通过活动轮廓模型对LH边缘预测图进行处理时，主要包括两个部分，分别是：形状建模(也即，训练过程)、形状匹配(也即，测试过程)，下面将详细介绍上述过程：
在另一个可选的实施方式中，步骤S104，基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像包括如下步骤：
步骤S1041，将所述LH边缘预测图输入至所述活动轮廓模型中，以通过PAC算法对所述LH边缘预测图进行处理，得到目标模型，其中，所述目标模型中携带以下至少一种约束信息：LH的形状、LH的纹理、LH的边缘；
步骤S1041所描述的过程即为训练过程，训练过程的具体描述如下：
将级联的A-FCN分类器输出的LH边缘预测图、LH边缘上的若干特征点(这些特征点能很好地反映LH的形状特征)作为ASM的输入，经ASM中主成分分析PCA算法提取主成分，从而得到初步模型；然后，以该初步模型的预测点与对应输入LH边缘上的若干特征点之间的欧氏距离最小为目标函数，不断更新模型参数直到收敛，得到含有LH形状、纹理、边缘等约束信息的目标模型。
具体地，在本发明实施例中，形状建模的具体过程描述如下：
首先构建372张边缘预测图，记作数据集D，通过372张LH边缘预测图进行交叉验证实验。具体地，将D分成12个子集，每个子集31张预测图。依次取其中一个子集作为测试集，对应剩余的11个子集作为训练集。即，共计进行12次ASM试验，每次试验以其中一组(即，31张预测图)做测试，剩余的11组子集进行训练(即，剩余的341张预测图)。这样，372张LH边缘预测图，每张都有机会经过ASM形状约束得到最终的LH分割结果，在本发明实施例中，能够充分利用数据集信息，很好地说明了方法的泛化性。
步骤S1042，将测试集数据输入所述目标模型中，对所述目标模型特征点周围进行采样，得到最优预测特征点，并基于所述最优预测特征点确定所述超声图像的边缘形状预测图，以得到分割图像。
步骤S1042所描述的过程即为形状匹配过程，形状匹配过程描述如下：
将测试集数据(也即，测试集概率图)输入上述训练好的目标模型中，对目标模型特征点周围点进行采样，直到找到最优预测特征点，完成形状匹配，得到分割图像。
具体地，可以将训练好的目标模型放在目标区域(即，LH区域)上，以寻找LH区域中每一个特征点的下一个位置。在寻找下一个位置时，采用局部灰度模型寻找在当前特征点指定方向上马氏距离最小的特征点作为当前特征点，该特征点即为将移动到的位置，也即suggested point(也即，上述最优预测特征点)。找到所有的suggested points之后，就可获得一个搜索的suggested shape。然后将当前的ASM模型通过更新参数调整到最可能相似的suggested shape，重复迭代上述过程直到收敛。
通过上述描述可知，整个过程中虽然只有预测图的强度信息用于描述和调整特征点位置，但这种形状模型几乎没机会被局部边界的不确定性所破坏，因为ASM模型在预测图中比原始超声图像更容易适应LH形状；此外，模糊和大跨度的闭塞边界已经被A-FCN级联识别，只有少量缺口有待ASM模型补全和完善。综上，ASM模型能有效是实现对LH的形状约束，进一步完善分割效果，为LH参数的精准测量提供有力支持。
综上所述，ASM在经训练后，会输出携带上述约束信息的模型。LH约束信息是针对LH组织的大众化信息，LH作为人体一种组织，形状比较规则，但是大众化的LH约束信息，同样反映每个患者LH的形状特征。
活动轮廓模型(ASM)的基本思想是建立在点分布模型(PDM)的基础上，通过训练图像样本获取训练图像样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，在目标图像上寻找对应的特征点位置，进而实现形状约束。采用本发明实施例中，基于上下文信息的级联的A-FCN具有对边界缺失情况进行恢复的能力，为了更好的以绝对相近的形式恢复所有缺失的边界，在上下文模型的最后一层分类器后，如图2所示，可以应用一个辅助的ASM模型，从而通过ASM模型在LH预测图上生成最终的分割结果，即，LH超声图像的分割图像。
在本发明实施例中，在得到LH的分割图像之后，需要快速并准确客观的测量LH的参数，其中，如果快速并准确客观的测量LH的参数也是一直困扰临床及科研工作者的一个难题。在本发明实施例中，提出了一种简单有效的方法来解决上述问题，下面将详细介绍该方法。
在另一个可选的实施方式中，在分割图像中识别LH的关键位置点包括如下步骤：
首先，在分割图像中确定尿道组织的中心点坐标，耻骨联合后下缘点，耻骨直肠肌底部前缘点；
然后，基于尿道组织的中心点坐标确定两侧肛提肌附着点。
在本发明实施例中，为了实现LH的定量测量，首先要准确定位LH中5个重要的解剖结构点，即：尿道中心点、两侧肛提肌附着点、耻骨联合后下缘、耻骨直肠肌底部前缘点。
可选地，在分割图像中确定尿道组织的中心点坐标包括：
在分割图像中确定第一目标点，第二目标点，第三目标点和第四目标点，其中，第一目标点为肛提肌轮廓中位于最左边的点，第二目标点为肛提肌轮廓中位于最右边的点，第三目标点为肛提肌轮廓中位于最顶端的点，第三目标点为肛提肌轮廓的中心点；
基于第一目标点，第二目标点，第三目标点和第四目标点确定UROI区域，其中，UROI区域为包含尿道组织的ROI区域；
对UROI区域进行分割，得到尿道组织的组织轮廓；
基于组织轮廓确定尿道组织的中心点坐标。
具体地，在确定尿道中心点时，可以由上述分割结果获取肛提肌轮廓后，易得上左右、中心点四个点的位置坐标，如图3中位于第2层的4个图中包括该四个点的位置坐标。其中，图3中位于左侧的点即为上述第一目标点，图3中位于右侧的点位第二目标点，图3中位于最顶端的点位第三目标点，图3中位于中间的点为第四目标点。
然后，依据其(即，第一目标点，第二目标点，第三目标点和第四目标点)的相对位置关系定位到包含尿道组织(Urethra)的ROI区域(UROI)，用A-FCN对UROI分割得到尿道组织轮廓，进而得到尿道中心点坐标，如图3所示。
由分割结果得LH轮廓，利用对称轴及其解剖结构的相对位置关系，可自动定位到耻骨联合(SP)后下缘点、耻骨直肠肌(PR)底部前缘点。依据LH轮廓、中心点及计算得到的尿道中心点，可以得到两侧肛提肌附着点。
在本发明实施例中，在确定关键位置点之后，就可以基于关键位置点确定LH的参数，其中，可以通过下述过程来确定LH的参数，从而实现LH的识别：
首先，基于关键位置点确定像素距离；
然后，获取像素距离和实际物理距离的比例关系，实际物理距离为肛提肌裂孔的实际物理距离；
最后，基于比例关系确定LH的参数。
综上，得到五个重要解剖关键位置点，再利用已知的像素距离与实际物理距离的比例关系，便可实现LH六个临床参数的精准测量：前后径(anterior-posterior diameter,AP):SP内侧缘中点至PR底部前缘；左右径(left and right diameter,LR):LH最大横径；左肛提肌尿道间隙(left-levator urethral gap,L-LUG):尿道中心点至左肛提肌附着点的距离；右肛提肌尿道间隙(right-levator urethral gap,R-LUG):尿道中心点至右肛提肌附着点的距离；面积(area):SP、耻骨支、PR内侧缘所围成的面积；周长(circumference):面积所在范围的周长。
在本发明实施例中，在得到LH的参数之后，还可以采用Pearson相关系数r、组内相关系数ICC及Bland-Altman一致性分析检验肛提肌裂孔智能识别及全自动测量与医生手动测量结果的一致性，得出r值，ICC值。下面将详细介绍该测量过程。
为更全面准确地评估分割结果，在本发明实施例中，同时采用区域和形状相似度两类评价指标，即Dice、Jaccard、Conformity Coefficient(Cc)、Hausdorff Distance(HdD)、Average Distance of Boundaries(Adb)5种指标来评估两种组织——LH和尿道组织的分割结果。其中，Dice、Jaccard、Conformity为基于区域的评价指标，HdD及Adb是基于距离的评价指标，单位是像素点，而非物理距离，若要得到实际距离，可依据比例进行换算。设G为医生手动标记的目标区域(ground truth)，S为算法自动分割结果(automaticsegmentation)，3种基于区域的评价指标计算公式如下：
和
其中，S(·)表示面积计算符。基于区域面积的评价指标侧重于评价医生手动标记与算法自动分割结果在空间维度上的重合度，这就存在一个弊端，当目标区域面积较大时，基于区域面积的评价指标对细节的评价能力有限；相比之下，基于距离的评价指标更侧重于手动标记与自动分割结果轮廓线的吻合度，在图像分割评价指标中较为苛刻。两种基于距离的评价指标表示为：
以及
其中，dmin(pG,S)表示G上的点pG到S上最近点的距离，同样地，dmin(pS,S)表示S上的点pS到G上最近点的距离，σG代表G轮廓上点的个数。
LH轮廓分割评估：依据上述指标对本发明实施例中的研究框架、A-FCN以及分割领域较流行的深度学习模型在测试数据上进行分割性能的评估与比较，不同分割方法比较如表1所示。由评估结果可得，A-FCN模型作为本文框架的核心算法，其性能相比其他网络在所有指标上都更胜一筹，而Auto-Context的使用更是让A-FCN的分割性能锦上添花。
表1
Method Dice Jaccard Cc Adb
CNN 0.8903 0.8206 0.6499 13.2707
U-net 0.9230 0.8578 0.8320 11.0753
SegNet 0.9319 0.8751 0.8492 9.7832
FCN-8s 0.9523 0.9094 0.8994 6.8874
FFCN-Level0 0.9615 0.9262 0.9195 5.3720
FFCN-Level1 0.9638 0.9303 0.9245 5.0556
FFCN-Level2 0.9642 0.9312 0.9255 4.9853
FFCN-Level2-A 0.9646 0.9318 0.9261 4.9607
自动测量的评价：
关键位置点的定位评估：由二维空间中欧氏距离公式分别计算医生手动标记和全自动定位所得关键解剖位置点的距离，采用距离均值±标准差图示的方式评估自动定位结果的准确性，得到结果如下：(1)尿道中心点：(2)两侧肛提肌附着点；(3)耻骨联合后下缘；(4)耻骨直肠肌底部前缘点。
如图4所示，可知对LH关键位置点的全自动定位具有较高的准确性和稳定性，下面的距离测量评估结果将进一步佐证这一结论。
LH参数测量结果评估：
应用统计软件SPSS 20.0以及MedCalc对医生手动测量和全自动测量得到的LH参数进行统计学分析，参数包括LH前后径(LHAP)、左右径(LHLR)、左肛提肌尿道间隙(L-LUG)、右肛提肌尿道间隙(R-LUG)、面积(LHA)、周长(LHC)，利用Pearson相关系数r评估两种测量手段的相关性；组内相关系数(interclass correlation coefficient,ICC)、Bland-Altman评价两种测量方法的一致性，得到评估结果如表4、表5和表6所示。图4和图5所示。
首先，Pearson相关系数r对应的相关程度以及ICC对应的一致性程度如表2和3所示。其中，表2为Pearson相关系数r及其对应的相关度；表3ICC值及其对应的一致性水平，表4为手动及全自动测量肛提肌裂孔参数的一致性(n＝372)；表5为手动和全自动测量肛提肌裂孔的相关性(n＝372)，表6为Bland-Altman图中一致性分析表。
表2
R value 0～0.20 0.21～0.4 0.41～0.6 0.61～0.8 0.81～1
Correlation 极低 弱 中等 强 极强
表3
表4
表5
表6
由表4可知，手动测量和全自动测量ICC值为0.946～0.984，即说明两种方法一致性好；由表可知，相关系数r为0.947～0.985，相关性散点图如图4所示，说明两种方法具有很强的相关性；图5为Bland-Altman分析图，其中，x、y轴分别表示两种测量方法所得结果的均值与差值；上下两条水平虚线表示95％一致性界限(limit of agreement,LOA)的上下限，水平实线为差值的均数，越多散点在两虚线间，说明一致性越好，差值均数越靠近0说明一致性程度越高。由表6可知，上述6个参数在95％一致性界限外的点均小于5％，且差值均数的绝对值都非常接近0，由此说明，全自动测量与医生手动测量结果高度一致，两种方法可互相代替。
针对上述方案，发明人还从2016年5月至2017年3月在深圳市第二人民医院进行盆底检查的女性患者中随机选出284例为研究对象，并对其进行了试验验证，在验证过程中，共得372幅最小裂孔面积下LH三维容积图像。研究对象年龄22～42岁，平均(31.30±4.03)岁，身高150～170cm，平均(159.80±4.70)cm，体重39～89kg，平均(59.04±8.15)kg。所有受检者均有性生活史、均行知情同意。超声检查设备：Mindray Resona7彩色多普勒超声诊断仪配备4D腔内容积探头DE10-3WU，探头频率为3.0～10.0MHz，最大扫查角度175°。
为更全面评估分类器性能采用交叉验证法，先将数据集D划分成31个互斥子集，即D＝D1∪D2∪…∪D31，Di∩Dj＝φ(i≠j)。每个子集含有12张图像。每次用30个子集的并集作为训练集，经数据增强到3960张图像，3600张作为训练集、360张作为验证集，12张做测试集，共计跑31次实验。
试验结果表明：采用本发明实施例所提供的肛提肌裂孔的识别方法具有以下几点优势：
第一，目前盆底超声检查中存在的一大问题是耗时长效率低，而临床中各种盆底参数的测量占用了大部分的检查时间，本研究发现医生手动测量一幅LH平均耗时43.42±11.08s，而对同一幅图采用全自动测量方式仅需4.29±1.03s，全自动测量相比手动测量节省了近10倍的时间，明显缩短了检查时间，提高了检查效率。
第二、医务人员使用描记法测量LH参数时，轨迹球易受测量者操作熟练程度及其盆底超声经验影响，使得测量结果主观性大、可靠性和稳定性往往不高；相比之下，计算机辅助的全自动测量可有效减少主观误差，更加客观高效准确地完成测量任务。
总之，本发明实施例所提供的肛提肌裂孔的识别方法是一种以A-FCN为核心的LH智能识别及全自动测量的研究框架。在两个具有挑战性的任务中都实现了较好的结果。
首先，智能识别部分通过调整FCN-8s获得一个很好的基础模型，提升分割精度的同时降低了模型复杂度、提高训练效率、减少内存占用；相比FCN-8s，A-FCN对LH的分割任务有更好的性能表现，能够更加准确快速地识别LH；
其次，将A-FCN植入到一个自动上下文模型中，通过级联LH超声图像与预测概率图的信息增强边界细节，使得分类器性能有显著提升；其中，将A-FCN模型嵌入Auto-context，融合不同尺寸不同层次的特征，成功解决A-FCN分割结果细节粗糙的问题；
再次，将自动上下文模型得到的概率图，输入到ASM完成形状约束，很好地解决了LH边缘缺失的问题，且分割框架亦适用于其他超声图像的任务。其中，基于前两步的分割结果以及LH形状特点，利用ASM进行形状约束，再次提高LH的分割效果。
进一步地，参数测量部分采用一种巧妙且行之有效的方法，利用分割模型识别尿道中心点，根据LH特有的解剖结构及其相位位置关系、对称轴等信息自动定位到4个关键点，完成LH参数测量，基于实验数据集评估显示，全自动测量与医生手动测量结果相关性和一致性均好，在95％的置信区间中，全自动测量可代替医生手动测量；且两者相比之下，全自动测量更客观、准确、稳定、高效。目前，我国超声界正在组建女性盆底疾病的多中心协作重点实验室，致力于制定出针对亚洲人盆底疾病诊断的标准，那么更快、更准确地获取研究数据显得尤为重要，尤其是对于测量步骤繁琐的LH而言，所以本发明实施例所提供的肛提肌裂孔的识别方法具有重要的研究意义和广阔的应用前景。且，在本发明实施例中，将当前研究领域较流行的深度学习方法与传统方法结合，借助深度学习网络提取图像中深层次的丰富的特征信息，获得初步分割结果，在此基础上，有机结合传统方法不断优化实验结果，构建出性能更好的研究框架。
实施例二：
本发明实施例还提供了一种肛提肌裂孔的识别装置，该肛提肌裂孔的识别装置主要用于执行本发明实施例上述内容所提供的肛提肌裂孔的识别方法，以下对本发明实施例提供的肛提肌裂孔的识别装置做具体介绍。
图6是根据本发明实施例的一种肛提肌裂孔的识别装置的示意图，如图6所示，该肛提肌裂孔的识别装置主要包括：第一处理单元10，第二处理单元20，识别单元30和确定单元40，其中，
第一处理单元10，用于通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；
第二处理单元20，用于基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像，其中，分割图像中包括肛提肌轮廓；
识别单元30，用于在分割图像中识别LH的关键位置点；
确定单元40，用于基于关键位置点确定LH的参数，从而实现LH的识别。
在本发明实施例中，首先通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，全卷积神经网络为预先设置在上下文模型的神经网络；然后，基于活动轮廓模型对LH边缘预测图进行处理，得到超声图像的分割图像；接下来，在分割图像中识别LH的关键位置点；最后，基于关键位置点确定LH的参数，从而实现LH的识别。在本发明实施例中，通过将改进的全卷积神经网络嵌入在上下文模型中进行融合处理，得到不同尺寸不同层次的特征，缓解了在采用传统的方法来对LH超声图像进行切割处理时，分割精度较低的技术问题，从而实现了对LH超声图像进行精细处理的技术效果。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的一种肛提肌裂孔的识别方法、装置和电子设备的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种肛提肌裂孔的识别方法，其特征在于，包括：
通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，所述全卷积神经网络为预先设置在上下文模型的神经网络；
基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像，其中，所述分割图像中包括肛提肌轮廓；
在所述分割图像中识别所述LH的关键位置点；
基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别。
2.根据权利要求1所述的方法，其特征在于，通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图包括：
将所述全卷积神经网络嵌入在所述上下文模型中，得到级联的A-FCN分类器；
基于所述级联的A-FCN分类器对所述超声图像进行分析处理，得到对应的LH预测图；
将所述级联的A-FCN分类器中最后一级分类器输出的LH预测图作为所述LH边缘预测图。
3.根据权利要求2所述的方法，其特征在于，基于所述级联的A-FCN分类器对所述超声图像进行分析处理，得到对应的LH预测图包括：
获取第k-1级分类器输出的第一LH预测图；
通过第k级分类器将所述第一LH预测图和所述超声图像进行融合分析处理，得到第二LH预测图，以使第k+1级分类器基于所述第二LH预测图和所述超声图像进行融合分析处理；
其中，所述第k-1级分类器为所述第k级分类器的前一级分类器，第k+1级分类器为所述第k级分类器的前一级分类器，k依次取1至n，n为所述级联的A-FCN分类器中分类器的数量。
4.根据权利要求1所述的方法，其特征在于，基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像包括：
将所述LH边缘预测图输入至所述活动轮廓模型中，以通过PAC算法对所述LH边缘预测图进行处理，得到目标模型，其中，所述目标模型中携带以下至少一种约束信息：LH的形状、LH的纹理、LH的边缘；
将测试集数据输入所述目标模型中，对所述目标模型特征点周围进行采样，得到最优预测特征点，并基于所述最优预测特征点确定所述超声图像的边缘形状预测图，以得到所述分割图像。
5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
获取训练样本，其中，所述训练样本为包含LH的样本，且所述训练样本中预先标注了LH的主特征点和次特征点；
基于所述训练样本对所述活动轮廓模型进行训练，以使所述活动轮廓模型生成所述LH的约束条件。
6.根据权利要求1所述的方法，其特征在于，在所述分割图像中识别所述LH的关键位置点包括：
在所述分割图像中确定尿道组织的中心点坐标，耻骨联合后下缘点，耻骨直肠肌底部前缘点；
基于所述尿道组织的中心点坐标确定两侧肛提肌附着点。
7.根据权利要求6所述的方法，其特征在于，在所述分割图像中确定尿道组织的中心点坐标包括：
在所述分割图像中确定第一目标点，第二目标点，第三目标点和第四目标点，其中，所述第一目标点为所述肛提肌轮廓中位于最左边的点，所述第二目标点为所述肛提肌轮廓中位于最右边的点，所述第三目标点为所述肛提肌轮廓中位于最顶端的点，所述第三目标点为所述肛提肌轮廓的中心点；
基于所述第一目标点，所述第二目标点，所述第三目标点和所述第四目标点确定UROI区域，其中，所述UROI区域为包含尿道组织的ROI区域；
对所述UROI区域进行分割，得到所述尿道组织的组织轮廓；
基于所述组织轮廓确定所述尿道组织的中心点坐标。
8.根据权利要求1或6所述的方法，其特征在于，基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别包括：
基于所述关键位置点确定像素距离；
获取所述像素距离和实际物理距离的比例关系，所述实际物理距离为肛提肌裂孔的实际物理距离；
基于所述比例关系确定所述LH的参数。
9.一种肛提肌裂孔的识别装置，其特征在于，包括：
第一处理单元，用于通过改进的全卷积神经网络对待处理的肛提肌裂孔LH的超声图像进行处理，得到LH边缘预测图，其中，所述全卷积神经网络为预先设置在上下文模型的神经网络；
第二处理单元，用于基于活动轮廓模型对所述LH边缘预测图进行处理，得到所述超声图像的分割图像，其中，所述分割图像中包括肛提肌轮廓；
识别单元，用于在所述分割图像中识别所述LH的关键位置点；
确定单元，用于基于所述关键位置点确定所述LH的参数，从而实现所述LH的识别。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8中任一项所述的方法。
CN201711322591.4A 2017-12-12 2017-12-12 肛提肌裂孔的识别方法、装置和电子设备 Active CN108062749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711322591.4A CN108062749B (zh) 2017-12-12 2017-12-12 肛提肌裂孔的识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711322591.4A CN108062749B (zh) 2017-12-12 2017-12-12 肛提肌裂孔的识别方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108062749A true CN108062749A (zh) 2018-05-22
CN108062749B CN108062749B (zh) 2020-04-21

Family

ID=62138249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711322591.4A Active CN108062749B (zh) 2017-12-12 2017-12-12 肛提肌裂孔的识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108062749B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN110969566A (zh) * 2018-09-29 2020-04-07 北京嘉楠捷思信息技术有限公司 一种反卷积处理方法及装置、图像处理方法及装置
CN111652876A (zh) * 2020-06-05 2020-09-11 深圳度影医疗科技有限公司 一种三维盆底超声图像的检测方法
CN111738284A (zh) * 2019-11-29 2020-10-02 北京沃东天骏信息技术有限公司 一种物体识别方法、装置、设备及存储介质
WO2023070946A1 (zh) * 2021-10-25 2023-05-04 上海杏脉信息科技有限公司 基于超声图像的测量设备、方法、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102805664A (zh) * 2012-08-27 2012-12-05 王文艳 显示及采集人体肛提肌内神经分布图像的方法
CN106485712A (zh) * 2016-10-26 2017-03-08 深圳开立生物医疗科技股份有限公司 肛提肌轴平面图像处理方法及装置
CN106683159A (zh) * 2016-12-22 2017-05-17 深圳开立生物医疗科技股份有限公司 三维盆底超声图像处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102805664A (zh) * 2012-08-27 2012-12-05 王文艳 显示及采集人体肛提肌内神经分布图像的方法
CN106485712A (zh) * 2016-10-26 2017-03-08 深圳开立生物医疗科技股份有限公司 肛提肌轴平面图像处理方法及装置
CN106683159A (zh) * 2016-12-22 2017-05-17 深圳开立生物医疗科技股份有限公司 三维盆底超声图像处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LINGYUN WU: "CASCADED FULLY CONVOLUTIONAL NETWORKS FOR AUTOMATIC PRENATAL ULTRASOUND IMAGE SEGMENTATION", 《IEEE》 *
NIKHIL SINDHWANI: "Semi-Automatic Outlining of Levator Hiatus", 《UITRASOUND IN OBSTETRICS &AMP》 *
XIN YANG: "Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation in Ultrasound Images", 《ARXIV:1612.01655V1》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108776969B (zh) * 2018-05-24 2021-06-22 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN108898606B (zh) * 2018-06-20 2021-06-15 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN110969566A (zh) * 2018-09-29 2020-04-07 北京嘉楠捷思信息技术有限公司 一种反卷积处理方法及装置、图像处理方法及装置
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN111738284A (zh) * 2019-11-29 2020-10-02 北京沃东天骏信息技术有限公司 一种物体识别方法、装置、设备及存储介质
CN111738284B (zh) * 2019-11-29 2023-11-17 北京沃东天骏信息技术有限公司 一种物体识别方法、装置、设备及存储介质
CN111652876A (zh) * 2020-06-05 2020-09-11 深圳度影医疗科技有限公司 一种三维盆底超声图像的检测方法
CN111652876B (zh) * 2020-06-05 2023-08-11 深圳度影医疗科技有限公司 一种三维盆底超声图像的检测方法
WO2023070946A1 (zh) * 2021-10-25 2023-05-04 上海杏脉信息科技有限公司 基于超声图像的测量设备、方法、介质及电子设备

Also Published As

Publication number Publication date
CN108062749B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108062749B (zh) 肛提肌裂孔的识别方法、装置和电子设备
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN102800089B (zh) 基于颈部超声图像的主颈动脉血管提取和厚度测量方法
CN108010021A (zh) 一种医学图像处理系统和方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
WO2021082691A1 (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN118262875A (zh) 一种医学影像诊断对比阅片方法
CN112101451A (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN107578413B (zh) 视网膜图像分层的方法、装置、设备及可读存储介质
CN112215842B (zh) 基于良性甲状腺模板的恶性结节边缘检测图像处理方法
CN108364294A (zh) 基于超像素的腹部ct图像多器官分割方法
CN108549912A (zh) 一种基于机器学习的医学图像肺结节检测方法
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN104299242B (zh) 基于ngc‑acm的荧光造影眼底图像提取方法
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN108765427A (zh) 一种前列腺图像分割方法
CN111062936B (zh) 用于面部变形诊疗效果的量化指标评估方法
CN116703901A (zh) 肺部医学ct影像分割及分类装置及设备
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
Li et al. A semi-automated annotation algorithm based on weakly supervised learning for medical images
CN109816665A (zh) 一种光学相干断层扫描图像的快速分割方法及装置
Mishra et al. A skin cancer image detection interface tool using vlf support vector machine classification
CN110176007A (zh) 晶状体分割方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210201

Address after: 518000 5/6 Pingshan Private Enterprise Science Park, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN WISONIC MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 518000 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN University