[go: up one dir, main page]

CN111179275B - 一种医学超声图像分割方法 - Google Patents

一种医学超声图像分割方法 Download PDF

Info

Publication number
CN111179275B
CN111179275B CN201911409096.6A CN201911409096A CN111179275B CN 111179275 B CN111179275 B CN 111179275B CN 201911409096 A CN201911409096 A CN 201911409096A CN 111179275 B CN111179275 B CN 111179275B
Authority
CN
China
Prior art keywords
data
layer
image
input
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911409096.6A
Other languages
English (en)
Other versions
CN111179275A (zh
Inventor
车博
袁浩瀚
罗亮
陈智
方俊
熊雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Sichuan Provincial Peoples Hospital
Original Assignee
University of Electronic Science and Technology of China
Sichuan Provincial Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, Sichuan Provincial Peoples Hospital filed Critical University of Electronic Science and Technology of China
Priority to CN201911409096.6A priority Critical patent/CN111179275B/zh
Publication of CN111179275A publication Critical patent/CN111179275A/zh
Application granted granted Critical
Publication of CN111179275B publication Critical patent/CN111179275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明属于深度学习计算机视觉和医学信息处理技术领域,具体涉及一种医学超声图像分割方法。本发明的方法在通用图像分割神经网络模型基础上,融合多输入多输出技术、孔洞卷积技术、小样本医学数据增强等多种新型技术,重点解决小样本学习,超声图像对比度低,结节边缘模糊等难点痛点问题,得到本发明最优分割策略。

Description

一种医学超声图像分割方法
技术领域
本发明属于深度学习计算机视觉和医学信息处理技术领域,具体涉及一种医学超声图像分割方法。
背景技术
随着科学技术的进步,医学影像技术取得了长足的发展,超声成像技术由于操作简便、无辐射损伤、成本低等优点,在预防诊断及治疗中具有重要价值。目前,在医学图像中对感兴趣区域进行分割,是进行影像分析和病灶识别的基础。临床上广泛采用人工分割的方法对超声图像进行分割,经验丰富的临床医生根据自己的专业知识,手工勾画感兴趣的领域。然而,手工分割不仅耗时,极其依赖医生的专业技能和丰富的经验,而且由于超声图像具有边缘模糊,对比度较低等特点,使得人眼视觉分辨十分困难。因此,如何自动且高效的分割超声图像已成为人们迫切需要解决的问题。
近年来,深度神经网络模型—卷积神经网络(CNN),为生物医学图像分割表现的提升提供了巨大技术支持。卷积神经网络可以自动学习图像中低层次视觉特征和高层次语义特征,避免了传统算法中手工设计并提取图像特征的复杂过程。然而,传统CNN无法合理地将底层特征传播至高层。在语义分割模型(U-NET)中,可以通过跳跃连接等方法,实现低维特征和高维特征的通道融合,完成良好的分割效果。
发明内容
本发明的目的是在超声医学图像处理中,提出一种基于深度学习的网络Multi-Dilated-Unet(MD-Unet)的超声图像分割设计方案,以获得更好的分割性能。
本发明采用的技术方案是:
一种医学超声图像分割方法,包括以下步骤:
步骤1、对待分割超声图像数据进行预处理,得到训练集、验证集数据;
步骤2、对训练集、验证集数据做数据增强,包括:
1)采用离线增强增加训练数据的数据量:采用旋转变换与水平翻转变换,做10倍增强;
2)利用在线增强增强网络模型的泛化性:采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换,用在线迭代器方式在增强数据多样性的同时减少内存压力;
步骤3、构建多输入多输出空洞卷积U型网络,包括:
1)多输入下采样模块:下采样模块一共4层,多输入采用图像多尺度思想,对输入数据做大小放缩,变为8:4:2:1的四副数据,分别与进网络的一二三四下采样层融合;下采样模块利用卷积层与最大池化层完成底层特征获取,依次获得特征图;每一层的卷积核大小为3×3,采用空洞卷积r=2,即在常规卷积核中加入间隔从而增加图像感受野,第一层到第四层的卷积核数量大小分别为32、64、128、256;
2)上采样模块:上采样模块一共4层,采用反卷积作为上采样方式,并利用上采样模块依次扩大特征图像尺寸,减少通道数量,最终得到与输入数据相同大小的预测图;每一层的卷积核大小为3×3,从第一层到第四层的卷积核数量大小分别为256、128、64、32;
3)深度监督多输出模块:对标签做4次大小变换,形成8:4:2:1的四副数据,依次作为4层上采样的输出层的训练标签;
步骤4、将训练集数据输入构建的U型网络进行训练,得到学习后的卷积神经网络模型,并在验证集上进行调参,直到得到最优的模型及其对应参数,获得训练好的U型网络;
步骤5、将预处理后的待分割超声图像数据输入训练好的U型网络,得到每个像素的分割结果。
本发明的有益效果在于:本发明提供一种针对超声医学图像的分割方法,在通用图像分割神经网络模型基础上,融合多输入多输出技术、孔洞卷积技术、小样本医学数据增强等多种新型技术,重点解决小样本学习,超声图像对比度低,结节边缘模糊等难点痛点问题,得到本发明最优分割策略。
附图说明
图1所示为本发明实施例提供的一种医学图像分割方法设计图。
图2所示为本发明实施例提供的步骤1的数据处理模块示意图。
图3所示为本发明实施例提供的步骤2的数据增强模块示意图。
图4所示为本发明实施例提供的步骤3的MD-Unet的整体结构示意图。
图5所示为本发明实施例提供的训练集与验证集的正确率与损失示意图,其中图(a)是利用MD-Unet网络进行训练所得到的训练集以及验证集损失函数示意图,图(b)是训练集与验证集的正确率示意图。
图6所示为本发明实施例提供的原始标签和分割图像示意图,其中图6左边为标签图像,图6的右边则是分割结果。
具体实施方式
下面结合附图和仿真对本发明进行详细的描述:
本发明提供一种基于甲状腺结节超声图像的网络分割方法,包括5个步骤,主要包括数据集获取、图像预处理、网络模型构建、网络训练、网络测试与评估5个模块,其流程图如图1所示。本实施例中,具体步骤如下:
1.对待分割超声图像数据进行预处理,得到训练集数据和测试集数据,数据处理流程如图2所示。
1)去除隐私信息与医学影像仪器标记,并筛选出未被影像科医生手动标记的原始超声图像;
2)在超声影像医师指导下手工标记标签;
3)在保证保留图像细节纹理特征的前提下对图像质量进行增强
3-1)使用自适应均值滤波,减少和噪点和不均匀的斑块
3-2)使用两种形态学运算—开、关运算提高过滤效果
3-3)直方图均衡化
3-4)Sobel operator边缘增强
4)对数据以6:2:2的比例划分训练集、验证集和测试集
5)对图像进行去色处理得到灰度图像,并进行尺度归一化将分辨率统一为256*256
6)对数据标签进行二值化处理,并归一化为[0,1]区间
2.对训练集小样本数据做数据增强,其流程如图3所示。
由于深度学习的结果与数据的质量和数量密切相关,但医学样本难采集,数据量较少,为了增加数据量,避免出现过拟合,提高分割精度,我们采用两种增强的组合方式,解决小样本数据的缺陷。
1)采用离线增强增加训练数据的数据量,主要采用旋转变换与水平翻转变换,做10倍增强。
2)利用在线增强增强网络模型的泛化性。主要采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换等等,用在线迭代器方式在增强数据多样性的同时减少内存压力。
3.构建多输入多输出空洞卷积U型网络,网络整体结构如图4所示。
1)多输入下采样模块
多输入下采样模块如图4 U型网络左半部分所示。
1-1)首先我们利用多输入采用图像多尺度思想,对输入数据做大小放缩,变为8:4:2:1的四副数据,分别与进网络的一二三四下采样层融合。
1-2)下采样模块一共4层,主要利用卷积层与最大池化层完成底层特征获取,依次获得通道更多,尺寸更小的特征图。每一层的卷积核大小为3×3,采用空洞卷积r=2,即在常规卷积核中加入间隔从而增加图像感受野。第一层到第四层的卷积核数量大小分别为32、64、128、256。
2)上采样模块
上采样模块结构如图4 U型网络右半部分所示。上采样模块一共4层,采用反卷积作为上采样方式。上采样模块依次扩大特征图像尺寸,减少通道数量,最终得到与输入数据相同大小的预测图。每一层的卷积核大小为3×3,从第一层到第四层的卷积核数量大小分别为256、128、64、32。
3)深度监督多输出模块
对标签做4次大小变换,形成8:4:2:1的四副数据,依次作为4层上采样的输出层的训练标签。
4.将训练集数据输入我们设计好的网络进行训练,得到学习后的卷积神经网络模型
1)记录下每次训练的loss与分割准确率。
2)根据验证集上的loss与准确率,修改参数并重新训练网络。直到选出最好的模型及其对应参数。
5.将预处理后的待分割超声图像数据输入学习后的卷积神经网络模型,得到每个像素的分割结果。
在这里展示本发明实施的最终效果,结果如图5和图6所示。其中图5所示为本发明实施例提供的训练集与验证集的正确率与损失示意图,图(a)是利用MD-Unet网络进行训练所得到的训练集以及验证集损失函数示意图,图(b)是训练集与验证集的正确率示意图。而图6则是本发明实施例提供的原始标签和分割图像示意图,其中图6左边为标签图像,图6的右边则是分割结果。

Claims (2)

1.一种医学超声图像分割方法,其特征在于,包括以下步骤:
步骤1、对待分割超声图像数据进行预处理,得到训练集、验证集数据;
步骤2、对训练集、验证集数据做数据增强,包括:
1)采用离线增强增加训练数据的数据量:采用旋转变换与水平翻转变换,做10倍增强;
2)利用在线增强增强网络模型的泛化性:采用旋转变换、尺度变换、缩放变换、平移变换、颜色对比度变换,用在线迭代器方式在增强数据多样性的同时减少内存压力;
步骤3、构建多输入多输出空洞卷积U型网络,包括:
1)多输入下采样模块:下采样模块一共4层,多输入采用图像多尺度思想,对输入数据做大小放缩,变为8:4:2:1的四副数据,分别与进网络的一二三四下采样层融合;下采样模块利用卷积层与最大池化层完成底层特征获取,依次获得特征图;每一层的卷积核大小为3×3,采用空洞卷积r=2,即在常规卷积核中加入间隔从而增加图像感受野,第一层到第四层的卷积核数量大小分别为32、64、128、256;
2)上采样模块:上采样模块一共4层,采用反卷积作为上采样方式,并利用上采样模块依次扩大特征图像尺寸,减少通道数量,最终得到与输入数据相同大小的预测图;每一层的卷积核大小为3×3,从第一层到第四层的卷积核数量大小分别为256、128、64、32;
3)深度监督多输出模块:对标签做4次大小变换,形成8:4:2:1的四副数据,依次作为4层上采样的输出层的训练标签;
步骤4、将训练集数据输入构建的U型网络进行训练,得到学习后的卷积神经网络模型,并在验证集上进行调参,直到得到最优的模型及其对应参数,获得训练好的U型网络;
步骤5、将预处理后的待分割超声图像数据输入训练好的U型网络,得到每个像素的分割结果。
2.根据权利要求1所述的一种医学超声图像分割方法,其特征在于,在数据增强和空洞卷积U型网络模块,其中数据增强包括:
1)通过对原始数据的离线增强,提高数据的利用率;
2)通过对原始数据的在线增强,进一步增强网络的鲁棒性的同时减少服务器的内存压力;
空洞卷积U型网络模块包括:
1)通过多输入模块对图像数据进行缩放,并将其与下采样层融合从而进一步增强图像利用率并提高网络对于图像特征提取的能力;
2)在下采样与上采样的过程中加入空洞卷积层,从而增大感受野大小,改善由于卷积带来的图像细节损失问题。
CN201911409096.6A 2019-12-31 2019-12-31 一种医学超声图像分割方法 Active CN111179275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409096.6A CN111179275B (zh) 2019-12-31 2019-12-31 一种医学超声图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409096.6A CN111179275B (zh) 2019-12-31 2019-12-31 一种医学超声图像分割方法

Publications (2)

Publication Number Publication Date
CN111179275A CN111179275A (zh) 2020-05-19
CN111179275B true CN111179275B (zh) 2023-04-25

Family

ID=70650617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409096.6A Active CN111179275B (zh) 2019-12-31 2019-12-31 一种医学超声图像分割方法

Country Status (1)

Country Link
CN (1) CN111179275B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861929B (zh) * 2020-07-24 2025-01-03 深圳开立生物医疗科技股份有限公司 一种超声图像优化处理方法、系统及装置
CN111915626B (zh) * 2020-08-14 2024-02-02 东软教育科技集团有限公司 心脏超声图像的心室区域自动分割方法、装置及存储介质
CN113034507A (zh) * 2021-05-26 2021-06-25 四川大学 基于ccta影像的冠状动脉三维分割方法
CN113610859B (zh) * 2021-06-07 2023-10-31 东北大学 一种基于超声图像的甲状腺结节自动分割方法
CN113920129B (zh) * 2021-09-16 2025-04-08 电子科技大学长三角研究院(衢州) 基于多尺度和全局上下文信息的医学图像分割方法和装置
CN116824146B (zh) * 2023-07-05 2024-06-07 深圳技术大学 一种小样本ct图像分割方法、系统、终端及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN109064455A (zh) * 2018-07-18 2018-12-21 清华大学深圳研究生院 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109816657A (zh) * 2019-03-03 2019-05-28 哈尔滨理工大学 一种基于深度学习的脑瘤医学图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110415253A (zh) * 2019-05-06 2019-11-05 南京大学 一种基于深度神经网络的点交互式医学图像分割方法
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080081998A1 (en) * 2006-10-03 2008-04-03 General Electric Company System and method for three-dimensional and four-dimensional contrast imaging
US8398549B2 (en) * 2010-02-16 2013-03-19 Duke University Ultrasound methods, systems and computer program products for imaging contrasting objects using combined images

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN109064455A (zh) * 2018-07-18 2018-12-21 清华大学深圳研究生院 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109816657A (zh) * 2019-03-03 2019-05-28 哈尔滨理工大学 一种基于深度学习的脑瘤医学图像分割方法
CN110415253A (zh) * 2019-05-06 2019-11-05 南京大学 一种基于深度神经网络的点交互式医学图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于残差学习U型卷积神经网络的乳腺超声图像肿瘤分割研究;梁舒;《华南理工大学》;全文 *

Also Published As

Publication number Publication date
CN111179275A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111161273B (zh) 一种基于深度学习的医学超声图像分割方法
CN111179275B (zh) 一种医学超声图像分割方法
CN109886986B (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
Sun et al. MSCA-Net: Multi-scale contextual attention network for skin lesion segmentation
CN111145170A (zh) 一种基于深度学习的医学影像分割方法
Hu et al. AS-Net: Attention Synergy Network for skin lesion segmentation
CN105469100B (zh) 基于深度学习的皮肤活检图像病理特性识别方法
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN110555835B (zh) 一种脑片图像区域划分方法及装置
CN111524144B (zh) 一种基于GAN和Unet网络的肺结节智能诊断方法
CN114287878A (zh) 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN111161271A (zh) 一种超声图像分割方法
CN108446729A (zh) 基于卷积神经网络的鸡蛋胚胎分类方法
CN111445474A (zh) 基于双向复注意力深度网络的肾脏ct图像分割方法
CN105654141A (zh) 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN114565620B (zh) 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN109767459A (zh) 新型眼底图配准方法
CN118096584B (zh) 基于上下文感知和多尺度扩散网络的超声图像增强方法
CN112233061A (zh) 一种基于深度学习的皮肤基底细胞癌和鲍温病识别方法
CN117876690A (zh) 一种基于异构UNet的超声影像多组织分割方法和系统
CN105023023B (zh) 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法
CN113469961A (zh) 一种基于神经网络的腕管图像分割方法及系统
CN118115490A (zh) 一种多尺度边界精细化与融合的萎缩性胃炎区域分割方法
CN113160261A (zh) 一种用于oct图像角膜层分割的边界增强卷积神经网络
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant