CN110335254B - 眼底图像区域化深度学习方法、装置和设备及存储介质 - Google Patents
眼底图像区域化深度学习方法、装置和设备及存储介质 Download PDFInfo
- Publication number
- CN110335254B CN110335254B CN201910498239.9A CN201910498239A CN110335254B CN 110335254 B CN110335254 B CN 110335254B CN 201910498239 A CN201910498239 A CN 201910498239A CN 110335254 B CN110335254 B CN 110335254B
- Authority
- CN
- China
- Prior art keywords
- fundus image
- image
- region
- fundus
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007261 regionalization Effects 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 76
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012916 structural analysis Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002792 vascular Effects 0.000 description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 201000010099 disease Diseases 0.000 description 7
- 208000010412 Glaucoma Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000002189 macula lutea Anatomy 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000005259 peripheral blood Anatomy 0.000 description 2
- 239000011886 peripheral blood Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种眼底图像区域化深度学习方法、装置和设备及存储介质，其中方法包括：获取眼底图像，并基于获取到的眼底图像构建相应的图像模板；其中，不同的图像模表征眼底图像中的不同区域；由图像模板中选取相应的当前所需模板，并基于所选取的当前所需模板，对眼底图像进行处理，得到处理后的眼底图像；将处理后的眼底图像输入至预先构建的神经网络模型，对神经网络模型进行训练。通过构建图像模板，使得对神经网络模型训练时所使用的眼底图像不再是整幅眼底图像，而是基于所选取的当前所需模板对眼底图像进行处理后的图像。从而这也就有效排除了不必要的干扰因素，最终提高了训练后的神经网络模型的鲁棒性和泛化性。
Description
技术领域
本公开涉及医学图像处理技术领域，尤其涉及一种眼底图像区域化深度学习方法、装置和设备及存储介质。
背景技术
深度学习是以数据为驱动的一项技术，目前已成为图像领域中的首选解决方案。在众多医学影像中，彩色眼底影像的特点是复杂度低、获取方便以及容易诊断，这些特点使得眼底影像可以使用深度学习技术取得较好的分类和检测效果。现有的基于彩色眼底影像的疾病分类及检测技术基本上都是采用深度学习技术，并且强依赖于图像体量、图像质量以及标注精准性。在相关技术中，采用深度学习技术进行眼底影像分类及检测时，大多是以整幅图像作为学习资料进行模型学习的，这就使得模型学习过程中的干扰较多，从而影响了模型的鲁棒性和泛化性。
发明内容
有鉴于此，本公开提出了一种眼底图像区域化深度学习方法、装置和设备及存储介质，可以有效避免模型学习过程中的不必要的干扰，提高模型的鲁棒性和泛化性。
根据本公开的一方面，提供了一种眼底图像区域化深度学习方法，包括：
获取眼底图像，并基于获取到的所述眼底图像构建相应的图像模板；
其中，不同的所述图像模表征所述眼底图像中的不同区域；
由所述图像模板中选取相应的当前所需模板，并基于所选取的所述当前所需模板，对所述眼底图像进行处理，得到处理后的眼底图像；
将处理后的眼底图像输入至预先构建的神经网络模型，对所述神经网络模型进行训练。
在一种可能的实现方式中，基于获取到的所述眼底图像构建相应的图像模板，包括：
采用目标检测算法对所述眼底图像中的视盘区域和黄斑区域进行定位检测，得到相应的目标检测结果；
根据所述目标检测结果，对所述眼底图像进行结构化分析，得到相应的所述图像模板。
在一种可能的实现方式中，根据所述目标检测结果，对所述眼底图像进行结构化分析，包括：
在所述目标检测结果为所述视盘区域和所述黄斑区域均可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述黄斑区域的中心连接线的两端方向移动，得到相应的第一轮廓和第二轮廓；
其中，所述第一轮廓和所述第二轮廓均与所述视盘区域的边缘相切；
根据所述第一轮廓和所述第二轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板。
在一种可能的实现方式中，根据所述目标检测结果，对所述眼底图像进行结构化分析，包括：
在所述目标检测结果为所述视盘区域可见，所述黄斑区域不可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述眼底图像的中心的连接线的两端方向移动，得到相应的第三轮廓和第四轮廓；
其中，所述第三轮廓和所述第四轮廓均与所述视盘区域的边缘相切；
根据所述第三轮廓和所述第四轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板。
在一种可能的实现方式中，基于所述目标检测结果，对所述眼底图像进行结构化分析，包括：
在所述目标检测结果为所述黄斑区域可见、所述视盘区域不可见时，根据所定位出的所述黄斑区域，将所述眼底图像进行区域划分，生成相应的所述图像模板。
在一种可能的实现方式中，基于所选取的所述当前所需模板，对所述眼底图像进行处理，包括：
将选取的所述当前所需模板所对应眼底图像的区域的像素值保持为原始图像区域的像素值，并将未选取的图像模板所对应眼底图像的像素值设置为零。
在一种可能的实现方式中，预先构建的所述神经网络模型包括基础网络和多个子网络；
其中，所述基础网络的输出端为各所述子网络的输入端；
所述基础网络包括依次级联的多个卷积组合层，各所述子网络均包括级联的卷积层和全连接层。
根据本公开的另一方面，还提供了一种眼底图像区域化深度学习装置，包括：
图像模板构建模块，被配置为获取眼底图像，并基于获取到的所述眼底图像构建相应的图像模板；其中，不同的所述图像模板表征所述眼底图像中的不同区域；
眼底图像处理模块，被配置为由所述图像模板中选取相应的当前所需模板，并基于所选取的所述当前所需模板，对所述眼底图像进行处理，得到处理后的眼底图像；
网络模型训练模块，被配置为将处理后的眼底图像输入至预先构建的神经网络模型，对所述神经网络模型进行训练。
根据本公开的一方面，还提供了一种眼底图像区域化深度学习设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的眼底图像区域化深度学习方法。
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的眼底图像区域化深度学习方法。
通过基于获取到的眼底图像构建表征眼底图像中不同区域的图像模板，进而再由图像模板中选取相应的当前所需模板，并基于所选取的当前所需模板对眼底图像进行处理，得到处理后的眼底图像。最后，再将处理后的眼底图像输入至预先构建的神经网络模型，对神经网络模型进行训练，这就使得对神经网络模型训练时所使用的眼底图像不再是整幅眼底图像，而是基于所选取的当前所需模板对眼底图像进行处理后的图像。从而这也就有效排除了不必要的干扰因素，最终提高了训练后的神经网络模型的鲁棒性和泛化性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本公开实施例的眼底图像区域化深度学习方法的流程图；
图2示出本公开实施例的眼底图像区域化深度学习方法的流程设计示意图；
图3示出本公开实施例的眼底图像区域化深度学习方法中，在目标检测结果为视盘区域和黄斑区域均可见时构建图像模板的规则示意图；
图4示出本公开实施例的眼底图像区域化深度学习方法中，在目标检测结果为视盘区域可见但黄斑区域不可见时构建图像模板的规则示意图；
图5示出本公开实施例的眼底图像区域化深度学习方法中，在目标检测结果为黄斑区域可见、视盘区域不可见时构建图像模板的规则示意图；
图6示出本公开实施例的眼底图像区域化深度学习方法中所构建的神经网络模型中的基础网络的网络结构示意图；
图7示出本公开实施例的眼底图像区域化深度学习方法中所构建的神经网络模型中的子网络的网络结构示意图；
图8示出本公开实施例的眼底图像区域化深度学习装置的框图；
图9示出本公开实施例的眼底图像区域化深度学习设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本公开实施例的眼底图像区域化深度学习方法的流程图。图2示出本公开实施例的眼底图像区域化深度学习方法的流程设计示意图。参阅图1和图2，本公开实施例的眼底图像区域化深度学习方法包括：步骤S100，获取眼底图像，并基于获取到的眼底图像构建相应的图像模板。此处，需要说明的是，图像模板的个数可以为多个，不同的图像模板表征了眼底图像中的不同区域。
比如：图像模板可以包括视盘区域模板、黄斑区域模板、上血管弓区区域模板、下血管弓区区域模板、黄斑周围血管区区域模板和视盘旁鼻侧区域模板中的至少一种。其中，视盘区域模板对应眼底图像中的视盘区域。黄斑区域模板对应眼底图像中的黄斑区域。上血管弓区区域模板对应眼底图像中位于视盘区域上方位置处的部分区域。下血管弓区区域模板则对应眼底图像中位于视盘区域下方位置处的部分区域。黄斑周围血管区区域模板对应眼底图像中黄斑区域周围侧的部分区域。视盘旁鼻侧区域模板则对应眼底图像中位于视盘区域远离黄斑区域侧的部分区域。
同时，还应当指出的是，所构建的图像模板的个数和类型可以根据不同的眼底图像有所不同，此处不进行具体限定。
在执行完步骤S100，构建相应的图像模板后，即可执行步骤S200，由图像模板中选取相应的当前所需模板，并基于所选取的当前所需模板，对眼底图像进行处理，得到处理后的眼底图像。进而再执行步骤S300，将处理后的眼底图像输入至预先构建的神经网络模型，对神经网络模型进行训练。
由此，本公开实施例的眼底图像区域化深度学习方法，通过基于获取到的眼底图像构建表征眼底图像中不同区域的图像模板，进而再由图像模板中选取相应的当前所需模板，并基于所选取的当前所需模板对眼底图像进行处理，得到处理后的眼底图像。最后，再将处理后的眼底图像输入至预先构建的神经网络模型，对神经网络模型进行训练，这就使得对神经网络模型训练时所使用的眼底图像不再是整幅眼底图像，而是基于所选取的当前所需模板对眼底图像进行处理后的图像。从而这也就有效排除了不必要的干扰因素，最终提高了训练后的神经网络模型的鲁棒性和泛化性。
在一种可能的实现方式中，步骤S100中，基于获取到的眼底图像构建相应的图像模板，可以通过以下方式来实现。
即，首先采用目标检测算法对眼底图像中的视盘区域和黄斑区域进行定位检测，得到相应的目标检测结果。此处，需要指出的是，一般情况下，眼底图像中的视盘区域和黄斑区域比较明显，为了保证目标检测的准确性，在采用目标检测算法对眼底图像中的视盘区域和黄斑区域进行定位检测时，可以采用基于深度学习的Faster Rcnn模型对视盘区域和黄斑区域进行检测。其中，基于深度学习的Faster Rcnn模型为本领域常用的图像处理网络模型，此处不再对其进行赘述。
在得到相应的目标检测结果后，进而再根据目标检测结果，对眼底图像进行结构化分析，得到相应的图像模板。
此处，应当指出的是，在采用目标检测算法对不同的眼底图像进行定位检测时，所得到的目标检测结果可能不同。因此，在根据不同的目标检测结果对眼底图像进行结构化分析，得到的图像模板也会有所不同。
举例来说，目标检测结果可以包括视盘区域和黄斑区域均可见(即，视盘区域和黄斑区域均定位检测到)、视盘区域可见但黄斑区域不可见(即，定位检测到眼底图像中的视盘区域，黄斑区域未被定位检测到)、视盘区域不可见但黄斑区域可见(即，定位检测到眼底图像中的黄斑区域，视盘区域未被定位检测到)、以及视盘区域和黄斑区域均不可见(即，眼底图像中的视盘区域和黄斑区域均没有被定位检测到)四种。
其中，在目标检测结果为视盘区域和黄斑区域均不可见时，此时，表明当前所获取到的眼底图像无效。即，当前所获取到的眼底图像不可作为训练样本数据用于神经网络模型的训练学习。因此，可以直接输出视盘区域和黄斑区域均不可见的结果，并将该张眼底图像丢弃掉，直接获取下一张眼底图像进行定位检测。
在目标检测结果为视盘区域和黄斑区域均可见时，则表明当前所获取到的眼底图像有效，可以作为样本数据进行神经网络模型的训练。由此，即可根据目标检测结果对眼底图像进行结构化分析，以得到相应的图像模板。
其中，在目标检测结果为视盘区域和黄斑区域均可见时，对眼底图像进行结构化分析，可以通过以下方式来实现。
在目标检测结果为视盘区域和黄斑区域均可见时，将眼底图像的轮廓线分别沿视盘区域的中心与黄斑区域的中心连接线的两端方向移动，从而得到第一轮廓和第二轮廓。其中，第一轮廓和第二轮廓均与视盘区域的边缘相切。
进而，再根据第一轮廓和第二轮廓分别与眼底图像的相交情况，生成相应的图像模板。
此处，应当说明的是，眼底图像的轮廓线可以为圆形，也可以为矩形。此处不进行限定。相应的，视盘区域和黄斑区域的边缘的形状既可以为圆形，也可以为矩形。在采用前面所述的目标检测算法(如：Faster Rcnn模型)对眼底图像进行定位检测，定位出视盘区域和黄斑区域时，通常视盘区域和黄斑区域的边缘采用矩形框进行限定。在本公开实施例的眼底图像区域化深度学习方法中，为了便于运算，可以通过拟合方式将矩形框拟合成圆形，从而使得定位检测出的视盘区域和黄斑区域的边缘(即，轮廓)呈圆形。
为了更清楚地说明在目标检测结果为视盘区域和黄斑区域均可见时，图像模板的构建规则，以下以眼底图像的轮廓线为圆形，定位检测出的视盘区域和黄斑区域的边缘呈矩形框为例进行说明。
参阅图3，在目标检测结果为视盘区域和黄斑区域均可见时，以视盘区域的中心与黄斑区域的中心的连接线的两端为移动方向，将眼底图像的轮廓线分别向连接线的两端进行移动，以移动出两个虚线轮廓(即，第一轮廓和第二轮廓)。其中，所移动的距离为分别移动至于视盘区域(矩形或圆形)的边缘两侧左右相切为止。即，第一轮廓与视盘区域的边缘一侧相切，第二轮廓与视盘区域的边缘的另一侧相切。
进而，再根据第一轮廓和第二轮廓分别与眼底图像的相交情况，生成相应的图像模板。即，参阅图3，对应眼底图像中的视盘区域生成相应的视盘区域模板(即，区域1)；对应眼底图像中的黄斑区域生成相应的黄斑区域模板(即，区域2)；对应第一轮廓、第二轮廓和眼底图像的轮廓所围成的区域中，位于视盘区域上方的区域生成相应的上血管弓区区域模板(即，区域3)；对应第一轮廓、第二轮廓和眼底图像的轮廓所围成的区域中，位于视盘区域下方的区域生成相应的下血管弓区区域模板(即，区域4)；对应第一轮廓与眼底图像相交部分的区域中，除去黄斑区域之外的其他部分区域生成相应的黄斑周围血管区区域模板(即，区域5)；对应第二轮廓与眼底图像的相交部分的区域生成相应的视盘旁鼻侧区域模板(即，区域6)。
进一步的，在目标检测结果为视盘区域可见、黄斑区域不可见时，此时对眼底图像进行结构化分析，可以通过将眼底图像的轮廓线分别沿视盘区域的中心与眼底图像的中心的连接线的两端方向移动，得到相应的第三轮廓和第四轮廓的方式来实现。其中，第三轮廓和第四轮廓均与视盘区域的边缘相切。再通过移动眼底图像的轮廓得到第三轮廓和第四轮廓后，进而再根据第三轮廓和第四轮廓分别与眼底图像的相交情况，生成相应的图像模板。
此处，应当指出的是，眼底图像的轮廓线的形状和视盘区域的边缘形状也是可以根据实际情况进行设置的。如：眼底图像的轮廓线的形状可以为圆形，也可以为矩形。视盘区域的边缘形状可以为圆形，也可以为矩形框。此处均不进行具体限定。
举例来说，眼底图像的轮廓线为圆形，视盘区域的边缘形状为矩形框。在目标检测结果为视盘区域可见、黄斑区域不可见时，参阅图4，将眼底图像的轮廓线分别沿视盘区域的中心与眼底图像的中心的连接线的两端移动，直至移动得到的第三轮廓和第四轮廓分别与视盘区域的边缘相切为止。
进而再根据第三轮廓和第四轮廓分别与眼底图像的相交情况，生成相应的图像模板。即，参阅图4，对应眼底图像中的视盘区域生成相应的视盘区域模板(即，区域1’)；对应第一轮廓、第二轮廓和眼底图像的轮廓所围成的区域中，位于视盘区域上方的区域生成相应的上血管弓区区域模板(即，区域3’)；对应第一轮廓、第二轮廓和眼底图像的轮廓所围成的区域中，位于视盘区域下方的区域生成相应的下血管弓区区域模板(即，区域4’)；对应第一轮廓与眼底图像相交部分的区域生成相应的黄斑区域及黄斑周围血管区区域模板(即，区域5’)；对应第二轮廓与眼底图像的相交部分的区域生成相应的视盘旁鼻侧区域模板(即，区域6’)。
更进一步地，在目标检测结果为黄斑区域可见、视盘区域不可见时，此时可以根据定位出的额黄斑区域对眼底图像进行区域划分，生成相应的图像模板。
即，参阅图5，在目标检测结果为黄斑区域可见、视盘区域不可见时，此时可以生成两种模板。即，直接将黄斑区域对应生成相应的黄斑区域模板(即，区域2’)，其余区域(即，眼底图像中除黄斑区域之外的其他区域)对应生成其余区域模板(即，区域7)。
此处，应当指出的是，在基于不同的目标检测结果构建生成相应的图像模板后，在图像模板的个数为多个时，多个图像模板可以以模板组合列表的形式进行记录存储，以便于后续进行图像模板的选取时能够更快速的寻找到当前所需模板，使得当前所需模板的选取更加高效。
在通过上述任一种方式构建相应的图像模板后，即可通过步骤S200，由构建的图像模板中选取出当前所需模板，并基于选取出的当前所需模板，对眼底图像进行处理。
此处，应当指出的是，在由构建的图像模板中选取当前所需模板时，可以根据当前检测需求来进行选取。即，通常情况下，不同的眼底病种需要关注眼底图像中的不同区域。如：青光眼病种需要结合视盘区域、位于视盘区域上方的上血管弓区区域和位于视盘区域下方的下血管弓区区域进行判断。老年黄斑病变则需要根据黄斑区域进行判断。糖尿病视网膜病种则需要结合除了眼底图像中的视盘区域之外的其他区域进行判断。
由此，在根据当前检测需求，由构建的图像模板中选取出当前所需模板，并基于选取出的当前所需模板对眼底图像进行处理，使得最终进行神经网络模型的训练时所使用的眼底图像更加具有针对性。
同时，还需要说明的是，当前检测需求可以根据当前训练的神经网络模型的功能来确定。如：当前训练的神经网络模型的功能是进行青光眼病种的检测时，则可以确定当前检测需求为青光眼病种检测需求，因此根据确定的青光眼病种检测需求，由构建生成的图像模板中选取相应的视盘区域模板、上血管弓区区域模板和下血管弓区区域模板这三种模板组合。然后，再基于所选取的模板组合对眼底图像进行处理，从而将处理后的眼底图像作为训练样本，对神经网络模型进行训练学习。
在一种可能的实现方式中，基于所选取的当前所需模板对眼底图像进行处理时，可以通过以下方式来实现。
即，将选取的当前所需模板所对应的眼底图像的区域的像素值保持为原始图像区域的像素值，并将未选取的图像模板所对应眼底图像的像素值设置为零。
举例来说，仍以前面所述的青光眼病种检测为例，此时所选取的模板组合包括视盘区域模板、上血管弓区区域模板和下血管弓区区域模板。由此，在基于所选取的这三种图像模板对眼底图像进行处理时，可以将眼底图像中的视盘区域、上血管弓区区域和下血管弓区区域的像素值保持不变，将除视盘区域、上血管弓区区域和下血管弓区区域之外的其他区域的像素值全部设置为零，得到处理后的眼底图像。然后，再将处理后的眼底图像作为训练样本数据输入至预先构建好的神经网络模型中进行训练。
还应当指出的是，在本公开实施例的眼底图像区域化深度学习方法中，预先构建好的神经网络模型可以包括基础网络和多个子网络。其中，参阅图2，基础网络作为多个子网络的共享网络，其输出端为各个子网络的输入端。即，基础网络的输出均为各子网络的输入。还需要说明的是，在一种可能的实现方式中，基础网络的个数为一个，子网络的个数可以根据实际需求(如：需要检测的病种数量)进行灵活设置。每个子网络用于检测一种类型的病种。
参阅图6，在一种可能的实现方式中，基础网络包括依次级联的多个卷积组合层，主要负责图像的特征提取。其中，在本公开实施例的基础网络中，卷积组合层可以包括卷积层、池化层、批标准化层、残差连接等成熟的网络连接方式。此处不再赘述。
参阅图7，在一种可能的实现方式中，各子网络的深度较浅，每个子网络可以包括级联的卷积层和全连接层，主要用于基础网络特征提取后的最终判别。其中，判别层的类别数可以基于不同的病种检测(判别)有所不同。
应当指出的是，在本公开实施例的眼底图像区域化深度学习方法中，对整个神经网络模型的训练主要分为两个阶段：
基础网络的训练阶段：
基础网络的初始参数由公共数据集ImageNet精训练而得，并采用眼底图像进行微调。如：可以使用糖尿病视网膜病变的眼底图像多分类检测进行微调。基于迁移学习理论，微调后的基础网络的网络参数用于不同眼底图像的分类任务，并且基础网络的网络参数在确定后，不会再随着接下来的子网络的训练而变化。
各子网络的训练：
基础网络与每个子网络串行连接，所有子网络共享一个基础网络，并且每个子网络采用对应的眼底图像(即，基于所选取的当前所需模板对眼底图像进行处理后的眼底图像)进行训练。训练时只对子网络的网络参数进行更新，最终确定各子网络的网络参数。此外，在对子网络进行训练时，每一个子网络对应各自的图像模板组合，可以通过模板组合列表中获得。
由此，本公开实施例的眼底图像区域化深度学习方法，通过构建图像模板，将模型学习与当前检测需求结合在一起，避免了模型学习过程中非感兴趣区域的干扰，增强了模型的鲁棒性和泛化性。并且，在本公开实施例的眼底图像区域化深度学习方法中，通过构建基础网络和多个子网络组合成的神经网络模型，实现了针对每一种病种检测判别定制了对应的网络模型，这样不仅能够有效提高模型学习的效率，同时还能够实现眼底图像区域性解释的效果。进一步的，还通过多个子网络共享一个基础网络的方式来达到眼底图像多种病种的检测判别及分类，实现了多任务输出的功能，极大地降低了网络模型的复杂度和冗余度，避免了网络结构过于庞大的情况。
相应的，基于前面任一所述的眼底图像区域化深度学习方法，本公开还提供了一种眼底图像区域化深度学习装置。由于本公开实施例的眼底图像区域化深度学习装置的工作原理与本公开实施例的眼底图像区域化深度学习方法的原理相同或相似，因此重复之处不再赘述。
参阅图8，本公开实施例的眼底图像区域化深度学习装置100可以包括图像模板构建模块110、眼底图像处理模块120和网络模型训练模块130。
其中，图像模板构建模块110，被配置为获取眼底图像，并基于获取到的眼底图像构建相应的图像模板；其中，不同的图像模板表征眼底图像中的不同区域。
眼底图像处理模块120，被配置为由图像模板中选取相应的当前所需模板，并基于所选取的当前所需模板，对眼底图像进行处理，得到处理后的眼底图像。
网络模型训练模块130，被配置为将处理后的眼底图像输入至预先构建的神经网络模型，对神经网络模型进行训练。
在一种可能的实现方式中，图像模板构建模块110可以包括定位检测子模块和结构分析子模块(图中未示出)。其中，定位检测子模块，被配置为采用目标检测算法对眼底图像中的视盘区域和黄斑区域进行定位检测，得到相应的目标检测结果；结构分析子模块，被配置为根据目标检测结果，对眼底图像进行结构化分析，得到相应的图像模板。
在一种可能的实现方式中，结构分析子模块可以包括第一移动单元和第一生成单元(图中未示出)。其中，第一移动单元，被配置为在目标检测结果为视盘区域和黄斑区域均可见时，将眼底图像的轮廓线分别沿视盘区域的中心与黄斑区域的中心连接线的两端方向移动，得到相应的第一轮廓和第二轮廓。其中，第一轮廓和第二轮廓均与视盘区域的边缘相切。第一生成单元，被配置为根据第一轮廓和第二轮廓分别与眼底图像的相交情况，生成相应的图像模板。
在一种可能的实现方式中，结构分析子模块还可以包括第二移动单元和第二生成单元(图中未示出)。其中，第二移动单元，被配置为在目标检测结果为视盘区域可见，黄斑区域不可见时，将眼底图像的轮廓线分别沿视盘区域的中心与眼底图像的中心的连接线的两端方向移动，得到相应的第三轮廓和第四轮廓。其中，第三轮廓和第四轮廓均与视盘区域的边缘相切。第二生成单元，被配置为根据第三轮廓和第四轮廓分别与眼底图像的相交情况，生成相应的图像模板。
在一种可能的实现方式中，结构分析子模块还可以包括区域划分单元(图中未示出)。其中，区域划分单元，被配置为在目标检测结果为黄斑区域可见、视盘区域不可见时，根据所定位出的黄斑区域，将眼底图像进行区域划分，生成相应的图像模板。
在一种可能的实现方式中，眼底图像处理模块120包括像素值设置子模块(图中未示出)。其中，像素值设置子模块，被配置为将选取的当前所需模板所对应眼底图像的区域的像素值保持为原始图像区域的像素值，并将未选取的图像模板所对应眼底图像的像素值设置为零。
在一种可能的实现方式中，还可以包括网络模型构建模块(图中未示出)。其中，网络模型构建模块被配置为构建神经网络模型。其中，所构建的神经网络模型包括基础网络和多个子网络；基础网络的输出端为各子网络的输入端；。其中，基础网络包括依次级联的多个卷积组合层，各子网络均包括级联的卷积层和全连接层。
进一步的，根据本公开的另一方面，还提供了一种眼底图像区域化深度学习设备。参阅图9，本公开实施例眼底图像区域化深度学习设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的眼底图像区域化深度学习方法。
此处，需要说明的是，处理器210可以为通用处理器，如：CPU(Central ProcessingUnit/Processor，中央处理器)，还可以为人工智能处理器。其中，人工智能处理器指的是用于执行人工智能运算的处理器(IPU)，如：包括GPU(Graphics Processing Unit，图形处理单元)、NPU(Neural-Network Processing Unit，神经网络处理单元)、DSP(Digital SignalProcess，数字信号处理单元)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)芯片中的一种或组合。本公开对人工智能处理器的具体类型不作限制。
还应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的眼底图像处理设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的眼底图像区域化深度学习方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行眼底图像处理设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的眼底图像区域化深度学习方法。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (6)
1.一种眼底图像区域化深度学习方法，其特征在于，包括：
获取眼底图像，并基于获取到的所述眼底图像构建相应的图像模板；
其中，不同的所述图像模板表征所述眼底图像中的不同区域；
由所述图像模板中选取相应的当前所需模板，并基于所选取的所述当前所需模板，对所述眼底图像进行处理，得到处理后的眼底图像；
将处理后的眼底图像输入至预先构建的神经网络模型，对所述神经网络模型进行训练；
基于获取到的所述眼底图像构建相应的图像模板，包括：
采用目标检测算法对所述眼底图像中的视盘区域和黄斑区域进行定位检测，得到相应的目标检测结果；
根据所述目标检测结果，对所述眼底图像进行结构化分析，得到相应的所述图像模板；
其中，根据所述目标检测结果，对所述眼底图像进行结构化分析，包括：
在所述目标检测结果为所述视盘区域和所述黄斑区域均可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述黄斑区域的中心连接线的两端方向移动，得到相应的第一轮廓和第二轮廓；
其中，所述第一轮廓和所述第二轮廓均与所述视盘区域的边缘相切；
根据所述第一轮廓和所述第二轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板；
在所述目标检测结果为所述视盘区域可见，所述黄斑区域不可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述眼底图像的中心的连接线的两端方向移动，得到相应的第三轮廓和第四轮廓；
其中，所述第三轮廓和所述第四轮廓均与所述视盘区域的边缘相切；
根据所述第三轮廓和所述第四轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板；
在所述目标检测结果为所述黄斑区域可见、所述视盘区域不可见时，根据所定位出的所述黄斑区域，将所述眼底图像进行区域划分，生成相应的所述图像模板。
2.根据权利要求1所述的方法，其特征在于，基于所选取的所述当前所需模板，对所述眼底图像进行处理，包括：
将选取的所述当前所需模板所对应眼底图像的区域的像素值保持为原始图像区域的像素值，并将未选取的图像模板所对应眼底图像的像素值设置为零。
3.根据权利要求1的方法，其特征在于，预先构建的所述神经网络模型包括基础网络和多个子网络；
其中，所述基础网络的输出端为各所述子网络的输入端；
所述基础网络包括依次级联的多个卷积组合层，各所述子网络均包括级联的卷积层和全连接层。
4.一种眼底图像区域化深度学习装置，其特征在于，包括：
图像模板构建模块，被配置为获取眼底图像，并基于获取到的所述眼底图像构建相应的图像模板；其中，不同的所述图像模板表征所述眼底图像中的不同区域；
眼底图像处理模块，被配置为由所述图像模板中选取相应的当前所需模板，并基于所选取的所述当前所需模板，对所述眼底图像进行处理，得到处理后的眼底图像；
网络模型训练模块，被配置为将处理后的眼底图像输入至预先构建的神经网络模型，对所述神经网络模型进行训练；
其中，所述图像模板构建模块，在被配置为获取眼底图像，并基于获取到的所述眼底图像构建相应的图像模板时，包括：
采用目标检测算法对所述眼底图像中的视盘区域和黄斑区域进行定位检测，得到相应的目标检测结果；
根据所述目标检测结果，对所述眼底图像进行结构化分析，得到相应的所述图像模板；
其中，根据所述目标检测结果，对所述眼底图像进行结构化分析，包括：
在所述目标检测结果为所述视盘区域和所述黄斑区域均可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述黄斑区域的中心连接线的两端方向移动，得到相应的第一轮廓和第二轮廓；
其中，所述第一轮廓和所述第二轮廓均与所述视盘区域的边缘相切；
根据所述第一轮廓和所述第二轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板；
在所述目标检测结果为所述视盘区域可见，所述黄斑区域不可见时，将所述眼底图像的轮廓线分别沿所述视盘区域的中心与所述眼底图像的中心的连接线的两端方向移动，得到相应的第三轮廓和第四轮廓；
其中，所述第三轮廓和所述第四轮廓均与所述视盘区域的边缘相切；
根据所述第三轮廓和所述第四轮廓分别与所述眼底图像的相交情况，生成相应的所述图像模板；
在所述目标检测结果为所述黄斑区域可见、所述视盘区域不可见时，根据所定位出的所述黄斑区域，将所述眼底图像进行区域划分，生成相应的所述图像模板。
5.一种眼底图像区域化深度学习设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至3中任意一项所述的方法。
6.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至3中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498239.9A CN110335254B (zh) | 2019-06-10 | 2019-06-10 | 眼底图像区域化深度学习方法、装置和设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498239.9A CN110335254B (zh) | 2019-06-10 | 2019-06-10 | 眼底图像区域化深度学习方法、装置和设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335254A CN110335254A (zh) | 2019-10-15 |
| CN110335254B true CN110335254B (zh) | 2021-07-27 |
Family
ID=68140886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910498239.9A Active CN110335254B (zh) | 2019-06-10 | 2019-06-10 | 眼底图像区域化深度学习方法、装置和设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335254B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021106967A1 (zh) * | 2019-11-29 | 2021-06-03 | ||
| CN111292296B (zh) * | 2020-01-20 | 2024-06-18 | 京东方科技集团股份有限公司 | 一种基于眼部识别模型的训练集获取方法及设备 |
| CN112581439B (zh) * | 2020-12-11 | 2024-11-12 | 中科泰明(南京)科技有限公司 | 基于视网膜结构的黄斑区定位系统 |
| CN114219761B (zh) * | 2021-11-15 | 2024-05-28 | 中山大学中山眼科中心 | 基于眼底影像的图像处理方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243669A (zh) * | 2015-10-15 | 2016-01-13 | 四川和生视界医药技术开发有限公司 | 眼底图像自动识别分区方法 |
| CN107209933A (zh) * | 2014-08-25 | 2017-09-26 | 新加坡科技研究局 | 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 |
| CN107256410A (zh) * | 2017-05-26 | 2017-10-17 | 北京郁金香伙伴科技有限公司 | 对类镜像图像分类的方法及装置 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN108596895A (zh) * | 2018-04-26 | 2018-09-28 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN108717696A (zh) * | 2018-05-16 | 2018-10-30 | 上海鹰瞳医疗科技有限公司 | 黄斑影像检测方法和设备 |
| CN109199322A (zh) * | 2018-08-31 | 2019-01-15 | 福州依影健康科技有限公司 | 一种黄斑检测方法及一种存储设备 |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN109662686A (zh) * | 2019-02-01 | 2019-04-23 | 北京致远慧图科技有限公司 | 一种眼底黄斑定位方法、装置、系统及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5582772B2 (ja) * | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2019
- 2019-06-10 CN CN201910498239.9A patent/CN110335254B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209933A (zh) * | 2014-08-25 | 2017-09-26 | 新加坡科技研究局 | 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 |
| CN105243669A (zh) * | 2015-10-15 | 2016-01-13 | 四川和生视界医药技术开发有限公司 | 眼底图像自动识别分区方法 |
| CN107256410A (zh) * | 2017-05-26 | 2017-10-17 | 北京郁金香伙伴科技有限公司 | 对类镜像图像分类的方法及装置 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN109598733A (zh) * | 2017-12-31 | 2019-04-09 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN108596895A (zh) * | 2018-04-26 | 2018-09-28 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN108717696A (zh) * | 2018-05-16 | 2018-10-30 | 上海鹰瞳医疗科技有限公司 | 黄斑影像检测方法和设备 |
| CN109199322A (zh) * | 2018-08-31 | 2019-01-15 | 福州依影健康科技有限公司 | 一种黄斑检测方法及一种存储设备 |
| CN109325942A (zh) * | 2018-09-07 | 2019-02-12 | 电子科技大学 | 基于全卷积神经网络的眼底图像结构分割方法 |
| CN109662686A (zh) * | 2019-02-01 | 2019-04-23 | 北京致远慧图科技有限公司 | 一种眼底黄斑定位方法、装置、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335254A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335254B (zh) | 眼底图像区域化深度学习方法、装置和设备及存储介质 | |
| Al-Bander et al. | Multiscale sequential convolutional neural networks for simultaneous detection of fovea and optic disc | |
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| CN111046717A (zh) | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 | |
| JP7083037B2 (ja) | 学習装置及び学習方法 | |
| Alhussein et al. | An unsupervised retinal vessel segmentation using hessian and intensity based approach | |
| CN108022251A (zh) | 一种管状结构的中心线的提取方法及系统 | |
| CN110263755B (zh) | 眼底图像识别模型训练方法、眼底图像识别方法和设备 | |
| CN111899247B (zh) | 脉络膜血管的管腔区域识别方法、装置、设备及介质 | |
| CN108416776A (zh) | 图像识别方法、图像识别装置、计算机产品和可读存储介质 | |
| CN108198185B (zh) | 眼底病灶图像的分割方法及、装置、存储介质、处理器 | |
| JP2019192215A (ja) | 深層学習を用いた網膜層の３ｄ定量解析 | |
| Sedai et al. | Multi-stage segmentation of the fovea in retinal fundus images using fully convolutional neural networks | |
| CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| US11037296B1 (en) | Deriving target data from selected brain data | |
| CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
| Kumar et al. | Image processing in diabetic related causes | |
| CN115953393B (zh) | 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 | |
| CN108876770B (zh) | 一种眼底多光谱图像联合配准方法及系统 | |
| Sambyal et al. | Aggregated residual transformation network for multistage classification in diabetic retinopathy | |
| CN115409764A (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
| CN110276333B (zh) | 眼底身份识别模型训练方法、眼底身份识别方法和设备 | |
| Valverde et al. | Multiple sclerosis lesion detection and segmentation using a convolutional neural network of 3d patches | |
| CN114743078B (zh) | 一种生物神经信号的视觉解码方法、装置、存储介质及终端 | |
| CN116030042A (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |