[go: up one dir, main page]

CN112767375B - 基于计算机视觉特征的oct图像分类方法及系统、设备 - Google Patents

基于计算机视觉特征的oct图像分类方法及系统、设备 Download PDF

Info

Publication number
CN112767375B
CN112767375B CN202110109486.2A CN202110109486A CN112767375B CN 112767375 B CN112767375 B CN 112767375B CN 202110109486 A CN202110109486 A CN 202110109486A CN 112767375 B CN112767375 B CN 112767375B
Authority
CN
China
Prior art keywords
image
interest
oct
mask
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110109486.2A
Other languages
English (en)
Other versions
CN112767375A (zh
Inventor
相韶华
温华杰
肖志勇
赵建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202110109486.2A priority Critical patent/CN112767375B/zh
Publication of CN112767375A publication Critical patent/CN112767375A/zh
Application granted granted Critical
Publication of CN112767375B publication Critical patent/CN112767375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于计算机视觉特征的OCT图像分类方法及系统、设备及存储介质，所述方法包括：生成OCT图像中的第一掩码图像并与OCT图像运算，获取第一兴趣图像；对第一兴趣图像进行处理，确定前景，将前景转换为第二掩码图像并进行处理；将处理后的第二掩码图像与第一兴趣图像运算，提取第二兴趣图像；对第二兴趣图像进行特征增强处理，得到第三兴趣图像；对第三兴趣图像进行分类，得到分类结果，获取分类结果的置信度，将最终结果显示OCT图像上。该方法增加了计算机视觉预处理部分，有效地去除OCT图像的噪声，从而增加信噪比，且对敏感区域进行特征提取及特征增强，进行深度学习的识别，从而提高总体的识别准确率，提高图像的判断结果的置信度。

Description

基于计算机视觉特征的OCT图像分类方法及系统、设备
技术领域
本发明属于计算机视觉、医学图像处理技术领域，尤其涉及一种基于计算机视觉特征的OCT图像分类方法及系统、设备及存储介质。
背景技术
黄斑(macula)的中央有一个凹陷的结构，称为中央凹，是视力最敏锐的地方。当黄斑区域发生病变时，常会导致患者中心视力的严重下降，甚至是不可逆性失明。常见的视网膜疾病包括年龄相关性黄斑病变(age-related macular degeneration，AMD)、糖尿病性黄斑水肿(diabetic macular edema，DME)等。
在眼科疾病的临床诊断中，光学相关断层扫描技术(opticalcoherencetomography，OCT)，是一种通过测量物体后向散射光的强度对物体进行断层成像的技术，它有着高分辨率、非接触、无创伤等特点，作为一种临床辅助手段被广泛应用。最初的医学图像分类采用人工标注的方法，医生通过观察大量的OCT横向扫描图像进行文本标注并且对其存储以确定患者的疾病类型，这种人工分析的方法耗时而且对医生的专业性有一定的要求，因此需要一种高效准确的视网膜OCT图像自动分类方法来辅助医生诊断。
目前，利用UNet进行医学图像的语义分割，能有效分割医学图像的病灶部分，并且模型的参数量比较小，但当OCT图像噪音比较大时，会发生语义分割错误的情况。首先，视网膜图像结构的复杂性，并不是每种眼科疾病的OCT图像上都有明显的差别，因此使用UNet进行视网膜OCT图像病灶语义分割时准确率有待提高。由于视网膜OCT图像噪音大，图像不规则，如果直接进行卷积神经网络识别不能有效的提高识别准确率。利用统计学的方法进行视网膜OCT的诊断，该方法不需要大量图片进行训练，但准确率有待提高，而且不能识别多种疾病。
发明内容
本发明所要解决的技术问题是：针对现有技术的问题，本发明提供了一种可以有效地去除OCT图像的噪声，且进行深度学习的识别，从而提高总体的识别准确率，并且提高了图像的判断结果的置信度方法。
为了解决上述技术问题，本发明采用的技术方案为：
第一方面，本发明提供了一种基于计算机视觉特征的OCT图像分类方法，所述方法包括：
生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；
将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；
对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；
通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
第二方面，本发明提供了一种基于计算机视觉特征的OCT图像分类系统，所述系统包括：
确定模块：用于生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；
提取模块：用于将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；
增强模块：用于对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；
识别模块：用于通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
第三方面，本发明还提供了一种基于计算机视觉特征的OCT图像分类设备，包括存储器、处理器、以及存储在处理器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面所述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
本发明提供了一种基于计算机视觉特征的OCT图像分类方法，所述方法包括：生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。该方法增加了计算机视觉预处理部分，有效地去除OCT图像的噪声，从而增加了信噪比，且对敏感的区域进行特征提取及特征增强，最后进行深度学习的识别，从而提高总体的识别准确率，提高了图像的判断结果的置信度。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的基于计算机视觉特征的OCT图像分类方法的流程示意图；
图2为本发明的基于计算机视觉特征的OCT图像分类方法的子流程示意图；
图3为本发明的基于计算机视觉特征的OCT图像分类方法的另一子流程示意图；
图4为本发明的基于计算机视觉特征的OCT图像分类方法的又一子流程示意图；
图5为本发明的基于计算机视觉特征的OCT图像分类方法的又一子流程示意图；
图6为本发明的基于计算机视觉特征的OCT图像分类方法的程序模块示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，图1为本申请实施例中基于计算机视觉特征的OCT图像分类方法的流程示意图，所述方法包括：
步骤101、生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理。
在本实施例中，将OCT图像中亮度值小于255的像素点生成第一掩码图像，并通过卷积核对第一掩码图像进行运算，从而去除第一掩码图像的噪点。将去除噪点后的第一掩码图像与OCT图像进行运算，从而提取OCT图像的第一兴趣区域图像，再对第一兴趣区域图像进行去噪处理及前景背景区分，得到第二掩码图像。
步骤102、将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像。
在本实施例中，在步骤101中对第二掩码图像进行去噪处理后，与第一兴趣区域图像进行与运算，提取第一兴趣区域中的第二兴趣区域图像。
步骤103、对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像。
在本实施例中，对第二兴趣区域进行特征增强处理，得到对比度更加明显的第三兴趣区域图像，提高了第三兴趣区域图像的信噪比。
步骤104、通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
在本实施例中，卷积神经网络实现对图像分类的预测，将图像输入至卷积神经网络中，得到多个分类结果，获取分类结果的置信度，根据分类结果的置信度，将置信度概率最大值的分类结果显示于OCT图像中。卷积神经网络可以采用不同的结构，例如AlexNet、VGG、Inception和ResNet等等，在此不做限定。
本申请实施例提供了一种基于计算机视觉特征的OCT图像分类方法，所述方法包括：生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。该方法增加了计算机视觉预处理部分，有效地去除OCT图像的噪声，从而增加了信噪比，且对敏感的区域进行特征提取及特征增强，最后进行深度学习的识别，从而提高总体的识别准确率，提高了图像的判断结果的置信度。
进一步地，请参阅图2，图2为本申请实施例中基于计算机视觉特征的OCT图像分类方法的子流程示意图，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算包括：
步骤201、提取处理后的所述第一掩码图像的外围轮廓，并填充所述外围轮廓内的元素；
步骤202、采用卷积核对所述填充所述外围轮廓内的元素的所述第一掩码图像进行腐蚀运算；
步骤203、将所述腐蚀运算过后的所述第一掩码图像与所述OCT图像进行与运算。
在本实施例中，将OCT图像中亮度值小于255的像素点生成第一掩码图像，如公式(1)所示，并用大小为5*5的卷积核对第一掩码图像进行开运算，再进行闭运算，从而去除第一掩码图像边缘的噪点，以及保留第一掩码图像区域内的完整性。
Figure BDA0002918745390000061
对第一掩码图像的外围轮廓进行提取，并对轮廓内的元素进行填充。然后用大小为5*5的卷积核对第一掩码图像进行腐蚀运算，缩小边缘范围，并减小边缘的噪声。利用处理后的第一掩码图像与OCT图像进行与运算，提取OCT图像中的第一兴趣区域图像。
进一步地，对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域包括：
采用卷积核对所述第一兴趣区域图像进行开运算，并对所述进行开运算后的第一兴趣区域图像进行中值滤波处理。
在本实施例中，用大小为3*3的卷积核对OCT图像的第一兴趣区域进行开运算，减少第一兴趣区域图像内的噪点，然后进行中值滤波操作，减少椒盐噪声。
在本实施例中，确定OCT图像的前景和背景，设置一个阈值p，p∈[0，255]，从0到255逐一设置p的值，使得公式(2)的值最大，并保留最大σ2的时候对应的p值。
σ2＝p1(m1-v)2+p2(m2-v)2 (2)
其中p1为OCT图像素亮度值小于p时的概率，m1为OCT图像素亮度值小于p时的像素的平均值。其中p2为OCT图像素亮度值大于p时的概率，m2为OCT图像素亮度值大于p时的像素的平均值。v为OCT图所有像素的平均值。
进一步地，请参阅图3，图3为本申请实施例中基于计算机视觉特征的OCT图像分类方法的另一子流程示意图，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理包括：
步骤301、转换所述前景区域的像素亮度值，得到所述第二掩码图像；
步骤302、检测所述第二掩码图像的轮廓，对所述轮廓画近似多边形并填充所述近似多边形的内部；
步骤303、采用卷积核对所述第二掩码图像上的所述填充后的近似多边形进行中值滤波处理；
步骤304、采用卷积核对处理后的所述第二掩码图像进行闭运算，再采用卷积核对所述进行闭运算后的第二掩码图像进行开运算。
在本实施例中，对前景区域的所有像素亮度值按公式(3)所示进行转换，得到第二掩码图像。
Figure BDA0002918745390000071
对第二掩码图像进行轮廓检测，并对轮廓画近似多边形，并对近似多边形内部进行填充处理。
用大小为21*21的卷积核对填充后的近似多边形进行中值滤波，去除椒盐噪声。
用大小为61*61的卷积核对处理后的第二掩码图像进行闭运算，再用9*9的卷积核对第二掩码图像进行开运算，从而去除部分噪声，减少第二掩码图像区域内的特征损失。
进一步地，请参阅图4，图4为本申请实施例中基于计算机视觉特征的OCT图像分类方法的又一子流程示意图，对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像包括：
步骤401、统计所述第二兴趣区域图像中像素灰度值出现的概率并绘制统计直方图；
步骤402、对所述第二兴趣区域图像中的像素亮度值进行排序，并将所述排序过像素亮度值的第二兴趣区域图像转换为所述第三兴趣区域图像。
在本实施例中，统计第二兴趣区域图像中像素灰度值出现的概率，并绘制统计直方图。
从小到大排序第二兴趣区域图像中的所有像素亮度值，并进行公式(4)所示的转换，转换后得到第三兴趣区域图像。
Figure BDA0002918745390000081
其中pi为像素灰度值为i时的概率，x为图像灰度级,t为OCT图像的像素灰度值。
进一步地，通过卷积神经网络对所述第三兴趣区域图像进行分类之前包括：
对所述第三兴趣区域进行等比例裁剪尺寸。
进一步地，请参阅图5，图5为本申请实施例中基于计算机视觉特征的OCT图像分类方法的又一子流程示意图，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上包括：
步骤501、通过归一化指数函数获取所述分类结果的置信度；
步骤502、通过非极大值抑制筛选所述分类结果的置信度，得到所述最终分类结果及其置信度。
在本实施例中，将裁剪尺寸后的第三兴趣区域输入至卷积神经网络中可得到多个分类类别(分类结果)，通过归一化指数函数计算每个分类类别(分类结果)的置信度概率，通过非极大值抑制筛选分类结果的置信度概率的最大值，将置信度概率最大的最终分类结果显示于OCT图像上。
进一步地，本申请实施例还提供一种基于计算机视觉特征的OCT图像分类系统200，参阅图6，图6为本申请实施例中基于计算机视觉特征的OCT图像分类系统的程序模块示意图，本实施例中，上述基于计算机视觉特征的OCT图像分类系统包括：
确定模块601：用于生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；
提取模块602：用于将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；
增强模块603：用于对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；
识别模块604：用于通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
本申请实施例提供的基于计算机视觉特征的OCT图像分类系统，可以实现：生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，将所述处理后的第一掩码图像与所述OCT图像进行运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。该方法增加了计算机视觉预处理部分，有效地去除OCT图像的噪声，从而增加了信噪比，且对敏感的区域进行特征提取及特征增强，最后进行深度学习的识别，从而提高总体的识别准确率，提高了图像的判断结果的置信度。
进一步地，本申请实施例还提供一种基于计算机视觉特征的OCT图像分类设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
进一步地，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种基于计算机视觉特征的OCT图像分类方法及系统、设备及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于计算机视觉特征的OCT图像分类方法，其特征在于，所述方法包括：
生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，提取处理后的所述第一掩码图像的外围轮廓，并填充所述外围轮廓内的元素；采用卷积核对所述填充所述外围轮廓内的元素的所述第一掩码图像进行腐蚀运算；将所述腐蚀运算过后的所述第一掩码图像与所述OCT图像进行与运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；
将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；
对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；
通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三兴趣区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
2.如权利要求1所述的方法，其特征在于，所述对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域包括：
采用卷积核对所述第一兴趣区域图像进行开运算，并对所述进行开运算后的第一兴趣区域图像进行中值滤波处理。
3.如权利要求1所述的方法，其特征在于，所述将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理包括：
转换所述前景区域的像素亮度值，得到所述第二掩码图像；
检测所述第二掩码图像的轮廓，对所述轮廓画近似多边形并填充所述近似多边形的内部；
采用卷积核对所述第二掩码图像上的所述填充后的近似多边形进行中值滤波处理；
采用卷积核对处理后的所述第二掩码图像进行闭运算，再采用卷积核对所述进行闭运算后的第二掩码图像进行开运算。
4.如权利要求1所述的方法，其特征在于，所述对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像包括：
统计所述第二兴趣区域图像中像素灰度值出现的概率并绘制统计直方图；
对所述第二兴趣区域图像中的像素亮度值进行排序，并将所述排序过像素亮度值的第二兴趣区域图像转换为所述第三兴趣区域图像。
5.如权利要求1所述的方法，其特征在于，所述通过卷积神经网络对所述第三兴趣区域图像进行分类之前包括：
对所述第三兴趣区域进行等比例裁剪尺寸。
6.如权利要求1所述的方法，其特征在于，所述获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上包括：
通过归一化指数函数获取所述分类结果的置信度；
通过非极大值抑制筛选所述分类结果的置信度，得到所述最终分类结果及其置信度。
7.一种基于计算机视觉特征的OCT图像分类系统，其特征在于，所述系统包括：
确定模块：用于生成OCT图像中的第一掩码图像，对所述第一掩码图像进行处理，提取处理后的所述第一掩码图像的外围轮廓，并填充所述外围轮廓内的元素；采用卷积核对所述填充所述外围轮廓内的元素的所述第一掩码图像进行腐蚀运算；将所述腐蚀运算过后的所述第一掩码图像与所述OCT图像进行与运算，获取所述OCT图像中的第一兴趣区域图像；对所述第一兴趣区域图像进行处理，确定所述OCT图像中的前景区域，将所述前景区域转换为第二掩码图像并对所述第二掩码图像进行处理；
提取模块：用于将处理后的第二掩码图像与所述第一兴趣区域图像进行运算，提取所述第一兴趣区域图像中的第二兴趣区域图像；
增强模块：用于对所述第二兴趣区域图像进行特征增强处理，得到第三兴趣区域图像；
识别模块：用于通过卷积神经网络对所述第三兴趣区域图像进行分类，得到所述第三兴趣区域图像的分类结果，获取所述分类结果的置信度，根据所述分类结果的置信度将最终分类结果显示于所述OCT图像上，所述分类结果包括所述最终分类结果。
8.一种基于计算机视觉特征的OCT图像分类设备，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一项所述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的基于计算机视觉特征的OCT图像分类方法中的各个步骤。
CN202110109486.2A 2021-01-27 2021-01-27 基于计算机视觉特征的oct图像分类方法及系统、设备 Active CN112767375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110109486.2A CN112767375B (zh) 2021-01-27 2021-01-27 基于计算机视觉特征的oct图像分类方法及系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110109486.2A CN112767375B (zh) 2021-01-27 2021-01-27 基于计算机视觉特征的oct图像分类方法及系统、设备

Publications (2)

Publication Number Publication Date
CN112767375A CN112767375A (zh) 2021-05-07
CN112767375B true CN112767375B (zh) 2022-03-08

Family

ID=75706049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110109486.2A Active CN112767375B (zh) 2021-01-27 2021-01-27 基于计算机视觉特征的oct图像分类方法及系统、设备

Country Status (1)

Country Link
CN (1) CN112767375B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563347A (zh) * 2017-09-20 2018-01-09 南京行者易智能交通科技有限公司 一种基于tof相机的客流计数方法和装置
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统
CN111382745A (zh) * 2018-12-30 2020-07-07 深圳市邻友通科技发展有限公司 一种指甲图像分割方法、装置、设备和存储介质
CN111415340A (zh) * 2020-03-17 2020-07-14 中国人民解放军国防科学技术大学 一种面向大面积高密度影ct图像的脏器分割方法及装置
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563347A (zh) * 2017-09-20 2018-01-09 南京行者易智能交通科技有限公司 一种基于tof相机的客流计数方法和装置
CN108961229A (zh) * 2018-06-27 2018-12-07 东北大学 基于深度学习的心血管oct影像易损失斑块检测方法及系统
CN111382745A (zh) * 2018-12-30 2020-07-07 深圳市邻友通科技发展有限公司 一种指甲图像分割方法、装置、设备和存储介质
CN111415340A (zh) * 2020-03-17 2020-07-14 中国人民解放军国防科学技术大学 一种面向大面积高密度影ct图像的脏器分割方法及装置
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《On OCT Image Classification via Deep Learning》;Depeng Wang 等;《IEEE Photonics Journal》;20191031;全文 *

Also Published As

Publication number Publication date
CN112767375A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
CN110276356B (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
Pathan et al. Automated segmentation and classifcation of retinal features for glaucoma diagnosis
Neto et al. An unsupervised coarse-to-fine algorithm for blood vessel segmentation in fundus images
Morales et al. Automatic detection of optic disc based on PCA and mathematical morphology
US8831304B2 (en) Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography
WO2021082691A1 (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
Imran et al. Cataract detection and grading with retinal images using SOM-RBF neural network
Soomro et al. Contrast normalization steps for increased sensitivity of a retinal image segmentation method
Nyúl Retinal image analysis for automated glaucoma risk evaluation
Elbalaoui et al. Automatic detection of blood vessel in retinal images
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Sopharak et al. Fine microaneurysm detection from non-dilated diabetic retinopathy retinal images using a hybrid approach
Shaik et al. Glaucoma identification based on segmentation and fusion techniques
Eladawi et al. Early diagnosis of diabetic retinopathy in octa images based on local analysis of retinal blood vessels and foveal avascular zone
Biswal et al. Robust retinal optic disc and optic cup segmentation via stationary wavelet transform and maximum vessel pixel sum
Prageeth et al. Early detection of retinal nerve fiber layer defects using fundus image processing
Kumar et al. Macular Edema severity detection in colour fundus images based on ELM classifier
Sachdeva et al. Automatic segmentation and area calculation of optic disc in ophthalmic images
Jana et al. A semi-supervised approach for automatic detection and segmentation of optic disc from retinal fundus image
Devi et al. Retinal image contrast enhancement through Pixel collaboration in spatial domain
CN111798426B (zh) 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
CN112767375B (zh) 基于计算机视觉特征的oct图像分类方法及系统、设备
Shabbir et al. A Comparison and evaluation of computerized methods for blood vessel enhancement and segmentation in retinal images
Liu et al. Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant