[go: up one dir, main page]

CN111095261A - 眼底图像自动分析系统和方法 - Google Patents

眼底图像自动分析系统和方法 Download PDF

Info

Publication number
CN111095261A
CN111095261A CN201880043113.6A CN201880043113A CN111095261A CN 111095261 A CN111095261 A CN 111095261A CN 201880043113 A CN201880043113 A CN 201880043113A CN 111095261 A CN111095261 A CN 111095261A
Authority
CN
China
Prior art keywords
image
regions
neural network
classifier
retinal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880043113.6A
Other languages
English (en)
Inventor
S·帕斯卡拉基斯
M·博伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Retinopathy Solutions Ltd Uk
Retinopathy Solutions Ltd
Original Assignee
Retinopathy Solutions Ltd Uk
Retinopathy Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Retinopathy Solutions Ltd Uk, Retinopathy Solutions Ltd filed Critical Retinopathy Solutions Ltd Uk
Publication of CN111095261A publication Critical patent/CN111095261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/16—Ophthalmology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种对病理图像进行分类的系统和方法。接收图像，对图像进行归一化和分割归一化的图像；将其分成多个区域；使用至少一个包含神经网络的分类器自动确定多个区域的疾病向量。基于所确定的疾病向量，自动注释多个区域中的每一个区域。至少基于注释，自动对接收到的图像进行评级。根据至少一个客观分类标准，基于图像各个区域的至少一个专家注释训练神经网络。图像可能是眼睛图像、血管图像或眼底图像。例如，疾病可能是血管疾病、血管病变或糖尿病性视网膜病变。

Description

眼底图像自动分析系统和方法
技术领域
本发明涉及利用神经网络(“NN”)或深度神经网络(“DNN”)进行眼底图像自动分析的领域。
背景技术
本文引用的每一篇参考文献都是通过全文引用而明确并入本文。
人类的视网膜很容易用各种常见的专业相机来拍摄。在英国，大多数配镜师，特别是主要连锁店的配镜师已经在实践中使用了这种相机，并且越来越多地提供视网膜照片作为标准视力测试的一部分。
视网膜图像可用于评估许多眼部疾病(或一般的视网膜病变)，近年来，随着数码相机分辨率的提高，视网膜图像已成为评估视网膜健康的首选方法。可以从图像上检测到多种类型的视网膜病变(从出血到肿瘤)，尽管许多此类疾病都可能导致严重的后果(包括失明)，但早期阶段通常没有病人能察觉到的症状。早期干预往往是成功管理和/或治愈视网膜病变的关键，存在许多不容忽视的公共卫生原因，使得视网膜图像评估更加常规化。
II型糖尿病是一种特别相关的疾病，其后果之一是视网膜上出现小出血(小动脉瘤)。如果不及时治疗，它们可能会迅速发展为严重的眼部疾病，甚至可能在患者被诊断为II型糖尿病之前。
糖尿病性视网膜病变(“DR”)是世界范围内成人失明的主要原因，包括在英国等发达国家。因此，UK-NHS每年为所有II型糖尿病患者提供免费的视网膜筛查，并在此进行数码照片拍摄并传送给评级中心，受过训练的评级员(人)会对图像进行细致的检查，以发现出血的最早迹象。这种人工处理的成本很高，但迄今为止是处理这些图像最可靠的方法。尽管进行了多年的研究，但尚无自动化系统能够达到受过训练的人员可以达到的可靠性和准确性水平。
美国专利20170039689公开了用于从图像评估DR的“深度学习”技术。另请参见美国专利20170039412、20150110348、20150110368、20150110370、20150110372、9,008,391、9,002,085、8,885,901、8,879,813和20170046616。眼底的视网膜图像提供了血管状况的指示，可用于诊断眼部疾病和更一般的血管疾病。
“深度学习”是人工NN(“ANN”)的一种改进，它由多个隐含层组成，可以实现对数据更高水平的抽象和改进预测[2]。参见Greenspan,Hayit,Bram van Ginneken,and RonaldM.Summers."Guest editorial deep learning in medical imaging:Overview andfuture promise of an exciting new technique."IEEE Transactions on MedicalImaging 35.5(2016):1153-1159。卷积神经网络(“CNN”)是用于计算机视觉任务的强大工具。深度CNN可以表述为对从原始数据(如图像)中获得中级和高级抽象进行自动学习。从CNN中提取的通用描述子是自然图像中目标识别和定位的有效方法。
在机器学习中，有两种范例：监督式学习和无监督式学习。在监督式学习中，对训练数据进行标记，也就是说存在一个外在真理，使得统计学习受到外在标准的约束。在无监督式学习中，训练数据是在不参考外在真理的情况下进行分析的，因此这些特征是固有的。在半监督式学习技术中，采用了两种范例的某些方面，也就是说，并没有对训练数据集的所有样本(或样本属性)进行标记。
在医学成像中，对疾病的准确诊断和/或评估取决于图像采集和图像解释。近年来，随着设备以更快的速度和更高的分辨率采集数据，图像采集有了很大的改进。因此，当前技术需要解决图像解释问题。大多数医学图像的解释是由医生完成的；然而，人类对图像的解释由于其主观性、解释者之间的巨大差异和疲劳而受到限制。
人类检查员的解释可能不一致，且容易出错。此外，不同的人可能有不同的标准。因此，即使获得了训练数据也并非没有其他困难。
许多诊断任务需要一个初始的搜索过程来检测异常，并量化测量结果和随时间的变化。
CNN已被应用于医学图像处理，请参见Sahineret等[4]。从乳房X线照片中提取的ROI含有经活检证实的肿块或正常组织。CNN由输入层、两层隐含层和输出层组成，使用反向传播进行训练。CNN也被应用于肺结节检测[5]和乳腺X线摄影中的微钙化[6]。
典型的CNN图像处理架构由一系列卷积滤波器层组成，中间穿插着一系列数据约简或池化层。卷积滤波器应用于小的输入图像块(patch)。像人脑中的低级视觉处理一样，卷积滤波器检测越来越相关的图像特征，例如可能代表直边(例如器官检测)或圆形(例如结肠息肉等圆形物体)的线或圆，以及高阶特征(例如局部和全局形状和纹理)。CNN的输出通常是一个或多个概率或类标签。卷积滤波器从训练数据中学习。这是所希望的，因为它不再那么需要人工进行费时的特征制作，而这些特征可以通过使用专用滤波器或通过计算可计算特征来预处理图像。还有其他的网络结构变体，例如被称为长时短期记忆的深度递归神经网络(“DRNN”)[7]。
CNN是可并行化的算法，与单独的CPU处理相比，图形处理单元(GPU)的计算机芯片可加快处理速度(约40倍)。参见[8]。在医学图像处理中，GPU可用于分割、重建、配准和机器学习[9]、[10]。
从头开始训练深层的CNN(“DCNN”)(或进行全面训练)是一项挑战。首先，CNN需要大量带标记的训练数据，这在专家标记昂贵且疾病(例如病变)稀缺的医学领域可能很难满足。其次，训练DCNN需要大量的计算和内存资源，否则训练过程将非常耗时。第三，训练DCNN通常会因过度拟合和收敛问题而变得复杂，这常常需要对网络的架构或学习参数进行反复调整，以确保所有层的学习速度相当。鉴于这些困难，一些被称为“迁移学习”和“微调”的新的学习方案提供了解决方案，并越来越受欢迎。但是，对过程的经验性调整是技术发展最新水平的体现，即使在将相似算法用于相似目标时，在方法、实现和结果上也存在明显差异。参见www.kaggle.com/c/diabetic-retinopathy-detection。
请注意，网络的训练无法更新，算法或训练数据的任何更改都需要对整个网络进行重新优化。新技术可以在一定程度上缓解这一限制，参见通过引用明确并入本文的美国专利号9,053,431。因此，可以基于网络的噪声或误差向量输出在定义之后对网络进行补充。
计算机辅助检测(CAD)是医学图像分析的一个非常适合深度学习的成熟领域。在CAD的标准方法中[11]，可以通过监督方法或经典的图像处理技术(例如滤波和数学形态学)来检测候选病变。候选病变通常是分段的，并通过大量手工制作的特征进行描述。使用分类器将特征向量映射到候选对象是实际病变的概率。使用深度学习而不是手工制作特征的直接方法是训练对图像数据块进行操作的CNN，该图像数据块以候选病变为中心。不同CNN的组合用于对每个候选对象进行分类。
为了实现分类，各种工作都集中在监督式的CNN上。这种网络对许多应用都很重要，包括检测、分段和标记。其他的研究工作主要集中在无监督式方案上，这些无监督式方案在图像编码、有效的图像表示方案以及后续监督方案的预处理方面大多都有重要的应用。诸如受限玻尔兹曼机(RBM)之类的无监督式表示学习方法可能优于标准滤波器库，因为它们直接从训练数据中学习特征描述。RBM通过生成式学习目标进行训练；这使网络能够从未标记的数据中学习表示，但不一定产生最适合分类的特征。Van Tulderet等人[18]进行了一项研究，在卷积分类受限玻尔兹曼机中结合了生成式学习目标和判别式学习目标的优点，其学习了对于描述训练数据和分类都很有用的滤波器。结果表明，学习目标的组合优于纯粹的判别式学习或生成式学习。
CNN使学习数据驱动的，具有高度代表性的分层图像特征成为可能。在这个问题上，这些特征已经在许多应用领域中被证明是一种非常强大和健壮的表示。为了进行这样丰富的表示和成功的分类，需要足够的训练数据。
当没有足够的数据时，有几种处理方法：
迁移学习：将来自自然图像数据集或其他医学领域的预先训练好的CNN模型(监督式)用于即将进行的新医学任务。在一种方案中，将一个预先训练好的CNN应用于输入的图像，然后从网络层中提取输出。提取的输出被视为特征，并用于训练单独的模式分类器。例如，Bar等人[25]、[26]将预先训练好的CNN用作胸部病理识别的特征生成器。Ginnekenet等人[27]集成了基于CNN的特征和手工制作的特征，从而提高了结核检测系统的性能。
微调：当待处理的任务确实存在中等大小的数据集时，一种建议的方案是使用预先训练好的CNN作为网络的初始，然后对几个(或所有)网络层进行进一步的监督训练，并将新的数据用于待处理的任务。迁移学习和微调是DCNN在医学成像应用中的关键组成部分。
Shin等[17]和Tajbakhshet等[28]证明，使用预先训练好的CNN进行微调，可以获得最好的结果，深度微调相比浅层微调可以提高性能，并且无论是对特定的应用领域(Tajbakhsh等)还是对于所有网络架构(Shin等[17])，使用微调的重要性都随着训练集的缩小而增加。与其他深度较浅的架构相比，GoogLeNet架构对纵隔淋巴结的检测水准是最高的，参见Shin等。
由于可公开获得的真实数据缺乏，并且无论是在成本方面还是在时间方面均难以按医疗任务收集此类数据，这在医学领域是一个难以忽视的限制因素。虽然众包已经为真实世界的图像提供了大规模数据库的标记，但是它在生物医学领域的应用需要对实际标记任务有更深入的理解，因此也需要对实际标记任务有更精确的定义，参见Nguyen等[29]和McKenna等[30]。专家任务被外包给非专家用户时，可能会导致嘈杂的标记，从而导致用户之间的分歧。同样，由于缺乏标准化和控制，使用非受控的临床结果数据或用户数据作为反馈的基础可能导致较差的结果。在将医学专家的知识与非专业人员的知识结合起来时，会出现许多问题，例如如何结合信息源，如何在性能方面评估和合并根据其先前证明的准确性进行加权的输入等。Albarqouni等[31]提出了一种网络，该网络结合了集成到CNN中的聚合层，以使从人群中学习输入成为网络学习过程的一部分。所显示的结果可让人深入了解DCNN从人群标记中学习的功能。医学领域的众包研究表明，一群非专业的、没有经验的用户实际上可以表现得和医学专家一样好，这是Nguyen等[29]和McKenna等人[30]在放射学图像上观察到的。这可能意味着这些结果不能借助和利用专家的技能、知识和洞察力。
Kallenberg等人[32]提出了用于乳腺摄影风险评级的无监督式特征学习方法。在这项工作中，提出了一种从未标记的数据中学习特征层次结构的方法。然后将学习到的特征输入到简单的分类器中，完成两项不同的任务：i)乳腺密度分割，ii)乳腺纹理评级，并获得了目前的最佳结果。为了控制模型容量，提出了集寿命和种群稀疏性于一体的稀疏性正则化器。无监督式部分中的卷积层被训练为自动编码器。在监督式部分中，使用softmax回归对(预先训练好的)权重和偏差项进行了微调。
Yan等[33]设计了多阶段的图像分类深度学习框架，并将其应用于身体部位识别。在预训练阶段，使用多实例学习对CNN进行训练，从训练切片中提取最具判别性和非信息性的局部块。在增强阶段，通过这些局部块对预先训练好的CNN进行进一步的增强，进行图像分类。该方法的一个特点是通过多实例深度学习自动发现判别性的、非信息性的局部块。因此，不需要手动标记。
回归网络在医学成像领域并不常见。在Miao等人[34]的研究中，提出了用于实时二维/三维配准的CNN回归方法。提出了三种算法策略来简化待回归的底层映射，并设计具有强非线性建模的CNN回归模型。结果表明，与两种最新的基于加速强度的二维/三维配准方法相比，判别性局部(DL)配准方法具有更高的精度和鲁棒性。
Golkov等[35]初步地在概念上证明，应用DL可以将扩散MRI数据处理减少到单个优化步骤。他们证明，这种修改使人们可以在不使用扩散模型的情况下，以十二倍的扫描时间从高级模型中获取标量度量，并检测异常。扩散加权信号与微结构组织特征之间的关系是不同寻常的。Golkov等[35]证明了使用DNN可以实际上揭示这种关系：DWI直接用作输入，而不是使用从模型拟合中获得的标量度量。这项工作显示了在逐个体素基础上的微观结构预测，以及从DWI值到健康组织和MS病变的自动无模型分割。扩散峰度仅从12个数据点测量，轴突定向分散和密度仅从8个数据点测量。这使得可以通过快速且健壮的协议来促进临床常规检查，并演示如何通过深度学习来简化经典数据处理。
Kaggle(www.kaggle.org)组织了有关从彩色眼底图像中检测DR并确定其阶段的竞赛，并提供了约80,000张图像(www.kaggle.com/c/diabetic-retinopathy-detection)。可能提议使用NN。
美国专利2014/0314288公开了一种三阶段系统，该系统分析具有不同照度和视野的眼底图像，并生成DR严重程等级。图像预处理包括直方图均衡、对比度增强和动态范围归一化。在第一阶段，使用全局滤波器和阈值技术的各种组合从眼底图像中提取亮区和红区。视盘(OD)具有与亮区病变相似的结构外观，并且血管区域具有与红区病变相似的像素强度特征。因此，使用现有的视盘检测算法将与视盘相对应的区域从亮区去除，并且使用简单的检测技术将与血管相对应的区域从红区去除。这导致一幅图像包含候选亮区，另一幅图像包含候选红区。并计算了基于区域的特征，包括面积、周长、体积、最小值、最大值、平均值、标准差等；AdaBoost总共使用了30个特征(en.wikipedia.org/wiki/AdaBoost)。在第二阶段中，对候选的亮区和红区进行两步分层分类。第一步，根据特征将病变的亮区和红区与非病变区域分开。第二步，将分类出的病变亮区进一步分类为硬性渗出物或棉絮斑，而分类出的病变红区进一步分类为出血和小动脉瘤。分类器可以采用GMM(en.wikipedia.org/wiki/Mixture_model#Gaussian_mixture_model)、kNN(en.wikipedia.org/wiki/K-nearest_neighbors_algorithm)、SVM(en.wikipedia.org/wiki/Support_vector_machine,en.wikipedia.org/wiki/Supervised_leaming)等。在第三阶段，将每张图像的明亮和红色病变的数量进行组合，以生成DR严重程度等级。这样的系统旨在减少需要人工评估的患者数量，并为DR严重程度最高的患者确定优先的眼部护理措施。
美国专利8,098,907公开了小动脉瘤(MA)的自动检测方法，其中也考虑了诸如血管、视盘和硬性渗出物(HE)的位置等信息。该方法的工作原理是：(i)将图像划分为固定大小的子区域，然后进行区域增强/归一化和自适应分析；(ii)视盘、血管和HE检测；和(iii)将以上(i)和(ii)结果进行组合。MA检测基于高帽滤波和局部自适应阈值。
美国专利2015/0104087公开了自动眼底图像的侧面(即左眼或右眼)检测、视野检测和质量评估。该技术利用了生理特征，例如视盘和黄斑的位置以及视网膜血管结构中的对称性。视野和侧面检测是多通道或单通道的。该算法利用视盘模板使用归一化2D互相关来检测视盘。对于高分辨率图像，血管结构密度用于确定侧面和视野。通过分析图像中的血管对称性来评估每个图像的质量。这是通过获取血管的二进制分割图像，提取特征并应用分类算法来完成的。质量等级为1到5。对于血管二值化，提出了小波和边缘位置细化方法。然后是形态学操作。对于特征提取，将图像划分为20个矩形窗口，并计算局部血管密度(LVD)作为窗口中非零像素的数量。这20个LVD由全局血管密度(GVD)进行归一化，计算后作为5级分割的二值图像的非零像素数。由图像的LVD和GVD形成特征向量。提出了SVM进行分类。图像配准和与上文类似的技术可以用于将质量水平分配给重叠的缝合图像。
美国专利8,879,813、美国专利8,885,901、美国专利9,002,085、美国专利9,008,391、美国专利2015/0110348、美国专利2015/0110368、美国专利2015/0110370、美国专利2015/0110372、美国专利2017/0039412和美国专利2017/0039689公开了诊断系统的各个方面。基于中值归一化，可以对视网膜图像进行增强，利用局部背景估计对图像的每个像素位置进行局部增强。基于中值滤波/膨胀/侵蚀等方法，在视网膜图像中检测有源像素。从本质上说，它可以检测视网膜盘并消除靠近边缘的像素。检测目标的区域。提取局部区域的描述子，例如，通过计算两种不同类型或大小的几何形状局部区域上的两个形态滤波图像，并取它们的差值。使用计算机视觉技术评估图像质量以评估评级是否适当。对图像自动进行疾病筛查。基于图像的病变生物标志物会在对患者进行各次访视时自动进行分析，并在访视之间进行图像配准。计算病变和解剖结构的变化，并根据统计数据进行量化，其中计算的统计数据代表基于图像的生物标志物，可用于监测进展、早期发现和/或监测治疗的有效性。
美国专利8,879,813描述了通过访问视网膜图像，生成具有不同窗口尺寸的两个中值滤波版本，从滤波版本生成差异图像，然后生成二进制图像来自动检测视网膜图像中的有源像素。
美国专利8,885,901描述了通过访问视网膜图像，用中值滤波器对其进行滤波并基于原始图像和滤波后图像中的值来修改原始图像中的值来增强视网膜图像，其中增强后的图像用于检测医疗状况。
美国专利9,002,085年和美国专利2015/0110372描述了通过访问视网膜图像来生成视网膜图像中的局部区域的描述子，生成两个形态过滤版本，第一个具有圆形/正则多边形窗口，第二个具有细长/椭圆形窗口，从过滤后的图像中生成差值，并将它们用作视网膜图像的像素描述子值。
美国专利9,008,391年和美国专利2015/0110368描述了访问患者的视网膜图像，对于指定像素子集为活动区域(包括目标区域)的每个图像，计算像素级描述子，使用监督式学习从描述子提供像素级分类，计算第二个描述子，并使用监督式学习为多个像素提供第二个分类。
美国专利2015/0110348和美国专利2017/0039412描述了通过访问视网膜图像，使用多尺度形态学滤波器组分析提取具有一个或多个期望属性的区域并存储二进制图来自动检测视网膜图像中的目标区域(ROI)。
美国专利2015/0110370和美国专利2017/0039689描述了通过访问眼底图像、以多个尺度中的单个尺度估计背景以及基于背景图像中相同位置处的强度自适应地缩放第一像素位置处的强度来增强视网膜图像。
参考文献
[1]MIT Technol.Rev.，2013.Available：www.technologyreview.com/s/513696/deep-learning
[2]Y.LeCun，Y.Bengio，and G.Hinton，“Deep learning，”Nature，vol.521，no.7553，pp.436-444，2015.
[3]J.Schmidhuber，“Deep learning in neural networks：An overview，”Neural Netw.，vol.61，pp.85-117，2015.
[4]B.Sahiner et al.，“Classification of mass and normal breast tissue：A convolution neural network classifier with spatial domain and textureimages，”IEEE Trans.Med.Imag.，vol.15，no.5，pp.598-610，Oct.1996.
[5]S.C.B.Lo，J.S.J.Lin，M.T.Freedman，and S.K.Mun，“Computerassisteddiagnosis of lung nodule detection using artificial convolution neural-network，”Proc.SPIE Med.Imag.，Image Process.，vol.1898，pp.859-869，1993.
[6]H.-P.Chan，S.-C.Lo，B.Sahiner，K.L.Lam，and M.A.Helvie，“Computer-aideddetection of mammographic microcalcifications：Pattern recognition with anartificial neural network，”Med.Phys.，vol.22，no.10，pp.1555-67，1995.
[7]S.Hochreiter and J.Schmidhuber，“Long short-term memory，”NeuralComput.，vol.9，no.8，pp.1735-1780，1997.
[8]G.E.Hinton，S.Osindero，and Y.W.Teh，“A fast learning algorithm fordeep belief nets，”Neural Comput.，vol.18，no.7，pp.1527-1554，2006.
[9]D.Castano-Diez，D.Moser，A.Schoenegger，S.Pruggnaller，andA.S.Frangakis，“Performance evaluation of image processing algorithms on theGPU，”J.Struct.Biol.，vol.164，no.l，pp.153-160，2008.
[10]A.Eklund，P.Dufort，D.Forsberg，and S.M.LaConte，“Medical imageprocessing on the GPU-Past，present and future，”Med.Image Anal.，vol.17，no.8，pp.1073-94，2013.
[11]B.van Ginneken，C.M.Schaefer-Prokop，and M.Prokop，“Computeraideddiagnosis：How to move from the laboratory to the clinic，”Radiol.，vol.261，no.3，pp.719-732，2011.
[12]A.Setio et al.，“Pulmonary nodule detection in CT images usingmultiview convolutional networks，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1160-1169，May 2016.
[13]H.Roth et al.，“Improving computer-aided detection usingconvolutional neural networks and random view aggregation，”IEEETrans.Med.Imag.，vol.35，no.5，pp.1170-1181，May 2016.
[14]Q.Dou et al.，“Automatic detection of cerebral microbleeds from MRimages via 3D convolutional neural networks，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1182-1195，May2016.
[15]K.Sirinukunwattana et al.，“Locality sensitive deep learning fordetection and classification of nuclei in routine colon cancer histologyimages，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1196-1206，May 2016.
[16]M.Anthimopoulos，S.Christodoulidis，A.Christe，and S.Mougiakakou，“Lung pattern classification for interstitial lung diseases using a deepconvolutional neural network，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1207-1216，May 2016.
[17]H.-C.Shin et al.，“Deep convolutional neural networks forcomputeraided detection：CNN architectures，dataset characteristics andtransfer learrning，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1285-1298，May 2016.
[18]G.van Tulder and M.de Bruijne，“Combining generative anddiscriminative representation learning in convolutional restricted Boltzmannmachines，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1262-1272，May 2016.
[19]A.Depeursinge et al.，Comput.Med.Imag.Graph.，vol.36，no.3，pp.227-238，2012.
[20]F.Ghesu et al.，“Marginal space deep learning：Efficientarchitecture for volumetric image parsing，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1217-1228，May2016.
[21]T.Brosch et al.，“Deep 3D convolutional encoder networks withshortcuts for multiscale feature integration applied to multiple sclerosislesion segmentation，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1229-1239，May 2016.
[22]S.Pereira，A.Pinto，V.Alves，and C.Silva，”Brain tumor segmentationusing convolutional neural networks in MRI images，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1240-1251，May 2016.
[23]P.Moeskops et al.，“Automatic segmentation of MR brain images witha convolutional neural network，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1252-1261，May 2016.
[24]M.van Grinsven，B.van Ginneken，C.Hoyng，T.Theelen，and C.Sánchez，“Fast convolutional neural network training using selective data sampling：Application to hemorrhage detection in color fundus images，”IEEETrans.Med.Imag.，vol.35，no.5，pp.1273-1284，May 2016.
[25]Y.Bar，1.Diamant，L.Wolf，and H.Greenspan，“Deep learning with non-medical training used for chest pathology identification，”Proc.SPIEMed.Imag.Computer-Aided Diagnosis，vol.9414，2015.
[26]Y.Bar，I.Diamant，L.Wolf，S.Lieberman，E.Konen，and H.Greenspan，“Chestpathology detection using deep leaming with non-medical training，”inProc.IEEE 12th Int.Symp.Biomed.Imag.，2015，pp.294-297.
[27]B.van Ginneken，A.A.Setio，C.Jacobs，and F.Ciompi，“Off-the-shelfconvolutional neural network features for pulmonary nodule detection incomputed tomography scans，”in Proc.IEEE 12th Int.Symp.Biomed.Imag.，2015，pp.286-289.
[28]N.Tajbakhsh et al.，“Convolutional neural networks for medicalimage analysis：Full training or fine tuning？，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1299-1312，May 2016.
[29]T.B.Nguyen et al.，“Distributed human intelligence for colonicpolyp classification in computer-aided detection for CT colonography，”Radiology，vol.262，no.3，pp.824-833，2012.
[30]M.T.McKenna et al.，“Strategies for improved interpretation ofcomputer-aided detections for CT colonography utilizing distributed humanintelligence，”Med.Image Anal.，no.6，pp.1280-1292，2012.
[31]S.Albarqouni，C.Baur，F.Achilles，V.Belagiannis，S.Demirci，andN.Navab，“Agg-Net：Deep leaming from crowds for mitosis detection in breastcancer histology images，”IEEETrans.Med.Imag.，vo1.35，no.5，pp.1313-1321，May2016.
[32]M.Kallenberg et al.，“Unsupervised deep learning applied to breastdensity segmentation and mammographic risk scoring，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1322-1331，May 2016.
[33]Z.Yah et al.，“Multi-instance deep learning：Discoverdiscriminative local anatomies for bodypart recognition，”IEEETrans.Med.Imag.，vol.35，no.5，pp.1332-1343，May 2016.
[34]S.Miao，Z.J.Wang，and R.Liao，“A CNN regression approach for real-time 2D/3D registration，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1352-1363，May2016.
[35]V.Golkov et al.，”q-Space deep learning：Twelve-fold shorter andmodel free diffusion MRI scans，”IEEE Trans.Med.Imag.，vol.35，no.5，pp.1344-1351，May 2016.
[36]K.He，X.Zhang，S.Ren，and J.Sun，Deep residual learning for imagerecognition ArXiv，2015，arXiv：1512.03385，to be published
[37]H.R.Roth et al.，“A new 2.5d representation for lymphnodedetection in CT，”Cancer Imag.Arch.，2015dx.doi.org/10.7937/K9/TCIA.2015.AQIIDCNM
[38]H.R.Roth et al.，“Data from pancreas-CT，”Cancer Imag.Arch.，2016[Online].Available：dx.doi.org/10.7937/K9/TCIA.2016.tNB1kqBU
参见美国专利5784162；6088099；6198532；6276798；6419361；6556853；6895264；6943153；6992775；7433532；7474775；7712898；7931902；8098907；8114843；8194936；8207396；8303115；8309350；8340437；8705826；8787638；8879813；8885901；8896682；9002085；9008391；9097707；9545196；20010033364；20020052551；20020194630；20030129164；20040221855；20040254154；20060257031；20070128662；20080124344；20100061601；20100172871；20100220906；20100302507；20110097330；20110173708；20110242306；20120190094；20120257164；20120272341；20130108131；20130116670；20130137113；20130301889；20140023692；20140199277；20140276025；20150110348；20150110368；20150110370；20150110372；20150124216；20150224193；20150238767；20150379708；20160120404：20160217586；20170039412；20170039689；20170046616
发明内容
本发明提供了一种基于一个或多个血管图像自动预测血管疾病存在的系统和方法。优选的图像为眼底图像，优选的血管疾病为视网膜疾病或视网膜病变。具体而言，对DR的筛查是该技术应用的特定目标。
尽管在眼底图像中，视网膜脉管系统由于其可见性而成为特别优选，但是基本方法并不限于视网膜图像。但是，可以分析其他脉管系统和微脉管系统。例如，可以在各种情况下对颊粘膜和舌下粘膜的毛细血管、肠粘膜、巩膜等进行成像。
视网膜病可被诊断为：(H35.0)高血压性视网膜病变——长期高血压导致的血管破裂en.wikipedia.org/wiki/Hypertensive_retinopathy；(H35.0/E10-E14)糖尿病性视网膜病变——糖尿病并发症导致的视网膜损伤，最终可导致失明en.wikipedia.org/wiki/Diabetic_retinopathy；(H35.0-H35.2)视网膜病——泛指视网膜非炎性损伤en.wikipedia.org/wiki/Retinopathy；(H35.1)早产儿视网膜病——早产儿的瘢痕和视网膜脱离en.wikipedia.org/wiki/Retinopathy_of_prematurity；(H35.3)老年性黄斑变性——黄斑中的感光细胞功能障碍，并随着时间的推移而停止工作；(H35.3)黄斑变性——由于黄斑变性(如牛眼黄斑病(Bull's Eye Maculopathy)、氯喹视网膜病)而丧失中心视力en.wikipedia.org/wiki/Chloroquine_retinopathy)en.wikipedia.org/wiki/Macular_degeneration；(H35.3)视网膜前膜——在视网膜上形成一层透明层并收紧en.wikipedia.org/wiki/Epiretinal_membrane；(H35.4)周边视网膜变性en.wikipedia.org/wiki/Lattice_degeneration；(H35.5)遗传性视网膜营养不良en.wikipedia.org/wiki/Progressive_retinal_atrophy；(H35.5)色素性视网膜炎——遗传性疾病；夜晚前视野狭窄——夜盲en.wikipedia.org/wiki/Retinitis_pigmentosa；(H35.6)视网膜出血；(H35.7)视网膜层分离en.wikipedia.org/wiki/Retinal_haemorrhage(例如中心浆液性视网膜病en.wikipedia.org/wiki/Central_serous_retinopathy，视网膜脱离：视网膜色素上皮脱离en.wikipedia.org/wiki/Retinal_detachment)en.wikipedia.org/wiki/Retina#Anatomy_of_vertebrate_retina；(H35.8)其他特定视网膜疾病；(H35.81)黄斑水肿——由于肿胀的黄斑而导致中央视觉扭曲en.wikipedia.org/wiki/Macular_edema；和(H35.9)未明确的视网膜疾病。请参阅世界卫生组织ICD-10编码：眼和附器疾病(H00-H59)。
图像可以同时用于分析各种疾病。例如，训练数据至少可以对以下进行编码标记：棉絮斑(视网膜局部缺血伴水肿的区域)；硬性渗出物(脂肪沉积)；小动脉瘤(在视网膜上显示为小红点)；受损血管壁引起的少量火焰状出血；新血管形成：在眼后部形成新血管的迹象；糖尿病——由于过量的葡萄糖干扰了晶状体的代谢，也是早期白内障的病因；以及其他临床症状。参见patient.info/doctor/eye-in-systemic-disease；www.ncbi.nlm.nih.gov/books/NBK221/。
更具体地，本发明包括一种用于在视网膜眼底图像中自动检测和定位DR病变以及对视网膜眼底图像进行自动DR分类的系统和方法。该系统基于代表专家对患者眼底图像区域分类的训练数据来识别DR。
在一些实施例中，计算机实现的方法包括分析视网膜图像和检测该视网膜图像中的目标区域。在一些实施例中，该方法还包括基于对一个或多个目标区域的检测对视网膜图像进行分类。
本发明的技术为视网膜图像中视网膜病变的自动检测提供了一种新的方法。其思想是收集成千上万的视网膜照片，这些照片具有由人类专家标记的所有视网膜病变，并由专家进行注释，其中的注释被验证为可靠的。注释采用医学分类的区域评估以及图像质量的形式。由于图像本身受光学原理控制，因此图像质量也可以至少部分地由无监督式的NN确定。但是，在某些方面可能会受益于人类的专业知识。
这些注释被用来训练NN，它可能是CNN或DNN。由于训练数据的区域分类，根据本技术的网络确定先前未分类图像的各个区域的分类。这与将未知图像作为一个整体进行分类的技术形成了对比。因此，很明显，NN本身从根本上依赖于标记和被标记的内容。
训练数据使用的可能是整个视网膜图像，区域分类作为标记关联，虽然这增加了输入数据集的自由度，可能使问题复杂化，而没有相应的提高网络性能。也就是说，视网膜某个区域的视网膜病变与其他区域的视网膜病变非常相似，因此训练不需要针对特定区域。当然，实际上可能确实存在区域特定性，并且本技术并没有忽略或否认这一点，而是发现在做出与区域无关的推定时，可以获得足够的性能。例如，在一个1000×1000的输入图像中，有106个像素，如果不进行简化，NN至少需要有106个输入神经元。另一方面，64×64像素区域提供了足够的精度来识别病理，从而需要至少4096个输入神经元，少了约250倍。同样，与区域无关的推定可以允许至少减少网络的整个隐含层，该隐含层用于处理区域差异。
在处理之前，可以在确定性统计或基于规则的过程中针对颜色、亮度等对图像进行归一化。虽然这种归一化可以在NN中实现，但也可以独立于网络实现，从而简化了网络的实现。
在某些情况下，区域可以在分割后进行归一化，或者作为分割过程的一部分。这允许分割基于一基于统计或规则的过程，该过程基于形状或空间以外的基础来建立区域边界。同样，在NN之前进行归一化可以简化NN的实现，同时也可以减轻NN学习预归一化特征的难度。通过对归一化过程中提取的特征进行专家判定，可以提高NN对未归一化特征的特异性。
每个视网膜图像都是高度独立的，就像指纹一样，因此数据集将永远不会包含与整个图像完全匹配的图像。然而，这种技术所针对的早期疾病过程的特点是体积小且局部化——在高分辨率图像中只有几个像素宽。事实上，数码照片最近才被临床接受用于筛查的原因是，发现疾病早期迹象所需的分辨率直到最近才很容易获得。因此，数据集实际上是一组从真实的视网膜照片中提取块，系统根据本技术将新图像中的块与数据集中的块进行比较。
在较高的层次上，给定新图像的处理如下：
接受来自相机的原始图像，使用圆形遮罩将大小标准化为1024×1024。
NN被用来提供对区域进行操作的分类器。优选地，将应用于经标记的数据集图像的相同预处理应用于未知图像，包括区域分割。在归一化之后，然后基于训练数据对分割的区域进行分类。然后将分类整体迁移回未知图像，以注释未知图像，然后根据完整的分类集对其进行诊断或评级。
评级可以伴随有可靠性，其可以包括对I类(假阳)和/或II类(假阴)错误以及可能其他类型错误的指示。评级的可靠性还可能与原始图像的质量有关，如亮度、焦距、对比度、颜色等。例如，当图像的一部分质量较差时，可以对可用于评估的部分进行分析，其评级和伴随的可靠性可评估阳性疾病漏诊的可能性以及阳性疾病误诊的可能性。
可以选择将结果整理成总体建议，也可以将详细信息与有关特定关注领域的说明一起提供。
这项技术需要收集足够的图像，经过人类专家的适当评估，以形成数据集。匹配算法必须足够准确和精确，以避免出现假阳性和假阴结果。
视网膜相机模型可产生各种分辨率的图像，典型的视网膜病变大小也会有所不同。经过大量的实验，参考专家和英国NHS标准文件，得出的结论是，能够保留足够特征的最小分辨率是1024×1024像素，而目标病变仍然可以识别的最小块(在此类图像上)是32×32像素。
这些图像可能会与其他医学数据(例如血糖、年龄、性别、体重、临床病史等)一起提供，并且可以用作分类的一部分，尽管在某些情况下最好将图像进行分类并允许临床医生将其他患者数据整合到诊断和/或预后中。实际上，当临床医生使用分类器的输出时，使用与图像无关的临床数据来对图像进行分类可能会在下游产生明显的偏差，在这些情况下可能会再次考虑这些因素。
如上所述，在I类和II类错误之间所需的精确平衡将取决于系统的预期用途。对于医院而言，最大程度地降低II类错误可能是最重要的，而对于通过配镜师进行的常规筛查，则最重要的是最大程度地减少I类错误并避免给客户带来不必要的担心。
值得注意的是，该系统不必局限于全自动诊断。因此，如果将II类错误最小化，则可以通过其他方法(例如人工评级)或替代或补充的自动分析来重新筛选假阳，这可能会花费更多的时间和/或资源。例如，在哈希错误导致性能质量下降的情况下，可以使用较少数据约简的自动分析作为后续措施。任何系统，不管本质上是好是坏，都可以进行“调优”，在这两种类型的错误之间做出不同的权衡。
人们发现该算法能够有效地标记出有疾病迹象的视网膜图像区域，证明了图像处理/区域匹配技术的有效性和高效性。
宽视场和超宽视场的视网膜图像以大于45-50度的单个图像捕捉视网膜的视场，通常是在眼底图像中捕捉。这些图像通过使用特殊的相机硬件或通过使用不同视场的视网膜图像创建蒙太奇来获得。本文描述的系统和方法可以应用于宽视场和超宽视场图像。
荧光素血管造影包括注射荧光示踪染料，然后进行血管造影，通过490纳米波长的光照射视网膜，测量所发出的荧光。由于染料存在于血液中，因此荧光素血管造影图像可突出视网膜的血管结构和病变。本文描述的系统和方法可以应用于荧光素血管造影图像。
因此，目的是提供一种对血管图像进行分类的方法，包含：接收血管图像；将血管图像归一化；将归一化的血管图像分割成多个区域；使用至少一个包含NN的分类器自动确定多个区域的血管病变向量；根据已确定的血管病变向量，自动注释多个区域的每一个区域；和基于至少一个注释，自动对接收到的血管图像进行评级，其中，根据至少一个客观分类标准，基于血管图像各个区域的至少一个专家注释训练NN。
另一个目的是提供一种用于对血管图像进行分类的系统，该系统包含：输入，配置为接收至少一个血管图像；存储器控制器，配置为存储信息，该信息定义了根据至少一个客观分类标准，基于多个视网膜图像的各个区域的至少一个专家注释训练的NN；至少一个自动处理器，配置为：将血管图像归一化；将归一化的血管图像分割成多个区域；使用至少一个包含所定义的NN的分类器确定多个区域的血管病变向量；基于已确定的血管病变向量，注释多个区域的每一个区域；至少基于标记，对所接收到的血管图像进行评级；和输出，配置为传达评级。
又一个目的是提供一种计算机可读介质，存储用于控制至少一个自动处理器的指令，包含：用于对接收到的血管图像进行归一化的指令；将归一化的血管图像分割成多个区域的指令；使用至少一个包含NN的分类器确定多个区域的血管病变向量的指令；基于已确定的血管病变向量，自动注释多个区域中的每个区域的指令；以及基于至少一个注释，自动对接收到的血管图像进行评级的指令，其中，根据至少一个客观分类标准，基于血管图像的各个区域的至少一个专家注释训练NN。
又一个目的是提供一种对视网膜图像是否存在视网膜病变进行分类的方法，包含：接收眼底图像；在至少一个三色刺激图像空间中对眼底图像进行自动归一化；基于至少一个分割规则，将归一化的血管图像自动分割成多个区域；使用至少一个包含NN的分类器自动确定多个区域的视网膜病变向量，基于包括至少一组具有区域性专家视网膜病变注释的眼底图像的训练而训练NN；根据已确定的血管病变向量，自动注释多个区域的每一个区域；至少基于注释，自动确定所接收的血管图像的视网膜病变的等级；和输出自动确定的视网膜病变等级。
又一个目的是提供一种对眼睛图像进行分类的方法，包含：接收并归一化眼睛图像；将归一化的眼睛图像分割成多个区域；使用包含NN的分类器自动确定多个区域的眼部疾病向量；基于确定的眼部疾病向量，自动注释多个区域的每一个区域；和至少基于注释，自动对所接收的眼睛图像进行分级；其中根据至少一个客观分类标准，基于至少一个眼睛图像的各个区域的专家注释训练NN。
又一个目的是提供一种对眼睛图像进行分类的系统，该系统包含：输入，配置为接收至少一个眼睛图像；存储器，配置为存储信息，所述信息定义了根据至少一个客观分类标准，基于多个视网膜图像的各个区域的至少一个专家注释训练的NN；至少一个自动处理器，配置为：将眼睛图像归一化；将归一化的人眼图像分割成多个区域；使用至少一个包含所定义的NN的分类器确定多个区域的眼部疾病向量；根据确定的眼部疾病向量，注释多个区域的每一个区域；和至少基于注释，对所接收到的眼图像进行评级；和输出，配置为传达评级。
又一个目的是提供一种计算机可读介质，存储：用于控制自动处理器和用于对接收到的眼睛图像进行归一化的指令；用于将归一化的眼睛图像分割成多个区域的指令；用至少一个包含NN的分类器确定多个区域的眼部疾病向量的指令；基于已确定的眼部疾病向量，用于自动注释该多个区域中的每个区域的指令；以及至少基于注释，自动对所接收到的眼睛图像进行评级的指令，其中，根据至少一个客观分类标准，基于眼睛图像的各个区域的至少一个专家注释训练NN。
另一个目的提供了一种对病理图像进行分类的方法，包含：接收图像；将图像归一化；将归一化的图像分割成多个区域；使用至少一个包含NN的分类器自动确定多个区域的疾病向量；根据确定的疾病向量，自动注释多个区域的每一个；至少基于注释，自动对接收到的图像进行评级，其中，根据至少一个客观分类标准，基于图像各个区域的至少一个专家注释训练NN。
NN可以包含多个隐含层、DNN、RNN和/或CNN。该方法还可以包含：接收在不同于血管图像的时间获取的第二血管图像；以及输出至少取决于血管图像随时间变化的信息。
可以基于视网膜图像的各区域质量的至少一个专家注释进一步训练NN。
至少一个分类器可以包含例如多类支持向量机分类器或梯度提升分类器。
至少一个分类器可以基于多个区域或多个连续区域的血管病变向量对各个区域进行分类。
分类器可以包含用于确定具有DR标记的区域的分类器。
评级可以包含对DR的程度进行评级。该评级可能伴有该评级的正确概率。正确概率可以包括I类错误的概率和II类错误的概率。
该方法可以还包含输出表示血管图像的区域分类的图像。
血管图像可包含眼底图像。注释可包含在相应眼底图像的各个区域内的DR标志。
附图说明
图1示出了本发明实施例的流程图。
图2A-2D示出了视网膜图像。
图3和图4分别示出了视网膜图像及其圆形和方形区域。
图5-23示出了本发明的各个实施例的相应流程图。
具体实施方式
图1示出了本发明的实施例。对于给定的视网膜眼底图像I，框100进行图像归一化以生成归一化图像I′。该归一化步骤包括识别I中的视网膜盘并将其调整到固定的大小，即调整为p×p像素的图像中p像素的直径，其中通常p＝1024。见图2A-2D，其中图2A和2C显示了预归一化的视网膜眼底图像I，图2B和2D显示了相应的归一化的眼底图像I′。视网膜视盘的自动检测是一项简单的任务，它需要在相对黑暗和均匀的背景下检测相对明亮的视盘。因此，可以使用一些著名的图像处理技术，如边缘检测、圆形霍夫变换等。关于这些技术的更多细节可以参见Russ、John C.的《图像处理手册》，CRC出版社，2016年。
接下来，在图1的框110中，从归一化图像I'中提取视网膜区域。这个过程需要从视网膜盘中提取小的视网膜区域。在本发明的一些实施例中，这些区域可以完全包含在视网膜圆盘中，而在本发明的其他实施例中，这些区域可以部分地包含在视网膜圆盘中，例如包含至少50％或75％的视网膜像素。在本发明的一些实施例中，这些区域可以是圆形的并且其直径具有q个像素，其中q＝32或q＝64，而在本发明的其他实施例中，这些区域可以是正方形的并且其大小具有q×q个像素，其中q＝32或q＝64。在本发明的替代实施例中，可以使用不同的区域几何形状，例如六边形区域。
更一般地，连续的像素区域可以定义为任意几何形状。实际上，在某些情况下，该区域可能在拓扑上是不连续的，或者分析的图像信息可能位于像素以外的域中。
图3说明了从归一化的图像I′提取以(x,y)＝(579,209)为中心Rα＝R(x,y)和以(x,y)＝(603,226)为中心的Rβ＝R(x,y)的两个圆形视网膜区域，而图4说明了从归一化的图像I′提取以(x,y)＝(757,327)为中心的Rα＝R(x,y)和以(x,y)＝(782,363)为中心的Rβ＝R(x,y)两个方形视网膜区域。在所有情况下，这些区域通常以有规律的方式提取，并有很大程度的重叠；例如，从最左上角的区域开始，通过向右移动s个像素到最右上角的区域来提取连续的区域，然后向下移动s个像素，从最左边向最右边移动s像素来提取连续的区域，依此类推。通常，s取低值，即通常在1到几个像素之间。本发明的不同实施例可以使用较高的s值和/或可以提取非重叠区域。在所有情况下，框110产生一组n个视网膜区域R0,…,Rn-1，其共同用R表示，并且Rk＝R(x,y)表示以归一化图像I′的(x,y)为中心的区域。
现在我们考虑图1中框120的操作。图1中框120独立分析所有视网膜区域，并且Rk为每个区域生成DR病变分类向量
Figure BDA0002338534560000161
其中l是框120的分类器中已经训练过的类数，而
Figure BDA0002338534560000162
是类c的区域k的类隶属概率。
作为第一示例，在本发明的一个实施例中，可以训练框120中的分类器以将区域分类为l＝2类，其中c＝0为“健康”类标签，c＝1为“患病”类标签。
作为第二示例，在本发明的不同实施例中，可以训练框120中的分类器以将区域分类为l＞2类，其中c＝0为“健康”类标签，c＝1为“小动脉瘤”类标签，c＝2为“硬性渗出物”类标签，……c＝l-1为“激光疤痕”类标签。因此，在这样的实施例中，可能存在于视网膜眼底图像中的不同类型的病变，伪影或疤痕被分配了单独的类标签。
因此，本发明的不同实施例可以使用在不同数量的类上训练的分类器，以在检测DR病变和/或识别检测到的DR病变的类型中获得最高可能的性能。在所有情况下，在本发明的替代实施例中，框120中的分类器可以配置为输出
Figure BDA0002338534560000171
作为二进制0或1值，而不是类隶属概率，在这种情况下，Dk不是类概率分布，而是分类决策向量。
现在我们更详细地考虑图1的框120的架构。在本发明的一个实施例中，图1的框120包含图5所示的架构。在框500中，可选地将视网膜区域归一化。例如，这种可选的归一化可能涉及平均减法，导致每个视网膜区域的每个颜色通道的平均强度取值为0，或进行其他某种平均调整，导致每个视网膜区域的每个颜色通道的平均强度取一个预定义的特定值，或一些几何归一化，例如旋转归一化，即每个区域旋转，使其质心处于一个特定的角度。因此，对于每个视网膜区域Rk，框500产生归一化区域R′k。然后，在框510中，使用CNN对每个区域R′k进行分类，并产生分类向量Dk。之前已经使用大量训练样本(即训练标记区域)对CNN进行了训练。如前所述，本发明的不同实施例可以采用仅在两个类上训练的CNN，例如“健康”和“患病”，或者更多类，例如“健康”、“小动脉瘤”、“硬性渗出物”等等，并且在所有情况下，CNN都可以将Dk输出为类概率分布或分类决策向量。
图6更详细地示出了图5中框510的架构。如图6所示，每个区域Rk独立地处理以产生其分类向量Dk。图6的CNN是常见的架构，采用多个卷积层，卷积层用学习的卷积掩码卷积它们的输入，与池化层(即空间子采样层)交错，随后是多个完全连接的层，以产生区域Rk的DR病变分类向量Dk。本文不涉及CNN的理论(en.wikipedia.org/wiki/Convolutional_neural_network)，但有许多关于这一主题的出版物，例如Krizhevsky,Alex,IlyaSutskever,and Geoffrey E.Hinton."Imagenet classification with deepconvolutional neural networks."Advances in neural information processingsystems.2012。
在本发明的另一个实施例中，图1的框120包含图7所示的架构。框700是可选的，并且以与图5的框500相同的方式操作。因此，对于每个视网膜区域Rk，框700产生归一化区域R′k。然后，在框710中，使用CNN为每个区域R′k产生区分特征Vk的高维向量。
图8示出了框710的架构。如图8所示，用于生成特征向量Vk的CNN与图6的CNN相同，其中Vk取自最终完全连接的分类层之前的一个层的输出。然后，回到图7，在框720中，使用分类器对每个特征向量Vk进行分类，并产生分类向量Dk。框720的分类器有多种选择，例如二进制或多类支持向量机(SVM)或梯度提升分类器(GBC)，它们先前是在一组训练标记区域的特征向量上进行训练的。如前所述，本发明的不同实施例可以使用在两个或多个类上训练的分类器，并可以将输出Dk作为类概率分布或分类决策向量。本文不涉及SVM的理论(en.wikipedia.org/wiki/Support_vector_machine)和GBC(en.wikipedia.org/wiki/Gradient_boosting)的理论，但有许多关于这一主题的出版物，例如Burges,ChristopherJC."A tutorial on support vector machines for pattern recognition."Datamining and knowledge discovery 2.2(1998):121-167；和Schapire,Robert E.,andYoav Freund.Boosting:Foundations and algorithms.MIT press,2012。
在本发明的另一个实施例中，图1的框120包含图9所示的架构。框900是可选的，并且以与图5的框500或图7的框700相同的方式操作。因此，对于每个视网膜区域Rk，框900产生归一化区域R′k。然后，在框910中，使用降维技术，例如线性判别分析(LDAen.wikipedia.org/wiki/Linear_discriminant_analysis)或主成分分析(PCAen.wikipedia.org/wiki/Principal_component_analysis)，来产生每个区域R′k的降维表示，该降维表示被用作该区域的特征向量Vk。然后，在框920中，使用分类器对每个特征向量Vk进行分类，并生成分类向量Dk。与之前的实施例一样，在一组训练标记区域的特征向量上预先训练的二进制或多类SVM或梯度提升分类器通常是分类器的不错选择。如前所述，本发明的不同实施例可以使用在两个或多个类上训练的分类器，并可以将Dk输出为类概率分布或分类决策向量。
现在我们考虑图1的框130的操作。图1的框130独立分析所有视网膜区域，并且为每个区域Rk生成质量分类向量
Figure BDA0002338534560000181
其中m是框130的已经训练的分类器的类数，并且
Figure BDA0002338534560000182
是对于类z的区域k的类隶属概率。作为第一示例，在本发明的一个实施例中，可以训练框130中的分类器将区域划分为m＝2类，z＝0为“优质”类标签，z＝1为“劣质”类标签。作为第二示例，在本发明的不同实施例中，可以训练框130中的分类器以将区域分类为m>2个类，其中z＝0是“优质”类标签，z＝1是“照明差”类标签，z＝2是“对比度差”类标签，……z＝m-1是“透镜光晕”类标签。
因此，在这样一个实施例中，可能出现在视网膜眼底图像中的不同类型的质量伪影和成像伪影被分配了单独的类标签。本发明的各种实施例可以使用在不同数量的类上训练的分类器，以在评估视网膜区域的质量方面实现最高可能的性能。值得注意的是，区域质量分类器类数的选择与DR损伤分类器类数的选择是独立的。在所有情况下，在本发明的替代实施例中，框130中的分类器可以配置为输出
Figure BDA0002338534560000183
作为二进制0或1值，而不是类隶属概率，在这种情况下，Qk不是类概率分布，而是分类决策向量。
现在我们更详细地考虑图1的框130的架构。在本发明的一个实施例中，图1的框130包含图10所示的架构。在框1000中，可选地对视网膜区域进行归一化。这种可选的归一化可能例如涉及强度或几何归一化。因此，对于每个视网膜区域Rk，框1000产生归一化区域R′k。然后，在框1010中，使用CNN对每个区域的R′k按照其质量进行分类，并生成质量分类向量Qk。之前已经使用大量训练样本(即训练标记区域)对CNN进行了训练。如前所述，本发明的不同实施例可以采用仅在两个类(例如“优质”和“劣质”)上训练的CNN，或者在更多类(例如“优质”，“照明差”，“对比度差”等)上训练的CNN，并且在所有情况下，CNN都可以将Qk输出为类概率分布或分类决策向量。
图11示出了框1010的CNN的内部架构；这与前面图6所描述的CNN架构基本相同，尽管网络参数如滤波器的大小、步长和数量、所学习的卷积掩码、卷积层的数量和全连接层的数量等可能不同。
在本发明的另一个实施例中，图1的框130包含图12所示的架构。框1200是可选的，其操作方式与图10中的框1000相同。因此，对于每个视网膜区域Rk，框1200产生归一化区域R′k。然后，在框1210中，使用CNN为每个区域R′k产生区分特征Vk的高维向量。
图13示出了此CNN的内部架构。如图13所示，用于生成特征向量Vk的CNN与图11的CNN相同，其中Vk取自最终完全连接的分类层之前的一个层的输出。然后，回到图12，在框1220中，使用分类器对每个特征向量Vk进行分类，并产生分类向量Qk。例如，该分类器可以是先前在一组训练标记区域的特征向量上训练的二进制或多类SVM或GBC。如前所述，本发明的不同实施例可以采用在两个或更多个类上训练的分类器，并且可以输出Qk作为类概率分布或分类决策向量。
在本发明的另一个实施例中，图1中的框130包含图14中所示的架构。如图14所示，根据不同的标准，使用不同的技术来评估每个区域Rk的质量，包括但不限于光照、对比度、模糊度等。可以使用各种已知的图像处理技术来进行区域质量分析。例如，框1400的照明度质量可以计算为最小(abs((τH+τL-2f)/(τH-τL)),1)∈[0,1]，其中f表示平均区域强度，τL和τH分别表示该区域的最低和最高可接受强度。可以使用适当的技术来计算框1410的对比度质量度量并归一化为[0,1]，适当的技术为例如Tripathi,Abhishek Kumar,SudiptaMukhopadhyay,and Ashis Kumar Dhara."Performance metrics for image contrast."Image Information Processing(ICIIP),2011International Conference on.IEEE,2011中描述的技术之一。类似地，可以使用适当的技术来计算框1420的模糊度质量度量，并归一化为[0,1]，适当的技术为例如Marziliano,Pina,et al."A no-reference perceptualblur metric."Image Processing.2002.Proceedings.2002International Conferenceon.Vol.3.IEEE,2002中描述的技术之一。
最后，框1430基于照度、对比度、模糊等度量来计算“优质”的度量，例如当
Figure BDA0002338534560000191
时，并为每个区域Rk生成最终的质量评估向量Qk。
现在我们考虑图1的框140的操作。图1的框140分析DR病变分类向量Dk和质量分类向量Qk，并产生条件性DR病变分类向量D″k。此操作需要三个主要步骤，即：(1)DR病变分类向量空间概率调整。此步骤是可选的。如前所述，每个DR病变分类向量Dk对应于视网膜区域Rk，每个Rk＝R(x,y)是以归一化图像I′的像素(x,y)为中心的视网膜区域。因此,对于每一个对应以I′的像素(x,y)为中心的区域Rk的DR病变分类向量Dk，可以根据其周围区域的DR病变分类向量来调整Dk的值，例如以(x,y)为中心半径为d的区域。例如，这种调整可以采取均值滤波、中值滤波等形式，有利于为眼底图像创建更稳健可靠的DR病变分类向量。(2)质量分类向量概率调整。此步骤是可选的。其原理与上述步骤(1)相同，但操作是对质量分类向量Q进行的。(3)基于质量分类向量的DR病变分类向量调整。
现在，我们更详细地考虑图1的框140的架构。图15示出了图1的框140的架构。框1500实现DR病变分类向量空间概率调整。也就是说，对于与I′的像素(x,y)为中心的视网膜区域Rk对应的每个DR病变分类向量Dk的值，根据其周围以(x,y)为中心半径为d的区域的DR病变分类向量调整Dk的值。例如，这种调整可以采取均值、中值、最小值、最大值或其他滤波形式，以产生调整后的DR病变分类向量D′k。另一种看待这一问题的方式如下：对于图像I′，可能会生成l个空间概率图，其中l是D中DR分类标签的数量。例如，对于l＝2类，其中c＝0是“健康”类标签，而c＝1是“患病”类标签，可以生成“健康”概率图DRP0和“患病”概率图DRP1。然后，对于每个对应于以I′的像素(k,y)为中心的视网膜区域Rk的每个DR病变分类向量Dk，
Figure BDA0002338534560000201
其中s为区域提取所用的采样步长。每个DRPc可能会被空间处理(例如用平均值、中值、最小值、最大值或其他滤波器)，或其他形态操作(例如膨胀、侵蚀等)来产生调整的概率图DRP′c，然后将其映射到调整后的DR病变分类向量D′k。与框1500类似，框1510实现质量分类向量空间概率调整。最终，图15的框1520基于质量分类向量对DR病变分类向量进行调整。在如何进行这种调整方面有各种各样的可能性。
例如，对于l个DR类中的每个D′k和每个类标签c，可以这样执行调整：
Figure BDA0002338534560000202
其中
Figure BDA0002338534560000203
表示区域Rk的“优质”类概率。本质上，根据上述关系，如果区域Rk的“优质”类概率小于0.5，则区域Rk的所有DR分类向量概率都将减小为0，即系统不会为该区域提供任何DR分类概率，因为质量太差了。
作为另一个示例，对于l个DR类中的每个D′k和每个类标签c，可以按以下方式执行此调整：
Figure BDA0002338534560000204
其中
Figure BDA0002338534560000205
表示区域Rk的“优质”类概率。根据这种关系，由于质量差，DR分类概率下降到0的过程更加缓慢。
在以上示例中，每个D′k都是基于相应的Q′k进行调整的。在本发明的替代实施例中，可以基于例如以(x,y)为中心、半径为d的周围区域的对应Q′k和质量分类向量来调整以I′的像素(x,y)为中心的视网膜区域Rk的每个D′k。
现在我们考虑图1的框150的操作。图1的框150分析了DR病变分类向量D″，并产生了最终的视网膜眼底图像级DR分类向量C＝(C0,…,Cw-1)，其中w是类的数量，Cv是类v的类成员概率。在本发明的一个实施例中，w＝2，其中v＝0是“健康”类标签，而v＝1是“患病”类标签。作为第二示例，在本发明的不同实施例中，w＝4类，每个类对应DR医疗等级。在所有情况下，在本发明的替代实施例中，Cv可以取二进制0或1值，在这种情况下，C不是类概率分布而是分类决策向量。
现在我们更详细地考虑图1的框150的架构。在本发明的一个实施例中，图1的框150包括图16的架构。在图16的框1600中，将DR病变分类向量概率阈值化，例如
Figure BDA0002338534560000211
然后，在框1610中，将D″′进行空间处理以产生D″″。该框的操作方式与图15中的框1500基本相同，执行中值过滤、侵蚀、膨胀等操作。在本发明的替代实施例中，可以跳过框1610，而在本发明的不同实施例中，可以颠倒框1600和1610的顺序。然后，在框1620中，对D″″中的每个类标签l的区域数量进行计数。如前所述，在本发明的一些实施例中，l＝2类，c＝0为“健康”类标签，c＝1为“患病”类标签。在本发明的不同实施例中，l>2类，其中c＝0为“健康”类标签，c＝1为“小动脉瘤”类标签，c＝2为“硬性渗出物”类标签，…..c＝l-1为“激光疤痕”类标签。因此，框1620产生向量G＝(G0,…,Gl-1)，其中每个要素Gc是对应标签c的区域计数。然后，基于区域计数向量G，框1630产生最终的视网膜眼底图像分类决策向量C＝(C0,…,Cw-1)，其中w是类的数量，Cv是类v的决策。如前所述，在本发明的一个实施例中，w＝2，而v＝0是“健康”类标签，v＝1是“患病”类标签。在本发明的不同实施例中，w＝4个类，每个类对应于DR医学等级，其可以基于视网膜眼底图像中不同类型的DR病变的数量来建立。
在本发明的另一个实施例中，图1的框150包含图17的架构。在图17的框1700中，将DR病变分类向量D″转换成l个2D概率图，其中l是D″中的DR分类标签的数量。将DR分类向量的向量转换为2D概率图的过程与前面描述的图15中的框1500基本相同。在创建2D概率图时，框1700可选地(i)改变概率的动态范围，例如从[0,1]的实际范围改变为整数范围[0,255]，和(ii)对2D概率图进行二次采样到t×t像素的固定分辨率，例如t＝256像素。因此，框1700生成l个2D概率图P＝(P0,…,Pl-1)。然后在框1710中，使用CNN对概率图P进行分类，并产生最终的视网膜眼底图像级DR分类向量C＝(C0,…,Cw-1)，其中w是类的数量，Cv是类v的类隶属概率。CNN先前已使用大量训练样本进行了训练。如前所述，本发明的不同实施例可以采用在不同数量的类上训练的CNN，例如w＝2，其中v＝0为“健康”类标签，v＝1为“患病”类标签，或者w＝4个类，每个类对应DR医学等级。在所有情况下，在本发明的替代实施例中，Cv可以取二进制0或1值，在这种情况下，C不是类概率分布而是分类决策向量。图18示出了框1710的CNN的内部架构；这与前面描述的图6和图11的CNN架构基本相同，尽管网络参数如滤波器的大小、步长和数量、所学习的卷积掩码、卷积层数、完全连接层数等可能不同。
在本发明的另一个实施例中，图1的框150包含图19所示的架构。框1900的操作方式与图17中的框1700相同。然后，在框1910中，使用CNN来产生区分特征的高维向量V。图20示出了该CNN的内部结构。从图20中可以看出，用于生成特征向量V的CNN与图18中的CNN是相同的，其中V取自最后的完全连接分类层之前的一个层的输出处。然后，回到图19，在框1920中，使用分类器对特征向量V进行分类并产生分类向量C。该分类器可以，例如是之前在一组训练样本的特征向量上训练的二进制或多类SVM或梯度提升分类器。如前所述，本发明的不同实施例可以采用在两个或多个类上训练的分类器，并可以输出C作为类概率分布或分类决策向量。
图21示出了本发明的替代实施例。其中，框2100和2110的操作方式与图1中的框100和110基本相同，执行图像归一化和区域提取。
现在我们考虑图21的框2120的操作。图21的框2120独立地分析所有视网膜区域，并且对每个区域Rk产生联合DR病变/质量分类向量
Figure BDA0002338534560000221
其中l是如前所述的DR病变类的数量，m是如前所述的区域质量类的数量。因此，在框2120的分类器的训练中，为每个训练样本分配了DR病变类标签和质量类标签，使得分类器为每个区域Rk产生联合DR病变/质量分类向量
Figure BDA0002338534560000222
如前所述，框2120中的分类器可以配置为输出二进制0或1值，而不是类隶属概率。
现在我们更详细地考虑图21的框2120的架构。图21的框2120包括图22所示的架构。框2200以与框500或图5以及框700或图7基本相同的方式执行视网膜区域归一化。因此，对于每个视网膜区域Rk，框2200产生归一化区域R′k。然后，在框2210中，使用CNN对每个区域R′k进行分类，以产生分类向量Ak。图23更详细地示出了图22的框2210的架构。这与前面描述的图6和图11的CNN架构基本相同，尽管网络参数如滤波器的大小、步长和数量、所学习的卷积掩码、卷积层的数量、完全连接层的数量等可能不同。
然后，回到图21，框2130以与图1的框140基本相同的方式执行区域DR病变概率调整，并且框2140以与图1的框150基本相同的方式执行视网膜眼底图像分类。
在一些实施例中，成像过程由计算系统执行。在一些实施例中，计算系统包括一个或多个计算设备，例如与IBM、Macintosh、Microsoft Windows或Linux/Unix兼容的个人计算机或服务器或工作站。在一个实施例中，计算设备包括服务器、笔记本电脑、智能手机、个人数字助理、信息亭或媒体播放器等。在一个实施例中，计算设备包括一个或多个CPU，每个CPU可以包括常规或专用的微处理器。该计算设备还包括一个或多个存储器，例如用于信息临时存储的随机存取存储器(RAM)，用于信息永久存储的一个或多个只读存储器(“ROM”)以及一个或多个大容量存储设备，例如如硬盘、软盘、固态硬盘或光学介质存储设备。通常，使用基于标准的总线系统将计算设备的模块连接到计算机。在不同的实施例中，基于标准的总线系统可以通过外围组件互连(PCI)、微通道、小型计算机系统接口(SCSI)、工业标准架构(ISA)和扩展ISA(EISA)架构等实现。另外，在计算设备的组件和模块中提供的功能可以组合成更少的组件和模块，也可以进一步分离成更多的组件和模块。
计算设备一般由操作系统软件控制和协调，如Windows XP、Windows Vista、Windows 7、Windows 8、Windows Server、嵌入式Windows、Unix、Linux、Ubuntu Linux、SunOS、Solaris、iOS、Blackberry OS、Android或其他兼容的操作系统。在Macintosh系统中，操作系统可以是任何可用的操作系统，例如MAC OSX。在其他实施例中，计算设备可以由专用操作系统控制。传统的操作系统控制和调度执行的计算机进程，执行内存管理，提供文件系统、网络、I/O服务，以及提供用户界面(如图形用户界面(GUI))等。
示例性计算设备可以包括一个或多个常用的I/O接口和设备，如键盘、鼠标、触摸板、触摸屏和打印机。在一个实施例中，I/O接口和设备包括一个或多个显示设备，如显示器或触摸屏显示器，其允许将数据可视地呈现给用户。更具体地说，显示设备用于呈现GUI、应用程序软件数据和多媒体显示等。该计算设备还可包括一个或多个多媒体设备，例如照相机、扬声器、显卡、图形加速器和麦克风。I/O接口和设备为各种外部设备提供通信接口。计算设备以电子方式(例如通过有线、无线或有线和无线组合的通信链路)连接到网络，该网络包括一个或多个LAN、WAN和/或因特网。网络通过有线或无线通信链路与各种计算设备和/或其他电子设备通信。
按照本文描述的方法和系统处理的图像可以通过一个或多个数据源通过网络提供给计算系统。数据源可以包括一个或多个内部和/或外部数据库、数据源和物理数据存储。数据源可以包括存储将要根据上述系统和方法用成像系统进行处理的数据的数据库，或数据源可以包括存储已经根据上述系统和方法用成像系统处理了的数据的数据库。在一些实施例中，可以使用的数据库或数据源可以是诸如Sybase、Oracle、CodeBase、MySQL、SQLite和
Figure BDA0002338534560000231
SQL Server之类的关系数据库，以及其他类型的数据库，例如平面文件数据库、实体关系数据库、关系数据库、面向对象数据库、NoSQL数据库和/或基于记录的数据库。
计算系统包括成像系统模块，其可以作为可执行软件代码存储在大容量存储设备中，由CPU执行。这些模块可以包括组件，例如软件组件、面向对象的软件组件、类组件和任务组件、过程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量等。计算系统配置为执行成像系统模块，以执行自动低级图像处理、自动图像配准、自动图像评估、自动筛选和/或实现上述新架构等。
通常，本文使用的“模块”一词指的是硬件或固件中包含的逻辑，或者是一组软件指令，这些指令可能有入口点和出口点，并用例如Python、Java、Lua、C和/或C++等编程语言编写。软件模块可以在计算机可读介质上提供，如光存储介质、闪存驱动器或任何其他有形介质。这样的软件代码可以部分地或全部地存储在执行的计算设备的存储设备(如计算系统)上，以供计算设备执行。前面各节中描述的每个过程、方法和算法都可以包含在由一个或多个计算机系统或计算机处理器(包括计算机硬件)执行的代码模块中，并由这些模块实现完全或部分自动化。代码模块可以存储在任何类型的非暂时性计算机可读介质或计算机存储设备上，例如硬盘驱动器、固态存储器、光盘等。系统和模块还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质上进行传输，包括无线的和有线/基于电缆的介质，并且可以采用多种形式(例如，作为单个或多路复用模拟信号的一部分，或作为多个离散数字包或帧)。这些过程和算法可以部分地或全部地在专用电路中实现。所公开的过程和过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性计算机存储中，例如易失性或非易失性存储。
上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合都在本发明公开的范围内。另外，在某些实施方式中，可以省略某些方法或过程框。本文所述的方法和过程也不限于任何特定的顺序，并且与之相关的框或状态可以在其他适当的序列中执行。例如，所描述的框或状态可以按不同于所特定公开的顺序执行，或者多个框或状态可以组合在单个框或状态中。示例框或状态可以以串行、并行或其他方式执行。可以将框或状态添加到所公开的示例实施例中或从中删除。本文描述的示例系统和组件可以按不同于描述的方式进行配置。例如，与所公开的示例实施例相比，可以添加、移除或重新布置一些要素。
除非另外明确说明或可根据上下文进行理解，否则条件性语言(例如“可以”、“可能”、“也许”或“可”)通常旨在传达某些实施例包括某些特征、要素和/或步骤，而其他实施例不包括这些特征、要素和/或步骤。因此，这样的条件性语言通常不旨在暗示特征、要素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必须包含逻辑，用于在有或没有用户输入或提示的情况下，确定是否包括这些特性、要素和/或步骤或将在任何特定实施例中将其执行。术语“包括”是指“包括但不限于”。术语“或”是指“和/或”。
本文中描述的流程或框图和/或附图中描述的任何流程描述、要素或框都应该被理解为可能表示模块、段或部分代码，其中包含一个或多个可执行指令，用于实现流程中的特定逻辑功能或步骤。在本文描述的实施例范围中包括本领域技术人员可能理解的替代实施方式，在这些替代实施方式中可以删除某些要素或功能，并以不同于与所示或所讨论的顺序执行(包括实质上一致或相反的顺序，具体所涉及的功能)。
以上描述的所有方法和过程可以通过由一台或多台通用计算机执行的软件代码模块来实现，并且可以部分或完全自动化。例如，本文描述的方法可以由计算系统和/或任何其他合适的计算设备执行。该方法可以通过执行从有形的计算机可读介质读取的软件指令或其他可执行代码而在计算设备上执行。有形的计算机可读介质是一种数据存储设备，它可以存储计算机系统可读的数据。例如，计算机可读介质包括只读存储器、随机存取存储器、其他易失性或非易失性存储器设备、CD-ROM、磁带、闪存驱动器和光学数据存储设备。
应当强调的是，可以对上述实施例进行许多变化和修改，不论如何变化和修改，其要素应视为包含在其他可接受的示例中。所有这些变化和修改应视为包含在本发明公开的范围内。前面的描述详述了某些实施例。然而，应当认识到，不管前述内容的文字描述多么详细，这些系统和方法都可以许多方式来实现。例如，一个实施例的特征可以与另一实施例中的特征一起使用。如上所述，应该注意的是，在描述系统和方法的某些特征或方面时，使用特定术语并不意味着该处将术语重新定义为限于与该术语相关联的系统和方法的特征或方面的任何具体特点。

Claims (46)

1.对眼睛图像进行分类的方法，包含：
接收眼睛图像；
将所述眼睛图像归一化；
将归一化的眼睛图像分割成多个区域；
使用至少一个包含神经网络的分类器自动确定所述多个区域的眼部疾病向量；
基于确定的眼部疾病向量，自动注释多个区域的每一个区域；和
至少基于所述注释，自动对接收到的眼睛图像按照至少两个等级进行评级，
其中，根据至少一个客观分类标准，基于眼睛图像各个区域的至少一个专家注释训练神经网络。
2.根据权利要求1所述的方法，其中所述神经网络包含多个隐含层。
3.根据权利要求2所述的方法，其中所述神经网络包含深度神经网络。
4.根据权利要求1所述的方法，其中所述神经网络包含卷积神经网络。
5.根据权利要求1所述的方法，其中所述神经网络包含递归神经网络，还包含：接收在与血管图像不同的时间获取的第二血管图像；和输出至少取决于眼睛图像随时间变化的信息。
6.根据权利要求1所述的方法，还包含：接收视网膜图像的各个区域的质量的至少一个专家注释。
7.根据权利要求1所述的方法，其中所述至少一个分类器包含多类支持向量机分类器。
8.根据权利要求1所述的方法，其中所述至少一个分类器包含梯度提升分类器。
9.根据权利要求1所述的方法，其中所述至少一个分类器基于多个区域各自的眼部疾病向量对各个区域进行分类。
10.根据权利要求1所述的方法，其中所述至少一个分类器基于多个连续区域的眼部疾病向量对各个区域进行分类。
11.根据权利要求1所述的方法，其中所述至少一个分类器包含用于确定具有糖尿病性视网膜病变标记的区域的分类器。
12.根据权利要求1所述的方法，其中所述评级包含对糖尿病性视网膜病变的程度进行评级。
13.根据权利要求1所述的方法，其中所述评级伴随有所述评级的正确概率。
14.根据权利要求13所述的方法，其中所述正确概率包含I类错误概率和II类错误概率。
15.根据权利要求1所述的方法，还包含输出表示所述眼睛图像的区域分类的图像。
16.根据权利要求1所述的方法，其中所述眼睛图像包含眼底图像，且所述注释至少包含在各个眼底图像的各个区域内的糖尿病性视网膜病变的指示。
17.根据权利要求1所述的方法，其中所述自动评级至少按照三个不同等级。
18.根据权利要求1所述的方法，其中所述评级包含根据具有至少五个等级的标准化糖尿病性视网膜病变评定量表对糖尿病性视网膜病变程度进行评级。
19.根据权利要求1所述的方法，其中基于视网膜图像各个区域的质量的至少一个专家注释进一步训练所述神经网络。
20.根据权利要求19所述的方法，其中所述神经网络至少根据所述视网膜图像的各个区域的质量和等级来对所述视网膜图像的各个区域进行加权。
21.对眼睛图像进行分类的系统，包含：
输入，配置为接收至少一个眼睛图像；
存储器控制器，配置为存储信息，所述信息定义了根据至少一个客观分类标准，基于多个视网膜图像各个区域的至少一个专家注释训练的神经网络；
至少一个自动处理器，配置为：
将眼睛图像归一化；
将归一化的眼睛图像分割成多个区域；
使用至少一个包含定义的神经网络的分类器确定所述多个区域的眼部疾病向量；
根据确定的眼病向量，注释多个区域的每一个区域；和
至少基于所述注释，对接收到的眼睛图像按照至少两个等级进行评级；和
输出，配置为传达等级。
22.根据权利要求21所述的系统，其中所述神经网络包含多个隐含层。
23.根据权利要求22所述的系统，其中所述神经网络包含深度神经网络。
24.根据权利要求22所述的系统，其中所述神经网络包含卷积神经网络。
25.根据权利要求21所述的系统，其中所述神经网络包含递归神经网络，所述输入进一步配置为接收在与所述眼睛图像不同的时间获取的第二眼睛图像；并且所述至少一个自动处理器进一步配置为至少分析所述眼睛图像随时间的变化。
26.根据权利要求21所述的系统，其中基于视网膜图像的各个区域的质量的至少一个专家注释进一步训练所述神经网络。
27.根据权利要求21所述的系统，其中所述存储器进一步配置为存储视网膜图像的各个区域的质量的至少一个专家注释。
28.根据权利要求21所述的系统，其中所述至少一个分类器包含多类支持向量机分类器。
29.根据权利要求21所述的系统，其中所述至少一个分类器包含梯度提升分类器。
30.根据权利要求21所述的系统，其中所述至少一个分类器基于多个区域的眼部疾病向量对各个区域进行分类。
31.根据权利要求21所述的系统，其中所述至少一个分类器基于多个连续区域的眼部疾病向量对各个区域进行分类。
32.根据权利要求21所述的系统，其中所述至少一个分类器包含用于确定具有糖尿病性视网膜病变标记的区域的分类器。
33.根据权利要求21所述的系统，其中所述评级包含对糖尿病性视网膜病变的程度进行评级。
34.根据权利要求21所述的系统，其中所述评级伴随有所述评级的正确概率。
35.根据权利要求21所述的系统，其中所述正确概率包含I类错误概率和II类错误概率。
36.根据权利要求21所述的系统，其中所述输出进一步配置为输出表示所述眼睛图像区域的分类的图像。
37.根据权利要求21所述的系统，其中所述眼睛图像包含眼底图像，并且所述注释至少包含在各个眼底图像的各个区域内的糖尿病性视网膜病变的指示。
38.根据权利要求21所述的系统，其中所述眼睛图像包含血管图像。
39.根据权利要求38所述的系统，其中所述眼部疾病包含血管病变。
40.根据权利要求21所述的系统，其中至少基于所述注释，对接收到的眼睛图像按照至少三个不同等级进行评级。
41.根据权利要求21所述的系统，其中根据糖尿病性视网膜病变的程度对接收到的眼睛图像进行评级，每个标准化的糖尿病性视网膜病变评定量表至少有五个等级。
42.根据权利要求21所述的系统，其中基于视网膜图像的各个区域的质量的至少一个专家注释进一步训练所述神经网络。
43.根据权利要求42所述的系统，其中所述神经网络进一步配置为至少根据所述视网膜图像的各个区域的质量和等级对所述视网膜图像的各个区域进行加权。
44.一种计算机可读介质，存储用于控制至少一个自动处理器的指令，包含：
对接收到的眼睛图像进行归一化的指令；
将归一化的眼睛图像分割成多个区域的指令；
使用至少一个包含神经网络的分类器确定所述多个区域的眼部疾病向量的指令；
基于确定的眼部疾病向量，自动注释多个区域的每一个区域的指令；和
至少基于所述注释，自动对接收到的眼睛图像按照至少两个等级进行评级的指令，
其中，根据至少一个客观分类标准，基于眼睛图像各个区域的至少一个专家注释训练所述神经网络。
45.对视网膜图像是否存在视网膜病变进行分类的方法，包含：
接收眼底图像；
在至少一个三色刺激图像空间中对所述眼底图像进行自动归一化；
基于至少一个分割规则，将归一化的眼睛图像自动分割为多个区域；
使用至少一个包含神经网络的分类器自动确定所述多个区域的视网膜病变向量，所述神经网络基于包含至少一组具有区域专家视网膜病变注释的眼底图像的训练进行训练；
基于所确定的眼部疾病向量，自动标记所述多个区域中的每一个区域；
至少基于所述注释，按照至少两个视网膜病变等级，自动确定接收到的眼睛图像的视网膜病变等级；和
输出自动确定的视网膜病变等级。
46.对病理图像进行分类的方法，包含：
接收图像；
将所述图像归一化；
将归一化的图像分割成多个区域；
使用至少一个包含神经网络的分类器，自动确定所述多个区域的疾病向量；
基于确定的疾病向量自动标记所述多个区域中的每一个区域；和
至少基于所述注释，自动对接收到的图像进行评级，
其中，根据至少一个客观分类标准，基于图像各个区域的至少一个专家注释训练所述神经网络。
CN201880043113.6A 2017-04-27 2018-04-26 眼底图像自动分析系统和方法 Pending CN111095261A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762490977P 2017-04-27 2017-04-27
US62/490,977 2017-04-27
PCT/US2018/029605 WO2018200840A1 (en) 2017-04-27 2018-04-26 System and method for automated funduscopic image analysis

Publications (1)

Publication Number Publication Date
CN111095261A true CN111095261A (zh) 2020-05-01

Family

ID=62186545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043113.6A Pending CN111095261A (zh) 2017-04-27 2018-04-26 眼底图像自动分析系统和方法

Country Status (6)

Country Link
US (2) US10719936B2 (zh)
EP (1) EP3616120B1 (zh)
JP (1) JP2020518915A (zh)
CN (1) CN111095261A (zh)
BR (1) BR112019022447A2 (zh)
WO (1) WO2018200840A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN112465839A (zh) * 2020-12-10 2021-03-09 山东承势电子科技有限公司 一种基于数据增强的眼底图像病灶分割和定量分析方法
CN113299388A (zh) * 2021-05-12 2021-08-24 吾征智能技术(北京)有限公司 基于发热伴皮疹的跨模态医学生物特征认知疾病的系统
CN113344909A (zh) * 2021-07-01 2021-09-03 中国石油大学(北京) 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置
CN114511727A (zh) * 2021-12-14 2022-05-17 广东省建筑科学研究院集团股份有限公司 基于多尺度输入神经网络的建筑风场地面粗糙度识别方法
CN115082414A (zh) * 2022-07-08 2022-09-20 深圳市眼科医院 一种基于视觉质量分析的便携式检测方法和装置
CN116168255A (zh) * 2023-04-10 2023-05-26 武汉大学人民医院（湖北省人民医院） 一种长尾分布鲁棒的视网膜oct图像分类方法
CN116612339A (zh) * 2023-07-21 2023-08-18 中国科学院宁波材料技术与工程研究所 一种核性白内障图像分级模型的构建装置及分级装置

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209933A (zh) * 2014-08-25 2017-09-26 新加坡科技研究局 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统
EP3380859A4 (en) * 2015-11-29 2019-07-31 Arterys Inc. AUTOMATED SEGMENTATION OF CARDIAC VOLUME
CA3021795A1 (en) * 2016-05-13 2017-11-16 Basf Se System and method for detecting plant diseases
JP7036742B2 (ja) 2016-05-16 2022-03-15 キャスワークス リミテッド 血管評価システム
US11195313B2 (en) * 2016-10-14 2021-12-07 International Business Machines Corporation Cross-modality neural network transform for semi-automatic medical image annotation
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
WO2018140596A2 (en) 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN107358605B (zh) * 2017-05-04 2018-09-21 深圳硅基仿生科技有限公司 用于识别糖尿病视网膜病变的深度神经网络装置及系统
US11748877B2 (en) 2017-05-11 2023-09-05 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
EP3646240B1 (en) * 2017-06-26 2024-09-04 The Research Foundation for The State University of New York System, method, and computer-accessible medium for virtual pancreatography
US11200665B2 (en) * 2017-08-02 2021-12-14 Shanghai Sixth People's Hospital Fundus image processing method, computer apparatus, and storage medium
KR101977645B1 (ko) * 2017-08-25 2019-06-12 주식회사 메디웨일 안구영상 분석방법
US11037032B2 (en) * 2017-10-06 2021-06-15 Wisconsin Alumni Research Foundation Methods, systems, and media for detecting the presence of an analyte
CN107680684B (zh) * 2017-10-12 2021-05-07 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
US11093820B2 (en) 2017-10-19 2021-08-17 General Electric Company Image analysis using deviation from normal data
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
CA3078977A1 (en) * 2017-11-14 2019-05-23 Magic Leap, Inc. Fully convolutional interest point detection and description via homographic adaptation
EP3714467A4 (en) 2017-11-22 2021-09-15 Arterys Inc. CONTENT-BASED IMAGE RECOVERY FOR INJURY ANALYSIS
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
US11461599B2 (en) * 2018-05-07 2022-10-04 Kennesaw State University Research And Service Foundation, Inc. Classification of images based on convolution neural networks
US10902586B2 (en) * 2018-05-08 2021-01-26 International Business Machines Corporation Automated visual recognition of a microcalcification
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US10943346B2 (en) 2018-05-21 2021-03-09 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
CN110648303B (zh) * 2018-06-08 2022-07-26 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
KR102354980B1 (ko) * 2018-06-11 2022-01-24 사회복지법인 삼성생명공익재단 전안부 질환 진단 시스템 및 이를 이용한 진단 방법
CN109686423A (zh) * 2018-11-06 2019-04-26 众安信息技术服务有限公司 一种医疗影像标注方法及系统
CN109523524B (zh) * 2018-11-07 2020-07-03 电子科技大学 一种基于集成学习的眼底图像硬性渗出检测方法
WO2020107167A1 (zh) * 2018-11-26 2020-06-04 深圳先进技术研究院 乳腺密度自动分级方法及装置
CN109727256B (zh) * 2018-12-10 2020-10-27 浙江大学 一种基于玻尔兹曼和目标先验知识的图像分割识别方法
CA3122544A1 (en) * 2018-12-12 2020-06-18 Tesseract Health, Inc. Biometric identification systems and associated devices
CN109602391A (zh) * 2019-01-04 2019-04-12 平安科技（深圳）有限公司 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN110021009B (zh) * 2019-01-18 2023-07-21 平安科技（深圳）有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN109902717A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 病灶自动识别方法、装置及计算机可读存储介质
US11068694B2 (en) 2019-01-23 2021-07-20 Molecular Devices, Llc Image analysis system and method of using the image analysis system
CN109872322A (zh) * 2019-02-27 2019-06-11 电子科技大学 一种基于级联检测模型的核性白内障病变区域定位方法
WO2020186222A1 (en) * 2019-03-13 2020-09-17 The Board Of Trustees Of The University Of Illinois Supervised machine learning based multi-task artificial intelligence classification of retinopathies
US11583188B2 (en) * 2019-03-18 2023-02-21 General Electric Company Automated detection and localization of bleeding
US20220157470A1 (en) 2019-03-19 2022-05-19 Jean Philippe SYLVESTRE Method and system for identifying subjects who are potentially impacted by a medical condition
WO2020198380A1 (en) 2019-03-26 2020-10-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN110060258B (zh) * 2019-03-27 2021-05-04 山东师范大学 基于高斯混合模型聚类的视网膜sd-oct图像分割方法和装置
US11074479B2 (en) 2019-03-28 2021-07-27 International Business Machines Corporation Learning of detection model using loss function
WO2020200087A1 (en) * 2019-03-29 2020-10-08 Ai Technologies Inc. Image-based detection of ophthalmic and systemic diseases
US12079994B2 (en) 2019-04-01 2024-09-03 Cathworks Ltd. Methods and apparatus for angiographic image selection
CN109977905B (zh) * 2019-04-04 2021-08-06 北京百度网讯科技有限公司 用于处理眼底图像的方法和装置
CN110136140A (zh) * 2019-04-16 2019-08-16 上海鹰瞳医疗科技有限公司 眼底图像血管影像分割方法及设备
US12050830B2 (en) * 2019-04-25 2024-07-30 Dolby Laboratories Licensing Corporation Content-aware PQ range analyzer and tone mapping in live feeds
CN110211094B (zh) * 2019-05-06 2023-05-26 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质
WO2020243333A1 (en) 2019-05-30 2020-12-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for generating multi-class models from single-class datasets
US12232813B2 (en) * 2019-05-31 2025-02-25 Nidek Co., Ltd. Ophthalmic image processing device, ophthalmic image processing program, and ophthalmic image processing system
US11915826B2 (en) * 2019-06-07 2024-02-27 Welch Allyn, Inc. Digital image screening and/or diagnosis using artificial intelligence
EP3864617A1 (en) * 2019-06-25 2021-08-18 Owkin, Inc. Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment
TWI702615B (zh) * 2019-07-26 2020-08-21 長佳智能股份有限公司 視網膜病變評估模型建立方法及系統
WO2021041068A1 (en) * 2019-08-30 2021-03-04 Google Llc Predicting disease progression from tissue images and tissue segmentation maps
KR20210035381A (ko) * 2019-09-23 2021-04-01 삼성에스디에스 주식회사 의료 진단 방법 및 장치
WO2021059165A1 (en) 2019-09-23 2021-04-01 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
WO2021067833A1 (en) * 2019-10-02 2021-04-08 Memorial Sloan Kettering Cancer Center Deep multi-magnification networks for multi-class image segmentation
EP4049287A1 (en) * 2019-10-25 2022-08-31 F. Hoffmann-La Roche AG Machine-learning techniques for prediction of future visual acuity
CN110910371A (zh) * 2019-11-22 2020-03-24 北京理工大学 基于生理指标和影像融合的肝肿瘤自动分类方法及装置
CN110992364B (zh) * 2019-12-31 2023-11-28 重庆艾可立安医疗器械有限公司 视网膜图像识别方法、装置、计算机设备和存储介质
US11222201B2 (en) 2020-04-14 2022-01-11 International Business Machines Corporation Vision-based cell structure recognition using hierarchical neural networks
US11734576B2 (en) * 2020-04-14 2023-08-22 International Business Machines Corporation Cooperative neural networks with spatial containment constraints
CN115552477A (zh) 2020-05-01 2022-12-30 奇跃公司 采用施加的分层归一化的图像描述符网络
US11875480B1 (en) * 2020-05-15 2024-01-16 Verily Life Sciences Llc Distinguishing artifacts from pathological features in digital images
CN113706375A (zh) * 2020-05-20 2021-11-26 佛吉亚歌乐电子(厦门)有限公司 一种图像拼接装置及方法
CN111754486B (zh) * 2020-06-24 2023-08-15 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
EP4208856A1 (en) 2020-08-13 2023-07-12 PAIGE.AI, Inc. Systems and methods to process electronic images for continuous biomarker prediction
JP7575216B2 (ja) 2020-08-25 2024-10-29 株式会社トプコン 眼科画像処理装置、眼科装置、画質評価方法及びプログラム
CN112001848B (zh) * 2020-09-07 2022-04-26 鹏祥智慧保安有限公司 大数据监控系统中的图像识别拼接方法及系统
US12079987B2 (en) * 2020-09-19 2024-09-03 The Cleveland Clinic Foundation Automated quality assessment of ultra-widefield angiography images
CN114254146B (zh) * 2020-09-21 2025-03-18 京东方科技集团股份有限公司 图像数据的分类方法、装置和系统
CN112184697B (zh) * 2020-10-15 2022-10-04 桂林电子科技大学 基于果蝇优化算法的糖尿病视网膜病变分级深度学习方法
CN112330624A (zh) * 2020-11-02 2021-02-05 腾讯科技（深圳）有限公司 医学图像处理方法和装置
CN112734697B (zh) * 2020-12-24 2024-05-28 沈阳东软智能医疗科技研究院有限公司 图像处理方法、装置、存储介质和电子设备
CN112651938B (zh) * 2020-12-24 2023-12-19 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
US20220207732A1 (en) * 2020-12-28 2022-06-30 Seyed Ehsan Vaghefi Rezaei Systems and methods for processing of fundus images
US12079311B2 (en) * 2021-01-08 2024-09-03 Salesforce, Inc. AI-enhanced data labeling
JP7629310B2 (ja) 2021-01-29 2025-02-13 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN113128565B (zh) * 2021-03-25 2022-05-06 之江实验室 面向预训练标注数据不可知的图像自动标注系统和装置
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
US12067726B2 (en) * 2021-05-06 2024-08-20 Vestel Elektronik Sanayi Ve Ticaret A.S. Retina image annotation, and related training methods and image processing models
CN113378794B (zh) * 2021-07-09 2024-11-19 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法
CN113768460B (zh) * 2021-09-10 2023-11-14 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN113850804B (zh) * 2021-11-29 2022-03-18 北京鹰瞳科技发展股份有限公司 基于生成对抗网络的视网膜图像生成系统及方法
KR20240148399A (ko) * 2022-02-10 2024-10-11 캐스웍스 엘티디. 기계 학습 기반 센서 분석 및 혈관 트리 분할을 위한 시스템 및 방법
USD1064287S1 (en) * 2022-03-14 2025-02-25 O/D Vision Inc. Consumer electronics device
US12257025B2 (en) 2022-03-14 2025-03-25 O/D Vision Inc. AI enabled multisensor connected telehealth system
CN114742094A (zh) * 2022-03-17 2022-07-12 同济大学 一种基于深度形态卷积网络的振动信号缺陷特征提取方法
EP4530627A1 (en) * 2022-05-23 2025-04-02 NEC Corporation Image processing device, image processing method, and program
CN114943845B (zh) * 2022-05-23 2024-08-02 天津城建大学 一种领域图片细粒度分类识别方法及系统
CN114998369A (zh) * 2022-06-13 2022-09-02 依未科技(温州)有限公司 图像处理方法、装置、存储介质及电子设备
WO2024011236A1 (en) * 2022-07-08 2024-01-11 Arcscan, Inc. Using artificial intelligence to detect and monitor glaucoma
CN115018852B (zh) * 2022-08-10 2022-12-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN115082459A (zh) * 2022-08-18 2022-09-20 北京鹰瞳科技发展股份有限公司 对用于屈光度检测的检测模型进行训练的方法及相关产品
CN115587979B (zh) * 2022-10-10 2023-08-15 山东财经大学 基于三阶段注意力网络的糖尿病视网膜病变分级的方法
CN117173222B (zh) * 2023-09-01 2024-07-19 深圳扬奇医芯智能科技有限公司 一种基于扩散模型的配准方法及系统
CN118781127A (zh) * 2024-09-13 2024-10-15 山东黄海智能装备有限公司 一种眼底检查图像处理优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458772A (zh) * 2011-04-07 2013-12-18 香港中文大学 视网膜图像分析方法和装置
US20170039689A1 (en) * 2013-10-22 2017-02-09 Eyenuk, Inc. Systems and methods for enhancement of retinal images

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784162A (en) 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US6198532B1 (en) 1991-02-22 2001-03-06 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
US6088099A (en) 1996-10-30 2000-07-11 Applied Spectral Imaging Ltd. Method for interferometer based spectral imaging of moving objects
US6276798B1 (en) 1998-09-29 2001-08-21 Applied Spectral Imaging, Ltd. Spectral bio-imaging of the eye
US6943153B1 (en) 1999-03-15 2005-09-13 The Regents Of The University Of California Use of recombinant gene delivery vectors for treating or preventing diseases of the eye
WO2002015818A2 (en) 2000-08-23 2002-02-28 Philadelphia Ophthalmologic Imaging Systems, Inc. System and method for tele-ophthalmology
AU2002346611A1 (en) 2001-12-03 2003-06-17 The Regents Of The University Of California Expression of glial-derived neurotrophic factor for treatment of diseases of the eye
US7433532B2 (en) 2002-05-01 2008-10-07 Kestrel Corporation Max entropy optimized retinal camera
US6895264B2 (en) 2002-08-26 2005-05-17 Fovioptics Inc. Non-invasive psychophysical measurement of glucose using photodynamics
AU2003265831A1 (en) 2002-08-29 2004-03-19 Kestrel Corporation Hyperspectral imaging of the human retina
WO2004036182A2 (en) 2002-10-17 2004-04-29 Control Delivery Systems, Inc. Methods for monitoring treatment of disease
US20100172871A1 (en) 2005-02-17 2010-07-08 Flannery John G Muller Cell Specific Gene Therapy
CA2601677A1 (en) 2005-03-11 2006-09-21 Genentech, Inc. Gene disruptions, compositions and methods relating thereto
US7474775B2 (en) 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
US8098907B2 (en) 2005-07-01 2012-01-17 Siemens Corporation Method and system for local adaptive detection of microaneurysms in digital fundus images
ZA200800970B (en) 2005-08-15 2009-10-28 Genentech Inc Gene disruptions, compositions and methods relating thereto
US8114843B2 (en) 2005-11-18 2012-02-14 The Regents Of The University Of California Photoreactive regulator of protein function and methods of use thereof
US7712898B2 (en) 2006-04-03 2010-05-11 University Of Iowa Research Foundation Methods and systems for optic nerve head segmentation
WO2008150840A1 (en) 2007-05-29 2008-12-11 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images
US8194936B2 (en) 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
CN102112044A (zh) 2008-05-14 2011-06-29 科学、技术与研究机构 自动杯盘比测量系统
US8896682B2 (en) 2008-12-19 2014-11-25 The Johns Hopkins University System and method for automated detection of age related macular degeneration and other retinal abnormalities
US8303115B2 (en) 2009-05-28 2012-11-06 Annidis Health Systems Corp. Method and system for retinal health management
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
BR112013013123A2 (pt) 2010-11-26 2018-06-19 Univ Johannesburg Witwatersrand dispositivo de entrega de fármaco
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
US20150379708A1 (en) 2010-12-07 2015-12-31 University Of Iowa Research Foundation Methods and systems for vessel bifurcation detection
EP2554662A1 (en) 2011-08-05 2013-02-06 M Maria Pia Cosma Methods of treatment of retinal degeneration diseases
US9849034B2 (en) 2011-11-07 2017-12-26 Alcon Research, Ltd. Retinal laser surgery
US9545196B2 (en) 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US9867988B2 (en) 2012-08-29 2018-01-16 Arizona Board Of Regents On Behalf Of The University Of Arizona Apparatus for electrical stimulation of a cell and method of use
US20140276025A1 (en) 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Multimodal integration of ocular data acquisition and analysis
US20140314288A1 (en) 2013-04-17 2014-10-23 Keshab K. Parhi Method and apparatus to detect lesions of diabetic retinopathy in fundus images
GB201308131D0 (en) 2013-05-07 2013-06-12 London School Hygiene & Tropical Medicine Ophthalmoscope
US9905008B2 (en) 2013-10-10 2018-02-27 University Of Rochester Automated fundus image field detection and quality assessment
US9836849B2 (en) 2015-01-28 2017-12-05 University Of Florida Research Foundation, Inc. Method for the autonomous image segmentation of flow systems
CN108140141B (zh) 2015-08-15 2019-09-06 易享信息技术有限公司 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
WO2018045363A1 (en) * 2016-09-02 2018-03-08 Gargeya Rishab Screening method for automated detection of vision-degenerative diseases from color fundus images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458772A (zh) * 2011-04-07 2013-12-18 香港中文大学 视网膜图像分析方法和装置
US20170039689A1 (en) * 2013-10-22 2017-02-09 Eyenuk, Inc. Systems and methods for enhancement of retinal images

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN112465839A (zh) * 2020-12-10 2021-03-09 山东承势电子科技有限公司 一种基于数据增强的眼底图像病灶分割和定量分析方法
CN113299388B (zh) * 2021-05-12 2023-09-29 吾征智能技术(北京)有限公司 基于发热伴皮疹的跨模态医学生物特征认知疾病的系统
CN113299388A (zh) * 2021-05-12 2021-08-24 吾征智能技术(北京)有限公司 基于发热伴皮疹的跨模态医学生物特征认知疾病的系统
CN113344909A (zh) * 2021-07-01 2021-09-03 中国石油大学(北京) 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置
CN113344909B (zh) * 2021-07-01 2023-12-08 中国石油大学(北京) 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置
CN114511727A (zh) * 2021-12-14 2022-05-17 广东省建筑科学研究院集团股份有限公司 基于多尺度输入神经网络的建筑风场地面粗糙度识别方法
CN115082414A (zh) * 2022-07-08 2022-09-20 深圳市眼科医院 一种基于视觉质量分析的便携式检测方法和装置
CN115082414B (zh) * 2022-07-08 2023-01-06 深圳市眼科医院 一种基于视觉质量分析的便携式检测方法和装置
CN116168255A (zh) * 2023-04-10 2023-05-26 武汉大学人民医院（湖北省人民医院） 一种长尾分布鲁棒的视网膜oct图像分类方法
CN116168255B (zh) * 2023-04-10 2023-12-08 武汉大学人民医院（湖北省人民医院） 一种长尾分布鲁棒的视网膜oct图像分类方法
CN116612339A (zh) * 2023-07-21 2023-08-18 中国科学院宁波材料技术与工程研究所 一种核性白内障图像分级模型的构建装置及分级装置
CN116612339B (zh) * 2023-07-21 2023-11-14 中国科学院宁波材料技术与工程研究所 一种核性白内障图像分级模型的构建装置及分级装置

Also Published As

Publication number Publication date
WO2018200840A9 (en) 2018-11-29
US20180315193A1 (en) 2018-11-01
US10719936B2 (en) 2020-07-21
EP3616120B1 (en) 2024-09-04
BR112019022447A2 (pt) 2020-06-09
EP3616120C0 (en) 2024-09-04
WO2018200840A1 (en) 2018-11-01
US20200349710A1 (en) 2020-11-05
JP2020518915A (ja) 2020-06-25
EP3616120A1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
EP3616120B1 (en) System and method for automated funduscopic image analysis
Jiang et al. A review of deep learning-based multiple-lesion recognition from medical images: classification, detection and segmentation
US20240135517A1 (en) Systems and methods for automated processing of retinal images
Khandouzi et al. Retinal vessel segmentation, a review of classic and deep methods
US11883099B2 (en) Noninvasive techniques for identifying choroidal neovascularization in retinal scans
Asadi et al. Efficient breast cancer detection via cascade deep learning network
WO2022208060A2 (en) Medical image analysis using neural networks
Xiao et al. Major automatic diabetic retinopathy screening systems and related core algorithms: a review
Mathews et al. A comprehensive review on automated systems for severity grading of diabetic retinopathy and macular edema
Sankari et al. Automated diagnosis of Retinopathy of prematurity from retinal images of preterm infants using hybrid deep learning techniques
Priya et al. Detection and grading of diabetic retinopathy in retinal images using deep intelligent systems: a comprehensive review
Hassan et al. Developing a novel methodology by integrating deep learning and hmm for segmentation of retinal blood vessels in fundus images
Sridhar et al. Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images
Pavani et al. Robust semantic segmentation of retinal fluids from SD-OCT images using FAM-U-Net
Yakut et al. A hybrid fusion method combining spatial image filtering with parallel channel network for retinal vessel segmentation
Vij et al. Modified deep inductive transfer learning diagnostic systems for diabetic retinopathy severity levels classification
Datta et al. An integrated fundus image segmentation algorithm for multiple eye ailments
Rajarajeshwari et al. Application of artificial intelligence for classification, segmentation, early detection, early diagnosis, and grading of diabetic retinopathy from fundus retinal images: A comprehensive review
Janakiraman et al. Reliable IoT-based health-care system for diabetic retinopathy diagnosis to defend the vision of patients
Brown et al. Deep learning for computer-aided diagnosis in ophthalmology: a review
Irianto et al. Fuzzy Deep Learning Approach for the Early Detection of Degenerative Disease.
Bhardwaj et al. A computational framework for diabetic retinopathy severity grading categorization using ophthalmic image processing
Khandolkar et al. Survey on Techniques for Diabetic Retinopathy Detection & Classification
Basreddy et al. Preprocessing, Feature Extraction, and Classification Methodologies on Diabetic Retinopathy Using Fundus Images
Biglarbeiki Improving Classification and Segmentation of Choroidal Lesions by Addressing Data Limitations with Patch-Based Approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200501