[go: up one dir, main page]

CN111815633A - 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 - Google Patents

医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 Download PDF

Info

Publication number
CN111815633A
CN111815633A CN202010932124.9A CN202010932124A CN111815633A CN 111815633 A CN111815633 A CN 111815633A CN 202010932124 A CN202010932124 A CN 202010932124A CN 111815633 A CN111815633 A CN 111815633A
Authority
CN
China
Prior art keywords
classification
classification result
patches
tumor cells
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010932124.9A
Other languages
English (en)
Inventor
陈培林
邢艺释
唐融融
叶亦舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Siludi Medical Laboratory Co ltd
Original Assignee
Shanghai Siludi Medical Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Siludi Medical Laboratory Co ltd filed Critical Shanghai Siludi Medical Laboratory Co ltd
Priority to CN202010932124.9A priority Critical patent/CN111815633A/zh
Publication of CN111815633A publication Critical patent/CN111815633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质，所述医用图像诊断装置包括：接收单元，其配置成接收病理图像；划分单元，其配置成将所述病理图像划分成多个小块；以及判断单元，包括：第一分类模型单元，其配置成将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；第二分类模型单元，其配置成将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；并且所述判断单元根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。

Description

医用图像诊断装置、图像处理装置和方法、判断单元以及存储 介质
技术领域
本发明涉及利用机器学习识别图像的区域类型的领域，更具体地，涉及医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质。
背景技术
在肿瘤治疗领域，免疫疗法是目前最重要的治疗手段。其中，PD-L1是临床中非常重要的药物作用靶点，针对PD-L1的免疫治疗已经有多个药物在多个国家批准上市，这些药物包括帕博丽珠单抗、纳武单抗等。在临床实践中，PD-L1的表达已经作为一个免疫治疗相关药物的生物标记物而得到广泛使用。使用免疫组化染色可以评估肿瘤组织中PD-L1表达。
PD-L1的表达由具有丰富经验的病理医生进行评估。对病理医生来说，该评估过程既耗时，也具有不稳定的主观性。而且，肿瘤组织存在的异质性、PD-L1在一些非肿瘤细胞中的表达、以及病理医生之间存在的主观性等因素都有可能对准确PD-L1表达的判定造成一定的挑战。
发明内容
本发明旨在提供一种利用机器学习识别图像的区域类型的机制，该机制通过将预定类别的小块进行第二级分类来提高预测的准确性，具体而言：
根据本发明的一方面，提供一种医用图像诊断装置，包括：接收单元，其配置成接收病理图像；划分单元，其配置成将所述病理图像划分成多个小块；以及判断单元，其包括：第一分类模型单元，其配置成将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；第二分类模型单元，其配置成将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；并且所述判断单元根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，所述第一分类结果包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
根据本发明的一些实施例，可选地，所述预定类别为PD-L1阳性表达的肿瘤细胞。
根据本发明的一些实施例，可选地，所述第二分类结果为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类。
根据本发明的一些实施例，可选地，所述第二分类结果包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%。
根据本发明的一些实施例，可选地，所述病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。
根据本发明的一些实施例，可选地，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。
根据本发明的一些实施例，可选地，根据所述第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。
根据本发明的一些实施例，可选地，若所述第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。
根据本发明的一些实施例，可选地，所述第一分类结果还包括分类预测概率，其中：所述第二分类模型单元将分类为所述第一分类结果中的预定类别且所述分类预测概率大于预定值的小块进行第二级分类；和/或所述判断单元根据所述第一分类结果中所述分类预测概率大于所述预定值的小块确定所述病理属性。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，所述多个小块中的至少部分为所述多个小块中信息熵大于预定值的小块。
根据本发明的另一方面，提供一种图像处理装置，包括：接收单元，其配置成接收病理图像；划分单元，其配置成将所述病理图像划分成多个小块；以及判断单元，其包括：第一分类模型单元，其配置成将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；第二分类模型单元，其配置成将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；并且所述判断单元根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，所述第一分类结果包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
根据本发明的一些实施例，可选地，所述预定类别为PD-L1阳性表达的肿瘤细胞。
根据本发明的一些实施例，可选地，所述第二分类结果为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类。
根据本发明的一些实施例，可选地，所述第二分类结果包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%。
根据本发明的一些实施例，可选地，所述病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。
根据本发明的一些实施例，可选地，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。
根据本发明的一些实施例，可选地，根据所述第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。
根据本发明的一些实施例，可选地，若所述第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。
根据本发明的一些实施例，可选地，所述第一分类结果还包括分类预测概率，其中：所述第二分类模型单元将分类为所述第一分类结果中的预定类别且所述分类预测概率大于预定值的小块进行第二级分类；和/或所述判断单元根据所述第一分类结果中所述分类预测概率大于所述预定值的小块确定所述病理属性。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，所述多个小块中的至少部分为所述多个小块中信息熵大于预定值的小块。
根据本发明的另一方面，提供一种图像处理方法，包括步骤：接收病理图像；将所述病理图像划分成多个小块；将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；以及根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，所述第一分类结果包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
根据本发明的一些实施例，可选地，所述预定类别为PD-L1阳性表达的肿瘤细胞。
根据本发明的一些实施例，可选地，所述第二分类结果为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类。
根据本发明的一些实施例，可选地，所述第二分类结果包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%。
根据本发明的一些实施例，可选地，所述病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。
根据本发明的一些实施例，可选地，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。
根据本发明的一些实施例，可选地，根据所述第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。
根据本发明的一些实施例，可选地，若所述第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。
根据本发明的一些实施例，可选地，所述第一分类结果还包括分类预测概率，其中：该方法包括：将分类为所述第一分类结果中的预定类别且所述分类预测概率大于预定值的小块进行第二级分类；和/或根据所述第一分类结果中所述分类预测概率大于所述预定值的小块确定所述病理属性。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，所述多个小块中的至少部分为所述多个小块中信息熵大于预定值的小块。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置，其特征在于，所述装置包括：第一分类模型单元，其配置成根据PD-L1免疫组化染色图像样本集进行训练，其中所述样本集按照图像小块进行第一级分类标注；以及第二分类模型单元，其配置成根据所述第一级分类标注中的预定分类标注的第二级分类标注进行训练。
根据本发明的一些实施例，可选地，所述第一级分类标注包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
根据本发明的一些实施例，可选地，所述预定分类标注为PD-L1阳性表达的肿瘤细胞。
根据本发明的一些实施例，可选地，所述第二级分类标注为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类标注。
根据本发明的一些实施例，可选地，所述第一分类模型单元仅根据信息熵大于预定值的小块进行训练。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置训练方法，所述判断装置包括第一分类模型单元和第二分类模型单元，其特征在于，所述方法包括：根据PD-L1免疫组化染色图像样本集训练所述第一分类模型单元，其中所述样本集按照图像小块进行第一级分类标注；以及根据所述第一级分类标注中的预定分类标注的第二级分类标注训练所述第二分类模型单元。
根据本发明的一些实施例，可选地，所述第一级分类标注包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
根据本发明的一些实施例，可选地，所述预定分类标注为PD-L1阳性表达的肿瘤细胞。
根据本发明的一些实施例，可选地，所述第二级分类标注为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类标注。
根据本发明的一些实施例，可选地，所述第一分类模型单元仅根据信息熵大于预定值的小块进行训练。
根据本发明的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种图像处理方法。
根据本发明的另一方面，提供一种医用图像诊断装置，其包括：如上文所述的任意一种计算机可读存储介质；以及处理器，其配置成执行所述计算机可读存储介质中存储的指令。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明的一个实施例的医用图像诊断装置。
图2示出了根据本发明的一个实施例的小块分类机制。
图3示出了根据本发明的一个实施例的小块分类机制。
图4示出了根据本发明的一个实施例的图像处理装置。
图5示出了根据本发明的一个实施例的图像处理方法。
图6示出了根据本发明的一个实施例的用于医用图像诊断的判断装置。
图7示出了根据本发明的一个实施例的用于医用图像诊断的判断装置训练方法。
图8示出了根据本发明的一个实施例的医用图像诊断装置的示意图。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质。
由于人工智能技术的发展，用人工智能技术来解决复杂的医学图像识别问题具有巨大的临床应用价值。利用机器分析病理图片具有较高的可重复性，能定量或半定量分析结果，且能减少病理医生的重复工作，辅助病理医生提高结果的准确性和可靠性。
利用人工智能技术来判定病理图片中PD-L1表达主要用到的方法分两大类：传统的机器学习方法和深度学习方法。传统的机器学习方法是根据人为设定的细胞形态等特征对病理图片进行分类。传统的机器学习方法来分析PD-L1表达情况依赖人工选择的特征进行分类，无法做到很好的自动化。
深度学习方法是利用大量的训练图片，从中学习到分类的特征，利用这些特征自动对目标进行分类，可以实现端对端的过程。但是，建立深度学习模型需要大量的图片作为训练，训练图片的不足会导致模型的准确性不足，而大量的高质量的医学图片往往很难获得。目前研究利用深度学习的方法进行PD-L1表达的分析都是采用单一的算法，准确性的提高依赖大量的训练图片。
在本发明的上下文中，每一次针对小块的分类都会产生与该次分类对应的预测概率，这一预测概率被称为分类预测概率，分类预测概率越高表明分类的准确性越高。
在本发明的上下文中，尽管描述成分类为PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织，这些描述可能是对图像小块的归类。例如，将小块归类为“PD-L1阳性表达的肿瘤细胞”表明此小块为PD-L1阳性表达的肿瘤细胞的小块。
在本发明的上下文中记载中多种类型的预定值，这些不同类型的预定值在数值上、单位上、量纲上不一定相同。
根据本发明的一方面，提供一种医用图像诊断装置。如图1所示，医用图像诊断装置10包括接收单元102、划分单元104和判断单元106。其中，接收单元102被配置成接收病理图像。接收单元102所接收的病理图像是指能够反映病灶有无或者病灶特征的图像，在本发明的上下文中，这类图像可以是原始取得的（例如，直接通过传感器对组织成像获得），也可以是二次加工得到的（例如，对原始组织切片经过着色后再通过传感器成像获得）。这类病理图像传统上一般也可以通过专家人工诊断，但是如前文所记载的，人工评估过程既耗时，也具不稳定的主观性。而且病理特征存在的异质性、病理医生之间存在的主观性等因素都有可能对病理特征的判定造成一定的影响。此外，病理图像可以是实时获取的，也可以是事先存储供接收单元102调用的。
医用图像诊断装置10的划分单元104被配置成将病理图像划分成多个小块。如下文将详细描述的，判断单元106中的第一分类模型单元、第二分类模型单元都是基于小块（patch）标准进行预测的，因而有必要事先对图像进行预处理，以构建判断单元106可以直接处理的内容。在其他示例中，也可以将划分单元104和判断单元106以单个模块的形式实现，这种方案也应视为落入本发明的权利要求的保护范围。本发明不限定划分单元104所划分的小块的大小，例如，根据需要的精确度、效率以及其他限制条件，小块可能为128×128或者256×256（以像素计，下同）。
医用图像诊断装置10的判断单元106包括第一分类模型单元和第二分类模型单元，此处的分类模型可以基于神经网络、支持向量机等分类模型，并且第一分类模型单元和第二分类模型单元在构造上不一定相同或者相似。第一分类模型单元被配置成将多个小块中的至少部分进行第一级分类以获得第一分类结果。在一些示例中，第一分类模型单元可以对所有图像小块进行第一级分类；在其他示例中，也可以对满足特定要求的图像小块进行第一级分类，借此可以剔除对预测可能产生干扰的小块或者其他不适合作为预测依据的小块。由于是对整张全片中的每一个图像小块或者筛选的一些小块进行分类，因而可以规避目标区域（肿瘤区域）检测可能存在的不稳定性。图像小块相对单个细胞包含更多信息，这种更大粒度的分析避免了单个细胞差异性太大引起的预测偏差。
除了具体的分类类别外，第一分类结果还可以包括分类的其他属性，例如划分到某个类别的概率等。
判断单元106的第二分类模型单元被配置成将分类为第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果。第一分类结果可以包括诸多分类，例如，在一些示例中针对PD-L1表达的第一分类结果可以为PD-L1阳性表达的肿瘤细胞小块（或称为PD-L1阳性表达的肿瘤细胞、TP小块）、PD-L1阴性表达的肿瘤细胞小块（或称为PD-L1阴性表达的肿瘤细胞、TN小块）、PD-L1阳性表达的免疫细胞小块（或称为PD-L1阳性表达的免疫细胞、IP小块）以及其他组织小块（或称为其他组织、OT小块）。图2示出了一个TP小块20，TP小块20的大小例如可以为128×128。
预定类别是从以上描述的第一分类结果中选取的某一种或者某几种类别，例如，预定类别可以是PD-L1阳性表达的肿瘤细胞或者PD-L1阴性表达的肿瘤细胞。第二分类模型单元将对预定类别的小块进行第二级分类，例如，若预定类别是PD-L1阳性表达的肿瘤细胞，那么第二分类模型单元可以将PD-L1阳性表达的肿瘤细胞继续划分成PD-L1阳性表达的肿瘤细胞-A属、PD-L1阳性表达的肿瘤细胞-B属、PD-L1阳性表达的肿瘤细胞-C属等，这些细化的类别构成了第二分类结果。又如，若预定类别是PD-L1阴性表达的肿瘤细胞，那么第二分类模型单元可以将PD-L1阴性表达的肿瘤细胞继续划分成保留的TN小块、舍弃的TN小块。第二级分类在第一级分类基础上对预定类别进行了再细化。
除了具体的分类类别外，第二分类结果也可以包括分类的其他属性，例如划分到某个类别的概率等。
进一步地，医用图像诊断装置10的判断单元106根据第一分类结果和第二分类结果确定病理图像的病理属性。由于第二级分类在第一级分类基础上对预定类别进行了再细化，因而可以将第一分类结果与第二分类结果结合用于预测。具体而言，例如可以在第一分类结果的基础上利用第二分类结果作为影响因子参与最终病理属性的预测。第二分类结果作为影响因子的表现形式例如可以为：第二分类结果作为加权因子对第一分类结果进行权重指派、第二分类结果作为调整参数来调整第一分类结果的权重、第二分类结果作为筛选标准来挑选适格的第一分类结果等。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片（whole slide images, WSIs）。然后，可以将整张数字切片例如切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。若以128×128的小块大小进行分割，医用图像诊断装置10的划分单元104可以将这张图像划分成64个小块。需要说明的是，以上关于病理图像的示例仅在于说明本发明的原理，使用中可能需要根据实际条件限制以及需要达到的预测效果来调整制备过程中的诸元参数，下同。
根据本发明的一些实施例，预定类别为PD-L1阳性表达的肿瘤细胞。本发明的一些示例主要关注PD-L1阳性表达的肿瘤细胞，因而可以对PD-L1阳性表达的肿瘤细胞进行细分，并据此确定病理图像的病理属性。根据本发明的一些实施例，第二分类结果为PD-L1阳性表达的肿瘤细胞按面积占比的分类。由此，第二级分类在第一级分类将小块判定为TP小块的基础上，进一步根据PD-L1阳性表达的肿瘤细胞所占据小块的面积对小块进行细分。根据本发明的一些实施例，第二分类结果可以包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，以此可以将第一级分类判定为TP小块进一步划分为3种子类。图3示出了一种小块分类结果，PD-L1免疫组化染色图像30的一部分小块（黑色）被归类为PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%的小块304、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%的小块301和303、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%的小块302。
根据本发明的一些实施例，病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。例如，作为病理属性的计算值的TPS值可以通过下式计算：
Figure DEST_PATH_IMAGE002
上式中，TP1、TP2…TPn是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比进行第二级分类的TP小块（第二分类结果）。根据本发明的一些实施例，根据第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。上式中β是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比给予的特定系数（例如，β1、β2…βn分别为0.5、0.25…0.125），上式中各类别名均代表该类别中的图像小块数量。可见，上式中通过将相应类别的小块数量与β系数的乘积相加来计算PD-L1阳性表达的肿瘤细胞的小块的数量加权求和。根据本发明的一些实施例，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。如上式所示，在本发明的一些示例中，总的肿瘤细胞小块包括了第一级分类归为TP小块和TN小块，上式中TP、TN分别表示TP小块、TN小块的数量。
根据本发明的一些实施例，若第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。例如，若第二分类结果包括PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，那么上式可以改写成：
Figure DEST_PATH_IMAGE004
此时，TP0、TP1和TP2分别表示PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%这三个类别的小块，那么β1、β2和β3可以分别为0.25、0.5和1。
根据本发明的一些实施例，第一分类结果还包括分类预测概率，需要说明的是，这里的分类预测概率是与第一分类结果中的分类类别一一关联的，对每一个小块的归类都会产生相应的分类预测概率。在一些示例中，第二分类模型单元仅将第一级分类为第一分类结果中的预定类别，并且该次分类的分类预测概率大于预定值的小块进行第二级分类，从而可以保证预测可信度。替代地或者附加地，判断单元106可以仅根据第一分类结果中分类预测概率大于预定值的小块确定病理属性。
根据本发明的一些实施例，第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。在具体示例中，第一分类模型单元可以为GooLeNet、VGG-16、VGG-19或者ResNet，本领域技术人员可以根据实际从其中需要选取。
根据本发明的一些实施例，上文已经描述了“第一分类模型单元被配置成将多个小块中的至少部分进行第一级分类以获得第一分类结果”，多个小块中的至少部分可以为多个小块中信息熵大于预定值的小块，通过这种方式可以去除没有组织细胞的区域，从而提高预测的效率。
根据本发明的另一方面，提供一种图像处理装置。如图4所示，图像处理装置40包括接收单元402、划分单元404和判断单元406。其中，接收单元402被配置成接收病理图像。图像处理装置40的接收单元402可以实现与医用图像诊断装置10包括接收单元102相似的功能。病理图像可以是实时获取的，也可以是事先存储供接收单元402调用的。
图像处理装置40的划分单元404被配置成将病理图像划分成多个小块。图像处理装置40的划分单元404可以实现与医用图像诊断装置10包括划分单元104相似的功能。判断单元406中的第一分类模型单元、第二分类模型单元都是基于小块标准进行预测的，因而有必要事先对图像进行预处理，以构建判断单元406可以直接处理的内容。
图像处理装置40的判断单元406包括第一分类模型单元和第二分类模型单元，此处的分类模型可以基于神经网络、支持向量机等分类模型，并且第一分类模型单元和第二分类模型单元在构造上不一定相同或者相似。图像处理装置40的接收单元判断单元406可以实现与医用图像诊断装置10包括判断单元106相似的功能。第一分类模型单元被配置成将多个小块中的至少部分进行第一级分类以获得第一分类结果。由于是对整张全片中的每一个图像小块或者筛选的一些小块进行分类，因而可以规避目标区域（肿瘤区域）检测可能存在的不稳定性。图像小块相对单个细胞包含更多信息，这种更大粒度的分析避免了单个细胞差异性太大引起的预测偏差。
除了具体的分类类别外，第一分类结果还可以包括分类的其他属性，例如划分到某个类别的概率等。
第二分类模型单元被配置成将分类为第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果。第一分类结果可以包括诸多分类，例如，在一些示例中针对PD-L1表达的第一分类结果可以为PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织，图2示出了一个TP小块20。
预定类别是从以上描述的第一分类结果中选取的某一种或者某几种类别，例如，预定类别可以是PD-L1阳性表达的肿瘤细胞或者PD-L1阴性表达的肿瘤细胞。第二分类模型单元将对预定类别的小块进行第二级分类，例如，若预定类别是PD-L1阳性表达的肿瘤细胞，那么第二分类模型单元可以将PD-L1阳性表达的肿瘤细胞继续划分成PD-L1阳性表达的肿瘤细胞-A属、PD-L1阳性表达的肿瘤细胞-B属、PD-L1阳性表达的肿瘤细胞-C属等，这些细化的类别构成了第二分类结果。又如，若预定类别是PD-L1阴性表达的肿瘤细胞，那么第二分类模型单元可以将PD-L1阴性表达的肿瘤细胞继续划分成保留的TN小块、舍弃的TN小块。第二级分类在第一级分类基础上对预定类别进行了再细化。
除了具体的分类类别外，第二分类结果也可以包括分类的其他属性，例如划分到某个类别的概率等。
进一步地，图像处理装置40的判断单元406根据第一分类结果和第二分类结果确定病理图像的病理属性。由于第二级分类在第一级分类基础上对预定类别进行了再细化，因而可以将第一分类结果与第二分类结果结合用于预测。具体而言，例如可以在第一分类结果的基础上利用第二分类结果作为影响因子参与最终病理属性的预测。第二分类结果作为影响因子的表现形式例如可以为：第二分类结果作为加权因子对第一分类结果进行权重指派、第二分类结果作为调整参数来调整第一分类结果的权重、第二分类结果作为筛选标准来挑选适格的第一分类结果等。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片。然后，可以将整张数字切片切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。若以128×128的小块大小进行分割，图像处理装置40的划分单元404可以将这张图像划分成64个小块。
根据本发明的一些实施例，预定类别为PD-L1阳性表达的肿瘤细胞。本发明的一些示例主要关注PD-L1阳性表达的肿瘤细胞，因而可以对PD-L1阳性表达的肿瘤细胞进行细分，并据此确定病理图像的病理属性。根据本发明的一些实施例，第二分类结果为PD-L1阳性表达的肿瘤细胞按面积占比的分类。由此，第二级分类在第一级分类将小块判定为TP小块的基础上，进一步根据PD-L1阳性表达的肿瘤细胞所占据小块的面积对小块进行细分。根据本发明的一些实施例，第二分类结果可以包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，以此可以将第一级分类判定为TP小块进一步划分为3种子类。图3示出了一种小块分类结果，PD-L1免疫组化染色图像30的一部分小块（黑色）被归类为PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%的小块304、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%的小块301和303、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%的小块302。
根据本发明的一些实施例，病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。例如，作为病理属性的计算值的TPS值可以通过下式计算：
Figure DEST_PATH_IMAGE002A
上式中，TP1、TP2…TPn是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比进行第二级分类的TP图像小块（第二分类结果）。根据本发明的一些实施例，根据第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。上式中β是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比给予的特定系数（例如，β1、β2…βn分别为0.5、0.25…0.125），上式中各类别名均代表该类别中的图像小块数量。可见，上式中通过将相应类别的小块数量与β系数的乘积相加来计算PD-L1阳性表达的肿瘤细胞的小块的数量加权求和。根据本发明的一些实施例，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。如上式所示，在本发明的一些示例中，总的肿瘤细胞小块包括了第一级分类归为TP小块和TN小块，上式中TP、TN分别表示TP小块、TN小块的数量。
根据本发明的一些实施例，若第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。例如，若第二分类结果包括PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，那么上式可以改写成：
Figure DEST_PATH_IMAGE004A
此时，TP0、TP1和TP2分别表示PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%这三个类别的小块，那么β1、β2和β3可以分别为0.25、0.5和1。
根据本发明的一些实施例，第一分类结果还包括分类预测概率，第二分类模型单元仅将第一级分类为第一分类结果中的预定类别，并且该次分类的分类预测概率大于预定值的小块进行第二级分类，从而可以保证预测可信度。替代地或者附加地，判断单元106可以仅根据第一分类结果中分类预测概率大于预定值的小块确定病理属性。
根据本发明的一些实施例，第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。在具体示例中，第一分类模型单元可以为GooLeNet、VGG-16、VGG-19或者ResNet，本领域技术人员可以根据实际从其中需要选取。
根据本发明的一些实施例，上文已经描述了“第一分类模型单元被配置成将多个小块中的至少部分进行第一级分类以获得第一分类结果”，多个小块中的至少部分可以为多个小块中信息熵大于预定值的小块，通过这种方式可以去除没有组织细胞的区域，从而提高预测的效率。
根据本发明的另一方面，提供一种图像处理方法。如图5所示，图像处理方法50包括如下步骤。在步骤S502中接收病理图像。病理图像是指能够反映病灶有无或者病灶特征的图像，其可以是原始取得的，也可以是二次加工得到的。此外，病理图像可以是实时获取的，也可以是事先存储供调用的。
在步骤S504中将病理图像划分成多个小块。分类模型单元可以是基于小块标准进行预测的，因而有必要事先对图像进行预处理，以构建分类模型单元可以直接处理的内容。本发明不限定所划分的小块的大小，例如，根据需要的精确度、效率以及其他限制条件，小块可能为128×128或者256×256。
在步骤S506中将多个小块中的至少部分进行第一级分类以获得第一分类结果。在一些示例中，可以对所有图像小块进行第一级分类；在其他示例中，也可以对满足特定要求的图像小块进行第一级分类，借此可以剔除对预测可能产生干扰的小块或者其他不适合作为预测依据的小块。由于是对整张全片中的每一个图像小块或者筛选的一些小块进行分类，因而可以规避目标区域（肿瘤区域）检测可能存在的不稳定性。图像小块相对单个细胞包含更多信息，这种更大粒度的分析避免了单个细胞差异性太大引起的预测偏差。
除了具体的分类类别外，第一分类结果还可以包括分类的其他属性，例如划分到某个类别的概率等。
在步骤S508中将分类为第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果。第一分类结果可以包括诸多分类，例如，在一些示例中针对PD-L1表达的第一分类结果可以为TP小块、TN小块、IP小块以及OT小块。图2示出了一个TP小块20，TP小块20的大小例如可以为128×128。预定类别是从以上描述的第一分类结果中选取的某一种或者某几种类别，例如，预定类别可以是TP小块或者TN小块。在步骤S508中将对预定类别的小块进行第二级分类，例如，若预定类别是TP小块，那么第二分类模型单元可以将TP小块划分成TP小块-A属、TP小块-B属、TP小块-C属等，这些细化的类别构成了第二分类结果。又如，若预定类别是TN小块，那么第二分类模型单元可以将TN小块继续划分成保留的TN小块、舍弃的TN小块。第二级分类在第一级分类基础上对预定类别进行了再细化。
除了具体的分类类别外，第二分类结果也可以包括分类的其他属性，例如划分到某个类别的概率等。
在步骤S510中根据第一分类结果和第二分类结果确定病理图像的病理属性。由于第二级分类在第一级分类基础上对预定类别进行了再细化，因而可以将第一分类结果与第二分类结果结合用于预测。具体而言，例如可以在第一分类结果的基础上利用第二分类结果作为影响因子参与最终病理属性的预测。第二分类结果作为影响因子的表现形式例如可以为：第二分类结果作为加权因子对第一分类结果进行权重指派、第二分类结果作为调整参数来调整第一分类结果的权重、第二分类结果作为筛选标准来挑选适格的第一分类结果等。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片。然后，可以将整张数字切片切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。
根据本发明的一些实施例，预定类别为TP小块。本发明的一些示例主要关注PD-L1阳性表达的肿瘤细胞，因而可以对TP小块进行细分，并据此确定病理图像的病理属性。
根据本发明的一些实施例，第二分类结果为PD-L1阳性表达的肿瘤细胞按面积占比的分类。由此，第二级分类在第一级分类将小块判定为TP小块的基础上，进一步根据PD-L1阳性表达的肿瘤细胞所占据小块的面积对小块进行细分。根据本发明的一些实施例，第二分类结果包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，以此可以将第一级分类判定为TP小块进一步划分为3种子类。图3示出了一种小块分类结果，PD-L1免疫组化染色图像30的一部分小块（黑色）被归类为PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%的小块304、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%的小块301和303、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%的小块302。
根据本发明的一些实施例，病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。例如，作为病理属性的计算值的TPS值可以通过下式计算：
Figure DEST_PATH_IMAGE002AA
上式中，TP1、TP2…TPn是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比进行第二级分类的TP小块（第二分类结果）。根据本发明的一些实施例，根据第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。上式中β是根据PD-L1阳性表达的肿瘤细胞在图像小块中的面积占比给予的特定系数（例如，β1、β2…βn分别为0.5、0.25…0.125），上式中各类别名均代表该类别中的图像小块数量。可见，上式中通过将相应类别的小块数量与β系数的乘积相加来计算PD-L1阳性表达的肿瘤细胞的小块的数量加权求和。根据本发明的一些实施例，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。如上式所示，在本发明的一些示例中，总的肿瘤细胞小块包括了第一级分类归为TP小块和TN小块，上式中TP、TN分别表示TP小块、TN小块的数量。
根据本发明的一些实施例，若第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。例如，若第二分类结果包括PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%，那么上式可以改写成：
Figure DEST_PATH_IMAGE004AA
此时，TP0、TP1和TP2分别表示PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%这三个类别的小块，那么β1、β2和β3可以分别为0.25、0.5和1。
根据本发明的一些实施例，第一分类结果还包括分类预测概率，需要说明的是，这里的分类预测概率是与第一分类结果中的分类类别一一关联的，对每一个小块的归类都会产生相应的分类预测概率。在一些示例中，可以仅将第一级分类为第一分类结果中的预定类别，并且该次分类的分类预测概率大于预定值的小块进行第二级分类，从而可以保证预测可信度。替代地或者附加地，可以仅根据第一分类结果中分类预测概率大于预定值的小块确定病理属性。
根据本发明的一些实施例，第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。在具体示例中，第一分类模型单元可以为GooLeNet、VGG-16、VGG-19或者ResNet，本领域技术人员可以根据实际从其中需要选取。
根据本发明的一些实施例，上文已经描述了在步骤S506中将多个小块中的至少部分进行第一级分类以获得第一分类结果，具体地，多个小块中的至少部分可以为多个小块中信息熵大于预定值的小块，通过这种方式可以去除没有组织细胞的区域，从而提高预测的效率。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置。如图6所示，判断装置60包括第一分类模型单元602和第二分类模型单元604。其中，第一分类模型单元602被配置成根据PD-L1免疫组化染色图像样本集进行训练。染色图像样本集是按照图像小块进行第一级分类标注的，具体而言，还可以包括如下的预处理步骤：
首先，读取诸如tiff格式之类的数字切片图像（抗体为22C3），将其切割为不重叠的尺寸为的图像小块，包括但不限于128×128、256×256（像素）。例如，可以为每一种分类标注选取6800张不重叠的128×128像素大小的图像小块，并按照8:2:1的比例划分为训练图像、校验图像和测试图像。
其次，对所有的图像小块计算香农信息熵，仅保留信息熵大于设定值的图像小块作为待分类图像。根据本发明的一些实施例，第一分类模型单元602仅根据信息熵大于预定值的小块进行训练。
再次，对数字切片图像全片计算对数空间染色矢量，以及该全片染色矢量与标准染色矢量间夹角作为染色强度的估计。
根据本发明的一些实施例，第一级分类标注包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。在完成预处理流程后，针对图像小块的这四种分类标注训练卷积神经网络。
可以准备大量标注的数据集作为训练、验证和测试集的源域，本公开的一些示例可以采用卷积神经网络（包括但不限于GooLeNet、VGG16、ResNet等神经网络模型）进行图像小块的分类预测，预测结果可以包括图像小块的类别以及分类预测概率。
第二分类模型单元604被配置成根据第一级分类标注中的预定分类标注的第二级分类标注进行训练。根据本发明的一些实施例，预定分类标注为PD-L1阳性表达的肿瘤细胞。针对分类标注为PD-L1阳性表达的肿瘤细胞图像小块，可根据图像小块中阳性肿瘤细胞的面积占比进一步将其分为不同的亚类，因此，根据本发明的一些实施例，第二级分类标注为PD-L1阳性表达的肿瘤细胞按面积占比的分类标注。在一些示例中，可以为每一种第二级分类标注选取500张不重叠的128×128像素大小的图像小块，并按照8:1:1的比例划分为训练图像、校验图像和测试图像。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置训练方法。判断装置包括第一分类模型单元和第二分类模型单元，参见图7，训练方法70包括如下步骤。在步骤S702中可以根据PD-L1免疫组化染色图像样本集训练第一分类模型单元，样本集按照图像小块进行第一级分类标注的，具体而言，还可以包括如下的预处理步骤：
首先，读取诸如tiff格式之类的数字切片图像，将其切割为不重叠的尺寸为的图像小块，包括但不限于128×128、256×256（像素）。例如，可以为每一种分类标注选取6800张不重叠的128×128像素大小的图像小块，并按照8:2:1的比例划分为训练图像、校验图像和测试图像。
其次，对所有的图像小块计算香农信息熵，仅保留信息熵大于设定值的图像小块作为待分类图像。根据本发明的一些实施例，第一分类模型单元仅根据信息熵大于预定值的小块进行训练。
再次，对数字切片图像全片计算对数空间染色矢量，以及该全片染色矢量与标准染色矢量间夹角作为染色强度的估计。
根据本发明的一些实施例，第一级分类标注包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。在完成预处理流程后，针对图像小块的这四种分类标注训练卷积神经网络。
可以准备大量标注的数据集作为训练、验证和测试集的源域，本公开的一些示例可以采用卷积神经网络（包括但不限于GooLeNet、VGG16、ResNet等神经网络模型）进行图像小块的分类预测，预测结果可以包括图像小块的类别以及分类预测概率。
在步骤S704中可以根据第一级分类标注中的预定分类标注的第二级分类标注训练第二分类模型单元。根据本发明的一些实施例，预定分类标注为PD-L1阳性表达的肿瘤细胞。针对分类标注为PD-L1阳性表达的肿瘤细胞图像小块，可根据图像小块中阳性肿瘤细胞的面积占比进一步将其分为不同的亚类，因此，根据本发明的一些实施例，第二级分类标注为PD-L1阳性表达的肿瘤细胞按面积占比的分类标注。在一些示例中，可以为每一种第二级分类标注选取500张不重叠的128×128像素大小的图像小块，并按照8:1:1的比例划分为训练图像、校验图像和测试图像。
以上用于医用图像诊断的判断装置、用于医用图像诊断的判断装置训练方法都可能涉及卷积神经网络的训练，训练卷积神经网络的具体过程的一个示例可以包括如下步骤。
（1）选取一个深度学习开发平台，实现卷积神经网络。例如，在Python开发环境中，以Keras/tensorflow为框架实现VGG16网络模型。载入通过ImageNet预训练的权重参数，保证网络对于一般的图像分类问题具备一定的预测能力。冻结设定的神经网络卷积层，开放其余的卷积层使用训练图像和校验图像进行迁移学习。根据分类任务设计全连接层作为最终输出层与上述网络进行组合，形成最终的网络结构。
（2）对（1）中所述的卷积神经网络进行微调，选用合适的优化函数及其他参数。例如，选取随机梯度下降（Stochastic Gradient Descent）作为优化函数，网络学习率（Learning Rate）可以设定为0.01。
根据本发明的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种图像处理方法。本发明中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、EPROM、E2PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的，盘（disk）和碟（disc）包括紧致碟（CD）、激光碟、光碟、数字多用途光碟（DVD）、软盘和蓝光碟，其中盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
根据本发明的另一方面，提供一种医用图像诊断装置。如图8所示，医用图像诊断装置80包括如上文所述的任意一种计算机可读存储介质802和处理器804。其中，处理器804被配置成执行计算机可读存储介质中存储的指令。需要说明的是，医用图像诊断装置80还可以包括其他部件，出于清楚说明本发明的原理角度考虑，这些部件并未示出。
实验验证情况
经验证，采用本公开中的神经网络算法，在100个验证样本中，算法得到的TPS的判读结果与人工的读数具有较高的一致性，且引入多成卷积神经网络对图像进行更细的TP图像小块的细致分类，可进一步提到判断PD-L1表达的准确性（神经网络模型1预测结果）。神经网络模型2为没有引入TP图像小块细致分类的模型的预测结果。
Figure DEST_PATH_IMAGE010
综上所述，本发明对PD-L1表达水平的判定基于数字切片全片中所有不重叠的图像小块，不依赖对于肿瘤组织的目标检测准确率，更能准确的反映染色数字切片全片的PD-L1表达水平。本发明采用大量数据训练卷积神经网络对图像小块进行分类，克服了组织切片中细胞形态异质性太大造成分割和分类的困难。同时诸如卷积神经网络可以提取更多的高层特征，相比使用形态学有限的可解释性特征能够更好地对数字切片进行分割和分类。特别地，引入多成卷积神经网络对图像进行更细的TP小块的细致分类，可进一步提到判断PD-L1表达的准确性。
以上例子主要说明了本发明的医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (29)

1.一种医用图像诊断装置，其特征在于，所述装置包括：
接收单元，其配置成接收病理图像；
划分单元，其配置成将所述病理图像划分成多个小块；以及
判断单元，其包括：
第一分类模型单元，其配置成将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；
第二分类模型单元，其配置成将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；并且
所述判断单元根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
2.根据权利要求1所述的装置，所述病理图像为PD-L1免疫组化染色图像。
3.根据权利要求2所述的装置，所述第一分类结果包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
4.根据权利要求3所述的装置，所述预定类别为PD-L1阳性表达的肿瘤细胞。
5.根据权利要求4所述的装置，所述第二分类结果为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类。
6.根据权利要求5所述的装置，所述第二分类结果包括：PD-L1阳性表达的肿瘤细胞面积占比大于0且小于等于25%、PD-L1阳性表达的肿瘤细胞面积占比大于25%且小于等于50%、PD-L1阳性表达的肿瘤细胞面积占比大于50%且小于等于100%。
7.根据权利要求5所述的装置，所述病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。
8.根据权利要求7所述的装置，总的肿瘤细胞小块包括划分成PD-L1阳性表达的肿瘤细胞的小块与划分成PD-L1阴性表达的肿瘤细胞的小块。
9.根据权利要求8所述的装置，根据所述第二分类结果为每个划分成PD-L1阳性表达的肿瘤细胞的小块分别配置权重。
10.根据权利要求9所述的装置，若所述第二分类结果中PD-L1阳性表达的肿瘤细胞按面积占比越高，则对应的小块权重越大。
11. 根据权利要求1-10中任一项所述的装置，所述第一分类结果还包括分类预测概率，其中：
所述第二分类模型单元将分类为所述第一分类结果中的预定类别且所述分类预测概率大于预定值的小块进行第二级分类；和/或
所述判断单元根据所述第一分类结果中所述分类预测概率大于所述预定值的小块确定所述病理属性。
12.根据权利要求1-10中任一项所述的装置，所述第一分类模型单元包括：GooLeNet、VGG-16、VGG-19、ResNet。
13.根据权利要求1-10中任一项所述的装置，所述多个小块中的至少部分为所述多个小块中信息熵大于预定值的小块。
14.一种图像处理装置，其特征在于，所述装置包括：
接收单元，其配置成接收病理图像；
划分单元，其配置成将所述病理图像划分成多个小块；以及
判断单元，其包括：
第一分类模型单元，其配置成将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；
第二分类模型单元，其配置成将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；并且
所述判断单元根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
15.根据权利要求14所述的装置，所述病理图像为PD-L1免疫组化染色图像。
16.根据权利要求15所述的装置，所述第一分类结果包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
17.根据权利要求16所述的装置，所述预定类别为PD-L1阳性表达的肿瘤细胞。
18.根据权利要求17所述的装置，所述第二分类结果为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类。
19.根据权利要求18所述的装置，所述病理属性为划分成PD-L1阳性表达的肿瘤细胞的小块的数量加权求和与总的肿瘤细胞小块的数量的比值。
20. 根据权利要求14-19中任一项所述的装置，所述第一分类结果还包括分类预测概率，其中：
所述第二分类模型单元将分类为所述第一分类结果中的预定类别且所述分类预测概率大于预定值的小块进行第二级分类；和/或
所述判断单元根据所述第一分类结果中所述分类预测概率大于所述预定值的小块确定所述病理属性。
21.根据权利要求14-19中任一项所述的装置，所述多个小块中的至少部分为所述多个小块中信息熵大于预定值的小块。
22.一种图像处理方法，其特征在于，所述方法包括：
接收病理图像；
将所述病理图像划分成多个小块；
将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；
将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；以及
根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
23. 一种用于医用图像诊断的判断装置，其特征在于，所述装置包括：
第一分类模型单元，其配置成根据PD-L1免疫组化染色图像样本集进行训练，其中所述样本集按照图像小块进行第一级分类标注；以及
第二分类模型单元，其配置成根据所述第一级分类标注中的预定分类标注的第二级分类标注进行训练。
24.根据权利要求23所述的装置，所述第一级分类标注包括：PD-L1阳性表达的肿瘤细胞、PD-L1阴性表达的肿瘤细胞、PD-L1阳性表达的免疫细胞以及其他组织。
25.根据权利要求24所述的装置，所述预定分类标注为PD-L1阳性表达的肿瘤细胞。
26.根据权利要求25所述的装置，所述第二级分类标注为所述PD-L1阳性表达的肿瘤细胞按面积占比的分类标注。
27.根据权利要求23-26中任一项所述的装置，所述第一分类模型单元仅根据信息熵大于预定值的小块进行训练。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如下方法：
接收病理图像；
将所述病理图像划分成多个小块；
将所述多个小块中的至少部分进行第一级分类以获得第一分类结果；
将分类为所述第一分类结果中的预定类别的小块进行第二级分类，以获得第二分类结果；以及
根据所述第一分类结果和所述第二分类结果确定所述病理图像的病理属性。
29. 一种医用图像诊断装置，其特征在于，所述装置包括：
如权利要求28所述的计算机可读存储介质；以及
处理器，其配置成执行所述计算机可读存储介质中存储的指令。
CN202010932124.9A 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 Pending CN111815633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932124.9A CN111815633A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932124.9A CN111815633A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Publications (1)

Publication Number Publication Date
CN111815633A true CN111815633A (zh) 2020-10-23

Family

ID=72860033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010932124.9A Pending CN111815633A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Country Status (1)

Country Link
CN (1) CN111815633A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033287A (zh) * 2021-01-29 2021-06-25 杭州依图医疗技术有限公司 病理图像的显示方法及装置
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质
AT525533A1 (de) * 2021-11-02 2023-05-15 West Medica Produktions Und Handels Gmbh Verfahren und System zur Analyse einer Blutprobe

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165801A1 (en) * 2016-03-24 2017-09-28 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技（深圳）有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN111369512A (zh) * 2020-02-28 2020-07-03 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111461165A (zh) * 2020-02-26 2020-07-28 上海商汤智能科技有限公司 图像识别方法、识别模型的训练方法及相关装置、设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165801A1 (en) * 2016-03-24 2017-09-28 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技（深圳）有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN111192678A (zh) * 2019-10-31 2020-05-22 上海杏脉信息科技有限公司 病理显微图像诊断、模型训练方法、装置、设备及介质
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN111461165A (zh) * 2020-02-26 2020-07-28 上海商汤智能科技有限公司 图像识别方法、识别模型的训练方法及相关装置、设备
CN111369512A (zh) * 2020-02-28 2020-07-03 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
美康: "肺癌PD-L1判读和检测", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/49808279》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033287A (zh) * 2021-01-29 2021-06-25 杭州依图医疗技术有限公司 病理图像的显示方法及装置
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质
CN113554131B (zh) * 2021-09-22 2021-12-03 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质
AT525533A1 (de) * 2021-11-02 2023-05-15 West Medica Produktions Und Handels Gmbh Verfahren und System zur Analyse einer Blutprobe
AT525533B1 (de) * 2021-11-02 2023-06-15 West Medica Produktions Und Handels Gmbh Verfahren und System zur Analyse einer Blutprobe

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN111448582B (zh) 用于单通道全细胞分割的系统和方法
EP3218843B1 (en) Classifying nuclei in histology images
JP2022527145A (ja) 予測的組織パターン特定のためのマルチプルインスタンスラーナ
JP4948647B2 (ja) 尿中粒子画像の領域分割方法及び装置
JP2018503906A (ja) イムノスコア計算における共発現解析のためのシステム及び方法
CN111815633A (zh) 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
US9779499B2 (en) Grading of glandular tissue cancer by detailed image analysis of stained tissue slices
CN112215790A (zh) 基于深度学习的ki67指数分析方法
Lopez et al. Clustering methods applied in the detection of Ki67 hot‐spots in whole tumor slide images: An efficient way to characterize heterogeneous tissue‐based biomarkers
CN112819821A (zh) 一种细胞核图像检测方法
JP7214756B2 (ja) ステイン集合体における信号の定量
CN112543934A (zh) 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统
CN108510004A (zh) 一种基于深度残差网络的细胞分类方法及系统
JP2023513022A (ja) 生体試料中のオブジェクトの体系的特性評価
US20180357816A1 (en) Automated Method of Predicting Efficacy of Immunotherapy Approaches
Ciurte et al. Automatic detection of circulating tumor cells in darkfield microscopic images of unstained blood using boosting techniques
Shu et al. Marker controlled superpixel nuclei segmentation and automatic counting on immunohistochemistry staining images
US20230162485A1 (en) Digital analysis of preanalytical factors in tissues used for histological staining
WO2024083692A1 (en) Toxicity prediction of compounds in cellular structures
CN112329807A (zh) 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
Shimoni et al. Normalized polarization ratios for the analysis of cell polarity
EP4431903A1 (en) Blood smear monolayer detection
US12229948B2 (en) Sensitivity analysis for digital pathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication