[go: up one dir, main page]

CN113628157A - 利用病理图像来表征肿瘤微环境的系统和方法 - Google Patents

利用病理图像来表征肿瘤微环境的系统和方法 Download PDF

Info

Publication number
CN113628157A
CN113628157A CN202011190079.0A CN202011190079A CN113628157A CN 113628157 A CN113628157 A CN 113628157A CN 202011190079 A CN202011190079 A CN 202011190079A CN 113628157 A CN113628157 A CN 113628157A
Authority
CN
China
Prior art keywords
histology
staining system
image
segmentation
based staining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011190079.0A
Other languages
English (en)
Inventor
肖光华
谢阳
荣瑞辰
王诗丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Texas System
Original Assignee
University of Texas System
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Texas System filed Critical University of Texas System
Publication of CN113628157A publication Critical patent/CN113628157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本文讨论和要求保护的实施方式提供了用于表征患者的患者组织的系统和方法。在一种实施方式中，接收患者组织的病理图像。使用基于组织学的染色系统同时对病理图像中的多个细胞的核进行分割和分类。多个细胞的核根据空间位置进行分割，并根据细胞类型进行分类，从而产生一组或多组核。一组或多组核中的每一个都具有确定的细胞类型。基于一组或多组核确定患者组织的肿瘤微环境的组成和空间组织。基于肿瘤微环境的组成和空间组织生成患者的预后模型。

Description

利用病理图像来表征肿瘤微环境的系统和方法
对政府支持的承认
无
技术领域
本公开内容涉及通过从病理图像定量肿瘤微环境来表征患者组织的系统和方法，更具体地涉及一种基于组织学的染色系统，其使用深度学习在肿瘤微环境中以更高的准确性识别细胞并生成预后模型以预测患者预后并优化患者治疗。
背景技术
通常基于对患者的组织样本的载玻片检查来诊断癌症。苏木精和曙红(H&E)染色的组织载玻片扫描通过产生病理学图像以帮助此类检查，所述病理学图像以高分辨率捕获患者组织的组织学细节。但是，分析这些高分辨率图像以了解患者组织的肿瘤微环境(TME)以进行临床确定通常是不切实际的。更具体地，为了理解TME，载玻片图像中包含的数百万个细胞由专家病理学家手动标记，导致浪费大量资源并浪费了宝贵的时间。另外，在病理学图像分析中，将三维组织结构捕获为二维图像，以使细胞在病理学图像中看起来彼此接触或重叠。因此，除其他问题外，通过图像分割技术自动识别细胞的常规尝试通常是不完整或不准确的。尤其是考虑到这些观察，构思和开发了本公开的各个方面。
附图说明
为了描述可以获得本公开的优点和特征的方式，参考在附图中示出的其实施方式。本领域的技术人员将理解，以下附图中的附图标记在整个图1-10中重复，以表示相同或基本相同的特征。应理解的是，这些附图仅描绘了本公开的示例性实施方式，因此不应被认为是对其范围的限制，本文的原理通过使用附图以附加的特异性和细节来描述和解释。
图1是示出了用于表征包括肿瘤微环境的患者组织的示例系统的框图。
图2示出了从示例病理学图像的感兴趣区域提取图像斑块之后的细胞核分割。
图3示出了患者组织和特征化的肿瘤微环境的示例性病理学图像，所述肿瘤微环境包括在细胞核分割和分类之后患者组织的组成和空间组织。
图4描绘了使用基于蒙版区域的卷积神经网络对示例病理学图像进行的细胞核分割和分类。
图5示出了从示例核空间组织中提取拓扑特征以表征肿瘤微环境。
图6示出了基于病理模型生成的预测的高风险组和低风险组的示例图。
图7示出了用于表征患者的患者组织的示例操作。
图8是可以实现本公开的技术的各方面的示例网络环境。
图9是电子设备的功能框图，该电子设备包括被布置为执行本公开的技术的各种操作的操作单元。
图10是可以实现本文讨论的各种系统和方法的示例计算系统。
具体实施方式
应领会到许多具体细节被阐述以便提供对本文所述实施方式的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述方法、过程和组件，以免混淆所描述的有关的相关特征。而且，该描述不应当被认为是对这里描述的实施方式的范围的限制。
本公开的方面通常涉及基于组织学的染色系统，其利用人工智能对病理学图像进行数字化染色并表征肿瘤微环境(TME)并预测患者的临床结果。一方面，基于组织学的染色系统应用学习后的基于蒙版区域的卷积神经网络(Mask R-CNN)来同时对患者组织的病理学图像中的细胞核进行分割和分类。病理学图像可以是患者组织的载玻片图像或来自载玻片图像的感兴趣区域的斑块。在进行核分割和分类之后，生成了特征化的肿瘤微环境，包括患者组织细胞的组成和空间组织，根据特征化的肿瘤微环境生成了患者的预后模型，以了解患者的生存结果和临床治疗结果。另外，基于细胞的组成和空间组织来确定与生物途径的基因表达的相关性。
因此，本公开的技术通常从患者的病理学图像中剖析TME，并使用不同细胞类型的空间组织来预测患者的生存率并确定与生物学途径的基因表达的关联。因此，本公开的技术协助病理学家诊断不同类型的癌症和淋巴结转移，并定量表征肿瘤浸润淋巴细胞的空间分布，从而预测患者对免疫疗法的反应。此外，结合临床实践，本公开的技术：减少了病理学家在分析病理学图像以识别可能是小肿瘤细胞的时间，从而加快诊断和治疗；根据预测的患者预后优化个体患者的治疗；并根据淋巴细胞的空间分布及其与肿瘤区域的相互作用预测治疗结果，包括患者对免疫疗法的反应，从而进一步优化患者治疗。
本文公开的各种系统和方法通常使用基于组织学的染色系统从患者的病理学图像中表征肿瘤微环境。本文讨论的示例实施方式涉及肺组织和某些细胞类型以及癌症。然而，本领域技术人员将理解，本公开的技术可应用于其他类型的组织、细胞类型和癌症。
为了开始对用于表征包括肿瘤微环境的患者组织的示例系统100进行详细描述，请参考图1。在一种实施方式中，系统100包括配置为接收一个或多个病理学图像104的基于组织学的染色系统102。可以使用苏木精和曙红(H&E)染色的组织载玻片扫描装置或类似的扫描仪、成像仪和/或试剂盒来捕获病理学图像104。因而，病理学图像104可以包括H&E病理学图像以及患者组织的其他病理学图像。
每个病理学图像104包括患者的高分辨率的患者组织的组织学细节。患者组织包括多种不同类型的细胞。在用于癌症诊断或治疗的组织分析的语境中，病理学图像104包括用于肿瘤等级和亚型分类以及关于TME的信息，例如患者组织中不同类型的细胞的空间组织。
细胞空间组织揭示了细胞生长模式以及不同类型细胞之间的空间相互作用，这提供了对肿瘤进展和转移的洞察。例如，肿瘤浸润淋巴细胞(TIL)的空间组织和架构可能单独或与不同类型的细胞之间的相互作用有关地影响TME。
恶性组织中的主要细胞类型包括肿瘤细胞、基质细胞、淋巴细胞和巨噬细胞。基质细胞主要是结缔组织细胞，例如成纤维细胞和周细胞。肿瘤细胞与基质细胞之间的相互作用可能会显著影响癌症的进展和转移抑制。TIL主要是已经迁移到肿瘤区域的白细胞。它们是不同类型细胞的混合物，其中T细胞是最丰富的种群。TIL的空间组织与多种肿瘤类型的患者预后和分子谱相关联。巨噬细胞是炎性细胞，肿瘤壁龛中的炎症可能是预后标志物，并与肿瘤进展相关。TME中存在的其他组织和细胞结构包括血管和坏死。
在一种实施方式中，基于组织学的染色系统102检查病理学图像104以自动对不同类型的细胞核进行分割和分类。在H&E染色的病理学图像中，肿瘤细胞和基质细胞的细胞边界通常不清楚。因此，基于组织学的染色系统102对细胞核而不是整个细胞进行分割和分类。此外，基于组织学的染色系统102分别分割血细胞和核碎裂以表示血管和坏死，以量化血管和坏死并表征它们与肿瘤细胞、基质细胞、淋巴细胞和巨噬细胞的相互作用。
通常，基于组织学的染色系统102在计算上对不同类型的细胞核染色，以帮助与诊断和治疗优化有关的组织图像的检查，以及表征和研究TME。换句话说，基于组织学的染色系统102生成特征化的TME 106，其可用于生成预后模型108。
在一种实施方式中，基于组织学的染色系统102利用深度学习架构来同时对细胞核进行分割和分类。例如，基于组织学的染色系统102可以利用Mask R-CNN架构。在分割和分类期间，基于组织学的染色系统102为病理学图像104中的细胞核的每个实例生成边界框和分割蒙版。更具体地，在一个示例中，基于组织学的染色系统102生成正锚和负锚以及病理学图像104中的锚框细化，提供对检测框的锚排序和过滤。在第二阶段中结合病理学图像104中的细胞核细化边界框。基于组织学的染色系统102生成蒙版，其相对于边界框被缩放并放置在病理学图像104上。使用基于区域的方法，基于组织学的染色系统102根据细胞核在病理学图像104中的空间位置对细胞核进行分割，并针对每个核分类细胞类型。
使用Mask R-CNN架构，基于组织学的染色系统102检测病理学图像104中每个核的特定形状、空间位置和细胞类型。在一种实施方式中，基于组织学的染色系统102创建用于细胞核的逐个像素蒙版，以提供对病理学图像104中组成和空间组织的增强理解。换句话说，基于组织学的染色系统102为病理图像104中除了蒙版之外的每个核生成类标签和边界框坐标。在一个实施方式中，基于组织学的染色系统102包括特征金字塔网络，该特征金字塔网络从病理学图像104提取特征图，该特征图经过区域提议网络(RPN)。应用RPN预测在病理学图像104的区域中是否存在核，从而返回候选提议。基于组织学的染色系统102应用感兴趣区域(ROI)汇集层并将所有提议转换为相同形状，并且提议通过全连接网络传递以预测类标签和边界框。另外，基于组织学的染色系统102通过去卷积层为每个核生成分割蒙版。基于边界框和分割蒙版的组合，基于组织学的染色系统102为每个包含核的区域添加一个蒙版。预测病理学图像104中所有核的蒙版以分割细胞的核，从而提供被分割和分类的核，利用其生成特征化的TME 106和预后模型108。
为了使基于组织学的染色系统102的Mask R-CNN架构同时对病理学图像104中的细胞核进行分割和分类，使用训练病理学图像110来训练基于组织学的染色系统102。在一种实施方式中，训练病理学图像110包括由专业病理学家手动标记的不同患者组织的病理学图像。例如，肺腺癌(ADC)患者的病理学图像104可以用于训练基于组织学的染色系统102，其中由专家病理学家在训练病理学图像110中人工标记肿瘤细胞、基质细胞、淋巴细胞、巨噬细胞、血细胞和核碎裂的细胞核。
通过训练，基于病理学图像104的邻域内的范围广泛的特征图，包括颜色、大小和纹理，自动学习基于组织学的染色系统102以识别不同的核。在训练基于组织学的染色系统102时，同时对病理学图像104进行分割和分类以识别细胞类型和细胞空间位置。从识别出的细胞类型和细胞空间位置，可以通过基于组织学的染色系统102得出细胞空间组织特征，以生成特征化的TME 106。
在某些情况下，与TME相关的图像特征可能与患者的整体生存率显著相关。因此，基于这些图像特征，特征化的TME 106被用于生成一个或多个患者的预后模型108。在一种实施方式中，预后模型108包括指示患者生存结果的风险评分112。风险评分112可以与可能将患者分配到的一个或多个风险组相关联。使用示例肺部ADC患者，使用病理学数据独立验证病理模型108，其中预测的高风险组的生存率表现得明显低于低风险组(pv＝0.001)，调整临床变量后，风险比为2.23[1.37-[3.65]。此外，基于特征化的TME 106，图像来源的TME特征可能与生物学途径的基因表达相关。例如，T细胞受体(TCR)和程序性细胞死亡蛋白1(PD1)途径的转录激活可能与肿瘤组织中检测到的淋巴细胞密度呈正相关，而细胞外基质组织途径的表达可能与基质细胞密度呈正相关。
如本文所讨论的，基于组织学的染色系统102基于肿瘤组织中不同类型的细胞的空间组织来生成特征化的TME 106。换句话说，基于组织学的染色系统102的全面核分割和分类以从病理学图像104(例如H&E染色的病理学图像)生成特征化的TME 106。基于组织学的染色系统102因此以计算方式对病理学图像104中的不同类型的细胞核进行染色。
在一种实施方式中，基于组织学的染色系统102分割肺ADC中的肿瘤、间质、淋巴细胞、巨噬细胞、核碎裂和红细胞的核。在该示例中，基于组织学的染色系统102识别并分类细胞核，并且提取可用于生成特征化的TME 106的48个与细胞空间组织相关的特征。使用提取的特征，可生成预后模型108，图像来源的TME特征与生物学途径的基因表达相关。这样，基于组织学的染色系统102从病理学图像104中剖析TME，并使用不同细胞类型的空间组织来预测患者的生存率并确定与生物途径的基因表达的关联。在一示例中，基于组织学的染色系统102使用肺ADC中的组织病理学图像表征肿瘤形态微环境。
如关于图8更详细地描述的，在一种实施方式中，病理学图像104由基于组织学的染色系统102通过网络接收。因此，在某些情况下，可以通过网络门户访问基于组织学的染色系统102，诸如病理学家之类的用户可以通过网络门户上载病理学图像104以供基于组织学的染色系统102进行分析。基于组织学的染色系统102可用于分析肺ADC病理学图像以及涉及头颈癌、乳腺癌和肺癌鳞状细胞癌病理学图像数据集的病理学图像。基于组织学的染色系统102可以基于训练病理学图像110和其他训练数据来学习以处理不同类型的病理学图像、癌症等。
在一种实施方式中，训练病理学图像110包括训练集114、验证集116和专家标记图像的测试集118。在一个特定示例中，训练病理学图像110包括从第一数据集中获取的135个肺ADC患者的208个40X病理学图像，以及从第二数据集中获取的372个肺ADC患者的431个40X病理学图像，包括单个患者的多个病理学图像。在该示例中，专业的肺癌病理学家为每个训练病理学图像110手动标记了肿瘤ROI，另一位肺癌病理学家确认了标记，另一位肺癌病理学家注释了肺ADC组织学亚型。
为了在该示例中构造用于基于组织学的染色系统102的训练病理学图像集合110，从39个病理ROI中提取了127个图像斑块(500×500像素)。在这些斑块中，标记了不同类型的细胞核。所有具有肿瘤细胞核、间质细胞核、淋巴细胞核、巨噬细胞核、红细胞和核碎裂的像素均按照其类别进行标记，其余所有像素均被视为“其他”。然后，将这些标签(也统称为Mask R-CNN的蒙版)用作地面真值，以训练基于组织学的染色系统102。将标记的图像随机分为训练集114、验证集116和测试集118。为了确保这些集合114-118之间的独立性，将来自相同ROI的图像斑块分配在一起。训练集114中包含了超过12,000个细胞核(肿瘤细胞核24.1％，基质细胞核23.9％，淋巴细胞29.5％，红细胞5.8％，巨噬细胞1.5％，核碎裂15.2％)，而在该示例中，在验证集116和测试集118分别包括了1227个和1086个细胞核。
基于组织学的染色系统102的Mask R-CNN被优化用于通过定制的数据加载器、图像增强器、图像居中和缩放以及利用数据集预先训练并利用训练病理学图像110进行微调的基于组织学的染色系统102的适应性病理图像分析。在一个实施方式中，针对每个红绿蓝(RGB)通道对训练病理学图像110进行标准化(例如，居中并缩放以具有零均值和单位方差)。此外，为了增加通用性并避免来自不同的H&E染色条件的偏差，对训练病理学图像110进行了图像斑块的广泛增强。特别地，将随机投影变换应用于训练病理学图像110和相应的蒙版，并且使用线性变换随机移动每个图像通道。在一个特定示例中，在训练集114的训练过程中，将批次大小设置为2，将优化器设置为随机梯度下降(SGD)，将学习率设置为0.01，并在500个时期后降低到0.001，动量设置为0.9，要训练的最大时期数设置为1000。在验证集116中，在第707个时期训练的基于组织学的染色系统102损失最小。选择该模型并在下面的分析中使用该模型以避免过度拟合。
由于基于组织学的染色系统102同时对细胞核进行分割和分类，因此使用三个标准分别评估验证集114和测试集118中的分割性能。首先，将检测覆盖率计算为检测到的核与总地面真值核之间的比率。每个地面真值核都与一个分割的核相匹配，从而产生了最大的联合相交(IoU)。如果地面真值核的IoU>0.5，则将该核标记为“匹配”；否则，它被标记为“不匹配”。其次，通过将预测的核类型与地面真值进行比较，确定匹配核的核分类精度。第三，通过IoU评估分割精度，该IoU是针对每个检测到的核计算的，并在不同核类别中取平均值。
在训练了基于组织学的染色系统102的情况下，可以使用基于组织学的染色系统102为病理学图像104生成特征化的TME106。在一种实施方式中，基于组织学的染色系统102执行图像特征提取以描述核的组成和组织。
在某些情况下，为了提高计算效率，除其他原因外，例如保留每个ROI的良好表示，基于组织学的染色系统102以斑块的形式分析病理载玻片图像，而不是通过应用于整个载玻片。因此，病理学图像104可以对应于整个载玻片或载玻片的一部分。在一个特定的示例中，随机采样100个图像斑块(1024×1024像素)并分析每个病理学家标记的ROI。这100个图像斑块很好地覆盖每个ROI。然后通过基于组织学的染色系统102对细胞核进行分割和分类。
为了表征细胞的空间组织，计算核的质心并将其用作顶点以为病理学图像104的每个图像斑块构建特征图。该特征图提供了病理学图像104内的核的图形表示，每个核的质心表示为一个顶点。特征图上的每个顶点的位置可以基于病理学图像104内的核的空间位置。
在定义每个特征图时，生成每个核的最近邻信息。在一个实施方式中，通过对病理学图像104的特征图中的顶点进行Delaunay三角剖分来生成最近邻信息。Delaunay三角剖分通常涉及图中的点的凸包的三角剖分，其中三角形的每个外接圆都是空心圆，这样对于平面中的离散点的给定集合P是三角剖分DT(P)，使得P中的任何点都不在DT(P)中任何三角形的外接圆之内。更具体地说，对于特征图中的每三个顶点，将通过它们绘制一个圆。如果圆通过三个顶点，并且在圆内的特征图中不包含任何其他顶点，则由这三个顶点形成的三角形将被视为有效三角形，且三角形的边与这些顶点之间的连接相对应。因此，对于每个顶点，与三角形内的边连接的对应顶点表示最近的邻居，从而不存在顶点可以具有边的更近的邻居。因此，Delaunay三角剖分输出了一个单纯形列表，详细列出了组成每个Delaunay三角形的三个顶点。在一个实施方式中，在定义三角顶点之间的边时，通过基于一个或多个边缘属性迭代遍历单纯形来计算连接各个顶点的边。边的主要属性可以是其连接的两个顶点之间的欧几里得距离或空间距离。将会理解的是，作为Delaunay三角剖分法的替代或附加，还可以通过其他机制来获得核的最近邻连接性。
换句话说，在一种实施方式中，使用Delaunay三角剖分将核连接到特征图中，并且两种类型核之间的连接数和平均长度(即空间距离)总结了不同类型细胞的空间组织。作为一个例子，基于组织学的染色系统102根据六种细胞核类别(肿瘤、基质、淋巴细胞、巨噬细胞、核碎裂和红细胞)提取图像特征。在该示例中，根据它们的顶点对，特征图的边被分类为21类别[即，6×(6+1)/2＝21]。对于该示例中的每个病理学图像104，计算不同类别的连接(边)的数量(21个特征)，对于每个边类别，求连接长度的平均值(其他21个图像特征)，以及计算每种类型核的密度(产生6个图像特征)。在此示例中，总共提取了48个图像特征。对于病理学图像104中的每个ROI，将图像特征在100个斑块之间求平均。
利用在同时分割和分类细胞核之后从病理学图像104中提取的图像特征，基于组织学的染色系统102生成特征化的TME 106，其可用于生成预后模型108。定义为从诊断日期到死亡或最后一次接触的时间长度，总体生存率被用作为基于组织学的染色系统102进行生存率分析的反应变量。在一种实施方式中，预后模型108包括针对肺ADC患者总体生存率的Cox比例风险(CoxPH)预后模型或由针对肺ADC患者总体生存率的Cox比例风险(CoxPH)预后模型验证。可以使用Elastic-Net惩罚来避免过度拟合。
在先前的特定示例中，可以在最终的CoxPH模型中选择22个特征。给定每个患者的22个图像来源的TME特征的集合，预后模型108通过总结特征和相应系数之间的乘积来计算患者的风险评分112，其中较高的风险评分表示较差的预后。基于风险评分112，可以使用中位风险评分作为临界值将患者分为预测的高风险组和低风险组二者。
在一个实施方式中，基于组织学的染色系统102为每个风险组生成生存曲线，其随着时间的推移预测预后。这些生存曲线可以基于Kaplan-Meier估计器生存分析来估计。但是，可以利用其他生存功能，例如比例风险模型等。更具体地，可以使用Kaplan-Meier方法来估计预测的高风险组和低风险组的生存曲线。可以使用对数秩检验来比较预测的高风险组和低风险组之间的生存差异。此外，在一种实施方式中，在针对其他临床特征(包括但不限于年龄、性别、吸烟状况和其他因素)进行调整后，可以使用多元Cox比例风险模型通过图像来源的TME特征确定预测的风险组的预后值。
如本文所述，基于组织学的染色系统102可以提供图像特征与生物途径的基因表达之间的关联的指示。在一个特定的示例中，对372名患者的基因表达数据进行了预处理：>20％的患者样品中的mRNA表达水平为0的基因被去除。可以使用Spearman秩相关来评估mRNA表达水平与图像来源的TME特征之间的相关性，可以对每个TME特征执行基因集富集分析(GSEA)，等等。对于多次测试校正，可以将Benjamini-Hochberg(BH)调整的p值用于检测显著富集的基因集。经BH调整的双尾p值<0.05的基因集可被视为显著富集。
转到图2，示出了基于组织学的染色系统102的示例输出200。更具体地，示例性病理学图像202包括ROI 204。从ROI 204采样图像斑块206。使用基于组织学的染色系统102，从图像斑块206生成核分割208，包括按细胞类型分类的每个核210。可以由基于组织学的染色系统102从核分割208执行图像特征提取，以生成病理学图像202的特征化TME 106以及预后风险评分112。
图3示出了病理学图像104和特征化的TME 106的示例，其包括在细胞核分割和分类之后的患者组织的组成和空间组织。换句话说，病理学图像104包括整个载玻片图像300和经过核分割和分类的特征化图像302，检测到的和分类的核重叠在整个载玻片图像300上。
转到图4，示出了使用基于组织学的染色系统102的Mask R-CNN对病理学图像104的示例进行的细胞核的分割和分类。如图4所示，示出了分割的图像400具有示例性病理学图像402和提取的图像特征404。关于分割的图像400，每个核具有虚线所示的边界框，在边界框内执行由基于组织学的染色系统102进行的核分割。核的类别由基于组织学的染色系统102在分割的同时进行预测，并且核的类别被标记在边界框附近。
参照图5，示出了从示例核空间组织中提取表征肿瘤微环境特征的拓扑特征。更具体地，通过基于组织学的染色系统102对细胞核同时进行分割和分类的核分割结果500包括以白色标记的核质心。使用核质心作为顶点通过Delaunay三角剖分构造特征图502。为了消除边缘效应，在提取图形属性时，只有两端在纯灰色正方形内的边才被视为主要属性。
图6示出了基于病理模型108生成的预测的高风险组和低风险组的示例曲线图600。在一种实施方式中，曲线图600提供了预后模型108的基于TME特征的预后值。曲线图600可以是生存曲线，其基于对数秩检验的p值＝0.001的高风险组和低风险组的Kaplan-Meier估计器生存分析来估计。从曲线图600可以理解，高风险组的患者生存率显著低于低风险组。
在一个特定的示例中，在单变量分析中与生存结果显著相关的TME特征表明，较高的核碎裂密度，更多的核碎裂-核碎裂连接以及更多的核碎裂红细胞连接与较差的生存结果相关，这是可以预期的，因为这些特征表明较高的肿瘤坏死率。此外，更高的基质核密度和更多的基质-基质连接与更好的生存结果相关，这与观察到更多的基质组织对应于更好的预后相一致。
关于图像特征与生物途径的转录活性之间的关联，进行了GSEA以识别其mRNA表达谱与图像来源的TME特征显著相关的生物途径。例如，T细胞受体(TCR)和程序性细胞死亡蛋白1(PD1)途径的转录激活可能与肿瘤组织中的淋巴细胞密度呈正相关，这与有关TCR和PD1途径参与基因在免疫细胞中表达的报道一致。此外，成纤维细胞作为重要来源的细胞外基质组织基因集的表达可能与肿瘤组织中的基质细胞密度呈正相关。
此外，GSEA表明，细胞周期途径利用表达水平与肿瘤组织中的肿瘤细胞核密度和核碎裂密度相关的基因而显著富集。为了研究肿瘤细胞密度与细胞周期途径的基因表达之间的关系，根据患者的肿瘤细胞核密度对患者进行分组和分类。对于每个患者组，细胞周期途径内基因的平均表达水平及其表达水平与肿瘤细胞核密度显著相关(p值<0.001)。对于大多数与细胞周期相关的基因，可以观察到基因表达与肿瘤细胞核密度之间的正相关性，只有一个基因POLD4呈相反趋势。细胞周期途径中的大多数基因在具有更高肿瘤细胞核密度(可能是更高级别的肿瘤)的肿瘤中具有更高的表达，而POLD4显示相反的模式。与细胞周期基因集中的其他基因相比，POLD4的这种模式与先前对肺癌的研究一致，而大多数细胞周期基因在肺癌中均被上调，而POLD4通常被下调。
转到图7，示出了用于表征患者的患者组织的示例操作700。在一个实施方式中，操作702接收患者的患者组织的病理图像，其中患者组织包括多个细胞。操作704使用基于组织学的染色系统同时对病理学图像中的多个细胞的细胞核进行分割和分类。多个细胞的细胞核根据空间位置进行分割，并根据细胞类型进行分类，从而产生一组或多组细胞核。一组或多组细胞核中的每一个都具有确定的细胞类型。操作706基于一组或多组细胞核确定患者组织的肿瘤微环境的组成和空间组织。操作708基于肿瘤微环境的组成和空间组织为患者生成预后模型。
如本文中详细描述的，可以在基于组织学的染色系统102上通过网络接收病理学图像104，可以是整个图像或斑块。参照图8，在一种实施方式中，用户使用用户设备802访问网络环境800内的基于组织学的染色系统102并与之交互以获得特征化的TME 106和/或预后模型108，以及通过网络804访问其他信息或服务并与之交互。
用户设备802通常是能够与网络804交互的任何形式的计算设备，例如个人计算机、终端、工作站、台式计算机、便携式计算机、移动设备、智能手机、平板电脑、多媒体控制台和/等等。一个或多个计算或数据存储设备(例如，一个或多个数据库806或本文所述的其他计算单元)使用网络804，以在网络环境800中实施基于组织学的染色系统102和其他服务、应用程序或模块。病理学图像104、训练病理学图像110、预后模型108、特征化的TME106、数据、软件和基于组织学的染色系统102所利用的其他信息可以存储在一个或多个数据库806中并从一个或多个数据库806访问。
在一种实施方式中，网络环境800包括托管网站或应用程序的至少一个服务器808，用户可以到访服务器808以访问基于组织学的染色系统102和/或网络环境800的其他网络组件。服务器806可以是单个服务器，多个服务器，其中每个这样的服务器是物理服务器或虚拟机，或者是物理服务器和虚拟机的集合。在另一实施方式中，云托管网络环境800的一个或多个组件。用户设备802、服务器808以及连接到网络804的其他资源可以访问一个或多个其他服务器以访问用于诊断、治疗、表征、分析和相关服务的一个或多个网站、应用程序、Web服务接口、存储设备、计算设备等。服务器808还可以托管搜索引擎，如本文所述，基于组织学的染色系统102使用搜索引擎来访问、搜索和修改数据以及用于服务。
在一种实施方式中，病理学图像通过网络804在基于组织学的染色系统102处被接收作为输入。可以为每个上载的输入图像分配作业ID。作为示例，分割结果将自动显示，每个核的空间坐标可以下载到表格中。基于组织学的染色系统102可以与针对各种癌症类型的TME相关特征结合使用，从而提供自动生成针对其他癌症类型的蒙版的功能。新生成的分割蒙版可以大大减少为其他癌症类型创建训练集的人工工作，从而加快病理学图像分析应用程序的开发。
与其他图像分割算法相比，基于组织学的染色系统102具有多个优点：它同时对细胞核进行分割和分类，而传统的基于颜色反卷积的细胞核分割算法无法对细胞类型进行分类；通过在训练过程中使用大量的色彩增强，它可以适应不同的染色条件，从而使算法更加健壮，从而避免了耗时的色彩归一化步骤；与传统的统计方法相比，基于组织学的染色系统102不需要手工提取特征，因此高度并行且节省时间。例如，借助图形处理单元(GPU)的辅助计算，处理(分类或分割)1000x 1000像素的图像通常需要不到一秒钟的时间进行HD染色，比其他图像分割方法要快得多。此外，与对每个像素进行分类的其他流行的语义图像分割神经网络相比，基于组织学的染色系统102本质上是一种实例分割算法，该算法首先检测对象边界框，然后将像素指定为该边界框内的前景或背景。总的来说，基于组织学的染色系统102提供了一种新的解决方案，用于分割组织病理学图像中紧密聚集的细胞核。
此外，可以理解所提取的TME特征与患者预后之间的关联。据报道，核碎裂作为坏死的表示是肺癌中一种侵袭性的肿瘤表型。一致地，核碎裂细胞的密度和核碎裂-核碎裂的边缘数量被显示为阴性的预后因素。另一方面，基质细胞的密度和基质细胞-基质细胞边缘的数量是阳性的预后因素，这与最近关于肺ADC患者的报道一致。这些一致性表明基于组织学的染色系统102的有效性以及使用细胞组织特征作为临床结果的新型生物标志物的潜力。
基因表达模式已被广泛用于研究不同肿瘤类型和亚型的潜在生物学机制。而且，具有异常表达的基因可能成为癌症的潜在治疗靶标。但是，传统的转录组分析通常是在块状肿瘤中进行的，该块状肿瘤除肿瘤细胞外还包含多种细胞类型，例如基质细胞和淋巴细胞。这种基于块状肿瘤的测序可以模糊或减少TME中单个细胞类型或不同细胞组成引起的mRNA表达变化。目前，生物学途径的转录活性与TME之间的关系尚不清楚。基于组织学的染色系统102提供图像来源的TME特征，其显示与生物途径的转录活性的相关性。例如，TCR和PD-1途径的基因表达水平与从肿瘤组织中检测到的淋巴细胞密度呈正相关。由于涉及TCR和PD1途径的基因在免疫细胞中表达，这种相关性说明了淋巴细胞对块状肿瘤转录组分析的贡献，因此验证了块状肿瘤的基于图像的核检测和基因测序的准确性。这表明图像来源的TME特征可用于研究或预测免疫治疗反应，因为几种有前途的癌症免疫疗法依赖于肿瘤浸润的免疫细胞的激活并阻断免疫检查点途径。另外，细胞外基质组织途径的基因表达水平与肿瘤组织中基质细胞的密度相关联。由于传统的转录组测序是在块状肿瘤中完成的，因此从病理学图像中得出的准确细胞组成可以帮助改善每种细胞类型的基因表达的评估。此外，图像特征与生物途径转录模式之间的相关性暗示了图像特征在研究肿瘤生物过程(包括细胞周期和代谢状态)方面的潜在用途。
转到图9，示出了包括操作单元902-912的电子设备900，该操作单元902-912被布置为执行本公开的技术的各种操作。设备900的操作单元902-912通过硬件或硬件和软件的组合来实现以实施本公开的原理。本领域的技术人员将理解，可以将图9中描述的操作单元902-912组合或分离为子块以实现本公开的原理。因此，本文的描述支持操作单元902-912的任何可能的组合或分离或进一步的定义。
在一个实施方式中，电子设备900包括：显示单元902，配置为显示诸如图形用户界面之类的信息；处理单元904，与显示单元902通信；以及输入单元906，配置为从一个或多个输入设备或系统接收数据。由处理单元904使用输入单元906接收的数据来输出信息以使用显示单元902进行显示，可以实现本文描述的各种操作。
另外，在一种实施方式中，电子设备900包括实现相对于图7所描述的操作的单元。例如，操作704可以由分割和分类单元908实施，操作706可以由确定单元910执行，并且操作708可以由生成单元912执行。
参考图10，提供了具有可以实现本文所讨论的各种系统和方法的一个或多个计算单元的示例计算系统1000的详细描述。计算系统1000可以适用于基于组织学的染色系统102、用户设备802、服务器808以及其他计算或网络设备。应当理解，这些设备的具体实施方式可以具有不同的可能的具体计算架构，在本文中没有具体讨论所有可能的具体计算架构，但是本领域普通技术人员将理解这些架构。
计算机系统1000可以是能够执行计算机程序产品以执行计算机过程的计算系统。数据和程序文件可以输入到计算机系统1000，计算机系统1000读取文件并在其中执行程序。在图10中示出了计算机系统1000的一些元件，包括一个或多个硬件处理器1002、一个或多个数据存储设备1004、一个或多个存储器设备1008和/或一个或多个端口1008-1010。另外，本领域技术人员将认识到的其他元件可以包括在计算系统1000中，但是在图10中未明确示出或在本文中没有进一步讨论。计算机系统1000的各个元件可以通过一个或多个通信总线、点对点通信路径或在图10中未明确示出的其他通信方式彼此通信。
处理器1002可以包括例如中央处理器(CPU)、微处理器、微控制器、数字信号处理器(DSP)和/或一个或多个内部高速缓存。可能存在一个或多个处理器1002，以使处理器1002包括单个中央处理单元，或能够执行指令并彼此并行执行操作的多个处理单元，通常称为并行处理环境。
计算机系统1000可以是常规计算机、分布式计算机或任何其他类型的计算机，例如经由云计算架构可用的一个或多个外部计算机。当前描述的技术可选地以存储在(多个)数据存储设备1004中、存储在(多个)存储器设备1006中和/或通过端口1008-1010中的一个或多个进行通信的软件来实现，从而将图10中的计算机系统1000变换为用于实现本文描述的操作的专用机器。计算机系统1000的示例包括个人计算机、终端、工作站、移动电话、平板电脑、膝上型计算机、个人计算机、多媒体控制台、游戏控制台、机顶盒等。
一个或多个数据存储设备1004可以包括能够存储在计算系统1000内生成或采用的数据的任何非易失性数据存储设备，例如用于执行计算机过程的计算机可执行指令，其可以包括应用程序和管理计算系统1000的各种组件的操作系统(OS)的指令。数据存储设备1004可以包括但不限于磁盘驱动器、光盘驱动器、固态驱动器(SSD)、闪存驱动器和类似物。数据存储设备1004可包括可移动数据存储介质、不可移动数据存储介质和/或可通过有线或无线网络架构与此类计算机程序产品(包括一个或多个数据库管理产品、Web服务器产品、应用程序服务器产品和/或其他附加软件组件)一起使用的外部存储设备。可移动数据存储介质的示例包括光盘只读存储器(CD-ROM)、数字多功能光盘只读存储器(DVD-ROM)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁性硬盘、SSD等。一个或多个存储器设备1006可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和/或非易失性存储器(例如，只读存储器(ROM)、闪存等)。
包含用于实现根据当前描述的技术的系统和方法的机制的计算机程序产品可以驻留在数据存储设备1004和/或存储器设备1006中，其可以被称为机器可读介质。将意识到，机器可读介质可以包括能够存储或编码用于执行本公开的任何一个或多个操作的指令以由机器执行或能够存储或编码由此类指令使用或与之关联的数据结构和/或模块的任何有形非暂时性介质。机器可读介质可以包括存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或关联的高速缓存和服务器)。
在一些实施方式中，计算机系统1000包括一个或多个端口，例如用于与其他计算设备、网络设备或车辆设备通信的输入/输出(I/O)端口1008和通信端口1010。将意识到，端口1008-1010可以被组合或分离，并且计算机系统1000中可以包括更多或更少的端口。
I/O端口1008可以连接到I/O设备或其他设备，通过该I/O设备或其他设备，信息被输入到计算系统1000或从计算系统1000输出。这样的I/O设备可以包括但不限于一个或多个输入设备、输出设备和/或环境换能器设备。
在一种实施方式中，输入设备将诸如人的语音、身体运动、身体触摸或压力等人类产生的信号转换为电信号作为输入数据，经由I/O端口1008、将其输入到计算系统1000中。类似地，输出设备可以将经由I/O端口1008从计算系统1000接收的电信号转换成可以被人类感测为输出的信号，例如声音、光和/或触摸。输入设备可以是字母数字输入设备，包括字母数字和其他键，用于通过I/O端口1008将信息和/或命令选择传递给处理器1002。输入设备可以是另一种类型的用户输入设备，包括但不限于：方向和选择控制设备，例如鼠标、轨迹球、光标方向键、操纵杆和/或滚轮；一个或多个传感器，例如照相机、麦克风、位置传感器、方位传感器、重力传感器、惯性传感器和/或加速度计；和/或触敏显示屏(“触摸屏”)。输出设备可以包括但不限于显示器、触摸屏、扬声器、触感和/或触觉输出设备等。在一些实施方式中，例如在触摸屏的情况下，输入设备和输出设备可以是同一设备。
环境换能器设备将能量或信号的一种形式转换为另一种形式，以经由I/O端口1008输入到计算系统1000或从计算系统1000输出。例如，可以将在计算系统1000内生成的电信号转换为另一类信号，和/或反之亦然。在一种实施方式中，环境换能器设备感测计算设备1000本地或远离计算设备1000的环境的特征或方面，例如光、声音、温度、压力、磁场、电场、化学性质、物理运动、取向、加速度、重力等。此外，环境换能器设备可以生成信号以对示例计算设备1000本地或远离示例计算设备1000的环境施加某些影响，例如某些对象(例如机械致动器)的物理运动，物质的加热或冷却，添加化学物质，等等。
在一种实施方式中，通信端口1010连接到网络，计算机系统1000可以通过该通信端口接收网络数据，该网络数据可用于执行本文所述的方法和系统以及传输信息和由此确定的网络配置变化。换句话说，通信端口1010将计算机系统1000连接到一个或多个通信接口设备，该一个或多个通信接口设备被配置为通过一个或多个有线或无线通信网络或连接在计算系统1000与其他设备之间发送和/或接收信息。此类网络或连接的示例包括但不限于通用串行总线(USB)、以太网、Wi-Fi、
Figure BDA0002752491920000181
近场通信(NFC)、长期演进(LTE)等。可以经由通信端口1010利用一个或多个这样的通信接口设备来直接通过点对点通信路径、通过广域网(WAN)(例如，因特网)、通过局域网(LAN)、通过蜂窝(例如，第三代(3G)或第四代(4G))网络、或通过另一通信装置来与一台或多台其他机器进行通信。此外，通信端口1010可以与天线或其他链路通信以用于电磁信号的发送和/或接收。
在示例实施方式中，病理学图像、训练图像、病理模型和软件以及其他模块和服务可以由存储在数据存储设备1004和/或存储器设备1006上并由处理器1002执行的指令来体现。
图10所述的系统只是根据本公开的方面可以采用或被配置的计算机系统的一个可能示例。将理解的是，可以利用存储用于在计算系统上实现当前公开的技术的计算机可执行指令的其他非暂时性有形计算机可读存储介质。
在本公开中，所公开的方法可以被实现为设备可读的指令集或软件。此外，应当理解，所公开的方法中步骤的特定顺序或层次是示例方法的实例。基于设计偏好，应该理解的是，在保持在所公开的主题之内的同时，可以重新布置方法中步骤的特定顺序或层次。随附的方法权利要求以示例顺序呈现了各个步骤的要素，而并不一定意味着限于所呈现的特定顺序或层次。
所描述的公开可以被提供为计算机程序产品或软件，其可以包括其上存储有指令的非暂时性机器可读介质，该指令可以用于对计算机系统(或其他电子设备)进行编程以执行根据本公开的过程。机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用程序)存储信息的任何机制。机器可读介质可以包括但不限于磁性存储介质、光学存储介质；磁光存储介质，只读存储器(ROM)；随机存取存储器(RAM)；可擦除的可编程存储器(例如EPROM和EEPROM)；闪存或适合存储电子指令的其他类型的介质。
尽管已经参考各种实施方式描述了本公开，但是将理解，这些实施方式是说明性的，并且本公开的范围不限于它们。许多变型、修改、增加和改进都是可能的。更一般地，已经在特定实施方式的上下文中描述了根据本公开的实施例。在本公开的各个实施例中，可以以不同的方式对功能进行分离或组合，或者以不同的术语来描述。这些和其他变型、修改、添加和改进可以落入如所附权利要求书所限定的本公开的范围内。

Claims (15)

1.一种基于组织学的染色系统，其特征在于，所述染色系统包括：用于捕获载玻片图像的载玻片扫描装置；特征金字塔网络，其包括与所述载玻片扫描装置通信连接以提取特征图的分割和分类单元；分割和分类单元的区域提议网络，用于为载玻片的图像中包含核的区域生成候选提议；感兴趣区域合并层，用于将所有提议转换为相同形状；分割和分类单元的全连接网络，用于将候选提案转换为类标签和边界框，分割和分类单元的反卷积层，用于为每个区域生成分割蒙版，以及与分割和分类单元通信连接的确定单元，用于确定载玻片上的微环境的组成和空间组织。
2.根据权利要求1所述的基于组织学的染色系统，其特征在于，还包括与所述确定单元通信连接的生成单元，用于基于所述载玻片上的所述微环境的所述组成和所述空间组织来生成模型。
3.根据权利要求1所述的基于组织学的染色系统，其特征在于，模型包括风险评分。
4.根据权利要求1所述的基于组织学的染色系统，其特征在于，还包括所述分割和分类单元的基于蒙版区域的卷积神经网络，所述卷积神经网络基于所述类标签和边界框和所述分割蒙版根据空间位置对所述载玻片的图像同时进行分割和分类，以形成具有识别类型的一个或多个组，所述确定单元使用所述一个或多个组来确定所述载玻片上的微环境的组成和空间组织。
5.根据权利要求2所述的基于组织学的染色系统，其特征在于，所识别的类型是细胞类型，所述分割和分类单元对所述载玻片的图像中的多个细胞的核同时进行分割和分类，所述微环境是肿瘤微环境。
6.根据权利要求5所述的基于组织学的染色系统，其特征在于，与所述确定单元通信连接的显示器，所述显示器用于根据所述肿瘤微环境的组成和空间组织，使用一种或多种颜色来显示在图像中染色的多个细胞。
7.根据权利要求1所述的基于组织学的染色系统，其特征在于，与所述载玻片扫描装置通信连接的用户设备，所述用户设备用于通过网络获得所述图像并将所述图像发送到所述分割和分类单元。
8.根据权利要求1所述的基于组织学的染色系统，其特征在于，包括所述分割和分类单元和所述确定单元的服务器，所述服务器与所述载玻片扫描装置通信连接。
9.根据权利要求1所述的基于组织学的染色系统，其特征在于，与所述确定单元通信连接的显示器，所述显示器用于显示所述载玻片上的所述微环境的组成和空间组织。
10.根据权利要求9所述的基于组织学的染色系统，其特征在于，在所述显示器上显示的载玻片上的所述微环境的组成和空间组织重叠在所述图像上。
11.根据权利要求1所述的基于组织学的染色系统，其特征在于，所述图像是来自较大图像的斑块。
12.根据权利要求1所述的基于组织学的染色系统，其特征在于，所述确定单元的特征图用于使用最近邻连接性来生成所述空间组织。
13.根据权利要求12所述的基于组织学的染色系统，其特征在于，通过Delaunay三角剖分构造最近邻连接性。
14.根据权利要求12所述的基于组织学的染色系统，其特征在于，所述特征图具有核质心作为顶点。
15.根据权利要求14所述的基于组织学的染色系统，其特征在于，所述特征图具有根据细胞类别的特征，所述细胞类别包括肿瘤细胞、基质细胞、淋巴细胞、巨噬细胞、核碎裂和红细胞。
CN202011190079.0A 2020-05-06 2020-10-30 利用病理图像来表征肿瘤微环境的系统和方法 Pending CN113628157A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063021068P 2020-05-06 2020-05-06
US63/021,068 2020-05-06

Publications (1)

Publication Number Publication Date
CN113628157A true CN113628157A (zh) 2021-11-09

Family

ID=78377803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011190079.0A Pending CN113628157A (zh) 2020-05-06 2020-10-30 利用病理图像来表征肿瘤微环境的系统和方法

Country Status (3)

Country Link
US (1) US20230177682A1 (zh)
CN (1) CN113628157A (zh)
WO (1) WO2021226382A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565919A (zh) * 2022-01-19 2022-05-31 深圳先进技术研究院 基于数字病理图像的肿瘤微环境空间关系建模系统与方法
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
CN116682576A (zh) * 2023-08-02 2023-09-01 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237414A1 (en) * 2021-01-26 2022-07-28 Nvidia Corporation Confidence generation using a neural network
CN114171119B (zh) * 2021-11-11 2024-07-05 武汉大学 一种基于核分数和组织病理全玻片图像的三阴性乳腺癌肿瘤突变负荷预测方法及系统
WO2023107989A1 (en) * 2021-12-07 2023-06-15 PAIGE.AI, Inc. Systems and methods for processing electronic images to visualize combinations of semantic pathology features
CN118414640A (zh) * 2021-12-23 2024-07-30 文塔纳医疗系统公司 数字病理学中深度学习模型的对抗鲁棒性
CN114638292B (zh) * 2022-03-10 2023-05-05 中国医学科学院北京协和医院 一种基于多尺度分析的人工智能病理辅助诊断系统
WO2023174903A1 (en) * 2022-03-18 2023-09-21 Mindpeak Gmbh Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium
EP4246468A1 (en) * 2022-03-18 2023-09-20 Mindpeak GmbH Method for training an artificial intelligence system, method for recognizing and classifying cells for pathological cell and tissue examination, classifying system, computer-readable medium
CN115641290B (zh) * 2022-09-05 2024-06-14 吉林金域医学检验所有限公司 基于细胞分析的异常预测方法、装置、设备及介质
US11978185B1 (en) * 2022-11-22 2024-05-07 Pramana, Inc. System and methods for color gamut normalization for pathology slides
US12159329B2 (en) 2022-11-22 2024-12-03 Pramana, Inc. System and methods for color gamut normalization for pathology slides
CN117132977B (zh) * 2023-09-12 2025-03-14 中山大学附属口腔医院 一种舍格伦综合征的淋巴细胞分类方法及装置
CN117575989A (zh) * 2023-10-19 2024-02-20 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法
CN117893450B (zh) * 2024-03-15 2024-05-24 西南石油大学 一种数字病理图像增强的方法、装置和设备
CN118691917B (zh) * 2024-08-26 2024-11-05 中铁西南科学研究院有限公司 基于机器视觉的桥梁结构损伤识别方法及系统
CN119324071A (zh) * 2024-12-12 2025-01-17 杭州师范大学 一种基于图卷积网络的病理切片疗效预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2599055A2 (en) * 2010-07-30 2013-06-05 Fundação D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
CA2965431C (en) * 2014-12-03 2023-05-16 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565919A (zh) * 2022-01-19 2022-05-31 深圳先进技术研究院 基于数字病理图像的肿瘤微环境空间关系建模系统与方法
CN114565919B (zh) * 2022-01-19 2024-06-07 深圳先进技术研究院 基于数字病理图像的肿瘤微环境空间关系建模系统与方法
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
CN116682576A (zh) * 2023-08-02 2023-09-01 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置
CN116682576B (zh) * 2023-08-02 2023-12-19 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置

Also Published As

Publication number Publication date
WO2021226382A1 (en) 2021-11-11
US20230177682A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
CN113628157A (zh) 利用病理图像来表征肿瘤微环境的系统和方法
Mohanakurup et al. Breast cancer detection on histopathological images using a composite dilated Backbone Network
Gertych et al. Machine learning approaches to analyze histological images of tissues from radical prostatectomies
US10127675B2 (en) Edge-based local adaptive thresholding system and methods for foreground detection
Xu et al. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images
CN111462042B (zh) 癌症预后分析方法及系统
Valkonen et al. Metastasis detection from whole slide images using local features and random forests
Tian et al. Automated clear cell renal carcinoma grade classification with prognostic significance
US12249073B2 (en) Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment
CN110866893A (zh) 基于病理图像的tmb分类方法、系统及tmb分析装置
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
US9286672B2 (en) Integrated multivariate image-based method for disease outcome predicition
US9031306B2 (en) Diagnostic and prognostic histopathology system using morphometric indices
US20220180518A1 (en) Improved histopathology classification through machine self-learning of &#34;tissue fingerprints&#34;
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Lu et al. Feature driven local cell graph (FeDeG): predicting overall survival in early stage lung cancer
CN116258676B (zh) 结直肠癌ihc病理图像的细胞密度量化方法及系统
Arlova et al. Artificial intelligence-based tumor segmentation in mouse models of lung adenocarcinoma
Pradhan et al. Automatic detection of lung cancer using the potential of artificial intelligence (ai)
Yang et al. A foundation model for generalizable cancer diagnosis and survival prediction from histopathological images
Tang et al. Global contextual representation via graph-transformer fusion for hepatocellular carcinoma prognosis in whole-slide images
JP2024528595A (ja) デジタル画像を分析する方法
CN116843956A (zh) 一种宫颈病理图像异常细胞识别方法、系统及存储介质
US20240020958A1 (en) Systems and methods for determining regions of interest in histology images
Chatrian et al. Towards the identification of histology based subtypes in prostate cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40063416

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: BOARD OF REGENTS THE University OF TEXAS SYSTEM

Address before: Texas, USA

Applicant before: THE BOARD OF REGENTS OF THE University OF TEXAS SYSTEM