CN117575989A - 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 - Google Patents
一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 Download PDFInfo
- Publication number
- CN117575989A CN117575989A CN202311361701.3A CN202311361701A CN117575989A CN 117575989 A CN117575989 A CN 117575989A CN 202311361701 A CN202311361701 A CN 202311361701A CN 117575989 A CN117575989 A CN 117575989A
- Authority
- CN
- China
- Prior art keywords
- tumor
- lymphocyte
- score
- patient
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 101
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004393 prognosis Methods 0.000 title claims abstract description 30
- 210000004881 tumor cell Anatomy 0.000 claims abstract description 75
- 210000004698 lymphocyte Anatomy 0.000 claims abstract description 64
- 230000001575 pathological effect Effects 0.000 claims abstract description 30
- 230000004083 survival effect Effects 0.000 claims abstract description 14
- 210000001519 tissue Anatomy 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 210000004027 cell Anatomy 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000001325 log-rank test Methods 0.000 claims description 11
- 210000003855 cell nucleus Anatomy 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 210000000981 epithelium Anatomy 0.000 claims description 8
- 210000002536 stromal cell Anatomy 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000010824 Kaplan-Meier survival analysis Methods 0.000 claims description 4
- 230000017074 necrotic cell death Effects 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 3
- 210000002570 interstitial cell Anatomy 0.000 claims 1
- 230000008520 organization Effects 0.000 claims 1
- 238000013139 quantization Methods 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 7
- 201000010099 disease Diseases 0.000 abstract description 6
- 210000004940 nucleus Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000391 smoking effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008595 infiltration Effects 0.000 description 3
- 238000001764 infiltration Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008614 cellular interaction Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种肿瘤‑淋巴细胞空间相互作用评分确定及预后判断方法，采集病理图像，对病理图像进行通道逻辑运算，得到组织掩膜，对组织掩膜进行滑动、预测得到肿瘤区域，对肿瘤区域进行识别和分割，得到最终识别结果，对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据肿瘤‑淋巴细胞空间相互作用评分判断患者的预后状态，本方法通过根据患者病理图像得到肿瘤细胞和淋巴细胞相互作用关系评分，使用该肿瘤细胞和淋巴细胞相互作用关系评分对患者预后状态进行判断，提升了无病生存期的预测能力。
Description
技术领域
本发明涉及数字图像处理的技术领域，尤其涉及一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法。
背景技术
准确识别肿瘤区域中的不同细胞核对于量化肿瘤-淋巴细胞空间相互作用至关重要，大多数关于细胞-细胞空间相互作用的研究多使用多重免疫荧光或IHC染色的WSI进行细胞核识别，因此使用简单的图像分析算法可以鉴定不同的细胞核。
在现有技术中，免疫浸润的空间模式通过使用深度学习框架整合了非小细胞肺癌癌症患者的多区域外显子组和RNA序列数据绘制空间组织学图，该模式使用H&E染色的WSI确定免疫抑制型，阐明了可能形成免疫逃避亚克隆和侵袭性临床表型的肿瘤生态约束；还有以半监督的方式考虑千兆像素大小WSI中的上下文特征的图神经网络，该网络可以利用注意力技术从Superpatch图形中学习异质性肿瘤微环境的上下文信息，但是研究使用的H&E染色WSI不容易获得，细胞核识别出现误识别情况，成本较高，肿瘤微环境的信息不足，且免疫浸润的空间模式和学习异质性肿瘤微环境的上下文信息的图神经网络方法复杂，且不能简单有效的表征肿瘤-淋巴细胞空间相互作用。
发明内容
为了解决上述技术问题，本发明实施例提供了一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，通过根据患者病理图像得到肿瘤细胞和淋巴细胞相互作用关系评分，使用该肿瘤细胞和淋巴细胞相互作用关系评分对患者预后状态进行判断，提升了无病生存期的预测能力。
本发明实施例的第一方面提供了一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，所述方法包括：
采集病理图像，对病理图像进行通道逻辑运算，得到组织掩膜；
利用预设像素的滑动窗口对组织掩膜进行滑动后，得到组织掩膜的图像块，采用预设第一神经网络预测组织掩膜的图像块的分类概率，得到病理图像的概率图，对概率图进行二值化处理后，选择满足预设条件的区域作为最终肿瘤区域；
对最终肿瘤区域进行识别和分割，得到最终识别结果；
对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态。
实施本实施例，采集病理图像，对病理图像进行通道逻辑运算，得到组织掩膜，利用预设像素的滑动窗口对组织掩膜进行滑动后，得到组织掩膜的图像块，采用预设第一神经网络预测组织掩膜的图像块的分类概率，得到病理图像的概率图，对概率图进行二值化处理后，选择满足预设条件的区域作为最终肿瘤区域，对最终肿瘤区域进行识别和分割，得到最终识别结果，对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态，本方法通过根据患者病理图像得到肿瘤细胞和淋巴细胞相互作用关系评分，使用该肿瘤细胞和淋巴细胞相互作用关系评分对患者预后状态进行判断，提升了无病生存期的预测能力。
在第一方面的一种可能的实现方式中，对病理图像进行通道逻辑运算，得到组织掩膜，具体为：
对病理图像的RGB通道和HSV彩色模式下的H和S通道分别进行阈值分割操作，得到RGB通道结果和HSV通道结果；
对RGB通道运算结果进行逻辑运算，得到第一运算结果，将第一运算结果与HSV通道结果进行逻辑与运算，得到组织掩膜。
在第一方面的一种可能的实现方式中，对最终肿瘤区域进行识别和分割，得到最终识别结果，具体为：
对最终肿瘤区域进行切割，得到多个图像块；
采用预设第二神经网络对多个图像块进行细胞核识别，得到识别结果，其中，识别结果包括肿瘤细胞、淋巴细胞、间质细胞和未知类型细胞；
利用预设第三神经网络对多个图像块进行分割，得到分割结果，根据识别结果和分割结果得到最终识别结果，其中，分割结果包括肿瘤上皮、肿瘤相关间质、淋巴样聚集物和坏死。
在第一方面的一种可能的实现方式中，利用预设第三神经网络为通过对DeepLabV3+模型进行训练得到的，训练过程为：
利用交叉熵损失约束训练一个有patch-level标签的卷积神经网络，并有patch-level标签的卷积神经网络与渐进dropout注意力相结合，得到类激活图，将类激活图作为组织分割的像素级伪标签；
将像素级伪标签作为监督信号，对DeepLabV3+模型进行训练得到预设第三神经网络。
在第一方面的一种可能的实现方式中，根据识别结果和分割结果得到最终识别结果，具体为：
根据识别出的肿瘤细胞，将在肿瘤上皮中的基质细胞的细胞核纠正为肿瘤细胞，得到最终识别结果。
在第一方面的一种可能的实现方式中，对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，具体为：
根据最终识别结果构建细胞图，对细胞图中的图像块进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，其中，患者级别的肿瘤细胞和淋巴细胞相互作用关系得分的公式为：
其中，TLSIpatch表示细胞图在图像块级别上的量化，edgetum-lym表示一个图像块中的边的数量，nodetum表示一个图像块中肿瘤细胞数量。
在第一方面的一种可能的实现方式中，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得到肿瘤细胞和淋巴细胞相互作用关系评分，具体为：
将细胞图中的所有图像块的患者级别的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到排序结果；
根据预设位数通过二值化方法将排序结果进行划分，得到关系高得分集和关系低得分集；
若关系高得分集大于预设占比，则判断肿瘤细胞和淋巴细胞相互作用关系评分为高，否则为低。
在第一方面的一种可能的实现方式中，预设占比通过训练得到的，训练过程为：
将第一样本数据、第二样本数据和第三样本数据中所有患者的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到样本排序结果；
选择预设位数作为样本排序结果的截断点，并通过二值化方法将样本排序结果进行划分，得到划分结果，其中，划分结果包括样本关系高得分集和样本关系低得分集；
以第一占比作为截断点的起点，预设步长为步长进行穷举，对划分结果进行划分训练，直到Log-rank检验P值最小时输出Log-rank检验P值最小时对应的第N占比作为目标预设占比；
利用目标预设占比对各个患者进行评价，得到第一样本数据、第二样本数据和第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分后，对第一样本数据、第二样本数据和第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分进行Kaplan-Meier分析和Log-rank检验，得到分析结果，根据分析结果确定目标初始预设占比为预设占比。
在第一方面的一种可能的实现方式中，预设位数为25％，预设占比为85％。
在第一方面的一种可能的实现方式中，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态，具体为：
根据肿瘤-淋巴细胞空间相互作用评分和患者的变量输入Cox模型；
采用KM分析法对Cox模型进行预测，得到患者的生存曲线，根据生存曲线得到患者的预后状态。
附图说明
图1：为本发明提供的一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的流程示意图；
图2：为本发明提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的基于通道逻辑运算的肿瘤区域分割方法示意图；
图3：为本发明提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的基于校正策略的组织和细胞核分割与识别方法示意图；
图4：为本发明提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的构建肿瘤-淋巴细胞空间相互作用评分方法示意图；
图5：为本发明提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的patch层面肿瘤细胞和淋巴细胞的相互作用关系示意图；
图6：为本发明提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法一种实施例的WSI层面肿瘤细胞和淋巴细胞的相互作用关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法的一种实施例的流程示意图，包括步骤S11～S14，各步骤具体如下：
S11、采集病理图像，对病理图像进行通道逻辑运算，得到组织掩膜。
在优选的实施例当中，对病理图像进行通道逻辑运算，得到组织掩膜，具体为：
对病理图像的RGB通道和HSV彩色模式下的H和S通道分别进行阈值分割操作，得到RGB通道结果和HSV通道结果；
对RGB通道运算结果进行逻辑运算，得到第一运算结果，将第一运算结果与HSV通道结果进行逻辑与运算，得到组织掩膜。
在本实施例中，如图2所示，采集病理图像，对低倍率下全幅扫描病理图像的RGB通道和HSV彩色模式下的H和S通道分别进行OSTU操作，将RGB通道的OSTU运算结果进行逻辑与和逻辑非运算，然后与H通道和S通道的OSTU运算结果进行逻辑与运算，得到组织掩膜。
S12、利用预设像素的滑动窗口对所述组织掩膜进行滑动后，得到所述组织掩膜的图像块，采用预设第一神经网络预测所述组织掩膜的图像块的分类概率，得到所述病理图像的概率图，对所述概率图进行二值化处理后，选择满足预设条件的区域作为最终肿瘤区域。
在本实施例中，如图3所示，使用224×224像素的滑动窗口对组织区域进行无重叠滑动，利用经过微调的ResNet50预测滑动窗口下patch的分类概率，得到WSI的肿瘤/非肿瘤概率图，对概率图进行二值化处理，选择连接面积最大的区域作为最终肿瘤区域。
需要说明的是，预设第一神经网络为一种ResNet50。为了获得能够区分肿瘤和非肿瘤区域的ResNet50，使用一个公开可用的乳腺癌数据集Camelyon16对ResNet50进行区分肿瘤和非肿瘤任务的预训练。然后，用来自训练队列的67张全幅扫描病理图像对训练前的ResNet50进行微调。
S13、对最终肿瘤区域进行识别和分割，得到最终识别结果。
在优选的实施例当中，对最终肿瘤区域进行识别和分割，得到最终识别结果，具体为：
对最终肿瘤区域进行切割，得到多个图像块；
采用预设第二神经网络对多个图像块进行细胞核识别，得到识别结果，其中，识别结果包括肿瘤细胞、淋巴细胞、间质细胞和未知类型细胞；
利用预设第三神经网络对多个图像块进行分割，得到分割结果，根据识别结果和分割结果得到最终识别结果，其中，分割结果包括肿瘤上皮、肿瘤相关间质、淋巴样聚集物和坏死。
在优选的实施例当中，利用预设第三神经网络为通过对DeepLab V3+模型进行训练得到的，训练过程为：
利用交叉熵损失约束训练一个有patch-level标签的卷积神经网络，并有patch-level标签的卷积神经网络与渐进dropout注意力相结合，得到类激活图，将类激活图作为组织分割的像素级伪标签；
将像素级伪标签作为监督信号，对DeepLab V3+模型进行训练得到预设第三神经网络。
在优选的实施例当中，根据识别结果和分割结果得到最终识别结果，具体为：
根据识别出的肿瘤细胞，将在肿瘤上皮中的基质细胞的细胞核纠正为肿瘤细胞，得到最终识别结果。
在本实施例中，将得到的肿瘤区域在在400倍即最大放大倍率下进行不重叠的切割，切割为2048×2048像素大小的图像块；然后使用在PanNuke数据集上训练的HoVer-Net模型直接对肺癌病理图像的肿瘤区域进行细胞核分割与识别，模型最终得到四种类别的细胞核，分别是肿瘤细胞，淋巴细胞，间质细胞和未知类型细胞。再使用经过训练的DeepLabV3+模型将肿瘤区域分割成肿瘤上皮、肿瘤相关间质、淋巴样聚集物和坏死四类；最后，在鉴定肿瘤上皮细胞的基础上，将在肿瘤上皮中被误认为基质细胞的细胞核纠正为肿瘤细胞。
DeepLab V3+模型通过一种基于组织信息校正策略的肿瘤语义分割方法训练出的，具体训练步骤为：首先，在交叉熵损失约束下训练一个带有patch-level标签的CNN，并将其与渐进dropout注意力相结合，获得类激活图作为组织分割的像素级伪标签；其次，在上一步骤中获得的伪标签作为监督信号，对DeepLab V3+进行训练。
通过使用神经网络算法和基于组织分割的校正策略对细胞核进行识别，最终使诊断性H&E染色的WSIs更容易获得、成本更低，并且可以将肿瘤实质中错分为间质细胞的这些细胞矫正为肿瘤细胞。
S14、对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态。
在优选的实施例当中，对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，具体为：
根据最终识别结果构建细胞图，对细胞图中的图像块进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，其中，患者级别的肿瘤细胞和淋巴细胞相互作用关系得分的公式为：
其中，TLSIpatch表示细胞图在图像块级别上的量化，edgetum-lym表示一个图像块中的边的数量，nodetum表示一个图像块中肿瘤细胞数量。
在优选的实施例当中，根据所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得到肿瘤细胞和淋巴细胞相互作用关系评分，具体为：
将细胞图中的所有图像块的所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到排序结果；
根据预设位数通过二值化方法将所述排序结果进行划分，得到关系高得分集和关系低得分集；
若所述关系高得分集大于预设占比，则判断所述肿瘤细胞和淋巴细胞相互作用关系评分为高，否则为低。
在本实施例中，如图4所示，构建细胞图，图构建阶段以patch为单位进行构建，一个病人的WSI有多个patch，通过对patch级别的图进行了量化，得到病人级别的肿瘤-淋巴相互作用关系，如下面公式所示：
其中，TLSIpatch表示细胞图在图像块级别上的量化，edgetum-lym表示一个图像块中的边的数量，nodetum表示一个图像块中肿瘤细胞数量。
将患者细胞图中的所有图像块的患者级别的TLSIpatch进行排序，选择四分之一位数作为为截断点，通过二值化方法将TLSIpatch分为TLSIpatch-high和TLSIpatch-low，WSI中TLSIpatch-low的比例超过85％，则认为该WSI关于TLSI的表达为high，否则为low，在WSI上的表达记为TLSI-score。
在优选的实施例当中，预设占比通过训练得到的，训练过程为：
将第一样本数据、第二样本数据和第三样本数据中所有患者的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到样本排序结果；
选择预设位数作为样本排序结果的截断点，并通过二值化方法将样本排序结果进行划分，得到划分结果，其中，划分结果包括样本关系高得分集和样本关系低得分集；
以第一占比作为截断点的起点，预设步长为步长进行穷举，对划分结果进行划分训练，直到Log-rank检验P值最小时输出Log-rank检验P值最小时对应的第N占比作为目标预设占比；
利用目标预设占比对各个患者进行评价，得到第一样本数据、第二样本数据和第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分后，对第一样本数据、第二样本数据和第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分进行Kaplan-Meier分析和Log-rank检验，得到分析结果，根据分析结果确定目标初始预设占比为预设占比。
在优选的实施例当中，预设位数为25％，预设占比为85％。
在本实施例中，为了得到在WSI级别的肿瘤-淋巴细胞的相互作用，首先将训练集中所有病人的所有patch级别的TLSIpatch进行排序，选择四分之一位数作为为截断点，通过二值化方法将TLSIpatch分为TLSIpatch-high和TLSIpatch-low，同时将该截断点的值运用到其他两个外部验证数据集进行相似的划分，得到三个数据集上的所有病人WSI的patch级别的TLSIpatch二值表示，并根据其表达比例的多少来获得全局的表示；
选择5％的比例作为截断点，如果WSI中TLSIpatch-low的比例超过5％，则认为该WSI关于TLSI的表达为high，否则为low，在WSI上的表达记为TLSI-score；然后以5％为起点，5％为步长进行穷举，直到使得训练集中所有患者的无病生存具有最好的分层(Log-rank检验P值最小)，最终得到85％的比例作为最佳截断点，如下面公式所示：
利用在训练集上得到的两个级别的截断点25％、85％，将所有的病人划分为TLSI-score-low、TLSI-score-high两类患者。
用从病理图像中得到的每个患者的TLSI-score，在三个数据集上做了Kaplan-Meier分析，同时也计算了在每个中心分层的Log-rank检验。结果表明存在统计学差异，TLSI-score-high与TLSI-score-low对患者的影响是显著不同的。另外也计算了TLSI-score-high相对于TLSI-score-low在各中心的风险比HR(Hazard ratio)，该值通过半参数Cox比例风险模型得到。
在优选的实施例当中，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态，具体为：
根据肿瘤-淋巴细胞空间相互作用评分和患者的变量输入Cox模型；
采用KM分析法对Cox模型进行预测，得到患者的生存曲线，根据生存曲线得到患者的预后状态。
在本实施例中，收集可能影响患者预后情况的变量如年龄(Age)，性别(Sex)、吸烟状况(Smoking status)、家族病史、肿瘤位置(Tumor site)、pTNM分期以及构建的TLSI-score在三个中心上分别进行了单因素和多因素Cox比例风险分析，具体分析了各因素(TLSI-score和临床病理特征)与DFS的关系。通过最小化赤池信息准则(AkaikeInformation Criterion，AIC)进行逐步回归，在三个数据集以及三个数据集合并的数据上比较几类Cox模型的性能，包括pTNM分期模型、TLSI-score模型、pTNM分期+TLSI-score模型，临床病理(年龄+性别+吸烟状态+pTNM分期)模型。对于临床病理模型(Clinicopathologic model)和全模型(Full model)，使用卡方比例检验来评估各协变量在模型中的贡献度，全模型的性能是最高的，这可以确定最终模型(全模型，Full model)，使用Harrell一致性指数(C-index)来评价模型区分度，计算如下公式所示：
式中，pairsconcordant表示每一对样本中，预测结果一致的对数，pairstotal表示总的测试样本对数。
使用AIC值来评价模型校准度，计算如下公式所示：AIC＝-2logL+2p
式中，L为模型的最大似然函数值，p为模型中的自变量个数。
在训练集上确定的模型为最终的模型，同时在两个验证数据集上对该模型做进一步验证。在对每个数据集进行单因素Cox分析确定进入多因素Cox分析的候选变量时，TLSI-score总能入选，并且经过逐步回归后建立的Cox回归模型中依然有TLSI-score的贡献，证明了构建的TLSI-score是一个与肺癌预后相关的预后因素。最终，在训练集上确定的Cox模型为最终模型，该模型由年龄(二值化后)、性别、吸烟状态、pTNM stage、TLSI-score构建，采用KM分析法预测患者的生存曲线。
如图5和图6所示，关于两层面的可解释性分析可视化方法，其中patch层面在细胞图中展示肿瘤细胞和淋巴细胞的相互作用关系，WSI层面从颜色分布展示了TLSI-score与预后的好坏有关，TLSI-score越高，表现出更好的预后。
本方法提出了一个与癌症无病生存期相关的独立预后因素“TLSI-score”。这一预后因素相较于现有的生物标志物更简单有效，在三个独立中心的数据中展现了稳健的危险分层性能，且结合其他临床信息能够提升无病生存期的预测能力。
本实施例更详细的工作原理和步骤流程可以但不限于参见实施例一的相关记载。
综上所述，实施本发明的实施例，具有如下有益效果：
采集病理图像，对病理图像进行通道逻辑运算，得到组织掩膜，利用预设像素的滑动窗口对组织掩膜进行滑动后，得到组织掩膜的图像块，采用预设第一神经网络预测组织掩膜的图像块的分类概率，得到病理图像的概率图，对概率图进行二值化处理后，选择满足预设条件的区域作为最终肿瘤区域，对最终肿瘤区域进行识别和分割，得到最终识别结果，对最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态，本方法通过根据患者病理图像得到肿瘤细胞和淋巴细胞相互作用关系评分，使用该肿瘤细胞和淋巴细胞相互作用关系评分结合其他信息对患者预后状态进行判断，提升了无病生存期的预测能力。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，包括：
采集病理图像，对所述病理图像进行通道逻辑运算，得到组织掩膜；
利用预设像素的滑动窗口对所述组织掩膜进行滑动后，得到所述组织掩膜的图像块，采用预设第一神经网络预测所述组织掩膜的图像块的分类概率，得到所述病理图像的概率图，对所述概率图进行二值化处理后，选择满足预设条件的区域作为最终肿瘤区域；
对所述最终肿瘤区域进行识别和分割，得到最终识别结果；
对所述最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，根据所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得分得到肿瘤细胞和淋巴细胞相互作用关系评分，根据所述肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态。
2.如权利要求1所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述对所述病理图像进行通道逻辑运算，得到组织掩膜，具体为：
对所述病理图像的RGB通道和HSV彩色模式下的H和S通道分别进行阈值分割操作，得到RGB通道结果和HSV通道结果；
对所述RGB通道运算结果进行逻辑运算，得到第一运算结果，将所述第一运算结果与HSV通道结果进行逻辑与运算，得到组织掩膜。
3.如权利要求1所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述对所述最终肿瘤区域进行识别和分割，得到最终识别结果，具体为：
对所述最终肿瘤区域进行切割，得到多个图像块；
采用预设第二神经网络对所述多个图像块进行细胞核识别，得到识别结果，其中，所述识别结果包括肿瘤细胞、淋巴细胞、间质细胞和未知类型细胞；
利用预设第三神经网络对所述多个图像块进行分割，得到分割结果，根据所述识别结果和所述分割结果得到最终识别结果，其中，所述分割结果包括肿瘤上皮、肿瘤相关间质、淋巴样聚集物和坏死。
4.如权利要求3所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述利用预设第三神经网络为通过对DeepLab V3+模型进行训练得到的，训练过程为：
利用交叉熵损失约束训练一个有patch-level标签的卷积神经网络，并所述有patch-level标签的卷积神经网络与渐进dropout注意力相结合，得到类激活图，将所述类激活图作为组织分割的像素级伪标签；
将所述像素级伪标签作为监督信号，对DeepLab V3+模型进行训练得到预设第三神经网络。
5.如权利要求3所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述根据所述识别结果和所述分割结果得到最终识别结果，具体为：
根据识别出的肿瘤细胞，将在所述肿瘤上皮中的基质细胞的细胞核纠正为肿瘤细胞，得到最终识别结果。
6.如权利要求1所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述对所述最终识别结果进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，具体为：
根据所述最终识别结果构建细胞图，对所述细胞图中的图像块进行量化，得到患者级别的肿瘤细胞和淋巴细胞相互作用关系得分，其中，所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得分的公式为：
其中，TLSIpatch表示所述细胞图在图像块级别上的量化，edgetum-lym表示一个图像块中的边的数量，nodetum表示一个图像块中肿瘤细胞数量。
7.如权利要求1所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述根据所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得到肿瘤细胞和淋巴细胞相互作用关系评分，具体为：
将细胞图中的所有图像块的所述患者级别的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到排序结果；
根据预设位数通过二值化方法将所述排序结果进行划分，得到关系高得分集和关系低得分集；
若所述关系高得分集大于预设占比，则判断所述肿瘤细胞和淋巴细胞相互作用关系评分为高，否则为低。
8.如权利要求7所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述预设占比通过训练得到的，训练过程为：
将第一样本数据、第二样本数据和第三样本数据中所有患者的肿瘤细胞和淋巴细胞相互作用关系得分进行排序，得到样本排序结果；
选择预设位数作为所述样本排序结果的截断点，并通过二值化方法将所述样本排序结果进行划分，得到划分结果，其中，所述划分结果包括样本关系高得分集和样本关系低得分集；
以第一占比作为截断点的起点，预设步长为步长进行穷举，对划分结果进行划分训练，直到Log-rank检验P值最小时输出所述Log-rank检验P值最小时对应的第N占比作为目标预设占比；
利用所述目标预设占比对各个患者进行评价，得到所述第一样本数据、所述第二样本数据和所述第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分后，对所述第一样本数据、所述第二样本数据和所述第三样本数据中各个患者的肿瘤细胞和淋巴细胞相互作用关系评分进行Kaplan-Meier分析和Log-rank检验，得到分析结果，根据所述分析结果确定所述目标初始预设占比为预设占比。
9.如权利要求8所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述预设位数为25％，所述预设占比为85％。
10.如权利要求1所述的肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法，其特征在于，所述根据所述肿瘤-淋巴细胞空间相互作用评分判断患者的预后状态，具体为：
根据所述肿瘤-淋巴细胞空间相互作用评分和所述患者的变量输入Cox模型；
采用KM分析法对所述Cox模型进行预测，得到所述患者的生存曲线，根据所述生存曲线得到所述患者的预后状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311361701.3A CN117575989A (zh) | 2023-10-19 | 2023-10-19 | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311361701.3A CN117575989A (zh) | 2023-10-19 | 2023-10-19 | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117575989A true CN117575989A (zh) | 2024-02-20 |
Family
ID=89888865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311361701.3A Pending CN117575989A (zh) | 2023-10-19 | 2023-10-19 | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117575989A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119007201A (zh) * | 2024-10-23 | 2024-11-22 | 杭州茵菲多组学生物科技有限公司 | 一种预后生存预测模型构建方法及预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220145401A1 (en) * | 2020-11-09 | 2022-05-12 | Lunit Inc. | Method and system for predicting responsiveness to therapy for cancer patient |
| CN114494155A (zh) * | 2021-12-31 | 2022-05-13 | 广东省人民医院 | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 |
| CN114841947A (zh) * | 2022-04-27 | 2022-08-02 | 广东省人民医院 | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 |
| CN115039125A (zh) * | 2020-01-11 | 2022-09-09 | 南特细胞公司 | 用于肿瘤评估的深度学习模型 |
| US20230177682A1 (en) * | 2020-05-06 | 2023-06-08 | The Board Of Regents Of The University Of Texas System | Systems and methods for characterizing a tumor microenvironment using pathological images |
-
2023
- 2023-10-19 CN CN202311361701.3A patent/CN117575989A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115039125A (zh) * | 2020-01-11 | 2022-09-09 | 南特细胞公司 | 用于肿瘤评估的深度学习模型 |
| US20230177682A1 (en) * | 2020-05-06 | 2023-06-08 | The Board Of Regents Of The University Of Texas System | Systems and methods for characterizing a tumor microenvironment using pathological images |
| US20220145401A1 (en) * | 2020-11-09 | 2022-05-12 | Lunit Inc. | Method and system for predicting responsiveness to therapy for cancer patient |
| CN114494155A (zh) * | 2021-12-31 | 2022-05-13 | 广东省人民医院 | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 |
| CN114841947A (zh) * | 2022-04-27 | 2022-08-02 | 广东省人民医院 | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 |
Non-Patent Citations (1)
| Title |
|---|
| ZHENGYUN FENG，ET AL.: "Artificial intelligence-quantified tumour-lymphocyte spatial interaction predicts disease-free survival in resected lung adenocarcinoma: A graph-based, multicentre study", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 238, 24 May 2023 (2023-05-24), pages 2 - 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119007201A (zh) * | 2024-10-23 | 2024-11-22 | 杭州茵菲多组学生物科技有限公司 | 一种预后生存预测模型构建方法及预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gamble et al. | Determining breast cancer biomarker status and associated morphological features using deep learning | |
| Arvaniti et al. | Automated Gleason grading of prostate cancer tissue microarrays via deep learning | |
| US11430131B2 (en) | Foreground segmentation and nucleus ranking for scoring dual ISH images | |
| Khosravi et al. | Deep convolutional neural networks enable discrimination of heterogeneous digital pathology images | |
| Couture et al. | Image analysis with deep learning to predict breast cancer grade, ER status, histologic subtype, and intrinsic subtype | |
| JP5184087B2 (ja) | ガンの予後のためのマーカー候補を分析および最適化するための方法およびコンピュータープログラム製品 | |
| US10474874B2 (en) | Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images | |
| Sheikhzadeh et al. | Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks | |
| US20210256699A1 (en) | Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment | |
| US20190156476A1 (en) | Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm | |
| CN113591919B (zh) | 基于ai对早期肝细胞癌术后复发预后的分析方法及系统 | |
| CN113222933A (zh) | 一种应用于肾细胞癌全链条诊断的图像识别系统 | |
| Ke et al. | Identifying patch-level MSI from histological images of colorectal cancer by a knowledge distillation model | |
| CN117912694A (zh) | 一种基于深度学习的多模态癌症生存风险预测方法 | |
| CN117575989A (zh) | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 | |
| Chidester et al. | Discriminative bag-of-cells for imaging-genomics | |
| Yilmaz et al. | Advancing AI Integration into the Pathology Workflow: Exploring Opportunities in Gastrointestinal Tract Biopsies | |
| CN115205588A (zh) | 基于人工智能的膀胱癌肌层浸润病理辅助诊断方法及装置 | |
| Chauhan et al. | Exploring genetic-histologic relationships in breast cancer | |
| US11335438B1 (en) | Detecting false positive variant calls in next-generation sequencing | |
| US12002206B2 (en) | System and method for automatically identifying mitosis in H and E stained breast cancer pathological images | |
| CN113221860A (zh) | Dna碎片识别方法、装置、计算机设备和存储介质 | |
| Lobanova et al. | Artificial intelligence (AI) for tumor microenvironment (TME) and tumor budding (TB) identification in colorectal cancer (CRC) patients: A systematic review | |
| Chen et al. | Deep learning-based diagnosis and survival prediction of patients with renal cell carcinoma from primary whole slide images | |
| Butt et al. | Using multi-label ensemble CNN classifiers to mitigate labelling inconsistencies in patch-level Gleason grading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |