CN114332060A - 一种病理样本的制片检测系统 - Google Patents

Abstract

本发明公开了一种病理样本的制片检测系统。所述制片检测系统，包括：石蜡标本图像采集装置、切片图像采集装置和制片检测模块；石蜡标本图像采集装置和切片图像采集装置均与制片检测模块电连接；石蜡标本图像采集装置用于获取石蜡标本切面图像和标本标签信息；切片图像采集装置用于获取切片图像和切片标签信息；制片检测模块用于根据标本标签信息和切片标签信息，将石蜡标本切面图像和切片图像进行比对，以确定石蜡标本与相应的切片是否匹配，得到制片检测结果。本发明能降低人力成本，提高病理切片的制片效率。

Description

一种病理样本的制片检测系统

技术领域

本发明涉及病理样本监测领域，特别是涉及一种病理样本的制片检测系统。

背景技术

病理是指疾病发生发展的过程和原理，即疾病发生的原因、发病原理和疾病发展过程中发生的细胞、组织和器官的结构、功能和代谢方面的改变及其规律。病理样本对于病理的研究尤为重要。

病理样本的最初形态是手术标本，进入病理科后，要经过采集、脱水、包埋后变成蜡块，然后经过切片变成玻片上厚度仅为4～6μm的组织，再经过染色、分发后放到显微镜下观察细胞形态的改变，整个流程环环相扣，每个步骤的操作过程对诊断结果都有十分重要的影响。

目前，病理切片比较普遍的制片流程为：病理技术员通过病理信息系统获取将要进行制片的病理和切片信息，然后将待制片的信息按顺序批量打印到空玻片上；切片时，技术员按系统信息顺序取病理石蜡标本进行切片，并采用对应的玻片进行捞片。因整个制片流程完全由人工进行操作，缺少有效监控，无法确保玻片与蜡块标本的一一对应。因此，大多数科室会增加一个人工比对环节，即在完成制片后，对比每一个切片上组织与该病例的蜡块上标本的切面形状，依此判断是否在切片过程存在差错。此过程能够有效减少差错，但是却浪费人力且效率低下。

发明内容

基于此，本发明实施例提供一种病理样本的制片检测系统，实现切片和石蜡标本切面的批量自动比对，以降低人力成本，提高病理切片的制片效率。

为实现上述目的，本发明提供了如下方案：

一种病理样本的制片检测系统，包括：石蜡标本图像采集装置、切片图像采集装置和制片检测模块；所述石蜡标本图像采集装置和所述切片图像采集装置均与所述制片检测模块电连接；

所述石蜡标本图像采集装置用于获取石蜡标本切面图像和标本标签信息；

所述切片图像采集装置用于获取切片图像和切片标签信息；

所述制片检测模块用于根据所述标本标签信息和所述切片标签信息，将所述石蜡标本切面图像和所述切片图像进行比对，以确定石蜡标本与相应的切片是否匹配，得到制片检测结果。

可选的，所述制片检测模块，具体包括：

图像比对子模块，用于计算目标石蜡标本切面图像与目标切片图像的相似度；所述目标石蜡标本切面图像对应的标本标签信息与所述目标切片图像对应的切片标签信息相同；

标本匹配单元，用于当所述相似度小于设定阈值时，确定目标石蜡标本与目标切片相匹配。

可选的，所述图像比对子模块，具体包括：

图像处理单元，用于对所述目标石蜡标本切面图像进行预处理，得到标本处理图像，对所述目标切片图像进行预处理，得到切片处理图像；

相似度计算单元，用于根据所述标本处理图像的矩特征和所述切片处理图像的矩特征，计算所述标本处理图像和所述切片处理图像的相似度，或者将所述标本处理图像和所述切片处理图像输入相似度比对模型中，得到所述标本处理图像和所述切片处理图像的相似度；所述相似度比对模型是采用训练集对伪孪生网络进行训练得到的。

可选的，所述相似度计算单元，具体包括：

矩特征提取子单元，用于提取所述标本处理图像的矩特征，得到第一矩特征，提取所述切片处理图像的矩特征，得到第二矩特征；

距离计算子单元，用于计算所述第一矩特征和所述第二矩特征的欧氏距离，将所述欧氏距离作为所述标本处理图像和所述切片处理图像的相似度。

可选的，所述相似度计算单元，具体包括：

网络构建子单元，用于构建伪孪生网络；所述伪孪生网络包括第一卷积神经网络层、第二卷积神经网络层和输出层；所述第一卷积神经网络层和所述第二卷积神经网络层的输出均与所述输出层连接；

训练子单元，用于采用训练集中的正样本和负样本对所述伪孪生网络进行迭代训练，当损失函数不再收敛时，得到训练好的伪孪生网络，并将所述训练好的伪孪生网络确定为相似度比对模型；所述正样本包括训练石蜡标本的切面图像和从所述训练石蜡标本上切下的切片的图像；所述负样本包括所述训练石蜡标本的切面图像和从与所述训练石蜡标本不同的标本上切下的切片的图像；

相似度确定子单元，用于将所述标本处理图像输入所述相似度比对模型的第一卷积神经网络层，将所述切片处理图像输入所述相似度比对模型的第二卷积神经网络层，得到所述标本处理图像和所述切片处理图像的相似度。

可选的，所述石蜡标本图像采集装置，具体包括：

石蜡标本平台、石蜡标本图像采集相机和标签信息扫描相机；所述石蜡标本图像采集相机和所述标签信息扫描相机均设置在所述石蜡标本平台上；

所述石蜡标本平台用于放置石蜡标本；所述石蜡标本图像采集相机用于采集所述石蜡标本的图像，得到石蜡标本切面图像；所述标签信息扫描相机用于扫描所述石蜡标本上的标签，得到标本标签信息。

可选的，所述切片图像采集装置，具体包括：切片平台和切片图像采集相机；

所述切片图像采集相机设置在所述切片平台上；所述切片平台用于放置石蜡标本的切片；所述切片图像采集相机用于采集切片图像和切片标签信息。

可选的，所述石蜡标本图像采集装置，还包括：标本图像采集光源；

所述石蜡标本平台的内部设置所述标签信息扫描相机和所述标本图像采集光源；所述石蜡标本平台的台面上开设标本放置孔；所述标本放置孔的尺寸与所述石蜡标本的尺寸相匹配；所述标本放置孔用于放置所述石蜡标本；所述标签信息扫描相机用于在所述标本图像采集光源的照射下，扫描所述石蜡标本上的标签，得到标本标签信息。

可选的，所述病理样本的制片检测系统，还包括：人机交互模块；

所述人机交互模块，用于供工作人员浏览所述制片检测结果。

可选的，所述病理样本的制片检测系统，还包括：数据存储模块；

所述数据存储模块用于存储所述石蜡标本切面图像、所述标本标签信息、所述切片图像、所述切片标签信息和所述制片检测结果。

与现有技术相比，本发明的有益效果是：

本发明实施例提出了一种病理样本的制片检测系统，采用石蜡标本图像采集装置获取石蜡标本切面图像和标本标签信息；采用切片图像采集装置获取切片图像和切片标签信息；制片检测模块根据标本标签信息和切片标签信息，将石蜡标本切面图像和切片图像进行比对，以确定石蜡标本与相应的切片是否匹配，得到制片检测结果。该系统无需人工比对，可以实现切片和石蜡标本切面的批量自动比对，能够降低人力成本，提高病理切片的制片效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的病理样本的制片检测系统的结构示意图；

图2为本发明实施例提供的石蜡标本图像采集装置的结构示意图；

图3为本发明实施例提供的切片图像采集装置的结构示意图；

图4为本发明实施例提供的对目标石蜡标本切面图像进行预处理的流程图；

图5为本发明实施例提供的对目标切片图像进行预处理的流程图；

图6为本发明实施例提供的Hu矩的计算流程图；

图7为本发明实施例提供的伪孪生网络的结构图；

图8为本发明实施例提供的相似度比对流程图；

图9为本发明实施例提供的基于石蜡标本图像集合和切片图像集合的制片差错检测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例提供的病理样本的制片检测系统的结构示意图。

参见图1，本实施例的病理样本的制片检测系统，包括：石蜡标本图像采集装置、切片图像采集装置和制片检测模块；所述石蜡标本图像采集装置和所述切片图像采集装置均与所述制片检测模块电连接。

其中，所述石蜡标本图像采集装置用于获取石蜡标本数据，所述石蜡标本数据包括石蜡标本切面图像和对应的标本标签信息。所述石蜡标本图像采集装置采集至少一个石蜡标本的石蜡标本数据。

在一个示例中，参见图2，所述石蜡标本图像采集装置，具体包括：石蜡标本平台1、石蜡标本图像采集相机2和标签信息扫描相机3；所述石蜡标本图像采集相机2和所述标签信息扫描相机3均设置在所述石蜡标本平台1上。所述石蜡标本平台1用于放置石蜡标本10；所述石蜡标本图像采集相机2用于采集所述石蜡标本10的图像，得到石蜡标本切面图像；所述标签信息扫描相机3用于扫描所述石蜡标本10上的标签，得到标本标签信息(标本对应的病例信息)。

在实际应用中，仍请参见图2，所述石蜡标本图像采集装置，还包括：标本图像采集光源4。所述石蜡标本平台1为内部空心的盒体，所述石蜡标本平台1的内部设置所述标签信息扫描相机3和所述标本图像采集光源4；所述石蜡标本平台1的台面上开设标本放置孔；所述标本放置孔的尺寸与所述石蜡标本10的尺寸相匹配；所述标本放置孔用于放置所述石蜡标本10；所述标本图像采集光源4通过标本放置孔照在石蜡标本10上；所述标签信息扫描相机3用于在所述标本图像采集光源4的照射下，通过标本放置孔扫描所述石蜡标本10上的标签，得到标本标签信息。

在实际应用中，仍请参见图2，所述石蜡标本图像采集装置，还包括：第一相机支架5；所述石蜡标本图像采集相机2通过所述第一相机支架5设置在所述石蜡标本平台1上。

其中，所述切片图像采集装置用于获取组织切片数据；所述组织切片数据包括切片图像和对应的切片标签信息。所述切片图像采集装置采集至少一个切片的组织切片数据。

在一个示例中，参见图3，所述切片图像采集装置，具体包括：切片平台6和切片图像采集相机7；所述切片图像采集相机7设置在所述切片平台6上；所述切片平台6用于放置石蜡标本的切片；所述切片图像采集相机7用于采集切片图像和切片标签信息。

在实际应用中，仍请参见图3，所述切片图像采集装置，还包括：第二相机支架8；所述切片图像采集相机7通过所述第二相机支架8固定在所述切片平台6上。所述切片平台6上放置晾片盘9；所述晾片盘9用于盛放石蜡标本的切片。

其中，所述制片检测模块用于根据所述标本标签信息和所述切片标签信息，将所述石蜡标本切面图像和所述切片图像进行比对，以确定石蜡标本与相应的切片是否匹配，得到制片检测结果。

病理切片的制片流程需经过切片、捞片、烤片、染色和封片，在这个过程中，标本组织的颜色完全发生改变，故需通过比对标本轮廓来确认石蜡标本与玻片上的组织的一致性。

尺寸是判断两个轮廓形状相似性最基础的参数，因石蜡标本切面图像与切片图像分别由石蜡标本图像采集装置和切片图像采集装置采集，两种装置对相同尺寸大小的目标采集到的图像尺寸存在某个缩放系数的大小差异。在系统投入使用前，使用标定板对设备进行标定，计算缩放系数，供实际使用时计算尺寸相似度。

所述制片检测模块，具体包括：

图像比对子模块，用于计算目标石蜡标本切面图像与目标切片图像的相似度；所述目标石蜡标本切面图像对应的标本标签信息与所述目标切片图像对应的切片标签信息相同。

标本匹配单元，用于当所述相似度小于设定阈值时，确定目标石蜡标本与目标切片相匹配。

在一个示例中，所述图像比对子模块，具体包括：

图像处理单元，用于对所述目标石蜡标本切面图像进行预处理，得到标本处理图像，对所述目标切片图像进行预处理，得到切片处理图像。

相似度计算单元，用于根据所述标本处理图像的矩特征和所述切片处理图像的矩特征，计算所述标本处理图像和所述切片处理图像的相似度，或者将所述标本处理图像和所述切片处理图像输入相似度比对模型中，得到所述标本处理图像和所述切片处理图像的相似度；所述相似度比对模型是采用训练集对伪孪生网络进行训练得到的。

图像处理单元中，对所述目标石蜡标本切面图像进行预处理，具体流程如下：

参见图4，对获取到的所述目标石蜡标本切面图像进行二值化，对二值化后的石蜡标本切面图像进行轮廓检测，再基于面积阈值对轮廓进行筛选，筛选后的轮廓图像集合即为标本处理图像。

图像处理单元中，对所述目标切片图像进行预处理，具体流程如下：

参见图5，对获取到的所述目标切片图像进行灰度转换，对转换后的图像进行二值化，对二值化后的切片图像进行轮廓检测，再基于面积阈值筛选组织轮廓图像，该切片筛选后的组织轮廓图像集合即为切片处理图像。

在一个示例中，所述相似度计算单元，具体包括：

矩特征提取子单元，用于提取所述标本处理图像的矩特征，得到第一矩特征，提取所述切片处理图像的矩特征，得到第二矩特征。所述矩特征可以为Hu矩。

距离计算子单元，用于计算所述第一矩特征和所述第二矩特征的欧氏距离，将所述欧氏距离作为所述标本处理图像和所述切片处理图像的相似度。

本示例中，采用图像旋转不变矩进行相似度比对，分别计算所述标本处理图像和所述切片处理图像的Hu矩，并通过计算两个Hu矩来确定两个图像的相似度。参见图6，Hu矩的计算流程如下：

对图像(标本处理图像和切片处理图像)进行灰度变换，采用大津法对图像进行二值化，然后计算二值化后的图像的零阶矩和一阶矩，再根据零阶矩和一阶矩计算图像的中心点，根据中心点计算图像的零阶中心矩、一阶中心矩、二阶中心矩和三阶中心矩，再进行归一化后，得到图像的零阶归一化中心矩、一阶归一化中心矩、二阶归一化中心矩和三阶归一化中心矩，最终构建7旋转尺度平移不变矩，得到所述标本处理图像的Hu矩和所述切片处理图像的Hu矩。

获取到两个图像的hu矩(H_A，H_B)后，计算两个Hu矩的欧式距离，若欧式距离小于设定阈值，则可判断标本处理图像与切片处理图像形状一致，反之则不一致。

在进行捞片时，组织切片可能会在表面张力的作用下向各个方向伸展，从而导致组织轮廓形状发生少量形变，此情况下采用Hu矩进行相似度比对的方式鲁棒性不高。孪生神经网络(Siamese neural network)，又名双生神经网络，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。狭义的孪生网络中两个神经网络共享权值，一般用于两个输入的数据比较相似的场景，而广义的孪生网络(即伪孪生网络)中两个神经网络各自采用不同的权值，用于两个输入的数据有差异的场景。在此系统应用中，待比较的样本数据(石蜡标本切面图像数据与已染色的切片图像数据)差异性较大，故采用伪孪生网络进行相似度比对。

因此，在另一个示例中，所述相似度计算单元，具体包括：

网络构建子单元，用于构建伪孪生网络；所述伪孪生网络包括第一卷积神经网络层、第二卷积神经网络层和输出层；所述第一卷积神经网络层和所述第二卷积神经网络层的输出均与所述输出层连接。

训练子单元，用于采用训练集中的正样本和负样本对所述伪孪生网络进行迭代训练，当损失函数不再收敛时，得到训练好的伪孪生网络，并将所述训练好的伪孪生网络确定为相似度比对模型；所述正样本包括训练石蜡标本的切面图像和从所述训练石蜡标本上切下的切片的图像；所述负样本包括所述训练石蜡标本的切面图像和从与所述训练石蜡标本不同的标本上切下的切片的图像。

相似度确定子单元，用于将所述标本处理图像输入所述相似度比对模型的第一卷积神经网络层，将所述切片处理图像输入所述相似度比对模型的第二卷积神经网络层，得到所述标本处理图像和所述切片处理图像的相似度。

在实际应用中，伪孪生网络的结构如图7所示，图7中网络架构中两个子网络Network_1和Network_2均采用卷积神经网络(即第一卷积神经网络层和第二卷积神经网络层)，能够对图像数据中的全局信息进行有效提取，两个子网络输出维度相同的向量，计算两个向量的距离，通过距离判断输入图像的相似度，训练时采用Contrastive loss作为网络的损失函数。子网络采用的卷积神经网络架构，包括当不限于Vgg16、MobileNet和ResNet，可根据实际计算资源和精度要求进行切换使用。网络构建完成后，进行网络训练。

网络训练过程为：采用石蜡标本图像采集装置和切片图像采集装置分别采集若干个病例的石蜡标本切面图像和切片图像，分别提取图像中的有效标本区域图像。每个病例的石蜡标本图像对应选择改蜡块切下的切片上的组织图像作为正样本，选择其它蜡块的切片组织图像作为负样本，选择若干组正负样本对作为网络训练数据，分批次输入网络进行迭代训练，待loss值不再收敛时停止训练。

训练完成后，进行相似度对比，相似度比对流程如图8所示。

在一个示例中，所述病理样本的制片检测系统，还包括：人机交互模块和数据存储模块。所述人机交互模块，用于供工作人员浏览所述制片检测结果。所述数据存储模块用于存储所述石蜡标本切面图像、所述标本标签信息、所述切片图像、所述切片标签信息和所述制片检测结果。

在实际应用中，当对多个石蜡标本进行制片检测时，石蜡标本图像采集装置采集多个石蜡标本的石蜡标本数据，得到待匹配病例石蜡标本图像集合，切片图像采集装置采集多个切片的组织切片数据，得到石蜡标本对应的切片图像集合，基于石蜡标本图像集合和切片图像集合的制片差错检测流程如图9所示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种病理样本的制片检测系统，其特征在于，包括：石蜡标本图像采集装置、切片图像采集装置和制片检测模块；所述石蜡标本图像采集装置和所述切片图像采集装置均与所述制片检测模块电连接；

所述石蜡标本图像采集装置用于获取石蜡标本切面图像和标本标签信息；

所述切片图像采集装置用于获取切片图像和切片标签信息；

所述制片检测模块用于根据所述标本标签信息和所述切片标签信息，将所述石蜡标本切面图像和所述切片图像进行比对，以确定石蜡标本与相应的切片是否匹配，得到制片检测结果。

2.根据权利要求1所述的一种病理样本的制片检测系统，其特征在于，所述制片检测模块，具体包括：

图像比对子模块，用于计算目标石蜡标本切面图像与目标切片图像的相似度；所述目标石蜡标本切面图像对应的标本标签信息与所述目标切片图像对应的切片标签信息相同；

标本匹配单元，用于当所述相似度小于设定阈值时，确定目标石蜡标本与目标切片相匹配。

3.根据权利要求2所述的一种病理样本的制片检测系统，其特征在于，所述图像比对子模块，具体包括：

图像处理单元，用于对所述目标石蜡标本切面图像进行预处理，得到标本处理图像，对所述目标切片图像进行预处理，得到切片处理图像；

相似度计算单元，用于根据所述标本处理图像的矩特征和所述切片处理图像的矩特征，计算所述标本处理图像和所述切片处理图像的相似度，或者将所述标本处理图像和所述切片处理图像输入相似度比对模型中，得到所述标本处理图像和所述切片处理图像的相似度；所述相似度比对模型是采用训练集对伪孪生网络进行训练得到的。

4.根据权利要求3所述的一种病理样本的制片检测系统，其特征在于，所述相似度计算单元，具体包括：

矩特征提取子单元，用于提取所述标本处理图像的矩特征，得到第一矩特征，提取所述切片处理图像的矩特征，得到第二矩特征；

距离计算子单元，用于计算所述第一矩特征和所述第二矩特征的欧氏距离，将所述欧氏距离作为所述标本处理图像和所述切片处理图像的相似度。

5.根据权利要求3所述的一种病理样本的制片检测系统，其特征在于，所述相似度计算单元，具体包括：

网络构建子单元，用于构建伪孪生网络；所述伪孪生网络包括第一卷积神经网络层、第二卷积神经网络层和输出层；所述第一卷积神经网络层和所述第二卷积神经网络层的输出均与所述输出层连接；

训练子单元，用于采用训练集中的正样本和负样本对所述伪孪生网络进行迭代训练，当损失函数不再收敛时，得到训练好的伪孪生网络，并将所述训练好的伪孪生网络确定为相似度比对模型；所述正样本包括训练石蜡标本的切面图像和从所述训练石蜡标本上切下的切片的图像；所述负样本包括所述训练石蜡标本的切面图像和从与所述训练石蜡标本不同的标本上切下的切片的图像；

相似度确定子单元，用于将所述标本处理图像输入所述相似度比对模型的第一卷积神经网络层，将所述切片处理图像输入所述相似度比对模型的第二卷积神经网络层，得到所述标本处理图像和所述切片处理图像的相似度。

6.根据权利要求1所述的一种病理样本的制片检测系统，其特征在于，所述石蜡标本图像采集装置，具体包括：

石蜡标本平台、石蜡标本图像采集相机和标签信息扫描相机；所述石蜡标本图像采集相机和所述标签信息扫描相机均设置在所述石蜡标本平台上；

所述石蜡标本平台用于放置石蜡标本；所述石蜡标本图像采集相机用于采集所述石蜡标本的图像，得到石蜡标本切面图像；所述标签信息扫描相机用于扫描所述石蜡标本上的标签，得到标本标签信息。

7.根据权利要求1所述的一种病理样本的制片检测系统，其特征在于，所述切片图像采集装置，具体包括：切片平台和切片图像采集相机；

所述切片图像采集相机设置在所述切片平台上；所述切片平台用于放置石蜡标本的切片；所述切片图像采集相机用于采集切片图像和切片标签信息。

8.根据权利要求6所述的一种病理样本的制片检测系统，其特征在于，所述石蜡标本图像采集装置，还包括：标本图像采集光源；

所述石蜡标本平台的内部设置所述标签信息扫描相机和所述标本图像采集光源；所述石蜡标本平台的台面上开设标本放置孔；所述标本放置孔的尺寸与所述石蜡标本的尺寸相匹配；所述标本放置孔用于放置所述石蜡标本；所述标签信息扫描相机用于在所述标本图像采集光源的照射下，扫描所述石蜡标本上的标签，得到标本标签信息。

9.根据权利要求1所述的一种病理样本的制片检测系统，其特征在于，还包括：人机交互模块；

所述人机交互模块，用于供工作人员浏览所述制片检测结果。

10.根据权利要求1所述的一种病理样本的制片检测系统，其特征在于，还包括：数据存储模块；

所述数据存储模块用于存储所述石蜡标本切面图像、所述标本标签信息、所述切片图像、所述切片标签信息和所述制片检测结果。

Images