CN113850796B - 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 - Google Patents

Abstract

本公开提供一种基于CT数据的肺部疾病识别方法、装置、计算机可读介质和电子设备，涉及影像处理技术领域。该方法包括：获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块得到k个分块张量；对k个分块张量进行肺部疾病分类识别得到k个分块分类结果；根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。本公开通过对3D张量进行分块，不仅可以避免对3D张量的采样，进而避免关键病灶信息的缺失或重复无效噪声的引入；同时还可以直接通过k个分块分类结果在k个分块张量中确定病灶分块张量，进而基于病灶分块张量实现了对病灶的粗定位。

Description

基于CT数据的肺部疾病识别方法及装置、介质和电子设备

技术领域

本公开涉及影像处理技术领域，具体涉及一种基于CT数据的肺部疾病识别方法、基于CT数据的肺部疾病识别装置、计算机可读介质和电子设备。

背景技术

CT(Computed Tomography)，即电子计算机断层扫描，其成像原理是：用X线束、γ射线、超声波等对人体特定部位一定厚度的层面进行扫描，经过计算机处理后得到医学影像。与常规的影像学检查手段相比，CT具有能够获取真正的断面图像，密度分辨率高，可定量分析，便于后续图像处理等优势，因此在医学影像检测中有着越来越广泛的应用。

近年来，快速发展的计算机辅助诊断技术极大地便利了医疗CT影像的诊断分析。针对肺部CT影像，通常有三种辅助分析方法：一是将肺部CT的3D数据通过插值或抽样的形式采样到固定尺寸的3D张量，再将固定尺寸的3D张量输入3D卷积模型进行诊断；二是基于前序分割任务的特征分类器实现诊断，需要对病灶的颜色、纹理、形状特征等人工设计提取的特征类型、种类和数量，输入分类器实现诊断；三是基于模糊模式的特征分类器实现诊断，可以通过人工设计或卷积神经网络自动提取的特征构建特征空间，并在特征空间上基于模糊模式进行特征的降维、加权。

然而，上述三种辅助分析方法中，第一种方式涉及固定尺寸3D张量的采样，由于缺乏先验信息，容易造成关键病灶信息的缺失或重复无效噪声的引入；第二种方式涉及在对特征分类器进行训练时，需要提供精确的病灶区域标签，因此标注耗时耗力；第三种方式需要人工设计特征空间或特征空间筛选策略，对输入端的特征质量依赖性较高，易导致模型过拟合。

发明内容

本公开的目的在于提供一种基于CT数据的肺部疾病识别方法、基于CT数据的肺部疾病识别装置、计算机可读介质和电子设备，可以在根据完整的原始CT数据识别肺部疾病的基础上，通过确定病灶分块张量提供病灶的空间定位信息。

根据本公开的第一方面，提供一种基于CT数据的肺部疾病识别方法，包括：获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块得到k个分块张量；k取大于或等于2的正整数；对k个分块张量进行肺部疾病分类识别得到k个分块分类结果；根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

根据本公开的第二方面，提供一种基于CT数据的肺部疾病识别装置，包括：分块获取模块，用于获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块得到k个分块张量；k取大于或等于2的正整数；分类识别模块，用于对k个分块张量进行肺部疾病分类识别得到k个分块分类结果；结果输出模块，用于根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的基于CT数据的肺部疾病识别方法，通过获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块可以得到k个分块张量，然后分别对k个分块张量进行肺部疾病分类识别得到k个分块分类结果，进而可以根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在k个分块张量中确定病灶分块张量。通过对3D张量进行分块，不仅可以避免对3D张量的采样，进而避免关键病灶信息的缺失或重复无效噪声的引入；同时还可以直接通过k个分块分类结果在k个分块张量中确定病灶分块张量，进而基于病灶分块张量实现了对病灶的粗定位。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种基于CT数据的肺部疾病识别方法的流程图；

图4示意性示出本公开示例性实施例中一种确定识别结果和病灶分块张量的流程示意图；

图5示意性示出本公开示例性实施例中一种肺部疾病识别神经网络的训练过程的示意图；

图6示意性示出本公开示例性实施例中另一种确定识别结果和病灶分块张量的流程示意图；

图7示意性示出本公开示例性实施例中基于CT数据的肺部疾病识别装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种基于CT数据的肺部疾病识别方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像识别功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的基于CT数据的肺部疾病识别方法可以由终端设备101、102、103中执行，相应地，基于CT数据的肺部疾病识别装置一般设置于终端设备101、102、103中；也可以由服务器105执行，相应的，基于CT数据的肺部疾病识别装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，终端设备101可以是能够直接获取肺部CT数据对应3D张量的设备，例如，断层扫描设备，其他终端设备102、103以及服务器105可以通过网络采集终端设备101采集到的肺部CT数据对应的3D张量，进而进行肺部疾病识别。

本公开的示例性实施方式提供一种用于实现基于CT数据的肺部疾病识别方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行基于CT数据的肺部疾病识别方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在一些实施例中，可以通过NPU实现对k个分块张量进行肺部疾病分类识别得到k个分块分类结果的步骤、据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量的步骤以及对肺部疾病识别神经网络中的参数进行调整和确定的步骤。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。在一些实施例中，可以通过GPU实现对3D张量的分块等步骤。

在相关技术中，针对肺部CT影像，通常包括三种辅助分析方法。

一是将肺部CT的3D数据通过插值或抽样的形式采样到固定尺寸的3D张量，再将固定尺寸的3D张量输入3D卷积模型进行诊断。例如，在Wang X，Jiang L，Li L等撰写的名称为《Joint learning of 3D lesion segmentation and classification for explainableCOVID-19diagnosis》的文章中，提出了一种具有3个分支的3D卷积神经网络，通过对CT数据进行缩放和插值降采样，并使用3D卷积神经网络1提取多尺度下的底层融合特征；然后使用3D卷积神经网络分支2处理分支1输出的部分特征应用于病灶分割任务，输出病灶分割结果；最后使用3D卷积神经网络分支3接收分支1输出的部分特征和分支2输出的分割结果，输出最终的新冠肺部疾病和社区获得性肺部疾病的识别结果。

然而，这种方法需要在输入端将肺部CT数据通过插值或抽样的形式采样到固定尺寸的3D张量，再将3D张量输入3D卷积模型，由于缺乏先验信息，非常容易造成关键病灶信息的缺失或重复无效噪声的引入。

二是基于前序分割任务的特征分类器实现诊断，需要对病灶的颜色、纹理、形状特征等人工设计提取的特征类型、种类和数量，输入分类器实现诊断。例如，在公开号为CN111724356A的专利申请提供了一种用于CT影像肺部疾病识别的图像处理方法和系统，该图像处理方法首先基于肺部疾病分割模型提取肺部疾病区域掩膜，然后通过引入注意力机制对卷积特征在空间层面进行权重调整，使肺部疾病区域特征更加突出；对三维CT序列按横断位进行缩放，对序列的每个阳性层面(患有肺部疾病的层面)逐层分类，然后通过对应肺部疾病掩膜区域面积和分类结果进行加权然后投票取概率最大的类别得到该三维CT序列的肺部疾病分类结果。

然而，这种方法中所采用的基于前序分割任务的特征分类器，在训练模型时需要提供精确的病灶区域标签。由于标签的标注需要人工进行，不仅耗时耗力，而且受限于标注人员对专业知识的理解不同，导致标注质量良莠不齐，对应的训练样本量较小，训练得到的模型的泛化能力有待验证。

三是基于模糊模式的特征分类器实现诊断，可以通过人工设计或卷积神经网络自动提取的特征构建特征空间，并在特征空间上基于模糊模式进行特征的降维、加权。例如，公开号为CN111414956A专利申请提供了一种肺部CT图像中模糊模式的多示例学习识别方法，利用预训练卷积神经网络对获取的CT图像进行特征提取，将单张CT图像视为包，将在单张CT图像上提取到的特征作为示例，使用多示例学习模型(包括k最近邻模型Citation-KNN、多示例支持向量机模型MI-SVM以及期望最大化-多样性密度模型EM-DD)执行分类任务。

然而，这种方法主要使用人工设计或卷积神经网络自动提取的特征构建特征空间或特征空间筛选策略，对输入端的特征质量依赖性较高，容易导致模型过拟合。

基于上述一个或多个问题，本示例实施方式提供了一种基于CT数据的肺部疾病识别方法。该基于CT数据的肺部疾病识别方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该基于CT数据的肺部疾病识别方法可以包括以下步骤S310至S320：

在步骤S310中，获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块得到k个分块张量。

其中，k取大于或等于2的正整数；待识别肺部CT数据可以包括不同格式的肺部CT数据，例如DICOM格式、NII格式以及单通道图像序列模式；对应的，3D张量也可以包括不同格式的肺部CT数据转换得到的3D张量。

在一示例性实施例中，在对3D张量进行后续处理之前，可以先对3D张量进行预处理。具体的，预处理过程可以包括归一化处理、尺度缩放处理、去噪处理等。

其中，由于不同格式的CT数据中存储的内容不同。例如，DICOM、NII格式中储存的是HU值，单通道图像序列中存储的是像素灰度值。因此需要对3D张量进行归一化处理，将其归一化至特定范围内，例如[0，1]。需要说明的是，归一化处理是对数值进行处理，因此还可以直接对待识别肺部CT数据进行归一化处理，然后再将其转换为3D张量。

需要说明的是，在进行归一化处理之前，还可以对3D张量进行取窗处理，即将窗口范围之外的HU值或像素灰度值筛除，保留窗口范围内的HU值或像素灰度值。通过这种处理方式，可以将一些特大或特小的HU值或像素灰度值筛除，避免因为特大数值或特小数值的存在，导致归一化处理后的数据过于聚集，进而导致无法识别的问题。例如，假设像素灰度分布在0-100之间，若将其归一化至[0，1]的范围内，则只需对每一数值除以100即可；假设像素灰度大部分分布在0-100之间，但存在一个最大值255，则需要对每一数值除以255，这样会导致分布在0-100之间的像素灰度值会压缩分布在0到0.39之间，而0.39到1之间的部分只有1个像素值，很可能出现由于灰度值过于集中，各灰度值之间差距较小，进而导致无法识别的问题。

其中，由于CT设备采集的待识别肺部CT数据经过转换后得到的3D张量可能是不同尺度的，例如不同分辨率的。因此可以在3D张量的基础上进行尺度缩放处理，将不同分辨率的3D张量在横截面切片上进行最近邻插值，将其缩放至预定尺寸，例如H(图像高度)×W(图像宽度)。需要说明的是，在进行尺度缩放时，不需要对3D张量中包含的图像数据进行缩放，以避免丢失肺部某些位置的数据。

其中，在采集过程中可能会引入噪声，因此可以通过去噪处理去除3D张量中可能存在的噪声。

其中，为了将3D张量转换为更适合GPU等计算机设备分析处理的形式，可以对3D张量进行对比度增强。例如，基于直方图均衡化的对比度增强。

在一示例性实施例中，在对3D张量进行分块时，可以根据不同的分块规则进行分块。其中，在3D张量的尺寸为图像数量×图像高度×图像宽度时，可以基于预先设定的分块参数对3D张量按照顺序进行分块，得到k-1个尺寸为分块参数×图像高度×图像宽度的分块张量，然后剩余未分块的剩余部分作为1个分块张量，得到k个张量。需要说明的是，在进行分块时，剩余部分的尺寸为剩余数量×图像高度×图像宽度，且剩余数量小于或等于分块参数。

例如，假设某一3D张量的尺寸为D×H×W，预先设定的分块参数为N。此时，若D/N能够整除，则D/N＝k，共得到k个尺寸为N×H×W的分块张量，即剩余数量等于分块参数；若D/N不能够整除，则对D/N进行向上取整计算后等于k，共得到k-1个尺寸为N×H×W的分块张量，和1个尺寸为(D-(k-1)N)×H×W的分块张量。其中，(D-(k-1)N)为剩余数量，且剩余数量小于分块参数。

在步骤S320中，对k个分块张量进行肺部疾病分类识别得到k个分块分类结果。

在一示例性实施例中，在得到k个分块张量后，可以针对每个分块张量分别进行肺部疾病分类识别，对应得到k个分块分类结果。具体的，在进行肺部疾病分类识别时，可以采用机器学习、深度学习等方式进行。例如，可以通过训练后的3D卷积神经网络(如3DResNet-18 Model、3D DenseNet等)对k个分块张量进行肺部疾病分类识别。

在步骤S330中，根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

其中，待识别肺部CT数据对应的识别结果可以有多种预设种类。例如，针对肺炎识别，某一待识别肺部CT数据对应的识别结果可以包括三种：正常状态、普通肺炎、新冠肺炎。对应的，预设种类即可以设定为正常、普通肺炎、新冠肺炎。在此基础上，每个分块分类结果均包括该分块张量属于每种预设种类的概率。例如，某一分块进行识别后，得到的识别结果可以包括：属于正常状态的概率为80％，属于普通肺炎的概率为11％，属于新冠肺炎的概率为9％。

其中，非正常结果是指待识别肺部CT数据对应的识别结果为包含肺部疾病的结果。例如，针对肺炎，识别结果包括正常、普通肺炎和新冠肺炎，其中，普通肺炎和新冠肺炎均属于非正常结果。

在一示例性实施例中，在得到k个分块分类结果之后，可以基于k个分块分类结果确定待识别肺部CT数据对应的识别结果和病灶分块张量。具体的，可以采用机器学习、深度学习等方式进行。例如，可以通过贝叶斯Noisy-Or模型对k个分块分类结果进行整合，以输出待识别肺部CT数据对应的识别结果和病灶分块张量。

在一示例性实施例中，在识别结果包括多种预设种类，分块分类结果包括分块张量属于各预设种类的概率时，在根据k个分块分类结果输出待识别肺部CT数据对应的识别结果时，针对每一种预设种类，可以基于k个分块分类结果计算该预设种类对应的总概率，然后将总概率最大的预设种类确定为待识别肺部CT数据对应的识别结果。

在一示例性实施例中，在计算预设种类对应的总概率时，可以基于公式1进行计算。例如，假设k＝2，2个分块对应的分块分类结果分别为：属于正常状态的概率为80％，属于普通肺炎的概率为10％，属于新冠肺炎的概率为10％；属于正常状态的概率为60％，属于普通肺炎的概率为30％，属于新冠肺炎的概率为10％。此时，基于公式1可以计算得到属于正常状态的总概率为92％，属于普通肺炎的总概率为37％，属于新冠肺炎的总概率为19％。公式(1)如下：

其中，P为某一预设种类对应的总概率，pt为第t个分块属于该预设种类的概率。

在一示例性实施例中，在识别结果为非正常结果时，即存在肺部疾病时，可以根据k个分块分类结果在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。具体的，在分块分类结果包括分块张量属于各预设种类的概率时，可以针对每个分块分类结果，获取该分块分类结果中分块张量属于识别结果的目标概率，然后将得到的k个目标概率中的最大目标概率对应的分块张量确定为待识别肺部CT数据对应的病灶分块张量。通过在3D张量中确定病灶分块张量，可以对非正常结果最可能发生的位置进行定位，以基于确定空间位置辅助医护等人员进行诊断。

此外，在一示例性实施例中，在基于机器学习或深度学习等人工智能执行上述步骤S320和步骤S330时，参照图4所示，可以先以k个分块张量为输入，基于肺部疾病分类模型对分块张量进行分类得到k个分块分类结果，在得到k个分块分类结果之后，以k个分块分类结果为输入，基于整合模型对k个分块分类结果进行整合，以输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

其中，肺部疾病分类模型和整合模型可以通过对构建的肺部疾病识别神经网络进行训练得到。具体的，在训练时，可以先获取包含多组样本数据，每组样本数据中包括一个肺部CT数据对应的分块张量，以及该肺部CT数据对应的识别结果标签；然后以组为单位，将多组样本数据划分为训练集、验证集和测试集，然后构建肺部疾病识别神经网络，并根据训练集、验证集和测试集包括的肺部CT数据调整并确定肺部疾病识别神经网络中的参数，得到肺部疾病分类模型和整合模型。其中，构建的肺部疾病识别神经网络可以包括肺部疾病分类网络和串联在肺部疾病分类网络之后的整合网络。

以下以3D ResNet-18 Model为基础，使用在ImageNet数据集上预训练过的模型权重初始化模型，修改模型的最后一层全连接层的输出维度为3之后的模型为肺部疾病分类网络，以贝叶斯Noisy-Or模型为整合网络，以k＝4，以预设分类包括正常、普通肺炎、新冠肺炎为例，参照图5和图6对上述模型的训练过程进行详细阐述：

参照图5所示，在进行模型训练时，可以将样本数据划分为训练集、验证集和测试集，然后基于训练集进行训练，基于验证集进行验证，基于测试集进行测试，得到训练好的肺部疾病分类模型和整合模型。

在基于训练集进行训练之前，可以先对训练集中的数据进行数据增强，例如，对3D张量进行整体层面上的随机水平、垂直翻转、随机旋转角度(范围0-359°)，随机剪切(至少保留81％面积的原图像)，添加随机高斯噪声(高斯噪声均值为0，方差范围0-0.1，噪声系数范围为0-4)等。

在得到增强后的训练集后，可以基于增强后的训练集对肺部疾病识别网络进行训练，更新该网络中的参数、权重。其中，肺部疾病识别神经网络可以通过将上述整合网络串联在上述肺部疾病分类网络之后得到。

具体的，将每组样本数据包含4个分块张量输入肺部疾病分类网络，导出4个尺寸为3×1的归一化分块预测信息向量(分块分类结果)，向量元素代表分块属于正常、普通肺炎和新冠肺炎的概率。在得到分块分类结果之后，将分块分类结果输入整合网络，整合网络输出最终的识别结果，并与该样本数据对应的识别结果标签进行比较，计算损失函数。然后使用随机梯度下降方法最小化损失函数，肺部疾病识别神经网络中的参数、权重由反向传播更新。

其中，可以使用带L2正则的交叉熵作为新冠肺炎、普通肺炎识别任务的损失函数，如下公式(2)：

其中，yi是一个布尔值，当该样本数据属于第i类时，yi＝1；其余情况yi＝0。pi表示整合层输出的对第i类的最终预测概率；||w||²表示模型参数的L2范数，越大表示模型复杂度越高，越容易出现过拟合的情况。λ是L2正则化系数，用于约束模型复杂度。

在本实施例中，λ＝1×10^-4，初始学习率lr＝2×10^-3，学习率每经过20轮迭代乘以0.8的衰减系数可以取得较好的识别结果。

在训练之后，可以基于验证集对训练集更新参数后的肺部疾病分类网络进行验证。具体的，基于验证集数据对肺部疾病分类网络进行调试，决定是否保存肺部疾病分类网络的参数、权重。具体的，可以使用Kappa系数κ作为评价指标评估模型性能。对于正常、普通肺炎、新冠肺炎的三分类问题，Kappa系数κ可以通过如下公式(3)确定：

其中，p_o表示总体分类的准确率，即正确分类的样本数据数量与样本数据的总数量的比，p_e表示机会一致性的假设概率，计算公式如下公式(4)：

其中，M表示样本数据的总数量，xi表示第i类识别结果标签的总数量，zi表示预测为第i类识别结果的样本数据的总数量。其中，Kappa系数κ越接近1，基于训练集更新参数后的肺部疾病分类网络对新冠肺炎、普通肺炎的识别效果越好。

当在验证集上计算出的Kappa系数接近1的程度满足预设要求时，可以将参数、权重保留，然后基于测试集对保留的参数进行测试。具体的，输入测试集数据使得保留参数、权重的肺部疾病分类网络可以输出识别结果和病灶分块张量。其中，针对识别结果，分块张量对应的分块分类结果中，该识别结果对应的概率最大的分块张量即为病灶分块张量，最终也是病灶最可能存在的位置。

经过测试后肺部疾病分类网络中的肺部疾病分类网络即为训练得到的肺部疾病分类模型，经过测试后肺部疾病分类网络中的整合网络即为训练得到的整合模型。

在得到训练后的肺部疾病分类模型和整合模型后，可以基于肺部疾病分类模型和整合模型完成肺部疾病的识别。具体的，参照图6所示，针对待识别肺部CT数据对应的3D张量后，可以对3D张量进行分块得到4个分块张量，然后将4个分块张量输入至肺部疾病分类模型之后，可以输出4个分块张量对应的4个分块分类结果，然后将4个分块分类结果输入值整合模型中，可以输出该待识别肺部CT数据对应的识别结果和病灶分块张量。

需要说明的是，在上述以3D ResNet-18 Model为基础，使用在ImageNet数据集上预训练过的模型权重初始化模型，修改模型的最后一层全连接层的输出维度为3之后的模型为肺部疾病分类网络，以贝叶斯Noisy-Or模型为整合网络的实施例中，经过试验发现，当3D张量被缩放至H＝51，W＝512，且N＝2或4时，可以得到更好的识别效果。

此外，对于验证集和测试集中的数据输入，可以不进行数据增强。

综上，本示例性实施方式提供了一种基于多示例学习的肺部疾病识别方法，该方法基于肺部CT数据，能够实现对肺部疾病的准确识别。该方法一方面，该方法不依赖于特定的插值或抽样技术，保留了原始肺部CT数据的详细信息，未对输入端的肺部CT数据的尺寸、分辨率做任何先验性的限制，可适用于不同分辨率、不同横截面切片数量的肺部CT数据；另一方面，在进行模型训练时，无需对分块进行额外的标注，可以在无分割区域标注的情况下定位病灶的粗糙空间位置。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图7所示，本示例的实施方式中还提供一种基于CT数据的肺部疾病识别装置700，包括分块获取模块710、分类识别模块720和结果输出模块730。其中：

分块获取模块710可以用于获取待识别肺部CT数据对应的3D张量，并对3D张量进行分块得到k个分块张量；k取大于或等于2的正整数。

分类识别模块720可以用于对k个分块张量进行肺部疾病分类识别得到k个分块分类结果。

结果输出模块730可以用于根据k个分块分类结果输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

在一示例性实施例中，在3D张量的尺寸为图像数量×图像高度×图像宽度时，分块获取模块710可以用于基于分块参数对3D张量按照顺序进行分块，得到k-1个尺寸为分块参数×图像高度×图像宽度的分块张量；将3D张量中未被分块的剩余部分作为1个分块张量；其中，1个分块张量的尺寸为剩余数量×图像高度×图像宽度，且剩余数量小于或等于分块参数。

在一示例性实施例中，分块分类结果包括分块张量属于各预设种类的概率时，结果输出模块730可以用于针对每个分块分类结果，获取分块分类结果中分块张量属于识别结果的目标概率；将k个目标概率中的最大目标概率对应的分块张量确定为待识别肺部CT数据对应的病灶分块张量。

在一示例性实施例中，分块分类结果包括分块张量属于各预设种类的概率时，结果输出模块730可以用于针对每一预设种类，基于k个分块分类结果计算预设种类对应的总概率；将总概率最大的预设种类确定为待识别肺部CT数据对应的识别结果。

在一示例性实施例中，分块获取模块710可以用于对3D张量进行预处理，以获取满足预设条件的3D张量；预处理包括以下处理中的至少一种：归一化处理、尺度缩放处理、去噪处理、取窗处理、对比度增强处理。

在一示例性实施例中，分类识别模块720可以用于以k个分块张量为输入，基于肺部疾病分类模型对分块张量进行分类得到k个分块分类结果。

在一示例性实施例中，结果输出模块730可以用于以k个分块分类结果为输入，基于整合模型对k个分块分类结果进行整合，以输出待识别肺部CT数据对应的识别结果，并在识别结果为非正常结果时在k个分块张量中确定待识别肺部CT数据对应的病灶分块张量。

在一示例性实施例中，基于CT数据的肺部疾病识别装置还可以包括模型训练模块，用于获取多组样本数据，并以组为单位将多组样本数据划分为训练集、验证集和测试集；每组样本数据包括一肺部CT数据对应的一组分块张量和肺部CT数据对应的识别结果标签；构建肺部疾病识别神经网络，基于训练集、验证集和测试集包括的肺部CT数据调整并确定肺部疾病识别神经网络中的参数，得到肺部疾病分类模型和整合模型；其中，肺部疾病识别神经网络包括肺部疾病分类网络和串联在肺部疾病分类网络之后的整合网络。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种基于CT数据的肺部疾病识别方法，其特征在于，包括：

获取待识别肺部CT数据对应的3D张量，并对所述3D张量进行分块得到k个分块张量；其中，k取大于或等于2的正整数；

对所述k个分块张量进行肺部疾病分类识别得到k个分块分类结果；

根据所述k个分块分类结果输出所述待识别肺部CT数据对应的识别结果，并在所述识别结果为非正常结果时在所述k个分块张量中确定所述待识别肺部CT数据对应的病灶分块张量；

其中，在所述3D张量的尺寸为图像数量×图像高度×图像宽度时，所述对所述3D张量进行分块得到k个分块张量，包括：

基于分块参数对所述3D张量按照顺序进行分块，得到k-1个尺寸为分块参数×图像高度×图像宽度的分块张量；

将所述3D张量中未被分块的剩余部分作为1个分块张量；其中，所述1个分块张量的尺寸为剩余数量×图像高度×图像宽度，且所述剩余数量小于或等于所述分块参数。

2.根据权利要求1所述的方法，其特征在于，所述分块分类结果包括分块张量属于各预设种类的概率；

所述在所述识别结果为非正常结果时在所述k个分块张量中确定所述待识别肺部CT数据对应的病灶分块张量，包括：

针对每个所述分块分类结果，获取所述分块分类结果中分块张量属于所述识别结果的目标概率；

将k个所述目标概率中的最大目标概率对应的分块张量确定为所述待识别肺部CT数据对应的病灶分块张量。

3.根据权利要求1所述的方法，其特征在于，所述分块分类结果包括分块张量属于各预设种类的概率；

所述根据所述k个分块分类结果输出所述待识别肺部CT数据对应的识别结果，包括：

针对每一所述预设种类，基于所述k个分块分类结果计算所述预设种类对应的总概率；

将所述总概率最大的所述预设种类确定为所述待识别肺部CT数据对应的识别结果。

4.根据权利要求1所述的方法，其特征在于，在所述对所述3D张量进行分块得到k个分块张量之前，所述方法还包括：

对所述3D张量进行预处理，以获取满足预设条件的3D张量；

所述预处理包括以下处理中的至少一种：归一化处理、尺度缩放处理、去噪处理、取窗处理、对比度增强处理。

5.根据权利要求1所述的方法，其特征在于，所述对所述k个分块张量进行肺部疾病分类识别得到k个分块分类结果，包括：

以所述k个分块张量为输入，基于肺部疾病分类模型对所述分块张量进行分类得到k个分块分类结果；

所述根据所述k个分块分类结果输出所述待识别肺部CT数据对应的识别结果，并在所述识别结果为非正常结果时在所述k个分块张量中确定所述待识别肺部CT数据对应的病灶分块张量，包括：

以所述k个分块分类结果为输入，基于整合模型对所述k个分块分类结果进行整合，以输出所述待识别肺部CT数据对应的识别结果，并在所述识别结果为非正常结果时在所述k个分块张量中确定所述待识别肺部CT数据对应的病灶分块张量。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取多组样本数据，并以组为单位将所述多组样本数据划分为训练集、验证集和测试集；每组所述样本数据包括一肺部CT数据对应的一组分块张量和所述肺部CT数据对应的识别结果标签；

构建肺部疾病识别神经网络，基于所述训练集、所述验证集和所述测试集包括的所述肺部CT数据调整并确定所述肺部疾病识别神经网络中的参数，得到所述肺部疾病分类模型和所述整合模型；

其中，所述肺部疾病识别神经网络包括肺部疾病分类网络和串联在所述肺部疾病分类网络之后的整合网络。

7.一种基于CT数据的肺部疾病识别装置，其特征在于，包括：

分块获取模块，用于获取待识别肺部CT数据对应的3D张量，并对所述3D张量进行分块得到k个分块张量；k取大于或等于2的正整数；

分类识别模块，用于对所述k个分块张量进行肺部疾病分类识别得到k个分块分类结果；

结果输出模块，用于根据所述k个分块分类结果输出所述待识别肺部CT数据对应的识别结果，并在所述识别结果为非正常结果时在所述k个分块张量中确定所述待识别肺部CT数据对应的病灶分块张量；

其中，在所述3D张量的尺寸为图像数量×图像高度×图像宽度时，所述对所述3D张量进行分块得到k个分块张量，包括：

基于分块参数对所述3D张量按照顺序进行分块，得到k-1个尺寸为分块参数×图像高度×图像宽度的分块张量；

将所述3D张量中未被分块的剩余部分作为1个分块张量；其中，所述1个分块张量的尺寸为剩余数量×图像高度×图像宽度，且所述剩余数量小于或等于所述分块参数。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任一项所述的方法。