CN115512831A - 医学超声图像辅助判定病灶严重程度的方法 - Google Patents

Abstract

本发明公开了一种医学超声图像辅助判定病灶严重程度的方法，包括：对医学超声图像进行预处理；搭建深度神经网络模型，将预处理后的超声图像分为训练集、验证集和测试集，采用深度神经网络模型对预处理后的医学超声图像进行特征提取获得特征图，再对特征图进行特征增强得到特征增强图，采用训练集的特征增强图对深度神经网络模型进行训练，获得训练后的卷积神经网络模型参数，再采用验证集的特征增强图验证训练后的卷积神经网络模型参数以及采用测试集进行测试，选取测试精度符合要求的参数作为深度神经网络模型的最终参数；采用步骤2得到的深度神经网络模型对医学超声图像进行预测。本发明提高了识别的准确度，减轻了医生的工作量。

Description

医学超声图像辅助判定病灶严重程度的方法

技术领域

本发明属于深度学习在医疗诊断领域中应用的技术领域，具体涉及一种医学超声图像辅助判定病灶严重程度的方法。

背景技术

乳腺癌已经成为全球发病率最高的癌症之一，同时也是女性患者中致死率最高的癌症。超声成像是乳腺疾病的早期重要筛查手段之一。研究表明：早期乳腺癌的5年生存率高达95％，因此，早发现、早治疗是乳腺癌最有效的防治手段。

然而，我国医疗资源稀缺且分布不均匀，部分偏远地区缺乏经验丰富的医师，显著影响乳腺早期病变的发现和诊断。因此，我们希望研究乳腺疾病智能诊疗方法，并构建相应的辅诊系统，这样能够促进医疗资源下沉，提升乳腺疾病筛查的效率及准确率。

另一方面，深度神经网络已成为人工智能的一种重要实现手段，近年来在诸多领域取得了巨大成功，并在乳腺疾病智能诊疗部分任务中取得了媲美人类医生的效果。除了对乳腺超声进行良恶性分类，还开展基于乳腺超声影像的智能BI-RADS分级研究。BI-RADS分级是国际和国内通用的衡量乳腺影像病灶严重程度的标准，通常包括九个级别，分别为0、1、2、3、4a、4b、4c、5、6。级别从低到高分别表示恶性程度逐渐增大。

但是，深度神经网络在处理乳腺超声图像时仍然面临着不少的挑战。首先是特征提取困难。乳腺病灶在超声图像上表现为多种类型的指征，包括病灶内部特征、病灶边缘特征等等。而且，不同图像中乳腺病灶的大小、位置也不尽相同，这给特征提取也带来了困难。其次是噪声多，人为影响大。超声影像的成像效果取决于医师的操作和设备精度，通常，乳腺超声影像的信噪比较低、成像不规范，病灶在图像上只占一小部分区域，如何从图像中提取出执行恶性病变识别的判别性特征，是构建分类算法的过程中亟需解决的问题。还有数据量少与数据不平衡。在现实生活中，乳腺癌患者仅占人群的一小部分，这使得用于构建模型的数据中仅包含少量恶性样本，而大部分为良性样本。因此，急需设计一种有效的训练判定方法以进行恶性样本特征的学习，是提升识别准确率。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种医学超声图像辅助判定病灶严重程度的方法，该方法能够根据从少量恶性样本中提取出执行恶性病变识别的判别性特征，提升了识别准确。

为解决上述技术问题，本发明采用如下技术方案：

一种医学超声图像辅助判定病灶严重程度的方法，包括如下步骤：

步骤1：对医学超声图像进行预处理；

步骤2：搭建用于预测病灶严重程度的深度神经网络模型，将预处理后的超声图像分为训练集、验证集和测试集，采用深度神经网络模型对预处理后的医学超声图像进行特征提取获得特征图，再对特征图进行特征增强得到特征增强图，采用训练集的特征增强图对深度神经网络模型进行训练，获得训练后的卷积神经网络模型参数，再采用验证集的特征增强图验证训练后的卷积神经网络模型参数以及采用测试集进行测试，选取测试精度符合要求的参数作为深度神经网络模型的最终参数；

步骤3：采用步骤2中得到的深度神经网络模型对医学超声图像进行预测。

进一步地，步骤1中预处理的方法为：

对医学超声图像裁边，并对裁边后的乳腺超声图像进行对比度增强处理，之后将对比度增强处理后的超声图像以原图像中心为中心裁剪成正方形从而获得预处理后的超声图像。

进一步地，乳腺超声图像进行对比度增强处理的方法为：对超声图像依次进行灰度处理、二值化、膨胀、修复图、图像去噪以及直方图均衡化。

进一步地，步骤1中二值化转换的处理方法为：

首先选定阈值T，将灰度值大于等于T的像素值变为255，小于T的像素值变为0，处理公式为：

其中，g(x,y)表示二值化处理后的像素值，f(x,y)表示二值化处理前的像素值，T为全局阈值。

进一步地，步骤1中，直方图均衡化处理的方法为：

依次扫描经过去噪处理后的灰度图像的每一个像素，计算出图像的灰度直方图；计算灰度直方图的累积分布函数；根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；最后根据映射关系得到结果进行图像变换，映射方法为：

其中，S_k指当前灰度级经过累积分布函数映射后的值，n是图像中像素的总和，n_j是当前灰度级的像素个数，L是图像中的灰度级总数；

经过映射，超声图像中的每个灰度级像素值都将转化为映射后的新灰度值，经过该步骤，图像的对比度得到提升，从而获得对比度增强后的图像。

进一步地，步骤2具体包括如下子步骤：

S2.1：将步骤1中预处理后的超声图像分为训练集、验证集和测试集

S2.2：构建resnet34作为深度神经网络模型的总体架构，并且将resnet34作为特征提取模块用于对训练集、验证集和测试集的超声图像进行特征提取；

S2.3：构建特征增强模块，特征增强模块包括1×1卷积层、分数生成模块、阈值生成模块，将经过步骤S2.1特征提取模块提取的特征图输入到1×1卷积层中按通道进行压缩得到单通道特征图，然后将经过压缩的单通道特征图分别经过阈值生成模块生成阈值以及分数生成模块生成各像素点的位置分数，再根据阈值和位置分数计算mask以将样本划分为正样本或负样本，进而输出特征增强图；

S2.4：构建包括全局最大池化与全连接层的模块作为分类头，并随机初始化参数，其输入为步骤2.1中提取的特征图，其输出为病灶严重程度的类别；

S2.5：将训练集的正负样本输入到分类头中进行训练，其中，正负样本分开进行训练，且正样本与负样本共用分类头的参数，对于同一分类头，分别产生各自的损失，训练的过程中的总损失为步骤S2.2、S2.3、S2.4三个阶段的正样本与负样本损失之和，将求和结果回传更新深度神经网络模型的参数；训练结束后，采用验证集验证训练后的模型参数并选择损失值最小的一轮的参数，最后采用测试集去测试该深度神经网络模型参数的精度，选取精度符合要求的参数作为深度神经网络模型的最终参数，用于后续的预测过程。

进一步地，步骤S2.3中通过阈值生成模块生成阈值的方法为：

先将步骤S2.2得到的单通道特征图输入到阈值生成模块中，单通道特征图在阈值生成模块中经过平均池化操作进行下采样，然后经过flatten操作将二维特征图转换为一维序列；接着将一维序列经过输入全连接层中，最后将得到的值经过sigmoid激活函数，使其值映射到0～1，作为阈值k。

进一步地，步骤S2.3中通过分数生成模块生成各个像素位置分数的方法为：

先将步骤S2.2得到的单通道特征图输入到分数生成模块中，单通道特征图在分数生成模块中经过平均池化操作进行下采样，然后经过flatten操作，接着经过两个全连接层对序列进行非线性变换；经过两个全连接层后再将特征图进行reshape操作，将一维序列变回二维矩阵，之后执行插值操作将特征图尺寸恢复到单通道尺寸；最后将恢复尺寸后的特征图通过sigmoid激活函数，将值映射到0～1之间，作为与原始特征图相同尺寸的位置分数score。

进一步地，步骤S2.3中根据分数和阈值生成正负样本的方法为：

根据得到的阈值k与位置分数score生成mask，将mask与步骤2.2得到的特征图结合生成经过mask的特征图，具体公式如下：

其中，ω为常数，当score大于k时，mask接近于1，相反score小于k时，mask接近于0；

将特征图记为image与mask结合生成正负样本，其中，正样本为特征图加上特征图乘以mask即image+image×mask，负样本为特征图减去特征图乘以mask即image-image×mask。

进一步地，步骤2.5中，在训练深度神经网络模型时，正样本的标签为原超声图像的标签，损失函数为交叉熵损失：

式中，n为预测的类别数，此处为5；p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布；

负样本标签的处理方式为预测为正标签的概率最小化，使用的损失函数为均方误差损失MSE，即计算预测为正样本的概率与0的均方误差损失，实现方法为：

式中，Y_i表示预测为对应正标签的概率；

验证集、测试集经过特征增强模块只生成正样本，并采用验证集的正样本验证训练后的深度神经网络模型，且用测试集的正样本测试深度神经网络模型的精度。

与现有技术相比，本发明的有益效果为：本发明构建特征提取器提取超声图像中特征，该特征提取器对于提取不同深度的特征有着不同的作用，能够较为准确地提取出超声图像中病灶特征，克服了现有技术中病灶在图像上只占一小部分区域以致从超声图像中提取出恶性病变特征困难的问题，本发明将深度神经网络模型的中间层同样经过分类头进行预测产生损失，而不仅仅是只使用最深层特征进行预测，满足了使用多尺度特征的要求；另一方面通过注意力分数的方式对图像中注意力分数较高的区域进行特征加强，注意力分数低的区域进行舍弃，使模型的学习更加有效，从而使得本发明的模型在只有少量恶性样本的情况下也可高效地进行恶性样本特征学习，从而使得预测更加准确。

附图说明

图1为本发明实施例的原始乳腺超声图像；

图2为本发明实施例预处理后的乳腺超声图像；

图3为本发明实施例深度神经网络模型的结构示意图；

图4为本发明实施例特征增强模块的结构示意图；

图5为本发明实施例阈值生成模块的结构示意图；

图6为本发明实施例分数生成模块的结构示意图。

具体实施方式

下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明实施例公开了一种医学超声图像辅助判定病灶严重程度的方法，包括如下步骤：

步骤1：对获得的医学超声图像进行预处理；在本实施例中，以获取的乳腺超声图像进行说明，当然也适用其他科的医学超声影像；步骤1具体方法如下：

S1.1：手动裁剪来自医院的乳腺超声图像，以消除边界区域可能带来的影响，如图1所示，裁剪乳腺超声图像有效区域周围的黑色区域；

S1.2：将裁剪后的乳腺超声图像进行对比度增强处理，进行对比度增强处理的方法为对裁剪后的乳腺超声图像依次进行灰度处理、二值化、膨胀、修复图、图像去噪以及直方图均衡化；该步骤具体为，将裁剪后的图像进行灰度处理，操作步骤为将超声图像每个像素点位置的RGB三通道值进行加权平均，每个位置得到一个0～255的灰度值，并且超声图像的通道数由3变为1。

对灰度处理后的图像再进行二值化转换，具体方法为，首先选定一个阈值T,将灰度值大于等于T的像素值变为255，小于T的像素值变为0，处理公式为：

其中，g(x,y)表示二值化处理后的像素值，f(x,y)表示二值化处理前的像素值，T为全局阈值，此处取100。

将二值化处理后的乳腺超声图像依次进行膨胀、修复图、图像去噪处理，再进行直方图均衡化，其中，直方图均衡化处理的方法为：

依次扫描经过去噪处理后的灰度图像的每一个像素，计算出图像的灰度直方图；计算灰度直方图的累积分布函数；根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；最后根据映射关系得到结果进行图像变换，映射方法为：

其中，S_k指当前灰度级经过累积分布函数映射后的值，n是图像中像素的总和，n_j是当前灰度级的像素个数，L是图像中的灰度级总数。

经过映射，超声图像中的每个灰度级像素值都将转化为映射后的新灰度值，经过该步骤，图像的对比度得到提升，从而获得特征增强后的图像。

S1.3:为了避免矩形图像输入神经网络后产生形变造成特征变化，将特征增强后的图像按照短边进行裁剪以转化为正方形图，得到预处理后的图像，见图2；其中，裁剪的方法为：

先确定图像短边和长边的长度，再以原乳腺超声图像的中心为中心点裁剪长边，使得裁剪的正方形图像尽量贴近原图像的中心位置，得到预处理后的乳腺超声图像，结果如图2所示。

步骤2：搭建用于预测病灶严重程度的深度神经网络模型，将预处理后的超声图像分为训练集、验证集和测试集，采用深度神经网络模型对预处理后的医学超声图像进行特征提取获得特征图，再对特征图进行特征增强得到特征增强图，采用训练集的特征增强图对深度神经网络模型进行训练，获得训练后的卷积神经网络模型参数，再采用验证集的特征增强图验证训练后的卷积神经网络模型参数以及采用测试集进行测试，选取测试精度符合要求的参数作为深度神经网络模型的最终参数，其结构如图3所示；

S2.1：将步骤1中预处理后的超声图像分为训练集、验证集和测试集；

S2.2：构建resnet34作为深度神经网络模型的总体架构，并且将resnet34作为特征提取模块用于对训练集、验证集和测试集的超声图像进行特征提取；

在该步骤中，构建resnet34作为特征提取器，并去除最后的全连接层分类器，然后加载resnet34在ImageNet(大型自然图像数据集)上预训练的权重得训练后的特征提取模块。在该实施例中，将训练集、验证集以及测试集中的C₀×H×W(C为特征图通道数，H和W分别为特征图的高和宽)的超声图像输入到预训练后的特征提取模块后，尺寸依次变为C1×H/4×W/4、C2×H/8×W/8、C3×H/16×W/16、C4×H/32×W/32的特征图，依次将前三种尺寸的特征图输入到后续的步骤S2.3中进行处理，最后一层不进行特征增强直接输入分类头中得到相应的损失值。

S2.3：构建特征增强模块，特征增强模块结构如图4所示，特征增强模块包括1×1卷积层、阈值生成模块、分数生成模块，将经过步骤S2.2特征提取模块提取的特征图输入到1×1卷积层中按通道进行压缩得到单通道特征图，然后将经过压缩的单通道特征图分别输入到阈值生成模块生成阈值以及分数生成模块生成各像素点的位置分数，再根据阈值和位置分数计算mask以将图像样本划分为正样本或负样本，进而得到输出的特征增强图；

该步骤具体包括如下子步骤：

S2.3.1:将特征图进行压缩，使得特征图的通道数变为单通道；

将步骤2.3经过特征提取模块提取的特征图输入到1×1卷积层中对特征图按通道进行压缩，特征图尺寸由C×H×W(C为特征图通道数，H和W分别为特征图的高和宽)转换为1×H×W；

S2.3.2:构建阈值生成模块，生成当前超声图像选择正负样本的阈值；

将压缩后的特征图经过阈值生成模块生成阈值，实现方式如图5所示，先将单通道特征图(1×H×W)经过平均池化操作(AvgPooling)进行2倍下采样，特征图尺寸变为1×H/2×W/2；然后经过flatten操作将二维特征图转换为一维序列，尺寸为1×HW/4；接着将一维序列经过输入维度为HW/4输出维度为1的全连接层，最终维度变为1×1；将得到的尺寸为1×1的值经过sigmoid激活函数，使其值映射到0～1，作为阈值k。

S2.3.3:构建分数生成模块，生成当前超声图像各个像素位置的分数；

将压缩后的特征图经过分数生成模块生成位置分数，实现方式如图6所示；先将单通道特征图(1×H×W)经过平均池化操作(AvgPooling)进行2倍下采样，特征图尺寸变为1×H/2×W/2；然后经过flatten操作将二维特征图转换为一维序列，尺寸为1×HW/4；接着经过两个全连接层对序列进行非线性变换第一个全连接层的输入维度为HW/4，输出维度为HW/64；第二个全连接层的输入维度为HW/64，输出维度为HW/4。其中第一个全连接层将维度降低16倍，来降低计算量。经过两个全连接层后特征图的尺寸仍然为1×HW/4。接下来将特征图进行reshape操作，将一维序列变回二维矩阵，尺寸为1×H/2×W/2。Reshape操作之后，执行插值操作将特征图尺寸恢复到1×H×W。最后将恢复尺寸后的特征图通过sigmoid激活函数，将值映射到0～1之间，作为与原始特征图相同尺寸的位置分数score；

S2.3.4:根据S2.3.2得到的阈值和S2.3.3得到的位置分数生成mask，将mask与步骤S2.2得到的特征图结合生成经过mask的特征图，根据不同mask的方式，经过mask的特征图被划分为正样本与负样本；

通过S2.2.2与S2.2.3中得到的阈值k与位置分数score生成mask，实现方式如下：

其中ω为常数，为一个较大的数，本实施例取100，使得score大于k时，mask接近于1，相反score小于k时，mask接近于0；

将特征图(记为image)与mask结合生成正负样本，其中，正样本为特征图加上特征图乘以mask(image+image×mask)，负样本为特征图减去特征图乘以mask(image-image×mask)。

S2.4：构建包括全局最大池化与全连接层的模块作为分类头，并随机初始化参数，其输入为步骤2.1中提取的特征图，其输出为病灶严重程度的类别；针对尺寸为C×H×W的特征图，先经过全局最大池化将二维图像转换为一维向量，特征图尺寸变为C×1×1；然后经过全连接层，全连接层的输入维度为C，输出为5维，因此得到5个类别的预测，该五个类别分别为BI-RADS分级中的(0，1，2，3)、4a、4b、4c、(5，6)。

S2.5：将训练集的正负样本输入到分类头中进行训练，其中，正负样本分开进行训练，且正样本与负样本共用分类头的参数，对于同一分类头，分别产生各自的损失，训练过程中的总损失为步骤S2.2、S2.3、S2.4三个阶段的正样本与负样本损失之和，将求和结果回传并更新深度神经网络模型的参数；训练结束后，采用验证集验证训练后的模型参数并选择损失值最小的一轮的参数，最后采用测试集去测试该深度神经网络模型参数的精度，选取精度符合要求的参数作为深度神经网络模型的最终参数，用于后续的预测过程；

将训练集的正负样本输入到分类头中用来训练，如图4所示，正样本与负样本共用分类头的参数，其中，正样本的标签为超声图像的标签，负样本的标签为超声图像标签的非值；而验证集与测试集的超声图像经过特征增强模块后全部输出为正样本，不生成负样本；

正负样本分开进行训练，对于同一分类头，分别产生各自的损失，其中，正样本的标签为原超声图像的标签，损失函数为交叉熵损失：

式中，p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布；

负样本标签的处理方式为预测为正标签的概率最小化，使用的损失函数为均方误差损失MSE，即计算预测为正样本的概率与0的均方误差损失，实现方法为：

其中，式中，Y_i表示预测为对应正标签的概率；

总损失为步骤S2.2、S2.3以及S2.4三个阶段正样本与负样本损失之和，将求和结果回传并更新深度神经网络模型的参数。

训练过程根据损失函数与梯度下降法寻找模型最优值，损失函数采用交叉熵损失函数，梯度下降法采用自适应动量估计算法Adam。在训练分类器时，本实施中训练轮数L为100，利用Adam优化器进行梯度下降计算，学习率采用指数衰减，初始学习率为0.00001，batch_size取值为64，训练L轮后得到验证集中损失值最小的一轮的参数，再用测试集去测试该深度神经网络模型参数的精度，选取精度符合要求的参数作为深度神经网络模型的最终参数，用于接下来的预测过程。

S3:采用步骤2中得到的深度神经网络模型对乳腺超声图像进行预测；

针对目前超声图像的诊断准确率低、误诊率高从而导致乳腺癌患者延误最佳治疗时机的问题，本实施例能够实现通过超声图像来对患者的BI-RADS进行分级，从而根据不同的分级进行相应针对性的治疗。为了说明本实施例的效果，将本实施例的验证集和测试集的预测准确率与骨干网ResNet34的验证集和测试集的预测准确率进行对比，得到表1中的数据，表1展示了本实施例中方法与ResNet34在私有超声数据集上的对比结果：

表1本发明与原始resNet34性能比较

从表1可以看出本实施例的预测结果优于骨干网ResNet34，提高了识别的准确度，从而给医生提供更多的参考信息，大大减轻了医生的工作量。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种医学超声图像辅助判定病灶严重程度的方法，其特征在于，包括如下步骤：

步骤1：对医学超声图像进行预处理；

步骤2：搭建用于预测病灶严重程度的深度神经网络模型，将预处理后的超声图像分为训练集、验证集和测试集，采用深度神经网络模型对预处理后的医学超声图像进行特征提取获得特征图，再对特征图进行特征增强得到特征增强图，采用训练集的特征增强图对深度神经网络模型进行训练，获得训练后的卷积神经网络模型参数，再采用验证集的特征增强图验证训练后的卷积神经网络模型参数以及采用测试集进行测试，选取测试精度符合要求的参数作为深度神经网络模型的最终参数；

步骤3：采用步骤2得到的深度神经网络模型对医学超声图像进行预测。

2.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤1中预处理的方法为：

对医学超声图像裁边，并对裁边后的乳腺超声图像进行对比度增强处理，之后将对比度增强处理后的超声图像以原图像中心为中心裁剪成正方形从而获得预处理后的超声图像。

3.根据权利要求2所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，乳腺超声图像进行对比度增强处理的方法为：对超声图像依次进行灰度处理、二值化、膨胀、修复图、图像去噪以及直方图均衡化。

4.根据权利要求2所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤1中二值化转换的处理方法为：

首先选定阈值T，将灰度值大于等于T的像素值变为255，小于T的像素值变为0，处理公式为：

其中，g(x,y)表示二值化处理后的像素值，f(x,y)表示二值化处理前的像素值，T为全局阈值。

5.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤1中，直方图均衡化处理的方法为：

依次扫描经过去噪处理后的灰度图像的每一个像素，计算出图像的灰度直方图；计算灰度直方图的累积分布函数；根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系；最后根据映射关系得到结果进行图像变换，映射方法为：

其中，S_k指当前灰度级经过累积分布函数映射后的值，n是图像中像素的总和，n_j是当前灰度级的像素个数，L是图像中的灰度级总数；

经过映射，超声图像中的每个灰度级像素值都将转化为映射后的新灰度值，经过该步骤，图像的对比度得到提升，从而获得对比度增强后的图像。

6.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤2具体包括如下子步骤：

S2.1：将步骤1中预处理后的超声图像分为训练集、验证集和测试集；

S2.2：构建resnet34作为深度神经网络模型的总体架构，并且将resnet34作为特征提取模块用于对训练集、验证集和测试集的超声图像进行特征提取；

S2.3：构建特征增强模块，特征增强模块包括1×1卷积层、分数生成模块、阈值生成模块，将经过步骤S2.1特征提取模块提取的特征图输入到1×1卷积层中按通道进行压缩得到单通道特征图，然后将经过压缩的单通道特征图分别经过阈值生成模块生成阈值以及分数生成模块生成各像素点的位置分数，再根据阈值和位置分数计算mask以将样本划分为正样本或负样本，进而输出特征增强图；

S2.4：构建包括全局最大池化与全连接层的模块作为分类头，并随机初始化参数，其输入为步骤2.1中提取的特征图，其输出为病灶严重程度的类别；

S2.5：将训练集的正负样本输入到分类头中进行训练，其中，正负样本分开进行训练，且正样本与负样本共用分类头的参数，对于同一分类头，分别产生各自的损失，训练的过程中的总损失为步骤S2.2、S2.3、S2.4三个阶段的正样本与负样本损失之和，将求和结果回传更新深度神经网络模型的参数；训练结束后，采用验证集验证训练后的模型参数并选择损失值最小的一轮的参数，最后采用测试集去测试该深度神经网络模型参数的精度，选取精度符合要求的参数作为深度神经网络模型的最终参数，用于后续的预测过程。

7.根据权利要求6所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤S2.3中通过阈值生成模块生成阈值的方法为：

先将步骤S2.2得到的单通道特征图输入到阈值生成模块中，单通道特征图在阈值生成模块中经过平均池化操作进行下采样，然后经过flatten操作将二维特征图转换为一维序列；接着将一维序列经过输入全连接层中，最后将得到的值经过sigmoid激活函数，使其值映射到0～1，作为阈值k。

8.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤S2.3中通过分数生成模块生成各个像素位置分数的方法为：

先将步骤S2.2得到的单通道特征图输入到分数生成模块中，单通道特征图在分数生成模块中经过平均池化操作进行下采样，然后经过flatten操作，接着经过两个全连接层对序列进行非线性变换；经过两个全连接层后再将特征图进行reshape操作，将一维序列变回二维矩阵，之后执行插值操作将特征图尺寸恢复到单通道尺寸；最后将恢复尺寸后的特征图通过sigmoid激活函数，将值映射到0～1之间，作为与原始特征图相同尺寸的位置分数score。

9.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤S2.3中根据分数和阈值生成正负样本的方法为：

根据得到的阈值k与位置分数score生成mask，将mask与步骤2.2得到的特征图结合生成经过mask的特征图，具体公式如下：

其中，ω为常数，当score大于k时，mask接近于1，相反score小于k时，mask接近于0；

将特征图记为image与mask结合生成正负样本，其中，正样本为特征图加上特征图乘以mask即image+image×mask，负样本为特征图减去特征图乘以mask即image-image×mask。

10.根据权利要求1所述的医学超声图像辅助判定病灶严重程度的方法，其特征在于，步骤2.5中，在训练深度神经网络模型时，正样本的标签为原超声图像的标签，损失函数为交叉熵损失：

式中，n为预测的类别数；p(x_i)为样本标签的概率分布，q(x_i)为预测结果的概率分布；

负样本标签的处理方式为预测为正标签的概率最小化，使用的损失函数为均方误差损失MSE，即计算预测为正样本的概率与0的均方误差损失，实现方法为：

式中，Y_i表示预测为对应正标签的概率；

验证集、测试集经过特征增强模块只生成正样本，并采用验证集的正样本验证训练后的深度神经网络模型，且用测试集的正样本测试深度神经网络模型的精度。

Images