CN114445515B

CN114445515B - 图像伪影去除方法、装置、电子设备及存储介质

Info

Publication number: CN114445515B
Application number: CN202210135312.8A
Authority: CN
Inventors: 何好; 邬伽林; 刘斌
Original assignee: Sonosemi Medical Co Ltd
Current assignee: Sonosemi Medical Co Ltd
Priority date: 2022-02-14
Filing date: 2022-02-14
Publication date: 2024-10-18
Anticipated expiration: 2042-02-14
Also published as: CN114445515A

Abstract

本发明实施例公开了一种图像伪影去除方法、装置、电子设备及存储介质，其中，该方法包括：获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像；将待处理图像输入至预先训练完成的伪影去除模型中，得到与待处理图像对应的目标生成图像；其中，伪影去除模型根据样本处理图像以及与样本处理图像对应的无伪影图像对预先建立的图像处理模型进行训练得到，图像处理模型包括图像生成器、用于判别输入的待判别图像是否为无伪影图像第一判别器和用于判别输入的待判别图像是否为生成器生成的图像数据第二判别器。本发明实施例的技术方案，能够简单快速有效地去除待处理图像的图像伪影。

Description

图像伪影去除方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像伪影去除方法、装置、电子设备及存储介质。

背景技术

在进行血管内超声采样(Intravenous Ultrasound，IVUS)的过程中常会使用到导线对导管进行引导，然而导线的存在阻碍了超声信号的发射和采集，使生成的图像中出现伪影，这样不仅影响血管切面的直观分析，也会对后期数据处理算法(如,管膜分割)造成影响。

在降噪技术上，对于类似高斯脉冲噪声的随机噪声已有相对成熟的解决方案，比如，传统的如早期的几何流(又称Geometric Flow Diffusion)以及现在极为优化的曲率滤波等。

但是，由导线残影所造成的噪声和脉冲类型噪声有比较大的区别。导线残影所导致的图像伪影，面积一般较大，往往占据了50个-300个甚至更多的像素点，而以上算法作用区域往往更加精细，更适用于高频噪声，无法对高低频类型的噪声进行有效处理。另外，也有通过二次或以上的采样，对伪影区域进行替换的方法，但这种方法缺点是大大加长了采样的时间成本。

发明内容

本发明实施例提供了一种图像伪影去除方法、装置、电子设备及存储介质，以解决图像中的伪影无法快速有效地进行去除的问题。

根据本发明的一方面，提供了一种图像伪影去除方法，该方法包括：

获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像；

将所述目标处理图像输入至预先训练完成的伪影去除模型中，得到与所述目标处理图像对应的去伪影图像；

将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，得到目标输出图像；

其中，所述伪影去除模型根据位于极坐标系下的无伪影图像和包含有图像伪影信息的有伪影图像对预先建立的图像处理模型进行训练得到，所述图像处理模型包括图像生成器、第一判别器和第二判别器，所述图像生成器用于去除图像伪影信息生成无伪影图像，所述第一判别器用于判别输入的待判别图像是否为无伪影图像，所述第二判别器用于判别输入的待判别图像是否为所述图像生成器生成的图像数据。

可选地，所述伪影去除模型通过如下方式训练得到：

将样本处理图像输入至所述图像生成器中，得到模型生成图像，其中，所述样本处理图像包括无伪影图像和包含有图像伪影信息的有伪影图像；

计算所述无伪影图像对应的模型生成图像与所述无伪影图像计算所述图像生成器的模型生成损失，并计算所述第一判别器对所述有伪影图像对应的模型生成图像的第一判别损失以及所述第二判别器对所述有伪影图像对应的模型生成图像的第二判别损失；

根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型。

可选地，所述第一判别器通过如下方式训练：

将第一训练样本图像输入至第一判别器中，得到与所述第一训练样本图像对应的第一模型判别结果，其中，所述第一训练样本图像包括所述有伪影图像对应的模型生成图像与所述无伪影图像；

根据所述第一模型判别结果与第一期望判别结果之间的损失对所述第一判别器的模型参数进行调整，以优化所述第一判别器。

可选地，所述第二判别器通过如下方式训练：

将第二训练样本图像输入至第二判别器中，得到与所述第二训练样本图像对应的第二模型判别结果，其中，所述第二训练样本图像包括所述有伪影图像、所述无伪影图像、所述有伪影图像对应的模型生成图像以及所述无伪影图像对应的模型生成图像；

根据所述第二模型判别结果与第二期望判别结果之间的损失对所述第二判别器的模型参数进行调整，以优化所述第二判别器。

可选地，所述方法还包括：

获取包含有图像伪影信息的原始图像，对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，并将所述无伪影图像和所述有伪影图像作为样本处理图像。

可选地，所述对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，包括：

将所述原始图像的图像坐标由笛卡尔坐标转换为极坐标，得到极坐标图像；

获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线，其中，所述图像分割线位于所述原始图像中除图像伪影信息所在的区域之外的区域；

根据所述图像分割线将所述极坐标图像分割为无伪影图像和包含有图像伪影信息的有伪影图像。

可选地，所述方法还包括：

根据所述极坐标图像中的图像伪影信息确定所述极坐标图像的滚动信息，其中，所述滚动信息包括滚动方向和滚动范围；

根据所述滚动信息滚动所述极坐标图像，返回执行获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线的操作。

根据本发明的另一方面，提供了一种图像伪影去除装，该装置包括：

目标处理图像获取模块，用于获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像；

去伪影图像生成模块，用于将所述目标处理图像输入至预先训练完成的伪影去除模型中，得到与所述目标处理图像对应的去伪影图像；

目标图像输出模块，用于将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，得到目标输出图像；

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的图像伪影去除方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的图像伪影去除方法。

本发明实施例的技术方案，通过获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像，进而将所述目标处理图像输入至预先训练完成的伪影去除模型中，即可得到与所述待处理图像对应的无伪影的目标生成图像。由于伪影去除模型对应的初始模型，即图像处理模型，包括图像生成器、第一判别器和第二判别器，能够通过第一判别器判别输入的待判别图像是否为无伪影图像，通过第二判别器判别输入的待判别图像是否为所述图像生成器生成的图像数据，从而保证图像生成器对待处理图像的伪影去除效果，解决了相关技术无法有效去除图像伪影及耗时过长等技术问题，能够简单快速有效地实现对待处理图像中图像伪影的智能化去除。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种图像伪影去除方法的流程图；

图2是根据本发明实施例二提供的一种图像伪影去除方法的流程图；

图3是根据本发明实施例三提供的对图像进行预处理的效果比对图；

图4是根据本发明实施例三提供的原始图像由笛卡尔坐标向极坐标转换的效果比对图；

图5是根据本发明实施例三提供的原始图像中图像伪影的伪影坐标的标注效果示意图；

图6是根据本发明实施例三提供的原始图像滚动前后的效果比对图；

图7是根据本发明实施例三提供的原始图像分割前后的效果示意图；

图8是根据本发明实施例三提供的图像翻转前后的效果比对图；

图9是根据本发明实施例三提供的有伪影图像输入伪影去除模型前后的效果比对图；

图10是根据本发明实施例三提供的无伪影图像输入伪影去除模型前后的效果比对图；

图11是根据本发明实施例三提供的待处理图像和目标输出图像的效果比对图；

图12为本发明实施例四提供的一种图像伪影去除装置的结构示意图；

图13是实现本发明实施例的图像伪影去除方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具备”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种图像伪影去除方法的流程图，本实施例可适用于对图像中的伪影进行自动去除的情况，尤其适用于对医学图中的图像伪影进行去除的场景，该方法可以由图像伪影去除装置来执行，该图像伪影去除装置可以采用硬件和/或软件的形式实现，该图像伪影去除装置可配置于服务器和/或终端中。如图1所示，该方法包括：

S110、获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像。

其中，待处理图像可以理解为待进行去除图像伪影信息处理的图像，待处理图像中可以包含图像伪影信息，也可以包含图像伪影信息。目标处理图像可以理解为极坐标系下的待处理图像。笛卡尔坐标可以理解为直角坐标系或斜坐标系下的坐标。

一般地，获取到的待处理图像为笛卡尔坐标下的图像。实际采集到的图像中，往往大都包含图像伪影，这也是为什么众多研究如何去除图像伪影的原因。而在基于人工智能技术来进行图像伪影去除时，往往需要大量的有伪影和无伪影图像作为模型训练样本。由于在笛卡尔坐标系下得到无伪影图像存在比较多的实际困难，因此，本发明实施例中提出了根据位于极坐标系下的无伪影图像和包含有图像伪影信息的有伪影图像对预先建立的图像处理模型进行训练得到伪影去除模型的方式，保证模型训练效果，进而提升图像伪影的去除效果。具体应用中，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标后，通过伪影去除模型对极坐标系下的图像，即目标处理图像，进行伪影去除处理。

S120、将所述目标处理图像输入至预先训练完成的伪影去除模型中，得到与所述目标处理图像对应的去伪影图像。

由于极坐标系中一个重要的特性是，笛卡尔坐标中的任意一点，可以在极坐标系中有无限种表达形式。因此，伪影去除模型根据位于极坐标系下的无伪影图像和包含有图像伪影信息的有伪影图像对预先建立的图像处理模型进行训练的好处在于，能够更加方便地处理出伪影去除模型的训练样本。

其中，图像生成器可以是基于卷积的图像生成模型。图像生成模型有别于常规的判别模型和回归模型，主要用来产生数据，尤其是卷积生成模型，专门生成二维数据。以视觉神经网络为例，如ResNet，在网络中所进行的卷积，是通过卷积核对图像进行特征提取，而，卷积生成模型则进行相反的操作，通过特征向量和卷积核生成图像，其过程称为去卷积(deconvolution)。在本发明实施例中，图像生成器以位于极坐标系下的无伪影图像以及包含有图像伪影信息的有伪影图像作为训练样本进行训练。为了提升图像生成模型生成的图像的分辨率，可以在卷积的基础上增加残差模块，同时还可以对输入的图像的大小限制。

在实现本发明的过程中发明人发现，判别器的结构相对简单时，对图像生成器的训练结果更友好。可选地，第一判别器和第二判别器可以采用结构相对简单的卷积网络，如3层的卷积网络。其中，第一判别器可以以图像生成器生成的有伪影图像的输出图像与无伪影图像为训练样本进行训练，用于判别输入的待判别图像是否为无伪影图像，以判断图像生成器的输出图像是否为无伪影图像，从而检验图像生成器的伪影去除效果。示例性地，第二判别器可以以有伪影图像、无伪影图像、图像生成模生成的与有伪影图像对应的图像以及图像生成模生成的与无伪影图像对应的图像，用于判别输入的待判别图像是否为生成器生成的图像数据，以促进图像生成模生成的图像数据更加接近于真实数据。

S130、将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，得到目标输出图像。

由于输入至伪影去除模型中的目标处理图像为极坐标系下的图像，经伪影去除模型输出的去伪影图像也为极坐标图像，将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，能够保证实际得到的目标输出图像与获取到的待处理图像具有同样的呈现方式，以直观了解到图像伪影的去除效果，同时也便于后期的图像查看。

本实施例的技术方案，通过获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像，进而将所述目标处理图像输入至预先训练完成的伪影去除模型中，即可得到与所述待处理图像对应的无伪影的目标生成图像。由于伪影去除模型对应的初始模型，即图像处理模型，包括图像生成器、第一判别器和第二判别器，能够通过第一判别器判别输入的待判别图像是否为无伪影图像，通过第二判别器判别输入的待判别图像是否为所述图像生成器生成的图像数据，从而保证图像生成器对待处理图像的伪影去除效果，解决了相关技术无法有效去除图像伪影及耗时过长等技术问题，能够简单快速有效地实现对待处理图像中图像伪影的智能化去除。

实施例二

图2为本发明实施例二提供的一种图像伪影去除方法的流程图，本实施例在上述实施例的基础上所述伪影去除模型的训练过程做了进一步细化。可选地，所述伪影去除模型通过如下方式训练得到：将样本处理图像输入至所述图像生成器中，得到模型生成图像，其中，所述样本处理图像包括无伪影图像和包含有图像伪影信息的有伪影图像；计算所述无伪影图像对应的模型生成图像与所述无伪影图像计算所述图像生成器的模型生成损失，并计算所述第一判别器对所述有伪影图像对应的模型生成图像的第一判别损失以及所述第二判别器对所述有伪影图像对应的模型生成图像的第二判别损失；根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型。其中，与前述实施例相同的技术术语及技术特征在此不再赘述。

如图2所示，该方法包括：

S210、将样本处理图像输入至图像生成器中，得到模型生成图像，其中，所述样本处理图像包括无伪影图像和包含有图像伪影信息的有伪影图像。

其中，样本处理图像可以理解为用于训练图像生成器、第一判别器及第二判别器的训练样本图像。

可以理解为是，在将样本处理图像输入至图像生成器中之前，还包括：获取样本处理图像。在本发明实施例中，获取样本处理图像的方式可以有多种，例如可以是，通过图像采集设备采集样本处理图像，从数据库中获取符合要求的历史图像作为样本处理图像，或者，对能获取到的原始图像进行图像处理后得到样本处理图像。

示例性地，获取样本处理图像具体可包括：获取包含有图像伪影信息的原始图像，对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，并将所述无伪影图像和所述有伪影图像作为样本处理图像。考虑到在实际应用中，获取到的原始的直接可以作为模型训练样本处理的图像往往有限，尤其是有价值的医学图像，而无伪影的医学图像的样本量更少。然而，模型训练往往需要大量的图像。在本发明实施例中，通过对所述原始图像进行图像分割，可以从有伪影的图像中分割出无伪影图像，这样可以有效增加无伪影图像的样本量，从而保证模型的训练效果。

具体地，对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，包括：将所述原始图像的图像坐标由笛卡尔坐标转换为极坐标，得到极坐标图像；获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线，其中，所述图像分割线位于所述原始图像中除图像伪影信息所在的区域之外的区域；根据所述图像分割线将所述极坐标图像分割为无伪影图像和包含有图像伪影信息的有伪影图像。

如前所述，将所述原始图像的图像坐标一般为笛卡尔坐标，因此可以将原始图像的图像坐标由笛卡尔坐标转换为极坐标。在极坐标图像中，可以视为图像处于首尾相接的状态，在模型训练的过程中，可以采用尺寸相同的样本处理图像，此时，可以通过图像分割线将图像一分为二，即，将图像分为两半，由于图像分割线位于所述原始图像中除图像伪影信息所在的区域之外的区域，因此，可以得到尺寸相同的无伪影图像和包含有图像伪影信息的有伪影图像。

如前所述，模型训练往往需要大量的图像。因此，可以通过图像处理的方式来进一步增加样本处理图像。示例性地，可以通过调整图像伪影在极坐标图像中的位置后，重新对极坐标图像进行分割，以分割出新的有伪影图像和无伪影图像。

可选地，根据所述极坐标图像中的图像伪影信息确定所述极坐标图像的滚动信息，其中，所述滚动信息包括滚动方向和滚动范围；根据所述滚动信息滚动所述极坐标图像，返回执行获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线的操作。

其中，图像伪影信息可以包括图像伪影的形态信息、边界信息、位置信息以及尺寸信息等各项信息中的至少一项。滚动范围用于保证在图像一分为二后，一张图像中包含图像伪影信息，一张图像中不包含图像伪影信息，例如滚动范围的上限值具体可以是不大于图像高度或长度的一半的数值。

具体地，在极坐标图像根据滚动信息完成滚动后，可以基于同一图像分割线对极坐标图像进行分割，以通过改变图像伪影在图像中的位置的方式，来增加样本处理图像。可以理解的是，可以通过多次滚动极坐标图像的方式，增加更多的样本处理图像。其中，每次滚动极坐标图像时对应的图像滚动步长可以在满足不超过滚动范围的两个端点值的差值的情况下，根据实际需求进行设置，在此并不做具体限定。

S220、计算所述无伪影图像对应的模型生成图像与所述无伪影图像计算所述图像生成器的模型生成损失，并计算所述第一判别器对所述有伪影图像对应的模型生成图像的第一判别损失以及所述第二判别器对所述有伪影图像对应的模型生成图像的第二判别损失。

其中，通过计算所述无伪影图像对应的模型生成图像与所述无伪影图像计算所述图像生成器的模型生成损失，通过该模型生成损失训练图像生成器尽量对无伪影区域保持原样，使得模型生成损失尽可能的小，从而使得图像生成器对无伪影图像进行处理后，生成的图像与输入的无伪影图像一致。

由于图像生成器的目的之一是将伪影的图像转换成无伪影的图像，第一判别器辨用于输入的待判别图像是有伪影图像还是无伪影图像，通过计算所述第一判别器对所述有伪影图像对应的模型生成图像的第一判别损失，进而借助第一判别损失调整图像生成器，从而使得图像生成器能够具备较好地图像伪影去除效果。

可选地，所述第一判别器通过如下方式训练：

其中，第二判别器用于判别输入的待判别图像是否为所述图像生成器生成的图像数据，通过计算所述第二判别器对所述有伪影图像对应的模型生成图像的第二判别损失，进而借助第二判别损失调整图像生成器，从而使得图像生成器生成的图像更加接近真实的无伪影图像，同时使得生成图像的分布接近输入图像的分布。

类似地，所述第二判别器通过如下方式训练：

S230、根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型。

具体地，可以根据所述模型生成损失、所述第一判别损失和所述第二判别损失计算模型总损失，进而基于所述模型总损失对所述图像生成器进行调整。其中，根据所述模型生成损失、所述第一判别损失和所述第二判别损失计算模型总损失，可以是，通过分别为模型生成损失、所述第一判别损失和所述第二判别损失进行加权再求和的方式计算出模型总损失。

具体地，可以通过如下方式计算用于调整图像生成器的模型总损失：

其中，为图像生成器的模型总损失，为第一判别器的第一判别损失，为第二判别器的第二判别损失，A表示有伪影图像，B表示无伪影图像，G表示图像生成器，D_B表示判别输入的待判别图像是否为无伪影图像的第一判别器，D_T为判别输入的待判别图像是否为所述图像生成器生成的图像数据的第二判别器，α，β，γ作为超参数调整模型总损失、第一判别损失和第二判别损失的对应权重。α，β，γ的值可以相同也可以不同，其具体数值可以根据实际情况确定。

S240、获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像。

S250、将所述目标处理图像输入至预先训练完成的伪影去除模型中，得到与所述目标处理图像对应的去伪影图像。

S260、将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，得到目标输出图像。

本实施例的技术方案，在对图像生成器进行调整时，通过所述无伪影图像对应的模型生成图像与所述无伪影图像之间的模型生成损失，使得模型能够保持输出图像与输入图像的无伪影区域的图像信息的一致性，通过第一判别器在判别输入的待判别图像是否为无伪影图像时，对有伪影图像对应的模型生成图像的第一判别损失，能够保证调整后的伪影去除模型具备更好的图像伪影去除能力，通过第二判别器在判别输入的待判别图像是否为所述图像生成器生成的图像数据时，对所述有伪影图像对应的模型生成图像的第二判别损失，能够使得训练得到的伪影去除模型在生成去除图像伪影后的目标生成图像时尽可能地贴合真实的无伪影图像，使得伪影去除模型的性能得到较为全面的优化，同时使得伪影去除模型具备更好地鲁棒性。

实施例三

作为本发明实施例的一个可选实例，具体地可以通过训练一个深度对抗生成模型，对其输入包含图像伪影的待处理图像后能够输出移除伪影后的图像，具体操作步骤可以是：

1.将待处理图像从笛卡尔坐标转换成极坐标，得到目标处理图像；

2.定位目标处理图像的图像伪影，然后对目标处理图像进行目标方向的滚动令图像伪影距离目标处理图像的边际有一定距离；

3.将滚动后的目标处理图像输入到伪影去除模型中得到去伪影图像；

4.针对去伪影图像执行复位步骤2的滚动的操作；

5.最后将复位处理后的去伪影图像从极坐标转换到笛卡尔坐标，得到目标输出图像，即待处理图像去除伪影后的图像。

需要说明的是，步骤2和4的处理并非必须执行，是否需要执行可以根据实际情况确定。

以下针对伪影去除模型的具体训练过程，分为模型原理、模型架构、损失函数设、数据准备及训练方法五个部分进行详细介绍。

第一部分：模型原理

本模型通过对卷积的图像生成模型以及生成对抗网络进行改造，训练一个模型将处于有伪影域A的图像转换到无伪影域B的图像，并在生成过程中保持伪影以外像素的一致性。

第二部分：模型架构

图像生成器的模型框架中，通过在卷积的基础上增加残差模块，使得生成图像更清晰，而且使得对输入的图像的大小限制更小。判别器采用简单的3层的卷积网络(即PatchGAN)生成70×70个块区，然后对每一个区块进行判别。

第三部分：损失函数设计

本发明实施例的模型训练方法有别于常规的生成对抗网络，本方法的目的主要包括：

将有伪影的图像转换成无伪影的图像；

生成图像分布接近输入图像的分布；

若对无伪影图像进行处理后，生成的图像与输入图像一致。

围绕以上三个目的定义三个损失：

(1)

(2)

(3)

其中，A表示有伪影图像，B表示无伪影图像，G表示图像生成器，D_B表示判别输入的待判别图像是否为无伪影图像的第一判别器，D_T为判别输入的待判别图像是否为所述图像生成器生成的图像数据的第二判别器。

损失(1)用于训练生成器G生成无伪影数据，以及训练判别器D_B分辨输入的待判别图像所在的域，即为有伪影图像还是无伪影图像，损失(2)用于训练图像生成器G生成尽量真实的数据，以及训练判别器D_T分辨输入的待判别图像是否真实，损失(3)用于训练图像生成器G尽量对无伪影区域保持原样。最后总损失函数为：

其中，α，β，γ作为超参数调整各个子损失的对应权重。

第四部分：数据准备

训练数据需要用到含伪影和不含伪影的两组图像，而现有数据一般都包含伪影，但伪影通常只占用的弧度较少的，因此可将一张图像切割得出含伪影和不含伪影的两张图像，具体流程如下：

1、对原始图像进行预处理，以去除原始图像中的水印等影响训练的信息，如图3所示；

2、将经由1处理后的原始图像由笛卡尔坐标向极坐标转换，如图4所示；

3、标注图像伪影的伪影坐标，如图5所示，伪影坐标用“+”表示；

4、如图6所示，将标注后的原始图像沿箭头方向滚动随机长度，但始终将图像伪影保持在图像的下半部分，并确定图像分割线；

5.沿位于滚动后的原始图像高度的一半处的图像分割线对滚动后的原始图像进行图像切割，得到尺寸相同的两张图像，分别为含图像伪影的有伪影图像和不含图像伪影的无伪影图像，如图7所示，其中，白色虚线表示图像分割线：

6、对分割得到的有伪影图像和/或无伪影图像，随机进行水平和/或垂直翻转以增加训练模型的数据集，如图8所示。

第五部分：训练流程

可以将训练过程分为两个或两个以上训练周期，每个训练周期中均包括对图像生成器的训练以及对判别器D_B和判别器D_T的训练，具体的每个周期中各个网络的训练步骤包括：

1、图像生成器的训练：

对图像生成器分别输入含伪影的有伪影图像A和不含伪影的无伪影图像B，得到两张图像A*和B*；

让判别器D_B判别A*和B中哪些包含伪影，得到判别损失

让判别器D_T判别A*，B*，A，B中哪些是生成图像，得到判别损失

求得B*和B的L1距离，得到一致性损失

然后对和乘以对应权重求和得然后反向传播求得对于生成器参数的梯度，然后优化生成器参数，但不通过该总损失优化判别器。

2、判别器的训练：

让判别器D_B判别A*和B中哪些包含伪影，得到判别损失然后仅优化判别器D_B的参数；

让判别器D_T判别A*，B*，A，B中哪些是生成图像，得到判别损失然后仅优化判别器D_T的参数。

采用上述技术方案，将极坐标系下的目标处理图像输入到伪影去除模型中得到去伪影图像的效果可以参见图9和图10。如图9所示，有伪影图像处理后相比较于处理前能够较好地去除伪影且保留无伪影区域的信息(左图为有伪影输入，右图为其处理后输出)：如图10所示，无伪影图像处理前后并无明显差别(左图为无伪影输入，右图为其处理后输出)。将待处理图像与由伪影去除模型输出的去伪影图像由极坐标变换至笛卡尔坐标后的目标输出图像的对比，参见图11。由此可见，对于有伪影输入伪影去除模型的输出图片都能够对伪影进行移除并对伪影后端进行亮度填充，而对于不含伪影的输入图片，模型输出图片基本与原图相一致。

实施例四

图12为本发明实施例四提供的一种图像伪影去除装置的结构示意图。如图12所示，该装置包括：目标处理图像获取模块1210、去伪影图像生成模块1220和目标图像输出模块1230。

其中，目标处理图像获取模块1210，用于获取待去除图像伪影信息的待处理图像，将所述待处理图像的图像坐标由笛卡尔坐标转换至极坐标，得到目标处理图像；去伪影图像生成模块1220，用于将所述目标处理图像输入至预先训练完成的伪影去除模型中，得到与所述目标处理图像对应的去伪影图像，其中，所述伪影去除模型根据位于极坐标系下的无伪影图像和包含有图像伪影信息的有伪影图像对预先建立的图像处理模型进行训练得到，所述图像处理模型包括图像生成器、第一判别器和第二判别器，所述图像生成器用于去除图像伪影信息生成无伪影图像，所述第一判别器用于判别输入的待判别图像是否为无伪影图像，所述第二判别器用于判别输入的待判别图像是否为所述图像生成器生成的图像数据；目标图像输出模块1230，用于将所述去伪影图像的图像坐标由极坐标系转换为笛卡尔坐标，得到目标输出图像。

可选的，所述伪影去除模型通过模型训练装置训练得到。其中，所述模型训练装置包括：

模型生成图像确定模块，用于将样本处理图像输入至所述图像生成器中，得到模型生成图像，其中，所述样本处理图像包括无伪影图像和包含有图像伪影信息的有伪影图像；

模型损失计算模块，用于计算所述无伪影图像对应的模型生成图像与所述无伪影图像计算所述图像生成器的模型生成损失，并计算所述第一判别器对所述有伪影图像对应的模型生成图像的第一判别损失以及所述第二判别器对所述有伪影图像对应的模型生成图像的第二判别损失；

模型调整模块，用于根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型。

可选地，所述第一判别器通过所述模型训练装置的下述模块训练：

第一判别结果输出模块，用于将第一训练样本图像输入至第一判别器中，得到与所述第一训练样本图像对应的第一模型判别结果，其中，所述第一训练样本图像包括所述有伪影图像对应的模型生成图像与所述无伪影图像；

第一判别参数优化模块，用于根据所述第一模型判别结果与第一期望判别结果之间的损失对所述第一判别器的模型参数进行调整，以优化所述第一判别器。

可选地，所述第二判别器通过所述模型训练装置的下述模块训练：

第二判别结果输出模块，用于将第二训练样本图像输入至第二判别器中，得到与所述第二训练样本图像对应的第二模型判别结果，其中，所述第二训练样本图像包括所述有伪影图像、所述无伪影图像、所述有伪影图像对应的模型生成图像以及所述无伪影图像对应的模型生成图像；

第二判别参数优化模块，用于根据所述第二模型判别结果与第二期望判别结果之间的损失对所述第二判别器的模型参数进行调整，以优化所述第二判别器。

可选地，所述模型训练装置还包括：

样本图像获取模块，用于获取包含有图像伪影信息的原始图像，对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，并将所述无伪影图像和所述有伪影图像作为样本处理图像。

可选地，所述样本图像获取模块包括：

图像坐标转换单元，用于将所述原始图像的图像坐标由笛卡尔坐标转换为极坐标，得到极坐标图像；

图像分割线确定单元，用于获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线，其中，所述图像分割线位于所述原始图像中除图像伪影信息所在的区域之外的区域；

样本图像得到单元，用于根据所述图像分割线将所述极坐标图像分割为无伪影图像和包含有图像伪影信息的有伪影图像。

可选地，所述样本图像获取模块还包括：

滚动信息确定单元，用于根据所述极坐标图像中的图像伪影信息确定所述极坐标图像的滚动信息，其中，所述滚动信息包括滚动方向和滚动范围；

图像滚动单元，用于根据所述滚动信息滚动所述极坐标图像，返回执行获取所述极坐标图像中标注的与图像伪影信息对应的伪影坐标，根据所述伪影坐标确定图像分割线的操作。

本发明实施例所提供的图像伪影去除装置可执行本发明任意实施例所提供的图像伪影去除方法，具备执行方法相应的功能模块和有益效果。

实施例五

图13示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图13所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如方法图像伪影去除。

在一些实施例中，方法图像伪影去除可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法图像伪影去除的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法图像伪影去除。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种图像伪影去除方法，其特征在于，包括：

其中，所述伪影去除模型根据位于极坐标系下的无伪影图像和包含有图像伪影信息的有伪影图像对预先建立的图像处理模型进行训练得到，所述图像处理模型包括图像生成器、第一判别器和第二判别器，所述图像生成器用于去除图像伪影信息生成无伪影图像，所述第一判别器用于判别输入的待判别图像是否为无伪影图像，所述第二判别器用于判别输入的待判别图像是否为所述图像生成器生成的图像数据；

其中，所述伪影去除模型通过如下方式训练得到：

根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型；

其中，所述根据所述模型生成损失、所述第一判别损失和所述第二判别损失计算模型总损失包括：通过分别为模型生成损失、所述第一判别损失和所述第二判别损失进行加权再求和的方式计算出模型总损失；通过如下方式计算用于调整图像生成器的模型总损失：

其中，为图像生成器的模型总损失，为第一判别器的第一判别损失，为第二判别器的第二判别损失，A表示有伪影图像，B表示无伪影图像，G表示图像生成器，D_B表示判别输入的待判别图像是否为无伪影图像的第一判别器，D_T为判别输入的待判别图像是否为所述图像生成器生成的图像数据的第二判别器，a，β，γ作为超参数调整第一判别损失、第二判别损失和模型生成损失的对应权重。

2.根据权利要求1所述的方法，其特征在于，所述第一判别器通过如下方式训练：

3.根据权利要求1所述的方法，其特征在于，所述第二判别器通过如下方式训练：

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述原始图像进行图像分割，得到无伪影图像和包含有图像伪影信息的有伪影图像，包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.一种图像伪影去除装置，其特征在于，包括：

其中，所述伪影去除模型通过模型训练装置训练得到；所述模型训练装置包括：

模型调整模块，用于根据所述模型生成损失、所述第一判别损失和所述第二判别损失对所述图像生成器进行调整，以得到伪影去除模型；

其中，为图像生成器的模型总损失，为第一判别器的第一判别损失，为第二判别器的第二判别损失，A表示有伪影图像，B表示无伪影图像，G表示图像生成器，D_B表示判别输入的待判别图像是否为无伪影图像的第一判别器，D_T为判别输入的待判别图像是否为所述图像生成器生成的图像数据的第二判别器，α，β，γ作为超参数调整第一判别损失、第二判别损失和模型生成损失的对应权重。

8.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像伪影去除方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的图像伪影去除方法。