CN114187201A - 模型训练方法、图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了模型训练方法、图像处理方法、装置、设备及存储介质。其中，模型训练方法包括：获取训练样本集合，利用训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，根据目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，预设原始网络模型中包括生成对抗网络和瑕疵分割网络，生成网络用于生成目标域无瑕疵人脸图像，瑕疵分割网络用于在训练过程中对生成网络输出的生成图像进行分割，将分割结果转化为抑制瑕疵损失函数，约束生成图像以抑制图像在生成过程瑕疵的产生。通过采用上述技术方案，使用人脸图像处理模型，可以得到更加真实自然的无瑕疵人脸图像，瑕疵祛除处理效率高，实时性强。

Description

模型训练方法、图像处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理领域，尤其涉及模型训练方法、图像处理方法、装置、设备及存储介质。

背景技术

美颜功能已成为许多应用程序中的重要功能之一，利用美颜功能可以对人脸图像进行美化，进而祛除人脸皮肤中的瑕疵，如痘痘、痣、色斑以及粗大毛孔等等。

目前，常见的美颜处理方案包括基于保留边缘的滤波器实现，例如双边滤波器、导向滤波器、表面模糊滤波器以及局部均值滤波等，或多个滤波器的组合叠加，保留眉毛、头发以及背景等具有较大像素梯度值的边缘的部分，平滑皮肤等颜色较为统一同时像素梯度较小的部分。然而，该方案会使得皮肤细节有所丢失，美化程度越高细节丢失越严重，整体质感越不真实，整个图像变得虚幻，脱离真实皮肤的质感，存在假面感觉，美颜效果不理想，影响观看者的舒适度。另外，还存在基于深度学习的美颜处理方案，该方案需要先通过目标检测模型来检测到人脸中的瑕疵，再利用局部磨皮或填充等方法来祛除瑕疵，但目标检测模型的时效性差，再加上后续处理过程，会导致整个图像处理过程非常耗时，图像处理效率低下。

发明内容

本发明实施例提供了模型训练方法、图像处理方法、装置、设备及存储介质，可以优化现有的用于美化人脸图像的方案。

第一方面，本发明实施例提供了一种模型训练方法，该方法包括：

获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；

利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；

根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

第二方面，本发明实施例提供了一种图像处理方法，该方法包括：

获取待处理人脸图像；

将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像，其中，所述人脸图像处理模型通过本发明实施例提供的模型训练方法得到。

第三方面，本发明实施例提供了一种模型训练装置，该装置包括：

样本集合获取模块，用于获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；

模型训练模块，用于利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；

模型确定模块，用于根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

第四方面，本发明实施例提供了一种模型训练装置，该装置包括：

待处理图像获取模块，用于获取待处理人脸图像；

图像处理模块，用于将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像，其中，所述人脸图像处理模型通过本发明实施例提供的模型训练方法得到。

第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的模型训练方法和/或图像处理方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的模型训练方法和/或图像处理方法。

本发明实施例中提供的模型训练方案，获取包含训练样本对的第一训练样本集合，其中，训练样本对中包括包含瑕疵的原始人脸样本图像和在原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像，利用第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，生成对抗网络中包含生成网络和判别网络，生成网络用于生成目标域无瑕疵人脸图像，瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，预设损失函数中包含抑制瑕疵损失函数，抑制瑕疵损失函数由分割结果转化得到，用于约束生成图像在生成过程中瑕疵的产生，根据目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，人脸图像处理模型用于对待处理人脸图像进行处理，以祛除待处理人脸图像中包含的瑕疵。通过采用上述技术方案，采用生成对抗网络与瑕疵分割网络相结合的方式，由生成对抗网络负责生成无瑕疵人脸，有利于保持除了皮肤质感外的其他特征的一致性，瑕疵分割网络作为辅助网络可以促进生成对抗网络的生成过程，结合抑制瑕疵损失函数使得生成网络可以学会消除瑕疵，进而输出无瑕疵图像，在训练结束后，以训练得到的目标生成网络作为用于瑕疵消除的人脸图像处理模型，利用该模型可以得到更加真实自然的无瑕疵人脸图像，且不需要经过多阶段处理，一次性输出无瑕疵人脸图像，可以提高瑕疵祛除处理的效率，增强实时性，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

附图说明

图1为本发明实施例提供的一种模型训练方法的流程示意图；

图2为本发明实施例提供的又一种模型训练方法的流程示意图；

图3为本发明实施例提供的一种瑕疵分割网络训练过程示意图；

图4为本发明实施例提供的一种预设原始网络模型训练过程示意图；

图5为本发明实施例提供的一种图像处理方法的流程示意图；

图6为本发明实施例提供的一种模型训练装置的结构框图；

图7为本发明实施例提供的一种图像处理装置的结构框图；

图8为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种模型训练方法的流程示意图，该方法可以由模型训练装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：

步骤101、获取包含训练样本对的第一训练样本集合，其中，训练样本对中包括包含瑕疵的原始人脸样本图像和在原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像。

示例性的，人脸上的瑕疵可以包括如痘痘、痘印、痣、血丝、色斑以及粗大毛孔等影响脸部美观度的对象，很多真实人脸图像中会包含瑕疵，针对瑕疵进行处理，可以得到更加美观的人脸图像，满足用户的审美需求。人脸图像中的瑕疵可以理解为真实人脸上的瑕疵经图像采集装置采集后得到的瑕疵图像区域，本文中简称瑕疵。

本发明实施例中，可以收集包含瑕疵的人脸图像作为原始人脸样本图像。对于原始人脸样本图像，可以采用专业的图像处理软件进行处理以消除其中包含的瑕疵，处理过程可以由专业人员操作图像处理软件完成，得到更加标准的美化图像作为目标人脸样本图像。由原始人脸样本图像和对应的目标人脸样本图像构成一个训练样本对。例如，原始人脸样本图像为A，对A进行处理后，得到无瑕疵的目标人脸样本图像a，A和a构成一个训练样本对。

示例性的，第一训练样本集合中可以包含第一预设数量的训练样本对，第一预设数量可以根据实际情况设置，为了保证训练效果，第一预设数量可以设置得大一些。

步骤102、利用第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，生成对抗网络中包含生成网络和判别网络，生成网络用于生成目标域无瑕疵人脸图像，瑕疵分割网络用于对生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，预设损失函数中包含抑制瑕疵损失函数，抑制瑕疵损失函数由所述分割结果转化得到，用于约束生成图像在生成过程中瑕疵的产生。

示例性的，可以构建预设原始网络模型，该预设原始网络模型包括生成对抗网络和瑕疵分割网络。生成对抗网络和瑕疵分割网络的具体内部结构不做限定。

其中，生成对抗网络(Generative Adversarial Networks，GAN)，又称生成判别网络，其对图像信息有着极强的学习和生成能力。生成对抗网络包含两部分，生成网络(又称生成器G)和判别网络(又称判别器D)。生成网络可用于学习祛除图像中的瑕疵，生成目标域无瑕疵人脸图像，可保持除皮肤质感外的特征的一致性；判别网络可用于判别生成网络输出的人脸图像是否真实，是否接近目标人脸样本图像。在训练过程中，可以不断地优化生成对抗网络中的参数，达到增强模型能力的效果。

可选的，在利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练的过程中，所述生成网络以所述原始人脸样本图像为输入，并输出生成图像，所述判别网络以对应的所述目标人脸样本图像和所述生成图像为输入，并输出所述目标人脸样本图像和所述生成图像是否相同。

瑕疵分割网络用于辅助生成对抗网络的训练，可以有监督地学习瑕疵的分割信号。在本步骤之前，可以预先对预设原始瑕疵分割网络进行训练，得到训练好的瑕疵分割网络，瑕疵分割网络可以对图像中的瑕疵区域和非瑕疵区域进行分割。在预设原始网络模型中，瑕疵分割网络用于对生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，在预设原始网络模型的训练过程中，瑕疵分割网络中的参数保持不变。

本发明实施例中，预设损失函数的作用是为预设原始网络模型的训练过程提供指导，训练时不断的优化生成对抗网络的参数使得损失函数变小从而达到增强模型能力的效果。预设损失函数中包含抑制瑕疵损失函数，抑制瑕疵损失函数由分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生，具体可以是用于约束生成图像和无瑕疵区域的目标图像之间的差距。可选的，抑制瑕疵损失函数具体可以是对生成图像中包含的瑕疵区域的数量进行约束。示例性的，所述抑制瑕疵损失函数通过所述瑕疵分割网络输出的所述生成图像中包含的瑕疵区域的总数表示。

示例性的，所述预设损失函数中还可以包含其他损失函数，例如重建损失函数、对抗损失函数、感知损失函数和结构信息损失函数等等，具体不做限定。

示例性的，在训练过程结束后，得到目标网络模型，目标网络模型中可以包括训练好的生成对抗网络(可称为目标生成对抗网络)以及保持不变的瑕疵分割网络，目标生成对抗网络中包含训练好的生成网络(可称为目标生成网络)和训练好的判别网络(可称为目标判别网络)。

步骤103、根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

示例性的，在实际应用时，需要对包含瑕疵的人脸图像进行处理以祛除其中的瑕疵，而目标网络模型中的瑕疵分割网络和目标判别网络实际上并不会参与人脸图像的处理，因此，瑕疵分割网络和判别网络可以理解为用于辅助模型的训练的网络，在推理阶段(也即应用阶段)不需要使用，主要需要使用的网络是目标生成网络。因此，可以直接将目标生成网络作为人脸图像处理模型，或者在目标生成网络基础上进行进一步的优化调整，得到人脸图像处理模型。在应用时，可将待处理人脸图像输入至人脸图像处理模型，利用人脸图像处理模型对待处理人脸图像进行瑕疵祛除处理，可以快速输出处理后的真实自然的无瑕疵人脸图像。

本发明实施例中提供的模型训练方法，采用生成对抗网络与瑕疵分割网络相结合的方式，由生成对抗网络负责生成无瑕疵人脸，有利于保持除了皮肤质感外的其他特征的一致性，瑕疵分割网络作为辅助网络可以促进生成对抗网络的生成过程，结合抑制瑕疵损失函数使得生成网络可以学会消除瑕疵，进而输出无瑕疵图像，在训练结束后，以训练得到的目标生成网络作为用于瑕疵消除的人脸图像处理模型，利用该模型可以得到更加真实自然的无瑕疵人脸图像，且不需要经过多阶段处理，一次性输出无瑕疵人脸图像，可以提高瑕疵祛除处理的效率，增强实时性，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

在一些实施例中，所述预设损失函数中还包括重建损失函数和对抗损失函数，其中，所述重建损失函数用于约束所述生成图像和对应的目标人脸样本图像之间的差距。这样设置的好处在于，可以使得生成网络更好地学习祛除瑕疵。

示例性的，重建损失函数可以让生成图像(可记为gen_img)与目标人脸样本图像(可记为target_img)靠近，有助于让生成图保持属性图片(也即原始人脸样本图像)的特征。重建损失函数例如可以是L1范数损失函数，例如可以采用如下表达式表示：

recon_loss＝||gen_img-target_img||₂

其中，recon_loss表示重建损失函数。

示例性的，对抗损失函数让生成的图片更真实更自然,并且接近美肤人脸的数据分布，可以通过常规的对抗损失实现，可记为gan_loss。

在一些实施例中，在所述利用所述训练样本集合基于预设损失函数对预设原始网络模型进行训练之前，还包括：获取包含所述训练样本对的第二训练样本集合；根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，得到包含瑕疵区域和非瑕疵区域的目标分割图像；将所述原始人脸样本图像作为预设原始瑕疵分割网络的输入，将对应的目标分割图像作为期望，基于预设分割损失函数对所述预设原始瑕疵分割网络进行训练，得到瑕疵分割网络。这样设置的好处在于，可以训练得到能够准确划分瑕疵区域和非瑕疵区域的瑕疵分割网络。

示例性的，第二训练样本集合中可以包含第二预设数量的训练样本对，第二预设数量可以与第一预设数量相同或不同，第二训练样本集合中包含的训练样本对中同样包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像。第二训练样本集合中包含的训练样本对中的各图像可以与第一训练样本集合中包含的训练样本对中的各图像相同或不同，具体不做限定。

示例性的，目标人脸样本图像可以认为是无瑕疵的人脸图像，若原始人脸样本图像中的第一像素区域与目标人脸样本图像中对应的第一目标像素区域之间差距较大，可认为第一像素区域中包含瑕疵，从而对原始人脸样本图像进行分割标注。瑕疵分割网络用于识别出图像中的瑕疵区域和非瑕疵区域，将原始人脸样本图像输入至预设原始瑕疵分割网络中，输出分割好瑕疵区域和非瑕疵区域的分割图像，若预设原始瑕疵分割网络可以准确分割，则输出的分割图像应与对应的目标分割图像一致，据此，利用预设分割损失函数对预设原始瑕疵分割网络进行训练，以不断调整预设原始瑕疵分割网络中的参数，得到可以准确进行瑕疵分割的瑕疵分割网络。

在一些实施例中，所述根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，包括：对于所述第二训练样本集合中的每个训练样本对，计算各像素位置对应的第一像素和第二像素的绝对差值，其中，所述第一像素来源于所述原始人脸样本图像，所述第二像素来源于所述目标人脸样本图像；根据各所述绝对差值确定目标分割阈值；利用所述目标分割阈值对所述原始人脸样本图像进行分割标注，其中，对应绝对差值大于或等于所述目标分割阈值的部分被标注为瑕疵区域，对应绝对差值小于所述目标分割阈值的部分被标注为非瑕疵区域。这样设置的好处在于，可以根据总体的差异情况合理地确定目标分割阈值，进而依据目标分割阈值快速准确地进行训练样本的标注。

示例性的，原始人脸样本图像和目标人脸样本图像的尺寸一致，像素数量一致，可以以图像的某个顶点为坐标原点构建坐标系，以坐标表示像素位置。绝对差值也即差值的绝对值，计算相同像素位置上分别来自原始人脸样本图像的第一像素和目标人脸样本图像的第二像素的像素值的差值的绝对值。例如第一像素的像素值为m，第二像素的像素值为n，则绝对差值为m-n的绝对值。可选的，对绝对差值进行分析，根据各绝对差值的分布情况或集中程度等确定目标分割阈值。例如，可以根据中位数、平均值或百分位数等确定目标分割阈值，进一步的，还可以在中位数、平均值或百分位数等基础上乘以预设系数得到的乘积确定目标分割阈值等。

示例性的，在对原始人脸样本图像进行分割标注时，可以得到二值掩膜图(可理解为Ground-Truth)，瑕疵区域记为1，非瑕疵区域记为0。原始人脸样本图像经过瑕疵分割网络后，可以得到与原始人脸样本图像等大的二值分割掩膜图。在预设原始瑕疵分割网络进行训练的过程中，可以利用预设分割损失函数约束其输出的二值分割掩膜图与作为目标分割图像的二值掩膜图之间的差距，也即使二值分割掩膜图趋近于二值掩膜图，通过梯度下降以及更新参数，得到准确的瑕疵分割网络。

本发明实施例中的分割可以视为像素的分类问题，常规的分类问题通常使用交叉熵损失。但对于人脸图像来说，根据皮肤瑕疵的特性，其在人脸皮肤中所占比例通常较小，则会出现正负样本比例严重不均衡的问题，负样本(无瑕疵的位置，如大面积的皮肤和背景)像素数量显著多余正样本(痘痘或色斑等瑕疵位置)像素数量，常用的交叉熵损失无法达到较佳的训练效果。本发明实施例中，针对上述特点，可以采用非常规的损失函数，用于削弱正负样本比例不均衡对训练效果的影响。

示例性的，预设分割损失函数可以包括如加权交叉熵损失函数(Weighted crossentropy Loss)、灶性损失函数(Focal Loss)以及骰子损失函数(Dice Loss)等。其中，DiceLoss目前仅用于医学影像分割，而本发明中将其应用于瑕疵人脸图像的分割，经试验发现可以得到很好的训练效果，很好地解决瑕疵人脸图像的正负样本不均衡问题。

图2为本发明实施例提供的又一种模型训练方法的流程示意图，该方法在上述各可选实施例基础上进行优化，如图2所示，该方法可包括：

步骤201、获取包含训练样本对的第二训练样本集合。

其中，训练样本对中包括包含瑕疵的原始人脸样本图像和在原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像。

步骤202、根据第二训练样本集合中的各训练样本对中的原始人脸样本图像和目标人脸样本图像之间的差异，对原始人脸样本图像进行分割标注，得到包含瑕疵区域和非瑕疵区域的目标分割图像。

示例性的，针对每个训练样本对，计算各像素位置对应的分别来自原始人脸样本图像的第一像素和目标人脸样本图像的第二像素的像素值的差值的绝对值，并根据各绝对值确定目标分割阈值，利用目标分割阈值对原始人脸样本图像进行标注，得到包含瑕疵区域和非瑕疵区域的目标分割图像，具体可以是二值掩膜图，瑕疵区域记为1，非瑕疵区域记为0。

步骤203、将原始人脸样本图像作为预设原始瑕疵分割网络的输入，将对应的目标分割图像作为期望，基于预设分割损失函数对预设原始瑕疵分割网络进行训练，得到瑕疵分割网络。

其中，预设分割损失函数为Dice Loss。

图3为本发明实施例提供的一种瑕疵分割网络训练过程示意图，如图3所示，将原始人脸样本图像作为输入图像输入至预设原始瑕疵分割网络中，输出分割图像，根据分割图像和目标分割图像计算预设分割损失函数。例如，通过Dice Loss约束从预设原始瑕疵分割网络输出的二值分割掩膜图趋近于二值掩膜图，不断调整预设原始瑕疵分割网络中的权重参数，最终得到训练好的瑕疵分割网络。在二值掩膜图中，以黑色表示0，白色表示1，也即白色表示瑕疵区域。

步骤204、根据瑕疵分割网络和生成对抗网络构建预设原始网络模型。

图4为本发明实施例提供的一种预设原始网络模型训练过程示意图，如图4所示，预设原始网络模型包括由生成网络和判别网络构成的生成对抗网络，还包括瑕疵分割网络。生成网络输出的生成图像作为瑕疵分割网络的输入，目标人脸样本图像和生成网络输出的生成图像作为判别网络的输入。

需要说明的是，图3和图4中的各包含人脸的图像中，对眼部进行了马赛克处理，实际训练过程中以及应用过程中一般不会进行该处理。

步骤205、获取包含训练样本对的第一训练样本集合。

步骤206、利用第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型。

其中，预设损失函数中包括重建损失函数、对抗损失函数和抑制瑕疵损失函数。

如图4所示，生成网络以原始人脸样本图像作为输入，并输出生成图像，利用重建损失函数和对抗损失函数的约束，使得生成图像趋近于目标人脸样本图像，从而学习生成祛除瑕疵后的目标人脸样本图像。判别网络以生成图像和目标人脸样本图像作为输入，学习将两者区分开。瑕疵分割网络利用抑制瑕疵损失函数来惩罚未成功祛除瑕疵的生成网络，瑕疵分割网络以生成图像作为输入，输出二值分割掩膜图，根据二值分割掩膜图计算抑制瑕疵损失函数，抑制瑕疵损失函数约束生成图像没有瑕疵，也即相当于约束二值分割掩膜图中的像素对应的值全部为0(如图4中的全黑的图像)，抑制瑕疵损失函数可以通过二值分割掩膜图中二值化后的像素值的和表示，可记为sum(S(gen_img))。通过使得抑制瑕疵损失函数趋近于0，强制生成网络学会消除瑕疵。

可选的，预设损失函数可表示为重建损失函数、对抗损失函数和抑制瑕疵损失函数的加权求和。例如，可以通过如下表达式表示：

Loss＝a*recon_loss+b*gan_loss+c*res_loss

其中，Loss表示预设损失函数，recon_loss表示重建损失函数，gan_loss表示对抗损失函数，res_loss表示抑制瑕疵损失函数，a表示第一权重系数，b表示第二权重系数，c表示第三权重系数。a、b和c的取值可以根据实际需求设置。

在训练过程中，瑕疵分割网络的参数固定，生成网络和判别网络中的参数可分别固定，交替优化，以预设损失函数最小为目标进行优化，通过梯度下降更新各自的参数。

步骤207、根据目标网络模型中包含的目标生成网络确定人脸图像处理模型。

其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

本发明实施例提供的模型训练方法，所得到的人脸图像处理模型适用范围广泛，可以适用于任何肤质，并且真实感强，对大区域密集的瑕疵，也能很好的处理，不会造成斑驳的迹象，对于本身就无瑕疵的皮肤，生成图基本与原图保持一致，不会造成质量或者色差等损伤，且在实际应用中，只需要通过一个网络，即生成网络，优于检测加上填充或局部磨皮的两步祛除瑕疵的方案，同时也在时间上更有优势，可以支持视频级祛痘，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

图5为本发明实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图5所示，该方法包括：

步骤501、获取待处理人脸图像。

示例性的，待处理人脸图像的具体来源不做限定，可以是计算机设备本地的人脸图像、也可以是来自于网络的人脸图像、还可以是实时采集的人脸图像等。可选的，待处理人脸图像可以是视频通话中包含人脸的实时视频图像，还可以是直播流中的包含人脸的视频帧等。

步骤502、将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像。

其中，所述人脸图像处理模型通过本发明实施例提供的模型训练方法得到。

将待处理人脸图像输入至本发明实施例提供的人脸图像处理模型，可以输出祛除瑕疵后的目标人脸图像，从而达到美颜效果。

本发明实施例提供的图像处理方法，可以得到更加真实自然的无瑕疵人脸图像，且不需要经过多阶段处理，一次性输出无瑕疵人脸图像，可以提高瑕疵祛除处理的效率，增强实时性，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

图6为本发明实施例提供的一种模型训练装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行模型训练方法来进行模型训练。如图6所示，该装置包括：

样本集合获取模块601，用于获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；

模型训练模块602，用于利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；

模型确定模块603，用于根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

本发明实施例中提供的模型训练装置，采用生成对抗网络与瑕疵分割网络相结合的方式，由生成对抗网络负责生成无瑕疵人脸，有利于保持除了皮肤质感外的其他特征的一致性，瑕疵分割网络作为辅助网络可以促进生成对抗网络的生成过程，结合抑制瑕疵损失函数使得生成网络可以学会消除瑕疵，进而输出无瑕疵图像，在训练结束后，以训练得到的目标生成网络作为用于瑕疵消除的人脸图像处理模型，利用该模型可以得到更加真实自然的无瑕疵人脸图像，且不需要经过多阶段处理，一次性输出无瑕疵人脸图像，可以提高瑕疵祛除处理的效率，增强实时性，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

图7为本发明实施例提供的一种图像处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行图像处理方法来进行图像处理。如图7所示，该装置包括：

待处理图像获取模块701，用于获取待处理人脸图像；

图像处理模块702，用于将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像，其中，所述人脸图像处理模型通过本发明实施例提供的模型训练方法得到。

本发明实施例提供的图像处理装置，可以得到更加真实自然的无瑕疵人脸图像，且不需要经过多阶段处理，一次性输出无瑕疵人脸图像，可以提高瑕疵祛除处理的效率，增强实时性，可以很好地适用于如直播或视频通话等对实时视频图像进行处理等时效性要求较高的应用场景。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的模型训练装置。图8为本发明实施例提供的一种计算机设备的结构框图。计算机设备800包括存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序，所述处理器802执行所述计算机程序时实现本发明实施例提供的模型训练方法和/或图像处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的模型训练方法和/或图像处理方法。

上述实施例中提供的模型训练装置、图像处理装置、设备以及存储介质可执行本发明任意实施例所提供的相应方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的模型训练方法和图像处理方法。

注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。

Claims (12)

1.一种模型训练方法，其特征在于，包括：

获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；

利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；

根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

2.根据权利要求1所述的方法，其特征在于，在利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练的过程中，所述生成网络以所述原始人脸样本图像为输入，并输出生成图像，所述判别网络以对应的所述目标人脸样本图像和所述生成图像为输入，并输出所述目标人脸样本图像和所述生成图像是否相同。

3.根据权利要求2所述的方法，其特征在于，所述预设损失函数中还包括重建损失函数和对抗损失函数，其中，所述重建损失函数用于约束所述生成图像和对应的目标人脸样本图像之间的差距。

4.根据权利要求1所述的方法，其特征在于，在所述利用所述训练样本集合基于预设损失函数对预设原始网络模型进行训练之前，还包括：

获取包含所述训练样本对的第二训练样本集合；

根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，得到包含瑕疵区域和非瑕疵区域的目标分割图像；

将所述原始人脸样本图像作为预设原始瑕疵分割网络的输入，将对应的目标分割图像作为期望，基于预设分割损失函数对所述预设原始瑕疵分割网络进行训练，得到瑕疵分割网络。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二训练样本集合中的各训练样本对中的所述原始人脸样本图像和所述目标人脸样本图像之间的差异，对所述原始人脸样本图像进行分割标注，包括：

对于所述第二训练样本集合中的每个训练样本对，计算各像素位置对应的第一像素和第二像素的绝对差值，其中，所述第一像素来源于所述原始人脸样本图像，所述第二像素来源于所述目标人脸样本图像；

根据各所述绝对差值确定目标分割阈值；

利用所述目标分割阈值对所述原始人脸样本图像进行分割标注，其中，对应绝对差值大于或等于所述目标分割阈值的部分被标注为瑕疵区域，对应绝对差值小于所述目标分割阈值的部分被标注为非瑕疵区域。

6.根据权利要求4所述的方法，其特征在于，所述预设分割损失函数包括骰子损失函数。

7.根据权利要求1-6任一所述的方法，其特征在于，所述抑制瑕疵损失函数通过所述瑕疵分割网络输出的所述生成图像中包含的瑕疵区域的总数表示。

8.一种图像处理方法，其特征在于，包括：

获取待处理人脸图像；

将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像，其中，所述人脸图像处理模型通过如权利要求1-7任一所述的模型训练方法得到。

9.一种模型训练装置，其特征在于，包括：

样本集合获取模块，用于获取包含训练样本对的第一训练样本集合，其中，所述训练样本对中包括包含瑕疵的原始人脸样本图像和在所述原始人脸样本图像基础上祛除瑕疵后的目标人脸样本图像；

模型训练模块，用于利用所述第一训练样本集合基于预设损失函数对预设原始网络模型进行训练，得到目标网络模型，其中，所述预设原始网络模型中包括参数待调整的生成对抗网络和预先训练好的参数固定的瑕疵分割网络，所述生成对抗网络中包含生成网络和判别网络，所述生成网络用于生成目标域无瑕疵人脸图像，所述瑕疵分割网络用于对所述生成网络输出的生成图像进行分割以得到基于瑕疵区域和非瑕疵区域的分割结果，所述预设损失函数中包含抑制瑕疵损失函数，所述抑制瑕疵损失函数由所述分割结果转化得到，用于约束所述生成图像在生成过程中瑕疵的产生；

模型确定模块，用于根据所述目标网络模型中包含的目标生成网络确定人脸图像处理模型，其中，所述人脸图像处理模型用于对待处理人脸图像进行处理，以祛除所述待处理人脸图像中包含的瑕疵。

10.一种图像处理装置，其特征在于，包括：

待处理图像获取模块，用于获取待处理人脸图像；

图像处理模块，用于将所述待处理人脸图像输入至人脸图像处理模型，以输出所述待处理人脸图像对应的经过瑕疵祛除处理的目标人脸图像，其中，所述人脸图像处理模型通过如权利要求1-7任一所述的模型训练方法得到。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images