CN118279995A - 人脸深度伪造取证方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种人脸深度伪造取证方法、系统、设备及存储介质，它们是一一对应的方案，方案中：采取主动策略，在待保护人脸图像中预先注入水印信息以实现源追踪，并利用深度伪造过程中无法保持水印完整性的特性来进行高泛化性的深度伪造检测，具体来说，在面部相关属性和身份信息中注入成对的自相关半脆弱水印，一旦面部身份或属性被篡改，这种半脆弱水印之间的关联性就会破坏，从而识别出图像是否被伪造。得益于上述改进，本发明显著提升了深度伪造溯源与检测性能，在多个数据集上达到了先进水平。

Description

人脸深度伪造取证方法、系统、设备及存储介质

技术领域

本发明涉及人脸深度伪造取证技术领域，尤其涉及一种人脸深度伪造取证方法、系统、设备及存储介质。

背景技术

人脸深度伪造技术在被广泛应用于娱乐应用的同时，也被应用于一些可能造成不良影响的场景。这些对深度伪造技术的滥用不仅给公民特别是公众人物的名誉权、肖像权造成了十分严重的危害，同时也加速了虚假新闻和伪造图像、视频的扩散，带来了潜在的威胁。因此，需要找到一种有效的手段来防御恶意人脸深度伪造。

现有深度伪造防御策略大多基于被动检测方式，它们将人脸深度伪造取证问题视作二分类任务处理，使用二分类损失函数监督卷积神经网络学习伪造人脸特征。然而它们在实际应用中面对新型未知的深度伪造手段时的性能尚不足够可靠和稳定。因此，部分研究者关注于主动防御策略，通过预先向图像中添加特定水印以起到主动取证的目标。然而，当下主动取证方法仍存在以下局限性：（1）现有方法依赖于预先得知半脆弱水印消息的前提，而在实际场景下难以获取原始水印信息作为先验知识进行匹配。（2）当前研究普遍无法实现与特定深度伪造生成器无关的检测效果，检测泛化性不足。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供一种人脸深度伪造取证方法、系统、设备及存储介质，显著提升了深度伪造溯源与检测性能。

本发明的目的是通过以下技术方案实现的：

一种人脸深度伪造取证方法，包括：

水印注入与图像生成阶段：从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像；

水印提取与检测阶段：从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。

一种人脸深度伪造取证系统，包括：人脸深度伪造取证模型，通过所述人脸深度伪造取证模型实现人脸深度伪造取证；所述人脸深度伪造取证模型包括：

水印注入与图像生成模块，用于从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像；

水印提取与检测模块，用于从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

由上述本发明提供的技术方案可以看出，采取主动策略，在原始图像（待保护人脸图像）中预先注入水印信息以实现源追踪，并利用深度伪造过程中无法保持水印完整性的特性来进行高泛化性的深度伪造检测，具体采用了面部特征解耦与重建架构设计，旨在提供一种主动式溯源及与具体深度伪造方法无关的检测策略，本发明成功将成对的自相关半脆弱水印分别注入到面部属性信息以及身份信息中，水印检测时，一方面，可以进行溯源，另一方面，一旦面部身份或属性被篡改，半脆弱水印之间的关联性就会破坏，从而识别出图像是否被伪造。得益于上述改进，本发明显著提升了深度伪造溯源与检测性能，在多个数据集上达到了先进水平。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种人脸深度伪造取证方法的流程图；

图2为本发明实施例提供的一种人脸深度伪造取证方法框架示意图；

图3为本发明实施例提供的属性水印注入模块图；

图4为本发明实施例提供的生成水印可视化结果示意图；

图5为本发明实施例提供的一种处理设备的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。

下面对本发明所提供的一种人脸深度伪造取证方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。

实施例一

本发明实施例提供一种人脸深度伪造取证方法，该方法采用面部特征解耦与重建架构设计，通过可学习的属性编码器与水印嵌入网络，能够自适应地学习到鲁棒性水印与半脆弱性水印在不同类别的面部属性中的分布规律。该方法在面部无关属性中注入（嵌入）鲁棒水印，使其能够抵抗常见的失真操作以及深度伪造篡改，从而实现可靠的溯源验证与追踪。同时在面部相关属性和身份信息中注入成对的自相关半脆弱水印，其中，半脆弱性水印通过可学习的水印嵌入网络嵌入至面部相关属性中，而身份信息水印则通过加性的方式实现互相关消息序列注入，一旦面部身份或属性被篡改，半脆弱水印之间的关联性就会破坏，从而识别出图像是否被伪造。如图1所示，该方法主要包括：水印注入与图像生成阶段，以及水印提取与检测阶段。

1、水印注入与图像生成阶段，计算机根据输入的待保护图像，自动生成注入特定隐含信息的受保护人脸图像。具体来说：从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像。

2、水印提取与检测阶段，计算机提取输入图像中的溯源水印序列，并判断图像是否经过深度伪造。具体来说：从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。具体地，在得到鲁棒性属性水印后，将鲁棒性属性水印的二进制信息序列与水印注入数据库中的序列进行匹配，以此追溯待检测的受保护人脸图像的原始来源。此处的水印注入数据库包含有大量的水印，前述水印注入与图像生成阶段中涉及的水印也是来自该水印注入数据库。

在具体实施过程中，可以构建一个人脸深度伪造取证模型实现水印注入与图像生成阶段，以及水印提取与检测阶段的过程，并预先对人脸深度伪造取证模型进行训练。训练时的损失函数表示为：

；

其中，为利用提取出的鲁棒性属性水印与半脆弱性属性水印计算出的损失项，为利用提取出的身份信息计算出的损失项，为利用待保护人脸图像与受保护人脸图像的差异计算出的损失项，为利用注入水印的面部属性信息计算出的损失项，为利用待保护人脸图像与受保护人脸图像计算出的对抗损失项；为5个损失项对应的权重系数。

本发明实施例提供的上述方案，可部署于计算机或服务器，自动对人脸图像添加水印，并对图像是否伪造做出判别，可以应用于各大社交平台例如短视频网站，照片分享网站等。

为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。

一、方案的原理概述。

本发明实施例中，人脸深度伪造主动取证方法总体框架如图2所示，主要包括：水印注入与图像生成模块，以及水印提取与检测模块；其中，水印注入与图像生成模块包括：面部属性与身份水印注入模块、面部图像重构模块，分别用于水印注入与图像重构；以上总体框架即为前文所述的人脸深度伪造取证模型。

在训练过程中：（1）水印注入与图像生成阶段，通过可学习的水印编码器与两个独立的水印解码器将属性水印序列作为控制序列注入面部属性信息（面部属性特征）中，获得带水印的属性信息，根据水印对恶意伪造扰动的鲁棒性，可以分离出嵌入至面部无关属性中的鲁棒性水印与嵌入至面部相关属性中的半脆弱性水印；同时，将伪随机（PN）序列与身份信息（身份特征）结合形成带有水印的身份信息。利用带有水印的属性和身份信息，通过一个面部重建模型合成出最终的带水印图像（受保护人脸图像）。（2）水印提取与检测阶段，对带水印图像施加不同的扰动，再使用深度可分离的两个水印解码器，在两种不同的鲁棒性级别上提取属性水印：一种是用于溯源追踪的鲁棒属性水印，另一种是半脆弱属性水印，并且带水印图像中提取身份信息，进一步计算其与半脆弱属性水印序列的相关性。如果深度伪造篡改了面部属性或身份信息，则关联性将会被破坏，进而实现深度伪造的主动检测。基于上述两个阶段获得的带水印图像、两类水印等信息构建损失函数，从而对框架中相关模块进行优化。

验证过程，直接从输入图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印，并进行深度伪造检测与溯源。

本发明实施例提供的方案中，面部属性包含面部无关属性与面部相关属性，在训练过程中不显式地区分面部无关与相关属性，但是，面部无关/相关属性中的水印能够通过可学习的属性编码器与水印嵌入网络自动实现嵌入，通过学习（即训练过程）得到的对应水印的分布，虽然嵌入的序列内容均为属性水印序列，但是二者的鲁棒性不同。具体来说：在面部无关属性中注入鲁棒水印（也是来自属性水印序列），使其能够抵抗常见的失真操作以及深度伪造篡改，从而实现可靠的溯源验证与追踪，而面部相关属性和身份信息中注入成对的自相关半脆弱水印。一旦面部身份或属性被篡改，这种半脆弱水印之间的关联性就会破坏，从而识别出图像是否被伪造。

二、方案的细节介绍。

1、水印注入与图像生成。

如图2所示，面部属性与身份水印注入模块主要包括：面部特征解耦网络与水印注入网络。在面部特征解耦网络中包含多级编码器的属性解耦网络结构和经预训练的人脸识别模型。属性解耦网络能够将输入面部图像解耦为多级的面部属性信息如下：

；

其中，为第级的面部属性信息，通常来说，i的数值越大表示属性级别越高，低级属性信息包含了全局轮廓与背景信息等粗粒度属性，而高级属性信息包含了面部细节、肤色与发色等细粒度属性，，n为面部属性信息的级数；R为实数集符号，表示第级的面部属性信息的大小，为通道数，为高度，为宽度。

预训练的人脸识别模型能够提取面部的身份信息如下：

；

其中，，为属性序列的特征维度，为输入的待保护人脸图像，该预训练的人脸识别模型无需进行优化，图2中的雪花符号表示冻结其参数。

水印注入网络由属性水印注入、身份水印注入两部分构成，负责将将成对的自相关半脆弱水印一对一的注入至面部属性信息与身份信息，所述成对的自相关半脆弱水印包括：属性水印序列（二进制序列），以及基于所述属性水印序列采用为随机噪声序列技术生成的自相关序列；将属性水印序列注入至面部属性信息，将自相关序列注入至身份信息。

在属性水印注入中，将属性水印序列扩散至与n级的面部属性信息相同的大小，并一对一的拼接后通过注意力机制融合，获得n级的注入水印后的面部属性信息。

具体来说，本发明使用了可学习的水印编码器实现面部属性水印的注入，详细结构图如图3所示。水印编码器将需要注入的属性水印序列通过全连接神经网络与上采样过程扩散至与n个属性特征图相同的大小；进一步地，将扩散后的属性水印序列与对应属性特征图进行拼接并通过注意力机制进行融合，最后输出n级的注入水印后的面部属性信息，表示为：

；

其中，表示水印编码器执行的面部属性信息注入水印过程，包含属性水印序列扩散、拼接与注意力机制融合的过程；为第级注入水印后的面部属性信息。

图3中，符号为FC的矩形框表示全连接神经网络，其后方的梯形表示上采样操作，符号为Conv的矩形框表示卷积层，符号为Att的矩形框表示注意力层，符号为C的圆形框表示拼接操作。

在身份水印注入中，本发明将生成的自相关序列与身份特征向量（也即提取出的身份信息）相加的方式实现水印注入，该自相关序列采用了通信系统中的伪随机噪声（PN）序列技术（简写为LFSR），生成具有特殊自相关性质序列，通过属性水印序列与自相关序列的匹配关系来验证身份水印的存在与否。这一方法利用PN序列仅在零点处产生脉冲峰值的自相关特性，确保即使在遭受各种常见干扰后仍能有效提取并验证水印信息。身份水印注入过程表示为：

；

其中，为设定系数，为注入水印后的身份信息，为身份信息。

在得到注入水印后的面部属性信息与身份信息后，面部图像重构模块通过自适应去归一化注意力生成网络（简称为生成网络）重构出最终的带水印图像，生成网络的第层的处理过程表示为：

；

；

；

其中，为第层的输入特征，生成网络的层数与面部属性信息的级数一一对应，第级注入水印后的面部属性信息，经过两个独立线性投影层分别映射得到的缩放向量与，注入水印后的身份信息经过相同的两个独立线性投影层分别映射得到的缩放向量与，此部分都是一对一的映射，即信息通过一个线性投影层映射得到一个缩放向量，是由经过卷积层得到的掩模，与为两个中间特征，为第层的输出，第1层的输入是，其余层的输入特征为上一层的输出，最终级联生成网络的各层得到最终的带水印图像（也即最后一层的输出为），它是包含身份与属性水印的受保护人脸图像。

2、水印提取与检测。

由于属性水印是通过可学习的方式进行嵌入，因此，通过深度可分离的水印解码器与分别提取出鲁棒性属性水印与半脆弱性属性水印；训练过程中，为带水印图像施加不同的扰动后，提取对应的属性水印，表示为：

；

；

其中，表示进行深度伪造，表示常规的图像扰动。鲁棒性属性水印对常规图像扰动与深度伪造均具有鲁棒性，而半脆弱性属性水印对常规的图像扰动具有鲁棒性，对深度伪造具有脆弱性。

基于上述介绍，可以利用提取出的鲁棒性属性水印、半脆弱性属性水印、身份信息，以及生成的受保护人脸图像、注入水印的面部属性信息来计算损失函数（具体在后文进行介绍），并进行训练。

经过进行训练后，可以采用相同的方案进行人脸深度伪造取证，其流程可参照前述的图1，区别主要在于：水印提取与检测阶段，直接提取出身份信息、鲁棒性属性水印与半脆弱性属性水印（不做扰动处理），再进行深度伪造检测与溯源，如图2下半部分所示。

具体来说：在得到了两类属性水印后，其中的鲁棒性属性水印可用于溯源，而通过半脆弱性属性水印与从待检测的受保护人脸图像中提取出的身份信息进行互相关操作可以验证图像是否经过深度伪造。其原理为：首先，将提取出的半脆弱性属性水印经过伪随机噪声序列技术（LFSR）处理，得到对应的自相关序列，然后，结合进行互相关操作，获得互相关后的结果序列，其中，互相关后的结果序列中的第t位表示为：

；

其中，与的长度均为N，、对应的表示第k、第位，为设定系数，为身份信息，为成对的自相关半脆弱水印中的自相关序列；互相关后的结果序列的长度为2N-1，若身份水印与半脆弱性属性水印匹配，则在互相关后的结果序列的中间位置处出现会冲激峰，以判断待检测的受保护人脸图像是否经过深度伪造。

3、损失函数。

本发明实施例中，采取了对抗训练的策略以保证生成图像的高保真性， 损失函数表示为：

；

其中，为5个损失项对应的权重系数。

为属性水印解码损失项，利用提取出的鲁棒性属性水印与半脆弱性属性水印计算，表示为：

；

其中，为L2损失函数。

为身份水印解码损失项，利用提取出的身份信息计算，表示为：

；

其中，为从待检测的受保护人脸图像中提取出的身份信息，为从待保护人脸图像中提取出的身份信息。

为水印图像的感知损失项，利用待保护人脸图像与受保护人脸图像的差异计算，表示为：

；

其中，为感知损失函数，为2范数符号。

为属性重建损失项，用于进一步约束生成图像的质量，利用注入水印的面部属性信息计算，表示为：

；

其中，为属性解耦网络从受保护人脸图像中提取的第级面部属性信息，。

为对抗损失项，利用待保护人脸图像与受保护人脸图像计算，表示为：

；

其中，为对抗性判别器；示例性的，可以选择Patch GAN（马尔可夫判别器）的网络以增强细节区域的判别能力。

示例性的，本发明中的人脸深度伪造取证模型可以在四张GPU卡上训练，一次输入32张人脸图像。整个人脸深度伪造取证模型使用AdamW（适应性矩估计）优化器进行优化，初始学习率可设置为0.0001，对抗性判别器初始学习率可设置为0.0003，为了更充分的训练，可以采用学习率余弦退火衰减的方式，在100个epoch（轮次）后衰减至。

三、方案的效果说明与验证。

本发明实施例提供的上述方案，采取主动策略，在原始图像（待保护人脸图像）中预先注入水印信息以实现源追踪，并利用深度伪造过程中无法保持水印完整性的特性来进行高泛化性的深度伪造检测，具体采用了面部特征解耦与重建架构设计，旨在提供一种主动式溯源及与具体深度伪造方法无关的检测策略，本发明成功将具有不同鲁棒性的水印分别注入到面部无关属性、相关属性以及身份信息中。其中在面部无关属性中注入鲁棒水印，使其能够抵抗常见的失真操作以及深度伪造篡改，从而实现可靠的溯源验证与追踪。同时在面部相关属性和身份信息中注入成对的自相关半脆弱水印。一旦面部身份或属性被篡改，这种半脆弱水印之间的关联性就会破坏，从而识别出图像是否被伪造。

在具体实现上，本发明为将水印信息与面部属性信息及身份信息进行耦合，提出了一个包含预训练人脸识别模型和多级编码器的面部特征解耦网络，其不仅从输入图像中分离出高阶语义身份特征（即前述的身份信息），还通过一个多层U-Net（U型自编码结构网络）风格的网络抽取多级别面部属性特征，并分别将属性水印序列和自相关序列巧妙地嵌入这些信息中，确保了水印信息在后续深度伪造攻击下的有效性及其在图像重建过程中的保真度。

为了验证本发明的效果，本发明方法在高清人脸数据集CelebA-HQ、FFHQ上进行训练，本发明的鲁棒性水印在溯源与鲁棒性测试上均取得了state-of-the-art（最先进的）的性能，误码率仅为0.0389%。在深度伪造检测上，本发明的平均检测准确率达到97.36%，并在黑盒设置下针对各种深度伪造方法包括：（1）换脸伪造方法：SimSwap（基于自编码器的面部交换网络）、DiffFace（基于Diffusion的面部交换网络）；（2）属性编辑伪造方法：StarGAN（多域迁移生成对抗网络）、HFGI（高保真面部属性编辑网络））均表现出良好的泛化能力。相比于单一使用深度可分离水印的SepMark（深度可分离水印）方法，本发明在DiffFace与HFGI两类黑盒场景中平均检测正确率为97.56%，而SepMark方法由于鲁棒性水印在经过黑盒伪造后被破坏，检测成功率仅为50%。此外，图4提供了本发明方法生成的水印图像的可视化效果，在受保护人脸图像中不存在肉眼可感知的噪声，展现了本发明方法高质量的水印图像生成能力；图4中，第一行为待保护人脸图像，第二行为最终的带水印图像（即受保护人脸图像），第三行是归一化后的水印残差图（即第二行减去第一行的结果），可以观察到人脸的身份和面部相关属性呈现出白色的分布（即RGB三通道均有水印），而面部无关属性（例如背景、头发等区域）呈现出彩色的分布（即验证了水印嵌入过程自适应地实现了鲁棒性属性水印的分布）。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例二

本发明还提供一种人脸深度伪造取证系统，其主要用于实现前述实施例提供的方法，该系统主要包括：人脸深度伪造取证模型，通过所述人脸深度伪造取证模型实现前述实施例提供的人脸深度伪造取证方法；所述人脸深度伪造取证模型包括：

水印注入与图像生成模块，用于从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像；

水印提取与检测模块，用于从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。

考虑到上述系统中所涉及的主要技术方案已经在前述实施例一中进行了详细的介绍，故不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例三

本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。

进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。

本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：

输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；

输出设备可以为显示终端；

存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。

实施例四

本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。

本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种人脸深度伪造取证方法，其特征在于，包括：

水印注入与图像生成阶段：从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像；

水印提取与检测阶段：从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。

2.根据权利要求1所述的一种人脸深度伪造取证方法，其特征在于，所述将成对的自相关半脆弱水印一对一的注入至一类信息中包括：

所述成对的自相关半脆弱水印包括：属性水印序列，以及基于所述属性水印序列采用为随机噪声序列技术生成的自相关序列；

将属性水印序列注入至面部属性信息，将自相关序列注入至身份信息。

3.根据权利要求1或2所述的一种人脸深度伪造取证方法，其特征在于，将成对的自相关半脆弱水印一对一的注入至一类信息中，包含的面部属性信息注入水印的过程包括：

所述面部属性信息记为：；其中，为第级的面部属性信息，，n为面部属性信息的级数；

将成对的自相关半脆弱水印中的属性水印序列扩散至与n级的面部属性信息相同的大小，并一对一的拼接后通过注意力机制融合，获得n级的注入水印后的面部属性信息，表示为：；其中，表示面部属性信息注入水印过程，包含属性水印序列扩散、拼接与注意力机制融合的过程；为第级注入水印后的面部属性信息。

4.根据权利要求1或2所述的一种人脸深度伪造取证方法，其特征在于，将成对的自相关半脆弱水印一对一的注入至一类信息中，包含的身份信息注入水印的过程包括：

将成对的自相关半脆弱水印中的自相关序列注入至身份信息，获得注入水印的身份信息，表示为：

；

其中，为设定系数。

5.根据权利要求1所述的一种人脸深度伪造取证方法，其特征在于，所述结合注入水印后的面部属性信息与身份信息生成受保护人脸图像包括：

通过自适应去归一化注意力生成网络结合注入水印后的面部属性信息与身份信息生成受保护人脸图像，自适应去归一化注意力生成网络第层的处理过程表示为：

；

；

；

其中，为第层的输入特征，自适应去归一化注意力生成网络的层数与面部属性信息的级数一一对应，第级注入水印后的面部属性信息，经过两个独立线性投影层分别映射得到的缩放向量与，注入水印后的身份信息经过相同的两个独立线性投影层分别映射得到的缩放向量与，是由经过卷积层得到的掩模，与为两个中间特征，为第层的输出，第1层的输入是，其余层的输入特征为上一层的输出，最终级联自适应去归一化注意力生成网络的各层得到最终的带水印图像。

6.根据权利要求1所述的一种人脸深度伪造取证方法，其特征在于，所述利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造包括：

将从待检测的受保护人脸图像中提取出的身份信息记为，将提取出的半脆弱性属性水印经过伪随机噪声序列技术处理，得到对应的自相关序列，再结合进行互相关操作，获得互相关后的结果序列，其中，互相关后的结果序列中的第t位表示为：

；

其中，与的长度均为N，、对应的表示第k、第位，若身份水印与半脆弱性属性水印匹配，则在互相关后的结果序列的中间位置处出现会冲激峰，以判断待检测的受保护人脸图像是否经过深度伪造。

7.根据权利要求1所述的一种人脸深度伪造取证方法，其特征在于，还包括：构建一个人脸深度伪造取证模型实现水印注入与图像生成阶段，以及水印提取与检测阶段的过程，并预先对人脸深度伪造取证模型进行训练，训练时的损失函数表示为：

；

其中，为利用提取出的鲁棒性属性水印与半脆弱性属性水印计算出的损失项，为利用提取出的身份信息计算出的损失项，为利用待保护人脸图像与受保护人脸图像的差异计算出的损失项，为利用注入水印的面部属性信息计算出的损失项，为利用待保护人脸图像与受保护人脸图像计算出的对抗损失项；为5个损失项对应的权重系数。

8.一种人脸深度伪造取证系统，其特征在于，包括：人脸深度伪造取证模型，通过所述人脸深度伪造取证模型实现人脸深度伪造取证；所述人脸深度伪造取证模型包括：

水印注入与图像生成模块，用于从待保护人脸图像中提取出面部属性信息与身份信息，将成对的自相关半脆弱水印一对一的注入至一类信息中，再结合注入水印后的面部属性信息与身份信息生成受保护人脸图像；

水印提取与检测模块，用于从待检测的受保护人脸图像中提取出身份信息、鲁棒性属性水印与半脆弱性属性水印；利用身份信息与半脆弱性属性水印进行互相关操作，判断待检测的受保护人脸图像是否经过深度伪造，以及利用鲁棒性属性水印进行溯源。

9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。