CN117994119A - 一种应用于扩散模型的性能无损图像水印的方法 - Google Patents

Abstract

本发明公开了一种应用于扩散模型的性能无损图像水印的方法，首先使用一个k比特的二进制序列s来表示原水印，对原水印进行扩散，将水印信息扩散到隐表征的整个部分；然后使用流密码加密来进行水印随机化，随机化的水印被用于驱动分布保持采样，得到带有水印的隐表征；再通过去噪采样和解码，得到带有水印的图像；在水印提取阶段，通过DDIM Inversion来还原隐表征，再经过采样逆变换、流密码解密、投票逆过程提取出水印；将提取出的水印与原水印进行比对来确定图像的来源信息。上述方法既能从理论上保证性能无损，又无需额外训练，可以同时实现版权保护和溯源违规内容两种功能。

Description

一种应用于扩散模型的性能无损图像水印的方法

技术领域

本发明涉及数字图像版权保护技术领域，尤其涉及一种应用于扩散模型的性能无损图像水印的方法。

背景技术

扩散模型在图像生成领域取得了显著的突破，这些经过大量预训练的扩散模型，特别是商业模型如Stable Diffusion、Glide和Muse AI，使具备不同背景的个人能够轻松地创作高质量图像。然而这其中存在知识产权问题，即扩散模型是否会被窃取或被二次转售；另一方面，生成图像过于逼真引发了人们关于虚假内容生成的担忧。因此对生成内容进行版权认证和溯源标记的紧迫性显而易见。

目前用来标记生成内容的基本方法是数字水印技术，它将水印信息嵌入生成图像中，从而实现后续的版权认证和违规内容溯源。最早应用于扩散模型的图像水印是基于后处理方法的，这一类方法通过调整图像的鲁棒特征来嵌入水印，但会直接改变图像并降低其质量；为了缓解这一问题，最近的研究提出了基于微调的方法，将水印嵌入过程与图像生成过程相结合。直观地说，这些方法需要修改模型参数，引入额外的计算开销，上述方法在嵌入水印时都会损害模型性能。而在实际应用中，模型性能对于业务利益和用户体验都至关重要，为了提升模型性能，通常需要进行大量的资源投入。因此为了解决上述水印方法的局限和迎合当前扩散模型的安全需求，设计一种性能无损的图像水印技术，并实现版权保护和违规内容溯源，对扩散模型的实际部署至关重要。

发明内容

本发明的目的是提供一种应用于扩散模型的性能无损图像水印的方法，该方法既能从理论上保证性能无损，又无需额外训练，可以同时实现版权保护和溯源违规内容两种功能。

本发明的目的是通过以下技术方案实现的：

一种应用于扩散模型的性能无损图像水印的方法，所述方法包括：

步骤1、使用一个k比特的二进制序列s来表示原水印，对原水印进行扩散，将水印信息扩散到隐表征的整个部分；

步骤2、然后使用流密码加密来进行水印随机化，随机化的水印被用于驱动分布保持采样，得到带有水印的隐表征；

步骤3、再通过去噪采样和解码，得到带有水印的图像；

步骤4、在水印提取阶段，通过去噪扩散隐式模型反演DDIM Inversion来还原隐表征，再经过采样逆变换、流密码解密、投票逆过程提取出水印；

步骤5、将步骤4提取出的水印与原水印进行比对来确定图像的来源信息。

由上述本发明提供的技术方案可以看出，上述方法既能从理论上保证性能无损，又无需额外训练，可以同时实现版权保护和溯源违规内容两种功能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的应用于扩散模型的性能无损图像水印的方法流程示意图；

图2为本发明实施例所述方法在版权保护场景（检测）下水印性能实验结果示意图；

图3为本发明实施例所述方法在溯源场景下水印性能实验结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先介绍本发明实施例所述方法所应用的具体场景和条件，场景涉及运营商A、盗窃者B以及两种类型的用户C和D。

运营商A负责训练和部署模型，并为用户提供相应的API，但她没有开源代码和模型权重；盗窃者B没有使用运营商A的服务，却窃取了由她的模型生成的图像，并声称拥有版权；用户C和D作为平台用户，可以使用API来生成和传播图像；其中用户C忠实地遵守平台准则，但用户D的目标是生成违规内容。为了逃避检测和追溯，用户D可以使用各种数据增强方法来修改违规图像。

在版权保护的检测场景下，运营商A将一个单比特水印嵌入到每个生成图像中，如果能成功从图像中提取出水印，那就说明运营商A对该生成图像拥有版权，同时也表明该图像是人工生成的，而不是自然图像。

在违规内容的溯源场景下，运营商A为每个用户分配一个唯一的水印，通过从违规内容中提取水印，再与水印数据库比对来溯源用户D。溯源是比检测更高的追求，溯源不仅可以识别生成违规内容的源头，还可以为每个用户实现版权保护。

基于上述场景和条件，如图1所示为本发明实施例提供的应用于扩散模型的性能无损图像水印的方法流程示意图，所述方法包括：

步骤1、使用一个k比特的二进制序列s来表示原水印，对原水印进行扩散，将水印信息扩散到隐表征的整个部分；

在该步骤中，如果隐表征的维度表示为，为隐表征的高度；为隐表征的宽度；为隐表征的通道；其中每个维度表示比特的水印，那么水印容量就是比特；

为增强水印的鲁棒性，只使用高度和宽度的，以及通道的来表示水印，并将水印复制次, 表示在通道维度上水印复制次数，表示在高和宽维度上水印复制次数，得到扩散后的水印，上标d用于与原水印s进行区分；

因此实际的水印容量为比特。

具体实现中，水印信息在生成过程中和图像的整个语义深度绑定，从而实现了优越的鲁棒性。

步骤2、然后使用流密码加密来进行水印随机化，随机化的水印被用于驱动分布保持采样，得到带有水印的隐表征；

在该步骤中，若已知扩散后的水印的分布，则利用分布保持采样来获得对应的隐表征；

若扩散后的水印的分布未知，则引入一个流密钥K，通过加密将水印转化为分布已知的随机化水印m；考虑使用计算安全的流密码，那么m就服从均匀分布，即m是一个随机的二进制比特流；

当每个维度表示位随机化水印m时，则位看作是整数；由于m是一段密文，y服从离散均匀分布，即对于，；表示y取到每一个可能的整数的概率；

设表示标准高斯分布的概率密度函数，表示分位数函数，将分为个等累积概率的区间；当时，采样的含水印隐表征就落在第i个区间内，i为整数，这意味着隐表征应该服从条件分布：

（1）

隐表征的概率分布表示为：

（2）

这说明隐表征服从与随机采样的隐表征相同的分布；具体采样过程为：

设的累积分布函数为，则得到公式(1)的累积分布函数为：

（3）

给定，目标是在区间内对隐表征进行随机采样；

常用的方法是拒绝采样，但这种方法十分耗时，因为它需要重复采样，直到隐表征落在正确的区间内。本申请利用累积概率密度，当从累积分布函数中随机采样时，通过随机采样自然地得到相应的隐表征；

由于累积分布函数的取值范围在内，从中随机采样等价于从标准均匀分布随机采样，记为，表示服从区间[0,1]的均匀分布；将公式(3)式进行移项，并考虑到和是反函数，则得到带有水印的隐表征为：

（4）

从而实现了根据随机化水印m采样得到含水印隐表征的过程。

具体实现中，通过扩散水印随机化和分布保持采样，保证了含水印隐表征的分布与无水印隐表征的分布一致，从而实现了性能无损。

步骤3、再通过去噪采样和解码，得到带有水印的图像；

在该步骤中，在得到含水印隐表征后，使用连续时间采样器DPMSolver对隐表征进行迭代去噪；具体实现中，除了DPMSolver之外，还可以使用基于常微分方程求解器的其他连续时间采样器，例如DDIM、DEIS、PNDM和UniPC等。

在获得去噪后的隐表征之后，再使用解码器生成含水印的图像，即：

。

当含水印图像在社交平台上传播时可能会收到有损处理，最终用来进行水印提取的是受噪声扰动的图像。

步骤4、在水印提取阶段，通过去噪扩散隐式模型反演DDIM Inversion（DenoisingDiffusion Implicit Model Inversion）来还原隐表征，再经过采样逆变换、流密码解密、投票逆过程提取出水印；

在该步骤中，首先使用编码器将恢复到隐空间；其中，表示用来进行水印提取的受噪声扰动的图像；

然后引入去噪扩散隐式模型反演DDIMInversion来估计要加入的噪声，具体过程表示为：

（5）

其中为超参数，该参数根据设计需求进行设定，，t为采样时间步；表示根据文本条件c预测的噪声输出；表示反演得到的隐表征，与正向生成时的隐表征加以区分；经过迭代加噪后认为隐表征；具体实现中，尽管DDIM逆过程是从DDIM中推导出来的，但它也可以应用于其他基于ODE求解器的连续时间采样器；

在获得隐表征之后，根据如下式（6）定义的逆变换：

（6）

将张量转换为比特流；然后用流密钥对比特流进行流密码解密，得到水印；接着对水印进行逆扩散会产生个水印副本；

类似于投票过程，如果在超过一半的水印副本中当前要恢复的水印比特位为1，则将相应的水印比特设置为1，否则设置为0；通过这个过程提取出二进制水印序列。

步骤5、将步骤4提取出的水印与原水印进行比对来确定图像的来源信息。

在该步骤中，具体是将提取的二进制水印序列与原二进制水印序列s进行逐位比对，如果匹配的比特数超过设定的阈值，则认为生成图像含有水印信息。

下面对本申请实施例所述图像水印方法是否是性能无损进行说明：

在已有的工作中，水印嵌入的引入不可避免地导致模型性能下降，为了统一评估所有水印方法，本申请借鉴了基于计算复杂度的隐写安全性定义，提出了一个关于水印嵌入对模型性能影响的定义，该定义基于一个含水印图像和一个正常生成图像之间的概率博弈。测试者可以使用任何水印驱动的采样过程并生成，类似于选择隐藏文本攻击，称之为选择水印测试，如果对于任何多项式时间测试者和密钥，都满足以下条件，就说明水印方法在选择水印测试下是无性能损失的：

（7）

其中，表示测试者将含水印图像判断为含水印的概率；表示安全参数的长度，比如流密钥；是相对于可忽略的小量；

该公式（7）表示：测试者将含水印图像判断为含水印的概率与将正常生成图像判断为含水印的概率之差，应该小于某个可忽略的小量；

本申请实施例使用反证法证明该陈述，首先假设含水印图像和正常生成图像是可区分的，即：

（8）

其中定义为相对于流密钥不可忽略的量；将迭代去噪过程表示为，把编码器代入上式中，则有：

（9）

其中是使用加密算法和密钥对扩散水印进行加密后得到的随机化水印。注意(2)式实际上包含了由随机化水印驱动的分布保持采样和随机采样等价的事实，因此将基于序列的采样表示为。含水印隐表征由驱动的采样得到，即，而可以被视为由与长度相同的真随机序列r驱动的采样得到，即，公式 (9)可以改写为：

（10）

其中，、和可以被视为测试者可调用的子程序；因此公式(10)可以简化为：

（11）

由于、和都是多项式时间程序，因此测试者进行区分所需的时间也是多项式的。

公式(11)本质上说明在多项式时间内可以区分和r。然而本申请在水印随机化中使用了计算上安全的流密码，这意味着作为伪随机序列的在多项式时间内与真随机序列r不可区分。(11)式与流密码的计算安全要求相矛盾，因此(11)式不成立，那么最初假设的(8)式也就不成立，这意味着在多项式时间内无法区分含水印图像和正常生成图像。因此在选择水印测试下，本申请实施例所述图像水印方法是性能无损的。

为了证明本申请实施例所述方法的有效性，首先在版权保护和溯源违规内容两个场景下对所述方法进行评估，然后分别从水印性能和生成质量两个方面与已有方法进行全面对比。这里作为基线的方法有多比特水印Stable Signature、不可见水印Tree-Ring以及三种常见的后处理水印方法DwtDct、DwtDctSvd和RivaGAN。由于本申请方法主要关注扩散模型，因此在实验中选用了目前最常用的商业模型Stable Diffusion的最新版本V2.1来评估，使用公开数据集Stable-Diffusion-Prompt作为提示词来生成图像。

首先对本申请所述方法的性能在两个场景下进行了评估，选用真阳率TPR和溯源准确率作为评价指标。在版权保护（检测）场景下，分别将理论的假阳率FPR控制在，然后在1000张生成图像上测试不同噪声设置下的真阳率TPR，如图2所示为本发明实施例所述方法在版权保护场景（检测）下水印性能实验结果示意图，在绝大多数噪声下本方法的TPR依然可以保持在0.99左右，尽管最低TPR为0.953，但依然是很好的结果。在溯源场景下，将假阳率FPR控制在，并从10到不断增加平台用户数，然后由1000名用户每人生成10张图像作为数据集，检测溯源准确率，即通过水印溯源的用户是否是原生成用户。如图3所示为本发明实施例所述方法在溯源场景下水印性能实验结果示意图，在多数噪声设置下本方法几乎可以完全正确溯源，在Brightness噪声下尽管单次溯源准确率只有95.47%，但如果一个用户生成了两张图像，那么溯源准确率就可以有99%以上。这说明本方法即使部署在百万级用户的平台上依然有很好的实用性。

其次，本申请所述方法和各基线方法也在两个场景下进行了性能方面的对比，这里选用了真阳率TPR和比特准确率作为评价指标，直接将理论的假阳率FPR控制在，然后在每种方法下测试1000张生成图像的真阳率TPR和平均比特准确率，如下表1和2所示：

表1 不同方法下水印性能实验结果

表2 不同方法下水印性能实验结果

由表1和2可知：本方法表现出优越的鲁棒性，明显优于其他基准方法，在生成图像要面临社交平台有损处理的现实场景下，具有很强的实用性。具体表现在比特准确率方面，本方法超过了最佳基准方法约7个百分点，这可以归因于水印被扩散到在整个隐空间中，进而和图像语义深度绑定。

最后，本申请实施例所述方法和各基线方法在生成质量方面进行了对比，这也是验证性能无损的核心实验。对于一个以文生图模型，为了全面的衡量生成质量选择了两个评估指标。一个单用来衡量生成图像质量，选用了FID距离，该值越小代表图像质量越好；另一个用来衡量生成图像和提示词的图文一致性，选用CLIP-Score，该值越大图文一致性越强。这里选用5000张图像一组测试FID，1000张图像一组平均CLIP-Score。由于生成存在随机性，将上述测试重复十次，考虑到要评估的是是否性能无损，因此最佳情况应该是含水印图像的各项指标和正常生成图像相近，而非通过指标的绝对高低判断。因此这里引入了t-检验，用来衡量含水印图像的各项指标在平均意义上是否与正常生成图像接近，t-value越小说明越接近，如表3所示：

表3不同方法下生成质量实验结果

指标方法	FID(t-value)	CLIP-Score(t-value)
			StableDiffusion	25.23±.18	0.3629±0.006
DwtDct	24.97±.19 (3.026)	0.3617±.0007 (3.045)
			DwtDctSvd	24.45±.22(8.253)	0.3609±.0009 (4.452)
RivaGAN	24.24±.16(12.29)	0.3611±.0009 (4.259)
			Tree-Ring	25.43±.13(2.581)	0.3632±.0006 (0.8278)
StableSignature	25.45±.18(2.477)	0.3622±.0027 (0.7066)
			GaussianShading	25.20±.22 (0.3567)	0.3631±.0005 (0.6870)

由上表3可知：本申请实施例所述方法在FID指标下t-value显著低于其他所有方法。就CLIP-Score而言，Tree-Ring、Stable Signature和本方法都展现出有竞争力的结果。但值得注意的是，CLIP-Score倾向于衡量生成图像与提示词之间的一致性，而FID仅用于评估图像质量。总的来说，这些基准方法在统计上显著地影响了模型性能，另一方面，本申请实施例所述方法取得了最小的t-value，这间接证实了它的无性能损失特性。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本申请实施例所述方法具有如下优点：

1、本申请提出了一种应用于扩散模型的可证明性能无损图像水印方法，名为Gaussian Shading。与目前已经部署在扩散模型的水印方法不同，部署Gaussian Shading不改变扩散模型的架构和参数，无需额外的训练，并且可以从理论上证明不会给模型带来性能损失，它可以作为即插即用的模块无缝集成到生成过程中，运营商可以方便地将无水印模型替换为含水印模型，而不会对可用性体验产生任何影响；

2、本申请方法可以同时实现版权保护和违规内容溯源两种功能，部署GaussianShading的运营商可以为每一位用户分配水印，在后续验证过程中，首先确定图像是否来自该模型（版权保护），然后从水印库中对用户溯源。Gaussian Shading即使部署在百万级用户的平台上，水印依然可以被准确提取；

3、通过在多种常见噪声上全面评估本实施例所述方法，大量实验表明，本方法具有优越的鲁棒性，在生成图像要面临社交平台有损处理的现实场景下，具有很强的实用性。

另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (6)

1.一种应用于扩散模型的性能无损图像水印的方法，其特征在于，所述方法包括：

步骤1、使用一个k比特的二进制序列s来表示原水印，对原水印进行扩散，将水印信息扩散到隐表征的整个部分；

步骤2、然后使用流密码加密来进行水印随机化，随机化的水印被用于驱动分布保持采样，得到带有水印的隐表征；

步骤3、再通过去噪采样和解码，得到带有水印的图像；

步骤4、在水印提取阶段，通过去噪扩散隐式模型反演DDIM Inversion来还原隐表征，再经过采样逆变换、流密码解密、投票逆过程提取出水印；

步骤5、将步骤4提取出的水印与原水印进行比对来确定图像的来源信息。

2.根据权利要求1所述应用于扩散模型的性能无损图像水印的方法，其特征在于，在步骤1中，如果隐表征的维度表示为，为隐表征的高度；为隐表征的宽度；为隐表征的通道；其中每个维度表示比特的水印，那么水印容量就是比特；

为增强水印的鲁棒性，只使用高度和宽度的，以及通道的来表示水印，并将水印复制次, 表示在通道维度上水印复制次数，表示在高和宽维度上水印复制次数，得到扩散后的水印，上标d用于与原水印s进行区分；

因此实际的水印容量为比特。

3.根据权利要求1所述应用于扩散模型的性能无损图像水印的方法，其特征在于，在步骤2中，若已知扩散后的水印的分布，则利用分布保持采样来获得对应的隐表征；

若扩散后的水印的分布未知，则引入一个流密钥K，通过加密将水印转化为分布已知的随机化水印m；考虑使用计算安全的流密码，那么m就服从均匀分布，即m是一个随机的二进制比特流；

当每个维度表示位随机化水印m时，则位看作是整数；由于m是一段密文，y服从离散均匀分布，即对于，；表示y取到每一个可能的整数的概率；

设表示标准高斯分布的概率密度函数，表示分位数函数，将分为个等累积概率的区间；当时，采样的含水印隐表征就落在第i个区间内，i为整数，这意味着隐表征应该服从条件分布：

（1）

隐表征的概率分布表示为：

（2）

这说明隐表征服从与随机采样的隐表征相同的分布；具体采样过程为：

设的累积分布函数为，则得到公式(1)的累积分布函数为：

（3）

给定，目标是在区间内对隐表征进行随机采样；

具体是利用累积概率密度，当从累积分布函数中随机采样时，通过随机采样自然地得到相应的隐表征；

由于累积分布函数的取值范围在内，从中随机采样等价于从标准均匀分布随机采样，记为，表示服从区间[0,1]的均匀分布；将公式(3)式进行移项，并考虑到和是反函数，则得到带有水印的隐表征为：

（4）

从而实现了根据随机化水印m采样得到含水印隐表征的过程。

4.根据权利要求1所述应用于扩散模型的性能无损图像水印的方法，其特征在于，在步骤3中，在得到含水印隐表征后，使用连续时间采样器DPMSolver对隐表征进行迭代去噪；

在获得去噪后的隐表征之后，再使用解码器生成含水印的图像，即：

。

5.根据权利要求1所述应用于扩散模型的性能无损图像水印的方法，其特征在于，在步骤4中，首先使用编码器将恢复到隐空间；其中，表示用来进行水印提取的受噪声扰动的图像；

然后引入去噪扩散隐式模型反演DDIMInversion来估计要加入的噪声，具体过程表示为：

（5）

其中为超参数，，t为采样时间步；表示根据文本条件c预测的噪声输出；表示反演得到的隐表征，与正向生成时的隐表征加以区分；经过迭代加噪后认为隐表征；

在获得隐表征之后，根据如下式（6）定义的逆变换：

（6）

将张量转换为比特流；然后用流密钥对比特流进行流密码解密，得到水印；接着对水印进行逆扩散会产生个水印副本；

类似于投票过程，如果在超过一半的水印副本中当前要恢复的水印比特位为1，则将相应的水印比特设置为1，否则设置为0；通过这个过程提取出二进制水印序列。

6.根据权利要求1所述应用于扩散模型的性能无损图像水印的方法，其特征在于，在步骤5中，具体是将提取的二进制水印序列与原二进制水印序列s进行逐位比对，如果匹配的比特数超过设定的阈值，则认为生成图像含有水印信息。