CN113240613B - 一种基于边缘信息重建的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于边缘信息重建的图像修复方法，包括步骤：完成图像数据集选取和图像预处理，并进行数据划分；采用生成式对抗网络架构，包含一个生成器和一个鉴别器；生成器接收受损图像，生成修复图像；鉴别器对修复结果进行真伪判别；采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失；采用反向传播算法，迭代更新优化网络参数，直至模型损失趋于收敛；将待修复图像输入到训练所得修复模型中，模型输出即为修复结果。本方法通过边缘信息重建和受损纹理合成相互约束，弥补了现有算法对于图像纹理与结构关系建模不充分的缺陷，拓展了基于深度生成模型的图像修复思路。

Description

一种基于边缘信息重建的图像修复方法

技术领域

本发明属于图像处理技术领域，具体地，涉及一种基于生成式深度神经网络的图像修复方法，特别涉及基于边缘信息重建的图像修复方法。

背景技术

图像修复是指重建图像中丢失或损坏部分的过程，目的是维持原图整体的和谐统一。对于一幅给定的受损图片，实现把缺口四周原有的结构延续到缺口内部，重新绘制缺口内部细节，使得每个填充区域与周边颜色、纹理相匹配，并保证重建图片与原图语义一致。

图像修复技术起源于文艺复兴时期人们对因侵蚀被破坏的艺术珍品的修复。人们利用图像缺失部分的邻域信息和自身对图像语义的理解，通过一系列的修复技术对缺失部分进行修复。由于需要手工进行修复，因而对修复的时间和技术有着很高的要求。随着数字媒体技术的快速发展，信息载体的更新变化，数字图像在存储、压缩、传输等过程中难免会出现信息缺失、破损的情况，数字图像修复技术应运而生。图像修复工作不再需要手工进行，这极大地提高了修复效率。同时，数字图像修复技术也有着广泛的应用场景和巨大的现实意义。小到工作生活中的拍照、文档扫描等，大到医学成像领域中的磁共振成像、航空航天卫星遥感图片等，图像修复技术在各个领域都扮演着重要的角色。

目前，诸如Photoshop等专业的图像处理软件有着很广泛的应用场景。虽然它们可以通过数字图像技术对受损图像进行专业性的修复，相较于传统的人工修复有着更强的容错性，避免了错误修复对原作品的破坏，但是仍对修复工艺和技术有着很高的要求。人们迫切地希望一种简单、易于操作的图像修复技术的出现，降低图像修复的成本，填补图像修复技术的需求缺口。

传统的图像修复技术大致分为两类：基于扩散的图像修复方法和基于样本的图像修复方法。基于扩散的图像修复方法主要依赖于距离场等机制将未受损区域的像素信息传播到受损区域，从而完成图像修复。这类修复方法在小区域缺失的图像修复场景中表现良好，但是不适用于大区域缺失图像和纹理图像的修复场景，扩散迭代次数的增加导致修复区域变得模糊，产生伪影。基于样本的图像修复方法主要通过迭代地从图像的非受损区域或其他图像中搜索相关的补丁来进行图像修复。这类方法在纹理细节修复中有良好的修复效果，但是对于图像的高级语义特征和全局结构却难以捕获，同时需要昂贵的计算成本，所以并不能有效地解决现有的图像修复问题。

近年来，卷积神经网络(Convolutional Neural Networks,CNNs)和生成式对抗网络(Generative Adversarial Networks,GANs)在图像修复领域展现出了令人惊喜的前景。Deepak Pathak等人于2016年提出一种上下文编码器(Context Encoder)，对受损图像进行编码，在解码阶段直接生成修复图像，同时使用对抗学习的方法对网络进行训练，是深度学习在图像修复领域的开山之作。为了更好地捕获远距离上下文信息，上下文注意力机制被提出建模图像区域亲和力，引入远距离未受损像素信息细化图像修复细节。Guilin Liu等人于2018年进一步提出部分卷积核掩码更新机制，首次利用卷积神经网络对不规则区域缺失的图像进行修复，通过仅对有效像素建模进一步提升图像修复效果。然而，由于缺少显式的图像结构建模，这些基于深度生成模型的图像修复方法无法有效地修复具有复杂结构的受损图像。Kamyar Nazeri等人于2019年提出EdgeConnect模型，证明引入结构建模能够生成结构合理的修复图像，其包含一个边缘生成器和图像生成器，边缘生成器对图像受损区域的结构进行显式重建，图像生成器基于重建的图像结构进行纹理补全。但是这种多阶段生成模型固有的不稳定性严重限制了模型的修复效果。尽管Jingyuan Li等人于2019年提出的PRVS模型和Hongyu Liu等人于2020年提出的MED模型针对这一问题进行了改良，但是这些方法均采用共享的网络同时建模图像纹理与结构，导致图像结构与纹理之间的关系未能充分挖掘，进而弱化了模型的修复能力。因此，引入结构建模的图像修复模型仍有很大的性能提升空间。

发明内容

针对上述图像修复方法中存在的技术缺陷，本发明的目的在于提出一种基于生成式深度神经网络的图像修复方法，特别涉及基于纹理合成与结构重建相互指导的图像修复方法。基于现有图像修复模型对图像纹理与结构关系提取建模不充分，进一步发现二者的重建过程具有相互促进的正反馈。根据这一图像恢复特性，充分发挥生成式对抗网络对抗学习的优势，合成更具视觉效果的修复图像。

本发明的技术方案如下：

一种基于边缘信息重建的图像修复方法，其特征在于，包括以下步骤：

1)准备图像数据集，完成图像数据集选取和图像预处理，并进行数据划分；

2)构建图像修复模型，采用生成式对抗网络架构，包含一个生成器和一个鉴别器；生成器接收一张受损图像和其对应的受损边缘图，生成修复图像；鉴别器对修复结果进行真伪判别；

3)设置模型训练约束，采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失；

4)训练图像修复模型，采用反向传播算法，迭代更新优化网络参数，直至模型损失趋于收敛；

5)进行图像修复，将受损图像输入到训练所得修复模型中，模型输出即为修复结果。

进一步的，所述的生成器为双流图像修复网络，可同时实现结构信息重建和纹理信息合成，并在深度网络模型的中间阶段，在结构特征和纹理特征之间交换所提取的信息，形成相互约束和指导，进而融合恢复的纹理与结构特征实现受损图像修复。

进一步的，所述生成器结构具体如下：

纹理编码器：从受损图像中提取受损图像的纹理特征；

结构编码器：从受损边缘图中提取受损图像的结构特征；

纹理解码器：通过多层次神经网络解码纹理编码器所提取的多尺度纹理特征，并在本解码器的多个网络层次上融合结构编码器提取的结构先验信息，最终解码出重建图像的纹理特征；结构解码器：通过多层次神经网络解码结构编码器所提取的多尺度结构特征，并在本解码器的多个网络层次上融合纹理编码器提取的纹理特征，最终解码出重建图像的完整结构特征；特征融合阶段：融合纹理解码器输出的纹理特征与结构解码器输出的结构特征，进一步合成修复图像。

进一步的，所述特征融合阶段包括双向门控特征融合模块，用于保证生成的修复结果纹理与结构的一致性；所述双向门控特征融合模块包含两个单向门控特征融合模块，对于输入的纹理特征F_t和结构特征F_s，分别计算纹理特征到结构特征融合的单向门G_t和结构特征到纹理特征融合的单向门G_s，基于G_t和G_s分别执行单向门控操作得到纹理感知的结构特征F′_s和结构感知的纹理特征F′_t，进一步拼接F′_s和F′_t得到融合后的特征F_b。具体计算如下：

F_b＝Concat(F′_s,F′_t),

其中，σ表示Sigmoid激活函数，g和h表示卷积核大小为3的卷积操作，Concat表示特征的通道连接操作，α和β为两个可学习的参数，且初始化为0，⊙和

分别表示逐元素乘法和逐元素加法。

进一步的，所述特征融合阶段包括上下文特征聚合模块，用于保证图像内部上下文的一致性；所述上下文特征聚合模块包括区域仿射学习与多尺度特征聚合两个单元，所述区域仿射学习是基于像素块的上下文注意力层，补充模型建模图像长距离依赖的能力；所述多尺度特征聚合提升模型对不同尺度特征的提取融合能力；对于输入特征F，具体操作如下：

区域仿射学习：首先从F中提取大小为3×3的像素块，进一步计算它们之间的余弦相似度：

其中，f_i和f_j分别表示从特征图中提取的第i和j块像素块；

之后通过对相似度做softmax操作计算注意力得分：

最后，重新使用提取的像素块重建特征图：

其中，

表示重建的特征图F_rec的第i块像素块；

多尺度特征聚合：利用多尺度空洞卷积和权重自适应分配实现对多尺度特征的提取。对于输入的特征图F_rec，利用多尺度空洞卷积提取多尺度特征集合

同时为特定尺度的特征自适应地分配权重W^*，进而对多尺度特征加权得到聚合后的特征F_c。具体操作如下：

W¹,W²,W⁴,W⁸＝Slice(Softmax(G_w(F_rec))),

其中，Conv_k表示空洞卷积操作，k表示空洞卷积的扩张率，k∈{1，2，4，8}，Softmax表示按通道做softmax操作，G_w包含两层卷积操作，且输出的特征通道数为4，Slice表示按通道做切片操作。

进一步的，所述的鉴别器包含纹理分支与结构分支，分别保证生成的修复图像的纹理逼真程度与结构的真实性，纹理分支与结构分支的输出结果被通过通道连接操作后作为鉴别器的输出结果，实现同时对生成的修复图像纹理与结构的真伪鉴别。

进一步的，所述的联合损失

包含重建损失

感知损失

风格损失

对抗损失

和中间特征损失

具体计算如下：

1)重建损失计算真实图像I_gt与修复图像I_out之间的l₁距离：

2)感知损失计算真实图像I_gt与修复图像I_out在ImageNet数据集上预训练的VGG-16网络的特征空间上的l₁距离：

其中，φ_i(·)表示VGG-16网络第i个池化层输出的特征图。

3)风格损失同样计算特征图之间的l₁距离：

其中，ψ_i(·)＝φ_i(·)^Tφ_i(·)，表示格拉姆矩阵；

4)对抗损失，纹理分支鉴别真实图像I_gt与修复图像I_out的真伪，结构分支鉴别真实边缘图E_gt

和修复边缘图E_out的真伪：

5)中间特征损失被施加在结构编码器输出的结构特征F_s和纹理解码器输出的纹理特征F_t以确保准确的特征信息被捕获：

其中，BCE表示二分类交叉熵损失，

与

表示投影函数，分别将F_s与F_t映射为边缘图与RGB图像；

联合损失被计算为：

其中，λ_rec、λ_perc、λ_style、λ_adv和λ_inter表示损失权衡参数。

本发明的有益效果：

1.本发明提出了边缘信息重建和受损纹理合成相互约束指导的图像修复方法，弥补了现有算法对于图像纹理与结构关系建模不充分的缺陷，拓展了基于深度生成模型的图像修复思路。

2.本发明提出了一个轻量的且有效的双向门控特征融合模块，利用门控操作弥补了特征直接做通道连接融合的不充分性。

3.本发明提出上下文特征聚合模块，扩展上下文注意力层，建模图像内部长距离依赖，并有效提取融合图像多尺度特征，适用范围更广。

附图说明

图1为基于边缘信息重建的图像修复方法的流程示意图。

图2为模型架构示意图。

图3为图像修复效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

一种基于生成式对抗网络的图像修复方法，如图1所示，其步骤包括：

1)准备图像数据集。完成图像数据集选取和图像预处理，并进行数据划分。

2)构建图像修复模型。该模型采用生成式对抗网络架构，包含一个生成器和一个鉴别器。生成器接收一张受损图像和其对应的受损边缘图，生成修复图像；鉴别器对修复图像进行真伪判别。

3)设置模型训练约束。采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失。

4)训练图像修复模型。采用反向传播算法，迭代更新优化网络参数，直至模型损失趋于收敛。

5)进行图像修复。将受损图像输入到训练所得修复模型中，模型输出即为修复结果。

更进一步，如图2所示，所述的生成器为一个新颖的双流图像修复网络，可同时实现结构信息重建和纹理信息合成，并在深度网络模型的中间阶段，在结构特征和纹理特征之间交换所提取的信息，形成相互约束和指导。进而融合恢复的纹理与结构特征实现受损图像修复。

生成器结构具体如下：

1)纹理编码器：从受损图像中提取受损图像的纹理特征；

2)结构编码器：从受损边缘图中提取受损图像的结构特征；

3)纹理解码器：通过多层次神经网络解码纹理编码器所提取的多尺度纹理特征，并在本解码器的多个网络层次上融合结构编码器提取的结构先验信息，最终解码出重建图像的纹理特征；

4)结构解码器：通过多层次神经网络解码结构编码器所提取的多尺度结构特征，并在本解码器的多个网络层次上融合纹理编码器提取的纹理特征，最终解码出重建图像的完整结构特征；

5)特征融合阶段：融合纹理解码器输出的纹理特征与结构解码器输出的结构特征，进一步合成修复图像。

更进一步，这里的特征融合阶段包含双向门控特征融合模块和上下文特征聚合模块，分别进一步保证生成的修复结果纹理与结构的一致性和图像内部上下文的一致性。具体如下：

1)双向门控融合模块：包含两个单向门控特征融合模块。对于输入的纹理特征F_t和结构特征F_s，分别计算纹理特征到结构特征融合的单向门G_t和结构特征到纹理特征融合的单向门G_s，基于G_t和G_s分别执行单向门控操作得到纹理感知的结构特征F′_s和结构感知的纹理特征F′_t，进一步拼接F′_s和F′_t得到融合后的特征F_b。具体计算如下：

F_b＝Concat(F′_s，F′_t),

其中，σ表示Sigmoid激活函数，g和h表示卷积核大小为3的卷积操作，Concat表示特征的通道连接操作，α和β为两个可学习的参数，且初始化为0，⊙和

分别表示逐元素乘法和逐元素加法。

2)上下文特征聚合模块：包含区域仿射学习与多尺度特征聚合两个单元。区域仿射学习是一个基于像素块(Patch)的上下文注意力层，补充模型建模图像长距离依赖的能力；多尺度特征聚合提升模型对不同尺度特征的提取融合能力。对于输入特征F，具体操作如下：

区域仿射学习：首先从F中提取大小为3×3的像素块，进一步计算它们之间的余弦相似度：

其中，f_i和f_j分别表示从特征图中提取的第i和j块像素块。之后通过对相似度做softmax操作计算注意力得分：

最后，重新使用提取的像素块重建特征图：

其中，

表示重建的特征图F_rec的第i块像素块。

多尺度特征聚合：利用多尺度空洞卷积和权重自适应分配实现对多尺度特征的提取。对于输入的特征图F_rec，利用多尺度空洞卷积提取多尺度特征集合

同时为特定尺度的特征自适应地分配权重W^*，进而对多尺度特征加权得到聚合后的特征F_c。具体操作如下：

W¹，W²，W⁴，W⁸＝Slice(Softmax(G_w(F_rec))),

其中，Conv_k表示空洞卷积操作，k表示空洞卷积的扩张率，k∈{1，2，4，8}，Softmax表示按通道做softmax操作，G_w包含两层卷积操作，且输出的特征通道数为4，Slice表示按通道做切片操作。

更进一步，如图2所示，所述的鉴别器包含纹理分支与结构分支，分别保证生成的修复图像的纹理逼真程度与结构的真实性，纹理分支与结构分支的输出结果被通过通道连接操作后作为鉴别器的输出结果，实现同时对生成的修复图像纹理与结构的真伪鉴别。

更进一步，所述的联合损失

包含重建损失

感知损失

风格损失

对抗损失

和中间特征损失

具体计算如下：

1)重建损失计算真实图像I_gt与修复图像I_out之间的l₁距离：

2)感知损失计算真实图像I_gt与修复图像I_out在ImageNet数据集上预训练的VGG-16网络的特征空间上的l₁距离：

其中，φ_i(·)表示VGG-16网络第i个池化层输出的特征图。

3)风格损失同样计算特征图之间的l₁距离：

其中，ψ_i(·)＝φ_i(·)^Tφ_i(·)，表示格拉姆矩阵。

4)对抗损失，纹理分支鉴别真实图像I_gt与修复图像I_out的真伪，结构分支鉴别真实边缘图E_gt和修复边缘图E_out的真伪：

5)中间特征损失被施加在结构编码器输出的结构特征F_s和纹理解码器输出的纹理特征F_t

以确保准确的特征信息被捕获：

其中，BCE表示二分类交叉熵损失，

与

表示投影函数，分别将F_s与F_t映射为边缘图与RGB图像。

联合损失被计算为：

其中，λ_rec、λ_perc、λ_style、λ_adv和λ_inter表示损失权衡参数。

实施例一

本发明的一种具体实施方式如下，一种基于边缘信息重建的受损图像修复方法，其步骤为：

1.数据集准备。完成数据集选取，数据预处理和数据集划分。

1.1图像数据集选取包含真实图像数据集和掩码图像数据集选取。具体地，为验证模型泛化性，本实施例选取真实图像数据集为二维人脸数据集(CelebA)、街景数据集(ParisStreetView)和自然景观数据集(Places2)；选取的掩码数据集来自PConv工作。

1.2图像预处理包括图像增强操作和图像归一化操作。具体地，图像增强操作包括旋转、剪裁、调整大小和反转等，本实施例选取调整图像大小为256×256像素和50％概率随机水平反转两种图像增强方式；图像归一化操作在本实施例中被采用。

1.3数据集划分依据各数据集给定的标准划分。对于CelebA数据集，162,770张图像用于训练，19,876张图像用于验证，19,962张图像用于测试。对于ParisStreetView数据集，14,900张图像用于训练，100张图像用于测试。对于Places2数据集，随机从365中类别中选取10类，使用每个类别中的5,000张训练图像，共计50,000张图像作为训练集；使用每个类别中的100张测试图像，共计1,000张图像作为测试集。

1.4对于图像(受损和非受损)边缘图提取，Canny边缘检测算法被使用，其中σ被设置为2。

2.设计图像修复模型。如图2所示，图像修复模型基于生成式对抗网络架构，包含一个新颖的双流图像修复生成器和对应的双流鉴别器。具体的模型设计已在发明内容中讨论，这里不再赘述。在本实施例中，纹理与结构的编解码器均为U-Net的变形体。

3.设计模型训练约束。采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失。具体的约束设计已在发明内容中讨论，这里不再赘述。联合损失的各个子约束的权衡参数设置为

λ_rec＝10，λ_perc＝0.1，λ_style＝250，λ_adv＝0.1，λ_inter＝1

4.训练图像修复模型。采用反向传播算法更新优化网络参数权重，直至模型损失趋于收敛。本实施例中，图像修复模型训练和评估均在PyTorch平台完成。模型被训练在单个NVIDIA GTX 1080TI GPU(11GB)，batch size设置为6。使用Adam优化器优化生成器和鉴别器，使用作为初始学习率2×10^-4训练生成器模型，之后调整学习率为5×10^-5对模型进行微调，微调阶段禁用生成器的批归一化层(Batch NormalizationLayer)。在所有阶段，使用生成器学习率的十分之一训练鉴别器。

4.1对于CelebA数据集：模型训练至拟合需要30轮(epoch)，其中微调需要10轮(epoch)。

4.2对于ParisStreetView数据集：模型训练至拟合需要150轮(epoch)，其中微调需要50轮(epoch)。

4.3对于Places2数据集：模型训练至拟合需要100轮(epoch)，其中微调需要25轮(epoch)。

5.模型训练完成，进行图像修复推理。将待修复图像输入到训练所得修复模型中，模型输出即为修复结果。如图3所示，利用本发明可以有效地完成图像修复任务，且在人脸，街景和自然景观三类数据集上表现泛化性良好。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于边缘信息重建的图像修复方法，其特征在于，包括以下步骤：

1)准备图像数据集，完成图像数据集选取和图像预处理，并进行数据划分；

2)构建图像修复模型，采用生成式对抗网络架构，包含一个生成器和一个鉴别器；生成器接收一张受损图像和其对应的受损边缘图，生成修复图像；鉴别器对修复结果进行真伪判别；

3)设置模型训练约束，采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失；

4)训练图像修复模型，采用反向传播算法，迭代更新优化网络参数，直至模型损失趋于收敛；

5)进行图像修复，将受损图像输入到训练所得修复模型中，模型输出即为修复结果；

所述的生成器为双流图像修复网络，可同时实现结构信息重建和纹理信息合成，并在深度网络模型的中间阶段，在结构特征和纹理特征之间交换所提取的信息，形成相互约束和指导，进而融合恢复的纹理与结构特征实现受损图像修复。

2.根据权利要求1所述的图像修复方法，其特征在于，所述生成器结构具体如下：

纹理编码器：从受损图像中提取受损图像的纹理特征；

结构编码器：从受损边缘图中提取受损图像的结构特征；

纹理解码器：通过多层次神经网络解码纹理编码器所提取的多尺度纹理特征，并在本解码器的多个网络层次上融合结构编码器提取的结构先验信息，最终解码出重建图像的纹理特征；

结构解码器：通过多层次神经网络解码结构编码器所提取的多尺度结构特征，并在本解码器的多个网络层次上融合纹理编码器提取的纹理特征，最终解码出重建图像的完整结构特征；

特征融合阶段：融合纹理解码器输出的纹理特征与结构解码器输出的结构特征，进一步合成修复图像。

3.根据权利要求2所述的图像修复方法，其特征在于，所述特征融合阶段包括双向门控特征融合模块，用于保证生成的修复结果纹理与结构的一致性；所述双向门控特征融合模块包含两个单向门控特征融合模块，对于输入的纹理特征F_t和结构特征F_s，分别计算纹理特征到结构特征融合的单向门G_t和结构特征到纹理特征融合的单向门G_s，基于G_t和G_s分别执行单向门控操作得到纹理感知的结构特征F_s′和结构感知的纹理特征F_t′，进一步拼接F_s′和F_t′得到融合后的特征F_b；具体计算如下：

G_t＝σ(g(Concat(F_t,F_s)))

G_s＝σ(h(Concat(F_t,F_s)))

F_b＝Concat(F_s′,F_t′),

其中，σ表示Sigmoid激活函数，g和h表示卷积核大小为3的卷积操作，Concat表示特征的通道连接操作，α和β为两个可学习的参数，且初始化为0，⊙和

分别表示逐元素乘法和逐元素加法。

4.根据权利要求2所述的图像修复方法，其特征在于，所述特征融合阶段包括上下文特征聚合模块，用于保证图像内部上下文的一致性；所述上下文特征聚合模块包括区域仿射学习与多尺度特征聚合两个单元，所述区域仿射学习是基于像素块的上下文注意力层，补充模型建模图像长距离依赖的能力；所述多尺度特征聚合提升模型对不同尺度特征的提取融合能力；对于输入特征F，具体操作如下：区域仿射学习：首先从F中提取大小为3×3的像素块，进一步计算它们之间的余弦相似度：

其中，f_i和f_j分别表示从特征图中提取的第i和j块像素块；

之后通过对相似度做softmax操作计算注意力得分：

最后，重新使用提取的像素块重建特征图：

其中，

表示重建的特征图F_rec的第i块像素块；

多尺度特征聚合：利用多尺度空洞卷积和权重自适应分配实现对多尺度特征的提取；对于输入的特征图F_rec，利用多尺度空洞卷积提取多尺度特征集合

同时为特定尺度的特征自适应地分配权重W^*，进而对多尺度特征加权得到聚合后的特征F_c；具体操作如下：

W¹,W²,W⁴,W⁸＝Slice(Softmax(G_w(F_rec))),

其中，Conv_k表示空洞卷积操作，k表示空洞卷积的扩张率，k∈{1,2,4,8}，Softmax表示按通道做softmax操作，G_w包含两层卷积操作，且输出的特征通道数为4，Slice表示按通道做切片操作。

5.根据权利要求1所述的图像修复方法，其特征在于，所述的鉴别器包含纹理分支与结构分支，分别保证生成的修复图像的纹理逼真程度与结构的真实性，纹理分支与结构分支的输出结果被通过通道连接操作后作为鉴别器的输出结果，实现同时对生成的修复图像纹理与结构的真伪鉴别。

6.根据权利要求1所述的图像修复方法，其特征在于，所述的联合损失

包含重建损失

感知损失

风格损失

对抗损失

和中间特征损失

具体计算如下：

1)重建损失计算真实图像I_gt与修复图像I_out之间的l₁距离：

2)感知损失计算真实图像I_gt与修复图像I_out在ImageNet数据集上预训练的VGG-16网络的特征空间上的l₁距离：

其中，φ_i(·)表示VGG-16网络第i个池化层输出的特征图；

3)风格损失同样计算特征图之间的l₁距离：

其中，ψ_i(·)＝φ_i(·)^Tφ_i(·)，表示格拉姆矩阵；

4)对抗损失，纹理分支鉴别真实图像I_gt与修复图像I_out的真伪，结构分支鉴别真实边缘图E_gt和修复边缘图E_out的真伪：

5)中间特征损失被施加在结构编码器输出的结构特征F_s和纹理解码器输出的纹理特征F_t以确保准确的特征信息被捕获：

其中，BCE表示二分类交叉熵损失，p_s(·)与p_t(·)表示投影函数，分别将F_s与F_t映射为边缘图与RGB图像；

联合损失被计算为：

其中，λ_rec、λ_perc、λ_style、λ_adv和λ_inter表示损失权衡参数。

Images