CN115526777A - 一种盲超分网络建立方法、盲超分方法及存储介质 - Google Patents

Abstract

本发明公开了一种盲超分网络建立方法、盲超分方法及存储介质，属于计算机视觉领域，包括：由高分辨率图像及对应的退化图像构建训练样本，并划分训练集、测试集和验证集；构建盲超分网络，包括退化估计网络和生成网络；生成网络包括上采样网络和含有交替连接的多个可变形卷积层和特征提取模块的特征提取网络；退化估计网络估计输入图像中各像素位置的退化信息并分别输入至各可变形卷积层；特征提取网络提取输入图像的特征图后，由上采样模块重建为输入图像尺寸的指定放大倍数，得到超分图像；以训练样本中的退化图像为输入图像，对盲超分网络进行训练、测试和验证，得到用于对图像进行超分辨率重建的盲超分网络。本发明能够提高超分辨率重建效果。

Description

一种盲超分网络建立方法、盲超分方法及存储介质

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种盲超分网络建立方法、盲超分方法及存储介质。

背景技术

当今社会随着智能手机的普及、网络直播的兴起，以及遍布大街小巷的监控设备，图像已成为日常生活不可或缺的一部分。然而受拍摄设备的限制、复杂拍摄环境的影响，以及网络传输的压缩损失，图像总是存在各种各样的问题，如噪声、压缩伪影、分辨率低等，这些缺陷大大降低了视觉感受，并且给目标检测、人脸识别等任务带来不利影响。因此，如何在现有硬件水平的基础上，提高图像分辨率成为亟待解决的问题。

图像超分辨率技术可以在不提升硬件水平基础上，仅通过相应算法就可提升图像分辨率，因此引发了广泛关注。然而现有超分辨率技术主要针对理想图像，其假设低分辨率图像是由高分辨率图像经过Bicubic下采样得来，并以这种方式构造数据集训练超分辨率网络。然而其在面对真实场景图像时，由于真实场景图像往往存在噪声、伪影等缺陷，使得现有的超分辨率技术的性能大大降低。因此，针对真实场景图像的盲超分辨率方法具有极高实际应用价值，也是超分辨率技术的发展趋势。近年来，随着以卷积神经网络为代表的深度学习的发展，研究者开始将其应用到超分辨率技术中，让网络自动从低分辨率图像中提取特征，进而构造高分辨率图像。

但是由于真实场景图像缺陷种类繁多、背景复杂多样，现有的基于深度学习的盲超分方法，不能较好的关注到图像中纹理丰富、退化严重的区域，导致超分辨率重建结果不理想。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种盲超分网络建立方法、盲超分方法及存储介质，其目的在于，提高超分辨率重建效果。

为实现上述目的，按照本发明的一个方面，提供了一种盲超分网络建立方法，包括：

对高分辨率图像数据集中的各高分辨率图像分别进行退化操作，得到对应的退化图像；由高分辨率图像及对应的退化图像构建训练样本，并将所有训练样本划分为训练集、测试集和验证集；

构建待训练的盲超分网络；盲超分网络包括退化估计网络和生成网络；退化估计网络用于估计输入图像中各像素位置的退化信息，生成网络用于利用退化信息对输入图像进行超分辨率重建；生成网络包括特征提取网络和上采样网络；特征提取网络包括交替连接的多个可变形卷积层和多个特征提取模块，退化估计网络输出的退化信息分别输入至各可变形卷积层，特征提取网络用于对输入图像进行特征提取，得到特征图；上采样模块用于将特征图重建为所述输入图像尺寸的指定放大倍数，得到超分图像；

以训练样本中的退化图像为输入图像，利用训练集、测试集和验证集分别对待训练的盲超分网络进行训练、测试和验证，得到用于对图像进行超分辨率重建的盲超分网络。

本发明所建立的盲超分网络，包括用于估计输入图像中各像素位置退化信息的退化估计网络和用于生成超分图像的生成网络，生成网络的特征提取网络采用可变形卷积模块将退化估计网络预测的各像素位置的退化信息引入生成网络，引入后会生成可变形卷积的偏移量，由于不同像素位置的退化信息可能存在差异，相应地，偏移量在不同位置也存在差异，使得可变形卷积对输入的退化图像不同位置针对性地提取到更有用的信息，提高超分辨率重建的效果。

进一步地，退化估计网络为UNet网络，且其中的编码模块中插入了空间注意力模块。

本发明利用UNet网络作为退化估计网络的主干网络，并在其中的编码模块中引入空间注意力模块，使得退化估计网络能够关注到退化图像中纹理丰富的位置，增强各像素位置的退化信息的估计准确度，进而辅助生成网络，生成更好的高分辨率图像。

进一步地，UNet网络的解码模块中插入了通道注意力模块。

不同的退化程度，其模糊核大小不同，在UNet网络中，解码模块的输入来自上一个解码模块以及编码模块，其感受野也不同，因此选择合适的感受野对退化信息的估计准确性至关重要；本发明利用UNet网络作为退化估计网络的主干网络，并在其中的解码模块中引入通道注意力模块，使网络对不同程度的退化图像自适应地选择不同程度的感受野，从而有效提高相应退化信息的估计准确度，进而辅助生成网络，生成更好的高分辨率图像。

进一步地，对待训练的盲超分网络进行训练，包括：

预训练阶段：利用训练集对退化估计网络进行训练，得到训练好的退化估计网络；

联合训练阶段：利用训练集对训练好的退化估计网络和生成网络进行联合训练。

本发明所建立的盲超分网络，同时包括退化估计网络和生成网络，由于网络结构较为复杂，直接采用端到端的训练方式，训练难度较大；本发明采用两阶段的训练方式，在第一阶段，即预训练阶段中，先对退化估计网络进行预训练，使其具有较好的退化估计性能；之后在第二阶段，即联合训练阶段中，利用预训练好的退化估计网络和生成网络进行联合训练，在保证整体网络的超分辨率重建效果的基础上，能够有效降低训练难度，提高训练效率。

进一步地，退化操作包括：利用空间变化模糊核对高分辨率图像进行模糊化操作后进行下采样，并且，训练样本还包括退化图像对应的空间变化模糊核，并且，退化估计网络估计的退化信息为空间变化模糊核；

预训练阶段的损失函数为：

loss_p＝||k_p-k_g||₁+||k_p-k_g||₁*g(I_LR)

联合训练阶段的损失函数为：

loss＝ω₁*loss_p+ω₂*loss_g

其中，loss表示盲超分网络的损失；loss_p和loss_g分别表示退化估计网络和生成网络的损失，ω₁和ω₂分别表示对应的权重；k_p表示退化估计网络估计的空间变化模糊核，k_g表示退化操作中所使用的空间变化模糊核；I_LR表示输入的退化图像，g()表示梯度算子；||||₁表示平均绝对误差。

本发明在对高分辨率图像进行退化操作时，会利用空间变化模糊核对高分辨率图像进行模糊化操作，保证了退化图像中不同像素位置的退化信息不同，有效提高了盲超分网络对于真实场景下的图像进行超分辨率重建的能力；在对网络进行训练时，采用退化梯度损失与退化像素损失相结合，作为退化估计网络的损失函数，退化梯度损失使退化估计网络更加关注退化图像中纹理丰富的位置，增强纹理丰富位置的估计准确度。

进一步地，loss_g＝||I_SR-I_HR||₁+||g(I_SR)-g(I_HR)||₁

其中，I_SR表示生成网络输出的超分图像，I_HR表示高分辨率图像。

本发明采用超分图像的像素损失和梯度损失相结合，作为生成网络的损失函数，超分图像的梯度损失可以使生成网络更加关注退化图像中纹理丰富的位置，增强超分图像的重建效果。

进一步地，梯度算子为Scharr算子。

本发明在针对退化估计网络和生成网络构建损失函数时，具体利用Scharr算子计算梯度，能够获得较优的训练效果。

进一步地，对待训练的盲超分网络进行训练的过程中，使用含有动量项的随机梯度下降作为优化器。

按照本发明的另一个方面，提供了一种面向真实场景图像的盲超分方法，包括：将真实场景图像输入由本发明提供的盲超分网络建立方法所建立的盲超分网络，由盲超分网络对真实场景图像进行超分辨率重建，得到高分辨率图像。

按照本发明的又一个方面，提供了一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的上述盲超分网络建立方法，和/或本发明提供的上述面向真实场景图像的盲超分方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明采用可变形卷积将退化估计网络预测的各像素位置的退化信息引入到生成网络，由于不同位置的退化信息可能存在差异，因此，利用该退化信息生成可变形卷积的偏移量，偏移量在不同位置也存在差异，这样可以使可变形卷积对退化图像不同位置针对性的提取到更有用的信息，提高超分辨率重建的效果。

(2)本发明使用UNet作为退化预测网络的主干网络，并在其中的编码模块中引入空间注意力模块，在解码模块中引入通道注意力模块。其中，在编码模块中引入空间注意力模块，使退化估计网络能关注到退化图像中纹理丰富的位置，增强纹理丰富位置的退化信息的估计准确度，进而增强纹理丰富区域的超分辨率重建效果；在解码模块中添加通道注意力模块，可以使网络对不同程度的退化自适应的选择合适的感受野，进而提高相应退化信息的估计准确度，进而辅助生成网络，生成更好的高分辨率图像。

(3)本发明采用退化梯度损失与退化像素损失相结合，作为退化估计网络的损失函数，退化梯度损失使退化估计网络关注退化图像中纹理丰富位置，增强纹理丰富位置的估计准确度，进而辅助生成网络，生成更好的高分辨率图像。

附图说明

图1为本发明实施例提供的盲超分网络建立方法流程图；

图2为本发明实施例提供的盲超分网络结构示意图；

图3为本发明实施例提供的可变形卷积结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

为了解决现有的超分辨率方法的超分辨率重建效果不理想的技术问题，本发明提供了一种盲超分网络建立方法、盲超分方法及存储介质，其整体思路在于：针对真实场景下的图像缺陷种类繁多、背景复杂多样的问题，在进行盲超分时，使盲超分网络中的退化估计网络针对各像素估计退化信息，并引入到生成网络中，并使生成网络进行超分辨率重建时，针对不同位置针对性的提取更有用的信息，从而提高超分辨率重建的效果；在此基础上，在退化估计网络中引入空间注意力机制和通道注意力机制，使得网络更好地关注到退化图像中纹理丰富的位置，提高退化信息的估计准确度，辅助生成网络，生成更好的高分辨率图像。

以下为实施例。

实施例1：

一种盲超分网络建立方法，如图1所示，包括：

首先，对高分辨率图像数据集中的各高分辨率图像分别进行退化操作，得到对应的退化图像；

可选地，本实施例中，选取的高分辨率图像数据集具体为DIV2K数据集；在本发明其他的一些实施例，也可采用其他由高分辨率图像所构成的数据集。

本实施例中，对于高分辨率图像数据集中的高分辨率图像，对其进行退化操作的具体方式是：利用空间变化模糊核对高分辨率图像进行模糊化操作后进行下采样；以I_HR和I_LR分别表示高分辨率图像和低分辨率图像(退化图像)，则上述退化操作可用如下表达式进行表示：

I_LR＝(k*I_HR)↓

其中，k表示空间变化模糊核，所谓空间变化模糊核即图像中不同像素位置的模糊核不相同；

C、H、W分别代表图像通道数、图像高、图像宽，并且d代表空间变化模糊核在每个位置的模糊核宽度，↓表示下采样操作；

可选地，本实施例所采用的空间变化模糊核为各向异性高斯模糊核组成，随机选取各项异性高斯模糊核；之后采用选取的模糊核在输入图像上做卷积，完成模糊化操作；本发明实施例采用DIV2K数据集作为输入图像，将输入图像随机裁剪为320×320大小，各向异性高斯模糊核的核宽

其中s为放大因子，旋转角为

核的大小d为21；需要说明的是，此处参数描述仅为示例性描述，不应理解为对本发明的唯一限定，在实际应用中，可以根据需要设定为其他大小；

模糊操作后的图像进行1/s下采样，即在s×s的像素位置，选取左上角的像素，完成下采样；

之后，由高分辨率图像、退化图像及对应的空间变化模糊核构成训练样本；作为一种可选的实施方式，本实施例在对高分辨率图像数据集进行退化操作之后，会进一步对所有训练样本构成的组合进行水平和垂直翻转、随机旋转(90°、180°、270°)的数据增强操作，最后按照8：1：1的数量比例划分训练集、验证集和测试集。

如图1所示，本实施例还包括：构建待训练的盲超分网络，盲超分网络包括退化估计网络和生成网络，退化估计网络用于估计输入图像中各像素位置的退化信息，本实施例中，退化信息具体指生成退化图像对应的空间变化模糊核，生成网络用于利用退化信息对输入图像进行超分辨率重建；本实施例中，网络结构具体如图2所示；

本实施例中，退化估计网络以UNet网络作为主干网络，传统的UNet网络包括编码模块(EncBlock)、解码模块(DecBlock)以及编码模块和解码模块之间的中间连接模块，本实施例在传统的UNet网络的基础上，在编码模块中加入了空间注意力模块(SAM)，用于提取退化图像的空间信息，使网络关注到纹理丰富位置，在解码模块中加入了通道注意力模块(CAM)，使网络对不同程度的退化图像自适应地选择不同程度的感受野；参阅图2，本实施例中，编码模块包括卷积层(Conv)、激活函数(Relu)、最大池化层(MaxPool)以及空间注意力模块(SAM)，解码模块包括通道注意力模块(CAM)、卷积层(Conv)和激活函数(Relu)，中间连接模块由两个卷积层和激活函数组成；应当说明的是，空间注意力模块(SAM)的具体结构及其在编码模块中的位置，以及通道注意力模块(CAM)的具体结构及其在解码模块中的位置，可根据实际需要灵活调整；可选地，本实施例中，空间注意力模块以及通道注意力模块均采用CBAM网络中的结构形式，空间注意力模块在最后一个卷积层之后引入，通道注意力模块在级联层之后引入；

本实施例中，生成网络包括特征提取网络和上采样网络；参阅图2，特征提取网络包括交替连接的多个可变形卷积层(DCN)和多个特征提取模块，退化估计网络输出的空间变化模糊核分别输入至各可变形卷积层，特征提取网络用于对输入图像进行特征提取，得到特征图；上采样模块用于将特征图重建为所述输入图像尺寸的指定放大倍数，得到超分图像；应当说明的是，可变形卷积、特征提取网络和上采用模块的具体结构可根据实际需要灵活选择；在输入图像与特征提取网络之间，还包括一个可变形卷积，可选地，本实施例中，第一个可变形卷积(即输入图像与特征提取网络之间的可变形卷积)采用现有的DCNv2结构，随后的特征提取网络中的可变形卷积如图3所示，其偏移量(offsets)在空间变化模糊核上进行卷积操作得到，特征提取网络采用ESRGAN网络中的结构形式，即RRDB模块，上采样模块由Pixelshuffle组成；

退化估计网络预测的空间变化模糊核代表了退化图像中各个像素位置的退化信息，本实施例的生成网络利用可变形卷积层将退化估计网络估计的退化信息引入到生成网络，可以充分利用退化信息中模糊核的空间信息，生成可变形卷积的偏移量，使可变形卷积提取到退化图像中更有用的信息，获得质量更高的超分辨率图像；

参阅图2，本实施例中，在退化估计网络和生成网络之间还包括由卷积层和激活函数组成的连接模块，用于对空间变化模糊核进行调整，使退化估计网络输出的空间变化模糊可适于输入至生成网络中的可变形卷积层。

参阅图1，本实施例在构建好训练集、测试集和验证集，并建立好待训练的盲超分网络后，会执行如下步骤：以训练样本中的退化图像为盲超分网络的输入图像，利用训练集、测试集和验证集分别对盲超分网络进行训练、测试和验证，得到用于对图像进行超分辨率重建的盲超分网络。

考虑到网络结构较为复杂，直接采用端到端的训练方式，训练难度较大，因此，本实施例采用两阶段的训练方式对待训练的盲超分网络进行训练，具体包括：

预训练阶段：利用训练集对退化估计网络进行训练，得到训练好的退化估计网络；

联合训练阶段：利用训练集对训练好的退化估计网络和生成网络进行联合训练；

上述两阶段的训练方式，在第一阶段，即预训练阶段中，先对退化估计网络进行预训练，使其具有较好的退化估计性能；之后在第二阶段，即联合训练阶段中，利用预训练好的退化估计网络和生成网络进行联合训练，在保证整体网络的超分辨率重建效果的基础上，能够有效降低训练难度，提高训练效率。

为了使网络更好地关注图像中纹理丰富位置的信息，作为一种优选地实施方式，本实施例采用退化梯度损失与退化像素损失相结合，作为退化估计网络的损失函数，采用超分图像的像素损失和梯度损失相结合，作为生成网络的损失函数；退化梯度损失使退化估计网络更加关注退化图像中纹理丰富的位置，增强纹理丰富位置的估计准确度，超分图像的梯度损失可以使生成网络更加关注退化图像中纹理丰富的位置，增强超分图像的重建效果。具体地，退化估计网络的损失函数为：

loss_p＝||k_p-k_g||₁+||k_p-k_g||₁*g(I_LR)

生成网络的损失函数为：

loss_g＝||I_SR-I_HR||₁+||g(I_SR)-g(I_HR)||₁

相应地，预训练阶段的损失函数为：loss_p；

联合训练阶段的损失函数为：

loss＝ω₁*loss_p+ω₂*loss_g

其中，loss表示盲超分网络的损失；loss_p和loss_g分别表示退化估计网络和生成网络的损失，ω₁和ω₂分别表示对应的权重；k_p表示退化估计网络估计的空间变化模糊核，k_g表示退化操作中所使用的空间变化模糊核；I_LR表示输入的退化图像；g()表示梯度算子，本实施例中，该梯度算子具体为Scharr算子，实验表明，在上述损失函数中利用Scharr算子计算梯度，可有效提高网络的训练效果；‖ ‖₁表示平均绝对误差。

为了进一步提高网络的训练效果，本实施例中，对待训练的盲超分网络进行训练的过程中，使用含有动量项的随机梯度下降(SGD)作为优化器，动量(Momentum)为0.9，权重惩罚系数(Weight Decay)为5×10^-4，批尺寸(Batch Size)为8，初始化学习率为10^-3，每50轮(Epoch)缩小10倍，训练轮数为200轮。

总的来说，本实施例所建立的盲超分网络，能够准确估计图像的退化信息，使网络更好地关注图像中纹理丰富的区域，有效提高超分辨率重建效果。

实施例2：

一种面向真实场景图像的盲超分方法，包括：将真实场景图像输入由本发明提供的盲超分网络建立方法所建立的盲超分网络，由盲超分网络对真实场景图像进行超分辨率重建，得到高分辨率图像。

实施例3：

一种计算机可读存储介质，包括：存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的盲超分网络建立方法，和/或上述实施例2提供的面向真实场景图像的盲超分方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种盲超分网络建立方法，其特征在于，包括：

对高分辨率图像数据集中的各高分辨率图像分别进行退化操作，得到对应的退化图像；由高分辨率图像及对应的退化图像构建训练样本，并将所有训练样本划分为训练集、测试集和验证集；

构建待训练的盲超分网络；所述盲超分网络包括退化估计网络和生成网络；所述退化估计网络用于估计输入图像中各像素位置的退化信息，所述生成网络用于利用所述退化信息对所述输入图像进行超分辨率重建；所述生成网络包括特征提取网络和上采样网络；所述特征提取网络包括交替连接的多个可变形卷积层和多个特征提取模块，所述退化估计网络输出的退化信息分别输入至各可变形卷积层，所述特征提取网络用于对所述输入图像进行特征提取，得到特征图；所述上采样模块用于将所述特征图重建为所述输入图像尺寸的指定放大倍数，得到超分图像；

以训练样本中的退化图像为输入图像，利用所述训练集、所述测试集和所述验证集分别对所述待训练的盲超分网络进行训练、测试和验证，得到用于对图像进行超分辨率重建的盲超分网络。

2.如权利要求1所述的盲超分网络建立方法，其特征在于，所述退化估计网络为UNet网络，且其中的编码模块中插入了空间注意力模块。

3.如权利要求2所述的盲超分网络建立方法，其特征在于，所述UNet网络的解码模块中插入了通道注意力模块。

4.如权利要求1～3任一项所述的盲超分网络建立方法，其特征在于，对所述待训练的盲超分网络进行训练，包括：

预训练阶段：利用所述训练集对所述退化估计网络进行训练，得到训练好的退化估计网络；

联合训练阶段：利用所述训练集对所述训练好的退化估计网络和所述生成网络进行联合训练。

5.如权利要求4所述的盲超分网络建立方法，其特征在于，所述退化操作包括：利用空间变化模糊核对高分辨率图像进行模糊化操作后进行下采样，并且，所述训练样本还包括退化图像对应的空间变化模糊核，并且，所述退化估计网络估计的退化信息为空间变化模糊核；

所述预训练阶段的损失函数为：

loss_p＝||k_p-k_g||₁+||k_p-k_g||₁*g(I_LR)

所述联合训练阶段的损失函数为：

loss＝ω₁*loss_p+ω₂*loss_g

其中，loss表示所述盲超分网络的损失；loss_p和loss_g分别表示退化估计网络和生成网络的损失，ω₁和ω₂分别表示对应的权重；k_p表示退化估计网络估计的空间变化模糊核，k_g表示退化操作中所使用的空间变化模糊核；I_LR表示输入的退化图像，g()表示梯度算子；‖‖₁表示平均绝对误差。

6.如权利要求5所述的盲超分网络建立方法，其特征在于，

loss_g＝‖I_SR-I_HR‖₁+‖g(I_SR)-g(I_HR)‖₁

其中，I_SR表示所述生成网络输出的超分图像，I_HR表示高分辨率图像。

7.如权利要求5所述的盲超分网络建立方法，其特征在于，所述梯度算子为Scharr算子。

8.如权利要求4所述的盲超分网络建立方法，其特征在于，对所述待训练的盲超分网络进行训练的过程中，使用含有动量项的随机梯度下降作为优化器。

9.一种面向真实场景图像的盲超分方法，其特征在于，包括：将真实场景图像输入由权利要求1～8任一项所述的盲超分网络建立方法所建立的盲超分网络，由所述盲超分网络对所述真实场景图像进行超分辨率重建，得到高分辨率图像。

10.一种计算机可读存储介质，其特征在于，包括：存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1～8任一项所述的盲超分网络建立方法，和/或权利要求9提供的面向真实场景图像的盲超分方法。

Images