CN114331831A - 一种轻量化的单张图像超分辨率重建方法 - Google Patents

Abstract

一种轻量化的单张图像超分辨率重建方法，属于图像超分辨率重建领域，为了解决现有的超分辨率方法空间复杂度和时间复杂度高的问题，该方法包括如下步骤：构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；训练网络模型；最小化损失值；微调模型；保存模型：将最后得到的模型参数进行固化，之后需要进行超分辨率重建操作时，直接将图像和网络参数载入网络中即可得到最终的超分辨率图像。在保持较高重建质量的前提下，大大减少了网络的参数量和计算量，更适于在嵌入式设备上实现。

Description

一种轻量化的单张图像超分辨率重建方法

技术领域

本发明涉及一种轻量化的单张图像超分辨率重建方法，属于图像超分辨率重建领域。

背景技术

单张图像超分辨率已广泛应用于红外成像、遥感成像和医疗成像等各种应用。图像超分辨率是通过结合外部先验知识和内部结构信息，以此对图像的细节进行补充并增大图像的分辨率。由于传统的图像超分辨率技术只基于人工设计的约束，不能引入额外的外部信息，也不能适应复杂的图像退化过程，导致重建质量不佳。因此，通过基于深度学习的方式获取足够丰富的外部信息并构建从低分辨率图像到高分辨率图像的映射，最终重建出更接近真实高分辨率的高质量图像是非常必要的。然而，现有的基于深度学习的超分辨率重建方法大多依赖复杂的网络结构，导致网络有着巨大的空间复杂度和计算复杂度，为其在移动设备上的应用造成很大的困难，限制了这些方法的实用性。

中国专利公开号为“CN111353940B”，名称为“一种基于深度学习迭代上下采样的图像超分辨率重建方法”，该方法首先将高分辨率图像下采样到低分辨率图像；接着，通过一系列上下采样残差模块提取输入图像的特征；然后，将所有上采样模块的输出进行拼接；最后，经过一个3*3的重构卷积层输出得到融合图像。该方法进行了上采样操作，引入冗余信息的同时还大大增加了网络的尺寸和计算时间，而且采用了很深的网络结构，导致实现过程复杂和效率底下。

发明内容

本发明为了解决现有的超分辨率方法空间复杂度和时间复杂度高的问题，提供了一种轻量化的单张图像超分辨率重建方法。在保持较高重建质量的前提下，大大减少了网络的参数量和计算量，更适于在嵌入式设备上实现。

本发明解决技术问题的方案是：

一种轻量化的单张图像超分辨率重建方法，其特征是，该方法包括如下步骤：

步骤1，构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由十六个相同的轻量化双信息流残差块堆叠组成，将浅层信息输入深层特征提取模块后由十六个轻量化双信息流残差块依次提取图像特征，以进一步获取图像深层信息；信息融合模块对各级轻量化双信息流残差块输出的深层信息进行融合和筛选；上采样模块将浅层信息提取模块输出的浅层特征和信息融合模块输出的深层特征融合后，再进行像素重组，最后获得超分辨率图像；

步骤2，准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；

步骤3，训练网络模型：选择优化器并设置相应的参数，将步骤2中准备好的数据集的高低分辨率图像对输入到步骤1中构建的神经网络模型进行训练；

步骤4，最小化损失值：通过最小化网络输出的超分辨率图像和真实高分辨率图像之间的损失值，使该损失值达到设定的阈值或训练次数达到设定的上限值即可认为模型参数已经训练完成，保存模型参数；

步骤5，微调模型：采用特殊训练方法对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力；

步骤6，保存模型：将最后得到的模型参数进行固化，之后需要进行超分辨率重建操作时，直接将图像和网络参数载入网络中即可得到最终的超分辨率图像。

所述步骤1中轻量化双信息流残差模块由两条分支组成，一条为乘性分支另一条为加性分支，乘性分支由1×1卷积一、深度可分离卷积一、1×1卷积二和深度可分离卷积二组成，依次提取图像退化逆过程的乘性分量；加性分支由1 ×1卷积三、深度可分离卷积三、1×1卷积四和深度可分离卷积四组成，依次提取图像退化逆过程的加性分量；将乘性分量与输入特征的积与输入特征、加性分量求和生成输出特征。

所述步骤1中信息融合模块为一个1×1卷积层，该模块将各级轻量化双信息流残差模块的输出特征图拼接，然后对各级特征进行融合、筛选。

所述步骤1中上采样模块由两个卷积层和像素重组构成，其中卷积层三和卷积层四用于压缩特征图通道，像素重组用于将不同通道的特征图进行组合以直接输出超分辨率图像。

所述步骤1中网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。

所述步骤4中所述损失值由损失函数求取，损失函数选择使用结构相似性和像素损失的组合函数；得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。

所述步骤5中所述在微调模型参数过程中采用余弦退火的训练方法。

本发明的有益效果如下：

1、本申请的方法是基于深度学习的方法，采用了多级特征融合和筛选的机制，充分挖掘不同深度的有用信息，增强了超分辨率重建效果，而且在训练时不容易产生困难。

2、本发明在残差块中加入了双信息流结构，学习加性和乘性信息，提升网络构建从低分辨率图像到高分辨率图像的映射的能力。

3、本发明在残差块中改进了特征提取结构，使用了两组1×1卷积和深度可分离卷积，保证性能的同时极大的减少了网络的参数量和计算量。

4、本发明改进了上采样模块结构，先对得到的图像特征进行维度压缩，然后直接通过像素重组获得超分辨率图像，避免原本用以在像素重组前扩张维度的大量卷积层，有效地简化了图像重建的过程。

附图说明

图1为本发明轻量化的单张图像超分辨率重建方法流程图。

图2为本发明轻量化的单张图像超分辨率重建方法网络结构图。

图3为本发明所述轻量化双信息流残差块的具体组成。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示，一种轻量化的单张图像超分辨率重建方法，该方法具体包括如下步骤：

步骤1，构建网络模型。整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块。浅层特征提取模块由卷积核大小为3×3的卷积层一和卷积层二组成，步长填充均为1，用以提取浅层图像信息。深层特征提取模块对浅层特征提取模块输出的浅层图像信息提取深层图像信息，其由16个轻量化双信息流残差块组成，每一个轻量化双信息流残差块有一条乘性分支和一条加性分支，乘性分支由1×1卷积一、深度可分离卷积一、 1×1卷积二和深度可分离卷积二组成，依次提取图像退化逆过程的乘性分量；加性分支由1×1卷积三、深度可分离卷积三、1×1卷积四和深度可分离卷积四组成，依次提取图像退化逆过程的加性分量；将乘性分量与输入特征的积与输入特征、加性分量求和生成输出特征。信息融合模块由一个1×1卷积层组成，将各级轻量化双信息流残差模块的输出特征图拼接，然后进行融合、筛选。上采样模块由卷积层三、卷积层四和像素重组层组成，卷积核大小为3×3，步长和填充均为1，上采样模块将卷积层二输出的浅层信息和信息融合模块输出的深层信息后，通过卷积层三和卷积层四进行信息解码，然后通过像素重组输出超分辨率图像。

步骤2，准备数据集，训练过程中使用DIV2K和Flickr2K数据集。先使用双三次下采样对图像进行模拟降质，然后将降质后的图像和原高分辨率图像组合为一对高低分辨率图像对，所得高低分辨率图像对用以训练整个卷积神经网络。

步骤3，训练网络模型，选择优化器并设置相应参数，将步骤2准备好的数据集输入构建好的网络模型中进行训练，。

步骤4，最小化损失函数值。通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已训练完成，保存模型参数。在训练过程中损失函数选择使用结构相似性和像素损失的组合。其目的在于使得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。

步骤5，微调模型。用余弦退火训练方法对模型进行训练和微调，进一步提高模型的超分辨率重建能力。

步骤6，保存模型参数。将最后得到的模型参数进行固化，之后需要进行超分辨率重建操作时，直接将图像和网络参数载入网络中即可得到最终的超分辨率图像。

实施例：

所述步骤1中网络模型结构，如图2所示,整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块。浅层特征提取模块由卷积核大小为3×3的卷积层一和卷积层二组成，步长填充均为1，用以提取浅层图像信息。深层特征提取模块对浅层特征提取模块输出的浅层图像信息提取深层图像信息，其由16个轻量化双信息流残差块组成，如图3所示，每一个轻量化双信息流残差块有一条乘性分支和一条加性分支，乘性分支由1 ×1卷积一、深度可分离卷积一、1×1卷积二和深度可分离卷积二组成，依次提取图像退化逆过程的乘性分量；加性分支由1×1卷积三、深度可分离卷积三、 1×1卷积四和深度可分离卷积四组成，依次提取图像退化逆过程的加性分量；将乘性分量与输入特征的积与输入特征、加性分量求和生成输出特征。信息融合模块由一个1×1卷积层组成，将各级轻量化双信息流残差模块的输出特征图拼接，然后对各级特征进行融合、筛选。上采样模块由卷积层三、卷积层四和像素重组层组成，卷积核大小为3×3，步长和填充均为1，其将卷积层二输出的浅层信息和信息融合模块输出的深层信息后，通过卷积层三和卷积层四进行信息解码，然后通过像素重组输出超分辨率图像。为了适应低级视觉任务，保留更多的结构信息，网络中所有卷积层后的激活函数使用了带泄露修正线性单元，删除了所有下采样操作和批归一化操作。带泄露修正线性单元函数定义如下所示：

所述步骤2中数据集使用DIV2K和Flickr2K。DIV2K数据集中包含800张高分辨率图像，Flickr2K图像中包含2650张高分辨率图像，将图像均切割为256 ×256的图像块，然后用双三次下采样获取低分辨率图像，组合成高低分辨率图像对。为了扩充数据量，随即对图像进行翻转变换。

所述步骤4中网络的输出与标签计算损失函数，通过最小化损失函数达到更好的超分辨率重建效果。损失函数选择结构相似性和像素损失。结构相似性计算公式如下所示：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中，l(x,y)表示亮度对比函数，c(x,y)表示对比度对比函数，s(x,y)表示结构对比函数，三个函数的定义如下所示：

在实际应用中，α、β和γ均取值为1，C₃为0.5C₂，因此结构相似性公式可以表示为：

x和y分别表示两张图像中大小为N×N的窗口的像素点，μ_x和μ_y分别表示x 和y的均值，可作为亮度估计；σ_x和σ_y分别表示x和y的方差，可作为对比度估计；σ_xy表示x和y的协方差，可作为结构相似性度量。c₁和c₂为极小值参数，可避免分母为0，通常分别取0.01和0.03。所以根据定义，整个图像的结构相似性计算方式如下所示：

X和Y分别表示待比较的两张图像，MN为窗口总数量，x_ij和y_ij为两张图片中各局部窗口。结构相似性具有对称性，其数值范围在[0,1]之间，数值越接近于1，结构相似性越大，两图像的差异越小。一般情况下，通过网络优化直接缩小其与1之间的差值即可，结构相似性损失如下所示：

SSIM_loss＝1-MSSIM(L,O)

L和O分别表示标签和网络的输出。通过优化结构相似性损失，可逐步缩小输出图像与输入图像结构上的差异，使得图像在亮度、对比度上更相近，直觉感知上也更相近，生成图像质量较高。

像素损失函数定义如下所示：

out和label代表网络的输出和标签。

总的损失函数定义为：

T_loss＝P_loss+SSIM_loss

设定训练次数为100，每次输入到网络图片数量大小为16-32左右，每次输入到网络图片数量大小的上限主要是根据计算机图形处理器性能决定，一般每次输入到网络图片数量在16-32区间内，可以使网络训练更加稳定且训练结果更好。训练过程的学习率设置为0.0001，既能保证训练的速度，又能避免出现梯度爆炸的问题。每训练50次将学习率下降为目前学习率的0.5，能更好地接近参数最优值。网络参数优化器选择自适应矩估计算法，其优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。损失函数函数值阈值设定为0.003左右，小于该阈值就可以认为整个网络的训练已基本完成。

所述步骤5中使用的余弦退火方法周期是10个训练周期，最大值为0.0001，最小值为0.000001。

所述步骤6中将网络训练完成后，需要将网络中所有参数保存，之后输入任意大小的图像均可获得超分辨率重建结果。

其中，卷积、深度可分离卷积、拼接操作、上下采样操作和像素重组的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到。

本发明通过构建一种轻量化的单张图像超分辨率重建方法，可以获得较高质量的超分辨率重建效果，由于其轻量化结构，相比先前的复杂网络具有更少的参数量和计算量，能应用于各种移动设备上。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：

从表中可知，本发明提出的方法不仅拥有更少的参数量和计算量，还有更高的峰值信噪比和结构相似性两个指标，这些指标进一步说明本发明不仅更轻量还有着更好的超分辨率重建质量。

Claims (7)

1.一种轻量化的单张图像超分辨率重建方法，其特征是，该方法包括如下步骤：

步骤1，构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；浅层特征提取模块由两个卷积层组成，用以初步提取图像的结构特征；深层特征提取模块由十六个相同的轻量化双信息流残差块堆叠组成，将浅层信息输入深层特征提取模块后由十六个轻量化双信息流残差块依次提取图像特征，以进一步获取图像深层信息；信息融合模块对各级轻量化双信息流残差块输出的深层信息进行融合和筛选；上采样模块将浅层信息提取模块输出的浅层特征和信息融合模块输出的深层特征融合后，再进行像素重组，最后获得超分辨率图像；

步骤2，准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；

步骤3，训练网络模型：选择优化器并设置相应的参数，将步骤2中准备好的数据集的高低分辨率图像对输入到步骤1中构建的神经网络模型进行训练；

步骤4，最小化损失值：通过最小化网络输出的超分辨率图像和真实高分辨率图像之间的损失值，使该损失值达到设定的阈值或训练次数达到设定的上限值即可认为模型参数已经训练完成，保存模型参数；

步骤5，微调模型：采用特殊训练方法对模型进行训练和微调，得到效果最佳的模型参数，进一步提高模型的超分辨率重建能力；

步骤6，保存模型：将最后得到的模型参数进行固化，之后需要进行超分辨率重建操作时，直接将图像和网络参数载入网络中即可得到最终的超分辨率图像。

2.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤1中轻量化双信息流残差模块由两条分支组成，一条为乘性分支另一条为加性分支，乘性分支由1×1卷积一、深度可分离卷积一、1×1卷积二和深度可分离卷积二组成，依次提取图像退化逆过程的乘性分量；加性分支由1×1卷积三、深度可分离卷积三、1×1卷积四和深度可分离卷积四组成，依次提取图像退化逆过程的加性分量；将乘性分量与输入特征的积与输入特征、加性分量求和生成输出特征。

3.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤1中信息融合模块为一个1×1卷积层，该模块将各级轻量化双信息流残差模块的输出特征图拼接，然后对各级特征进行融合、筛选。

4.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤1中上采样模块由两个卷积层和像素重组构成，其中卷积层三和卷积层四用于压缩特征图通道，像素重组用于将不同通道的特征图进行组合以直接输出超分辨率图像。

5.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤1中网络中所有卷积层后的激活函数使用带泄露修正线性单元，所有下采样操作和批归一化操作均被移除，所有卷积操作的步长和填充均为1。

6.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤4中所述损失值由损失函数求取，损失函数选择使用结构相似性和像素损失的组合函数；得到的超分辨率图像要在图像边缘、颜色、亮度都与高分辨率图像保持一致，更好地接近真实高分辨率图像。

7.根据权利要求1所述的一种轻量化的单张图像超分辨率重建方法，其特征在于，所述步骤5中所述在微调模型参数过程中采用余弦退火的训练方法。

Images