CN113628114A - 一种双通道稀疏编码的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种双通道稀疏编码的图像超分辨率重建方法，该方法首先使用双三次插值和双线性插值算法对LR图像进行预处理，对于预处理后的图像块利用基于非局部自相似度的字典训练方法训练字典；然后提出一种改进的基于稀疏表示的重建模型，建立了自适应双通道，设计了两个自适应系数来控制这两个通道各自的比例，根据模型计算稀疏表示系数；最后根据稀疏表示系数重构HR图像块，将所有HR图像块融合得到最终的HR图像。本发明通过的模型的改进与优化，较大程度上提高了重构过程的鲁棒性，而且提高了HR图像的质量，在定性和定量上都有较好的重建效果。

Description

一种双通道稀疏编码的图像超分辨率重建方法

技术领域

本发明涉及一种双通道稀疏编码的图像超分辨率重建方法，属于图像重建技术领域。

背景技术

图像超分辨率重建是机器视觉领域中一项非常经典的应用，是指将一幅低分辨率的目标图像通过相应的软件或硬件方法重建成高分辨率的图像，即通过这种技术提高原目标图像的分辨率。图像超分辨率重建可分为两类：第一类称为单幅图像的超分辨率重建。只需要参考当前低分辨率的目标图像，而不考虑其他相关图像的超分辨率。第二类是多帧视频(多图像)的超分辨率重建技术，需要涉及多个相关目标图像或多个视频帧的超分辨率重建技术。这里着重探讨单张图片的超分辨率重建。

在现实生活中，图像超分辨率重建的应用领域非常广泛，如安防监控设备、医学图像分析、生物信息识别、显微成像、视频复原等领域都具有极其重要的应用价值。

目前，图像超分辨率重建算法较为常见的有以下两种：传统的重建方法和基于学习的重建方法。基于插值的图像超分辨率重建方法和基于重建的图像超分辨率重建方法属于传统的重建方法。使用最为广泛的插值方法包括最近邻插值、双线性插值和双三次插值。通过插值可以将低分辨率图像的分辨率有较大程度的提高，但由于插值的缺陷，重建后的图像的边缘被模糊。传统的图像重建技术还包括基于频域的方法和基于空间域的方法。基于空间域的SR算法，包括MAP、POCS、IBP等，可以克服频域方法的缺点。因此，它被广泛使用。

基于插值的图像超分辨率重建方法是通过对某一点周围的几个已知点的值，以及周围点与该点的位置关系，根据一定的公式，可以计算出该点的值，这就是插值方法。关于如何在新图像中放置原图像的点并确定具体坐标；在计算未知点时，需要涉及多少周围点，公式如何计算，以及不同的选项，所涉及的插值算法有一定的差别。使用这些插值算法进行超分辨率重建，在图像细节上的提升程度往往是有限的，所以使用较少。一般来讲，通过多幅图像之间的插值算法进行重建也是一种手段。

为了解决传统的重建方法的缺点，导致生成图像的边缘模糊，损失的高频细节信息，无法处理图像和复杂的结构，研究人员应用深度学习的图像超分辨率重建。由于实验结果令人满意，目前基于深度学习的图像超分辨率重建已逐渐成为主流方法。从最早提出的超分辨率SRCNN方法开始，研究人员开始发现算法的不足，并逐步改进，FSRCNN、ESPCN、VDSR、RCAN等方法结构被设计和使用。通过查阅更多的文献后研究得到，目前所使用的深度卷积网络的图像超分辨率重建、多级融合网络的图像超分辨率重建等层出不穷。由于深度学习的思维非常灵活，研究者可以通过不断的深入研究设计出各种更令人满意的结构算法，基于深度学习的图像超分辨率重建方法目前是使用较为广泛的一种方法，在未来也有较好的发展潜力。

与此同时，压缩感知(CS)理论的发展为SR技术提供了新的思路。根据CS理论，在适当的条件下，采用高概率的降采样操作，将HR图像生成的LR图像重建为HR图像。2009年，Sen等将CS理论应用于SR图像恢复。该方法利用了在小波基下对人脸图像进行稀疏编码的先验知识。之后送过通过加入模糊滤波器，降低下采样矩阵与小波基之间的相关性。然而，由于自然图像的细节较为丰富，同时具有复杂的结构，因此小波基并不能为其提供最优的稀疏编码。

在特定的字典对下，LR图像补丁与重建的HR图像补丁具有相同的稀疏系数。因此，有研究人员利用该先验约束对HR图像进行重构，取得了较好的效果。传统的基于稀疏表示的信息检索方法采用统一的人力资源字典和人力资源字典，限制了信息检索结果的性能。因此，Liu等人在每个LRpatch中引入了一个基于K-最近邻(KNN)的字典来重建HR图像。

Fang等提出了一种形状自适应SR重建方法，该方法能更好地反映多光谱图像的复杂结构。Li等人同步考虑了图像的边缘和纹理特征，采用基于特征分类的快速稀疏编码(FSC)算法学习了HR和LR图像块的过完备稀疏字典。

发明内容

本发明所要解决的技术问题是：提供一种双通道稀疏编码的图像超分辨率重建方法，通过的模型的改进与优化，较大程度上提高了重构过程的鲁棒性，而且提高了HR图像的质量。

本发明为解决上述技术问题采用以下技术方案：

一种双通道稀疏编码的图像超分辨率重建方法，包括如下步骤：

步骤1，对原始LR图像进行预处理，得到由若干图像块构成的训练集；

步骤2，利用基于非局部自相似度的字典训练方法对训练集进行训练，并使用K-SVD算法构建得到字典；

步骤3，基于步骤2得到的字典，构建基于双通道稀疏表示的图像SR重建模型，采用最速下降法求解模型，得到稀疏表示系数；

步骤4，利用字典和稀疏表示系数对各图像块进行重构，得到HR图像块，将所有的HR图像块进行融合，得到最终的HR图像。

作为本发明的一种优选方案，所述步骤1的具体过程如下：

使用双三次插值和双线性插值算法分别对原始LR图像进行插值，得到各算法对应的训练图像X₁和X₂，从训练图像X₁和X₂中提取图像块，构成训练集Q_h。

作为本发明的一种优选方案，所述步骤3的具体过程如下：

基于步骤2得到的字典，构建基于双通道稀疏表示的图像SR重建模型如下：

其中，α表示稀疏表示系数，c₁、c₂表示自适应信道系数，Y表示经过稀疏处理后的HR图像块，H表示退化矩阵，D_h为字典，λ为正常数，β为常数，w为常数，τ_i为局部自适应系数，x_i(u,v)表示在D_hα和

之间的不同矩阵的第i个元素，

表示L1范数，

表示L2范数，M×N表示HR图像块的大小；

采用最速下降法求解模型，并通过迭代计算得到稀疏表示系数，根据如下公式计算第n次迭代的自适应信道系数

和

其中，T⁽ⁿ⁾为第n次迭代的中间变量，

为第n-1次迭代的自适应信道系数，h为放大系数，U为自适应通道阈值，R⁽ⁿ⁾为第n次迭代的残差指数，

表示第n-1次迭代前的前K次迭代结果的平均值，K为常数；

当满足迭代终止条件，输出第n次迭代的稀疏表示系数为：

α⁽ⁿ⁺¹⁾＝α⁽ⁿ⁾-r⁽ⁿ⁾R⁽ⁿ⁾

其中，α⁽ⁿ⁾为第n次迭代的稀疏表示系数，r⁽ⁿ⁾为第n次迭代的学习率，

其中，

表示使图像水平移动u像素的移位矩阵，

表示使图像垂直移动v像素的移位矩阵。

作为本发明的一种优选方案，所述残差指数的定义如下：

的定义如下：

其中，R表示残差指数，

表示第n次迭代前的前K次迭代结果的平均值，R^(n+1-i)表示第n+1-i次迭代的残差指数，α^(n+1-i)表示第n+1-i次迭代的稀疏表示系数。

作为本发明的一种优选方案，步骤4所述HR图像块表示如下：

Y＝HD_hα+N

其中，D_h为字典，α表示稀疏表示系数，H表示退化矩阵，N表示高斯白噪声，Y表示经过稀疏处理后的HR图像块。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明设计一种基于非局部自相似性的训练方法来训练字典，该方法充分利用了图像的冗余特性。改进了一种基于稀疏表示的重建模型，包括保真项和正则项。在保真度方面，建立了自适应双通道优化模型，既保证了良好的鲁棒性，又获得了高质量的重建。设计了两个自适应系数来控制这两个通道各自的比例。此外，基于图像空间特征构造自适应正则化项来锐化边缘和抑制噪声。仿真结果表明，本发明方法在定性和定量上都有较好的重建效果。

附图说明

图1是本发明一种双通道稀疏编码的图像超分辨率重建方法的整体架构图。

图2是基于稀疏表示的模型示意。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了保证网络模型有良好的鲁棒性，同时使重建后的图像能很好地解决边缘锐化以及噪声抑制等问题。本发明提出一种双通道稀疏编码的图像超分辨率重建方法，如图1所示，具体步骤如下：

步骤1、采用双三次插值算法和双线性插值算法对原始LR图像进行插值，获取训练集。

使用双三次插值和双线性插值算法分别对原始LR图像进行插值，得到训练集图像X₁和训练集图像X₂。用X₁和X₂形成训练集Q_h＝[x₁,x₂,…,x_q]，x_i表示第i个图像块的矢量形式。

步骤2、采用基于非局部自相似度的字典训练方法对训练集进行训练，并使用K-SVD算法构建得到字典D_h，充分利用了图像的冗余特性。

步骤3、建立基于双通道稀疏表示的图像SR重建模型，模型中同时使用L1范数和L2范数，并引入自适应参数，对模型进行求解，得到稀疏表示系数。

双通道模型为：

其中，c₁和c₂为自适应信道系数(ACCs)。ACCs用于控制L1范数通道和L2范数通道的比例。

为确定ACCs，使SR重建具有更强的适应性。根据上一表达式，引入残差指标为：

R为残差指数，当R相对较大时，需要增强算法的鲁棒性。

引入

表示本次迭代前的K次迭代结果的平均值，给出

的定义如下：

其中，K为常数。

最后便可以计算出第n次迭代的ACCs。

下面对稀疏表示进行简单的介绍，图2是基于稀疏表示的模型示意。

在一般的图像退化模型中，将HR图像Z通过退化矩阵H和噪声N表示为：

Y＝HZ+N

Z表示原始HR图像，Y表示LR图像，H表示退化矩阵，N表示高斯白噪声。

图像退化方程的解是一个高度不确定的问题，其解不是唯一的。CS理论指出Z可以在一个过完备的字典D_h中进行稀疏编码，表示为：

Z＝D_hα

然后可以得到：

Y＝HD_hα+N

在最大后验概率理论的框架下，将图像SR重建问题建模为稀疏正则化优化问题：

α是图像块x的稀疏表示系数。||α||₁是α的L1范数，表示所有在α中的元素的绝对值之和，λ是一个正的常数。

为了进一步提高重构的效果，增加一个新的空间域约束项，表示如下：

ν(X)表示空间约束项的重构，β是一个常量，用来平衡各项的比例。ν(X)是一个十分重要的参数，决定了该网络模型的性能能否进行进一步的提升。

双边TV(BTV)正则化项被提出为T1上的特征变换，表示为：

是移动矩阵，可以使图像X移动u和v像素水平和垂直，w是常数，其值设为3，τ是一个常数，由实验决定。

通过将上式进行结合和改进，可以得到：

接下来需要采取一些措施来锐化边缘。可以看出，τ越大，重建的HR图像的边缘越锐化，但噪声越大。相反，较小的τ可以使图像平滑，减少噪声，但模糊了边缘。

下面给出一个自适应正则化项为：

τ_i为局部自适应系数，

基于以上分析，将图像重建问题转化为以下模型优化问题：

对于上式的最小化问题没有封闭形式的解。迭代求解框架为：

α⁽ⁿ⁺¹⁾＝α⁽ⁿ⁾-r⁽ⁿ⁾R⁽ⁿ⁾

α⁽ⁿ⁾是在n次的迭代计算中的稀疏度系数，r⁽ⁿ⁾是第n次迭代计算的学习率。

根据公式计算自适应信道系数

和

通过设置

来确定学习率：

步骤4、利用稀疏表示系数对训练集中的图像块进行重构，得到HR图像块，将所有的HR图像块融合起来得到最终的HR图像。

实施例：

步骤一：选择Yang91作为训练集，Set5、Set14作为测试集。

步骤二：为了更方便直观的比较实验，所有的图像都被均匀的切割成相同的大小，即256×256。为了对原始图像进行模糊处理，得到其LR图像。图像块的大小设置为10×10，重叠为2像素。

步骤三：添加高斯噪声，并进行了降采样操作。高斯核大小为7×7，根据不同的重建实验将降采样因子设置为×2、×3、×4。

步骤四：加载训练集，开始对网络模型进行训练。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种双通道稀疏编码的图像超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，对原始LR图像进行预处理，得到由若干图像块构成的训练集；

步骤2，利用基于非局部自相似度的字典训练方法对训练集进行训练，并使用K-SVD算法构建得到字典；

步骤3，基于步骤2得到的字典，构建基于双通道稀疏表示的图像SR重建模型，采用最速下降法求解模型，得到稀疏表示系数；

步骤4，利用字典和稀疏表示系数对各图像块进行重构，得到HR图像块，将所有的HR图像块进行融合，得到最终的HR图像。

2.根据权利要求1所述双通道稀疏编码的图像超分辨率重建方法，其特征在于，所述步骤1的具体过程如下：

使用双三次插值和双线性插值算法分别对原始LR图像进行插值，得到各算法对应的训练图像X₁和X₂，从训练图像X₁和X₂中提取图像块，构成训练集Q_h。

3.根据权利要求1所述双通道稀疏编码的图像超分辨率重建方法，其特征在于，所述步骤3的具体过程如下：

基于步骤2得到的字典，构建基于双通道稀疏表示的图像SR重建模型如下：

其中，α表示稀疏表示系数，c₁、c₂表示自适应信道系数，Y表示经过稀疏处理后的HR图像块，H表示退化矩阵，D_h为字典，λ为正常数，β为常数，w为常数，τ_i为局部自适应系数，x_i(u,v)表示在D_hα和

之间的不同矩阵的第i个元素，

表示L1范数，

表示L2范数，M×N表示HR图像块的大小；

采用最速下降法求解模型，并通过迭代计算得到稀疏表示系数，根据如下公式计算第n次迭代的自适应信道系数

和

其中，T⁽ⁿ⁾为第n次迭代的中间变量，

为第n-1次迭代的自适应信道系数，h为放大系数，U为自适应通道阈值，R⁽ⁿ⁾为第n次迭代的残差指数，

表示第n-1次迭代前的前K次迭代结果的平均值，K为常数；

当满足迭代终止条件，输出第n次迭代的稀疏表示系数为：

α⁽ⁿ⁺¹⁾＝α⁽ⁿ⁾-r⁽ⁿ⁾R⁽ⁿ⁾

其中，α⁽ⁿ⁾为第n次迭代的稀疏表示系数，r⁽ⁿ⁾为第n次迭代的学习率，

其中，

表示使图像水平移动u像素的移位矩阵，

表示使图像垂直移动v像素的移位矩阵。

4.根据权利要求3所述双通道稀疏编码的图像超分辨率重建方法，其特征在于，所述残差指数的定义如下：

的定义如下：

其中，R表示残差指数，

表示第n次迭代前的前K次迭代结果的平均值，R^(n+1-i)表示第n+1-i次迭代的残差指数，α^(n+1-i)表示第n+1-i次迭代的稀疏表示系数。

5.根据权利要求1所述双通道稀疏编码的图像超分辨率重建方法，其特征在于，步骤4所述HR图像块表示如下：

Y＝HD_hα+N

其中，D_h为字典，α表示稀疏表示系数，H表示退化矩阵，N表示高斯白噪声，Y表示经过稀疏处理后的HR图像块。

Images