CN105513033B - 一种非局部联合稀疏表示的超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种非局部联合稀疏表示的超分辨率重建方法，包括：通过双三次插值对彩色图像的亮度图像和相应的深度图像进行初始估计。将得到初始估计的亮度图及深度图像分别通过双线性插值放大，并分割成重叠的小块；对所有的联合图像块通过K‑Means算法聚成K类，对每一类用PCA法学习该类的联合子字典；重建高分辨率彩色图像。本发明可以重建高分辨率彩色图像。

Description

一种非局部联合稀疏表示的超分辨率重建方法

技术领域

本发明涉及图像处理的超分辨率重建领域，更具体的是一种能够同时重建高分辨率的彩图和同场景高分辨率深度图的重建方法。

技术背景

单幅图像的超分辨率重建是利用单幅低分辨率图像中的有效信息，恢复出质量较好的高分辨率图像的过程。在实际应用中，我们能够得到的往往是进过模糊、下采样和加了噪声后退化的低分辨率图像。如何从退化的低分辨率图像中最大可能地恢复出原始的高分辨率图像，成为如今图像研究领域的热点。

目前，彩图的超分辨率重建方法分为三类：基于插值的方法，基于重构的方法和基于学习的方法。基于插值的方法有最近邻插值法，双线性插值法，样条插值法，自适应图像插值法等。基于插值的方法实现简单，速度快，适合实时应用。但是插值的方法不能恢复在图像下采样过程中丢失的高频分量和纹理细节，容易在图像的边缘产生环或锯齿效应，出现振铃现象，使重建的图像不真实可信。基于重构的方法是按照特定的图像退化模型和先验知识，对输入的低分辨率图像序列重建出质量较好的高分辨率图像，包括迭代反向投影法，凸集投影法和基于概率论的方法等。此类方法由于多帧序列中亚像素运动的偏移和先验知识的局限性，不能有效恢复图像的纹理和结构等细节信息，重建质量不够好。基于字典学习方法的思想是通过训练数据集寻找高低分辨率图像块之间的映射关系，通过这种关系指导高分辨率图像块的重建。包括外部字典学习法和内部字典学习法。基于学习的方法较其它两类方法能引入更多的高频信息，对噪声的鲁棒性更强，成为近年来的研究热点。

深度图像表示场景中各点相对于相机的距离。在现实生活中，由于硬件等条件的限制，我们采集到的深度图像的分辨率低，无法满足实际应用的需要。快速且准确的获取和分析真实场景的深度图像，提高深度图像的分辨率，对我们有重大的研究意义。

基于深度图的超分辨率重建方法大致有两种，一种是只利用深度图像的方法，该类方法将对自然图像的超分辨率重建方法应用到深度图像的重建问题中，构造目标函数优化求解。但此类方法忽略了深度图像自身的特点及与同场景彩色图像的关系，对深度图像的分辨率提高不多，重建效果不好。第二种是结合同场景彩色图像的方法，寻找同场景彩图和深度图之间的约束关系，利用同场景高分辨率的彩图指导深度图的重建，但在实际应用中，高分辨率的彩图往往难以获取，故此类方法也存在一定的局限性。

既然在彩图超分辨率重建方法没有考虑深度信息，在高分辨率彩图指导深度图超分辨率重建方法中，不容易得到同场景的高分辨率彩图，本发明提出一种低分辨率彩图和低分辨率深度图的联合稀疏表示模型，利用两者的互补关系，同时重建高质量高分辨率的彩图和深度图。

发明内容

本发明的目的是克服现有技术的上述不足，建立一种较低运算复杂度的，能同时重建任意低分辨率的彩色图像和同场景低分辨率深度图像的联合稀疏表示的超分辨率重建方法。本发明的技术方案如下

一种非局部联合稀疏表示的超分辨率重建方法，包括下列步骤：

1)通过双三次插值对彩色图像的亮度图像和相应的深度图像进行初始估计。

2)将得到初始估计的亮度图再通过双线性插值放大1.6,3.2,4.8倍，并把这些插值放大的彩色图像分别分割成重叠的6×6彩色图像小块，这些彩色图像小块构成集合Y；同样地，将初始估计的深度图像也经过双线性插值放大1.6,3.2,4.8倍，将这些插值放大的深度图像分割成重叠的6×6的深度图像小块，这些深度图像小块构成集合Y_gray。

3)用x_ci表示第i个彩色图像块，x_di为其对应的深度图像块,x_i＝[x_ci；x_di]表示第i个联合图像块。

4)将所有的联合图像块x_i通过K-Means算法聚成K类，对每一类用PCA法学习该类的联合子字典D_J，K个联合子字典构成联合过完备字典Φ。每一个待重建的立体图像块都可以用其对应的联合子字典编码表示。

5)对任意彩色图像块x_ci，在8×8的训练窗内，计算x_ci到集合Y内各彩色图像小块的距离dist1；同理，计算x_i相应的深度图像块x_{i_gray}到集合Y_gray内各深度图像块的距离dist2，通过公式寻找到k＝12个距离最小的彩色图像块和它们相应的深度图像块，通过4)构成联合图像块，这些联合图像块构成集合Ω_i。

6)令ω_i,q表示集合Ω_i中第q个联合图像块的权重，α_i,q表示第q个联合图像块的稀疏编码向量，利用集合Ω_i内联合图像块的稀疏编码向量的权重平均求α_i的估计β_i；

7)利用上述建立的JSR模型重建高分辨率彩色图像。

其中，设表示第l次迭代后的低分辨率图像的稀疏编码向量，表示的估计，表示第l次迭代后重建的高分辨率彩色图像，步骤7的过程如下：

1)先令β_i的初始值然后利用标准稀疏编码算法得低分辨率彩色图像稀疏编码向量的初始值α_y ⁽⁰⁾；

2)由联合过完备字典Φ和α_y ⁽⁰⁾得到高分辨率彩色图像的初始估计

3)基于x⁽⁰⁾，寻找x⁽⁰⁾的位置i处的联合图像块的集合Ω_i，利用公式(1)，计算β_i ⁽⁰⁾；

4)以上三步迭代进行，每一次迭代都会重建出分辨率提高了的彩色图像，每一次迭代的和值都提高，彼此影响，到达指定迭代次数后结束，得到期望的高分辨率的彩色图像。

本发明在彩图稀疏表示超分辨率重建方法的基础上，充分利用图像的局部和非局部相似性，引入彩图和同场景深度图的联合稀疏编码噪声作为正则项，提出联合稀疏表示(JSR)的立体图像的超分辨率重建方法，通过构造立体图像特征矩阵进行联合字典学习，同时恢复高质量高分辨率的彩图和深度图。

附图说明

图1各算法彩色图像超分辨率重建结果

(a)原始图像 (b)Bicubic算法 (c)Sparsity算法

(d)ASDS-Reg算法 (e)NCSR算法 (f)本发明

图2各算法深度图像的超分辨率重建结果

(a)原始图像 (b)bicubic算法

(c)Sparsity算法 (d)本发明

具体实施方式

本发明在彩色图像非局部中心稀疏表示(NCSR)超分辨率重建方法的基础上，利用低分辨率彩色图像和同场景低分辨率深度图像之间的互补关系，构造联合彩色图像块和深度图像块的特征矩阵，利用K-Means和PCA法学习联合稀疏子字典，将这些子字典构成一个大的联合过完备字典。利用图像的局部和非局部相似性，在原始图像的不同采样率图像中寻找给定图像块的相似图像块，利用这些相似图像块稀疏表示向量的权重平均估计未知稀疏编码向量。在彩色图像稀疏表示超分辨率重建问题中，正则参数项是一个人为固定的常数，令正则参数项的值随图像块的不同发生改变，可以提高图像的质量。经过上述处理，在彩色图像的稀疏表示的超分辨率重建模型中，加入同场景深度图像的信息，本发明提出了联合稀疏表示(JSR)超分辨率重建方法，同时重建高质量高分辨率的彩图和深度图。

NCSR超分辨率重建模型为：

其中，y是低分辨率彩色图像，H是高斯模糊核，D是下采样操作，Φ是彩色图像的过完备字典，Φοα＝x，表示待重建的原始高分辨率图像，α_y是低分辨率图像的稀疏表示向量，λ_i是第i个图像块的自适应正则参数项，α_i是第i个低分辨率图像块的稀疏表示向量，β_i是α_i的估计。

本发明提出的非局部联合稀疏表示(JSR)的立体图像的超分辨率重建模型为：

模型的参数意义发生了变化。其中，Φ是包含了彩色图像和深度图像信息的过完备字典，即联合稀疏字典；α_i(j)是第i个立体图像块的第j列，β_i(j)是α_i(j)的估计；σ_i,j是α_i(j)-β_i(j)的标准差；是高斯分布的方差。则重建的高分辨率图像为技术方案如下：

首先将待重建的低分辨率(LR)彩色图像的灰度图和同场景低分辨率的深度图分成大小相等的图像块，每一个图像块都对应一个稀疏表示向量。为充分利用图像的局部和非局部相似性，将LR的彩图和深度图以不同采样率生成上采样图像，并把这些图像分为大小相等的图像块，那么灰度图和深度图就划分为了具有相同大小和数目的图像块，构造联合特征矩阵为学习联合稀疏字典提供条件。在重建过程中，为使低分辨率图像的稀疏表示向量尽可能接近重建高分辨率图像的稀疏表示向量，引入联合稀疏编码增量代替NCSR模型中彩图的稀疏编码噪声。因重建高分辨率图像块的稀疏表示向量是未知的，需要对它做出估计。最后利用最小均方解法重建高分辨率的彩图和深度图。具体过程如下：

1.将彩色图像由RGB模型转化为YCbCr模型，Cb，Cr两个通道只进行简单的双三次插值放大，对Y通道进行JSR模型指定倍数的超分辨率重建，重建完成后再将YCbCr模型转化为RGB模型。

2.用x_ci表示第i个彩色图像块，x_di为其对应的深度图像块,x_i＝[x_ci；x_di]表示第i个图像块的联合特征矩阵。

3.将LR的亮度图像和LR的深度图像经过3倍的双三次插值放大得到HR彩图的初始估计hr_im和HR深度图的初始估计hr_im_gray。

4.将得到的HR彩图的初始估计图像hr_im分割成大小6×6，重叠4个像素的图像块。将hr_im经过双线性插值放大1.6,3.2,4.8倍，并把它们分别分割成重叠的6×6小块。这些所有的彩色图像块构成集合Y。同样地，将初始估计的深度图像hr_im_gray先经过双三次插值放大3倍后，再经过双线性插值放大1,1.6,3.2,4.8倍，将这些图像分割成重叠4像素大小为6×6的深度图像块，这些图像块构成的集合为Y_gray。

5.构造立体图像的第i个图像块的联合特征矩阵x_i＝[x_i；x_{i_gray}]，将这些立体图像的所有图像块x_i通过K-Means算法聚成K类{K₁,K₂…K_n},n＝70，每一类的中心记为{C₁,C₂…C_n}。然后对每一类K_m计算它的协方差矩阵Ω_m，通过对Ω_m进行PCA变换得到正交变换矩阵，将其作为每一类的联合子字典D_J＝[D_c；D_d],其中，D_c为彩色图像字典，D_d为相应的深度图像字典。所有类的K个D_J的子字典构成立体图像的过完备字典。每一个待重建的立体图像块都可以用其对应的D_J子字典编码表示。

6.对任意彩色图像块x_ci，分别在放大不同倍数(1,1.6,3.2,4.8)的图像上，在8×8的训练窗内，计算x_ci到各彩色图像块的距离dist1；同理，计算彩色图像块x_i相应的深度图像块x_{i_gray}到各相应深度图像块的距离dist2，通过下式：

寻找到k＝12个距离最小的非局部相似的联合图像块，这些联合图像块(包括图像块自身)构成的集合为Ω_i。

7.令ω_i,q表示集合Ω_i中，第q个联合相似图像块的权重，利用非局部均值的方法，令联合图像块与第q个图像块的距离成反比，即：

其中，是联合图像块x_i和x_i.q的估计；

可以通过设置初始估计，迭代求解。

8.利用集合Ω_i内联合图像块的稀疏编码向量的权重平均求α_i的估计β_i。

9.JSR模型的求解过程：

通过迭代方法求解模型：

5)先令β_i的初始值然后利用一些标准稀疏编码算法求解公式(5)式，得α_y ⁽⁰⁾。

6)利用得到联合高分辨率图像的初始估计x⁽⁰⁾。

7)基于x⁽⁰⁾，寻找x⁽⁰⁾的位置i处的图像块的非局部相似块，利用公式(12)和(13)，计算β_i ⁽⁰⁾。第l次迭代的稀疏向量为：

8)重建图像产生分辨率提高了的彩图和它对应的深度图，再把它们作为下一次迭代的初始对象。

9)以上四步迭代进行，每一次迭代的和值都提高，彼此影响，直至达到一个局部最小值，迭代结束，得到期望的高分辨率的彩图和同场景高分辨率的深度图。

10.根据不同方法重建的高分辨率的彩图和深度图，进行主观及客观的图像重建质量评价。客观指标即峰值信噪比PSNR和结构相似性度量SSIM的值。

峰值信噪比的单位用分贝表示，它的值越高表示两幅图像之间的差别越小，重构图像的质量越好，其公式如下：

其中，L表示在256个灰度级中最大的灰度值，即L＝255，MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，M、N分别为图像的高度和宽度，X是原始清晰图像，表示重建图像。

结构相似性度量表示的是重建图像与原始图像X之间的结构相似程度，值越大，表示重建图像与原始图像越相似，图像的重建质量越高，计算公式如下：

其中，表示亮度对比算子，表示对比度对比算子，表示结构对比算子，参数α＝0.01，β＝0.02，γ＝0.03用来调节三种算子的权重。

主观评价方式是通过人眼的观察对图像质量进行评估。

下面对本发明提出的非局部稀疏表示的彩图和深度图的联合超分辨率重建方法进行测试，同时通过Matlab仿真比较本算法的重建结果与现有算法的重建结果，通过大量的测试图像来证实本算法的优越性。实验结果以主观结果和客观指标峰值信噪比(PSNR)和结构相似性度量(SSIM)的形式表示。

在实验中，利用Middlebury数据集(http://vision.middlebury.edu/stereo/data.)中的图像为测试图像。

1、先对数据集中提供的高分辨率的彩色图像用一个大小为7×7，标准差为1.6的高斯核进行模糊，然后将模糊后的图像在水平和垂直方向进行3倍下采样得到模拟低分辨率的彩色图像；用相同的高斯模糊核和下采样方法对同场景高分辨率的深度图进行上述操作，得到模拟低分辨率的深度图像。本发明中，图像块的大小为7×7，块的重叠数目为5，求权重时的常量为h＝0.3，联合子字典D_J的数目K＝64，正态分布的标准差σ＝0，迭代次数为560。

2、将本发明方法重建的高分辨率的彩图和bicubic方法、Sparsity方法、ASDS-Reg方法、NCSR方法重建的彩色图像进行比较。图像大小为：M＝3.54，N＝4。表一给出了给算法重建图像的PSNR值和SSIM值。

表一 重建高分辨率彩色图像的PSNR和SSIM

3、图1为彩色图像Middlubery-07的主观重建效果。从上而下，从左而右依次为原始图bicubic(PSNR＝32.11,SSIM＝0.9011),Sparsity(PSNR＝32.15,SSIM＝0.9042),ASDSReg(PSNR＝37.09,SSIM＝0.9456),NCSR(PSNR＝37.33,SSIM＝0.9449),本发明方法JSR(PSNR＝37.54，SSIM＝0.9443)。

4、将本发明产生的高分辨率的深度图像与Bicubic方法、Sparsity方法进行比较，表二给出了各算法的PSNR值和SSIM值。

表二 重建高分辨率深度图像的PSNR和SSIM

5、图2给出了深度图像Middlubery-07重建效果的主观比较。从上而下，从左往右依次为原始图像bicub-ic(PSNR＝30.37,SSIM＝0.9522),Sparsity(PSNR＝30.10,SSIM＝0.9520)。

Claims (1)

1.一种非局部联合稀疏表示的超分辨率重建方法，包括下列步骤：

1)通过双三次插值对彩色图像的亮度图像和相应的深度图像进行初始估计；

2)将得到初始估计的彩色图像的亮度图像再通过双线性插值放大1.6,3.2,4.8倍，并把这些插值放大的彩色图像分别分割成重叠的6×6彩色图像小块，这些彩色图像小块构成集合Y；同样地，将初始估计的深度图像也经过双线性插值放大1.6,3.2,4.8倍，将这些插值放大的深度图像分割成重叠的6×6的深度图像小块，这些深度图像小块构成集合Y_gray；

3)用x_ci表示第i个彩色图像块，x_di为其对应的深度图像块,x_i＝[x_ci；x_di]表示第i个联合图像块；

4)将所有的联合图像块x_i通过K-Means算法聚成K类，对每一类用PCA法学习该类的联合子字典D_J，K个联合子字典构成联合过完备字典Φ；每一个待重建的立体图像块都可以用其对应的联合子字典编码表示；

5)对任意彩色图像块x_ci，在8×8的训练窗内，计算x_ci到集合Y内各彩色图像小块的距离dist1；同理，计算x_i相应的深度图像块x_di到集合Y_gray内各深度图像块的距离dist2，通过公式寻找到k＝12个距离最小的非局部相似的彩色图像块和它们相应的深度图像块，通过步骤3)构成联合相似图像块，这些联合相似图像块构成集合Ω_i；

6)令ω_i,q表示集合Ω_i中第q个联合相似图像块的权重，α_i,q表示第q个联合相似图像块的稀疏编码向量，利用集合Ω_i内联合相似图像块的稀疏编码向量的权重平均求α_i的估计β_i；

7)利用建立的JSR模型重建高分辨率彩色图像，具体为：设表示第l次迭代后的低分辨率图像的稀疏编码向量，表示的估计，表示第l次迭代后重建的高分辨率彩色图像，过程如下：

①先令β_i的初始值然后利用标准稀疏编码算法得到低分辨率彩色图像稀疏编码向量的初始值α_y ⁽⁰⁾；

②由联合过完备字典Φ和α_y ⁽⁰⁾得到高分辨率彩色图像的初始估计

③令ω_i,q表示集合Ω_i中第q个联合相似图像块的权重，利用非局部均值的方法，使得：

其中，分别是联合图像块x_i和联合相似图像块x_i.q的估计，

通过设置初始估计，迭代求解；

利用集合Ω_i内联合相似图像块的稀疏编码向量的权重平均求α_i的估计β_i：

基于x⁽⁰⁾，寻找x⁽⁰⁾的位置i处的联合相似图像块的集合Ω_i，利用公式(1)和公式(2)计算

④迭代进行上述步骤①至③，每一次迭代都会重建出分辨率提高了的彩色图像和对应的深度图像，每一次迭代和的值都提高，彼此影响，到达指定迭代次数后结束，得到期望的高分辨率的彩色图像和同场景的深度图像。