CN106780341B - 基于轮廓波的五阶自导向超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于轮廓波的五阶自导向超分辨率重建方法，该方法对轮廓波变换后的图像高频子带进行五阶模板自导向插值，一方面能较为准确的捕捉到图像各个方向的信息与轮廓，精准估计图像各个方向的纹理和边缘；另一方面，由所发明的五阶导向模板对图像进行自适应插值克服了传统插值所产生的“振铃”以及细节信息增强明显不足的负面现象，从而提高了图像超分辨率重建的准确性，提高了重建图像的质量。

Description

基于轮廓波的五阶自导向超分辨率重建方法

技术领域

本发明涉及图像处理领域，尤其是一种可提高图像超分辨率重建准确性的基于轮廓波的五阶自导向超分辨率重建方法。

背景技术

随着人们对图像分辨率精度需求的不断提升，现有的成像设备已无法完全满足人们对遥感、医学、军事、娱乐等方面的图像在精度上的要求，因此超分辨率(SR)重建技术已成为一个研究热点。当前超分辨率重建技术不论是在实际应用还是理论方法方面，都已非常丰富。例如，在应用方面：该技术已被广泛应用于遥感影像、对地观测、生物医学、目标识别等领域；在理论方面: 该技术可以分为基于空间域的超分辨率重建方法与基于频率域的超分辨率重建方法。常见的基于空间域的超分辨率重建方法有：最近邻插值法、双线性插值法与三次插值法。这些方法尽管取得了一定的插值效果，但在图像连续性，保护边缘和计算量方面各自存在缺陷。基于频率域的超分辨率重建方法能够更好的利用频率域系数的稀疏特性，从而取得更好的效果。尽管超分辨率重建技术已被广泛研究，但在消除“振铃”以及增强细节信息方面还有明显不足。

轮廓波(contourlet)变换的基函数分布于多尺度、多方向上，少量系数即可有效地捕捉图像中的边缘轮廓，在任意尺度上实现任意方向的分解，图像大部分的轮廓和方向性纹理信息可被分离出来。但是，轮廓波的这一特性尚没有充分地应用到图像的超分辨率重建中。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种可提高图像超分辨率重建准确性的基于轮廓波的五阶自导向超分辨率重建方法。

本发明的技术解决方案是：一种基于轮廓波的五阶自导向超分辨率重建方法，按照如下步骤进行：

步骤 1. 对输入待重建的分辨率为M×N的低分辨率图像I₁进行双三次插值，得到初始高分辨率图像im，im的分辨率为2M×2N；

步骤 2. 对初始高分辨率图像im进行轮廓波分解，设分解后的系数为coeffs，保留其低频系数矩阵为new_coeffs{1}和四个高频子带的系数矩阵，分别为x1、x2、x3、x4，所述x1是0°至45°与180°至225°方向，所述x2是135°至180°与315°至360°方向，所述x3是90°至135°与270°至315°方向，所述x4是45°至90°与225°至270°方向；

步骤 3. 对四个高频子带系数矩阵x1、x2、x3、x4结合各子带所对应的角度进行五阶导向模板组的自适应插值，得到插值后的四个高频子带系数矩阵分别为new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}，所述的五阶导向模板组进行自适应插值包括如下步骤：

步骤 3.1 划分五阶导向模板组，将所有五阶模板划分为模拟0°至45°与180°至225°方向、模拟135°至180°与315°至360°方向、模拟90°至135°与270°至315°方向、模拟45°至90°与225°至270°方向的四类导向模板组，每类五阶导向模板组中包含了不同角度的五阶导向模板；

步骤 3.2 依次在各个角度的高频子带系数矩阵x1、x2、x3、x4中选取最优的五阶导向模板，再在四个高频子带的系数矩阵x1、x2、x3、x4选取一个待处理的像素，设当前像素P的坐标为(i,j)，设P的像素值为P(i,j)，对当前像素P选取最优五阶导向模板，包含以下步骤：

步骤3.2.1 根据五阶导向模板中指引的两个方向，可在像素P相邻的8个邻域像素中定位到两个与之相关联的像素坐标(m1,n1)和(m2,n2)，设两个关联像素为R1，R2，它们所对应的像素值分别为R1(m1,n1)和R2(m2,n2)，分别计算P(i,j)与其所对应的两个关联像素R1(m1,n1)和R2(m2,n2)的均值，设为s(n)，其中n代表该组五阶导向模板的序号；

步骤3.2.2 根据导向模板计算当前像素P与各个关联像素R1、R2的s(n)，计算所有s(n)与当前像素值P(i,j)的差，取差的绝对值并标记为t(n)，选取t(n)中的最小值，所对应的n即为针对当前像素所对应的最优五阶导向模板的序号；

步骤3.2.3 将最优五阶导向模板所对应的s(n)赋值给当前像素P所对应的关联像素R1和R2的系数，得到新的系数R1~，R2~；

步骤 3.3 判断是否对x1、x2、x3、x4矩阵中所有的系数进行处理，如果处理完毕，则进入步骤4，否则回到步骤3.2继续进行处理；

步骤 4. 将低频子带系数new_coeffs{1}和插值后所得到的四个高频子带系数new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}进行重构，设进行轮廓波重构后的图像为I₂，即完成对低分辨率im图像的超分辨率重建。

本发明对轮廓波变换后的图像高频子带进行五阶模板自导向插值，一方面能较为准确的捕捉到图像各个方向的信息与轮廓，精准估计图像各个方向的纹理和边缘；另一方面，由所发明的五阶导向模板对图像进行自适应插值克服了传统插值所产生的“振铃”以及细节信息增强明显不足的负面现象，从而提高了图像超分辨率重建的准确性，提高了重建图像的质量。

附图说明

图1（a）、（b）、（c）、（d）是本发明实施例多角度导向模板示意图。

图2是本发明实施例与现有技术重建的图像效果对比图。

具体实施方式

本发明的基于轮廓波的五阶自导向超分辨率重建方法，按照如下步骤进行：

步骤 1. 对输入待重建的分辨率为M×N的低分辨率图像I₁进行双三次插值，得到初始高分辨率图像im，im的分辨率为2M×2N；

步骤 2. 对初始高分辨率图像im进行轮廓波分解，设分解后的系数为coeffs，保留其低频系数矩阵为new_coeffs{1}和四个高频子带的系数矩阵，分别为x1、x2、x3、x4，所述x1是0°至45°与180°至225°方向，所述x2是135°至180°与315°至360°方向，所述x3是90°至135°与270°至315°方向，所述x4是45°至90°与225°至270°方向；

步骤 3. 对四个高频子带系数矩阵x1、x2、x3、x4结合各子带所对应的角度进行五阶导向模板组的自适应插值，得到插值后的四个高频子带系数矩阵分别为new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}，所述的五阶导向模板组进行自适应插值包括如下步骤：

步骤 3.1 划分五阶导向模板组，如图1所示：将所有五阶模板划分为模拟0°至45°与180°至225°方向、模拟135°至180°与315°至360°方向、模拟90°至135°与270°至315°方向、模拟45°至90°与225°至270°方向的四类导向模板组，每类五阶导向模板组中包含了不同角度的五阶导向模板；

步骤 3.2 依次在各个角度的高频子带系数矩阵x1、x2、x3、x4中选取最优的五阶导向模板，再在四个高频子带的系数矩阵x1、x2、x3、x4选取一个待处理的像素，设当前像素P的坐标为(i,j)，设P的像素值为P(i,j)，对当前像素P选取最优五阶导向模板，包含以下步骤：

步骤3.2.1 根据五阶导向模板中指引的两个方向，可在像素P相邻的8个邻域像素中定位到两个与之相关联的像素坐标(m1,n1)和(m2,n2)，设两个关联像素为R1，R2，它们所对应的像素值分别为R1(m1,n1)和R2(m2,n2)，分别计算P(i,j)与其所对应的两个关联像素R1(m1,n1)和R2(m2,n2)的均值，设为s(n)，其中n代表该组五阶导向模板的序号；

步骤3.2.2 根据导向模板计算当前像素P与各个关联像素R1、R2的s(n)，计算所有s(n)与当前像素值P(i,j)的差，取差的绝对值并标记为t(n)，选取t(n)中的最小值，所对应的n即为针对当前像素所对应的最优五阶导向模板的序号；

步骤3.2.3 将最优五阶导向模板所对应的s(n)赋值给当前像素P所对应的关联像素R1和R2的系数，得到新的系数R1~，R2~；

步骤 3.3 判断是否对x1、x2、x3、x4矩阵中所有的系数进行处理，如果处理完毕，则进入步骤4，否则回到步骤3.2继续进行处理；

步骤 4. 将低频子带系数new_coeffs{1}和插值后所得到的四个高频子带系数new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}进行重构，设进行轮廓波重构后的图像为I₂，即完成对低分辨率im图像的超分辨率重建。

本发明实施例与geometric contour stencils方法对比如下表及图2所示，表明本发明实施例提高了图像超分辨率重建的准确性，提高了重建图像的质量。

图2中（a）geometric contour stencils重建的图像；（b）本发明实施例重建的图像。

Claims (1)

1.一种基于轮廓波的五阶自导向超分辨率重建方法，其特征在于按照如下步骤进行：

步骤 1. 对输入待重建的分辨率为M×N的低分辨率图像I₁进行双三次插值，得到初始高分辨率图像im，im的分辨率为2M×2N；

步骤 2. 对初始高分辨率图像im进行轮廓波分解，设分解后的系数为coeffs，保留其低频系数矩阵为new_coeffs{1}和四个高频子带的系数矩阵，分别为x1、x2、x3、x4，所述x1为图像im0°至45°与180°至225°方向高频子带的系数矩阵，所述x2为图像im135°至180°与315°至360°方向高频子带的系数矩阵，所述x3为图像im90°至135°与270°至315°方向高频子带的系数矩阵，所述x4为图像im45°至90°与225°至270°方向高频子带的系数矩阵；

步骤 3. 对四个高频子带系数矩阵x1、x2、x3、x4结合各子带所对应的角度进行五阶自导向模板的自适应插值，得到插值后的四个高频子带系数矩阵分别为new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}，所述的五阶自导向模组进行自适应插值包括如下步骤：

步骤 3.1 划分五阶自导向模板，将所有五阶自导向模板划分为模拟0°至45°与180°至225°方向内容的轮廓波变换系数、模拟135°至180°与315°至360°方向内容的轮廓波变换系数、模拟90°至135°与270°至315°方向内容的轮廓波变换系数、模拟45°至90°与225°至270°方向内容的轮廓波变换系数的四类五阶自导向模板，每类五阶自导向模板中包含了不同角度的五阶自导向模板；

步骤 3.2 依次在各个角度的高频子带系数矩阵x1、x2、x3、x4中选取最优的五阶自导向模板，再在四个高频子带的系数矩阵x1、x2、x3、x4选取一个待处理的像素，设当前像素P的坐标为(i,j)，设P的像素值为P(i,j)，对当前像素P选取最优五阶自导向模板，包含以下步骤：

步骤3.2.1 根据五阶自导向模板中指引的两个方向，可在像素P相邻的8个邻域像素中定位到两个与之相关联的像素坐标(m1,n1)和(m2,n2)，设两个关联像素为R1，R2，它们所对应的像素值分别为R1(m1,n1)和R2(m2,n2)，计算P(i,j)与其所对应的两个关联像素R1(m1,n1)和R2(m2,n2)的均值，设为s(n)，其中n代表该组五阶自导向模板的序号；

步骤3.2.2 根据五阶自导向模板计算当前像素P与各个关联像素R1、R2的s(n)，计算所有s(n)与当前像素值P(i,j)的差，取差的绝对值并标记为t(n)，选取t(n)中的最小值，所对应的n即为针对当前像素所对应的最优五阶自导向模板的序号；

步骤3.2.3 将最优五阶自导向模板所对应的s(n)赋值给当前像素P所对应的关联像素R1和R2的系数，得到新的系数R1~，R2~；

步骤 3.3 判断是否对x1、x2、x3、x4矩阵中所有的系数进行处理，如果处理完毕，则进入步骤4，否则回到步骤3.2继续进行处理；

步骤 4. 将低频子带系数new_coeffs{1}和插值后所得到的四个高频子带系数矩阵new_coeffs{2}{1}、new_coeffs{2}{2}、new_coeffs{2}{3}、new_coeffs{2}{4}进行重构，设进行轮廓波重构后的图像为I₂，即完成对初始高分辨率图像im的超分辨率重建。

Images