CN103854254B - 一种基于自回归模型的任意比例图像插值方法 - Google Patents

Abstract

本发明涉及一种基于自回归模型的任意比例图像插值方法，属于数字图像增强技术领域。本发明首先将低分辨率图像上插到目标尺度，得到上插后的图像M；然后确定图像M中待插值的局部区域W，对局部区域W内部除边缘像素点外的每一个像素点建立水平垂直和45度对角线两种自回归模型，根据所述自回归模型确定初始目标函数F₀；再将局部区域W除去边缘像素点外下采至与低分辨率图像相同的尺寸，得到局部区域W′，将局部区域W′与低分辨图像中相对应的区域逐像素值相减，将结果加入到初始目标函数F₀中，得到目标函数F；最后对目标函数F进行迭代求解，获得局部区域W中心块的像素点值。本发明提高了任意比例图像插值方法的效率。

Description

一种基于自回归模型的任意比例图像插值方法

技术领域

本发明属于数字图像增强技术领域，具体涉及一种基于自回归模型的任意比例图像插值方法。

背景技术

图像插值的目标是利用低分辨率图像提供的信息，生成更高分辨率的图像。图像插值方法一般向原始的低分辨率图像像素之间插入估计的高分辨率像素点。这些未知的高分辨率像素点可以由其周围的低分辨率像素点估计得到，从而得到高分辨率的图像。

在传统的双三次插值算法中，所有的高分辨率像素点由其周围的16个低分辨率像素点加权平均求得。其中，距离高分辨率像素点越远的低分辨率像素点，其权值也就越小。这种双三次插值算法对所有的像素点采取同样的方法和相同的权值进行求解，会使图像的一些重要信息（比如边缘）变得模糊。

为了更好地表示边缘信息，Li等人引入了以低分辨率像素点为中心的自回归模型。根据几何对偶性，他们认为高分辨率像素点与其周围低分辨率像素点之间的权值关系和低分辨率像素点自身之间的权值关系是类似的。基于图像在一小片区域上结构性质不变的假设，他们对图像一小片区域上的低分辨率像素点应用自回归模型，求得在这一小片区域上的权值，从而即可求出这一片区域上的高分辨率像素点。

Zhang等人对Li等人的工作进行了扩展。他们在算法中加入了以高分辨率像素点为中心的自回归模型，因为他们认为在图像的一小片区域当中，不论以高分辨率像素点还是以低分辨率像素点为中心，所有的自回归模型的权值应该都是一样的。进一步提升了算法的性能。

Ren等人发现，图像在一小部分上结构性质不变的假设实际上在某些情况下是不成立的。他们对图像的一小片区域进行了像素点之间的相似性度量，对于与要输出的中心像素点结构相似的像素点，赋予其更高的权值。

但是上述方法都针对于放大系数为2的情况，只有这种情况下，高分辨率像素点周围才有大量且位置固定的低分辨率像素点。

图1是不同尺度放大后高分辨率像素点（白色点）和低分辨率像素点（黑色点）之间的位置关系。图1（a）中，放大系数为2，两个低分辨率像素点之间都只插入了一个高分辨率像素点；图1（b）中，放大系数为1.5，两个低分辨率像素点之间就插入了两个高分辨率像素点；图1（c）表示更一般的情况，如果放大系数是一个一般的有理数s，那么图中N的大小为s的最小整数倍。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种效率高、效果好的基于自回归模型的任意比例图像插值方法。

为解决上述技术问题，本发明采用的技术方案如下：

一种基于自回归模型的任意比例图像插值方法，包括以下步骤：

（1）将低分辨率图像上插到目标尺度，得到上插后的图像M；

（2）确定所述图像M中待插值的局部区域W，对所述局部区域W内部除边缘像素点外每一个像素点建立水平垂直和45度对角线两种自回归模型，根据所述自回归模型确定初始目标函数F₀；

（3）将所述局部区域W除去边缘像素点外下采至与所述低分辨率图像相同的尺寸，得到局部区域W′，将所述局部区域W′与所述低分辨图像中与所述局部区域W′相对应的区域逐像素值相减，将结果加入初始目标函数F₀中，得到目标函数F；

（4）对所述目标函数F进行迭代求解，获得所述局部区域W中心块的像素点值；

（5）对所述图像M中的所有局部区域，重复步骤（2）~步骤（4），得到最终插值后的高分辨率图像。

本发明所述方法，通过对所有像素点都建立自回归模型，并加入改进的权值分析，最终使用迭代来求解，提升了基于自回归模型图像插值方法的性能。在迭代计算时，考虑到了两种自回归模型可能所占比重不一样，加入了权值进行调整，得到的估计结果更加准确。在输出时，输出中心3×3的像素点，而不是仅输出中心点，从而进一步提升了基于自回归模型图像插值方法的性能，降低了插值方法的执行时间。

附图说明

图1是背景技术中不同尺度放大后高分辨率像素点和低分辨率像素点之间的位置关系示意图；

图2是具体实施方式中基于自回归模型任意比例图像插值方法流程图；

图3是具体实施方式中放大系数为2.5时，在局部区域内建立自回归模型的过程示意图；

图4是具体实施方式中插值整个低分辨率图像的窗口移动效果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

如图2所示，本实施方式中基于自回归模型的任意比例图像插值方法包括以下步骤：

（1）采用双三次插值方法将低分辨率图像（待插值图像）上插到目标尺度，得到上插后的图像M。

如图3所示，将3×3的低分辨图像放大2.5倍，进行双三次插值后黑色点为落在整点位置的低分辨率像素点，十字点为未落在整点位置的低分辨率像素点，白色点为高分辨率像素点。

双三次插值方法为现有方法，此处不再展开说明，可参考文献：Keys，R.，Cubicconvolution interpolation for digital image processing，IEEE TransactionsonAcoustics，speech and Signal Processing，vol.29，issue.6，Dec.1981。

（2）确定所述图像M中待插值的局部区域W，对所述局部区域W内部除边缘像素点外每一个像素点建立水平垂直和45度对角线两种自回归模型，根据所述自回归模型确定初始目标函数F₀。

局部区域W的取值范围为7×7像素点至15×15像素点之间，本实施方式中局部区域W的大小为11×11像素点。水平垂直的自回归模型由像素点及其上、右、下、左四个相邻像素点组成，45度对角线的自回归模型由像素点及其左上、右上、右下、左下四个邻居像素点组成。如图3所示，除去边缘像素点外（因为局域边缘上点的相邻点有些在区域外部）的左上角像素点的水平垂直自回归模型由该像素点及其上、右、下、左四个相邻像素点组成，其中b₁、b₂、b₃、b₄为各方向上的权值。45度对角线的自回归模型由该像素点及其左上、右上、右下、左下四个邻居像素点组成，其中a₁、a₂、a₃、a₄为各个方向上的权值。

每个自回归模型进行周围像素点加权之后和中心像素点做差。对整个区域W中的所有自回归模型求和，最终的目标是使得该和最小，即权值越准确、估计值越接近于真实值。初始目标函数F₀如下：

$\underset{y,a,b}{\min }\{\mathrm{\α}{\left|\right|y_c-\mathrm{Ay}\left|\right|}^2+\mathrm{\β}{\left|\right|y_c-\mathrm{By}\left|\right|}^2\}$

其中，y为局部区域W中所有像素点组成的列向量，a和b分别是45度对角线的自回归模型的四个权值组成的一维向量和水平垂直的自回归模型的四个权值组成的一维向量，初始权值均为1/4。y_c为局部区域W中可以成为自回归模型中心点（非边缘像素点）的所有像素点组成的列向量。A和B为两种自回归模型的权值矩阵，其构成方式为：如果局部区域W的第j个像素点是W的第i个像素点的第k个45度对角线邻居，那么A的第i行第j列为A的第k个权值。B同理。α和β为两种自回归模型各自所占比重，取值范围均在0.1~1之间，各自所占的比重通过实验获得。对于一幅图像，每一对α、β值可以得到一个PSNR值（图像领域中常用的测试标准），通过对大量图像做实验发现：α取0.2左右，β取0.3左右时，算法效果最好。

（3）采用双三次插值方法将所述局部区域W除去边缘像素点外下采至与所述低分辨率图像相同的尺寸，得到局部区域W′，将所述局部区域W′与所述低分辨图像中与所述局部区域W′相对应的区域逐像素值相减，将结果加入到初始目标函数F₀中。初始目标函数F₀转换为目标函数F如下：

$\underset{y,a,b}{\min }\{\mathrm{\α}{\left|\right|y_c-\mathrm{Ay}\left|\right|}^2+\mathrm{\β}{\left|\right|y_c-\mathrm{By}\left|\right|}^2+\mathrm{\λ}{\left|\right|x-{\mathrm{Dy}}_c\left|\right|}^2\}$

其中，x表示低分辨图像中与所述局部区域W′相对应的区域像素点组成的列向量，D表示双三次插值方法下采矩阵，λ表示权值，取值范围在（0，1）之间，一般取值为0.5。

（4）对所述目标函数F进行迭代求解，获得所述局部区域W中心块的像素点值，具体包括如下步骤：

①在局部区域W中计算所有块与中心块的相似性。

所述块的取值范围为3×3像素点至5×5像素点之间。块与块之间的相似性分为两部分：一部分为两个块之间的结构相似性；另一部分为两个块之间距离相似性，通常认为两个块距离越近，其相似性越高，反之亦然。两个块之间的结构相似性与距离相似性的乘积便为两个块之间的相似性，具体计算公式如下：

W（m,n）=W_ls（m,n）×W_d（m,n）

其中，W（m,n）表示以m点为中心的块和以n点为中心的块之间的相似性，W_ls（m,n）表示两块之间的结构相似性，W_d（m,n）表示两块之间的距离相似性。结构相似性W_ls（m,n）和距离相似性W_d（m,n）的计算公式如下：

$w_{\mathrm{ls}}(m,n)=e^{-{\left|\right|L_m-L_n\left|\right|}^2/{\mathrm{\ϵ}}_1}$

$w_d(m,n)=e^{-{\left|\right|C_m-C_n\left|\right|}^2/{\mathrm{\ϵ}}_2}$

其中，L表示由中心点及其邻居点组成的向量，C表示中心点的空间坐标，ε₁和ε₂控制指数函数的形状，ε₁取值范围在（10，30）之间，ε₂取值范围在（20，40）之间，具体值由实验确定。对于一幅图像，每一对ε₁和ε₂值可以得到一个PSNR值，通过对大量图像做实验发现：ε₁取17左右，ε₂取33左右时，算法效果最好。

计算相似性可以得到对角矩阵P，所述对角矩阵P的元素由局部区域W中所有块与中心块的相似性W（m,n）构成。将对角矩阵P加入到目标函数F中，得到如下目标函数F₁：

$\underset{y,a,b}{\min }\{\mathrm{\αP}{\left|\right|y_c-\mathrm{Ay}\left|\right|}^2+\mathrm{\βP}{\left|\right|y_c-\mathrm{By}\left|\right|}^2+\mathrm{\λ}{\left|\right|x-{\mathrm{Dy}}_c\left|\right|}^2\}$

②根据所述目标函数F₁定义残差向量R（y,a,b）

$R(y,a,b)=\left[\begin{array}{c}\sqrt{\mathrm{\α}}P(I-A)y\\ \sqrt{\mathrm{\β}}P(I-B)y\\ \sqrt{\mathrm{\λ}}(x-{\mathrm{Dy}}_c)\end{array}\right]$

其中，I表示y_c长度的单位矩阵，用0扩充至y的长度。

将目标函数转换为如下函数F₂：

$\underset{y,a,b}{\min }{\left|R(y,a,b)\right|}^2$

该函数是非线性的。

③将目标函数F₂加入微小变化量△R后将其线性化，转换为如下目标

函数F₃：

$\underset{\mathrm{\Δy},\mathrm{\Δa},\mathrm{\Δb}}{\min }{|R(y,a,b)-\mathrm{C\ΔR}|}^2$

其中， $C=\left[\begin{array}{ccc}\sqrt{\mathrm{\α}}P(-I+A_c)& E_1& 0\\ \sqrt{\mathrm{\β}}P(-I+B_c)& 0& E_2\\ \sqrt{\mathrm{\λ}}D& 0& 0\end{array}\right],$ ΔR=[Δy Δa Δb]^T。

E₁和E₂的构成方式为：第i行分别为局部区域W中第i个点周围上、右、下、左四个邻居点组成的向量和左上、右上、右下、左下四个邻居点组成的向量。A_c、B_c表示A、B的前c列，其中c为局部区域W中非边缘点的个数；Δy、Δa和Δb分别表示y、a、b的微小变化量。

④采用最小二乘法对所述目标函数F₃进行迭代。y的初始值设为低分辨率图像上插值的结果，a和b的所有权值初始值为1/4。每次迭代得到的结果ΔR可用来更新R（y,a,b），直到ΔR小于设定阈值，停止迭代。所述阈值的取值范围在0.1~1之间。

⑤输出局部区域W的中心块的像素点值。

（5）对所述图像M中的所有局部区域，重复步骤（2）~步骤（4），得到最终插值后的高分辨率图像。

如图4所示，窗口每次移动3个像素点，即提供了窗口之间的覆盖区域，减少块效应，同时窗口输出的点也覆盖了整个图像（除了图像边缘宽度为3的部分）。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于自回归模型的任意比例图像插值方法，包括以下步骤：

(1)将低分辨率图像上插到目标尺度，得到上插后的图像M；

(2)确定所述图像M中待插值的局部区域W，对所述局部区域W内部除边缘像素点外每一个像素点建立水平垂直和45度对角线两种自回归模型，根据所述自回归模型确定初始目标函数F₀；

(3)采用双三次插值方法将所述局部区域W除去边缘像素点外下采至与所述低分辨率图像相同的尺寸，得到局部区域W′，将所述局部区域W′与所述低分辨图像中与所述局部区域W′相对应的区域逐像素值相减，将结果加入初始目标函数F₀中，得到目标函数F；

(4)对所述目标函数F进行迭代求解，获得所述局部区域W中心块的像素点值；

(5)对所述图像M中的所有局部区域，重复步骤(2)～步骤(4)，得到最终插值后的高分辨率图像。

2.如权利要求1所述的任意比例图像插值方法，其特征在于：步骤(1)中采用双三次插值方法将低分辨率图像上插到目标尺度。

3.如权利要求1所述的任意比例图像插值方法，其特征在于：步骤(2)中所述局部区域W的取值范围为7×7像素点至15×15像素点之间。

4.如权利要求1所述的任意比例图像插值方法，其特征在于：步骤(2)中所述水平垂直的自回归模型由像素点及其上、右、下、左四个相邻像素点组成，45度对角线的自回归模型由像素点及其左上、右上、右下、左下四个相邻像素点组成。

5.如权利要求1所述的任意比例图像插值方法，其特征在于：步骤(2)中所述根据自回归模型确定初始目标函数F₀的方法如下：

对每个自回归模型进行周围像素点加权之后和中心像素点做差；对整个局部区域W中的所有自回归模型求和，初始目标函数F₀为该和最小。

6.如权利要求1所述的任意比例图像插值方法，其特征在于：步骤(4)中所述对目标函数F进行迭代求解的过程包括以下步骤：

在局部区域W中计算所有块与中心块的相似性，将所述相似性加入到所述目标函数F中，得到目标函数F₁；

根据所述目标函数F₁定义残差向量，将所述目标函数F₁转化成F₂；

将目标函数F₂加入微小变化量后线性化，得到目标函数F₃；

采用最小二乘法对所述目标函数F₃进行迭代，直到所述微小变化量小于设定的阈值。

7.如权利要求6所述的任意比例图像插值方法，其特征在于：所述块与中心块的相似性的计算方法如下：

分别计算两个块之间的结构相似性和距离相似性，结构相似性和距离相似性的乘积便是两个块之间的相似性。

8.如权利要求6所述的任意比例图像插值方法，其特征在于：所述阈值的取值范围在(0.1，1)之间。

9.如权利要求6～8中任一项所述的任意比例图像插值方法，其特征在于：步骤(4)中所述块的取值范围为3×3像素点至5×5像素点之间。