CN103426148A - 生成低分辨率输入数据结构的超分辨率版本的方法和设备 - Google Patents

Abstract

本发明涉及常规采样的多维信号的分辨率的放大中的改进的鲁棒性，其中单个低分辨率信号是可用的。这些方法被称为基于实例的超分辨率处理或单幅图像超分辨率处理。一种用于超分辨率处理单幅图像的方法，包括三个阶段。首先，对输入图像执行基于内插的放大，随后是在轮廓区域中的局部去噪步骤。所述第二阶段包括通过跨尺度块匹配外推，其中获得通过在相同的轮廓区域内的正则化去噪的外推的高频频带。所述第三阶段包括将高分辨率图像的低频频带的贡献与所述外推的高频频带相加。

Description

生成低分辨率输入数据结构的超分辨率版本的方法和设备

技术领域

本发明涉及一种用于生成低分辨率输入数据结构的超分辨率处理版本的方法和相应的设备。

背景技术

超分辨率(SR)处理被认为是对常规采样多维信号分辨率的一种改进。特别令人感兴趣的情况是仅有低分辨率信号是可用时。单个低分辨率信号可用还是多个相似的低分辨率信号可用，是有显著差异的，因为在后一种情况下，可以通过结合几个可用信号的贡献充分利用更丰富的数据值。在图像处理方面的文献中，这些方法被笼统地称为基于实例的超分辨率处理，或者，更确切地说，单幅图像超分辨率处理。尽管下面的描述是一般性的，并且可以应用于不同维度的信号，但是焦点将集中在2D图像超分辨率处理的情形。

图像超分辨率处理技术已为公众熟知多年，始于M.Irani和S.Peleg的《Super Resolution from Image Sequences》。最常见的是，这些技术涉及在给定一组噪声、模糊、低分辨率的观察结果(如，视频序列中连续的图像)的情况下使用与图像形成模型相逆的重建处理估计高分辨率图像。因此，图像之间的子像素运动、摄像机和后处理模糊以及子采样被逆转，以融合所述可用数据，得到超分辨率处理图像。几种全局优化迭代技术可用，它们的不同之处基本在于假定图像先验模型。这为其他病态问题提供了若干种唯一解。

通常，这些技术的限制因素是在于用于图像去模糊和配准的点扩散函数(PSF)的估计，也就是，确定图像之间的子像素运动。通常，文献中的SR技术指的是用于获得配准的传统光流(OF)估计技术。这些技术在准合成例子中表现良好，但在实践中，当更多一般运动出现时，OF估计中的已知解决方案无法鲁棒地、以足够的精确度配准视频序列中的连续帧。

众所周知，在较宽范围的自然条件下，基于重建的SR算法在局部平移下具有分辨率最大增大1.6倍左右的基本限制，而在合成场景中(这是大多数可获得的出版物中经常研究的)分辨率增大到5.7倍是可能的。这是由于当子像素的移动通常是像素大小的精确的一部分(fraction)时，配准方面的有利条件。

SR算法的替代类型尝试通过使用先验的已知的更高分辨率的实例来足够地丰富输入视觉数据(低分辨率图像)，来增加图像的分辨率。这些技术通常被称为基于实例的超分辨率处理(EBSR)。在《Example-basedsuper-resolution》中，W.T.Freeman、T.R.Jones和E.C.Pasztor从足够通用的图像片(patch)数据库中获得合适的高分辨率实例，其高频率内容被求平均并便利地与输入图像的低频率内容融合。然而，当目标场景偏离包含在实例数据库中的情况时(当没有已知的片实际上类似于输入图像时)，所述算法的性能就恶化了。实际上，扩大数据库的大小会导致在搜索最佳匹配训练片时的计算成本过高。因此，这种技术并不是一般常用的，而是集中应用于某一类超分辨率处理图像。

为了处理该问题，并根据将被放大的内容适应性地表现，其他EBSR算法从所述单幅输入图像内提取高分辨率实例，可以在小的缩小因子下获得其不同分辨率图像的金字塔表示。然后，对于输入图像中的每个片(例如，5×5像素)，在不同的分辨率(在金字塔的各级)的所有或部分图像中搜索匹配的片，以执行类似于基于重建的超分辨率处理的每个片的数据融合。这种技术的最好代表是D.Glasner、S.Bagon和M.Irani所著的《Super-Resolution froma Single Image》，以及O.Shahar、A.Faktor和M.Irani所著的《Space-TimeSuper-Resolution from a Single Video》，这是视频超分辨率处理的后续。以由于在3D时空中搜索跨越几个空间和时间尺度的视频帧所导致的计算复杂度的增加为代价，作者获得图像分辨率和帧率的同时增加，包括去除时域混叠。当前的计算能力使得该方法不能用于实时操作。

其他已知的办法也都成本高昂，并且通常不能表明可用于实时方法，或由于施加过度对比度容易产生一些看起来不真实的边缘，或在纹理区域中容易产生过度平滑，这样在一般情况下会产生看起来不自然的图像。

在G.Freedman和R.Fattal所著的《Image and Video Upscaling from LocalSelf-Examples》中，所提出的策略是充分利用每个图像片的局部相邻区域中的自相似性。这被证明可以提供接近于在《Super-Resolution from a SingleImage》中使用的全图像搜索的结果，同时获得减少计算时间的益处。这种方法的缺点是用于将图像中的高频和低频分离的空间移变滤波器的高度复杂的设计并不能快速完成，这导致了一组有限的可选择的扩大因子。

与生成SR数据结构(特别是SR图像)相联系出现的一个特别问题是：空间伪像(例如，轮廓混叠(contour aliasing))已包括在低分辨率的数据结构中，并且SR处理通常会强调这些不想要的结构。

发明内容

本发明解决了至少一些上述的问题。本发明涉及一种用于改善常规采样的多维信号的分辨率的方法，其中，单个低分辨率信号是可用的。在图像处理方面的文献中，这些方法一般都称为基于实例的超分辨率处理，或更精确地，称为单幅图像超分辨率处理。虽然在此公开的方法是通用的，并且可以应用于不同维度的信号，但是以下将集中于2D图像超分辨率处理的情形。

根据本发明，单幅图像的超级分辨率重建包括三个阶段。首先，对输入的图像执行基于插值的放大，之后对低分辨率(LR)图像执行等同于低通滤波的操作，得到高分辨率(HR)图像的低频(LF)频带。所述第二阶段包括外推高分辨率图像的高频(HF)频带，例如，通过跨尺度块匹配。后者可以包括搜索在HR图像中的被检查的片和在LR-LF图像的局部邻域中的片(也包括部分重叠的片)之间的LF匹配，并且累加从LR图像获取的对应的HF贡献。进一步，生成指示潜在噪声或受干扰区域的去噪掩模(de-nosing mask)，以及根据去噪掩模的定义，对HR图像的HF频带和HR图像的LF频带中至少一个的像素分别应用局部去噪。在一些实施例中，HF频带和LF频带中至少一个的去噪通过局部正则化实现。第三阶段包括将局部去噪的HR图像的LF频带和局部去噪的外推得到的HR图像的HF频带的贡献相加。局部去噪具有中和(neutralizing)效果，或至少减少来自输入图像的至少混叠效应的传播。

本发明的一个方面是抵抗来自输入图像中伪像的鲁棒性。该鲁棒性通过生成去噪掩模来实现，根据去噪掩模应用局部去噪到HR图像的HF频带和LF频带中的至少一个，因此，在一个实施例中，至少外推得到的HR图像的HF频带的去噪是通过根据去噪掩模的局部正则化实现的。该局部正则化实现了去噪的效果。

该去噪掩模指示在超分辨率处理的图像的尺度下比在其他区域中更容易发生混叠的区域。在这里，它也被称为“指示函数”或“潜在受到混叠影响的像素的掩模”。可使用各种算法产生所述去噪掩模。在一个实施例中，去噪掩模按如下生成：用于检测陡峭轮廓(例如Sobel方法)的检测器被应用到输入LR图像上，并通过在由应用所述轮廓检测器得到的二元掩模上应用形态(morphology)(例如扩大)来扩展所述轮廓像素周围的区域。然后对被扩大的轮廓进行尺寸调整以匹配所述超分辨率处理的图像的尺寸。通常，被去噪掩模指示为具有更大的混叠可能性的区域在此被称为“轮廓区域”，即使使用不同的算法来检测更容易发生混叠的区域。由于去噪和/或正则化仅被应用于所述轮廓区域内部，因此它们在此被称为“局部去噪”和/或“局部正则化”。

此外，在一些实施例中，应用局部去噪包括将总变差(Total Variation，TV)正则化矩阵应用于去噪掩模指示的轮廓区域上。TV正则化矩阵的正则化除去由输入LR图像中存在的HF混叠引起的伪像。最后，在超分辨率处理的图像的轮廓区域中，HF频带不是如同在其他区域中那样生成为重叠的局部片的贡献的平均，而是生成为使能量函数最小化的一组像素值。所述能量函数考虑数据成本项(data cost terms)和TV先验(TV prior)。该去噪的技术的优点是可以获得抗混叠效果，也就是，超分辨率处理的图像在较可能发生混叠的区域中(例如，具有高对比度轮廓的区域)不存在伪像。

原则上，根据本发明的用于产生单个低分辨率数字输入数据结构S₀的超分辨率处理版本的方法包括以下步骤：生成去噪掩模；放大；对单个低分辨率数字输入数据结构S₀进行低通滤波和局部去噪，以获得放大的高分辨率数据结构的局部去噪的低频部分L₁；以及将低分辨率数字输入数据结构S₀分离为低频部分L₀和高频部分H₀。放大的高分辨率数据结构的高频部分H_1，init被创建，其被初始化为空(即，所有像素被设置为零)，然后通过外推计算其像素。例如，在一些实施例中，对放大的HR数据结构的局部去噪的LF部分L₁的多个片中的每一个，搜索LR数字输入数据结构的LF部分L₀中的最佳匹配块，并确定LR数字输入数据结构的HF部分H₀中的对应块。在这些实施例中，然后，确定的来自LR数字输入数据结构的HF部分H₀中的块加到在上述放大的HR数据结构的LF部分L₁中的片所在的位置处的放大的HR数据结构的HF部分H_1，acc上。最后，所得到的外推的放大HR数据结构的HF部分H_1，acc被标准化、局部去噪，以及在一个实施例中，高通滤波。所述被标准化、局部去噪和高通滤波的放大的HR数据结构的HF部分H₁被加到放大的HR数据结构的局部去噪的LF部分L₁中，得到单个LR数字输入数据结构S₀的改善的去噪超分辨率处理版本S₁。

应当注意，对于更好的可读性，术语“块”在本文中用来表示低分辨率数据结构中的一组相邻值，而术语“片”用于表示在高分辨率数据结构中的一组相邻值。然而，块和片具有相同的尺寸(也就是，相邻值的数量和形状)并且基本上是相同的。

本发明还涉及一种用于对数字数据的低分辨率输入数据结构S₀执行超分辨率处理的装置，在一个实施例中包括：用于生成去噪掩模的去噪掩模生成器；用于将所述输入数据结构S₀分裂成LF输入数据结构L₀和与LF输入数据结构互补的HF输入数据结构H₀的分裂模块，所述分裂模块在一个实施例中包括用于对输入数据结构S₀进行滤波的的第一低通滤波器F_1，0，其中获得LF输入数据结构L₀；以及用于计算输入数据结构S₀和LF输入数据结构L₀之间的差的减法单元(例如，加法器、减法器、比较器或差分器)，由此生成HF输入数据结构H₀。该装置进一步包括：用于放大所述输入数据结构S₀的放大器：用于对所述放大的输入数据结构进行滤波的第二低通滤波器F_1，1；以及局部去噪器，用于根据去噪掩模对所述滤波后的放大的输入数据结构进行局部去噪，其中获得局部去噪的放大的LF数据结构L₁。该装置还包括：跨尺度块匹配模块，用于通过外推HF输入数据结构H₀并标准化外推得到的HF放大数据结构生成标准化的HF放大数据结构H_1，n。在一个实施例中，所述跨尺度块匹配模块包括：第一确定单元，用于确定在所述局部去噪的放大的LF数据结构L₁中第一位置处的第一片；搜索单元，用于在所述LF输入数据结构L₀中搜索与第一片匹配最佳的第一块；以及第二确定单元，用于确定所述第一块在LF输入数据结构L₀中的位置；选择器，用于选择在HF输入数据结构H₀中在所确定的位置处的第二块；用于累加所选择的第二块的像素数据到第二片的累加器，第二片是在HF放大数据结构H_1，aac。中第一位置处的片；控制单元，用于控制对局部去噪的放大的LF数据结构L₁中多个片的重复处理；以及标准化单元，用于标准化在放大的HF数据结构H_1，acc中累加的像素值。该装置还包括：局部正则化器，用于对轮廓区域内的标准化的累加(即，平均的)像素值进行局部去噪，从而得到局部去噪的标准化的放大的HF数据结构H₁；以及组合单元，用于组合(例如，相加)所述去噪的标准化的放大的HF数据结构H₁和所述局部去噪的放大的LF数据结构L₁，从而获得去噪的超分辨率处理的数据结构S₁。

本发明还涉及一种具有使得计算机执行一种如上文所解释的方法的可执行指令的计算机可读介质。在一个实施例中，本发明涉及一种具有使得计算机执行一种用于对数字数据的低分辨率输入数据结构S₀执行超分辨率处理的方法的可执行指令的计算机可读介质，包含如下步骤：

生成去噪掩模，使用第一低通滤波器对输入数据结构S₀进行滤波，其中获得LF输入数据结构L₀；

计算输入数据结构S₀和LF输入数据结构L₀之间的差，由此生成HF输入数据结构H₀；

放大输入数据结构S₀，并使用第二低通滤波器和局部去噪器对放大的输入数据结构进行滤波和局部去噪，其中获得局部去噪的放大的LF数据结构L₁；

外推并标准化HF放大数据结构，由此获得标准化的高频的放大的数据结构H₁；

使用局部正则化对标准化的高频的放大的数据结构进行局部去噪，由此获得局部去噪的标准化的放大的HF数据结构H₁，并将局部去噪的标准化的放大的HF数据结构H₁与局部去噪的放大的LF数据结构L₁相加，获得去噪的超分辨率处理的数据结构S₁。

在具有所述可执行指令的计算机可读介质的一个实施例中，通过以下外推放大的HF数据结构：确定在所述局部去噪的LF放大数据结构L₁中第一位置处的第一片，在所述LF输入数据结构L₀中搜索与第一片匹配最佳的第一块，确定所述第一块在LF输入数据结构L₀中的位置，选择在HF输入数据结构H₀中在所确定的位置处的第二块，累加所选择的第二块的像素数据到第二片，第二片是HF放大数据结构中第一位置处的片，重复以下步骤：确定LF放大数据结构L₁中的新片，在LF输入数据结构L₀中搜索与所选择的片最佳匹配的块，在HF输入数据结构H₀中选择对应的块，并将所选择的对应块的像素数据累加到HF放大数据结构中所述新片的位置处的片上，并标准化在HF放大数据结构中所累加的像素值，由此获得标准化的高频放大数据结构H₁。

本发明的一个优点是它能够(在至少一个实施例中)以任何想要的非整数图像放大因子产生任何1D、2D或3D数字输入数据结构(例如，任何数字图像)的更高分辨率的呈现。此外，至少在轮廓区域之外这按照一般的方式执行，不需要引入在先的任意图像，超越已被证明对一般图象成立的图像必须在不同的分辨率级别下显示出局部自相似性的假设：。

本发明的另一个优点在于，由于使用了自平均，在放大的数据结构中相较于传统方法引入了更少的噪声。本发明的另一个优点是，它对单幅图像进行操作，但是有利地不需要数据库、码本或类似物，也不需要任何训练或训练数据，而传统的单幅图像方法都需要用于训练获取高频实例的数据库。本发明的还有一个优点在于，不仅图像中的噪声，还有伪像(如，空间混叠)也有所减少。

在从属权利要求、下面的描述以及附图中公开了本发明的有利实施例。

附图说明

参考附图描述了本发明的示例性实施例，其中

图1示出了用于执行超分辨率处理的方法的流程图；

图2示出了通过外推原始分辨率尺寸的相似片的高频信息来合成超分辨率处理图像的高频频带；

图3示出了搜索窗口的示例性使用和位置；

图4(a)-(d)中示出了选择2D输入数据结构中连续的片(包括重叠)，以及确定连续片的匹配块的原理；

图5(a)-(c)中示出了选择1D输入数据结构中连续的片(包括重叠)，以及确定连续片的匹配块的原理；

图6示出了高分辨率图像的放大的低频频带L₁的形成和低分辨率输入图像S₀的双频带分析(L₀，H₀)；

图7示出了合成超分辨率处理图像的高频频带H₁的过程的概念框图。

图8(a)-(b)示出了用于生成超分辨率处理图像S₁的所述插值后的低频频带L₁和所述外推的高频频带H₁的融合；

图9示出了一个装置的框图；

图10(a)-(d)示出了与传统放大图像的频谱相比的根据本发明的放大图像的频谱；

图11示出了本发明的三个原理阶段；

图12示出了用于改善抵抗在执行高分辨率处理的方法中的混叠的鲁棒性的的方法的流程图；以及

图13示出了混叠的输入图像及其对应的去噪掩模。

具体实施例

图1示出在本发明的一个实施例中的用于对数字1D、2D或3D数据的低分辨率输入数据结构S₀执行超分辨率处理的方法的流程图。在此实施例中，该方法包括以下步骤：

生成去噪掩模M，包括轮廓检测步骤F1.1以及扩大和调整步骤F1.2，

通过第一低通滤波器F_1，0对输入数据结构S₀滤波170，其中获得LF输入数据结构L₀，

在加法器/减法器180中计算输入数据结构S₀和LF输入数据结构L₀之间的差，从而生成HF输入数据结构H₀，

放大120输入数据结构S₀，通过第二低通滤波器F_1，1对放大的输入数据结构进行滤波，从中获得LF放大数据结构，

在所述去噪掩模M指示的区域中对LF放大数据结构进行局部去噪F2，其中获得局部去噪的LF放大数据结构L₁，

确定低频放大数据结构L₁中第一位置处的第一片的P_n，L1，

在低频输入数据结构L₀中搜索151、152、154与第一片P_n，L1匹配最好的第一块B_n，L0，并确定所述第一块B_n，L0在低频输入数据结构L₀内的位置，

选择155在高频输入数据结构H₀中确定的位置处的第二块B_n，H0，累加157所选择的第二块B_n，H0的数据值(例如，像素数据)到第二片P_n，H1，第二片是在高频放大数据结构H_1，acc中第一位置处(上面对应于第一片P_n，L1确定的)的片，

重复150以下步骤：在低频放大数据结构L₁中确定新片P_n，L1，在低频输入数据结构L₀中搜索151、152、154与被选择的片P_n，L1最佳匹配的块B_n，L0，选择155高频输入数据结构H₀中对应的块B_n，H0，并将选择的对应块B_n，H0的像素数据累加157到在所述新片P_n，L1的位置处的高频放大数据结构H_1，acc中的片P_n，H1，

标准化190在高频放大数据结构H_1，acc中累加的像素值，由此获得标准化的高频放大数据结构H₁，以及

在标准化的HF放大数据结构H₁的轮廓区域中执行局部正则化F3，由此获得局部正则化的标准化HF放大数据结构H_1，uf。局部正则化可以通过局部正则化的HF合成而完成。所述轮廓区域是从所述去噪掩模M确定的。所述局部正则化的标准化HF放大数据结构H_1，uf在高通滤波器F_h，1中滤波195，以获得经滤波的局部正则化的标准化HF放大数据结构H₁。最后，通过将经滤波的局部正则化的标准化HF放大数据结构H₁加到199LF放大数据结构L₁，获得超分辨率处理数据结构S₁。

在一些实施例中，放大的输入数据结构经所述第二低通滤波器F_1，1滤波130之后，以缩小因子d缩小140，其中n＞d。因此，低频放大数据结构L₁获得了总体非整数放大因子n/d。相同的放大因子用于去噪掩模的放大，并且可以使用相同的方法。高频率放大数据结构H_1，init(或相应地H₁)与低频放大数据结构L₁具有相同的大小。H₁的大小可以预定义，或来源于L₁。H₁在初始化步骤160中初始化成该大小的空数据结构H_1，init。

图2示出了通过外推原始分辨率尺寸H₀的相似片的HF信息来合成超分辨率处理(即，高分辨率)图像的HF频带H₁的原理的一个实施例。注意，在下面的描述中，参照图2～图7，如果提及高频高分辨率数据结构H₁，实际上是指未滤波的、非标准化的HF高分辨率数据结构H_1，acc(去噪之前)。

高分辨率图像L₁的低频频带首先被划分成具有一定重叠的多个小片P_n，L1(如，5×5像素)。重叠量的选择需要权衡对高频伪像的鲁棒性(有较多的重叠的情况下)和计算速度(有较少的重叠的情况下)。在一个实施例中，在每个方向上选择20-30％的重叠，即，对例如具有5个值的相邻片，2个值重叠。在其他的实施例中，重叠更高，例如30-40％，40-50％，50％左右(如45-55％)或高至90％。对于低于片大小20％的重叠，本发明以下描述的效果通常较差。

如上所述以及如下面进一步描述的，最终的高频频带在使用对每个像素有贡献的片的数量进行标准化之后获得，从而得到平均值。片之间的重叠越大，对由高频外推处理造成的高频伪像的抑制就越好，进行累加的值也越多。

然后，对于每个低频高分辨率片P_n，L1，在平均绝对差(mean absolutedifference，MAD，从运动估计获知)方面的最佳匹配在低分辨率图像的低频频带L₀上的局部搜索窗口(例如，11×11像素)中进行穷举搜索之后获得。最佳匹配是来自于低频高分辨率图像L₀中具有与低频高分辨率片P_n，L1(例如，5x5像素)相同尺寸的块P_n，L0。关于搜索窗口的更多细节在下面参照图4描述。

为便于理解下一步，重要的是要注意，如附图2所示，低分辨率的低频数据结构L₀具有与低分辨率的高频数据结构H₀相同的维数，并且高分辨率的低频数据结构L₁具有与高分辨率的高频数据结构H₁相同的维数。对每个片，确定匹配的低频低分辨率片P_n，L0(在L₀内)的位置，并且提取匹配的低频低分辨率片P_n，L0位置处对应的低分辨率高频片P_n，H0(在H₀内)。然后，将从H₀提取的低分辨率高频片P_n，H0累加到在高分辨率低频数据结构L₁中的当前片P_n，L1所在的相同位置处的高分辨率图像的高频频带H₁上。详细地说，将从H₀提取的低分辨率高频片P_n，H0的每个值(例如，像素)累加到高分辨率图像的高频频带H₁的各个片中的对应值(例如，像素)上。通过这种方式，通过逐个片(patch-wise)累加对高分辨率图像的高频频带H₁进行合成。将高分辨率图像的低频频带L₁划分为多个重叠的片，找到最佳低频匹配并累加对应的高频贡献的过程在图3中示出，并将在下面进行详细描述。

因此，所得到的(初步的)高分辨率数据结构的高频频带H₁的每个值是来自多个有贡献的片的值的总和。由于在L₁中的片重叠(由于两者具有相同的尺寸，因此也在H₁中)，来自至少两个片的值对H₁中的多个或所有值有贡献。因此，对所得到的(初步的)高分辨率数据结构的高频频带H₁进行标准化190。为此目的，在合成过程中，对来自H₀的、对高频率高分辨率数据结构H₁中的每个值有贡献的值的数量计数，并且H_1，acc中的每个累加值最终都除以贡献的数量。

图3示例性地示出了搜索窗口在低分辨率低频数据结构L₀中的使用和定位。对于在L₁中的第一片P_11，L1，在第一搜索窗口W₁₁内搜索L₀中的第一最佳匹配块P_11，L0。两个片具有相同的大小。所述搜索窗口在每一方向上(除边缘上，就第一片而言)比所述片大至少一个值。在该示例中，所述第一最佳匹配块P_11，L0在L₀中第一搜索窗口W₁₁的左上角被发现。对该片和块的进一步处理如上所述。然后，随后的片水平和/或垂直地移动，其中每个片与前一个片重叠。

在该示例中，选择位于水平移动给定的片前移量(advance)的位置处的第二片P_12，L1。片前移量是片的大小和重叠之间的差。片前移量在不同的维度(例如，2D数据结构的水平和垂直方向)下可能不同，这可能导致在高分辨率输出数据结构的多个维度中的不同的效果或质量，但是它们通常是相等的。新的搜索窗口W₁₂根据新片的位置确定。原则上说，搜索窗口在与片相同的方向上前移，但更慢。因此，当前搜索窗口可以在与之前的搜索窗口相同的位置处，正如这里的情况一样。然而，由于在所述搜索窗口中搜索的是另一片P_12，L1，因此最佳匹配片P_12，L0的位置通常是不同的。然后，最佳匹配片P_12，L0累加到在低频高分辨率片P_12，L1位置处的高分辨率高频数据结构H₁，如上所述。确定后续片P_13，L1、P_14，L1，并且以相同的方式搜索它们的最佳匹配。如图3所示，最佳匹配块在搜索窗口中的位置是任意的，并且取决于输入数据(例如，图像内容)。

上面的说明对应用于1维(1D)数据结构也提供了足够多的信息。对于2D数据结构，更多后续片的位置通过垂直片前移(可以或可以不与水平片前移相结合)找到。同样，如上所述且如图3所示的P_21，L1，......，P_23，L1，垂直片前移包括重叠。

搜索窗口的位置根据当前片的位置来确定。如图3所示，不同片的搜索窗口W₁₁，......，W₂₂重叠。由于L₀是比L₁更小的数据结构，因此搜索窗口在每个维度上的前移量是很小的。在一个实施例中，如果与之对应的片在L₁的边缘上，那么搜索窗口位于L₀的边缘上，并且它匀速地和/或按比例地在这些边缘之间移动。

在一个实施例中(图3中未示出)，搜索窗口的中心设置在与片的中心基本成比例的位置。例如，在片的中心位于高分辨率数据结构L₁的3％处的情形中，搜索窗口的中心设置为位于低分辨率数据结构L₀的大约3％(四舍五入)处。在此情况下，对于边缘附近的片，搜索窗口的大小可能会减小，或者搜索窗口可能完全移动到低分辨率数据结构L₀中。

通常，搜索窗口越大，越可能找到非常相似的片。然而，在实践中，通过较大地增大搜索窗口，预见将会获得非常小的精度差异，因为在一般的自然图像中，局部片结构更有可能只在非常局部的区域中找到。此外，较大的搜索窗口在搜索期间需要更多的处理。

图4示出了在图像(即，2D输入数据结构)中选择连续片、重叠和确定连续片的匹配块的原理的细节。示例性地，片和块具有5×5像素以及搜索窗口具有12×12像素。如上所述，对L₁中的第一片P_1，L1，确定L₀中的搜索窗口W₁。在搜索窗口W₁内，将第一片在不同的块位置处进行比较，并确定具有最小平均绝对差(MAD)的块B_1，L0。这就是最佳匹配块。确定它在低分辨率低频数据结构L₀中的位置，例如，在第三列第三行的左上角处。然后，确定高频率低分辨率图像H₀中相同位置处的对应的片。因此，它是在第三列第三行的左上角处的5×5像素片。该片提取自H₀，并加到当前低频高分辨率片P_1，L1所在的位置处的H1上，即H₁的左上角(见图4a)。

如图4b所示，根据采用的片前移量选择第二片P_2，L1。在此情形中，片前移量是两个维度上的两个像素，这意味着由于片大小为5×5像素，因此重叠是3。因此，在该例子中，垂直重叠V_v和水平重叠V_h是相等的。由于较慢的搜索窗口前移，搜索窗口W₂与前一个片所用的相同。然而，由于不同的像素值(根据任意图像内容)，在搜索窗口内找到另一个最佳匹配块B_2，L0。以如上所述相同的方式，确定它的位置(例如，在第7列第2行的左上角)，从H₀中提取对应的5×5块(在第7列第2行的左上角)，并将从H₀中提取的块加到第二片P_2，L1的位置处的高频高分辨率图像H₁上，即，其第一行第三列的左上角。因此，属于两个或更多不同片的特定像素累加自最佳匹配块的对应像素。也就是，示例性地，高分辨率高频图像H₁(对应于图4中所示的L₁中的位置)的第4列第5行中的特定像素在所述处理的当前阶段具有从第6列第7行的像素(来自第一片的最佳匹配块B_1，L0)和从第8列第6行的像素(来自第二片的最佳匹配块B_2，L0)累加的值。

如上面提到的，搜索窗口通常只在多个片被处理之后才前移。如图4c示例性地所示，对上述结构，在搜索窗口W₃在水平方向上移动一个像素之前，需要前移三个片(即，第4个片)。此外，在这里应该注意的是，片前移(从而搜索窗口前移)的各个维度的次序的差异不会造成任何差异。因此，虽然图4d中示出的片可以在前面的片移动到L₁的右边边缘之后处理，但是它也可以在如图4a所示的第一片之后立即处理。

图5示出了1D数据结构的相应示例。同样在此情况下，在低频高分辨率数据结构L₁的位置#1...#4处的第一片(具有表示为X的值)位于低频低分辨率数据结构L₀中的搜索窗口W₁内，例如，在位置#2...#5处的值。因此，对应的H₀(未示出)的在位置#2...#5处的值被加到H₁(未示出)的位置#1...#4处。在第二步骤中，在L₁的位置#3...#6处的第二片位于L₀中的第二搜索窗口W₂内，例如，在L₀的位置#3...#6处(搜索窗口的位置#2...#5处)。因此，对应的H₀(未示出)的在位置#3...#6处的值被加到H₁(未示出)的位置#2...#5处，等等。

与如上所述的用于1D和2D数据结构的原理相同的原理也可应用于任何多维数据结构，包括3D数据结构。

如上所述，公开的用于对单幅图像进行超分辨率处理的方法包括三个阶段。作为本发明的第一阶段，图6示出了一个用于形成放大的高分辨率图像的低频频带L₁和对低分辨率输入图像S₀进行双频带分析(L₀，H₀)的实施例的原理。除了获得剩余的低分辨率图像的高频分量H₀之外，该方法的第一阶段的目的是还要获得具有在一个实施例中是分数的放大因子的高分辨率图像的低频频带L₁，以及具有相同的标准化带宽的低分辨率图像L₀。对低分辨率输入图像S₀的双频带分析分为低频部分L₀和高频部分H₀执行。低分辨率图像的截止标准化频率与高分辨率图像的截止标准化频率是相等的。在一个实施例中，使用可分离滤波器以避免方点扩展函数(square Point SpreadFunctions，PSFs)较大的卷积(convolution)。这意味着，内插高分辨率滤波器F_1，1和低通低分辨率滤波器F_1，0都可以完全表示为一个1维滤波器，因为，如果需要，所述PSF可以被计算为对应系数向量的张量积(F_1，1 ^2D＝F_1，1F_1，1 ^T，并相应地适用F_1，0)。

在下文中，描述了滤波器设计的一个实施例。

在图6中示出的两个滤波器的设计主要由合理的放大系数n/d和低分辨率FIR滤波器F_1，0可任意选择的阶数N₀决定。通常，阶数的选择由可用的卷积计算时间确定。通常，在大约8...16的值应足够提供足够陡峭的过渡频带。通过为阶数N选择偶数值，得到N+1个滤波器系数，可避免附加相移，获得更精确的高频频带。低通滤波器F_1，1和F_1，0是实数的并具有线性相位，即，它们是有限脉冲响应(FIR)滤波器。每个滤波器在对应的截止频率处的标准化增益被定义为-6dB。系数被定义为具有长度为N+1的汉明窗的离散正弦函数。滤波器幅度一般被定义为在加窗后的低通频带中心处的缩放比例(scaling)。

高分辨率内插滤波器

记住这些规则，要设计的第一个滤波器是高分辨率内插滤波器F_1，3。给定低分辨率滤波器F_1，0想要的阶数N，合理的放大因子n/d和前一段中的设计规则，唯一缺失的参数是缩放比例σ₁(为了处理在已知样本之间插入n个零)、高分辨率滤波器N₁的阶数和其截止标准化频率Ω₁。这些参数是σ₁＝n，N₁＝N₀n和Ω₁＝min(1/n，1/d)＝1/n。该截止频率遵守消除源于在现有样本之间插入零的谱分量的要求。

低分辨率等效低通滤波器

在这种情况下，现有样本之间没有引入零，所以这种滤波器的幅度是σ₀＝1。滤波器的阶数已经被任意地定义，并且所述截止频率设定为Ω₀＝d/n。这个值补偿在内插滤波器施加于高分辨率图像后的抽取。

使用该滤波器设计，已分析的低分辨率输入图像的低频分量在标准化带宽方面匹配想要的高分辨率图像的低频分量。相反地，已分析的低分辨率图像的高频分量可以用于估计缺失的高分辨率图像的高频频带。

本发明的第二阶段的目的是通过充分利用输入图像中的局部自相似性合成高分辨率图像的高频频带。这样做是基于每个小片；该方法通常受益于使用较小的放大因数，由于可以使用更宽的频带宽度(增加的信息)用于已分析的低分辨率图像的低频分量，对于具有相似的低频内容的图像片，它可以提供更好的选择性。这些在图7中示意性示出。方法的进一步细节将在下面讨论。

图7示出了合成超分辨率处理图像的高频频带(H₁，初始设定为0)的过程的示例性概念框图700，其在原理上是通过外推低分辨率图像的高频频带H₀完成的。信号W₁(t)和W₀(t)是具有根据被处理的当前图像片随时间变化的位置的空间窗口，并分别表示片前移量和搜索窗口前移量。也就是，例如，高分辨率图像的低频频带L₁被划分成的小片(例如5×5像素)的前移量和重叠可以理解为在低频高分辨率数据结构L₁中并同时在高分辨率数据结构的高频频带H₁中以第一速度前移的窗口W₁(t)。搜索窗口在低分辨率图像的低频频带L₀上的前移被建模为时变窗口W₀(t)，其以相同的方式应用于低分辨率图像的高频频带H₀。搜索单元710在搜索窗口内执行穷举搜索找到最佳匹配块(即，具有最小SAD的块)。如上所述，其位置被施加到低分辨率图像的高频频带H₀。由于搜索通常具有一定的持续时间，因此延迟由延迟补偿单元720、730来补偿。在所述低分辨率高频数据结构H₀中的对应片在提取单元740中被提取，并在累加单元750中被累加到高分辨率高频数据结构H₁。可以推导出用于具有不同于2D维度(如，1D或3D)的数据结构的类似实施例。

第三阶段是形成最终的高分辨率图像。该阶段的目的是合适地融合所述高分辨率图像的低频频带L₁和标准化的高分辨率图像的高频频带H₁。标准化的高频高分辨率图像的高频频带H₁可以在与低频高分辨率频带L₁相加之前高通滤波。为确保频谱兼容性，这种高带通滤波是有利的，但当L₁和H₁基本上没有重叠频率(参见附图8b)时可以被省略。

图8示出了示例性的融合所述低频高分辨率频带L₁和标准化的高频高分辨率频带H₁以生成超分辨率处理的图像S₁。使用高通滤波器800滤波标准化的高频频带H₁，以便确保与低频频带的频谱兼容性。

高分辨率高通滤波器

在第一阶段，滤波器F_h，1与滤波器F_1，0、F_1，1按照相同的方式设计。在这种情况下，目标是获得具有截止频率Ω_1，h＝d/max(n，d)＝d/n的高通滤波器。其阶数被设置为低分辨率滤波器阶数的缩放版本：N_1，h＝round(N₀n/d)，并且其幅度σ_1，h＝1。可分离高通滤波器的最终系数被设置为与汉明窗的中心对齐的克罗内克符号减去具有相同的截止频率的互补低通滤波器的系数。即，高通滤波器被定义为全通滤波器(设置系数等于克罗内克符号)减去具有与理想的高通滤波器相同的截止频率的低通滤波器。这在图8b)中以图示出，其中左边是高通滤波器的理想频率响应HP，右边是全通滤波器AP和上述低通滤波器LP响应的差。

由于上述说明很清楚，高分辨率图像的低频频带L₁原理上是通过内插获得的，而高分辨率图像的高频频带H₁原理上是通过外推获得的。

图9示出了一种用于对数字数据的低分辨率输入数据结构S₀执行超分辨率处理的设备，包括用于生成去噪掩模M的去噪掩模生成器F1b和包括用于将输入数据结构S₀分裂成低频输入数据结构L₀和高频输入数据结构H₀的第一低通滤波器970的分裂模块975。该设备还包括用于放大所述输入数据结构S₀的放大器920、用于滤波所述放大的输入数据结构的第二低通滤波器930、用于根据去噪掩模M对所述滤波后的放大输入数据结构进行局部去噪的局部去噪器F2b(其中获得局部去噪的低频放大数据结构L₁)、通过外推高频输入数据结构H₀并标准化外推的高频放大数据结构来生成标准化的高频放大数据结构H_1，n的跨尺度块匹配模块95(其中外推使用局部去噪低频放大数据结构L₁和低频输入数据结构L₀之间的对应关系)、用于对轮廓区域内的标准化的累加的(即，平均的)像素值进行局部去噪的局部标准化器F3b(从而获得局部去噪的标准化的高频放大数据结构H_1，uf)、用于过滤局部去噪的标准化高频放大数据结构H_1，uf的高通滤波器995以及用于组合(例如，逐个像素相加)高通滤波过的局部去噪的标准化的高频放大数据结构H₁和局部去噪的低频放大数据结构L₁的组合单元999(从而获得去噪的超分辨率处理的数据结构S₁)。具有合适的尺寸的各种存储器MemL₀、MemL₁、MemH₀、MemH₁可被用于中间存储设备，该中间存储设备可以实现为单个或多个物理存储器。

在一个实施方案中，所述分裂模块包括用于对所述输入数据结构S₀进行滤波的第一低通滤波器970，其中获得低频输入数据结构L₀，和用于计算输入数据结构S₀和低频输入数据结构L₀之间的差的加法器、减法器或差分器980，从而生成高频输入数据结构H₀。

在一个实施例中，所述跨尺度块匹配模块95包括：用于确定在局部去噪的低频放大数据结构L₁中的第一位置处的第一片的第一确定单元951；用于在所述低频率输入数据结构L₀中搜索与第一片最佳匹配的第一块的搜索单元952；用于确定所述第一块在低频输入数据结构L₀中的位置的第二确定单元954；用于选择在高频输入数据结构H₀中确定的位置处的第二块的选择器单元955；用于累加所选择的第二块的像素数据到第二片的累加器957，所述第二片是高频放大数据结构H_1，acc中第一位置处的片；控制单元950，用于重复处理局部去噪的低频放大数据结构L₁中的多个片；用于标准化HF放大数据结构H_1，acc中累加的像素值的标准化单元990。

去噪掩模生成器F1b(它还可以被认为是区域选择器块)发现具有高对比度的像素(即，轮廓区域)并选择局部邻域中的所有像素作为轮廓区域的一部分。在一个实施例中，它包括高对比度轮廓检测器模块F1.1b和扩大和调整模块F1.2b。高对比度轮廓检测器模块F1.1b通过检测图像导数的高一阶近似(high first order approximation)(例如，通过两个Sobel一阶导数估计器)来测量高对比度，并提供1个像素宽度的轮廓。扩大和调整模块F1.2b将形态扩大(morphologic dilation)应用到轮廓，以便为每个轮廓设置预定义宽度(例如，向轮廓像素两侧3个像素)。

更多的实施例，其中有一些也在图1和/或图9中示出，在下面描述。

在一个实施例中，该方法还包括以下步骤：确定151、152在低频输入数据结构L₀中的第一搜索窗口W₁，其中所述第一个搜索窗口W₁覆盖与所述高频放大数据结构L₁中的所述第一位置相对应的位置处的块的周围的区域，并且其中在低频输入数据结构L₀中的搜索152、154仅在第一搜索窗口W₁中执行。所述确定151、152在低频输入数据结构L₀中的搜索窗口W₁的步骤，对低频放大数据结构L₁中的每个新片重复执行。

在一个实施例中，被所述搜索窗口覆盖的区域包括在与高频放大数据结构L₁的所述第一位置相对应的位置处的块的周围的低频放大数据结构L₀的每个方向上的多个值。

在一个实施例中，低频放大数据结构L₁中的每个新片P_n，L1与至少一个先前处理的片重叠。

在一个实施例中，低频放大数据结构L₁通过以放大因子n对输入数据结构S₀进行放大120获得，通过所述第二低通滤波器F_1，1对放大输入数据结构进行滤波130，并在缩小单元940中以缩小因子d缩小140滤波过的放大输入数据结构，其中n＞d。因此获得最终的非整数放大因子n/d。

在一个实施例中，所述第一低通滤波器F_1，0和所述第二低通滤波器F_1，1是等效滤波器(即，关于标准化截止频率)。

在一个实施例中，第一低通滤波器F_1，0具有这样的特征：阶数N₀、幅度σ₀＝1和标准化截止频率Ω₀＝d/n，所述第二低通滤波器F_1，1具有这样的特征：阶数N₁＝nN₀、幅度σ₁＝n和标准化截止频率Ω₁＝1/n。

在一个实施例中，该方法进一步包括以下步骤：使用高通滤波器F_h，1对所述高频放大数据结构H_1，acc进行滤波。所述的高通滤波器F_h，1具有标准化截止频率Ω_1，h＝d/max{d，n}＝d/n、阶数N_1，h＝round(N₀*n/d)以及幅度σ_1，h＝1。

在一个实施例中，该方法进一步包括以下步骤：确定低频放大数据结构L₁中的新片P_n，L1，在低频输入数据结构L₀中搜索152、154与所选择的片P_n，L1最佳匹配的块B_n，L0，选择155高频输入数据结构H₀中的对应块B_n，H0，并将所选择的对应块B_n，H0累加157到高频放大数据结构H_1，acc中所述新片P_n，L1的位置处的片P_n，H1上。上述步骤对所有片重复，直到完整的低频放大数据结构L₁被覆盖。

在一个实施例中，该方法还进一步包括以下步骤：对高频放大数据结构H_1，acc中的每一像素的贡献的数量进行计数，即，高频输入数据结构H₀中对高频放大数据结构H_1，acc的一像素有贡献的块的数量。标准化190步骤包括然后将累加的H_1，acc中的每一像素的值除以贡献的数量。

在一个实施例中，输入数据结构是2D数字图像。在另一个实施例中，输入数据结构是3D数字图像。数字图像一般可以是数字视频序列的一部分。

在一个实施例中，输入数据结构包括数字2D数据，并且每个块和每个片包含至少5×5个值，所述搜索窗口覆盖至少9×9个值，并且每个片与至少一个较早处理的片重叠至少2个值。

在一个实施例中，所述装置进一步包括用于LF输入数据结构L₀、LF放大数据结构L₁、HF输入数据结构H₀和HF放大数据结构H₁之中至少一个的中间存储设备的至少一个存储器MemL₀、MemL₁、MemH₀、MemH₁。

在一个实施例中，所述装置进一步包括其中有搜索窗口的搜索单元952，以及用于在低频输入数据结构L₀中确定搜索窗口W₁的确定单元，其中所述搜索窗口W₁覆盖对应于高频放大数据结构L₁中的所述第一位置的位置处的块的周围的区域，并且其中所述搜索单元952仅在第一搜索窗口W₁中搜索低频输入数据结构L₀。

在一个实施例中，所述装置进一步包括用于对高频放大数据结构H_1，acc中的每一像素的贡献的数量进行计数的计数器953。标准化单元990执行将累加的每一像素的值除以贡献的数量的操作。

图10在a)和b)示出了图像及其原始频谱。此外，图10c)示出了它根据本发明放大之后的图像的频谱，并且图10d)示出了使用已知的双三次插值进行传统放大的图像的频谱。可以认识到的是，在这个例子中沿对角线的附加值可见，传统放大图像的限幅频谱得到了改善。换句话说，本发明的一个优点是使得根据本发明进行放大的数据结构的频谱，相较于使用传统方法放大的数据结构的频谱，更加接近原始频谱。该频谱清楚地示出了本发明所公开的方法如何能够合理似真地外推放大图像的缺失的高频(它们可在放大图像更加锐利的轮廓上观察到，这导致形成视觉上更吸引人的图像)，而双三次插值则引入了大量的混叠伪像。

所公开的方法已经在多个公共可用的、将对其较高分辨率的版本进行估计的低分辨率输入图像上实施和测试。在一个实施例中，通常只应用到输入图像的亮度通道，而颜色使用如双三次插值的更快的算法进行放大。在图10的例子中，通过三次迭代地将较小的放大因子1.5×(n＝3，d＝2)应用于所述输入图像从而获得超分辨率处理的图像。

图11示出了在所公开的用于改善超分辨率处理单幅图像的鲁棒性的方法的一个实施例中包括的三个原理阶段。在第一阶段1110，执行输入图像的基于内插的放大，然后对低分辨率图像执行等效的低通滤波操作，以及对低分辨率图像执行第一去噪操作。第二阶段1120包括搜索高分辨率图像中被检查的片和低分辨率低频图像中局部邻域中的片(包括部分重叠片)之间的低频匹配，并累加从低分辨率图像获得的高频贡献。第三阶段1130包括标准化和高通滤波，执行第二去噪操作并将高分辨率图像的低频频带的贡献与所述外推的高通滤波过的标准化高频频带相加。

图13示出了示例性的混叠输入图像(左边)和其对应的去噪掩模(右边)。显然，噪声区域被确定为主要在图像中的边缘或轮廓附近。

图12示出了在一个本发明的实施例中用于改善抵抗在对数字1D、2D或3D数据的低分辨率输入数据结构S₀执行超分辨率处理的方法中的混叠的鲁棒性的方法的流程图。在此实施例中，方法1200包括以下步骤：

在区域选择器中产生1205去噪掩模M，包括轮廓检测步骤1260以及扩大和调整步骤1270，

将输入数据结构S₀分裂或分离1270为低频输入数据结构L₀和与低频输入数据结构L₀互补的高频输入数据结构H₀，

根据所述输入数据结构S₀内插1210噪声低频放大数据结构L_1，n，

在去噪掩模M指示为轮廓区域的区域内对噪声低频放大数据结构L_1，n进行局部去噪1220，由此获得局部去噪的低频率放大数据结构L₁，

对局部去噪LF放大数据结构L₁执行跨尺度块匹配1240，包括如上所述的标准化，由此获得标准化的高频放大数据结构H_1，n，

在局部正则化HF合成步骤1250中，对标准化的高频放大数据结构H_1，n进行局部去噪，由此在去噪掩模M指示为轮廓区域的区域中进行局部去噪(即，与用于对噪声低频放大数据结构L_1，n执行局部去噪相同的区域)，并且由此获得局部去噪的标准化高频放大数据结构H_1，uf，

在高通滤波器F_h，1(如上所述)中对局部去噪的标准化高频放大数据结构H_1，uf进行滤波1280，由此获得高通滤波后的局部去噪的标准化高频放大数据结构H₁，以及

将所述局部去噪的标准化高频放大数据结构H₁与局部去噪的低频放大数据结构L₁相加1290，从而获得超分辨率处理的数据结构S₁。

在各种实施例中，该方法的一些或所有的步骤或者元件如上面结合图1～11进行的描述。

在本发明的一个类似的实施例中，一种用于改善抵抗在对数字1D、2D或3D数据的低分辨率输入数据结构S₀执行超分辨率处理的应用中的混叠的鲁棒性的装置，包括包含轮廓检测单元以及扩大和调整单元的去噪掩模生成单元；用于将输入数据结构S₀分裂或分离成LF输入数据结构L₀和与LF输入数据结构L₀互补的HF输入数据结构H₀的分裂或分离单元；用于根据输入数据结构S₀内插(潜在的噪声)低频放大数据结构L_1，n的内插单元；用于在去噪掩模指示为轮廓区域的区域内对噪声低频放大数据结构L_1，n进行局部去噪，由此获得局部去噪的LF放大数据结构L₁的局部去噪单元；用于对局部去噪的LF放大数据结构L₁执行跨尺度块匹配(包括如上所述的标准化)，由此获得标准化HF放大数据结构H_1，n的跨尺度块匹配单元；用于在局部正则化的HF合成中对标准化的高频放大数据结构H_1，n进行局部去噪，由此在去噪掩模指示为轮廓区域的区域内进行局部去噪，并由此获得局部去噪的标准化HF放大数据结构H_1，uf的局部正则化HF合成单元；用于对局部去噪的标准化HF放大数据结构H_1，uf进行滤波，由此获得高通滤波后的局部去噪的标准化HF放大数据结构H₁的高通滤波器F_h，1(如上所述)；以及用于将局部去噪的标准化HF放大数据H₁与局部去噪的LF放大数据结构L₁(1D、2D、3D)相加，从而获得超分辨率处理的数据结构S₁的加法器单元。在各种实施例中，该方法的一些或所有的步骤或者元件如上面所描述。

如附图12所示，高对比度轮廓检测块1260和扩大和调整块1270关联在一起构成区域选择器块1205，局部去噪块1220和局部正则化HF合成块1250阻止了潜在存在于输入的低分辨率图像中的混叠的传播。在一个实施例中，局部去噪块1220在区域选择块1205所选择的区域中执行正则化机制以除去不想要的高频纹理(即，噪声)。最后，至少对由于LR输入图像中存在混叠而导致的伪像，局部正则化HF合成块1250生成不存在伪像的高分辨率HF频带。

在下文中，将更详细地描述具有高对比度轮廓检测块1260以及扩大和调整块1270的区域选择器1205、局部去噪块1220和局部正则化HF合成块1250的实施例。

区域选择器

该阶段的目的是找到具有高对比度的像素，并且拾取局部邻域中的所有像素作为轮廓区域的一部分。在一个实施例中，高对比度被测量为图像导数的一阶近似。该区域选择器模块1205为后续阶段提供去噪掩模M。

高对比度轮廓检测块

在该阶段中，两个Sobel一阶导数估计器被用于获得垂直和水平图像导数。然后，水平或垂直导数高于特定阈值(例如，0.1)的所有像素被选择为轮廓像素，后面的细化阶段提供1个像素宽度的轮廓。这一技术中是图像处理中的标准。在其他实施例中，该阶段被实现为专用混叠检测器，或两种方法的组合。

在所有情况下，目的是选择图像中易于受到混叠伪像影响的区域。

扩大和调整块1270

作为另一个标准技术，应用形态扩大以便为轮廓设置预定义的宽度(例如，朝向轮廓像素两侧3像素)。这限定了具有潜在伪像的区域，特别是混叠导致的伪像，它将在后续阶段中进行处理。

因为剩余的计算将在具有对应于最终的超分辨率处理的图像的尺寸的图像(或者子图像)中进行，因此扩大的轮廓被放大以匹配超分辨率处理的图像的分辨率。

局部去噪块1220

对于下面的计算，令x₁为通过放大输入的低分辨率图像I₀所获得的超分辨率处理的图像的内插LF频带(即，X₁对应于图12中L_1，n，以及I₀对应于S₀)。然后，我们想要获得SR图像的LF频带的无混叠估计。已知混叠伪像的结构，即小尺度高频变化(small scale high-frequency variation)，我们将除去混叠的问题转化为区域选择器1205选择的感兴趣区域内的去噪问题。所述模型被定义为

$M\left(L_1\right):{=\min }_{L_1}\left\{\right||M(L_1-X_1){\left|\right|}_2^2+\mathrm{\λM}\left(\right||\▿L_1{\left|\right|}_1)\}---\left(1\right)$

换句话说，总变差(TV)正则化矩阵被施加到由二进制掩模(或信令函数)M所定义的感兴趣区域上。正则化因子λ的值必须被如此设定以使得它除去不想要的伪像的同时保持细节。这可以通过标准化互相关方法解决。在实践中，0.05附近的值(例如0.03至0.07)表现良好。这种类型的正则化矩阵的目的是除去具有包含混叠的潜在风险的区域内不想要的HF结构。L₁的其余像素(掩模M指示为不是轮廓区域的那些像素)被设定为X₁中包含的值。

为了找到上述函数的最小值，应用迭代梯度方法，它需要足够的迭代次数(例如100)以收敛于最优值。找到迭代解(其中超级索引t和t+1表示迭代)为：

$M{\left(L_1\right)}^{t+1}:=M{\left(L_1\right)}^t-{\mathrm{\μ}}^t\▿\left\{\right||M({L_1}^t-X_1){\left|\right|}_2^2+\mathrm{\λM}\left(\right||\▿{L_1}^t{\left|\right|}_1)\}---(2)$

步骤μ^t被初始化为相对较高的值，例如，0.1(±10％)，当问题远离收敛时，第一迭代期间允许较大的变化。μ的选择的实际示例为，μⁱⁿⁱ＝0.1，μ^end＝0.01，以及

μ^t：＝μ^t-1×(μ^end/μⁱⁿⁱ)^(1/(nmax-1))    (2a)其中nmax是迭代的最大次数。然后μ在每次迭代中按指数规律地减少，使得在最后的迭代中，当问题接近收敛时，仅允许接近最优的解的较小变化。每当梯度的幅度

落在某一给定的门限之下或达到迭代的最大次数时，该方法就终止。

在局部去噪块1220的输出处，获得超分辨率处理的图像的LF频带的新版本，其极大地减少了至少那些由区域选择器1205检测的区域中输入图像的空间混叠所导致的伪像的存在。

局部正则化HF合成块1250

类似于局部去噪块1220，混叠被建模为在具有高对比度围绕轮廓的区域内存在HF信息。而在非轮廓区域中，高频带内每一个像素的值被生成为来自Nc个重叠片的贡献的平均值，如上所述，这种贡献在选择区域(即轮廓区域)内正则化以中和，或者至少降低超分辨率处理的图像中混叠的传播。

为了在下文中简化表示，我们假设每个像素获得相同数量的重叠贡献(尽管这可能对例如靠近轮廓的像素不成立)，并且每个像素来自固定距离处的图像模块的贡献被组合在完全(complete)噪声高频频带X_i，i＝{1，...，N_c}中。

令H₁为将要通过利用跨尺度自相似性合成的想要的SR图像(高通滤波之前)的HF频带。然后，由也在局部去噪块1220中使用的指示函数(即，去噪掩模)M发出信号指示的感兴趣区域的HF频带表示为：

$M\left(H_1\right):={\min }_{H_1}\left\{\right||{\mathrm{\Σ}}_{i=1}^{N_C}M(H_1-X_i){\left|\right|}_2^2+\mathrm{\λM}\left(\right||\▿H_1{\left|\right|}_1)\}---\left(3\right)$

采用相同的梯度下降方法以最小化该函数并定义由潜在受到混叠影响的像素的掩模(即，去噪掩模)M发出信号指示的高频频带的内容。剩下的像素如上所述被设定为贡献的平均值。如果我们定义了N为与M互补的掩模，使得在图像的各处M+N＝1，那么完整的合成高频频带的组成为：

$H_1=M\left(H_1\right)+N\left(\frac{1}{N_C}{\mathrm{\Σ}}_{i=1}^{N_C}{X}_i\right)---\left(4\right)$

改善的鲁棒性的优点在于：由此获得的超分辨率处理的图像在具有高对比度轮廓的区域内不含伪像，所述具有高对比度轮廓的区域是较可能发生混叠的区域。因此，在正常的超分辨率处理导致输入图像中整个混叠的高对比度轮廓上出现不想要的波动的图像中，由于改进的鲁棒性将获得在感知上更真实和锐利的超分辨率处理结果。此外，该方法可以高效地实现在GPU或其他并行处理器上。它可以用在当只有一个图像可用时可以正确地超分辨率处理混叠的输入数据的、包括多核心处理器的超分辨率处理算法的图像系统中。

作为另一个优点，所公开的方法在计算上相对高效(它只需要单幅图像，并且主要处理步骤是小尺寸局部搜索)，放大因子的定义是灵活的(它使得可以使用合理的放大因子和直接FIR滤波器设计)，并且也可以推广为对不同性质的信号进行处理(不需要有关信号模型、超越局部自相似性的先验假设)。

本发明的再一个优点在于，只使用输入数据结构的单个放大过程，并且外推根据原始分辨率的输入数据结构执行。因此，由放大所引入的伪像的数量得以最小化，这特别有利于合理的放大因子，以及较宽的高频频带可用于增强高频率高分辨率数据结构中的信息。

本发明的另一个优点是提供了用于设计滤波器的清晰的、简单的规则，并且由于它们是空间不变的，因此滤波器只需要设计一次。

本发明的另一个优点是，由于空间平均，高频高分辨率数据结构H₁比之使用传统方法所获得的其他的高频高分辨率数据结构对噪声和其他伪像具有更多的鲁棒性。

本发明的另一个优点是在于，用于融合内插的低频率高分辨率频带L₁和外推的高频高分辨率频带H₁的过程考虑它们之间的频谱相干性(spectralcoherence)。这通过对高频高分辨率数据结构的高通滤波器的合理设计而实现。

在上述方案中，子索引0用于表示低分辨率图像，子索引1用于表示超分辨率处理的图像。大写字母L和H分别对应于低频频带和高频频带。索引acc、n和uf代表“累加”、“标准化/噪声”和“未滤波”。

应当注意，虽然简单地示出为单幅数字图像，但是也可以构建除了数字图像以外的其他类型的数字数据结构，这对于本领域的普通技术人员来说是显而易见的，所有这些都被认为落在本发明内。类似的原理也可以应用于其他图像处理任务，如图像去噪或其他恢复过程，也可用于获得不同性质和维数的超分辨率处理信号，例如音频信号。此外，尽管在本文描述的实施例中，局部去噪被分别地应用到由去噪掩模所限定的区域中的HR图像的HF频带和HR图像的LF频带的像素上，但是当局部去噪应用到HR图像的HF频带和LF频带上的至少一个时，也可实现有利的效果。

虽然所公开的方法和装置对单幅图像进行操作，但是有利地不需要数据库以获取足够多包含高频部分(即细节)的实例。

虽然这里已经示出、描述和指出了本发明应用于其优选实施例的根本新颖特征所在，但是应当理解，本领域的技术人员可以在不脱离本发明的精神的情况下对所描述的装置和方法、所公开的设备的形式和细节以及它们的操作做出各种省略、替换和改变。示例性地，尽管本发明已经公开为关于正方形块和片，但是本领域技术人员将认识到，本文所述的方法和设备可应用于其他形状和/或尺寸的块和片，例如矩形形状或自由形式的形状、4×4、...16×16、正方形等。此外，尽管本发明已经公开为关于空间分辨率，但是本领域技术人则将认识到，本文所述的方法和设备在必要的修改的情况下可以应用于时间分辨率。这里明确表明的是，以基本相同的方式执行基本相同功能获得相同结果的这些元素的所有组合都在本发明的范围内。将一个所述实施方案中的元件用另一个替代也是完全在预期内并可以考虑的。

应当理解，本发明已经仅通过示例描述，可以在不偏离本发明范围的前提下进行细节上的修改。

本说明书以及(在适用时)权利要求和附图中公开的每一特征可以单独或以任何合适的组合的方式提供。特征可以适当地被实施为硬件、软件或两者的组合，例如，在图形硬件(GPU)上。权利要求中出现的参考标号仅作为示例，而不应对权利要求的范围有任何限制影响。

引用的参考文献

《Super Resolution from Image Sequences》，M.Irani和S.Peleg(Int.Conf.on Pattern Recognition，1990)

《Fundamental Limits of Reconstruction-Based Super resolution Algorithmsunder Local Translation》，Z.Lin和H.-Y.Shum(IEEE Trans.On PatternAnalysis and Machine Intelligence，2004)

《Example-based super-resolution》，W.T.Freeman，T.R.Jones和E.C.Pasztor(IEEE Computer Graphics and Applications，2002)

《Super-Resolution from a Single Image》，D.Glasner，S.Bagon和M.Irani(IEEE Int.Conf.on Computer Vision，2009)

《Space-Time Super-Resolution from a Single Video》O.Shahar，A.Faktor和M.Irani(IEEE Conf.on Computer Vision and Pattern Recognition，2011)

《Image and Video Upscaling from Local Self-Examples》，G.Freedman和R.Fattal(ACM Trans.On Graphics，2010)

Claims (15)

1.一种用于对数字1D、2D或3D数据的低分辨率输入数据结构(S₀)执行超分辨率处理的方法，包括以下步骤：

-检测(F1)低分辨率输入数据结构中可能出现混叠的一个或多个区域，并生成指示检测到的低分辨率输入数据结构中的一个或多个区域的去噪掩模(M)；

-将输入数据结构(S₀)分裂(170，180)成低频输入数据结构(L₀)和与低频输入数据结构(L₀)互补的高频输入数据结构(H₀)，其中使用第一低通滤波器(F_1，0)；

-放大(120)输入数据结构(S₀)并通过第二低通滤波器(F_1，1)滤波(130)放大的输入数据结构，其中获得低频放大数据结构(L_1，n)；

-根据所述去噪掩模(M)局部去噪(F2)低频放大数据结构(L_1，n)中的一个或多个区域，其中获得局部去噪的低频放大数据结构(L₁)；

-通过外推高频数据结构(H₀)生成(150，190)标准化的高频放大数据结构(H_1，n)，其中使用局部去噪的低频放大数据结构(L₁)和低频输入数据结构(L₀)之间的对应关系，并且其中执行跨尺度块匹配(150)和标准化(190)；

-在局部正则化步骤中局部去噪(F3)标准化的高频放大数据结构(H_1，n)，由此根据去噪掩模(M)在所述一个或多个区域中执行局部去噪，并由此获得局部去噪的标准化的高频放大数据结构(H_1，uf)；

-高通滤波(195)标准化的高频放大数据结构(H_1，uf)，由此获得高通滤波过的标准化的高频放大数据结构(H₁)；以及

-将所述高通滤波过的标准化的高频放大数据结构(H₁)加到所述低频放大数据结构(L₁)，由此获得超分辨率处理的数据结构(S₁)。

2.根据权利要求1所述方法，其特征在于，所述生成(150、190)标准化的高频放大数据结构(H_1，uf)的步骤包括以下步骤：

-确定局部去噪的低频放大数据结构(L₁)中在第一位置处的第一片(P_n，L1)；

-在低频输入数据结构(L₀)中搜索(152、154)与第一片(P_n，L1)最佳匹配的第一块(B_n，L0)，并确定所述第一块(B_n，L0)在低频输入数据结构(L₀)中的位置；

-选择(155)高频输入数据结构(H₀)中在确定的位置处的第二块(B_n，H0)；

-累加(157)所选择的第二块(B_n，H0)的像素数据到第二片(P_n，H1)，所述第二片是高频放大数据结构(H_1，acc)中在第一位置处的片；

-重复(150)以下步骤：确定局部去噪的低频放大数据结构(L₁)中的新片(P_n，L1)，在低频输入数据结构(L₀)中搜索(152、154)与选择的片(P_n，L1)最佳匹配的块(B_n，L0)，选择(155)在高频输入数据结构(H₀)中的对应块(B_n，H0)，以及将所述选择的对应块(B_n，H0)的像素数据累加(157)到高频放大数据结构(H_1，acc)中在所述新片(P_n，L1)的位置处的片(P_n，H1)上；以及

-标准化(190)高频放大数据结构(H_1，acc)中累加的像素值，由此获得标准化的高频放大数据结构(H₁)。

3.根据权利要求2所述的方法，其中局部去噪的低频放大数据结构(L₁)中的每个新片(P_n，L1)与至少一个先前处理的片重叠。

4.根据权利要求2或3所述方法，其特征在于，还包括如下步骤：

确定(151、152)在低频输入数据结构(L₀)中的第一搜索窗口(W₁)，其中所述第一搜索窗口(W₁)覆盖与高频放大数据结构中的所述第一位置相对应的位置处的块的周围的区域，其中在低频输入数据结构(L₀)中的搜索(152、154)仅在第一搜索窗口(W₁)中执行，并且其中确定(151、152)在低频输入数据结构(L₀)中的搜索窗口(W₁)的步骤对局部去噪的低频放大数据结构(L₁)中的每个新片重复执行。

5.根据权利要求2所述的方法，还包括以下步骤：对高频放大数据结构(H_1，acc)中的每个像素的贡献的数量进行计数，其中标准化(190)步骤包括将累加的每个像素的值除以贡献的数量。

6.根据权利要求1所述的方法，其中所述检测(F1)低分辨率输入数据结构中可能出现混叠的一个或多个区域包括轮廓检测(1260)的步骤。

7.根据权利要求6所述的方法，其中所述检测(F1)低分辨率输入数据结构中的一个或多个区域的步骤进一步包括扩大和调整的步骤(1270)，其中轮廓检测(1260)检测到的至少一个轮廓被加宽，并且其中被加宽的轮廓被调整到超分辨率处理的数据结构(S₁)的尺寸。

8.根据权利要求1的方法，所述局部去噪低频放大数据结构(L_1，n)中的一个或多个区域的步骤包括应用总变差正则化到由去噪掩模指示为可能发生混叠的区域的一个或多个轮廓区域上。

9.根据权利要求1所述方法，其中局部去噪(F2)低频放大数据结构(L_1，n)中的一个或多个区域的步骤和局部去噪(F3)标准化的高频放大数据结构(H_1，n)的步骤中的至少一个包括应用总变差正则化到由去噪掩模指示为可能发生混叠的区域的一个或多个轮廓区域上。

10.根据权利要求1的方法，其中所述局部去噪(F2)低频放大数据结构(L_1，n)中的一个或多个区域的步骤，总变差正则化根据输入低分辨率输入数据结构(S₀)的像素合成局部去噪的标准化的高频放大数据结构(H_1，uf)的像素。

11.根据权利要求1所述方法，其中低频放大数据结构(L₁)通过以下步骤获得：以放大因子n放大(120)输入数据结构(S₀)、通过所述第二低通滤波器(F_1，1)对放大的输入数据结构进行滤波(130)并以缩小因子d缩小(140)所述滤波过的放大输入数据结构，n＞d，其中获得最终的非整数放大因子n/d。

12.根据权利要求1所述方法，其中对所述标准化的高频放大数据结构(H_1，uf)进行滤波的步骤通过具有标准化截止频率Ω_1，h＝d/n，阶数N_1，h＝round(N₀*n/d)以及幅度σ_1，h＝1的高通滤波器(F_h，1)执行。

13.根据权利要求1所述方法，其中输入数据结构包括数字2D数据，其中每个块和每个片包含至少5×5个值，所述搜索窗口覆盖至少9×9个值，并且每个片与至少一个早前处理的片重叠至少2个值。

14.一种用于对数字数据的低分辨率输入数据结构(S₀)执行超分辨率处理的装置，包括：

-去噪掩模生成器(F1b)，用于生成指示低分辨率输入数据结构中可能发生混叠的一个或多个区域的去噪掩模(M)；

-分裂模块(975)，用于将输入数据结构(S₀)分裂成低频输入数据结构(L₀)和与低频输入数据结构(L₀)互补的高频输入数据结构(H₀)，其中使用第一低通滤波器(F_1，0)；

-放大器(920)，用于放大输入数据结构(S₀)；

-第二低通滤波器(930)，用于滤波放大的输入数据结构，其中获得低频放大数据结构(L_1，n)；

-局部去噪器(F2b)，用于根据低频放大输入数据结构(L_1，n)对所述一个或多个由去噪掩模(M)指示的区域局部去噪，其中获得局部去噪的低频放大数据结构(L₁)；

-跨尺度块匹配模块(1240)，用于通过外推高频输入数据结构(H₀)并标准化外推的高频放大数据结构生成标准化的高频放大数据结构(H_1，n)，其中外推使用局部去噪的低频放大数据结构(L₁)和低频输入数据结构(L₀)之间的对应关系；

-局部正则化器(F3b)，用于根据标准化的高频放大数据结构(H_1，n)对所述一个或多个由去噪掩模(M)指示的区域局部去噪，由此获得局部去噪的标准化的高频放大数据结构(H_1，uf)；

-高通滤波器(995)，用于滤波局部去噪的标准化的高频放大数据结构(H_1，uf)，由此获得高通滤波过的标准化的高频放大数据结构(H₁)；以及

-组合单元(999)，用于组合所述高通滤波过的局部去噪的标准化的高频放大数据结构(H₁)和所述局部去噪的低频放大数据结构(L₁)，由此获得超分辨率处理数据结构(S₁)。

15.根据权利要求14所述的用于对低分辨率输入数据结构(S₀)执行超分辨率处理的装置，其中跨尺度块匹配模块(1240)包括：

-第一确定单元(951)，用于确定低频放大数据结构(L₁)中在第一位置处的第一片；

-搜索单元(952)，用于在低频输入数据结构(L₀)中搜索与第一片最佳匹配的第一块；

-第二确定单元(954)，用于确定所述第一块在低频输入数据结构(L₀)中的位置；

-选择器单元(955)，用于选择在高频输入数据结构(H₀)中确定的位置处的第二块；

-累加器(957)，用于累加所选择的第二块的像素数据到第二片，第二片是高频放大数据结构中第一位置处的片；

-控制单元(950)，用于控制重复对低频放大数据结构(L_1，n)中多个片的处理；以及

-标准化(990)单元，用于标准化在高频放大数据结构中累加的像素值，由此获得标准化的高频放大数据结构(H₁)；

以及，其中所述去噪掩模生成器(F1b)包括

-高对比度轮廓检测器模块(F1.1b)；以及

-放大和调整模块(F1.2b)。

Images