CN101379827B - 基于边缘的时空滤波方法和装置 - Google Patents

Abstract

提出基于边缘的时空滤波方法和装置。一种用于对图像序列进行滤波的装置，包括：空间滤波器(110，190)、运动补偿器(130)、去块滤波器(140)和时间滤波器(150)。空间滤波器(110，190)，用于对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波。运动补偿器(130)，与所述空间滤波器信号通信，用于在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测。去块滤波器(140)，与所述运动补偿器信号通信，用于对所述多个时间预测进行去块滤波。时间滤波器(150)，与所述去块滤波器信号通信，用于对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

Description

基于边缘的时空滤波方法和装置

相关申请的交叉参考

本申请要求在2006年1月31日提交的美国临时申请60/764,252的优先权，其全部公开一并在此作为参考。

技术领域

本发明一般涉及视频编解码，尤其涉及基于边缘的时空滤波方法和装置。

背景技术

从低分辨率图像序列中生成超分辨率图像近来受到广泛关注，并导致几种强制算法的出现。然而，多数现存的算法依靠相对复杂并很难实施的模型。进而，许多现存的算法并不总能达到令人满意的结果。

成像传感器的物理约束会显著的限制图像分辨率，因而会限制所捕获的图像的质量。如果检测器阵列并不足够密集，这会导致混杂(aliased)或欠采样图像。近来，在通过考虑相同场景的多个捕获图像来产生更高分辨率和质量的图像方面做了许多工作。这个过程被称作超分辨率图像生成。超分辨率图像生成尤其适合依次捕获的图像，举例来说，使用视频摄像机，因为连续帧之间存在高度的时间和空间相关性。

超分辨率图像生成有许多不同的应用，从为了打印的目的从低分辨率视频图像产生静态图像，到从标准清晰度(SD)信号中产生高清晰度电视(HDTV)。另一应用是在安防/监视系统和法院学科领域中，特别是在2001年9月11号之后，为了达到例如通过识别嫌疑犯解决或甚至是防止犯罪的目的，很希望从捕获的图像序列中生成超分辨率图像。其他应用包括航空/卫星成像、天文和医学成像。尽管，从通常在电影和电视节目中显示的静态图像中产生超分辨率图像仍不太现实，但是最近提出的方法可以产生很令人印象深刻的结果。

许多先前的技术利用傅立叶域方法，其中从低分辨率图像的低频数据中提取高频信息。尽管这样的方法实施起来相对简单，但是不幸的是在性能和适用性方面，由于其不能处理局部和全局运动，其同样在相当程度上受到了限制。可替代的，空间域技术可以产生相当好的结果，尽管，由于其需要考虑运动配准并在许多情形下会迭代，该技术会复杂得多。一些这样的方法同样适合压缩的视频，这样使其在适用性和有用性方面更具吸引力。通常的，大部分这样的方法使用确定性方法，诸如凸集投影(POCS)，在不考虑任何源统计的情形下，在空间域内提高分辨率，而其他方法基于统计公式，诸如最大似然或最大后验概率(MPA)估计。

一个非常类似超分辨率生成的应用是视频降噪。视频降噪是许多现代视频编码结构的特征，因为其可以相当大的提高编码效率，同时，改善客观和主观质量。数字静态或视频图像包含由于捕获或模数转换过程而产生的噪声，或甚至是由于传输的原因而产生的噪声。然而，噪声除了其自身在视觉上不令人满意的印象，还在许多应用中有几种严重的影响，尤其是在视频压缩中。由于其随机特性，噪声很大程度上降低了时间和空间相关性，因此限制了该带噪视频信号的编码效率。所以，期望在没有消除图像中任何重要细节的情况下，诸如边缘和纹理，能够消除噪声。

已经提出了几种视频降噪结构，其中通过考虑空间或时间滤波方法或其组合而进行降噪。甚至是最先进的空间方法，诸如维纳或小波滤波，都趋向更适合于静态图像，同时由于其特性，时间和时空方法更加适合视频信号，因为相邻图像之间存在时间相关性。在该技术领域中广泛已知这样的方法，并且通常被归类到运动和非运动补偿滤波中，其在对当前图像进行滤波时可能会也可能不会考虑运动估计和补偿技术。

在第一种现有方法中，提出了一种结合有视频编码器的时空视频降噪结构，该视频编码器符合国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟，电信部分(ITU-T)的H.264推荐标准(在下文中称作“MPEG-4AVC标准”)。在第一种现有技术的方法中，使用基于阈值的3×3像素平均对所有像素进行空间滤波，同时为了进行时间滤波而重新使用MPEG-4AVC标准的运动估计过程。鉴于MPEG-4AVC标准允许考虑和使用多个参考以用于预测块或宏块，可能使用这种策略在本质上产生针对当前像素的几种可能的时间预测。然后，将这些时间预测一起进行平均，以形成最终的滤波后的图像。在这种方法中需要注意的是，对先前滤波的像素执行运动估计和补偿。尽管这个过程会产生更为精确的运动场，但是这个过程同样导致场景中某些更为精确细节的消除的情况，诸如纹理和边缘。

在第二种现有技术方法中已经提出了这个概念的延伸，包括执行更多高级运动补偿方法，考虑用小波滤波代替基于阈值的中值。在第二种现有技术的方法中，引进去块滤波，其应用于运动补偿后的残余，因此导致最终降噪的视频中更少的伪像。

发明内容

本发明论述了现有技术的这些和其他缺点和不利，本发明涉及基于边缘的时空滤波方法和装置。

根据本发明原理的一个方面，提出了一种用于对图像序列进行滤波的装置。该装置包括空间滤波器、运动补偿器、去块滤波器和时间滤波器。空间滤波器用于对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波。运动补偿器与所述空间滤波器信号通信，用于在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测。去块滤波器与所述运动补偿器信号通信，用于对所述多个时间预测进行去块滤波。时间滤波器与所述去块滤波器信号通信，用于对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

根据本发明原理的另一方面，提供了一种用于从图像序列形成超分辨率图像的装置。该装置包括空间滤波器、运动补偿器、空间上采样器、去块滤波器和时间滤波器。空间滤波器用于对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波。运动补偿器与所述空间滤波器信号通信，用于在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测。空间上采样器与所述运动补偿器信号通信，用于对该图像和至少一个参考图像执行空间上采样。去块滤波器与所述运动补偿器信号通信，用于对所述多个时间预测进行去块滤波。时间滤波器与所述去块滤波器信号通信，用于对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的上采样版本。

根据本发明原理的另一方面，提出了一种用于对图像序列进行滤波的方法。该方法包括：对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波。该方法还包括：在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测。该方法还包括：对所述多个时间预测进行去块滤波。此外，该方法包括在所述去块滤波之后，对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

根据本发明原理的又一方面，提出一种用于从图像序列形成超分辨率图像的方法。该方法包括：对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波。该方法还包括：在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测。该方法还包括：对该图像和所述至少一个参考图像执行空间上采样，并对所述多个时间预测进行去块滤波。此外，该方法包括：在所述去块滤波之后，对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

从下列的示例性的实施例的详细描述中，本发明的这些和其他方面、特征和优势将会变得更清晰，该实施例将连同与相关的附图而阅读。

附图说明

根据下列示例性附图可以更好的理解本发明，其中：

图1示出了根据本发明原理的具有超分辨率图像生成功能的示范性编码器的框图，本发明原理可应用于该编码器中；以及

图2示出了根据本发明原理的使用基于边缘的噪声滤波的示范性视频编码的流程图。

具体实施方式

本发明致力于基于边缘空时域滤波的方法和装置。

本描述说明了本发明的原理。这样很明显该技术领域的技术人员能够设计具体实施本发明的原理的各种不同的配置，尽管没有明确的在这里描述和显示，但是包括在其精神和范围内。

这里所引用的所有示例和条件语句都出于教学的目的，来帮助读者理解本发明的原理和发明人对本技术领域的进步所做贡献的概念，在没有特殊的对引用的示例和条件限制的情况下，对其进行分析。

此外，这里引用的原理，概念和本发明的实施方案，及其特殊的示例的全部叙述，都试图包括结构的和功能上的等同物。另外，这样的等同物意图包括当前已知的等同物，同时也包括未来开发的等同物，即不管结构如何，任何开发的可以执行相同功能的元件。

这样，例如，该技术领域的技术人员很明显看出，这里表示的框图代表体现本发明原理的示意性电路的概念图。同样的，很明显任何流程表，流程图，状态转移图，伪代码，和像这样的等等表示可以充分表示在计算机可读媒介和通过计算机或处理器如此执行的各种过程，无论是否明确示出该计算机或处理器。

可以通过使用专用硬件和结合适当的软件能够执行软件的硬件提供图中所示的各种单元的功能。当由处理器提供时，该功能可能会由单专用处理器，单共享的处理器，或多个单独处理器提供，其中的一些是可以共享的。此外，明显的使用“处理器”或“控制器”术语不应解释为专门涉及能够执行软件的硬件，并且在没有限制的情况下，隐含的包括数字信号处理器(“DSP”)硬件，存储软件的只读存储器(“ROM”)，随机存取存储器(“RAM”)和非易失性存储器。

还包括传统的和/或定制的其他硬件。同样的，图中所示的开关仅是概念性的。通过程序逻辑，专用逻辑，程序控制和专用逻辑的相互作用操作来执行它们的功能，或甚至人为的执行，通过制定者选择特定的技术来从上下文中更清晰的理解。

在权利要求书中，任何表示为装置的单元用来执行一个规定的功能，意图包括任何执行该功能的方式，其包括，例如a)执行功能的电路元件的组合，或b)任何形式的软件，这里包括，固件，微代码等，结合用于执行该软件的适当的电路，以执行该功能。该权利要求书中定义的本发明在于如下事实：由各个引用的装置提供的功能由权利要求所要求的方式组合到一起。值得注意的是，可以提供那些功能的任何装置等价于这里所示的装置。

说明书中对本发明原理的“一个实施例”或“实施例”的引用意味着：连同该实施例而描述的特定特征，结构，特性等包括在至少一个本发明原理的实施例中。这样，出现在整个说明书的不同地方的短语“在一个实施例中”或“在实施例中”并不一定都指向相同的实施例。

转向图1，一般通过附图标记100表示具有超分辨率图像生成功能的示例性编码器。该编码器100包括空间滤波器110，该空间滤波器110的输出与运动估计器和纹理/边缘分析器120的第一输入信号通信地相连。运动估计器和纹理/边缘分析器120的第一输出与运动补偿器130的第二输入、去块滤波器140的第二输入以及时间滤波器150的第二输入信号通信地相连。运动估计器和纹理/边缘分析器120的第二输出与运动补偿器130的第一输入信号通信地相连。运动补偿器130的输出与去块滤波器140的第一输入信号通信地相连。去块滤波器140的输出与时间滤波器150的第一输入信号通信地相连。时间滤波器150的输出与超分辩率图像存储器180的第一输入信号通信地相连。超分辩率图像存储器180的输出与运动补偿器130的第三输入信号通信地相连。空间上采样器170的输出与超分辨率图像存储器的第二输入信号通信地相连。

编码器100的输入与空间滤波器110的输入、图像存储器160的输入以及空间滤波器190的输入信号通信地相连。图像存储器160的输出与空间上采样器170的输入以及运动估计器和纹理/边缘分析器120的第二输入信号通信地相连。空间滤波器190的输出与时间滤波器150的第三输入信号通信地相连。时间滤波器150的输出可作为编码器100的输出。

运动补偿时间滤波(MCTF)回路199可看作由运动估计器和纹理/边缘分析器120、运动补偿器130、去块滤波器140、时间滤波器150、图像存储器160和可选的空间上采样器170形成。

根据本发明的原理，提出了一种视频编码方法和装置，其基于基于块的运动补偿滤波，而且结合了时空分析。很明显，这里给出的本发明原理的教导除了超分辨率图像生成外，还可以用于改善现有的时空降噪方案的性能。

根据上述参考的第二种现有技术的方法，通过执行运动估计和补偿为当前图像产生若干不同时间滤波的预测，然后将其与一组空间滤波的预测进行组合/平均，来执行降噪。然而可能在特定情形中，使用任何运动估计算法估计时间滤波器的运动向量是不正确的，或不足够精确。例如，这样的情形可能是在封闭(occlusion)、衰落或交叉衰落，或非平移运动(旋转，缩放，等等)期间出现。这样的情形中使用运动补偿后的信号很明显会导致严重的伪像。尽管可增强运动估计算法以考虑这些情形中的一些，但这会导致更为复杂的系统。

可替代的，一个更简单的方法是引入失真失真阈值(例如，当前测试块的MAD)，试图检测这样的情形，并且如果来自特定参考的块预测的失真超过其值，则基本上排除该块预测。在本发明原理的实施例中，我们考虑这个阈值等于5。此外，在实施例中，如果当前块的变化非常小(例如，零)，那么对当前块进行完全的空间插值，因为这暗示可能不需要对该块进行时间插值。例如，时间参考中可能存在的噪声会消弱而非有助于时间预测。在所有这样的情形中，我们已经用来自时间t的原始帧图像获得的空间插值块预测代替了来自给定参考的预测，其同样可以被看作是一种相比于时间预测而增大空间预测的加权的方法。

尽管阈值方法会减少运动补偿预测中的一些伪像，但不幸的是其不能消除全部伪像。众所周知，由于运动的不连续，运动补偿方法会导致块边界处的严重的块伪像。为此，几种视频编码标准已经引入了回路去块结构，其考虑到这样的不连续，并尝试通过在该边界处使用智能空间滤波技术来缓解。在一些情况中，我们的方法中可能同样存在类似的问题，即使来自预测的失真很小。为此，引入了去块滤波器，其可在对每一个预测做出运动补偿后应用。该去块滤波器考虑边界位置处的像素值和运动，同时考虑当前量化等级，以确定是否需要对这些像素进行滤波从而减少块伪像。在我们的情况下，已经考虑使用在MPEG-4AVC标准中使用的滤波器用于片间(inter slice)，而且在本发明原理的实施例中，已经将其修改为总是应用与不属于由前面段落描述的阈值和变化过程所代替的块的边缘上，也不考虑其运动。这导致可观的性能提高，尤其是对于我们的运动补偿预测的主观质量。

如果我们还考虑到边缘可能是当对图像进行插值时希望增强的最重要的特征，，本发明原理的实施例包括这里引入的一种基于边缘的准则，以增强特别是针对边缘的编码性能。可基于众所周知的Canny边缘检测器来计算边缘。当然，本发明原理不限于仅使用Canny边缘检测器，根据本发明原理，同样可以采用其他的边缘检测算法，同时保持本发明原理的范围。如果发现某个像素是边缘，那么在实施例中，我们可能希望针对给定参考而修改该像素的权重，和/或在实施例中甚至可以引入额外的参考，例如通过使用边缘保留插值而产生的图像。

总结关于本发明原理的一个实施例的说明性示例，假设期望对时间t处的图像f(t)进行上采样或降噪，而且可以使用2个前帧和2个后帧用来运动估计和补偿，即图像f(t-2)，f(t-1)，f(t+1)和f(t+2)。通过将f(t)分成大小为B₁×B₂的非交叠块，并在每一个参考图像中的小窗口内执行搜索以定位最佳可能匹配而使用这四个图像执行运动估计。然后，对包括f(t)在内的5幅图像进行空间上采样，例如使用在MPEG-4AVC标准中使用的6抽头滤波器，零阶或一阶保持，或者甚至使用更多先进的插值方法，诸如小波，而且来自低分辨率图像的运动向量用于产生运动补偿帧，然后对运动补偿帧进行去块滤波，导致超分辨率补偿预测。通过这个过程产生假设，例如，这个新图像中的像素(x，y)是f′_sp(x，y，t)，f′_T(x，y，t-2)，f′_T(x，y，t-1)，f′_T(x，y，t+1)和f′_T(x，y，t+2)。然后使用加权平均将这五个预测结合在一起，导致最后的降噪图像，如下：

$\hat{f}(x,y,t)=w_{\mathrm{Sp}}{f}_{\mathrm{Sp}}^{\′}(x,y,t)+\underset{k}{\overset{\{-2,-\mathrm{1,1,2}\}}{\mathrm{\Σ}}}{w}_k{f}_T^{\′}(x,y,t+k)---\left(1\right)$

如之前讨论过的，权重可以是自适应的(例如，基于失真、边缘等等)，和/或甚至可以是固定的并取决于每一个假设的时间距离和可靠性。在实施例中，如果像素不属于边缘位置，可使用如下等式产生

如果该像素属于边缘，在实施例中，

按照以下来计算：

很明显，这里规定的值仅仅是为了说明的目的，同样可使用其他值而保持本发明原则的范围。

转向图2，附图标记200大体指示使用基于边缘的噪声滤波的视频编码方法的示例。

该方法200包括传递控制到功能框210的开始框205。该功能框210执行当前块(下文中称作“块”)的空间滤波以形成空间预测，并传递控制到功能框215。该功能框215计算块的变化，并传递控制到决定框220。该决定框220确定是否该变化小于阈值。如果是，那么把控制传递到功能框260。否则，将控制传递到循环限制框270。

功能框260执行所有预测的加权平均，以形成滤波后的块，并传递控制到结束框265。

该循环限制框270针对块中每一个像素p执行循环，并传递控制到功能框275。功能框275应用边缘检测滤波，并传递控制到决定框280。该决定框280确定是否已经检测到边缘。如果是，传递控制到功能框285。否则，传递控制到功能框290。

功能框285设置使用边缘权重，并传递控制到循环限制框295。

功能框290设置使用非边缘权重，并传递控制到循环限制框295。

循环限制框295结束该循环，并传递控制到循环限制框225。该循环限制框225为每一个参考图像r执行循环，并传递控制到功能框230。功能框230执行参考图像r中的块b的运动估计，计算MAD[p，r]，并传递控制到决定框240。该决定框240确定是否MAD[p，r]小于阈值。如果是，则传递控制到功能框245。否则，传递控制到功能框297。

功能框245形成运动补偿后的预测，并传递控制到功能框250。该功能框250对该运动补偿后的预测应用去块滤波，以形成时间预测，并传递控制到循环限制框255。该循环限制框255结束该循环，并传递控制到功能框260。

功能框297禁止使用参考作为预测，并传递控制到循环限制框255。

给出众多本发明附带优势/特征的一些描述，有一些已经在上面提到过了。例如，一个优势/特征是一种对图像序列进行滤波的装置。该装置包括空间滤波器、运动补偿器、去块滤波器和时间滤波器。该空间滤波器用于对序列中的图像和从图像序列中该图像的在前图像和后续图像中选择的一个或更多参考进行空间滤波。运动补偿器与空间滤波器信号通信，用于在空间滤波之后为来自一个或多个参考图像的图像形成多个时间预测。去块滤波器与运动补偿器信号通信，用于对多个时间预测进行去块滤波。时间滤波器与去块滤波器信号通信，用于对多个时间预测进行时间滤波，并组合多个时间预测以产生该图像的噪声降低版本。

另一优势/特征是如上所述的装置，其中，多个时间预测基于与图像的相关性。该图像是原始输入图像。

另一优势/特征是上面描述的装置，还包括分析器，所述分析器与空间滤波器、运动补偿器、去块滤波器和时间滤波器信号通信，用于利用多种分析方法来分析该图像和一个或更多参考图像中的纹理和边缘中至少一项。多个时间预测分别由运动补偿器、去块滤波器和时间滤波器形成、去块滤波和时间滤波，至少其中之一是基于该分析器所提供的纹理和边缘信息中至少一项。

此外，另一个优势和特征是上述具有分析器的装置，其中多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

此外，另一个优势和特征是上述具有分析器的装置，其中基于以下内容中的至少一项而对去块滤波器进行适配：与图像的相关性和多种分析方法中的一种或更多种；该图像是原始输入图像。

此外，另一个优势和特征是上述具有分析器的装置，基于以下内容中的至少一项而对去块滤波器进行适配：多种分析方法中的一种或更多种以及与图像的相关性；该图像是原始输入图像。

另外的，另一个优势和特征是上述具有分析器的装置，其中使用多种分析方法来确定运动补偿器如何形成一个或更多个时间预测。

另一优势/特征是一种用于从图像序列中形成超分辨率图像的装置。该装置包括空间滤波器、运动补偿器空间上采样器去块滤波器和时间滤波器。该空间滤波器用于对序列中的图像和从图像序列中该图像的在前图像和后续图像中选择的一个或更多参考图像进行空间滤波。运动补偿器与空间滤波器信号通信，用于在空间滤波之后为来自一个或多个参考图像的图像形成多个时间预测。空间上采样器与运动补偿器信号通信，用于对该图像和一个或更多个参考图像进行空间上采样。去块滤波器与运动补偿器信号通信，用于对多个时间预测进行去块滤波。时间滤波器与去块滤波器信号通信，用于对多个时间预测进行时间滤波，并组合多个时间预测以产生该图像的上采样版本。

另一优势/特征是上面描述的装置，其中多个时间预测基于与图像的相关性，该图像是原始输入图像。

另一优势/特征是上面描述的装置，还包括分析器，所述分析器与空间滤波器、运动补偿器、去块滤波器和时间滤波器信号通信，用于利用多种分析方法来分析该图像和一个或更多参考图像的纹理和边缘中至少一项。多个时间预测分别由运动补偿器、去块滤波器和时间滤波器形成、去块滤波和时间滤波，至少其中之一是基于该分析器所提供的纹理和边缘信息中至少一项。

此外，另一个优势和特征是上述具有分析器的装置，其中多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

此外，另一个优势和特征是上述具有分析器的装置，基于以下内容中的至少一项而对去块滤波器进行适配：多种分析方法中的一种或更多种以及与图像的相关性；该图像是原始输入图像。

另外的，另一个优势和特征是上述具有分析器的装置，其中使用多种分析方法来确定运动补偿器如何形成一个或更多个时间预测。

相关领域的一个普通技术人员基于这里提到的技术，很容易确定本发明的这些和其他特征和优势。应该了解本发明的教导可以实施在各种形式的硬件、软件、固件、专用处理器或它们的组合中。

最优选地，本发明的教导以硬件和软件的组合来实施。此外，该软件可实施作为程序存储器单元上有形体现的应用程序。将该应用软件上载到包含任何合适架构的机器并尤其执行。优选地，该机器实施在拥有硬件的计算机平台上，诸如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口。该计算机平台还可以包括操作系统和微指令代码。这里描述的由CPU执行的各种过程和函数可以是微指令代码的一部分，也可以是应用程序的一部分，或者是它们的任何结合。另外，各种其他外围单元会连接到诸如额外数据存储单元和打印单元的计算机平台上。

还需理解，由于一些组成系统组件和附图中描述的方法优选地以软件来实现，系统组件或处理功能框之间的实际连接会取决于本发明的实现方式而有所不同。这里给出的教导，该技术领域的一个普通技术人员将能够实施这些和类似的本发明的应用或构造。

尽管参考附图，已经在这里描述了说明性的实施方案，应该了解本发明不限于具体实施例，在不偏离本发明范围或精神的情形下，该技术领域的一个普通技术人员可进行各种改变和修改。所有的这样的改变和修改都意图包含在所附权利要求提出的本发明的范围之内。

Claims (26)

1.一种用于对图像序列进行滤波的装置，包括：

空间滤波器(110，190)，用于对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波；

运动补偿器(130)，与所述空间滤波器信号通信，用于在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测；

去块滤波器(140)，与所述运动补偿器信号通信，用于对所述多个时间预测进行去块滤波；以及

时间滤波器(150)，与所述去块滤波器信号通信，用于对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

2.权利要求1中的装置，其中，所述多个时间预测基于与原始输入图像的相关性。

3.权利要求1中的装置，还包括分析器(120)，所述分析器与所述空间滤波器、所述运动补偿器、所述去块滤波器和所述时间滤波器信号通信，用于利用多种分析方法来分析序列中的图像和至少一个参考图像中的纹理和边缘中至少一项，

其中，所述多个时间预测分别由所述运动补偿器、所述去块滤波器和所述时间滤波器形成、去块滤波和时间滤波，所述形成、去块滤波和时间滤波中至少一种是基于由所述分析器提供的纹理和边缘信息中至少一项。

4.权利要求3中的装置，其中所述多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

5.权利要求3中的装置，其中，基于以下内容中的至少一项对所述去块滤波器(140)进行适配：与原始输入图像的相关性以及多种分析方法中的一种或更多种。

6.权利要求3中的装置，其中，基于以下内容中的至少一项对所述去块滤波器(140)进行适配：多种分析方法中的一种或更多种以及与原始输入图像的相关性。

7.权利要求3中的装置，其中，所述多种分析方法用于确定所述运动补偿器如何形成一个或更多个时间预测。

8.一种用于从图像序列形成超分辨率图像的装置，包括：

空间滤波器(110，190)，用于对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波；

运动补偿器(130)，与所述空间滤波器信号通信，用于在空间滤波之后为来自所述至少一个参考图像的图像形成多个时间预测；

空间上采样器(170)，与所述运动补偿器信号通信，用于对序列中的图像和至少一个参考图像执行空间上采样；

去块滤波器(140)，与所述运动补偿器信号通信，用于对所述多个时间预测进行去块滤波；以及

时间滤波器(150)，与所述去块滤波器信号通信，用于对所述多个时间预测进行时间滤波，并将所述多个时间预测相组合，以产生图像的上采样版本。

9.权利要求8中的装置，其中，所述多个时间预测基于与原始输入图像的相关性。

10.权利要求8中的装置，还包括分析器(120)，所述分析器与所述空间滤波器、所述运动补偿器、所述去块滤波器和所述时间滤波器信号通信，用于利用多种分析方法来分析序列中的图像和至少一个参考图像中的纹理和边缘中至少一项，

其中，所述多个时间预测分别由所述运动补偿器、所述去块滤波器和所述时间滤波器形成、去块滤波和时间滤波，所述形成、去块滤波和时间滤波中至少一种是基于由所述分析器提供的纹理和边缘信息中至少一项。

11.权利要求10中的装置，其中所述多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

12.权利要求10中的装置，其中，基于以下内容中的至少一项对所述去块滤波器(140)进行适配：与原始输入图像的相关性以及多种分析方法中的一种或更多种。

13.权利要求10中的装置，其中，所述多种分析方法用于确定所述运动补偿器如何形成一个或更多个时间预测。

14.一种用于对图像序列进行滤波的方法，包括：

对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波(110)；

在空间滤波之后为来自所述至少一个参考图像的图像形成(130)多个时间预测；

对所述多个时间预测进行去块滤波(250)；以及

在所述去块滤波之后，对所述多个时间预测进行时间滤波(150)，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

15.权利要求14中的方法，其中，所述多个时间预测基于与原始输入图像的相关性。

16.权利要求14中的方法，还包括利用多种分析方法来分析序列中的图像和至少一个参考图像中的纹理和边缘中至少一项，

所述多个时间预测被形成、去块滤波和时间滤波，所述形成、去块滤波和时间滤波中至少一种是基于由所述分析步骤提供的纹理和边缘信息中至少一项。

17.权利要求16中的方法，其中所述多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

18.权利要求16中的方法，其中，基于以下内容中的至少一项对所述去块滤波步骤(250)进行适配：与原始输入图像的相关性以及多种分析方法中的一种或更多种。

19.权利要求16中的方法，其中，基于以下内容中的至少一项对所述去块滤波步骤(250)进行适配：多种分析方法(120)中的一种或更多种以及与原始输入图像的相关性。

20.权利要求16中的方法，其中，所述多种分析方法用于确定所述形成步骤如何形成一个或更多个时间预测。

21.一种用于从图像序列形成超分辨率图像的方法，包括：

对序列中的图像以及从序列中关于该图像的在前图像和后续图像中选择的至少一个参考图像进行空间滤波(110)；

在空间滤波之后为来自所述至少一个参考图像的图像形成(130)多个时间预测；

对序列中的图像和所述至少一个参考图像执行空间上采样(170)；

对所述多个时间预测进行去块滤波(250)；以及

在所述去块滤波之后，对所述多个时间预测进行时间滤波(150)，并将所述多个时间预测相组合，以产生图像的噪声降低版本。

22.权利要求21中的方法，其中，所述多个时间预测基于与原始输入图像的相关性。

23.权利要求21中的方法，还包括利用多种分析方法(120)来分析序列中的图像和至少一个参考图像中的纹理和边缘中至少一项，

所述多个时间预测被形成、去块滤波和时间滤波，所述形成、去块滤波和时间滤波中至少一种是基于由所述分析步骤提供的纹理和边缘信息中至少一项。

24.权利要求23中的方法，其中所述多种分析方法包括边缘检测、变化分析和纹理检测中至少一种。

25.权利要求23中的方法，其中，基于以下内容中的至少一项来对所述去块滤波步骤(250)进行适配：与原始输入图像的相关性以及多种分析方法中的一种或更多种。

26.权利要求23中的方法，其中，所述多种分析方法用于确定所述形成步骤(120)如何形成一个或更多个时间预测。

Images