CN106851046A - 视频动态超分辨率处理方法及系统 - Google Patents

Abstract

本发明涉及一种视频动态超分辨率处理方法及系统，该处理方法包括根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；对所述待处理帧进行插值处理得到第二处理结果；利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。本发明中，实现了更好的保护边缘信息改善图像边缘锯齿等问题，在不增加过多额外的时间开销的情况下，有效恢复更多图像细节；同时具有较好的鲁棒性，避免运动估计不准确造成超分辨率结果的紊乱或是运动模糊。

Description

视频动态超分辨率处理方法及系统

技术领域

本发明属于视频处理技术，特别是视频超分辨率(Super-resolution,SR)技术，尤其涉及一种视频动态超分辨率处理方法及系统。

背景技术

随着电视面板产业技术的不断提高，显示设备的分辨率迅速提升，但是视频内容的分辨率并没有随之迅速增加。例如，现在的超清电视在市场上已经越来越普遍，但是由于图像采集设备的限制，大量视频源的分辨率还是标清级或高清级的，这使得显示的视觉质量大大下降。因此，研究利用低分辨率图像信息重建出高分辨率图像的超分辨率(Super-resolution,SR)算法是十分重要的。

根据所运用的信息形式的不同，当前的超分辨率技术的方法可以大致分为两类：静态超分辨率技术(static super-resolution，SSR)方法和动态超分辨率技术(dynamicsuper-resolution，DSR)方法。所谓的静态超分辨率技术方法目的在于，通过一些低质的低分辨率重建出一张高分辨率图像，这些方法若直接运用在视频处理中，往往会造成放大的视频时序上的不连续性，因此限制了这类方法在视频超分辨率技术中的运用，动态超分辨率技术方法的提出主要是针对视频分辨率重建的问题。

静态超分辨率技术方法是目前研究最多的方法，通常分为如下几大类：基于插值的方法、基于样本学习的方法、基于重建的方法。基于插值的方法实际上属于图像缩放层面上的技术，但很多文献中将这一技术归类于超分辨率技术中。插值的方法主要是利用邻域原始像素点的像素值并为其分配不同权值，将加权求和之后的值作为待插值像素点的值。常见的插值方法，如最近邻插值、双线性插值、双立方插值等等都被广泛利用，这些方法也仅仅只能将原始低分辨图像的尺寸改变，并不能提供更多的信息或是频率，图像整体的分辨率依然没有得到提升。基于样本的方法，这类方法样本库的选择对结果影响很大，而且对于每个放大倍数都要有单独的一套样本库，复杂度太高。

动态超分辨率技术用于解决视频的超分辨率问题，事实上静态超分辨率的方法通过扩展都可用于视频超分辨问题中，但是往往存在复杂度高、代价高、帧间不连续等问题。例如，在线纹理合成法引入了一种不需要样本库的超分辨率技术(Database-Free TextureSynthesis,DFTS)，它的核心思想是用提高人眼感官上的分辨率代替恢复真实的信号。该方法利用相邻帧同一位置的相邻像素信息，合成高频信息以生成一幅有锐利的边缘和丰富的细节的高分辨率图像，但是这种方法仅适用于有大量相似结构的视频图像，并且可利用的合成信息很有限。还有利用卡尔曼滤波的动态超分辨率方法，该方法在相邻帧通过运动补偿获得对应的像素信息，得到更为可靠的超分辨率图像，但是这一类方法往往受到运动估计精度的制约，算法的鲁棒性不是很好。总而言之，传统动态超分辨率算法普遍存在复杂度和重建效果之间难以平衡的问题，并且利用帧间运动信息的动态超分辨率算法一般需要较高亚像素精度的运动矢量，对于运动估计算法无法估计准确或者复杂的运动视频往往会产生结果的紊乱。

发明内容

为了解决现有技术中的上述问题，即为了解决如何实现改善图像边缘同时保证超分辨率图像的鲁棒性，本发明提供了一种视频动态超分辨率处理方法，包括：

根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；

根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；

对所述待处理帧进行插值处理得到第二处理结果；

利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

优选地，所述根据运动估计得到当前待处理帧中任一像素的运动矢量，包括：

利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

优选地，在得到超分辨率帧之后，还包括：

对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

优选地，所述利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合的融合公式为：

其中，为融合结果，为运动矢量的可靠度，为第一处理结果，为第二处理结果。

本发明还提供了一种视频动态超分辨率处理系统，所述处理系统包括：

运动估计单元，用于根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；

第一处理单元，用于根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；对所述待处理帧进行插值处理得到第二处理结果；

加权融合单元，用于利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

优选地，

所述运动估计单元，具体用于利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

优选地，还包括：

第二处理单元，用于对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

优选地，所述加权融合单元进行加权融合的融合公式为：

其中，为融合结果，为运动矢量的可靠度，为第一处理结果，为第二处理结果。

与现有技术相比，本发明至少具有以下优点：

通过本发明的设计，实现了更好的保护边缘信息改善图像边缘锯齿等问题，在不增加过多额外的时间开销的情况下，有效恢复更多图像细节；同时具有较好的鲁棒性，避免运动估计不准确造成超分辨率结果的紊乱或是运动模糊。

附图说明

图1是本发明所提供的视频动态超分辨率处理方法的流程示意图；

图2是本发明所使用的运动估计算法三维递归搜索的示意图；

图3是本发明所使用的运动矢量可靠度映射曲线图；

图4是本发明所提供的视频动态超分辨率处理的系统架构图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明提出一种视频动态超分辨率处理方法，下面结合附图，对本发明具体实施方式进行详细说明。

如图1所示，该方法具体包括如下步骤：

步骤101，根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度。

其中，所述根据运动估计得到当前待处理帧中任一像素的运动矢量，包括：

利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

本步骤中的运动估计，可以使用已知的任何一种运动估计方法，如全搜索、三维递归搜索。本实施例采用三维递归搜索算法，如图2所示。

假设CS表示运动矢量候选集合，和分别表示图2中空间域运动估计器Sa和Sb的运动矢量候选集，表示当前区域块在图像二维坐标系的坐标位置，t是时间，C_x和C_y表示运动矢量的水平分量和垂直分量，表示已经估计出的区域块运动矢量，T表示相邻两帧之间的时间间隔，表示零运动矢量，CS^max表示候选运动矢量的范围，同时也代表了三维递归搜索算法的搜索范围，其中水平向量的范围是[-N,+N]，垂直向量的范围是[-M,+M],X·Y表示匹配区域块的大小，通常取8*8或者16*16。表示随机的更新运动矢量，更新值从查找表中随机选取一个更新向量，其中和分别是更新运动矢量的水平和垂直分量。上述各集合的范围如下：

在计算运动矢量的可靠度时，具体包括：

1)计算运动矢量方差

记MVx_i,j,MVy_i,j分别为输入图像在(i,j)点的运动矢量的水平及垂直分量。通过下式计算点(i,j)及其邻域内的运动矢量的方差V_i,j。其中，运动矢量的水平、垂直方向的均值mx_i,j,my_i,j，H、W为局部窗的高和宽取值为3和3，运动矢量的水平、垂直方向的方差Vx_i,j,Vy_i,j：

点(i,j)及其邻域内的运动矢量的方差V_i,j表示为式：

2)运动矢量可靠度曲线映射

运动矢量的方差可根据图3映射至运动矢量可靠度。阈值和曲线形状可自行设置，要保证运动矢量的方差越大，则认为该运动矢量的可靠度越小。图3给出了两种映射曲线的形式，为了降低风险，本文选择的是右图中软阈值控制的曲线，但是曲线的走势要设计的“陡峭”一些。因为如果运动向量不是十分准确，那么从参考帧获得的信息和当前帧的信息融合势必会造成运动模糊，如果曲线设置的比较平缓，即使和空域中的内容进行融合也不会有很大的改善，在这种情况下图像结果会退化成空域的插值结果，而且对于较为复杂的运动图像内容，人眼的对于清晰度的敏感程度远低于小运动或静止的图像内容。曲线的阈值设置为th₁为4，th₂为6。

步骤102，根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；对所述待处理帧进行插值处理得到第二处理结果。

其中，利用卡尔曼滤波处理时，通过使用如下预测值和更新值得到最终的卡尔曼滤波结果其中F(t)表示位移矩阵，是前一时刻高分辨率预测结果，K(t)是卡尔曼滤波的增益，是输入的低分辨率图像，D(t)表示下采样，是协方差预测量，是协方差的更新值，为下一帧处理所用，C_u(t)是运动估计造成的图像结果误差的协方差矩阵，C_w(t)是图像采集设备引入的随机噪声的协方差矩阵。

预测值：

更新值：

步骤103，利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

在进行加权融合时，所述利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合的融合公式为：

其中，为融合结果，为运动矢量的可靠度，为第一处理结果，为第二处理结果。

融合的宗旨是首先，以第一处理结果为主，以保证在运动估计准确的情况下获得最清晰的超分辨率结果；其次，可靠度越低，第一处理结果参与度越低，超分辨率结果退化为第二处理结果

如图4所示,前一生成的高分辨率帧信息的准确性直接影响到下一生成的高分辨率帧。为了得到理想的高分辨率图像，需要一定数量的低分辨率帧经过数次的卡尔曼滤波处理才能获得。因此，本专利利用已经得到的边缘指导的信息，加快结果的收敛性并提高结果的准确性。为了不增加过多的复杂度，仅将第一帧高分辨率图像初始化成由边缘指导插值的高分辨率图像而不是每一帧都进行边缘指导插值，因为在时间轴上的迭代会将当前帧获取的边缘指导信息传递给下一帧，获得收敛更快准确度更高的高分辨率图像序列，因此不需要额外花费过多的计算量和复杂度。

运动估计的准确性直接影响了视频超分辨率的处理结果，本专利使用的运动估计方法是具有亚像素精度的运动估计方法，因此影响亚像素精度一个是运动估计本身算法的设计，一个是用于估计的参考帧的信息精确程度。本专利选择的运动补偿参考帧是前一帧估计出的高分辨率帧，这一高分辨帧是还未去模糊的图像。图像中人眼可分辨的宏观物体具有一定的大小，该物体中的一点及其周围点的运动矢量应该是较为接近的，如果运动矢量差异较大，则该点的运动矢量可能是不准确的。对于完全不可靠(可靠度为0)的运动矢量所对应的块(子图像)，它的超分辨率结果直接利用空域的结果代替，完全可靠(可靠度为1)的运动矢量它的超分辨率结果利用卡尔曼滤波的结果，对于可靠度在0和1之间的根据可靠度对空域插值结果和卡尔曼滤波结果进行融合。

进一步地，在得到超分辨率帧之后，还包括：

对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

该采用的去模糊处理方法是基于最大后验概率的方法，但是并不限于这种方法。求解去模糊后的高分辨率图像公式为：

其中表示去模糊后的高分辨率图像，H为低通滤波，J(X(t))是正则化函数，正则项是提供一些先验信息以解决超分辨率病态问题的，用来增加收敛性和抑制噪声、运动估计误差造成的影响，λ是正则化参数用来平衡式中左边的保真项和右边的正则项，正则项作为惩罚项出现在代价方程中。关于正则项有很多表现形式,某些正则项的设计用于特殊的图像处理需求(如保持边缘或者去除运动拖尾噪声等等)。

用最陡梯度下降法来求解最小化问题，具体的计算形式如下所示：

其中β是迭代的步长，是对的微分。最终的终止迭代条件如下所示，其中η是迭代终止的阈值条件，n是当前迭代的次数，iter_max是可迭代的最大次数：

或n≥iter_max。

基于与上述本发明所提供方法相同的思路，本发明还提供了一种视频动态超分辨率处理系统，包括：

运动估计单元，用于根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；具体用于利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

处理单元，用于根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；对所述待处理帧进行插值处理得到第二处理结果；

加权融合单元，用于利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

所述加权融合单元进行加权融合的融合公式为：

其中，为融合结果，为运动矢量的可靠度，为第一处理结果，为第二处理结果。

第二处理单元，用于对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种视频动态超分辨率处理方法，其特征在于，包括：

根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；

根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；

对所述待处理帧进行插值处理得到第二处理结果；

利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

2.根据权利要求1所述的视频动态超分辨率处理方法，其特征在于，所述根据运动估计得到当前待处理帧中任一像素的运动矢量，包括：

利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

3.根据权利要求1所述的视频动态超分辨率处理方法，其特征在于，在得到超分辨率帧之后，还包括：

对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

4.根据权利要求1所述的视频动态超分辨率处理方法，其特征在于，所述利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合的融合公式为：

${\[\widehat{\underset{\‾}{Z}}\left(t\right)\]}_q=\left({\[\underset{\‾}{r}\left(t\right)\]}_q{\[{\widehat{\underset{\‾}{Z}}}_K\left(t\right)\]}_q+0.2*{\[{\widehat{\underset{\‾}{Z}}}_S\left(t\right)\]}_q\right)/({\[\underset{\‾}{r}\left(t\right)\]}_q+0.2)$

其中，为融合结果，[r(t)]为运动矢量的可靠度，为第一处理结果，为第二处理结果。

5.一种视频动态超分辨率处理系统，其特征在于，所述处理系统包括：

运动估计单元，用于根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；

第一处理单元，用于根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；对所述待处理帧进行插值处理得到第二处理结果；

加权融合单元，用于利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

6.根据权利要求5所述的视频动态超分辨率处理系统，其特征在于，

所述运动估计单元，具体用于利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

7.根据权利要求5所述的视频动态超分辨率处理系统，其特征在于，还包括：

第二处理单元，用于对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

8.根据权利要求5所述的视频动态超分辨率处理系统，其特征在于，所述加权融合单元进行加权融合的融合公式为：

${\[\widehat{\underset{\‾}{Z}}\left(t\right)\]}_q=\left({\[\underset{\‾}{r}\left(t\right)\]}_q{\[{\widehat{\underset{\‾}{Z}}}_K\left(t\right)\]}_q+0.2*{\[{\widehat{\underset{\‾}{Z}}}_S\left(t\right)\]}_q\right)/({\[\underset{\‾}{r}\left(t\right)\]}_q+0.2)$

其中，为融合结果，[r(t)]为运动矢量的可靠度，为第一处理结果，为第二处理结果。