CN101257630B - 结合三维滤波的视频编码方法和装置 - Google Patents

Abstract

本发明公开了一种结合三维滤波的视频编码方法和装置，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于还包括对视频内容进行分析，根据分析结果对残差数据进行调整，从而实现三维滤波。本发明提出的结合三维滤波的视频编码方法和装置不需要额外的视频前处理模块，可以直接处理含噪视频数据，能有效地减小视频图像解码重建后的噪声并减小含噪视频信号编码后的码流数据。

Description

结合三维滤波的视频编码方法和装置

技术领域

本发明属于视频编码技术领域，具体涉及一种利用帧间预测技术，将三维滤波与视频编码相结合的方法和装置。

背景技术

近年来，视频通信和视频应用在现实生活中扮演着重要的角色。然而，视频采集和视频传输过程常常会引入各种类型的噪声。在低照度情况下，噪声尤其明显。传统的视频编码标准如H.261，H.263，H.264、MPEG-1，MPEG-2，MPEG-4，AVS-P2等都采用混合编码框架。混合编码框架综合利用了预测、变换以及熵编码的方法，主要利用了像素间的相关性，从而大幅度减少了编码后的码流长度。但是，视频图像中的噪声降低了像素的相关性，加大了预测误差，若利用传统的视频编码方法直接对含噪视频序列进行编码，会使视频压缩率降低，使得视频压缩编码后的码流数据大幅度增加，增大了对网络传输的带宽和存贮容量的要求。同时，视频图像的噪声会严重影响人们的主观感受，甚至会影响到人们对于视频内容的理解。

为了取得更好的视频主观质量和更高的压缩率，视频编码系统需要包含独立于视频编码模块的视频前处理模块。视频前处理模块应用于视频编码模块之前，用于去除视频噪声。这样的方法和设备增加了运算复杂度，使视频处理要求更高的处理能力。

现有的去噪方法主要分为时间域滤波、空间域滤波和时空域滤波。时间域滤波的运动补偿滤波通过运动搜索寻找当前块在先前帧中的匹配块，找到匹配块后多帧平均实现滤波，该方法计算量大，并且需要存储多帧图像。空间域滤波利用了像素的空间相关性，通常以低通滤波减少高斯噪声的影响，以统计排序滤波器减少脉冲噪声的影响，此类方法在滤除噪声的同时，也滤去了部分图像高频信息，容易损失图像细节。

发明内容

传统的视频编码标准中利用已编码的图像的重建帧作为参考帧对后继的图像帧宏块进行预测，当前帧宏块像素值减去预测值得到残差数据，残差数据进行DCT变换得到变换系数，变换系数经过量化、重排序和熵编码输出编码码流。

本发明提供了一种通过对预测残差的变换系数进行处理，实现三维滤波的视频编码方法。本发明的滤波是在图像宏块或其子块上进行，我们通称为图像块，简称块。

如果用F表示当前图像块像素值，P表示用参考图像对当前块像素的预测值，r表示当前像素的预测残差，F’表示当前像素的重建值，则

r＝F-P                             (1)

对应DCT变换频域有：

DCT(r)＝DCT(F)-DCT(P)              (2)

若用Q(r)表示对残差经量化和反量化后的重建值，则当前像素的重建值为：

F′＝P+Q(r)                        (3)

在图像内容静止的区域，预测残差主要由噪声引起，但对它进行编码增加了码流数据，若这时减小预测残差的幅度，则减小了预测残差的影响，同时减小了噪声的影响，即有去除噪声的作用，但不影响图像的清晰度。

对于运动的区域，根据(1)和(2)式，如果匹配不准确，残差中包含有较多的信号成分，图像的频率成分与残差的频率成分有一定的对应。图像信号一般具有较多低频成分，根据纹理方向的不同，在二维频域上高频成份的分布不均匀，即经DCT变换后系数分布不均匀；但一般图像噪声可看成是白噪声，频谱成分分布较均匀。因此滤除部分高频分量，特别是其中信号幅度较小的频率分量，可较多地滤除噪声。

本发明提出的结合三维滤波的视频编码方法，利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于，它还包括对视频内容进行分析，根据分析结果对残差数据进行调整，减小其幅度、特别是减小高频分量的幅度、或根据纹理方向减小高频分量的幅度，从而实现三维滤波，可有效地减小视频图像解码重建后的噪声，并有效减小了含噪视频信号编码后的码流，从而降低了视频传输的带宽需求。本发明可以直接处理含噪视频数据，不需要额外的视频前处理模块，从而降低了运算复杂度和硬件成本。

如果对残差数据按同一缩放比例进行缩小，再对其进行变换编码，即将(3)式改为：

F′＝P+Q(αr)                         (4)

考虑到量化误差，(4)式成为：

F′≈P+αr＝P+α(F-P)＝(1-α)P+αF    (5)

其中缩放比例α为0～1之间的实数，减小残差幅度，从而减少噪声，达到基于时间域的滤波的效果。而以后帧的编码参考了该重建帧的信息，使运动搜索更加准确，并结合缩放残差数据的过程，达到了持续的时间域滤波的效果。本发明通过对视频内容进行分析，根据分析结果调整缩放比例α，在噪声较强时可减小α，在图像静止区和平坦区也可减小α，从而实现不同强度的滤波。在图像静止区，最佳预测运动矢量长度为零或接近于零。

本发明的一种调整残差数据的方法，是对残差经变换后的各变换系数按同一缩放比例α缩放。对残差数据进行变换(如DCT)后，成为频域信号，不同的变换系数代表不同的频率分量。由于常用的离散余弦变换(DCT)是一种线性变换，对残差数据的缩放与对变换系数的缩放是等同的，即对残差数据经DCT变换后的各变换系数进行缩小能起到同样的作用。同样地，可以根据对视频内容分析的结果调整缩放比例α，从而实现不同强度的滤波。

本发明的又一种调整残差数据的方法，是对残差经变换后的各变换系数按不同缩放比例α进行缩放。如对高频系数采用较小的缩放比例α，而对残差低频系数采用较大的缩放比例α，相当于进行了空间域低通滤波。由于是对残差变换系数的滤波，同时又具有帧间滤波作用，可有效提高信噪比，提高图像质量。由于图像信号常有较多低频成分，高频成分相对较少，表现为变换域低频系数幅度较大，而高频系数较小，而常见的噪声能量在高频和低频系数上的分布较均匀。因此加大对残差高频分量的滤波幅度可提高信噪比。

本发明的一种调整残差数据的方法是采用调整量化步长的方法对各变换系数按同一缩放比例进行缩放，即视频编码时采用一种量化步长量化，在视频解码时采用另一种量化步长反量化，反量化步长与量化步长之比为缩放比例。

在视频编码过程中，需要对残差进行量化，在解码时进行反量化重建。若编码时量化步长为Qstep1，解码时反量化步长为Qstep2，则相当于对残差进行了α＝Qstep2/Qstep1的缩放。因此，只要使视频编码时的量化步长Qstep1与解码时的反量化步长Qstep2不一致，就可实现对残差的比例α的缩放，从而实现帧间滤波。

本发明的结合三维滤波的视频编码方法，对视频内容进行分析，并根据分析结果调整缩放比例。其中，对视频内容进行分析包括如下一项或多项：对当前帧噪声进行估计；对当前帧图像进行静止区域提取；对当前宏块或其子块进行纹理分析；对当前宏块或其子块进行运动分析。

在不同的场合(如不同的摄像机、光照等)，视频图像上的噪声强度是不同的，有时噪声性质也不同。为了更有效地实现滤波，应该对噪声进行分析，对噪声强度进行估计，噪声较强时，应采用较强的滤波，即缩放比例应较小。

如果当前块在静止区域，则残差主要由噪声引起，应采用更强的滤波，即缩放比例应更小。

在一个图像块内，图像的纹理常是有方向的，对应了频域不同变换系数的强弱，对不同方向的变换系数进行不同强度的滤波，即采用不同的缩放比例α，可有效保留图像上的纹理细节和边缘。

对当前宏块或其子块进行运动分析，是指根据最佳预测运动矢量确定运动的程度，一般地，运动大时，匹配也会较差，缩放比例应较大。若运动矢量为零或接近零，则可认为处于静止区域，缩放比例应较小。

本发明按如下方法对当前帧噪声进行估计：利用以前的或上一帧的对各宏块或其子块运动估计后的最佳预测误差平均能量对噪声均方差σ进行估计。

一种对视频噪声估计的方法是利用图像的静止区域，如上所说，在静止区域，若最佳运动矢量为零，残差中基本为噪声。对于视频监控图像，常有一定的静止区域。可用静止区域图像块残差信号能量对噪声方差或均方差进行估计，如用残差信号平方的均值估计噪声方差，或简化为用残差信号绝对值的均值估计噪声均方差。

但有时静止区域不明显，也不容易检测。对于视频编码时预测准确的宏块，信号被抵消得较多，因此可以用寻找图像中残差较小的一些图像块来寻找图像预测较准的区域，再计算这些块残差能量的方法进行噪声估计。一般地可认为噪声有平稳性，可用块间平均的方法估计噪声，如用残差信号平方的均值估计噪声方差，或简化为用残差信号绝对值的均值估计噪声均方差。需要注意的是，实际的方差、均方差与估计所得是有一定比例关系的，但不影响对残差滤波参数的确定。

本发明按如下方法对当前宏块或其子块进行纹理分析：利用当前宏块或其子块的残差变换系数进行纹理显著性分析，确定纹理的方向和强度。由于不同位置的变换系数代表不同方向的纹理，因此可以通过对变换系数的分析，确定不同方向纹理的强弱。

本发明的结合三维滤波的视频编码方法，可根据如下一项或多项因素调整当前宏块或其子块各变换系数的缩放比例：最佳预测运动矢量长度；最佳预测误差幅度；对噪声均方差σ的估计结果；是否处于静止区域；最佳预测误差幅度与噪声均方差σ之比；纹理的方向和强度。

最佳预测运动矢量长度近似代表了运动强度，运动大时，匹配也会较差，缩放比例应较大。运动矢量为零或接近零，则可认为处于静止区域，缩放比例应较小。

最佳预测误差幅度也即残差，代表了块匹配程度。对于残差较大的区域，块匹配程度较低，其中包括了较多信号成分，缩放比例应较大，否则缩放比例应较小。

噪声均方差σ的估计代表了噪声的强弱，显然，噪声均方差σ较小时，缩放比例应较大，采用较弱的滤波，否则，缩放比例应较小，采用较强的低通滤波。

如果当前块在静止区域，则残差主要由噪声引起，应采用强滤波，即缩放比例应采用较小的值。

残差能量包括噪声能量和信号预测误差。最佳预测误差幅度与噪声均方差σ之比一定程度上反映了残差包括信号的程度，也可作为确定滤波缩放比例α的一个因素。即比值越大，表明噪声较弱，信号较强，缩放比例应较大，采用较弱的滤波。否则，缩放比例应较小，采用较强的低通滤波。

根据纹理的方向和强度采用不同的缩放比例，如在纹理强的方向缩放比例较大，即滤波较弱，纹理弱的方向缩放比例较小，即滤波较强，则有利于保护图像上的空间细节和边缘内容。

本发明的另一目的是在于提供一种结合三维滤波的视频编码装置，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于：包括视频内容分析模块和残差数据调整模块，视频内容分析模块用于对视频内容进行分析，残差数据调整模块根据视频内容分析模块的分析结果调整残差数据的DCT变换系数，从而实现三维滤波。

所述视频内容分析模块包括如下一项或多项模块：噪声估计模块；纹理分析模块；运动分析模块；静止区域提取模块。

本发明提供的结合三维滤波的视频编码装置是本发明提供的一种结合三维滤波的视频编码方法的应用和实现。

附图说明

图1为本发明的一种结合三维滤波的视频编码装置示意图；

图2为本发明的另一种结合三维滤波的视频编码装置示意图。

具体实施方式

下面，结合附图和具体实施例进一步说明本发明。

本发明的结合三维滤波的视频编码方法以宏块或其子块为单位进行，步骤如下：

步骤1.对视频内容进行分析。包括如下内容：

(a)对当前帧图像进行噪声估计。视频噪声估计方法可以采用已有的噪声估计算法，包括基于帧内块的估计方法、基于滤波的方法、基于帧差的方法等。这些噪声估计算法大幅增加了运算量。本发明提供了一种与传统编码框架相结合的噪声估计算法，利用以前的或上一帧的对各宏块或其子块运动估计后的最佳预测误差平均能量对噪声均方差σ或方差σ²进行估计。其中，最佳预测误差平均能量是各像素预测误差的绝对值平均值或平方值的平均值。

(b)对当前宏块进行纹理分析。利用当前块的残差变换系数进行纹理显著性分析，确定纹理的方向和强度。利用残差变换系数进行纹理显著性分析有多种方法，下面给出一种具体实施方法。

计算横向纹理强度 $\mathrm{Texture}\_h=\underset{u=1}{\overset{7}{\mathrm{\Σ}}}\left|F(u,0)\right|$

计算竖向纹理强度 $\mathrm{Texture}\_v=\underset{v=1}{\overset{7}{\mathrm{\Σ}}}\left|F(0,v)\right|$

计算横向纹理强度与竖向纹理强度的比率ratioT＝Texture_h/Texture_v

若ratioT＞2，则当前块具有较强的横向纹理。

若ratioT＜0.5，则当前块具有较强的竖向纹理。

若0.5＜＝ratioT＜＝2，则当前块横向纹理和竖向纹理不明显。

(c)对当前帧图像进行静止区域提取。本发明利用当前块的最佳预测误差平均能量与噪声均方差或方差的比值ratio2以及运动矢量长度mvl分析当前块是否属于静止区域。若ratio2＜TH3且mvl＜TH_MV，则判定当前块为静止块；否则若ratio2＜TH4，则判定当前块为良好匹配块；否则判定当前块为欠匹配块。其中，TH3、TH4、TH_MV是经验值。

步骤2.利用步骤1的分析结果，确定对残差调整的缩放比例。

残差的缩放比例可根据如下因素确定：

(a)当前块的最佳预测运动矢量长度。若最佳预测运动矢量长度小于某个阈值，则缩放比例采用较小的值，否则缩放比例采用较大的值。

(b)当前块的最佳预测误差幅度。缩放比例随着最佳预测误差幅度增大而增大。

(c)对噪声均方差σ的估计结果。缩放比例随着噪声均方差增大而减小。

(d)当前块是否处于静止区域。在静止区域采用较小的缩放比例。

(e)最佳预测误差幅度与噪声均方差σ之比。缩放比例随着最佳预测误差幅度与噪声均方差σ之比增大而增大。

(f)当前块的纹理的方向和强度。缩放比例随着纹理的强度增大而增大。若当前块经分析后有明显的水平方向或竖直方向的纹理，则按不同缩放比例调整变换系数。

一种简化的确定块内同一缩放比例的方法：若当前块属于静止区，则α取较小值，如α＝1/4；若当前块属于良好匹配块，则α取偏小值，如α＝1/2；若当前块属于欠匹配块，则取较大值，如α＝7/8。

根据图像块纹理调整变换系数缩放比例的方法很多，这里给出一种根据纹理分析结果确定对各变换系数缩放比例的例子：

设当前块为16×16的宏块，若当前块具有较强的横向纹理，则设置各变换系数的缩放比例为

$R(u,v)=\left\{\begin{array}{cc}1& u\≤4,v\≤4\\ [1-(u-4)/32]*[1-(v-4)/16]& \mathrm{else}\end{array}\right.;$

若当前块具有较强的竖向纹理，则设置各变换系数的缩放比例为

$R(u,v)=\left\{\begin{array}{cc}1& u\≤4,v\≤4\\ [1-(u-4)/16]*[1-(v-4)/32]& \mathrm{else}\end{array}\right.;$

若当前块横向纹理和竖向纹理不明显，则设置各变换系数的缩放比例为

$R(u,v)=\left\{\begin{array}{cc}1& u\≤4,v\≤4\\ [1-(u-4)/16]*[1-(v-4)/16]& \mathrm{else}\end{array}\right..$

步骤3.根据步骤2所确定的缩放比例，调整残差数据。

在采用块内同一缩放比例时，可采用调整量化步长的方法实现各变换系数按同一比例缩放。即编码端采用一种量化步长进行量化，并使解码端采用另一种量化步长进行反量化，解码时的量化步长与编码时反量化步长之比为缩放比例。在MPEG、H.264和AVS等标准中，采用量化系数QP确定量化电平，每个宏块可以有独立的量化电平。如H.264和AVS标准中，量化系数每增加6，量化步长加大一倍。

在实际操作时，采用调整量化步长的方法实现各变换系数按同一比例缩放，只要在编码时加大QP，但是编入码流、用于解码的反量化系数不变或略调小，使相应的用于解码的反量化步长Qstep2与用于编码的量化步长Qstep1之比为α，即α＝Qstep2/Qstep1。

在实际应用时，调整量化步长的方法与根据图像块纹理调整变换系数缩放比例的方法可以联合使用，以实现更好的滤波效果。

实施例1：一种结合三维滤波的视频编码装置

本实施例是一种结合三维滤波的视频编码装置，结合附图1说明如下：

本实施例的视频编码装置在包含传统编码系统中各模块的基础上，增加了噪声均方差估计模块、缩放比例确定模块和残差缩放模块。

其中，噪声均方差估计模块的输入是当前块的绝对误差均值(MAD)，输出是噪声均方差值估计，噪声均方差估计的方法是利用上一帧的各宏块或子块最佳预测MAD中最小的N个MAD的平均作为噪声均方差的估计值。

缩放比例确定模块的输入是噪声均方差估计值和运动估计/运动补偿模块输出的运动矢量和MAD，缩放比例确定模块的输出是对残差进行调整的缩放比例，缩放比例确定的方法在具体实施方法中已经说明。

残差缩放模块的输入是残差数据和缩放比例确定模块输出的缩放比例，输出是经过缩放后的残差数据，残差缩放的方法是按照同一缩放比例调整残差数据。经缩放后的残差数据进行变换、量化、熵编码等视频编码操作。

实施例2.另一种结合三维滤波的的视频编码装置

本实施例是另一种结合三维滤波的视频编码装置，结合附图2说明如下：

本实施例的视频编码装置在包含传统编码装置中各模块的基础上，增加了缩放比例确定模块、纹理分析模块和变换系数缩放模块。

纹理分析模块的输入是各变换系数，输出是横向纹理强度和竖向纹理强度，纹理分析的方法在上文中已经说明。

缩放比例确定模块的输入是横向纹理强度和竖向纹理强度，输出是对各变换系数的缩放比例，缩放比例的确定方法在上文中已经说明，为根据纹理分析结果确定对各变换系数缩放比例的方法。

变换系数缩放模块的输入是各变换系数和缩放比例确定模块输出的缩放比例，输出是经过缩放后的变换系数，对各变换系数缩放的方法是按照缩放比例确定模块输出的缩放比例对各变换系数调整。

Claims (8)

1.一种结合三维滤波的视频编码方法，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于，它还包括对视频内容进行分析，根据分析结果对残差数据经变换后的各变换系数按相同或不同缩放比例进行调整，从而实现三维滤波；

所述对视频内容进行分析包括如下一项或多项：对当前帧噪声进行估计；对当前帧图像进行静止区域提取；对当前宏块或其子块进行纹理分析；对当前宏块或其子块进行运动分析；

以及

根据如下一项或多项因素调整当前宏块或其子块的各变换系数的缩放比例：最佳预测运动矢量长度；最佳预测误差幅度；对噪声均方差σ的估计结果；是否处于静止区域；最佳预测误差幅度与噪声均方差σ之比；纹理的方向和强度。

2.如权利要求1所述的结合三维滤波的视频编码方法，其特征在于，采用调整量化步长的方法对各变换系数按同一缩放比例进行缩放，即视频编码时采用一种量化步长量化，在视频解码时采用另一种量化步长反量化，反量化步长与量化步长之比为缩放比例。

3.如权利要求1所述的结合三维滤波的视频编码方法，其特征在于，所述对当前帧噪声进行估计为：利用以前的或上一帧的对各宏块或其子块运动估计后的最佳预测误差平均能量对噪声均方差σ进行估计。

4.如权利要求1所述的结合三维滤波的视频编码方法，其特征在于，所述对当前宏块或其子块进行纹理分析为：利用当前宏块或其子块的残差变换系数进行纹理显著性分析，确定纹理方向和强度。

5.一种结合三维滤波的视频编码装置，它利用已编码的图像信息对后继的图像帧宏块进行预测，对其残差进行变换编码，其特征在于：包括视频内容分析模块和残差数据调整模块，视频内容分析模块用于对视频内容进行分析，残差数据调整模块根据视频内容分析模块的分析结果调整残差数据的变换系数，从而实现三维滤波；

所述视频内容分析模块包括如下一项或多项模块：对当前帧噪声进行估计的噪声估计模块；对当前宏块或其子块进行纹理分析的纹理分析模块；对当前宏块或其子块进行运动分析的运动分析模块；对当前帧图像进行静止区域提取的静止区域提取模块；

所述残差数据调整模块根据如下一项或多项因素调整当前宏块或其子块的各变换系数的缩放比例：最佳预测运动矢量长度；最佳预测误差幅度；对噪声均方差σ的估计结果；是否处于静止区域；最佳预测误差幅度与噪声均方差σ之比；纹理的方向和强度。

6.如权利要求5所述的视频编码装置，其特征在于：所述残差数据调整模块在视频编码时采用一种量化步长量化，在视频解码时采用另一种量化步长反量化，反量化步长与量化步长之比为缩放比例。

7.如权利要求5所述的视频编码装置，其特征在于：所述噪声估计模块利用以前的或上一帧的对各宏块或其子块运动估计后的最佳预测误差平均能量对噪声均方差σ进行估计。

8.如权利要求5所述的视频编码装置，其特征在于：所述纹理分析模块利用当前宏块或其子块的残差变换系数进行纹理显著性分析，确定纹理方向和强度。

Images