CN102238316A - 一种3d数字视频图像的自适应实时降噪方案 - Google Patents

Abstract

提出了一种3D数字视频图像的自适应实时降噪方案，其在空域二维和时域一维上对视频图像进行滤波降噪处理。该方法对视频图像进行运动强度检测，并对图像的噪声标准差进行估计，根据噪声标准差的估计结果设定两个不同的阈值门限。通过运动强度与门限的关系自适应调整时域滤波中的参数，并依据此关系将时域滤波和空域滤波的结果进行自适应加权作为降噪后的输出结果。本发明运算和存储量小，可以对3D数字视频图像进行有效地实时降噪，同时图像的边缘和细节得到了保护，从而极大地增加了3D数字视频图像观看的舒适性。

Description

一种3D数字视频图像的自适应实时降噪方案

技术领域

本发明涉及数字视频图像处理领域，具体来说，涉及一种3D数字视频图像的自适应实时降噪方案，主要应用于3D数字视频图像处理、传输、显示中需要降噪的场合，特别是需要实时降噪的场合。

背景技术

近年来，3D数字视频图像在越来越多的领域中得到了广泛的应用，例如多媒体服务、视频电话、视频广播、视频跟踪等。在3D数字视频图像的获取、压缩、传递、接收等环节中，都不可避免地引入噪声。如果这些噪声不加以有效地滤除，不但会影响到视频图像的视觉效果，而且会给后续处理环节(例如压缩编码等)带来不利的影响。因此，研究有效的降低3D数字视频图像中的噪声方案是十分必要的。

通常情况下，3D数字视频图像中的噪声被认为是与图像独立的高斯白噪声，其特点是各帧图像的噪声是相互独立的，而每一帧图像的噪声是随机出现的，且服从均值为零的高斯分布。相反地，3D视频图像中每一帧的内容是高度相关的，在时域中沿着物体运动轨迹方向是一致的，每帧之间没有变化。因此，可以利用图像内容的相关性和噪声的不相关性设计降噪方案，从含有噪声的图像中尽可能恢复得到原始图像。

目前，3D数字视频图像的降噪方案可以分为下面几类：第一类是空域降噪，其仅利用每一帧图像对视频图像做降噪处理；第二类是时域降噪，其仅利用图像的运动补偿对视频图像做降噪处理；第三类是时-空域降噪，即通常所说的3D降噪，同时在空域和时域对视频图像做降噪处理。空域降噪和时域降噪操作相对简单，但是容易出现边缘质量差、块效应等问题。3D降噪结合了二者的优势，充分利用了3D数字视频图像的信息，因而得到了越来越多的关注。

现行的专利提出了一些3D降噪方案，如FIR滤波形式的补偿滤波方案、线性卡尔曼滤波(或者扩展卡尔曼滤波)形式的递归滤波方案。这些方案主要存在计算量和存储量过大的问题。为了得到较好的滤波参数，往往需要很多的参考帧(需要当前帧的前p帧和后p帧)。这一方面需要较大的存储资源开销，另一方面使得降噪运算过慢，从而不适合实时视频图像降噪。此外，这些滤波算法会造成滤波中的误差积累和放大，从而最终影响滤波算法的性能。

根据以上分析可以看出，如何利用3D数字视频图像在时域上和空域上的信息，巧妙地将时域降噪和空域降噪结合起来，避免单一降噪方式产生的问题，同时改善现有3D降噪的计算量和存储量过大和误差积累问题是设计3D数字视频图像降噪方案的关键。

发明内容

本发明提供一种3D数字视频图像的自适应实时降噪方案，主要应用于3D数字视频图像处理、传输、显示中需要实时降噪的场合，包括以下步骤：

步骤1：将当前帧移入上一帧，并从视频图像输入中重新读取待降噪的当前帧图像；

步骤2：将当前帧图像划分成若干子块，利用这些子块对当前帧的噪声标准差进行估计；

步骤3：利用步骤2得到的子块与上一帧中的子块进行匹配搜索，得到匹配块；

步骤4：根据步骤2中得到的噪声标准差设置两个不同的阈值；

步骤5：根据步骤3中得到的匹配块对图像运动强度进行估计；

步骤6：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择时域滤波的系数；

步骤7：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择一组加权系数；

步骤8：利用步骤6中选择的时域滤波系数对当前帧图像进行时域滤波；

步骤9：利用步骤2中得到的噪声标准差，对当前帧图像进行空域滤波；

步骤10：按步骤7中选择的加权系数对步骤8和步骤9中得到的结果进行加权；

步骤11：输出当前帧图像的降噪结果。

效果说明

本发明提出了一种3D数字视频图像的自适应实时降噪方案，其在空域二维和时域一维上对图像进行滤波降噪处理。该方法对图像进行运动强度检测，并对图像的噪声标准差进行估计，提供了一种根据噪声标准差的估计结果和图像运动强度检测设定阈值门限的方法。

本发明提供了一种通过与运动强度与门限的关系自适应调整时域滤波中的参数的方法，同时提供了一种通过与运动强度与门限的关系自适应将时域滤波和空域滤波的结果进行自适应加权作为降噪后的输出结果的方法，使得图像的边缘和细节得到了保护。

本发明可有效地对3D数字视频图像进行降噪，极大地增加了3D数字视频图像观看的舒适性。同时，本发明在时域降噪中只需要当前帧和上一帧的图像，大大降低了计算量和存储量，从而特别适合需要对3D数字视频图像进行实时降噪的场合。

附图和附表说明

图1：本发明提供的3D数字视频图像的自适应实时降噪方案流程图；

图2：本发明中的时域滤波示意图；

图3：本发明中的空域滤波示意图；

图4：本发明中的时域滤波和空域滤波加权示意图；

表1：本发明中的时域滤波系数与图像运动强度及阈值的关系；

表2：本发明中的加权系数与图像运动强度及阈值的关系。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明提供的3D数字视频图像的自适应实时降噪方案流程图。从该图清楚地可以看出，本发明提供的降噪方案包括下面11个步骤，依次为步骤1-步骤11。下面按各步骤对本实施例作进一步说明。

步骤1：将当前帧移入上一帧，并从视频图像输入中重新读取待降噪的当前帧图像

步骤2：将当前帧图像划分成若干子块，利用这些子块对当前帧的噪声标准差进行估计假定待处理的图像大小为M×N，将其分成若干大小为L×L的子块，其中L是M和N的公因数。每一个L×L的子块为一个基本处理单位。例如，待处理的图像大小为1024×768，可以取L＝32。然后，分别计算每个子块的噪声标准差，计算公式为

$\mathrm{\σ}=\sqrt{\frac{1}{L\×L}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{(f_{\mathrm{ij}}-{\stackrel{\‾}{f}}_{\mathrm{ij}})}^2}---\left(1\right)$

其中，

为该子块各像素的平均值：

所有子块的噪声标准差计算出来后，选择它们的最小值作为当前帧图像的噪声标准差的估计

选择最小值作为估计是因为图像相对平坦的区域的方差主要是噪声方差决定的。

步骤3：利用步骤2得到的子块与上一帧中的子块进行匹配搜索，得到匹配块

对当前帧的每一个L×L的子块，在上一帧中采用最小SAD准则，找到与此L×L的子块的SAD值最小的块，称为匹配块，SAD值的计算方法为：

$\mathrm{SAD}=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}|f_{\mathrm{ij}}-r_{\mathrm{ij}}|---\left(2\right)$

其中，f_ij为当前子块相应位置的像素值，r_ij为上一子块相应位置的像素值。考虑到存储量和复杂度以及与空域滤波的加权，块匹配操作选择传统的“三步法”，即选用4，2，1的搜索步长，其具体过程本领域内熟知人员都应了解，在此不再赘述。

步骤4：根据步骤2中得到的噪声标准差设置两个不同的阈值

根据噪声标准差

的估计值设定阈值TH₁和TH₂，根据这两个阈值与图像运动强度的关系自适应调整时域滤波中的参数和加权系数，本实施例中TH₁和TH₂与估计的噪声标准差成正比例关系，即

${\mathrm{TH}}_1=A_1\widehat{\mathrm{\σ}},$ ${\mathrm{TH}}_2=A_2\widehat{\mathrm{\σ}}---\left(3\right)$

A₁和A₂是两个正数，通过大量仿真测试，选定A₁＝1.8，A₂＝1.2。

步骤5：根据步骤3中得到的匹配块对图像运动强度进行估计

各子块运动强度估计值K_p根据下式求得：

$K_p=\frac{\mathrm{SAD}}{L\×L}---\left(4\right)$

其中，SAD值根据(2)式计算得出。

步骤6：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择时域滤波的系数

该系数w依据K_p及TH₁和TH₂的关系确定，分图像运动缓慢(K_p＜TH₂)，图像运动一般(TH₂≤K_p＜TH₁)和图像运动剧烈(K_p≥TH₁)三种情况，具体数值通过仿真测试选取如下：

$w=\left\{\begin{array}{cc}0.4& K_p<{\mathrm{TH}}_2\\ 0.65& {\mathrm{TH}}_2\&le;K_p<{\mathrm{TH}}_1\\ 0.9& K_p\&GreaterEqual;{\mathrm{TH}}_1\end{array}\right.---\left(5\right)$

由式(5)可以看出，当图像运动剧烈时，选择w的数值较大；相反地，当图像运动缓慢时，选择w的数值较小。在实际滤波处理过程中，将上述数值存入表中(表1)，通过查表实现选取过程。

步骤7：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择一组加权系数(β₁，β₂)

加权系数依据K_p及TH₁和TH₂的关系确定，分图像运动缓慢(K_p＜TH₂)，图像运动一般(TH₂≤K_p＜TH₁)和图像运动剧烈(K_p≥TH₁)三种情况。在图像运动剧烈时，对空域滤波加较大的权重，在图像运动缓慢时，对时域滤波加较大的权重，具体数值通过仿真测试选取如下：

$({\mathrm{\&beta;}}_1,{\mathrm{\&beta;}}_2)=\left\{\begin{array}{cc}\left(\mathrm{0.8,0.2}\right)& K_p<{\mathrm{TH}}_2\\ \left(\mathrm{0.5,0.5}\right)& {\mathrm{TH}}_2\&le;K_p<\\ \left(\mathrm{0.2,0.8}\right)& K_p\&GreaterEqual;{\mathrm{TH}}_1\end{array}{\mathrm{TH}}_1\right.---\left(6\right)$

在实际滤波处理过程中，将上述数值存入表中(表2)，通过查表实现选取过程。

步骤8：利用步骤6中选择的时域滤波系数对当前帧图像进行时域滤波

时域滤波是将当前帧图像与上一帧图像进行一阶递归平滑，如图2所示。滤波强度依据系数w来调整控制：

${\hat{f}}_1={\mathrm{wf}}_{\mathrm{ij}}+(1-w)r_{\mathrm{ij}}---\left(7\right)$

其中，

为时域滤波的输出结果，f_ij为当前帧各子块中各点的像素值，r_ij为上一帧各子块中各点的像素值，w是按K_p及TH₁和TH₂的关系从表1中查到的值。其具体过程本领域内熟知人员都应了解，在此不再赘述。

步骤9：利用步骤2中得到的噪声标准差，对当前帧图像进行空域滤波

空域滤波可以看作一个窗长为W的滤波窗在含有噪声的图像上滑动滤波的过程，如图3所示。其具体过程本领域内熟知人员都应了解，在此不再赘述。本实施例中选取W＝4。空域滤波滤波器的权系数按下面的(8)式选取，其综合考虑了像素值和距离的影响

$w_{\mathrm{ij}}=\exp [-\frac{{(i-k)}^2+{(j-1)}^2}{2{\mathrm{\&sigma;}}_d^2}]\&CenterDot;\exp [-\frac{{(f_{\mathrm{ij}}-f_{k1})}^2}{2{\mathrm{\&sigma;}}_r^2}]---\left(8\right)$

从上式可以看出，w_ij由两项相乘得到。第一项计算的是当前像素和其W×W窗内某像素的距离差，σ_d为距离方向的标准差；第二项计算的是当前像素值和其W×W窗内某像素值的差，σ_r为像素值的标准差。本实施例中选取

空域滤波的估计结果

按下面式(9)得到：

${\hat{f}}_2=w_{\mathrm{ij}}\&CircleTimes;f_{\mathrm{ij}}---\left(9\right)$

其中，符号

表示卷积运算。

步骤10：按步骤7中选择的加权系数对步骤8和步骤9中得到的结果进行加权

为了兼顾时域滤波和空域滤波的结果，对二者进行加权，如图4所示。本实施例选取线性加权方法，具有易于实现的优点，同时能够解决降噪后的图像边缘质量差、块效应等问题。权重(β₁，β₂)根据K_p及TH₁和TH₂的关系从表2中查出，具体计算如下：

$\hat{f}={\mathrm{\&beta;}}_1{\hat{f}}_1+{\mathrm{\&beta;}}_2+{\hat{f}}_2---\left(10\right)$

其中，

作为下面步骤11中的输出结果，

和

分别为时域和空域滤波结果。

步骤11：输出当前帧图像的降噪结果。

尽管上面对本发明的具体实施方式进行了描述，但很明显，本发明不限于具体实施方式的范围。对于本领域熟练人员来讲，在不偏移权利要求书所限定的发明范围和精神的情况下，还可以对这些实施例作各种修改和变更。因此，说明书和附图是描述性的，而不是限定性的，一切利用本发明思路的发明创造均应在保护之列。

Claims (10)

1.一种3D数字视频图像的自适应实时降噪方案，其特征在于，包括以下步骤：

步骤1：将当前帧移入上一帧，并从视频图像输入中重新读取待降噪的当前帧图像；

步骤2：将当前帧图像划分成若干子块，利用这些子块对当前帧的噪声标准差进行估计；

步骤3：利用步骤2得到的子块与上一帧中的子块进行匹配搜索，得到匹配块；

步骤4：根据步骤2中得到的噪声标准差设置两个不同的阈值；

步骤5：根据步骤3中得到的匹配块对图像运动强度进行估计；

步骤6：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择时域滤波的系数；

步骤7：对步骤5中得到的图像运动强度和步骤4中得到的两个阈值进行比较，按二者大小关系选择一组加权系数；

步骤8：利用步骤6中选择的时域滤波系数对当前帧图像进行时域滤波；

步骤9：利用步骤2中得到的噪声标准差，对当前帧图像进行空域滤波；

步骤10：按步骤7中选择的加权系数对步骤8和步骤9中得到的结果进行加权；

步骤11：输出当前帧图像的降噪结果。

2.如权利1所述的方法，其特征在于，假定步骤2中待处理的图像大小为M×N，将其分成若干个大小为L×L的子块，其中L是M和N的公因数。每一个L×L的子块为一个基本处理单位。然后，分别计算每个子块的噪声标准差，并选择各子块噪声标准差的最小值作为当前帧图像的噪声标准差的估计

3.如权利1所述的方法，其特征在于，步骤3中，对当前帧的每一个L×L的子块，在上一帧中采用最小绝对差和(Sum of Absolute Differences，SAD)准则，找到与此L×L的子块的SAD值最小的块，称为匹配块，SAD值的计算方法为：

$\mathrm{SAD}=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}|f_{\text{ij}}-r_{\mathrm{ij}}|$

其中，f_ij为当前子块相应位置的像素值，r_ij为上一子块相应位置的像素值。

4.如权利1所述的方法，其特征在于，步骤4中根据噪声标准差

的估计值设定两个阈值TH₁和TH₂，这两个阈值均与估计的噪声标准差

成正比例关系，即

$T{H}_1=A_1\widehat{\mathrm{\&sigma;}},$ ${\mathrm{TH}}_2=A_2\widehat{\mathrm{\&sigma;}}$

A₁和A₂是两个正数(假定A₁＞A₂，因此TH₁＞TH₂)。

5.如权利1所述的方法，其特征在于，步骤5中每一个L×L的的子块运动强度的估计值K_p根据该子块和匹配块之间的SAD值求得：

$K_p=\frac{\mathrm{SAD}}{L\&times;L}$

6.如权利1所述的方法，其特征在于，步骤6中的时域滤波系数w依据K_p及TH₁和TH₂的关系确定：

$w=\left\{\begin{array}{cc}0.4& K_p<{\mathrm{TH}}_2\\ 0.65& {\mathrm{TH}}_2\&le;K_p<{\mathrm{TH}}_1\\ 0.9& K_p\&GreaterEqual;{\mathrm{TH}}_1\end{array}\right.$

7.如权利1所述的方法，其特征在于，步骤7中选取的一组加权系数(β₁，β₂)，其中β₁为时域滤波加权因子，β₂为空域滤波加权因子。β₁和β₂满足β₁+β₂＝1，具体数值依据K_p及TH₁和TH₂的关系确定：

$({\mathrm{\&beta;}}_1,{\mathrm{\&beta;}}_2)=\left\{\begin{array}{cc}\left(\mathrm{0.8,0.2}\right)& K_p<{\mathrm{TH}}_2\\ (0.5,0.5)& {\mathrm{TH}}_2\&le;K_p<{\mathrm{TH}}_1\\ \left(\mathrm{0.2,0.8}\right)& K_p\&GreaterEqual;{\mathrm{TH}}_1\end{array}\right.$

8.如权利1所述的方法，其特征在于，步骤8中的时域滤波强度依据系数w来调整控制：

${\hat{f}}_1={\mathrm{wf}}_{\mathrm{ij}}+(1-w)r_{\mathrm{ij}}$

其中，

为时域滤波的输出结果，f_ij为当前帧各子块中各点的像素值，r_ij为上一帧各子块中各点的像素值。

9.如权利1所述的方法，其特征在于，步骤9中的空域滤波综合考虑了像素值和距离的影响。假定空域滤波的窗长为W，则滤波器权系数为

$w_{\mathrm{ij}}=\exp [-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\&sigma;}}_d^2}]\&CenterDot;\exp [-\frac{{(f_{\mathrm{ij}}-f_{\mathrm{kl}})}^2}{2{\mathrm{\&sigma;}}_r^2}]$

w_ij由两项相乘得到。第一项计算的是当前像素和其W×W窗内某像素的距离差，σ_d为距离方向的标准差，选取

第二项计算的是当前像素值和其W×W窗内某像素值的差，σ_r为像素值的标准差，选取

空域滤波的估计结果按下式得到：

${\hat{f}}_2=w_{\mathrm{ij}}\&CircleTimes;f_{\mathrm{ij}}$

其中，符号

表示卷积运算。

10.如权利1所述的方法，其特征在于，步骤10中分别将时域和空域滤波结果加权β₁和β₂：

$\hat{f}={\mathrm{\&beta;}}_1{\hat{f}}_1+{\mathrm{\&beta;}}_2{\hat{f}}_2$

其中，

为滤波最后输出结果，

和

分别为时域和空域滤波结果。

Images