CN106303156A - 对视频去噪的方法、应用及移动终端 - Google Patents

Abstract

本发明公开了对视频去噪的方法、应用及移动终端。其中对视频去噪的应用包括图像获取单元、噪声等级计算单元、平滑系数计算单元、距离计算单元、权重计算单元和亮度处理单元。图像获取单元适于获取关于视频的图像帧序列。噪声等级计算单元适于计算每个待去噪像素点的噪声等级。平滑系数计算单元适于根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数。距离计算单元适于基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离。权重计算单元适于计算每个相关联像素点对应的权重。亮度处理单元，对于每个待去噪像素点，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

Description

对视频去噪的方法、应用及移动终端

技术领域

本发明涉及图像处理技术领域，尤其涉及对视频去噪的方法、应用及移动终端。

背景技术

在图片或视频采集的应用场景中，所获取的图像不可避免会有信号噪声。例如，在夜晚等场景中所拍摄的图片或视频通常有比较明显的噪点。图像去噪是图像处理(单幅图片处理或视频帧序列的处理)中十分重要的环节。

目前，主流图像去噪的处理方式包括多种公知的保边滤波算法，例如双边滤波方式等。在对视频中图像帧序列进行去噪处理时，传统的视频去噪方式是对图像帧中像素点和其在空间和时间上相邻的像素点进行块匹配操作，进而完成滤波操作。

现有的视频去噪过程通常需要花费较多时间。针对这种情况，配置较高的多媒体设备经常采用GPU等硬件方式进行去噪加速。然而，在多种便携式电子设备(例如移动终端等)中采用现有的视频去噪方式时，图像去噪过程需要耗费大量时间。

为此，本发明提出了一种新的对视频去噪的技术方案。

发明内容

为此，本发明提供一种新的对视频去噪的技术方案，有效的解决了上面至少一个问题。

根据本发明的一个方面，提供一种对视频去噪的方法，适于在移动终端中执行。该方法包括下述步骤。获取关于视频的图像帧序列。计算每个图像帧中每个待去噪像素点的噪声等级。根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数。从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离。根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重。对于每个待去噪像素点，根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

可选地，在根据本发明的对视频去噪的方法中，获取关于视频的图像帧序列的步骤包括：按照时间顺序获取RGB像素格式的原始帧序列；将原始帧序列转化为亮度和色度分离的数据帧序列并作为图像帧序列。

可选地，在根据本发明的对视频去噪的方法中，计算每个图像帧中每个待去噪像素点的噪声等级的步骤包括：以该待去噪像素点为中心，选择预定窗口尺寸的图像块作为该待去噪像素点的邻域块；计算该领域块中亮度的方差，以确定该待去噪像素点的噪声等级。

可选地，在根据本发明的对视频去噪的方法中，从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离的步骤包括：统计该待去噪像素点之前的图像帧中对应位置的像素点所关联的像素点中、与对应位置的像素点相似度最高的至少一部分；根据对应位置的像素点与所统计的至少一部分像素点的位置关系，选定与该待去噪像素点保持这种位置关系的像素点作为与该待去噪像素点相关联的像素点；计算该待去噪像素点与每个相关联的像素点的距离。

可选地，在根据本发明的对视频去噪的方法中，计算该待去噪像素点与每个相关联的像素点的距离的步骤包括：获取该待去噪像素点的待匹配的邻域块关于亮度的特征向量；获取每个相关联的像素点的邻域块关于亮度的特征向量；计算待匹配的邻域块与每个相关联的像素点的邻域块的特征向量之间距离作为这个相关联的像素点对应的距离。

可选地，在根据本发明的对视频去噪的方法中，根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重的步骤包括下述方式：

$w(x,y)=\frac{1}{W\left(x\right)}\exp \left(\frac{-1}{h^2}\right|\left|u\right(N^d\left(x\right))-u(N^d\left(y\right)\left)\right|{|}^2)$

其中，x表示待去噪的像素点，y表示与x相关联一个像素点，

||u(N^d(x))-u(N^d(y))||表示x的邻域块对应特征向量与y对应特征向量之间的距离，d为特征向量的维度，h表示x的亮度平滑系数，W(x)表示与x相关联的所有的像素点对应的之和，w(x,y)为y像素点的权重。

可选地，在根据本发明的对视频去噪的方法中，对于每个待去噪像素点，根据与其关联每个像素点的亮度和权重，计算与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度的步骤包括下述方式：

$f\left(x\right)=\underset{y}{\Σ}w(x,y)u\left(y\right)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，w(x,y)为y像素点的权重，u(y)表示y的亮度值。

可选地，根据本发明的对视频去噪的方法还包括：根据下述公式平滑所述图像帧序列中每个像素点的色度：

$f_t\left(x\right)=\underset{\mathrm{\Δ}=-n}{\overset{n}{\Σ}}\left(\frac{1}{W\left(x\right)}\exp \right(\left|\right|u_t\left(x\right)-u_{t+\mathrm{\Δ}}\left(x\right)|{|}^2\left)u_{t+\mathrm{\Δ}}\right(x\left)\right)$

其中，f_t(x)表示在第t帧图像上像素点x平滑后的色度值，exp(||u_t(x)-u_t+Δ(x)||²表示x与相邻Δ帧上相应空间位置的像素点之间关于邻域块的色度差距，W(x)为与从-n至n的所有相邻帧上相应空间位置的像素点的色度差距之和，u_t+Δ(x)表示与x相邻Δ帧上相应空间位置的像素点的色度值，表示该相应空间位置的像素点的色度值的权重。

根据本发明又一个方面，提供一种对视频去噪的应用，适于驻留在移动终端中，该应用包括图像获取单元、噪声等级计算单元、平滑系数计算单元、距离计算单元、权重计算单元和亮度处理单元。图像获取单元适于获取关于视频的图像帧序列。噪声等级计算单元适于计算每个图像帧中每个待去噪像素点的噪声等级。平滑系数计算单元适于根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数。距离计算单元适于从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离。权重计算单元适于根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重。亮度处理单元，对于每个待去噪像素点，适于根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

根据本发明又一个方面，提供一种移动终端，包括根据本发明的对视频去噪的应用。

综上，根据本发明的去噪技术方案，可以准确选定与待去噪像素点相似度高的像素点(换言之，排除掉大量相似度低的像素点)作为相关联像素点，进而通过块匹配计算确定每个相关联像素点的权重。另外，本发明的去噪技术方案对待去噪像素点的噪声等级进行评估，进而确定对应噪声等级的亮度平滑系数。结合该噪声等级和每个相关联每个像素点的权重和亮度，本发明的去噪技术方案可以将与待去噪像素点相关联像素点的亮度加权平均值作为经去噪的亮度。需要说明的是，本发明的去噪技术方案可以对相关联像素点的准确选择(利用相似块传递操作)并且排除掉相似度很低的像素点(在去噪操作中可以忽略不计)，可以极大提高去噪处理速度。另外，本发明的去噪技术方案在快速降低噪声的同时，仍然能很好的保留视频细节。特别是，在应用到例如移动终端等便携式多媒体设备时，本发明的去噪技术方案通过高效地完成去噪任务，可以极大提高用户体验度。

对单个待去噪像素点而言，本发明的去噪技术方案所准确选定的、与其相关联的像素点(位于待去噪的像素点所在的本帧和前后帧上)数量有足够多。因此，即使待去噪的像素点有很高的噪声等级，本发明的去噪技术方案也可以取得很好的去噪效果。

另外需要说明的是，现有的去噪方案中，经去噪后视频的播放画面经常有一种不连续的跳动感。本发明的去噪技术方案可以对亮度和色度进行同时滤波，可以提高视频播放画面的流畅性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的移动终端100的示意图；

图2示出了根据本发明一些实施例的对视频去噪的应用200的示意图；

图3示出了根据本发明一个实施例的图像帧序列的示意图；

图4示出了根据本发明又一些实施例的对视频去噪的应用400的示意图；

图5示出了根据本发明一些实施例的对视频去噪的方法500的流程图；

图6示出了图5中步骤S540的一种实施方法600的流程图；以及

图7示出了根据本发明一些实施例的对视频去噪的方法700的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是移动终端100的结构框图。移动终端100可以包括存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。

存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。

例如，运动传感器110、光线传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及Bluebooth^TM网络的通信子系统124。

音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统172，例如Android、iOS或是Windows Phone之类的操作系统。该操作系统172可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用174。在移动设备运行时，会从存储器150中加载操作系统172，并且由处理器104执行。应用174在运行时，也会从存储器150中加载，并由处理器104执行。应用174运行在操作系统172之上，利用操作系统172以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用174可以是独立于操作系统提供的，也可以是操作系统自带的。另外，应用174被安装到移动终端100中时，也可以向操作系统添加驱动模块。

在上述各种应用174中，其中的一种应用为根据本发明的对视频去噪的应用200。应用200能够对关于视频的图像帧序列进行去噪处理。下面结合图2对根据本发明的视频去噪方式进行示例性说明。

图2示出了根据本发明一些实施例的对视频去噪的应用200的示意图。如图2所示，应用200包括图像获取单元210、噪声等级计算单元220、平滑系数计算单元230、距离计算单元240、权重计算单元250和亮度处理单元260。

图像获取单元210适于获取关于视频的图像帧序列。这里，待去噪的原始视频可以是移动终端(100)实时拍摄的图像帧序列，也可以是来自网络的视频数据，或者是本地存储器(150)中所存储的视频数据，本发明对此不做过多限制。原始视频的图像帧例如可以是RGB、YUV或YCbCr等各种像素格式。

需要说明的是，应用200适于对亮度和色度分离的图像帧执行去噪处理。根据本发明一个实施例，在原始视频的图像帧为YUV或YCbCr等亮度和色度分离表示的像素格式时，图像获取单元210可以将原始图像帧序列作为应用200的直接处理对象。根据本发明又一个实施例，在原始视频的图像帧例如为RGB等未分离亮度和色度的像素格式时，图像获取单元210对按照时间顺序获取的原始帧序列进行转化操作。下面以RGB格式的原始帧序列转化成YCbCr为例，对图像获取单元210的转化操作进行说明。

首先说明的是，YCbCr格式与RGB格式的关系式如下：

Y＝K_RR+K_GG+K_BB

$C_b=\frac{1}{2(1-K_B)}(B-Y)$

$C_r=\frac{1}{2(1-K_R)}(R-Y)$

其中，K_R与K_B是预先定义的，K_G＝1-K_B-K_R。例如，根据ITU-R BT.601中的定义：K_B＝0.114，K_R＝0.299，K_G＝1-K_B-K_R＝0.587。

因此，本实施例中图像获取单元210可以根据下述矩阵公式进行转换操作。

$\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.5\\ 0.5& -0.419& -0.081\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，Y为亮度值，C_b和C_r分别为色度值。

对于图像获取单元210所提供的亮度和色度分离的图像帧序列，噪声等级计算单元220适于计算每个图像帧中每个待去噪像素点的噪声等级。换言之，噪声等级计算单元220会对每个待去噪像素点进行噪声等级估计(noise level estimation)。这里，噪声等级计算单元220可以采用多种公知的算法进行噪声等级估计，本发明对此不作过多限制。

在根据本发明一个实施例中，噪声计算单元220可以采用“Practical Signal-Dependent Noise Parameter Estimation From a Single Noisy Image”(IEEETRANSACTIONS ON IMAGE PROCESSING,VOL.23,NO.10,OCTOBER 2014)所公开的噪声等级估计算法。

在根据本发明又一个实施例中，为了评估一个待去噪像素点的噪声等级，噪声计算单元220以该待去噪像素点为中心，选择预定窗口尺寸的图像块作为该待去噪像素点的邻域块。在此基础上，噪声计算单元220计算该领域块中亮度的方差，以确定该待去噪像素点的噪声等级。通常，方差越大，噪声强度越大(即，噪声等级越高)。

平滑系数计算单元230适于根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数。

距离计算单元240适于从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离。这里，块匹配算法例如可以采用“Nonlocal Image and MovieDenoising”(Int J Comput Vis(2008)76:123-139DOI 10.1007/s11263-007-0052-1)所公开的算法，但不限于此。

在根据本发明一个实施例中，距离计算单元240在选定与待去噪像素点关联的像素点之前，进行预处理操作。这里，预处理操作是排除与待去噪的像素点相似程度较低(即关联度较低)的像素点。这些相似程度低的像素点对后期的去噪处理影响很小。换言之，所排除的像素点对后期去噪处理影响可以忽略不计。这样，距离计算单元240通过预处理操作可以大量减少与待去噪像素点关联的像素点的数量，从而降低距离计算单元240的时间消耗。

在根据本发明又一个实施例中，距离计算单元240除了可以执行上述实施例中提到的预处理操作以外，还可以采用相似块传递(patch propagation)的操作方式对关联像素点进行选定。随后，根据对应位置的像素点与所统计的至少一部分像素点的位置关系，距离计算单元240可以选定与该待去噪像素点保持这种位置关系的像素点作为与该待去噪像素点相关联的像素点。具体而言，距离计算单元240可以统计该待去噪像素点之前的图像帧中对应位置的像素点所关联的像素点中、与对应位置的像素点相似度最高的至少一部分。下面结合图3对基于相似块传递的选定关联像素点的过程进行示例性说明。

图3示出了待去噪的像素点a₀所在的图像帧T₀和在T₀之前的已经由距离计算单元240进行距离计算的图像帧T_-1、T_-2、T_-3、在T₀之后待处理的图像帧T₁、T₂、T₃。像素点a在图像帧T_-1、T_-2、T_-3的相应空间位置上的像素点分别为a_-1、a_-2、a_-3。通常而言，在视频的图像帧序列中前后相邻的图像帧中，相应空间位置(像素点在图像帧中的空间位置)的像素点(例如，a₀、a_-1、a_-2和a_-3)具有很小的时间间隔。相应的，这些像素点的运动变化很小。通常，a₀相似度较高(即距离较近)的像素点的分布位置与a_-1、a_-2和a_-3这3个点各自的相似点分布位置基本一致。因此，距离计算单元240可以先统计与a_-1、a_-2和a_-3的至少一部分相似度最高的像素点的分布位置。这样，距离计算单元240可以选定与a₀保持同样分布位置关系的像素点作为与其相关联的像素点。显然，距离计算单元240通过上述相似块传递的选定方式，可以准确而快速找到与a₀相似度高的像素点，并且排除了通常与a₀相似度低的像素点，从而极大降低了后续进行块匹配操作的计算量。随后，距离计算单元240可以计算待去噪的像素点a₀与每个相关联的像素点的距离。这里，关于两个像素点之间的距离的计算方式例如是计算两个像素点的邻域块之间的距离。具体地，首先获取该待去噪像素点的待匹配的邻域块关于亮度的特征向量。待去噪像素点a₀的待匹配邻域块以a₀为中心，预定窗口尺寸的图像块。a₀对应的特征向量包括其对应的邻域块中每个像素点的亮度(每个亮度值为一个特征分量)。类似地，距离计算单元240获取每个相关联的像素点的邻域块关于亮度的特征向量。在此基础上，距离计算单元240可以计算待匹配的邻域块与每个相关联的像素点的邻域块的特征向量之间距离作为这个相关联的像素点对应的距离。典型地，特征向量之间距离例如是欧式距离，但不限于此。这里，距离越近，像素点之间的相似度越高。

综上，平滑系数计算单元230确定了待去噪像素点的亮度平滑系数，距离计算单元240确定了待去噪像素点与每个关联像素点对应的距离。在此基础上，权重计算单元250适于根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重。对于每个待去噪像素点，亮度处理单元260适于根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

在根据本发明一个实施例中，权重计算单元250根据下述公式进行权重计算，但不限于此。

$w(x,y)=\frac{1}{W\left(x\right)}\exp \left(\frac{-1}{h^2}\right|\left|u\right(N^d\left(x\right))-u(N^d\left(y\right)\left)\right|{|}^2)$

其中，x表示待去噪的像素点，y表示与x相关联一个像素点。

||u(N^d(x))-u(N^d(y))||表示x的邻域块对应特征向量与y对应特征向量之间的距离，d为特征向量的维度，h表示x的亮度平滑系数，W(x)表示与x相关联的所有的像素点对应的之和，w(x,y)为y像素点的权重。

在此基础上，亮度处理单元260可以根据下述公式计算待去噪像素点经去噪的亮度。

$f\left(x\right)=\underset{y}{\Σ}w(x,y)u\left(y\right)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，w(x,y)为y像素点的权重，u(y)表示y的亮度值。

综上，应用200可以准确选定与待去噪像素点相似度高的像素点作为相关联像素点，进而进行块匹配计算以确定每个相关联像素点的权重。另外，应用200可以对待去噪像素点的噪声等级进行评估，进而确定对应噪声等级的亮度平滑系数。结合该噪声等级和每个相关联每个像素点的权重和亮度，应用200可以将与待去噪像素点相关联像素点的亮度加权平均值作为经去噪的亮度。需要说明的是，应用200中距离计算单元240对相关联像素点的准确选择，可以极大提高应用200的去噪处理速度。另外，应用200在快速降低噪声的同时，仍然能很好的保留视频细节。对单个待去噪像素点而言，应用200所准确选定的、与其相关联的像素点(位于待去噪的像素点所在的本帧和前后帧上)数量有足够多。因此，即使待去噪的像素点有很高的噪声等级，应用200也可以获得很好的去噪效果。

图4示出了根据本发明又一些实施例的对视频去噪的应用400的示意图。如图4所示，应用400包括图像获取单元410、噪声等级计算单元420、平滑系数计算单元430、距离计算单元440、权重计算单元450、亮度处理单元460和色度处理单元470。其中，图像获取单元410、噪声等级计算单元420、平滑系数计算单元430、距离计算单元440、权重计算单元450和亮度处理单元460分别与图像获取单元210、噪声等级计算单元220、平滑系数计算单元230、距离计算单元240、权重计算单元250和亮度处理单元260的实施方式一致，这里不再赘述。

另外，色度处理单元470适于根据下述公式平滑图像帧序列中每个像素点的色度：

$f_t\left(x\right)=\underset{\mathrm{\Δ}=-n}{\overset{n}{\Σ}}\left(\frac{1}{W\left(x\right)}\exp \right(\left|\right|u_t\left(x\right)-u_{t+\mathrm{\Δ}}\left(x\right)|{|}^2\left)u_{t+\mathrm{\Δ}}\right(x\left)\right)$

其中，f_t(x)表示在第t帧图像上像素点x平滑后的色度值。exp(||u_t(x)-u_t+Δ(x)||²表示x与相邻Δ帧上相应空间位置的像素点之间关于邻域块的色度差距。这里，每个像素点的色度可以包括两个分量(例如，YCbCr格式中C_b和C_r)。每个分量都可以通过上述公式进行平滑处理。另外，色度差距和上文中关于亮度空间中待去噪像素点与相关联像素点的距离计算类似，不过计算量从亮度变成了色度，这里不再赘述。

W(x)为与从-n至n的所有相邻帧上相应空间位置的像素点的色度差距之和。u_t+Δ(x)表示与x相邻Δ帧上相应空间位置的像素点的色度值。表示该相应空间位置的像素点的色度值的权重。

需要说明的是，现有的去噪方案中，经去噪后视频的播放画面经常有一种不连续的跳动感。本发明的应用400可以对亮度和色度进行同时滤波，可以提高视频播放画面的流畅性。

图5示出了根据本发明一些实施例的对视频去噪的方法500的流程图。方法500适于在移动终端(100)等设备中执行。

如图5所示，方法500始于步骤S510。在步骤S510中，获取关于视频的图像帧序列。根据本发明一个实施例，在步骤S510中，首先按照时间顺序获取RGB像素格式的原始帧序列。随后，将原始帧序列转化为亮度和色度分离的数据帧序列并作为所述图像帧序列。步骤S510更具体的实施方式与上文中图像获取单元210一致，这里不再赘述。

对于步骤S510中得到的图像帧序列，方法500执行步骤S520。在步骤S520中，计算每个图像帧中每个待去噪像素点的噪声等级。根据本发明一个实施例，步骤S520更具体的实施方式如下。首先，以该待去噪像素点为中心，选择预定窗口尺寸的图像块作为该待去噪像素点的邻域块。随后，计算该领域块中亮度的方差，以确定该待去噪像素点的噪声等级。这里，步骤S520的更具体的实施方式与上文中噪声等级计算单元220一致，这里不再赘述。

根据步骤S520中所确定的待去噪像素点的噪声等级以及这个像素点的亮度，方法500可以执行步骤S530，确定对应这个待去噪像素点的亮度平滑系数。步骤S530更具体的实施方式与上文中平滑系数计算单元230一致，这里不再赘述。

方法500还包括步骤S540。在步骤S540中，从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离。

根据本发明一个实施例，步骤S540可以被实施为如图6所示的方法600。如图6所示，方法600始于步骤S610，统计该待去噪像素点之前的图像帧中对应位置的像素点所关联的像素点中、与对应位置的像素点相似度最高的至少一部分。随后，方法600执行步骤S620，根据对应位置的像素点与所统计的至少一部分像素点的位置关系，选定与该待去噪像素点保持这种位置关系的像素点作为与该待去噪像素点相关联的像素点。随后，方法600执行步骤S630，计算该待去噪像素点与每个相关联的像素点的距离。根据本发明一个实施例，在步骤S630中，首先获取该待去噪像素点的待匹配的邻域块关于亮度的特征向量。随后，获取每个相关联的像素点的邻域块关于亮度的特征向量。在此基础上，计算待匹配的邻域块与每个相关联的像素点的邻域块的特征向量之间距离作为这个相关联的像素点对应的距离。步骤S540更具体的实施方式与上文中距离计算单元240一致，这里不再赘述。

基于步骤S530中确定的亮度平滑系数和步骤S540中确定的每个相关联像素点对应的距离，方法500可以执行步骤S550。在步骤S550中，计算每个相关联像素点对应的权重。根据本发明一个实施例，步骤S550根据下述公式计算每个相关联像素点对应的权重。

$w(x,y)=\frac{1}{W\left(x\right)}\exp \left(\frac{-1}{h^2}\right|\left|u\right(N^d\left(x\right))-u(N^d\left(y\right)\left)\right|{|}^2)$

其中，x表示待去噪的像素点。y表示与x相关联一个像素点。

||u(N^d(x))-u(N^d(y))||表示x的邻域块对应特征向量与y对应特征向量之间的距离。d为特征向量的维度。h表示x的亮度平滑系数。W(x)表示与x相关联的所有的像素点对应的之和。w(x,y)为y像素点的权重。步骤S550更具体的实施方式与上文中权重计算单元250一致，这里不再赘述。

对于每个待去噪像素点，方法500可以执行步骤S560。在步骤S560中，根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。根据本发明一个实施例，步骤S560根据下述公式计算像素点经去噪的亮度。

$f\left(x\right)=\underset{y}{\Σ}w(x,y)u\left(y\right)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，w(x,y)为y像素点的权重，u(y)表示y的亮度值。步骤S560更具体的实施方式与上文中亮度处理单元260一致，这里不再赘述。

图7示出了根据本发明一些实施例的对视频去噪的方法700的流程图。方法700包括步骤S710、S720、S730、S740、S750、S760和S770。其中，步骤S710-S760的实施方式分别与图5中步骤S510-S560一致，这里不再赘述。

在步骤S770中，根据下述公式平滑所述图像帧序列中每个像素点的色度：

$f_t\left(x\right)=\underset{\mathrm{\Δ}=-n}{\overset{n}{\Σ}}\left(\frac{1}{W\left(x\right)}\exp \right(\left|\right|u_t\left(x\right)-u_{t+\mathrm{\Δ}}\left(x\right)|{|}^2\left)u_{t+\mathrm{\Δ}}\right(x\left)\right)$

其中，f_t(x)表示在第t帧图像上像素点x平滑后的色度值。exp(||u_t(x)-u_t+Δ(x)||²表示x与相邻Δ帧上相应空间位置的像素点之间关于邻域块的色度差距。W(x)为与从-n至n的所有相邻帧上相应空间位置的像素点的色度差距之和。u_t+Δ(x)表示与x相邻Δ帧上相应空间位置的像素点的色度值。表示该相应空间位置的像素点的色度值的权重。步骤S770更具体的实施方式与上文中色度处理单元470一致，这里不再赘述。

A10、如A9所述的应用，其中，所述图像获取单元适于根据下述方式获取关于视频的图像帧序列：

按照时间顺序获取RGB像素格式的原始帧序列；

将原始帧序列转化为亮度和色度分离的数据帧序列并作为所述图像帧序列。

A11、如A9或A10所述的应用，其中，所述噪声等级计算单元适于根据下述方式计算每个图像帧中每个待去噪像素点的噪声等级：

以该待去噪像素点为中心，选择预定窗口尺寸的图像块作为该待去噪像素点的邻域块；

计算该领域块中亮度的方差，以确定该待去噪像素点的噪声等级。

A12、如A9-A11中任一项所述的应用，其中，所述距离计算单元适于根据下述方式从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离：

统计该待去噪像素点之前的图像帧中对应位置的像素点所关联的像素点中、与对应位置的像素点相似度最高的至少一部分；

根据对应位置的像素点与所统计的至少一部分像素点的位置关系，选定与该待去噪像素点保持这种位置关系的像素点作为与该待去噪像素点相关联的像素点；及

计算该待去噪像素点与每个相关联的像素点的距离。

A13、如A12所述的应用，其中，所述距离计算单元适于根据下述方式计算该待去噪像素点与每个相关联的像素点的距离：

获取该待去噪像素点的待匹配的邻域块关于亮度的特征向量；

获取每个相关联的像素点的邻域块关于亮度的特征向量；及

计算待匹配的邻域块与每个相关联的像素点的邻域块的特征向量之间距离作为这个相关联的像素点对应的距离。

A14、如A9-13中任一项所述的应用，其中，所述权重计算单元根据下述公式执行所述根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重：

$w(x,y)=\frac{1}{W\left(x\right)}\exp \left(\frac{-1}{h^2}\right|\left|u\right(N^d\left(x\right))-u(N^d\left(y\right)\left)\right|{|}^2)$

其中，x表示待去噪的像素点，y表示与x相关联一个像素点，

||u(N^d(x))-u(N^d(y))||表示x的邻域块对应特征向量与y对应特征向量之间的距离，d为特征向量的维度，h表示x的亮度平滑系数，W(x)表示与x相关联的所有的像素点对应的之和，w(x,y)为y像素点的权重。

A15、如A14所述的应用，其中，所述亮度处理单元，对于每个待去噪像素点，适于基于下述方式来根据与其关联每个像素点的亮度和权重，计算与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度：

$f\left(x\right)=\underset{y}{\Σ}w(x,y)u\left(y\right)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，w(x,y)为y像素点的权重，u(y)表示y的亮度值。

A16、如A9-15中任一项所述的应用，还包括色度处理单元，适于根据下述公式平滑所述图像帧序列中每个像素点的色度：

$f_t\left(x\right)=\underset{\mathrm{\Δ}=-n}{\overset{n}{\Σ}}\left(\frac{1}{W\left(x\right)}\exp \right(\left|\right|u_t\left(x\right)-u_{t+\mathrm{\Δ}}\left(x\right)|{|}^2\left)u_{t+\mathrm{\Δ}}\right(x\left)\right)$

其中，f_t(x)表示在第t帧图像上像素点x平滑后的色度值，exp(||u_t(x)-u_t+Δ(x)||²表示x与相邻Δ帧上相应空间位置的像素点之间关于邻域块的色度差距，W(x)为与从-n至n的所有相邻帧上相应空间位置的像素点的色度差距之和，u_t+Δ(x)表示与x相邻Δ帧上相应空间位置的像素点的色度值，表示该相应空间位置的像素点的色度值的权重。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种对视频去噪的方法，适于在移动终端中执行，该方法包括：

获取关于视频的图像帧序列；

计算每个图像帧中每个待去噪像素点的噪声等级；

根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数；

从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离；

根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重；及

对于每个待去噪像素点，根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

2.如权利要求1所述的方法，其中，所述获取关于视频的图像帧序列的步骤包括：

按照时间顺序获取RGB像素格式的原始帧序列；

将原始帧序列转化为亮度和色度分离的数据帧序列并作为所述图像帧序列。

3.如权利要求1或2所述的方法，其中，所述计算每个图像帧中每个待去噪像素点的噪声等级的步骤包括：

以该待去噪像素点为中心，选择预定窗口尺寸的图像块作为该待去噪像素点的邻域块；

计算该领域块中亮度的方差，以确定该待去噪像素点的噪声等级。

4.如权利要求1-3中任一项所述的方法，其中，所述从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离的步骤包括：

统计该待去噪像素点之前的图像帧中对应位置的像素点所关联的像素点中、与对应位置的像素点相似度最高的至少一部分；

根据对应位置的像素点与所统计的至少一部分像素点的位置关系，选定与该待去噪像素点保持这种位置关系的像素点作为与该待去噪像素点相关联的像素点；及

计算该待去噪像素点与每个相关联的像素点的距离。

5.如权利要求4所述的方法，其中，所述计算该待去噪像素点与每个相关联的像素点的距离的步骤包括：

获取该待去噪像素点的待匹配的邻域块关于亮度的特征向量；

获取每个相关联的像素点的邻域块关于亮度的特征向量；及

计算待匹配的邻域块与每个相关联的像素点的邻域块的特征向量之间距离作为这个相关联的像素点对应的距离。

6.如权利要求1-5中任一项所述的方法，其中，所述根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重的步骤包括下述方式：

$w(x,y)=\frac{1}{W\left(x\right)}\exp \left(\frac{-1}{h^2}\right|\left|u\right(N^d\left(x\right))-u(N^d\left(y\right)\left)\right|{|}^2)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，

||u(N^d(x))-u(N^d(y))||表示x的邻域块对应特征向量与y对应特征向量之间的距离，d为特征向量的维度，h表示x的亮度平滑系数，W(x)表示与x相关联的所有的像素点对应的之和，w(x,y)为y像素点对应的权重。

7.如权利要求6所述的方法，其中，所述对于每个待去噪像素点，根据与其关联每个像素点的亮度和权重，计算与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度的步骤包括下述方式：

$f\left(x\right)=\underset{y}{\mathrm{\Σ}}w(x,y)u\left(y\right)$

其中，x表示待去噪的像素点，y表示与x相关联的像素点，w(x,y)为y像素点的权重，u(y)表示y的亮度值。

8.如权利要求1-7中任一项所述的方法，还包括：根据下述公式平滑所述图像帧序列中每个像素点的色度：

$f_t\left(x\right)=\underset{\mathrm{\Δ}=-n}{\overset{n}{\mathrm{\Σ}}}\left(\frac{1}{W\left(x\right)}\exp \right(\left|\right|u_t\left(x\right)-u_{t+\mathrm{\Δ}}\left(x\right)|{|}^2\left)u_{t+\mathrm{\Δ}}\right(x\left)\right)$

其中，f_t(x)表示在第t帧图像上像素点x平滑后的色度值，exp(||u_t(x)-u_t+Δ(x)||²表示x与相邻Δ帧上相应空间位置的像素点之间关于邻域块的色度差距，W(x)为与从-n至n的所有相邻帧上相应空间位置的像素点的色度差距之和，u_t+Δ(x)表示与x相邻Δ帧上相应空间位置的像素点的色度值，表示该相应空间位置的像素点的色度值的权重。

9.一种对视频去噪的应用，适于驻留在移动终端中，该应用包括：

图像获取单元，适于获取关于视频的图像帧序列；

噪声等级计算单元，适于计算每个图像帧中每个待去噪像素点的噪声等级；

平滑系数计算单元，适于根据每个待去噪像素点的噪声等级及其亮度，确定对应这个待去噪像素点的亮度平滑系数；

距离计算单元，适于从每个待去噪像素点所处的本帧和前后相邻多帧图像中，选定与该待去噪像素点关联的像素点，并基于块匹配算法计算该待去噪像素点与所选定每个关联像素点的距离；

权重计算单元，适于根据每个待去噪像素点的亮度平滑系数和每个与其关联像素点对应的距离，计算每个相关联像素点对应的权重；及

亮度处理单元，对于每个待去噪像素点，适于根据每个与其关联像素点的亮度和权重，计算所有与其关联像素点的亮度加权平均值并作为该待去噪像素点的经去噪的亮度。

10.一种移动终端，包括：如权利要求9所述的对视频去噪的应用。