[go: up one dir, main page]

CN111754437B - 一种基于运动强度的3d降噪方法及装置 - Google Patents

一种基于运动强度的3d降噪方法及装置 Download PDF

Info

Publication number
CN111754437B
CN111754437B CN202010589078.7A CN202010589078A CN111754437B CN 111754437 B CN111754437 B CN 111754437B CN 202010589078 A CN202010589078 A CN 202010589078A CN 111754437 B CN111754437 B CN 111754437B
Authority
CN
China
Prior art keywords
motion variable
value
calculating
variable
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010589078.7A
Other languages
English (en)
Other versions
CN111754437A (zh
Inventor
胡云鹏
曾纪国
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Goke Microelectronics Co ltd
Original Assignee
Chengdu Goke Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Goke Microelectronics Co ltd filed Critical Chengdu Goke Microelectronics Co ltd
Priority to CN202010589078.7A priority Critical patent/CN111754437B/zh
Publication of CN111754437A publication Critical patent/CN111754437A/zh
Application granted granted Critical
Publication of CN111754437B publication Critical patent/CN111754437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于运动强度的3D降噪方法及装置，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。方法包括：获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；根据第一运动变量及第二运动变量，计算得到第三运动变量；根据第三运动变量及预置滤波映射表，计算得到滤波强度值；根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。

Description

一种基于运动强度的3D降噪方法及装置
技术领域
本发明涉及图像处理领域，特别是涉及一种基于运动强度的3D降噪方法及装置。
背景技术
目前互联网时代对视频处理的操作日益增加，视频质量的要求随之增高。其中视频降噪方法也是视频处理的一个重要部分。由于图像噪波的出现是随机的，因此每一帧图像出现的噪波是不相同的。3D降噪方法通过对比相邻的几帧图像，将不重叠的信息(即噪波)自动滤出，采用3D降噪的摄像机，图像噪点会明显减少，图像会更透彻。从而显示出比较纯净细腻的画面。
在模拟高清监控系统中，图像信号处理(Image Signal Processing，ISP)降噪技术将传统的2D技术升级为3D，在原有的帧内降噪的基础上，增加了帧与帧之间降噪的功能；模拟高清ISP在图像在宽动态等功能上有了很大的提升，在宽动态处理方面，模拟高清ISP也实现了帧间宽动态技术，使图像明暗部分的细节都更加清晰、更接近人眼看到的实际效果。
现有的3D降噪方法是：采用当前帧和前后多帧图像构建的图像层中，通过运动估计技术，沿着物体的运动轨迹进行时域帧间滤波，去除视频序列中的噪声，同时保持视频图像的细节。
但是现有的3D降噪方法中，采用的运动估计技术是单一的，只能满足特定运动强度下的3D降噪，达到降噪效果不理想。
发明内容
本发明的目的是提供一种基于运动强度的3D降噪方法及装置，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。
本发明第一方面提供一种基于运动强度的3D降噪方法，包括：
获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；
根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；
根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；
根据第一运动变量及第二运动变量，计算得到第三运动变量；
根据第三运动变量及预置滤波映射表，计算得到滤波强度值；
根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。
进一步的，根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量，包括：
获取中心块及参考块中所有像素点的通道分量值及预置权重表，预置权重表为4个，预置权重表中具有中心块及参考块中每一个像素点的权重值；
根据预置权重表及中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
根据预置权重表及参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
计算中心块加权平均值及参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
确定运动变量中的最大运动变量和最小运动变量；
根据预置变量、最大运动变量和最小运动变量，计算得到第一运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
进一步的，根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量，包括：
获取中心块及参考块中所有像素点的通道分量值；
计算中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
计算中心块的最小通道分量值和参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
根据预置变量、当前帧运动变量和帧间运动变量，计算得到第二运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
进一步的，根据第一运动变量及第二运动变量，计算得到第三运动变量，包括：
根据第一运动变量、第二运动变量及预置变量，计算得到第三运动变量。
进一步的，根据第三运动变量及预置滤波映射表，计算得到滤波强度值，包括：
根据第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
根据第三运动变量和目标索引值得到调整系数；
根据调整系数、目标索引值对应的滤波值和下一个索引值对应的滤波值，计算得到滤波强度值；
计算得到滤波强度值之后，还包括：
当接收到滤波加强的信号值时，根据信号值计算得到滤波加强因子；
根据滤波加强因子和所述滤波强度值，计算得到加强滤波强度值。
本发明第二方面提供一种基于运动强度的3D降噪装置，包括：
获取模块，用于获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；
第一运动变量计算模块，用于根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；
第二运动变量计算模块，用于根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；
第三运动变量计算模块，用于根据第一运动变量及第二运动变量，计算得到第三运动变量；
滤波强度计算模块，用于根据第三运动变量及预置滤波映射表，计算得到滤波强度值；
降噪处理模块，用于根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。
进一步的，第一运动变量计算模块包括：
第一获取单元，用于获取中心块及参考块中所有像素点的通道分量值及预置权重表，预置权重表为4个，预置权重表中具有中心块及参考块中每一个像素点的权重值；
第一计算单元，用于根据预置权重表及中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
第一计算单元，还用于根据预置权重表及参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
第一计算单元，还用于计算中心块加权平均值及参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
确定单元，用于确定运动变量中的最大运动变量和最小运动变量；
第一运动变量计算单元，用于根据预置变量、最大运动变量和最小运动变量，计算得到第一运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
进一步的，第二运动变量计算模块包括：
第二获取单元，用于获取中心块及参考块中所有像素点的通道分量值；
第二计算单元，用于计算中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
第二计算单元，还用于计算中心块的最小通道分量值和参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
第二运动变量计算单元，用于根据预置变量、当前帧运动变量和帧间运动变量，计算得到第二运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
进一步的，
第三运动变量计算模块，具体用于根据第一运动变量、第二运动变量及预置变量，计算得到第三运动变量。
进一步的，滤波强度计算模块包括：
索引值计算单元，用于根据第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
调整系数计算单元，用于根据第三运动变量和目标索引值得到调整系数；
滤波强度计算单元，用于根据调整系数、目标索引值对应的滤波值和下一个索引值对应的滤波值，计算得到滤波强度值；
装置，还包括：
滤波加强模块，用于当接收到滤波加强的信号值时，根据信号值计算得到滤波加强因子；
滤波加强模块，还用于根据滤波加强因子和所述滤波强度值，计算得到加强滤波强度值。
由此可见，本发明中基于运动强度的3D降噪方法，是通过加权平均的差值绝对值方法计算得到第一运动变量，再通过最大最小值的差值绝对值方法计算得到第二运动变量，根据第一运动变量及第二运动变量，计算得到第三运动变量，依据第三运动变量及预置滤波映射表，计算得到滤波强度值。与现有的3D降噪方法相比，本发明的技术方案中运动变量是通过三次计算得到的，滤波强度值是由第三运动变量和预置滤波映射表计算得到，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于运动强度的3D降噪方法的一个实施例的流程示意图；
图2为本发明提供的第一运动变量的计算流程图；
图3为本发明提供的预置权重表的示意图；
图4为本发明提供的第二运动变量的计算流程图；
图5本发明提供的基于运动强度的3D降噪方法的另一个实施例的流程示意图；
图6为本发明提供的基于运动强度的3D降噪装置的一个实施例的结构示意图；
图7为本发明提供的基于运动强度的3D降噪装置的另一个实施例的结构示意图；
图8为本发明提供的基于运动强度的3D降噪装置的又一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种基于运动强度的3D降噪方法及装置，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种基于运动强度的3D降噪方法，包括：
101、获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；
本实施例中，基于运动强度的3D降噪方法主要是应用于具有前后多帧图像的视频图像的降噪处理，图像的呈现是连续多帧的，获取当前帧图像和上一帧图像，以当前帧图像中的当前像素点为中心周围的nxn矩阵像素点作为中心块，n具体可以是大于等于3的正整数，在具体实施时，一般使用3*3矩阵，因为3*3矩阵能减少寄存器转换级(RegisterTransfer Level,RTL)电路实现时的资源，5*5矩阵或者更大的矩阵能有更好的效果，但是也会带来模糊效果，所以综合效果和资源的考虑还是使用3*3矩阵。在上一帧图像中选取与当前帧的中心块对应的矩阵作为参考块。图像的格式具体可以是YUV格式，也可以是CFA格式，具体不做限定。
需要说明的是，在本发明的实施例中，针对图像的处理都是以单通道分量来进行，例如，YUV格式图像的Y分量，那么对于UV分量的处理方式与Y分量的相同。
102、根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；
本实施例中，加权平均的差值绝对值方法一般是通过对中心块及参考块的像素点预先设置权重表，从而得到中心块及参考块的加权平均值，再对中心块及参考块的加权平均值进行差值绝对值计算，就能得到第一运动变量。
103、根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；
本实施例中，最大最小值的差值绝对值方法一般是根据中心块和参考块的最大通道分量值和最小通道分量值，进行差值绝对值计算，得到第二运动变量。
104、根据第一运动变量及第二运动变量，计算得到第三运动变量；
本实施例中，在根据加权平均的差值绝对值方法得到第一运动变量，根据最大最小值的差值绝对值方法得到第二运动变量之后，还需要将两个运动变量进行整合，从而得到第三运动变量，更加准确的反映出运动强度。
105、根据第三运动变量及预置滤波映射表，计算得到滤波强度值；
本实施例中，由于第三运动变量是在第一运动变量和第二运动变量的基础上整合得到的，那么预置滤波映射表很明显已经不适用于第三运动变量了，也无法在预置滤波映射表中找到准确的滤波强度值，因此，需要根据第三运动变量及预置滤波映射表，重新计算得到滤波强度值。
106、根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。
本实施例中，在得到滤波强度值之后，根据滤波强度值、当前帧图像及上一帧图像就能计算得到滤波之后的值，从而反映出3D降噪结果。
本发明实施例中，基于运动强度的3D降噪方法是通过加权平均的差值绝对值方法计算得到第一运动变量，再通过最大最小值的差值绝对值方法计算得到第二运动变量，根据第一运动变量及第二运动变量，计算得到第三运动变量，依据第三运动变量及预置滤波映射表，计算得到滤波强度值。与现有的3D降噪方法相比，本发明的技术方案中运动变量是通过三次计算得到的，滤波强度值是由第三运动变量和预置滤波映射表计算得到，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。
需要说明的是，在本实施例中步骤102和步骤103的执行顺序不分先后，也可以同时执行。
在以上图1所示的实施例中，对于第一运动变量、第二运动变量和第三运动变量的获取过程，并未进行详细的描述，下面通过实施例进行具体说明。
如图2所示，图2为第一运动变量的计算流程图，包括：
201、获取中心块及参考块中所有像素点的通道分量值及预置权重表；
本实施例中，以YUV格式图像为例，获取到中心块及参考块中每一个像素点的Y分量值及预置权重表，预置权重表有4组，分别处理4种不同的方向，分别是上下、左右、两个斜边，具体的权重值是根据不同的噪声进行不同的配置。例如，图3就是4组不同的预置权重表，其中预置权重表1设置了中心点的权重值为4，上下方向的像素点的权重值为3，其他的像素点的权重值为1；预置权重表2是左右方向设置的，预置权重表3和预置权重表4分别是两个斜边方向设置的。
202、根据预置权重表及中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
本实施例中，将中心块中每一个像素点的通道分量值与对应的预置权重表中的权重值进行相乘，得到每一个像素点的加权分量值，再将所有像素点的加权分量值相加之后，除以像素点的数量，得到中心块加权平均值，由于预置权重表存在4个，因此中心块加权平均值也有4个。
203、根据预置权重表及参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
本实施例中，参考块加权平均值的计算方式与步骤202中中心块加权平均值的计算方式相同。
204、计算中心块加权平均值及参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
本实施例中，中心块加权平均值减去参考块加权平均值，再求绝对值，得到每一个预置权重表对应的运动变量，记为运动变量MV，由于预置权重表有4个，那么运动变量MV也有4个。
205、确定运动变量中的最大运动变量和最小运动变量；
本实施例中，确定4个运动变量MV中的最大运动变量MVmax和最小运动变量MVmin。最大运动变量MVmax表示的是变化最剧烈的方向，最小运动变量MVmin表示的是变化最平缓的方向。因此，选取最大运动变量MVmax和最小运动变量MVmin的作用是通过平滑滤波可以滤掉高频噪声。
206、根据预置变量、最大运动变量和最小运动变量，计算得到第一运动变量。
本实施例中，预置变量strength是根据当前帧图像和上一帧图像所处的场景预先设置，可以进行调节，根据预置变量strength、最大运动变量MVmax和最小运动变量MVmin，计算得到第一运动变量MVmean，具体的计算公式为：
MVmean＝MVmin*strength+MVmax*(1-strength)
本发明实施例中，详细的描述了第一运动变量的计算方式，第一运动变量的计算过程中主要考虑到的是对于高频噪声的滤波处理，而且增加预置变量可以根据不同的场景进行调节。
如图4所示，图4为第二运动变量的计算流程图，包括：
401、获取中心块及参考块中所有像素点的通道分量值；
本实施例中，获取中心块及参考块中所有像素点的通道分量值。
402、计算中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
本实施例中，将中心块的最大通道分量值减去最小通道分量值，或者，将最小通道分量值减去最大通道分量值，再求绝对值，得到当前帧运动变量MVmax。
403、计算中心块的最小通道分量值和参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
本实施例中，将中心块的最小通道分量值减去参考块的最小通道分量值，再求绝对值，得到帧间运动变量MVmin。
404、根据预置变量、当前帧运动变量和帧间运动变量，计算得到第二运动变量。
本实施例中，预置变量strength是根据当前帧图像和上一帧图像所处的场景预先设置，可以进行调节，根据预置变量strength、当前帧运动变量MVmax和帧间运动变量MVmin，计算得到第二运动变量MVmaxmin，具体计算公式为：
MVmaxmin＝MVmin*strength+MVmax*(1-strength)
本发明实施例中，详细描述了第二运动变量的计算过程，之所以选择当前帧运动变量和帧间运动变量来作为第二运动变量的计算元素，主要是目的是去除Gamma处理后产生的极亮值和极暗值，例如椒盐噪声等，Gamma源于CRT(显示器/电视机)的响应曲线，即其亮度与输入电压的非线性关系。而且增加预置变量可以根据不同的场景进行调节。
可选的，结合图2和图4所示的实施例，本发明的一些实施例中，根据第一运动变量及第二运动变量，计算得到第三运动变量，包括：
根据第一运动变量、第二运动变量及预置变量，计算得到第三运动变量。
本发明实施例中，由于引入了预置变量，那么在第三运动变量计算时，也需要考虑预置变量strength，第三运动变量MVresult具体的计算公式如下：
MVresult＝MVmean*strength+MVmaxmin*(1-strength)
由于预置变量strength的引入，能够实现在不同的场景，有不同的噪声的时候，根据调整预置变量strength，来使得适应于各种随机噪声的滤波。
结合以上的实施例，确定了第一运动变量、第二运动变量和第三运动变量的计算过程，下面通过实施例具体说明是如何根据第三运动变量计算得到滤波强度值，并且增加了滤波强度值的加强处理。
请参阅图5，本发明实施例提供一种基于运动强度的3D降噪方法，包括：
501、获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；
详情请参考图1所示实施例的步骤101。
502、根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；
详情请参考图2所示实施例的步骤201-步骤206。
503、根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；
详情请参考图4所示实施例的步骤401-步骤404。
504、根据第一运动变量及第二运动变量，计算得到第三运动变量；
505、根据第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
本实施例中，为了在硬件上节省寄存器的资源，一般是将映射表进行压缩，假设预置滤波映射表设计为了线性的64值表，如表1所示。
表1预置滤波映射表
2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62
66 70 74 78 82 86 90 94 98 102 106 110 114 118 122 126
130 134 138 142 146 150 154 158 162 166 170 174 178 182 186 190
194 198 202 206 210 214 218 222 226 230 234 238 242 246 250 254
如果第三运动变量的大小是0-255，将其映射到映射表时，只需要将第三运动变量的整除4，其结果为预置滤波映射表的目标索引值indexL，则预置滤波映射表的下一个索引值indexH＝indexL+1，有且仅当索引值indexL为索引的最后一个值时，indexH＝indexL。
506、根据第三运动变量和目标索引值得到调整系数；
本实施例中，由于第三运动变量不一定能够整除4，那么第三运动变量就无法找到对应的滤波强度值，因此，在第三运动变量的整除4存在余数时，将余数ans＝MV-indexL*4，作为调整系数ans。
507、根据调整系数、目标索引值对应的滤波值和下一个索引值对应的滤波值，计算得到滤波强度值；
本实施例中，滤波强度值W的计算公式如下：
W＝[map(indexL)*(4-ans)+map(indexH)*ans]/4
其中，map(indexL)表示目标索引值indexL在预置滤波映射表中对应的滤波值，map(indexH)表示下一个索引值indexH在预置滤波映射表中对应的滤波值，进行计算就能得到预置滤波映射表中不存在的滤波强度值W。
508、当接收到滤波加强的信号值时，根据信号值计算得到滤波加强因子；
本实施例中，如果当前噪声强度高的时候，为了保证3D降噪的效果，还需要进行滤波加强，因此，接收到滤波加强的信号值，信号值是由外界输入的，具体的输入方式不做限定。根据以上步骤505-步骤507描述的方式，由信号值计算得到滤波加强因子Wfactor。
509、根据滤波加强因子和滤波强度值，计算得到加强滤波强度值；
本实施例中，根据滤波加强因子Wfactor和滤波强度值W，进行相乘，得到Wmin，Wmin＝Wfactor*W，采用公式W'＝W*W+Wmin*(1-W)，计算得到加强滤波强度值W’。
510、根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。
本实施例中，进行3D降噪处理的计算公式如下：
Y＝X*W+X'*(1-W)。
其中，X表示当前帧图像的值，X’表示下一帧图像的值，3D降噪后的值为Y，Y即可表示3D降噪结果，如果滤波前度值进行了加强，则W替换为W’即可。
本发明实施例中，描述了根据第三运动变量和预置滤波映射表得到滤波强度值的具体方式，节省了寄存器的存储资源。并且增加了加强滤波强度值的计算方式，使得噪声强度高时，滤波强度可以进行相应的加强。
以上实施例中详细介绍了基于运动强度的3D降噪方法，下面通过实施例对应用该基于运动强度的3D降噪方法的基于运动强度的3D降噪装置进行详细的说明。
请参考图6，本发明实施例提供一种基于运动强度的3D降噪装置，包括：
获取模块601，用于获取当前帧图像和上一帧图像，当前帧图像中具有以当前像素点为中心的中心块，上一帧图像具有与中心块对应的参考块；
第一运动变量计算模块602，用于根据加权平均的差值绝对值方法，对中心块和参考块进行计算，得到第一运动变量；
第二运动变量计算模块603，用于根据最大最小值的差值绝对值方法，对中心块和参考块进行计算，得到第二运动变量；
第三运动变量计算模块604，用于根据第一运动变量及第二运动变量，计算得到第三运动变量；
滤波强度计算模块605，用于根据第三运动变量及预置滤波映射表，计算得到滤波强度值；
降噪处理模块606，用于根据滤波强度值、当前帧图像及上一帧图像，计算得到3D降噪结果。
本发明实施例中，第一运动变量计算模块602通过加权平均的差值绝对值方法计算得到第一运动变量，第二运动变量计算模块603通过最大最小值的差值绝对值方法计算得到第二运动变量，第三运动变量计算模块604根据第一运动变量及第二运动变量，计算得到第三运动变量，滤波强度计算模块605依据第三运动变量及预置滤波映射表，计算得到滤波强度值，降噪处理模块606依据滤波强度值计算得到3D降噪结果。与现有的3D降噪方法相比，本发明的技术方案中运动变量是通过三次计算得到的，滤波强度值是由第三运动变量和预置滤波映射表计算得到，能够满足不同运动强度场景下的3D降噪处理，提高了降噪效果。
可选的，结合图6所示的实施例，如图7所示，本发明的一些实施例中，第一运动变量计算模块602包括：
第一获取单元701，用于获取中心块及参考块中所有像素点的通道分量值及预置权重表，预置权重表为4个，预置权重表中具有中心块及参考块中每一个像素点的权重值；
第一计算单元702，用于根据预置权重表及中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
第一计算单元702，还用于根据预置权重表及参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
第一计算单元702，还用于计算中心块加权平均值及参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
确定单元703，用于确定运动变量中的最大运动变量和最小运动变量；
第一运动变量计算单元704，用于根据预置变量、最大运动变量和最小运动变量，计算得到第一运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
本发明实施例中，详细的描述了第一运动变量的计算方式，第一运动变量的计算过程中主要考虑到的是对于高频噪声的滤波处理，而且增加预置变量可以根据不同的场景进行调节。详细过程请参考图2所示的步骤201-步骤206。
可选的，结合图6所示的实施例，如图7所示，本发明的一些实施例中，第二运动变量计算模块603包括：
第二获取单元705，用于获取中心块及参考块中所有像素点的通道分量值；
第二计算单元706，用于计算中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
第二计算单元706，还用于计算中心块的最小通道分量值和参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
第二运动变量计算单元707，用于根据预置变量、当前帧运动变量和帧间运动变量，计算得到第二运动变量，预置变量根据当前帧图像和上一帧图像所处的场景预先设置。
本发明实施例中，详细描述了第二运动变量的计算过程，之所以选择当前帧运动变量和帧间运动变量来作为第二运动变量的计算元素，主要是目的是去除Gamma处理后产生的极亮值和极暗值，例如椒盐噪声等，Gamma源于CRT(显示器/电视机)的响应曲线，即其亮度与输入电压的非线性关系。而且增加预置变量可以根据不同的场景进行调节。详细过程请参考图4所示的步骤401-步骤404。
可选的，结合图7所示的实施例，本发明的一些实施例中，
第三运动变量计算模块604，具体用于根据第一运动变量、第二运动变量及预置变量，计算得到第三运动变量。
本发明实施例中，由于引入了预置变量，那么第三运动变量计算模块604在第三运动变量计算时，也需要考虑预置变量strength，第三运动变量MVresult具体的计算公式如下：
MVresult＝MVmean*strength+MVmaxmin*(1-strength)
由于预置变量strength的引入，能够实现在不同的场景，有不同的噪声的时候，根据调整预置变量strength，来使得适应于各种随机噪声的滤波。
可选的，结合图7所示的实施例，如图8所示，本发明的一些实施例中，滤波强度计算模块605包括：
索引值计算单元801，用于根据第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
调整系数计算单元802，用于根据第三运动变量和目标索引值得到调整系数；
滤波强度计算单元803，用于根据调整系数、目标索引值对应的滤波值和下一个索引值对应的滤波值，计算得到滤波强度值；
装置，还包括：
滤波加强模块804，用于当接收到滤波加强的信号值时，根据信号值计算得到滤波加强因子；
滤波加强模块804，还用于根据滤波加强因子和滤波强度值，计算得到加强滤波强度值。
本发明实施例中，描述了根据第三运动变量和预置滤波映射表得到滤波强度值的具体方式，节省了寄存器的存储资源。并且增加了滤波加强模块804计算加强滤波强度值的过程，使得噪声强度高时，滤波强度可以进行相应的加强。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于运动强度的3D降噪方法，其特征在于，包括：
获取当前帧图像和上一帧图像，所述当前帧图像中具有以当前像素点为中心的中心块，所述上一帧图像具有与所述中心块对应的参考块；
根据加权平均的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第一运动变量；
根据最大最小值的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第二运动变量；
根据所述第一运动变量及所述第二运动变量，计算得到第三运动变量；
根据所述第三运动变量及预置滤波映射表，计算得到滤波强度值；
根据所述滤波强度值、所述当前帧图像及所述上一帧图像，计算得到3D降噪结果。
2.根据权利要求1所述的方法，其特征在于，所述根据加权平均的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第一运动变量，包括：
获取所述中心块及所述参考块中所有像素点的通道分量值及预置权重表，所述预置权重表为4个，所述预置权重表中具有所述中心块及所述参考块中每一个像素点的权重值；
根据所述预置权重表及所述中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
根据所述预置权重表及所述参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
计算所述中心块加权平均值及所述参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
确定所述运动变量中的最大运动变量和最小运动变量；
根据预置变量、所述最大运动变量和所述最小运动变量，计算得到第一运动变量，所述预置变量根据所述当前帧图像和所述上一帧图像所处的场景预先设置。
3.根据权利要求1所述的方法，其特征在于，所述根据最大最小值的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第二运动变量，包括：
获取所述中心块及所述参考块中所有像素点的通道分量值；
计算所述中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
计算所述中心块的最小通道分量值和所述参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
根据预置变量、所述当前帧运动变量和所述帧间运动变量，计算得到第二运动变量，所述预置变量根据所述当前帧图像和所述上一帧图像所处的场景预先设置。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一运动变量及所述第二运动变量，计算得到第三运动变量，包括：
根据所述第一运动变量、所述第二运动变量及所述预置变量，计算得到第三运动变量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第三运动变量及预置滤波映射表，计算得到滤波强度值，包括：
根据所述第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
根据所述第三运动变量和所述目标索引值得到调整系数；
根据所述调整系数、所述目标索引值对应的滤波值和所述下一个索引值对应的滤波值，计算得到滤波强度值；
所述计算得到滤波强度值之后，还包括：
当接收到滤波加强的信号值时，根据所述信号值计算得到滤波加强因子；
根据所述滤波加强因子和所述滤波强度值，计算得到加强滤波强度值。
6.一种基于运动强度的3D降噪装置，其特征在于，包括：
获取模块，用于获取当前帧图像和上一帧图像，所述当前帧图像中具有以当前像素点为中心的中心块，所述上一帧图像具有与所述中心块对应的参考块；
第一运动变量计算模块，用于根据加权平均的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第一运动变量；
第二运动变量计算模块，用于根据最大最小值的差值绝对值方法，对所述中心块和所述参考块进行计算，得到第二运动变量；
第三运动变量计算模块，用于根据所述第一运动变量及所述第二运动变量，计算得到第三运动变量；
滤波强度计算模块，用于根据所述第三运动变量及预置滤波映射表，计算得到滤波强度值；
降噪处理模块，用于根据所述滤波强度值、所述当前帧图像及所述上一帧图像，计算得到3D降噪结果。
7.根据权利要求6所述的装置，其特征在于，所述第一运动变量计算模块包括：
第一获取单元，用于获取所述中心块及所述参考块中所有像素点的通道分量值及预置权重表，所述预置权重表为4个，所述预置权重表中具有所述中心块及所述参考块中每一个像素点的权重值；
第一计算单元，用于根据所述预置权重表及所述中心块中所有像素点的通道分量值，计算得到每一个预置权重表对应的中心块加权平均值；
所述第一计算单元，还用于根据所述预置权重表及所述参考块中所有像素点的通道分量值，计算得到每一个预置权重表对应的参考块加权平均值；
所述第一计算单元，还用于计算所述中心块加权平均值及所述参考块加权平均值的差值绝对值，得到每一个预置权重表对应的运动变量；
确定单元，用于确定所述运动变量中的最大运动变量和最小运动变量；
第一运动变量计算单元，用于根据预置变量、所述最大运动变量和所述最小运动变量，计算得到第一运动变量，所述预置变量根据所述当前帧图像和所述上一帧图像所处的场景预先设置。
8.根据权利要求6所述的装置，其特征在于，所述第二运动变量计算模块包括：
第二获取单元，用于获取所述中心块及所述参考块中所有像素点的通道分量值；
第二计算单元，用于计算所述中心块的最大通道分量值和最小通道分量值的差值绝对值，作为当前帧运动变量；
所述第二计算单元，还用于计算所述中心块的最小通道分量值和所述参考块的最小通道分量值的差值绝对值，作为帧间运动变量；
第二运动变量计算单元，用于根据预置变量、所述当前帧运动变量和所述帧间运动变量，计算得到第二运动变量，所述预置变量根据所述当前帧图像和所述上一帧图像所处的场景预先设置。
9.根据权利要求7或8所述的装置，其特征在于，
所述第三运动变量计算模块，具体用于根据所述第一运动变量、所述第二运动变量及所述预置变量，计算得到第三运动变量。
10.根据权利要求9所述的装置，其特征在于，所述滤波强度计算模块包括：
索引值计算单元，用于根据所述第三运动变量确定预置滤波映射表中的目标索引值和下一个索引值；
调整系数计算单元，用于根据所述第三运动变量和所述目标索引值得到调整系数；
滤波强度计算单元，用于根据所述调整系数、所述目标索引值对应的滤波值和所述下一个索引值对应的滤波值，计算得到滤波强度值；
所述装置，还包括：
滤波加强模块，用于当接收到滤波加强的信号值时，根据所述信号值计算得到滤波加强因子；
所述滤波加强模块，还用于根据所述滤波加强因子和所述滤波强度值，计算得到加强滤波强度值。
CN202010589078.7A 2020-06-24 2020-06-24 一种基于运动强度的3d降噪方法及装置 Active CN111754437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589078.7A CN111754437B (zh) 2020-06-24 2020-06-24 一种基于运动强度的3d降噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589078.7A CN111754437B (zh) 2020-06-24 2020-06-24 一种基于运动强度的3d降噪方法及装置

Publications (2)

Publication Number Publication Date
CN111754437A CN111754437A (zh) 2020-10-09
CN111754437B true CN111754437B (zh) 2023-07-14

Family

ID=72677188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589078.7A Active CN111754437B (zh) 2020-06-24 2020-06-24 一种基于运动强度的3d降噪方法及装置

Country Status (1)

Country Link
CN (1) CN111754437B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837242B (zh) * 2021-02-19 2023-07-14 成都国科微电子有限公司 一种图像降噪处理方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527034A (zh) * 2008-03-07 2009-09-09 深圳迈瑞生物医疗电子股份有限公司 自适应帧相关的方法和装置
CN101562704A (zh) * 2008-04-15 2009-10-21 索尼株式会社 图像处理装置和图像处理方法
CN101790031A (zh) * 2009-01-23 2010-07-28 索尼公司 图像处理装置、图像处理方法和成像装置
CN102238316A (zh) * 2010-04-29 2011-11-09 北京科迪讯通科技有限公司 一种3d数字视频图像的自适应实时降噪方案
CN105959512A (zh) * 2016-06-06 2016-09-21 珠海全志科技股份有限公司 3d降噪实现方法及装置
CN106412385A (zh) * 2016-10-17 2017-02-15 湖南国科微电子股份有限公司 一种视频图像3d降噪方法及装置
CN106504206A (zh) * 2016-11-02 2017-03-15 湖南国科微电子股份有限公司 一种基于监控场景的3d滤波方法
CN107016650A (zh) * 2017-02-27 2017-08-04 苏州科达科技股份有限公司 视频图像3d降噪方法及装置
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418149B2 (en) * 2004-07-30 2008-08-26 Algolith Inc. Apparatus and method for adaptive 3D noise reduction
WO2006068025A1 (ja) * 2004-12-20 2006-06-29 Nikon Corporation 画像処理方法
KR100695067B1 (ko) * 2005-06-15 2007-03-14 삼성전자주식회사 블록분류를 이용한 시공간 노이즈 제거 방법 및 이 방법이적용되는 디스플레이장치
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP5490236B2 (ja) * 2010-06-08 2014-05-14 シャープ株式会社 画像処理装置および方法、画像表示装置および方法
EP3595525B1 (en) * 2017-03-17 2023-09-27 The Regents of The University of California Systems and methods for real-time motion prediction in dynamic imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527034A (zh) * 2008-03-07 2009-09-09 深圳迈瑞生物医疗电子股份有限公司 自适应帧相关的方法和装置
CN101562704A (zh) * 2008-04-15 2009-10-21 索尼株式会社 图像处理装置和图像处理方法
CN101790031A (zh) * 2009-01-23 2010-07-28 索尼公司 图像处理装置、图像处理方法和成像装置
CN102238316A (zh) * 2010-04-29 2011-11-09 北京科迪讯通科技有限公司 一种3d数字视频图像的自适应实时降噪方案
CN105959512A (zh) * 2016-06-06 2016-09-21 珠海全志科技股份有限公司 3d降噪实现方法及装置
CN106412385A (zh) * 2016-10-17 2017-02-15 湖南国科微电子股份有限公司 一种视频图像3d降噪方法及装置
CN106504206A (zh) * 2016-11-02 2017-03-15 湖南国科微电子股份有限公司 一种基于监控场景的3d滤波方法
CN107016650A (zh) * 2017-02-27 2017-08-04 苏州科达科技股份有限公司 视频图像3d降噪方法及装置
CN109743473A (zh) * 2019-01-11 2019-05-10 珠海全志科技股份有限公司 视频图像3d降噪方法、计算机装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于运动估计的3D视频降噪算法;龙红梅;田逢春;谭洪涛;任晓羽;;计算机与数字工程(第06期);第128-130页 *
数字图像的平滑处理方法研究;闫娟;;软件导刊(第01期);第183-185页 *

Also Published As

Publication number Publication date
CN111754437A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
US7995855B2 (en) Image processing method and apparatus
US20080175510A1 (en) Imaging apparatus, noise removing device, noise removing method, program for noise removing method, and recording medium for recording the same
EP1909227B1 (en) Method of and apparatus for minimizing ringing artifacts in an input image
WO2006010275A2 (en) Apparatus and method for adaptive 3d noise reduction
JPH07274044A (ja) 時間可変フィルタ係数を用いたビデオ信号ノイズ低減システムおよびノイズ低減方法
CN106412383A (zh) 视频图像的处理方法和装置
JPH09200759A (ja) ビデオ信号復号化システムおよびノイズ抑圧方法
KR100553886B1 (ko) 실시간 비디오 수신시 엠펙 신호의 블로킹 인조물을 제거하는 방법 및 장치
CN108280836B (zh) 一种图像处理方法及装置
CN104715453A (zh) 一种分区域处理的图像增强方法及电路
US20090074318A1 (en) Noise-reduction method and apparatus
US20110097009A1 (en) Digital image restoration
CN111754437B (zh) 一种基于运动强度的3d降噪方法及装置
JP2002539657A (ja) 符号化された画像を評価するための処理、装置及び、使用
CN111429368B (zh) 一种自适应细节增强和鬼影消除的多曝光图像融合方法
JP2003348383A (ja) 画像処理方法および画像処理装置
US20070279434A1 (en) Image processing device executing filtering process on graphics and method for image processing
CN112419161A (zh) 图像处理方法及装置、存储介质及电子设备
JP2003528547A (ja) 元の画像ピクセルをｎ次元的にフィルタ処理するｎ次元フィルタ及び方法
CN111369459B (zh) 一种优化全局色调映射对比度的方法及装置
CN108632502B (zh) 一种图像锐化的方法及装置
JP3326819B2 (ja) 画像処理装置
CN101959073B (zh) 影像处理装置以及影像处理方法
JP2011199349A (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
Sadaka et al. Efficient perceptual attentive super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant