[go: up one dir, main page]

CN118967498A - 图像降噪方法、装置、设备及存储介质 - Google Patents

图像降噪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN118967498A
CN118967498A CN202411007216.0A CN202411007216A CN118967498A CN 118967498 A CN118967498 A CN 118967498A CN 202411007216 A CN202411007216 A CN 202411007216A CN 118967498 A CN118967498 A CN 118967498A
Authority
CN
China
Prior art keywords
image
pixel
pixel region
filtering
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411007216.0A
Other languages
English (en)
Inventor
陈世海
蒋寓文
周芳芳
舒顺朋
徐桂丽
梁睿
方壮潮
何仕杰
张旦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN202411007216.0A priority Critical patent/CN118967498A/zh
Publication of CN118967498A publication Critical patent/CN118967498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了图像降噪方法、装置、设备及存储介质，包括：获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；对静止像素区域和运动像素区域进行滤波处理。本发明的有益效果在于：传统的空域降噪方法通常基于单一帧图像的统计特性，对于低照度条件下的噪声抑制效果有限，相比之下，本申请使用多帧图像进行噪声估计和平均化可以更准确地分离信号和噪声，从而显著减少低照度条件下图像中的噪声，提高图像质量和细节清晰度。

Description

图像降噪方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及图像降噪方法、装置、设备及存储介质。
背景技术
图像降噪是数字图像处理中的一个重要任务，其目的是去除图像中的噪声，同时尽量保留图像的细节和边缘特征。噪声可以来自多种来源，如传感器噪声、压缩噪声、传输噪声等。根据噪声的特性和图像处理需求，可以选择不同的降噪技术。
在极低照度场景中，传统的空域降噪技术确实存在一定局限性。目前，由于在处理视频图像时，对单帧的图像进行分别降噪处理，但是当视频中的内容运动时，由于噪声的随机性，单帧的图像的信息量不足以有效恢复被噪声覆盖的细节，也即单张图像无法提供足够的统计信息来有效区分噪声和真实信号，尤其在低照度场景下，传统的降噪方法难以同时保留细节和去除噪声”。
发明内容
本发明的目的是提供使用多帧图像进行噪声估计和平均化可以更准确地分离信号和噪声，从而显著减少低照度条件下图像中的噪声，提高图像质量和细节清晰度，利用图像时域噪声的随机性，通过多帧图像的叠加融合，对图像的静态区域实现有效的图像质量提升的一种图像降噪方法、装置、设备及存储介质。
第一方面，一种图像降噪方法，包括：获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；对静止像素区域和运动像素区域进行滤波处理；对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；融合得到的第二参考图像通过AI网络模型进行降噪处理；导出通过AI网络模型进行降噪处理之后的图像。
在一些实施例中，根据帧间差分法、背景减除法、光流法、连通区域分析、光谱分析、多模态融合中的至少一种方法确定每个像素的运动区域和强度。
进一步，对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域包括：计算出对输入图像和参考图像每个像素的像素差值；设置阈值和像素差值进行对比，当任一像素的像素差值大于预设阈值时，该区域为运动像素区域，当任一像素的像素差值小于或等于预设阈值时该区域为静止像素区域。
进一步，所述阈值通过预设或通过构建拉普拉斯金字塔得到。
进一步，通过构建成拉普拉斯金字塔得到包括：把输入图像和参考图像分别分解成拉普拉斯金字塔，得到Lni和Lnr；其中，Lni表示输入图像在拉普拉斯金字塔第n层的拉普拉斯图像，Lnr表示参考图像在拉普拉斯金字塔第n层的拉普拉斯图像，n表示层数；把Lni和Lnr相减后取绝对值,得到|Lni–Lnr|；对|Lni–Lnr|做一次2×2的均值滤波，得到多个阈值；第N层的拉普拉斯金字塔图像的分辨率是原图的生成的每个阈值应用于输入图像的2N×2N个像素。
进一步，计算出对输入图像和参考图像每个像素的像素差值包括：以目标像素为中心的图像块通过SAD算子、SSD算子或census算子中的至少一种方式计算出对输入图像和参考图像每个像素的像素差值。
进一步，对运动像素区域进行滤波处理包括：对运动像素区域用空域或者频域滤波包括，对运动像素区域进行频域滤波，中值滤波，非局部均值滤波，双边滤波中的任意一种方式进行滤波。
进一步，对静止像素区域进行滤波处理包括：对静止像素区域用时域滤波包括，对静止像素区域运动像素区域进行IIR滤波、卡尔曼滤波、维纳滤波中的任意一种方式进行滤波。
进一步，还包括计算出输入图像所有像素的噪声水平。
进一步，还包括：对静止像素区域和运动像素区域连接的区域对静止像素区域或运动像素区域进行膨胀算法或遮罩平滑处理获得过度像素区域。
进一步，对过度像素区域分别进行运动像素区域所进行的滤波处理方式处理和运动像素区域进行所进行的滤波处理方式处理并通过加权叠加，获得降噪后的过度像素区域。
进一步，通过加权叠加包括：通过线性渐变权重和噪声水平权重的方式进行调节对过度像素区域进行运动像素区域所进行的滤波处理方式处理得到的像素区域和对静止像素区域进行静止像素区域所进行的滤波处理方式处理得到的像素区域之间的比重。
进一步，对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像包括：对降噪后的过度像素区域、对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像。
进一步，所述输入图像为当前帧图像，所述第一参考图像为前一帧通过如上述实施例所述方法得到的，所述第二参考图像为当前帧图像通过如上述实施例所述方法得到的。
进一步，计算出输入图像所有像素的噪声水平包括如下公式：
DN′＝|lin-lsmth|
其中，lin为输入图像，对输入图像lin进行低通滤波，得到低通滤波图像lsmth，计算输入图像和低通滤波图像的差值的绝对值DN′，DN′表示输入图像中每个像素的初步噪声水平；
DN＝SN×DN’
其中，DN为输入图像所有像素的噪声水平，SN为用于获取输入图像的传感器所通过标定得到的比例因子。
第三方面，获取单元，用于获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；
时域处理单元，用于将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；对静止像素区域和运动像素区域进行滤波处理；对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；
AI处理单元，用于融合得到的第二参考图像通过AI网络模型进行降噪处理；
导出单元，用于导出通过AI网络模型进行降噪处理之后的图像。
第三方面，本申请还提出一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，以使所述至少一个处理器能够执行上述实施例所述的方法。
第四方面，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述实施例所述的方法的步骤。
本发明的有益效果在于：传统的空域降噪方法通常基于单一帧图像的统计特性，对于低照度条件下的噪声抑制效果有限，相比之下，本申请使用多帧图像进行噪声估计和平均化可以更准确地分离信号和噪声，从而显著减少低照度条件下图像中的噪声，提高图像质量和细节清晰度；
在动态场景中，传统的空域方法难以处理移动物体或背景变化，容易导致运动伪影或细节损失，本申请通过运动检测和区域分类，结合不同区域的处理策略，可以针对静止区域和运动区域分别优化处理，避免运动模糊和其他动态场景下常见的问题；
对过渡区域进行合适的处理，通过权重叠加的方式，根据噪声水平和动态变化情况决定最终处理结果的贡献，能够有效地平衡不同区域的处理效果，避免明显的处理边界或视觉不连贯性；
将处理后的图像输出给后续的AI降噪模块进行进一步处理，进一步优化图像质量和低照度条件下降噪的效果，增强对复杂噪声和模糊的适应能力；
通过两帧图像区分静止区域和移动区域，利用多帧图像进行叠加处理，通过累积更多的图像信息来提高信噪比。
附图说明
图1为本发明方法的结构框图；
图2是本发明流程框图；
图3是本发明一实施例提供的接收装置结构示意图；
图4是本发明一实施例提供的一种电子设备结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
结合附图1和图2，本申请提出一种图像降噪方法，包括：
S101，获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；
S102，将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：
对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；
对静止像素区域和运动像素区域进行滤波处理；
对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；
S103，融合得到的第二参考图像通过AI网络模型进行降噪处理；
S104，导出通过AI网络模型进行降噪处理之后的图像。
具体的，通过对静止和运动像素区域的差异化处理，并通过融合生成第二参考图像，可以有效地处理图像中的动态和静态部分，从而改善观察者的视觉体验和分析效果，将处理后的图像输出给后续的AI降噪模块进行进一步处理，进一步优化图像质量和低照度条件下降噪的效果，增强对复杂噪声和模糊的适应能力，AI网络模型进行降噪可以使用市场上主流或改进的模型；
由于静止区域的像素值在时间上变化较小，主要受到随机噪声的影响，可以通过时间域上的平均来有效减少噪声，因为噪声的期望值为零，经过多帧叠加，噪声会相互抵消；
由于移动区域的像素值在时间上变化较大，除了噪声外，还包含物体运动的信息，时间域平均可能导致运动模糊，因此需要使用运动补偿技术来对齐不同帧的移动物体，有效降噪。
在一些实施例中，根据帧间差分法、背景减除法、光流法、连通区域分析、光谱分析、多模态融合中的至少一种方法确定每个像素的运动区域和强度。
在一些实施例中，对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域包括：计算出对输入图像和参考图像每个像素的像素差值；设置阈值和像素差值进行对比，当任一像素的像素差值大于预设阈值时，该区域为运动像素区域，当任一像素的像素差值小于或等于预设阈值时该区域为静止像素区域。
在一些实施例中，所述阈值通过预设或通过构建拉普拉斯金字塔得到。
在一些实施例中，通过构建成拉普拉斯金字塔得到包括：把输入图像和参考图像分别分解成拉普拉斯金字塔，得到Lni和Lnr；其中，Lni表示输入图像在拉普拉斯金字塔第n层的拉普拉斯图像，Lnr表示参考图像在拉普拉斯金字塔第n层的拉普拉斯图像，n表示层数；把Lni和Lnr相减后取绝对值,得到|Lni–Lnr|；对|Lni–Lnr|做一次2×2的均值滤波，得到多个阈值；第N层的拉普拉斯金字塔图像的分辨率是原图的生成的每个阈值应用于输入图像的2N×2N个像素。
具体的，以N＝2为例，结果是|L2i–L2r|，再对这个结果做一次2x2的均值滤波，就得到阈值，因为N＝2的拉普拉斯图是大小是原图的1/4(长宽各为原图的1/2)，所以这里所得的每个阈值，应用于原图的4个像素。
在一些实施例中，计算出对输入图像和参考图像每个像素的像素差值包括：以目标像素为中心的图像块通过SAD算子、SSD算子或census算子中的至少一种方式计算出对输入图像和参考图像每个像素的像素差值。
在通过计算输入图像lin和参考图像lref之间的差异，识别出哪些像素属于运动区域，哪些像素属于静止区域。使用SAD、SSD或census算子进行运动估计，并计算过渡区域。
具体的，使用SAD、SSD或census算子计算差异值，对单一方法进行计算差异值如下：
SAD(Sum of Absolute Differences)：SAD是计算两个图像块之间绝对差异值的和；公式如下：
DISAD(x,y)＝|lin(x,y)-lref(x,y)|
lin(x,y)和lref(x,y)分别是输入图像和参考图像在位置(x,y)处的像素值。
对于每个像素(x,y)，计算其在当前图像和参考图像中的绝对差异。
SSD(Sum of Squared Differences)：
SSD是计算两个图像块之间差异的平方和。公式如下：
DISSD(x,y)＝(lin(x,y)-lref(x,y))2
对于每个像素(x,y)计算其在当前图像和参考图像中的差异的平方和。
Census算子：Census变换将每个像素的强度值转换为一个二进制字符串，表示该像素与其邻域像素的比较结果。差异值的计算通过汉明距离来完成。公式如下：
DIcensus(x,y)＝H(Census(lin(x,y)),Census(lref(x,y))
其中H表述Hanmming距离，Census表述Census变换操作。
对其中两种方式进行计算差异值如下：
SAD和SSD组合公式如下：
DISAD+SSD(x,y)＝ω1·SAD(x,y)+ω2·SSD(x,y)
SAD和Census组合公式如下：
DISAD+Census(x,y)＝ω1·SAD(x,y)+ω2·Census(x,y)
SSD和Census组合公式如下：
DISSD+Census(x,y)＝ω1·SSD(x,y)+ω2·Census(x,y)
在具体实施时，权重系数ω1和ω2是用于调整两种方法在组合差异值中的影响力的参数。通过实验或先验知识根据需求确定这两个参数，以达到最佳效果。
判断运动区域和静止区域时，设置一个阈值T，用于区分运动像素和静止像素。
对每个像素(x,y)，如果其差异值DI大于阈值T，则认为该像素属于运动区域；否则，属于静止区域。
判断公式如下：
如果DI(x,y)>T，则像素(x,y)属于运动区域。
如果DI(x,y)≤T，则像素(x,y)属于静止区域。
在一些实施例中，对运动像素区域进行空域滤波处理包括：对运动像素区域用空域或者频域滤波包括，对运动像素区域进行频域滤波，中值滤波，非局部均值滤波，双边滤波中的任意一种方式进行滤波，在具体实施时，使用的滤波方式不限于此。
具体的，频域滤波原理：频域滤波通过将图像转换到频域(傅里叶变换)进行处理，然后再转换回空间域(逆傅里叶变换)，在频域中，可以更容易地分离出不同频率的成分，从而进行去噪或增强。步骤：对输入图像进行傅里叶变换，将图像从空间域转换到频域；在频域中应用滤波器；对滤波后的频域图像进行逆傅里叶变换，将其转换回空间域。
中值滤波原理：中值滤波通过用邻域内像素的中值代替中心像素值，从而有效地去除椒盐噪声，同时保持边缘的完整性。步骤：对于图像中的每个运动像素，选择一个包含该像素的邻域窗口；计算窗口中所有像素的中值；用计算出的中值替代中心像素的值。
非局部均值滤波(NLM)原理：非局部均值滤波通过在整幅图像中寻找相似的像素块，并使用这些相似块的加权平均值来替代当前像素值。该方法利用了图像的自相似性，能够有效地去除噪声而保留细节。步骤：对于图像中的每个运动像素，定义一个搜索窗口；在搜索窗口内，找到与当前像素块相似的所有块；计算这些相似块的加权平均值，权重由相似度决定；用加权平均值替代当前像素的值。
双边滤波原理：双边滤波是一种边缘保留滤波方法，它同时考虑空间距离和像素值差异。该方法在去噪的同时，能够很好地保留图像的边缘。步骤：对于图像中的每个运动像素，定义一个邻域窗口；计算窗口中每个像素与中心像素的空间距离权重和颜色相似度权重；计算加权平均值，权重由空间距离和颜色相似度共同决定；用加权平均值替代当前像素的值。
在一些实施例中，对静止像素区域用时域滤波包括，对静止像素区域进行IIR滤波、卡尔曼滤波、维纳滤波中的任意一种方式进行滤波，在具体实施时，使用的滤波方式不限于此。
具体的，IIR滤波(无限脉冲响应滤波)原理：IIR滤波器是一种递归滤波器，其输出不仅依赖于当前的输入，还依赖于过去的输入和输出。相比FIR(有限脉冲响应)滤波器，IIR滤波器在达到同样效果时所需的滤波器阶数更低。IIR滤波器适用于需要平滑输出的场合，如音频信号处理和图像去噪。
卡尔曼滤波是一种递归滤波算法，用于估计动态系统的状态，特别适用于存在噪声的情况下。静止区域的像素可以视为一个动态系统的观测值，卡尔曼滤波用于平滑处理。
状态更新公式：
xk＝xk-1
Pk＝Pk-1+Q
观测更新公式：
xk＝xk+Kk(zk-xk)
Pk＝(1-Kk)Pk
其中：
xk是当前状态估计。
Pk是当前估计协方差。
Q是过程噪声协方差。
R是观测噪声协方差(在此用噪声水平Dn表示)。
Kk是卡尔曼增益。
Zk是当前观测值(当前像素值)。
维纳滤波是一种线性最小均方误差滤波器，用于在存在噪声的情况下恢复信号,它通过最小化输出信号与期望信号之间的均方误差来优化滤波效果。
在一些实施例中，还包括计算出输入图像所有像素的噪声水平Dn。
在一些实施例中，还包括：对静止像素区域和运动像素区域连接的区域对静止像素区域或运动像素区域进行膨胀算法或遮罩平滑处理获得过度像素区域。
具体的，膨胀算法是一种形态学操作，用于扩展图像中的特定区域。通过膨胀，可以在静止像素区域和运动像素区域之间生成过渡区域。
步骤：定义结构元素：选择一个结构元素(如3x3或5x5的矩形)用于膨胀操作。膨胀静止像素区域：将结构元素中心对准静止像素区域的每个像素，如果结构元素覆盖的区域中存在任何静止像素，则将中心像素设置为静止像素，膨胀运动像素区域：同理，也可以选择对运动像素区域进行膨胀操作。
罩平滑处理通过对静止和运动区域的掩膜进行平滑处理，生成过渡区域。
步骤：生成掩膜：创建静止区域和运动区域的二值掩膜；应用高斯滤波器：对掩膜进行平滑处理；定义过渡区域：平滑后的掩膜在0和1之间的值表示过渡区域。
通过上述步骤，在静止像素区域或运动像素区域的边界上进行形成过度区域。
在一些实施例中，对过度像素区域分别进行运动像素区域所进行的滤波处理方式处理和运动像素区域进行所进行的滤波处理方式处理并通过加权叠加，获得降噪后的过度像素区域。
具体的，对确定的过度像素区域分别进行运动像素区域所用到的降噪方法也即IIR滤波、卡尔曼滤波、维纳滤波中的任意一种方式进行滤波，以及静止像素区域所用到的降噪方法进行滤波处理包括：对运动像素区域进行IIR滤波、卡尔曼滤波、维纳滤波中的任意一种方式进行滤波，这两项滤波的结果进行加权相加。
在一些实施例中，通过加权叠加包括：通过线性渐变权重和噪声水平权重的方式进行调节对过度像素区域进行运动像素区域所进行的滤波处理方式处理得到的像素区域和对静止像素区域进行静止像素区域所进行的滤波处理方式处理得到的像素区域之间的比重。
具体的，通过线性渐变权重的计算方法进行计算比重，公式如下：
ωstatic(x,y)＝1-ωmotion(x,y)
其中，ωmotion为移动像素区域权重占比，ωstatic为静止像素区域的权重占比，
d(x,y)是当前像素到静止区域边界的距离，D是过度区域的宽度。
通过噪声水平计算权重的计算方法进行计算比重，公式如下：
ωstatic(x,y)＝1-ωmotion(x,y)
权重是根据噪声水平Dn决定的，噪声水平Dnmax是噪声水平的最大值。
对过度区域内的像素进行计算公式如下：
Ifused(x,y)＝ωmotion(x,y)·Imotion(x,y)+ωstatic(x,y)·Istatic(x,y)
Ifused(x,y)为过度区域的降噪之后得到的结果，Imotion(x,y)为移动区域降噪之后得到的结果，Istatic(x,y)为静止区域移动之后的结果。
在一些实施例中，对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像包括：对降噪后的过度像素区域、对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像。
具体的，进行融合之后的公式为：
Iblend(x,y)＝Ifused(x,y)+Imotion(x,y)+Istatic(x,y)
其中Iblend(x,y)为融合之后的结构，即第二参考图像。
在一些实施例中，所述输入图像为当前帧图像，所述第一参考图像为前一帧通过如上述实施例所述方法得到的，所述第二参考图像为当前帧图像通过如上述实施例所述方法得到的。
在一些实施例中，计算出输入图像所有像素的噪声水平包括如下公式：
DN′＝|lin-lsmth|
其中，lin为输入图像，对输入图像lin进行低通滤波，得到低通滤波图像lsmth，计算输入图像和低通滤波图像的差值的绝对值DN′，DN′表示输入图像中每个像素的初步噪声水平；
DN＝SN×DN’
其中，DN为输入图像所有像素的噪声水平，SN为用于获取输入图像的传感器所通过标定得到的比例因子。
基于输入帧的图像数据，有效地估计每个像素的噪声水平，用来进行做静止区域像素进行卡尔曼滤波和融合时对过渡区域进行决定权重。
结合图3，本申请还提出一种图像降噪装置，包括：
获取单元201，用于获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；
时域处理单元202，用于将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；对静止像素区域和运动像素区域进行滤波处理；对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；
AI处理单元203，用于融合得到的第二参考图像通过AI网络模型进行降噪处理；
导出单元204，用于导出通过AI网络模型进行降噪处理之后的图像。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本发明的另一些实施例中，本发明实施例公开了一种电子设备300，如图4所示，该电子设备300可以包括：一个或多个处理器301；存储器302；显示器303；一个或多个应用程序(未示出)；以及一个或多个计算机程序304，上述各器件可以通过一个或多个通信总线305连接。其中该一个或多个计算机程序304被存储在上述存储器302中并被配置为被该一个或多个处理器301执行，该一个或多个计算机程序304包括指令，上述指令可以用于执行如图1-图4及相应实施例中的各个步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (17)

1.一种图像降噪方法，其特征在于，包括：
获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；
将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：
对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；
对静止像素区域和运动像素区域进行滤波处理；
对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；
融合得到的第二参考图像通过AI网络模型进行降噪处理；
导出通过AI网络模型进行降噪处理之后的图像。
2.根据权利要求1所述的图像降噪方法，其特征在于，对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域包括：
计算出对输入图像和参考图像每个像素的像素差值；
设置阈值和像素差值进行对比，当任一像素的像素差值大于预设阈值时，该区域为运动像素区域，当任一像素的像素差值小于或等于预设阈值时该区域为静止像素区域。
3.根据权利要求2所述的图像降噪方法，其特征在于，所述阈值通过预设或通过构建拉普拉斯金字塔得到。
4.根据权利要求3所述的图像降噪方法，其特征在于，通过构建成拉普拉斯金字塔得到包括：
把输入图像和参考图像分别分解成拉普拉斯金字塔，得到Lni和Lnr；
其中，Lni表示输入图像在拉普拉斯金字塔第n层的拉普拉斯图像，Lnr表示参考图像在拉普拉斯金字塔第n层的拉普拉斯图像，n表示层数；
把Lni和Lnr相减后取绝对值,得到|Lnu–Lnr|；
对|Lni–Lnr|做一次2×2的均值滤波，得到多个阈值；
第N层的拉普拉斯金字塔图像的分辨率是原图的生成的每个阈值应用于输入图像的2N×2N个像素。
5.根据权利要求2所述的图像降噪方法，其特征在于，计算出对输入图像和参考图像每个像素的像素差值包括：
以目标像素为中心的图像块通过SAD算子、SSD算子或census算子中的至少一种方式计算出对输入图像和参考图像每个像素的像素差值。
6.根据权利要求1所述的图像降噪方法，其特征在于，对运动像素区域进行滤波处理包括：
对运动像素区域用空域或者频域滤波包括，对运动像素区域进行频域滤波，中值滤波，非局部均值滤波，双边滤波中的任意一种方式进行滤波。
7.根据权利要求1所述的图像降噪方法，其特征在于，对静止像素区域进行滤波处理包括：
对静止像素区域用时域滤波包括，对静止像素区域进行IIR滤波、卡尔曼滤波、维纳滤波中的任意一种方式进行滤波。
8.根据权利要求1所述的图像降噪方法，其特征在于，还包括计算出输入图像所有像素的噪声水平。
9.根据权利要求8所述的图像降噪方法，其特征在于，还包括：
在静止像素区域和运动像素区域连接的区域对静止像素区域或运动像素区域进行膨胀算法或遮罩平滑处理获得过度像素区域。
10.根据权利要求9所述的图像降噪方法，其特征在于，对过度像素区域分别进行运动像素区域所进行的滤波处理方式处理和运动像素区域进行所进行的滤波处理方式处理并通过加权叠加，获得降噪后的过度像素区域。
11.根据权利要求10所述的图像降噪方法，其特征在于，通过加权叠加包括：
通过线性渐变权重和噪声水平权重的方式进行调节对过度像素区域进行运动像素区域所进行的滤波处理方式处理得到的像素区域和对静止像素区域进行静止像素区域所进行的滤波处理方式处理得到的像素区域之间的比重。
12.根据权利要求11所述的图像降噪方法，其特征在于，对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像包括：
对降噪后的过度像素区域、对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像。
13.根据权利要求1所述的图像降噪方法，其特征在于，所述输入图像为当前帧图像，所述第一参考图像为前一帧图像通过如权利要求1-10任一项所述方法得到的，所述第二参考图像为当前帧图像通过如权利要求1-10任一项所述方法得到的。
14.根据权利要求8所述的图像降噪方法，其特征在于，计算出输入图像所有像素的噪声水平包括如下公式：
DN′＝|lin-lsmth|
其中，lin为输入图像，对输入图像lin进行低通滤波，得到低通滤波图像lsmth，DN′表示输入图像中每个像素的初步噪声水平；
DN＝SN×DN’
其中，DN为输入图像所有像素的噪声水平，SN为用于获取输入图像的传感器所通过标定得到的比例因子。
15.一种图像降噪装置，其特征在于，包括：
获取单元，用于获取输入图像和第一参考图像，其中，所述输入图像为通过图像传感器获取的原始图像；
时域处理单元，用于将获取输入图像和第一参考图像进行时域处理获得第二参考图像包括：对输入图像和参考图像进行运动检测，以获取静止像素区域和运动像素区域；对静止像素区域和运动像素区域进行滤波处理；对滤波处理之后的静止像素区域和运动像素区域进行融合以得到第二参考图像；
AI处理单元，用于融合得到的第二参考图像通过AI网络模型进行降噪处理；
导出单元，用于导出通过AI网络模型进行降噪处理之后的图像。
16.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
17.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至14中任一项所述的方法的步骤。
CN202411007216.0A 2024-07-25 2024-07-25 图像降噪方法、装置、设备及存储介质 Pending CN118967498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411007216.0A CN118967498A (zh) 2024-07-25 2024-07-25 图像降噪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411007216.0A CN118967498A (zh) 2024-07-25 2024-07-25 图像降噪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118967498A true CN118967498A (zh) 2024-11-15

Family

ID=93395537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411007216.0A Pending CN118967498A (zh) 2024-07-25 2024-07-25 图像降噪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN118967498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119379838A (zh) * 2024-12-27 2025-01-28 太原大船科技股份有限公司 一种医疗数据处理系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119379838A (zh) * 2024-12-27 2025-01-28 太原大船科技股份有限公司 一种医疗数据处理系统及方法

Similar Documents

Publication Publication Date Title
Thanh et al. An adaptive method for image restoration based on high-order total variation and inverse gradient
CN103369209B (zh) 视频降噪装置及方法
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
Jin et al. Quaternion-based impulse noise removal from color video sequences
KR20060076176A (ko) 비디오 시퀀스에서 시간적 잡음 제거 방법 및 시스템
CN113436112A (zh) 一种图像增强方法、装置及设备
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
Reeja et al. Real time video denoising
CN118967498A (zh) 图像降噪方法、装置、设备及存储介质
CN113012061A (zh) 降噪处理方法、装置及电子设备
Singh et al. A novel edge preserving filter for impulse noise removal
Kaur et al. An improved adaptive bilateral filter to remove gaussian noise from color images
Duman An Edge Preserving Image Denoising Framework based on statistical edge detection and bilateral Filter
CN114648469B (zh) 视频图像去噪方法及其系统、设备和存储介质
JP2019160297A (ja) 画像信号から階段状アーチファクトを低減するための画像処理装置
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
Tico Adaptive block-based approach to image stabilization
Patil et al. Implementation of restoration of blurred image using blind deconvolution algorithm
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
Lee et al. Iterative blind image motion deblurring via learning a no-reference image quality measure
KR102658842B1 (ko) 이미지 처리 장치
Gali et al. Structuring Hybrid Model Using Bilateral and Guided Filters for Image Denoising
Madhura et al. Adaptive spatio-temporal filtering with motion estimation for mixed noise removal and contrast enhancement in video sequence
James et al. Unified model for contrast enhancement and denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination