[go: up one dir, main page]

CN111429368B - 一种自适应细节增强和鬼影消除的多曝光图像融合方法 - Google Patents

一种自适应细节增强和鬼影消除的多曝光图像融合方法 Download PDF

Info

Publication number
CN111429368B
CN111429368B CN202010182184.3A CN202010182184A CN111429368B CN 111429368 B CN111429368 B CN 111429368B CN 202010182184 A CN202010182184 A CN 202010182184A CN 111429368 B CN111429368 B CN 111429368B
Authority
CN
China
Prior art keywords
image
exposure
pyramid
sequence
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010182184.3A
Other languages
English (en)
Other versions
CN111429368A (zh
Inventor
瞿中
吕磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minglong Electronic Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010182184.3A priority Critical patent/CN111429368B/zh
Publication of CN111429368A publication Critical patent/CN111429368A/zh
Application granted granted Critical
Publication of CN111429368B publication Critical patent/CN111429368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自适应细节增强和鬼影消除的多曝光图像融合方法，包括：获取LDR图像序列；基于所述LDR图像序列的信号强度和曝光强度构造权重图；对所述LDR图像序列进行运动检测，得到静态图像序列；基于所述权重图和所述静态图像序列得到融合图像金字塔；对所述融合图像金字塔进行自适应增强；对自适应增强后的图像进行拉普拉斯重构，得到融合图像Rfinal。本发明能保留更多图像细节信息，使得融合图像更加清晰，本发明能有效检测与消除鬼影，本发明可应用与各类场景的高动态成像中。

Description

一种自适应细节增强和鬼影消除的多曝光图像融合方法
技术领域
本发明涉及多曝光图像融合技术领域，尤其涉及一种自适应细节增强和鬼影消除的多曝光图像融合方法。
背景技术
当前常用的成像设备一般捕获的动态范围通常为1000:1，而大部分场景的动态范围很广远远大于普通的成像设备可捕获的动态范围，导致不能较全面的记录场景中的图像信息。普通成像设备所拍摄的图像不能满足人们对高质量图像的迫切需求，高动态范围(High Dynamic Range,HDR)成像技术的出现解决了这个问题。高动态成像技术一般可分为两个途径，一是通过专业的硬件设备捕获高动态图像，并在低动态设备上显示，二是通过多幅低动态范围图像通过算法直接合成高动态图像并在低动态设备上显示。
近年来，国内外学者在多曝光图像融合方面展开了研究。Mertens等提出了基于金字塔的多曝光图像融合算法，该方法可以有效去除光晕。Vanmali等直接对输入图像序列加权相加，提高了算法计算效率。Qu等改进多尺度图像融合框架，有效提高了图像细节信息。
图像的鬼影去除同样是近年来的研究热点。Wei等利用差分图和超像素分割划分权重去除鬼影。
Ma等采用图像分块思想实现多曝光图像融合并去除鬼影。Wang等改进差分图方法检测动态场景中的移动物体以获得无鬼影图像。Li等利用直方图均衡化和中值滤波细化权重去除鬼影。
为了有效增强图像细节和更大程度消除图像鬼影，本发明提供一个新的细节增强和鬼影消除方法。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种自适应细节增强和鬼影消除的多曝光图像融合方法，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种自适应细节增强和鬼影消除的多曝光图像融合方法，包括：
获取LDR图像序列；
基于所述LDR图像序列的信号强度和曝光强度构造权重图；
对所述LDR图像序列进行运动检测，得到静态图像序列；
基于所述权重图和所述静态图像序列得到融合图像金字塔；
对所述融合图像金字塔进行自适应增强；
对自适应增强后的图像进行拉普拉斯重构，得到融合图像Rfinal。
可选地，基于图像二维信息熵对所述LDR图像序列进行运动检测。
可选地，得到所述差分图像的过程包括：
获取参考图像Iref；
基于参考图像Iref对所述LDR图像序列中的每一幅图进行曝光调整，得到曝光调整后的图像序列；
根据所述参考图像Iref与所述曝光调整后的图像序列
Figure BDA0002412961420000021
得到差分图像Dk。
可选地，通过直方图匹配得到曝光调整后的参考图像序列
Figure BDA0002412961420000022
可选地，通过以下公式计算差分图像Dk的图像二维信息熵，
Figure BDA0002412961420000023
其中，T为图像二维信息熵，i为像素灰度值，j为该像素15×15邻域像素均值，Nij为特征二元组f(i,j)在图像中出现的频数，
Figure BDA0002412961420000024
W×H为图像大小。
可选地，通过下式获得所述静态图像序列；
Figure BDA0002412961420000025
其中，Ik(x,y)为动态图像序列，
Figure BDA0002412961420000026
为静态图像序列，Ek(x,y)为运动检测后的权重估计，/>
Figure BDA0002412961420000027
为曝光调整后的参考图像序列。
可选地，通过下式获取所述运动检测后的权重估计；
Figure BDA0002412961420000028
其中，τ表示设定阈值，Ek(x,y)表示运动检测后的权重估计，当Ek(x,y)＝0表示该像素为静态像素，Ek(x,y)＝1表示该像素为动态像素。
可选地，通过下式得到所述权重图；
Figure BDA0002412961420000029
其中，Ak(x,y)为信号强度，Bk(x,y)为曝光强度，
Figure BDA00024129614200000210
为权重图。
可选地，对运动检测后的图像序列进行拉普拉斯分解得到图像金字塔
Figure BDA00024129614200000211
对权重图进行高斯分解得到权重金字塔
Figure BDA00024129614200000212
基于所述图像金字塔与所述权重金字塔得到融合图像金字塔：
Figure BDA00024129614200000213
其中，
Figure BDA00024129614200000214
表示l层融合图像金字塔，/>
Figure BDA00024129614200000215
表示第k幅图像序列的第l层权重金字塔，/>
Figure BDA00024129614200000216
表示第k幅图像序列的第l层拉普拉斯图像金字塔。
可选地，获取融合图像金字塔的低频轮廓区域；
对所述低频信息进行滤波得到高频细节区域；
通过对所述高频细节区域进行自适应增强；
Figure BDA0002412961420000031
其中，
Figure BDA0002412961420000032
是第l层融合图像金字塔细节增强后的图像，/>
Figure BDA0002412961420000033
是融合图像金字塔第l层图像的低频轮廓区域，/>
Figure BDA0002412961420000034
是图像自适应增益因子，/>
Figure BDA0002412961420000035
D为常数，
Figure BDA0002412961420000036
为图像局部均方差。
如上所述，本发明的一种自适应细节增强和鬼影消除的多曝光图像融合方法，具有以下有益效果：
本发明能保留更多图像细节信息，使得融合图像更加清晰，本发明能有效检测与消除鬼影，本发明可应用与各类场景的高动态成像中。
附图说明
图1为本发明一实施例一种自适应细节增强和鬼影消除的多曝光图像融合方法的流程图；
图2为本发明一实施例差分图像获得的流程图；
图3为本发明一实施例图像集“studio”的输入序列；
图4为本发明一实施例图像集“studio”的实验结果对比，其中图1)为Mertens算法实验结果，图2)为本发明实验结果，通过对比可以看出本文算法实验结果比Mertens算法实验结果细节保留较好；
图5为本发明一实施例图像集“studio”的实验结果的细节对比，其中图1)为Mertens算法实验结果窗外细节放大图，图2)为本发明实验结果窗外细节放大图，通过对比可以看出本文算法实验结果细节更加丰富；
图6为本发明一实施例图像集“ForrestSequence”的输入序列；
图7为本发明一实施例图像集“ForrestSequence”的实验结果对比，其中图1)为Mertens算法实验结果，图2)为本发明实验结果，通过对比可以看出本文算法可有效检测并消除鬼影，Mertens算法实验结果不能完全消除鬼影；
图8为本发明一实施例图像集“Set1”的输入序列；
图9为本发明一实施例图像集“Set1”的实验结果对比，其中图1)为Mertens算法实验结果，图2)为本发明实验结果，通过对比可以看出本文算法可有效检测并消除鬼影，Mertens算法实验结果不能完全消除鬼影。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本实施例提供一种自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，包括：
S11获取LDR图像序列；
S12基于所述LDR图像序列的信号强度和曝光强度构造权重图；
S13对所述LDR(Low-Dynamic Range，低动态范围图像)图像序列进行运动检测，得到静态图像序列；
S14基于所述权重图和所述静态图像序列得到融合图像金字塔；
S15对所述融合图像金字塔进行自适应增强；
S16对自适应增强后的图像进行拉普拉斯重构，得到融合图像Rfinal。
本发明能保留更多图像细节信息，使得融合图像更加清晰，本发明能有效检测与消除鬼影.
在一实施例中，基于图像二维信息熵对所述LDR图像序列进行运动检测。
在一实施例中，如图2所示，得到所述差分图像的过程包括：
S21获取参考图像Iref；
S22基于参考图像Iref对所述LDR图像序列中的每一幅图进行曝光调整，得到曝光调整后的图像序列；
S23根据所述参考图像Iref与所述曝光调整后的图像序列
Figure BDA0002412961420000041
得到差分图像Dk。
其中，所述的参考图像可以通过事先进行自定义。
在一实施例中，通过直方图匹配得到曝光调整后的参考图像序列
Figure BDA0002412961420000042
具体地，将根据参考图像Iref与曝光调整后的参考图像序列
Figure BDA0002412961420000043
做差得到差分图像Dk。
在一实施例中，通过以下公式计算差分图像Dk的图像二维信息熵，
Figure BDA0002412961420000044
其中，T为图像二维信息熵，其引入图像邻域像素均值作为空间特征量，与图像灰度组成特征二元组f(i,j)，i代表像素灰度值，j代表该像素15×15邻域像素均值。当邻域像素窗口大于15×15，容易保留鬼影外部轮廓，当邻域窗口小于15×15，在去除鬼影的同时去除鬼影周围背景信息。Nij为f(i,j)特征在图像中出现的频数，
Figure BDA0002412961420000045
W×H为图像大小。
在一实施例中，通过下式获得所述静态图像序列；
Figure BDA0002412961420000046
其中，Ik(x,y)为动态图像序列，
Figure BDA0002412961420000047
为静态图像序列，Ek(x,y)为运动检测后的权重估计，/>
Figure BDA0002412961420000051
为曝光调整后的参考图像序列。
在一实施例中，通过下式获取所述运动检测后的权重估计；
Figure BDA0002412961420000052
其中，τ表示设定阈值，Ek(x,y)表示运动检测后的权重估计，当Ek(x,y)＝0表示该像素为静态像素，Ek(x,y)＝1表示该像素为动态像素。在本实施例中，τ＝2。
在一实施例中，通过下式得到所述权重图；
Figure BDA0002412961420000053
其中，Ak(x,y)为信号强度，Bk(x,y)为曝光强度，
Figure BDA0002412961420000054
为权重图。
在一实施例中，得到所述权重图后还包括对：权重图
Figure BDA0002412961420000055
归一化处理得到Wk(x,y)。
在一实施例中，对运动检测后的图像序列进行拉普拉斯分解得到图像金字塔
Figure BDA0002412961420000056
对权重图进行高斯分解得到权重金字塔
Figure BDA0002412961420000057
基于所述图像金字塔与所述权重金字塔得到融合图像金字塔：
Figure BDA0002412961420000058
其中，
Figure BDA0002412961420000059
表示l层融合图像金字塔，/>
Figure BDA00024129614200000510
表示第k幅图像序列的第l层权重金字塔，/>
Figure BDA00024129614200000511
表示第k幅图像序列的第l层拉普拉斯图像金字塔。
为更好保留生成的HDR图像细节信息，通过对融合金字塔图像
Figure BDA00024129614200000512
进行自适应增强，使得图像细节更加清晰，将图像分为两个部分，一是反映图像大尺度强度变化的低频轮廓区域，可通过图像的低通滤波平滑获得；二是反映图像小尺度细节高频区域，可通过原图减去低频轮廓区域获得。对细节高频区域进行放大后图像的细节信息变得更加清晰，图像细节得到增强。图像的低频轮廓区域通过计算图像的局部像素平均值实现：
Figure BDA00024129614200000513
其中，
Figure BDA00024129614200000514
是融合金字塔图像第l层图像的低频轮廓区域，(2n+1)2为计算像素平均值的窗口大小，本实施例中n＝11。/>
Figure BDA00024129614200000515
表示第l层的融合金字塔图像。
在一实施例中，获取融合图像金字塔的低频轮廓区域；
对所述低频信息进行滤波得到高频细节区域；
通过对所述高频细节区域进行自适应增强；
Figure BDA0002412961420000061
其中，
Figure BDA0002412961420000062
是第l层融合图像金字塔细节增强后的图像，/>
Figure BDA0002412961420000063
是融合图像金字塔第
l层图像的低频轮廓区域，
Figure BDA0002412961420000064
是图像自适应增益因子，/>
Figure BDA0002412961420000065
D为常数，
Figure BDA0002412961420000066
为图像局部均方差。
图像的高频细节区域可通过原图像低通滤波平滑后做差获得，并对高频细节区域进行图像自适应增强，使图像细节更加清晰:
Figure BDA0002412961420000067
其中，
Figure BDA0002412961420000068
是第l层融合金字塔细节增强后的图像，/>
Figure BDA0002412961420000069
是图像自适应增益因子，/>
Figure BDA00024129614200000610
D为常数，本实施例中取图像像素平均值；/>
Figure BDA00024129614200000611
为图像局部均方差，在图像的边缘或者其他细节变化剧烈的区域，局部均方差较大，其/>
Figure BDA00024129614200000612
的值较小，从而防止产生振铃效应。在平滑的区域，局部均方差较小，其/>
Figure BDA00024129614200000613
的值较大，易放大噪声，因此对/>
Figure BDA00024129614200000614
的最大值做一定的限制才能获得更好的效果。本实施例中/>
Figure BDA00024129614200000615
的最大值取2.5，当取值超过2.5时图像被过度增强，取值小于2.5时图像增强效果不佳。最后，/>
Figure BDA00024129614200000616
经过拉普拉斯重构得到细节增强后的融合图像Rfinal。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，包括：
获取LDR图像序列；
基于所述LDR图像序列的信号强度和曝光强度构造权重图；
对所述LDR图像序列进行运动检测，得到静态图像序列；
基于所述权重图和所述静态图像序列得到融合图像金字塔；
对所述融合图像金字塔进行自适应增强，包括：
获取融合图像金字塔的低频轮廓区域；
对低频信息进行滤波得到高频细节区域；
通过对所述高频细节区域进行自适应增强；
Figure FDA0004204244860000011
其中，
Figure FDA0004204244860000012
是第l层融合图像金字塔细节增强后的图像，/>
Figure FDA0004204244860000013
是融合图像金字塔第l层图像的低频轮廓区域，/>
Figure FDA0004204244860000014
是图像自适应增益因子，/>
Figure FDA0004204244860000015
D为常数，
Figure FDA0004204244860000016
为图像局部均方差；
对自适应增强后的图像进行拉普拉斯重构，得到融合图像Rfinal。
2.根据权利要求1所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，基于图像二维信息熵对所述LDR图像序列进行运动检测。
3.根据权利要求2所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，得到差分图像的过程包括：
获取参考图像Iref；
基于参考图像Iref对所述LDR图像序列中的每一幅图进行曝光调整，得到曝光调整后的图像序列；
根据所述参考图像Iref与所述曝光调整后的图像序列
Figure FDA0004204244860000017
得到差分图像Dk。
4.根据权利要求3所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，通过直方图匹配得到曝光调整后的参考图像序列
Figure FDA0004204244860000018
5.根据权利要求3所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，通过以下公式计算差分图像Dk的图像二维信息熵，
Figure FDA0004204244860000021
其中，T为图像二维信息熵，i为像素灰度值，j为该像素15×15邻域像素均值，Nij为特征二元组f(i,j)在图像中出现的频数，
Figure FDA0004204244860000022
W×H为图像大小。
6.根据权利要求5所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，通过下式获得所述静态图像序列；
Figure FDA0004204244860000023
其中，Ik(x,y)为动态图像序列，
Figure FDA0004204244860000024
为静态图像序列，Ek(x,y)为运动检测后的权重估计，/>
Figure FDA0004204244860000025
为曝光调整后的参考图像序列。
7.根据权利要求6所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，通过下式获取所述运动检测后的权重估计；
Figure FDA0004204244860000026
其中，τ表示设定阈值，Ek(x,y)表示运动检测后的权重估计，当Ek(x,y)＝0表示该像素为静态像素，Ek(x,y)＝1表示该像素为动态像素。
8.根据权利要求1所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，通过下式得到所述权重图；
Figure FDA0004204244860000027
其中，Ak(x,y)为信号强度，Bk(x,y)为曝光强度，
Figure FDA0004204244860000028
为权重图。
9.根据权利要求1所述的自适应细节增强和鬼影消除的多曝光图像融合方法，其特征在于，对运动检测后的图像序列进行拉普拉斯分解得到图像金字塔
Figure FDA0004204244860000031
对权重图进行高斯分解得到权重金字塔
Figure FDA0004204244860000032
基于所述图像金字塔与所述权重金字塔得到融合图像金字塔：
Figure FDA0004204244860000033
其中，
Figure FDA0004204244860000034
表示l层融合图像金字塔，/>
Figure FDA0004204244860000035
表示第k幅图像序列的第l层权重金字塔，/>
Figure FDA0004204244860000036
表示第k幅图像序列的第l层拉普拉斯图像金字塔。
CN202010182184.3A 2020-03-16 2020-03-16 一种自适应细节增强和鬼影消除的多曝光图像融合方法 Active CN111429368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010182184.3A CN111429368B (zh) 2020-03-16 2020-03-16 一种自适应细节增强和鬼影消除的多曝光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010182184.3A CN111429368B (zh) 2020-03-16 2020-03-16 一种自适应细节增强和鬼影消除的多曝光图像融合方法

Publications (2)

Publication Number Publication Date
CN111429368A CN111429368A (zh) 2020-07-17
CN111429368B true CN111429368B (zh) 2023-06-27

Family

ID=71546397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182184.3A Active CN111429368B (zh) 2020-03-16 2020-03-16 一种自适应细节增强和鬼影消除的多曝光图像融合方法

Country Status (1)

Country Link
CN (1) CN111429368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
CN113255557B (zh) * 2021-06-08 2023-08-15 苏州优柿心理咨询技术有限公司 一种基于深度学习的视频人群情绪分析方法及系统
CN113837055A (zh) * 2021-09-18 2021-12-24 南京润楠医疗电子研究院有限公司 跌倒检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
CN107220931A (zh) * 2017-08-02 2017-09-29 安康学院 一种基于灰度级映射的高动态范围图像重建方法
WO2018113975A1 (en) * 2016-12-22 2018-06-28 Huawei Technologies Co., Ltd. Generation of ghost-free high dynamic range images
CN109754377A (zh) * 2018-12-29 2019-05-14 重庆邮电大学 一种多曝光图像融合方法
CN110599433A (zh) * 2019-07-30 2019-12-20 西安电子科技大学 一种基于动态场景的双曝光图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852499B2 (en) * 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
WO2018113975A1 (en) * 2016-12-22 2018-06-28 Huawei Technologies Co., Ltd. Generation of ghost-free high dynamic range images
CN107220931A (zh) * 2017-08-02 2017-09-29 安康学院 一种基于灰度级映射的高动态范围图像重建方法
CN109754377A (zh) * 2018-12-29 2019-05-14 重庆邮电大学 一种多曝光图像融合方法
CN110599433A (zh) * 2019-07-30 2019-12-20 西安电子科技大学 一种基于动态场景的双曝光图像融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography;T. Mertens 等;《COMPUTER GRAPHICS》;20090223;161-171 *
Motion-free exposure fusion based on inter-consistency and intra-consistency;Wei Zhang 等;《Information Sciences》;20170110;190-201 *
Multi-exposure Image Fusion with Layering Adaptive Detail Enhancement and Ghosting removal;Lei Lv;《2020 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA)》;20200901;1-5 *
基于二维模糊信息熵的差分图像变化检测;钟家强 等;《计算机工程与应用》;20060511;60-63 *
基于多尺度变换的医学图像增强算法研究;李彦;《中国优秀硕士学位论文全文数据库信息科技辑》;20140515;I138-2883 *
多尺度细节增强的多曝光图像融合算法研究;吕磊;《中国优秀硕士学位论文全文数据库信息科技辑》;20210215;I138-1355 *

Also Published As

Publication number Publication date
CN111429368A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN105096280B (zh) 处理图像噪声的方法及装置
Malm et al. Adaptive enhancement and noise reduction in very low light-level video
US20170365046A1 (en) Algorithm and device for image processing
CN111429368B (zh) 一种自适应细节增强和鬼影消除的多曝光图像融合方法
CN111260580B (zh) 图像去噪方法、计算机装置及计算机可读存储介质
CN108492245B (zh) 基于小波分解和双边滤波的低光度图像对融合方法
JPH06245113A (ja) ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
WO2018122008A1 (en) Method and device for image processing
CN109658447B (zh) 基于边缘细节保持的夜间图像去雾方法
CN107492077B (zh) 基于自适应多方向总变分的图像去模糊方法
CN110942427A (zh) 一种图像降噪的方法及装置、设备、存储介质
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
CN111183630A (zh) 一种智能终端的照片处理方法及处理装置
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
Paul et al. Filters used in x-ray chest images for initial stage tuberculosis detection
CN110136085B (zh) 一种图像的降噪方法及装置
CN118967498A (zh) 图像降噪方法、装置、设备及存储介质
Ghazal et al. Structure-oriented multidirectional wiener filter for denoising of image and video signals
Seshadrinathan et al. Noise and dynamic range optimal computational imaging
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
Sadaka et al. Efficient perceptual attentive super-resolution
WO2017069720A1 (ru) Способ обработки цифрового изображения для снижения уровня шума
CN114170097B (zh) 基于大气散射模型的低照度图像和视频增强方法、装置
Ghazal et al. A fast directional sigma filter for noise reduction in digital TV signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240815

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Chongqing University of Posts and telecommunications, No.2 Chongwen Road, Nan'an District, Chongqing 400065

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TR01 Transfer of patent right