CN107845128B - 一种多尺度细节融合的多曝光高动态图像重建方法 - Google Patents
一种多尺度细节融合的多曝光高动态图像重建方法 Download PDFInfo
- Publication number
- CN107845128B CN107845128B CN201711069376.8A CN201711069376A CN107845128B CN 107845128 B CN107845128 B CN 107845128B CN 201711069376 A CN201711069376 A CN 201711069376A CN 107845128 B CN107845128 B CN 107845128B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- weight
- pyramid
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 14
- 238000007500 overflow downdraw method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 238000004451 qualitative analysis Methods 0.000 abstract description 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000005316 response function Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多尺度细节融合的多曝光高动态图像重建方法，涉及图像处理技术领域，考虑了图像的对比度、饱和度、适度曝光量三个测度因子，根据测度因子计算原始多曝光图像的权重图，利用金字塔原理生成权值高斯金字塔和拉普拉斯系数金字塔；构造权重图映射函数，对高斯金字塔进行权值映射；然后根据金字塔原理对每层权重图和拉普拉斯系数进行加权平均，得到综合的拉普拉斯金字塔；最后，对综合后金字塔反变换得到一幅HDR图像。对融合图像效果进行了定性和定量分析，与其它多曝光图像融合方法相比，本发明有效地保留了低暗区和高亮区的细节信息，具有明显的融合效果，能够更好地反映了真实场景的细节信息。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种多尺度细节融合的多曝光高动态图像重建方法。
背景技术
普通数码设备或显示器的亮暗比值通常只有102:1，目前通用的RGB模型采用8位通道，其亮度范围被限制在0-255以内，而真实场景的亮度范围为109:1。正是由于真实场景和普通数码设备动态范围及其不匹配的现象，使得我们实际拍摄的图像明亮处出现过曝，曝光处信息严重丢失，或者昏暗处曝光不足，细节信息无法辨认，无法获得一幅能够完整反映真实场景细节信息的图像。通过调节相机的快门速度或光圈大小来取舍真实场景的亮度信息，可以获得场景某一段动态范围的细节信息，但是无论我们如何调整相机的参数，当场景中动态范围过大时，单张照片都无法完整地记录真实场景的全部细节信息，即使通过现有的图像增强技术，也无法恢复场景中全部信息。
针对HDR重建，目前有Debevec等人通过建立辐射照度和采集图像亮度值之间的映射关系，提出了无参相机响应函数估计方法；Mitsunaga等人对生产商提供的常用胶片和数码相机的响应函数分析发现，相机响应函数可以用最高阶数不超过10的高阶多项式表示；Mann等人设计含参的相机响应函数，能同时估计出相机响应函数和每幅图像的曝光时间；华顺刚等人通过三次B样条函数拟合相机响应曲线，使噪声和拍摄时相机的微小运动等引起的波动问题得到了很好的解决。然而，当场景所包含的动态范围不够宽时，此类方法得到的相机响应函数实际上无法反映完整的映射关系，而且重建的HDR图像还需通过色调映射才能在常规设备上显示。
与HDR图像重建和色调映射共同作用效果等同的方法是图像的直接加权融合，该方法通过计算同一场景不同曝光图像的权值进行融合得到能够直接在普通设备上显示的图像。Goshtasby首先提出基于块的融合方法，采用熵、梯度、强度和颜色饱和度等作为衡量指标，但在处理块的连接问题上，图像中的边缘和纹理通常会变模糊；Block等人通过重叠分块的融合方法，对块间区域的相互影响得到了减弱，解决了不同块区域间过渡的问题；Raman等人利用双边滤波技术保持图像边缘，该方法计算速度快，但不能很好地保持图像的颜色信息。Zhao等人通过子带结构能够保留图像更多的细节信息，但该方法通过增益图提高图像对比度，过分增强了细节信息，融合图像不太自然。Zhang等人利用像素的梯度反映曝光质量，该方法能够保持较好的细节，但没有考虑原场景中亮暗层次，可能会导致融合结果出现亮暗翻转现象。
Mertans等人提出的基于拉普拉斯金字塔的多分辨率方法是目前最为有效的融合方法，得到广泛使用。该方法首先对每幅多曝光图像进行多尺度分解，计算多曝光图像的对比度、饱和度以及适度曝光量，得到多曝光图像对应的权重图，对其进行加权平均后获得综合金字塔系数，最后重建拉普拉斯金字塔得到融合图像。这个方法多数情况下能够取得很好的融合效果，但在超大动态范围的真实场景下，在高亮和低暗区域仍存在有用细节信息丢失现象。
发明内容
本发明实施例提供了一种多尺度细节融合的多曝光高动态图像重建方法，可以解决现有技术中存在的问题。
本发明提供了一种多尺度细节融合的多曝光高动态图像重建方法，该方法包括以下步骤：
根据确定的对比度、饱和度和适度曝光量三个测度因子计算原始多曝光图像的权重图；
构造权重图映射函数，对高斯金字塔进行权值映射，保持信息丰富区域权值最大；
根据金字塔原理对每层权重图和拉普拉斯系数进行加权平均，得到综合的拉普拉斯金字塔；
对综合的拉普拉斯金字塔进行反变换，得到重建的HDR图像。
本发明实施例中的多尺度细节融合的多曝光高动态图像重建方法，对多曝光图像在不同尺度、不同空间分辨率、不同分解层采用多测度因子的图像融合算法进行了融合。考虑了图像的对比度、饱和度、适度曝光量三个测度因子，根据测度因子计算原始多曝光图像的权重图，利用金字塔原理生成权值高斯金字塔和拉普拉斯系数金字塔；构造权重图映射函数，对高斯金字塔进行权值映射，保持信息丰富区域权值最大；然后根据金字塔原理对每层权重图和拉普拉斯系数进行加权平均，得到综合的拉普拉斯金字塔；最后，对综合后金字塔反变换得到一幅既能保持原场景细节信息又能保持亮暗层次、视觉效果良好的HDR图像。对融合图像效果进行了定性和定量分析，与其它多曝光图像融合方法相比，本发明有效地保留了低暗区和高亮区的细节信息，具有明显的融合效果，能够更好地反映了真实场景的细节信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多尺度细节融合的多曝光高动态图像重建方法的流程图；
图2为高斯核三维图；
图3为多曝光图像序列；
图4为图3中图像序列的高斯金字塔第一层权重图；
图5为图3中图像序列使用Mertans EF算法的高斯金字塔第六层权重图；
图6为图3中图像序列使用本发明方法的高斯金字塔第六层权重图；
图7传统多分辨率图像融合算法和本发明方法的效果比较，其中a为多曝光图像序列，b为拉普拉斯金字塔，c为对比度金字塔，d为比率低通金字塔，e为梯度金字塔，f为小波变换，g为本发明的方法；
图8为第一组多曝光图像融合算法的效果比较，其中a为多曝光图像序列，b为Mertans EF算法，c为Zhang等人算法，d为本发明的方法；
图9为第二组多曝光图像融合算法的效果比较，其中a为多曝光图像序列，b为Mertans EF算法，c为Zhang等人算法，d为本发明的方法；
图10为第三组多曝光图像融合算法的效果比较，其中a为多曝光图像序列，b为Mertans EF算法，c为Zhang等人算法，d为本发明的方法；
图11为第四组多曝光图像融合算法的效果比较，其中a为多曝光图像序列，b为Mertans EF算法，c为Zhang等人算法，d为本发明的方法。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明实施例提供了一种多尺度细节融合的多曝光高动态图像重建方法，该方法包括以下步骤：
步骤100，根据确定的对比度、饱和度和适度曝光量三个测度因子计算原始多曝光图像的权重图。
(1)图像的对比度
图像的对比度计算方法采用Mertans EF算法中的对比度计算方法，其计算时采用图像的梯度表示。同一场景不同曝光图像的细节信息由其梯度大小来表示，轮廓越鲜明说明曝光效果越好，该图像的梯度也就越大，为了能够更好地将场景的细节信息保留到合成的图像中，梯度越大其权值就设置越大，曝光不足、曝光过度区域则梯度值就越小，则其权值就设置越小。
Ck(i,j)＝Fk(i-1,j)+Fk(i+1,j)+Fk(i,j-1)+Fk(i,j+1)-4Fk(i,j) (1)
其中，Ck(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的梯度，Fk(i,j)表示第k幅图像在像素(i,j)处的灰度值。
(2)图像的饱和度
图像饱和度反映彩色图像的鲜艳程度，本发明采用Mertans EF算法计算饱和度计算方法，利用各通道的标准差表示。
其中，Sk(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的饱和度，Rk(i,j)、Gk(i,j)和Bk(i,j)分别表示第k幅彩色图像三通道在像素(i,j)处的取值，mu表示三通道在像素(i,j)处的平均值。
(3)图像的适度曝光量
根据人的视觉特性以及图像所反映的空间频率计算图像的适度曝光量。当曝光度合适，人眼能够看到更多的图像细节信息，因此该像素被分配较大的权重。
其中，Ek(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的曝光量，ERk(i,j)、EGk(i,j)和EBk(i,j)分别表示第k幅彩色图像三通道在像素(i,j)处的曝光量，σ为方差，取0.2。
通过计算多曝光图像序列的对比度、饱和度和适度曝光量，利用它们的联合乘积作为图像的权重图，则每幅多曝光图像权重图可用三个信息测度因子的乘积组合表示。
Wk(i,j)＝(Ck(i,j))τc·(Sk(i,j))τs·(Ek(i,j))τe (4)
其中，Wk(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的权值，τc、τs和τe分别为Ck(i,j)、Sk(i,j)和Ek(i,j)权值的调节参数，本实施例中全部取1。
步骤200，构造权重图映射函数，对高斯金字塔进行权值映射，保持信息丰富区域权值最大。
Mertans EF融合算法导致低暗区和高亮区的细节信息丢失，究其原因主要在于构建高斯金字塔过程中高斯核随着金字塔上一层像素的减少涉及更大范围区域的像素，每个权重值受到与自身相差很大的相邻像素权重的影响，使得具有较大权值的信息丰富区域其权值在不断减小，导致融合后图像低暗区和高亮区信息丢失严重。
Mertans EF融合算法中高斯金字塔的建立，高斯金字塔底层为源多曝光图像，记为G0，高斯金字塔的第l层图像的构造方法如下：
构造的l层图像记为Gl，Gl-1与具有低通特性的窗口函数ω进行卷积，通过对它们卷积的结果做隔行隔列的降采样运算得到Gl，方法如下式所示：
其中，L表示高斯金字塔层数，Cl为第l层图像的列数，Rl是行数，ω(m,n)为5×5窗口函数，如下式所示，其三维表面图如图2所示。
引入缩小算子Reduce，则式(5)可记为：
Gl＝Reduce(Gl-1) (7)
G0,G1,...,GL由于分辨率的不同，其从大到小、由底向上构成了一个形如金字塔的高斯金字塔图像，其中金字塔的总层数为L+1，高斯金字塔图像的最底层为G0，高斯金字塔图像的最顶层为GL。第l+1层图像是通过金字塔第l层图像做低通滤波得到的，因此图像由下向上逐渐变得模糊。
高斯金字塔第一层是根据曝光图像的对比度、饱和度以及适度曝光量三个测度因子计算的全分辨率权重图。如果直接融合，融合结果保留了场景中每个像素的细节信息，但由于缝隙严重，图像不平滑。随着金字塔上一层图像按式(7)缩减到下一层的四分之一，高斯核做卷积运算会涉及更大范围区域的像素，使原本相距较远、相差较大的两个区域像素做加权平均，使得具有较大权值的信息丰富区域其权值不断在减小，导致融合后图像低暗区和高亮区信息丢失严重。
为了保证信息丰富区域保持较大权值，本发明对每层权重图构造狄利克雷函数映射，使信息丰富区域的权值保持最大，即完全保留信息丰富区域的细节，防止了低暗区和高亮区的细节信息丢失。构造的权值映射函数如下所示：
其中，max(Gl(Wk(i,j)))是高斯金字塔多曝光图像序列中第k幅图像权重图中第l层在像素(i,j)处的最大权重值，K是多曝光图像数量，Gl(DWk(i,j))是狄利克雷权值映射矩阵。
图3是对车库设置不同曝光参数拍摄的多曝光图像序列，可以看到车库内部信息处于低暗区，仅在第六幅图像中有较为清晰的信息。图4是本发明方法和Mertans EF算法根据三个测度因子获得的三维表面权重图，其信息丰富区域获得了较大权值。图5是根据Mertans EF算法建立高斯金字塔中第六层的权重图，可以看出在第六层由于相邻像素的影响原本具有较大权值的区域其权值相应减小，使得信息丰富区域在融合时不能被完全保留。图6是本发明方法建立高斯金字塔第六层的权重图，可以清楚看到，其保持了第一层中信息丰富区域的权值信息，即信息丰富区域对应的权值仍然最大。
步骤300，根据金字塔原理对每层权重图和拉普拉斯系数进行加权平均，得到综合的拉普拉斯金字塔：
其中，LPlk(I)是第k幅多曝光图像的拉普拉斯金字塔第l层的系数，Gl(DWk)是经过本发明方法映射后第k幅多曝光图像的高斯金字塔第l层的权值，LPl(R)为经过加权平均新得到的第k幅多曝光图像的拉普拉斯金字塔第l层的系数。
步骤400，对综合的拉普拉斯金字塔进行反变换，得到重建的HDR图像。
实验说明
对同一场景选择不同曝光的图像序列，采用已有的多分辨率算法，拉普拉斯金字塔、对比度金字塔、比率低通金字塔、梯度金字塔、小波变换和本发明的方法，进行了图像融合，得到不同质量和细节差异的高动态范围图像，如图7所示。同时，本发明的方法与目前应用最为广泛的Mertens等人和Zhang等人提出的多曝光图像融合算法分别进行了比较，如图8和9所示。图10和11给出了两组多曝光图像融合结果的对比效果。
表1图7的评价参数表
从图7可以看出，本发明的方法具有较好的视觉效果，保留了原场景更多的细节信息。从表1评价参数信息熵、平均梯度和对比度来看，本发明的方法在信息熵和平均梯度上均优于传统多分辨率融合方法，但对比度小于传统拉普拉斯金字塔和梯度金字塔，这是因为传统多分辨率融合方法草地信息较暗，和地面花朵形成鲜明对比，使得图像对比度较大，而它们视觉效果差，在高亮区出现饱和现象，地面暗处信息恢复较差。
图8从融合效果直观来看，Mertans EF算法和Zhang等人算法在高亮区均出现了过饱和现象，如框中太阳周边信息丢失严重，本发明的方法保留了更多高亮区的细节信息。由于本发明的方法和Mertans EF算法均采用对比度、饱和度和适度曝光量进行融合，所以表2从它们融合图像的平均对比度、平均饱和度和平均曝光量进行定量分析。从评价结果来看，本发明的方法在平均饱和度和平均曝光量上均优于其他算法，但在平均对比度上，本发明略逊于Mertans EF算法，这是因为本发明的方法天空和铁塔部分更多保留了原场景的细节信息，而Mertans EF算法太阳周边出现的饱和现象，与邻域像素对比明显，从而出现平均对比度较大现象。
表2图8的评价参数表
图9从融合效果直观来看，Mertans EF算法和Zhang等人算法在低暗区信息丢失严重，如框中车库内部信息无法辨认，本发明的方法保留了更多低暗区的细节信息。从表3评价结果来看，本发明方法在平均饱和度和平均曝光量上均优于其他算法，但在平均对比度仍然略逊于Mertans EF算法，这是因为其高亮区过饱和，低暗区过暗，导致对比度较大。
表3图9的评价参数表
图10和11给出了两组多曝光融合算法，前一组可以看出保留了桌子底下暗区的细节信息，后一组保留了高亮区的细节信息，如框中标注所示。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (2)
1.一种多尺度细节融合的多曝光高动态图像重建方法，其特征在于，该方法包括以下步骤：
根据确定的对比度、饱和度和适度曝光量三个测度因子计算原始多曝光图像的权重图；
构造权重图映射函数，对高斯金字塔进行权值映射，保持信息丰富区域权值最大；
根据金字塔原理对每层权重图和拉普拉斯系数进行加权平均，得到综合的拉普拉斯金字塔；
对综合的拉普拉斯金字塔进行反变换，得到重建的HDR图像；
其中，所述对比度、饱和度和适度曝光量三个测度因子的具体计算方法为：
(1)图像的对比度
图像的对比度计算时采用图像的梯度表示：
Ck(i,j)＝Fk(i-1,j)+Fk(i+1,j)+Fk(i,j-1)+Fk(i,j+1)-4Fk(i,j) (1)
其中，Ck(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的梯度，Fk(i,j)表示第k幅图像在像素(i,j)处的灰度值；
(2)图像的饱和度
图像饱和度利用各通道的标准差表示：
其中，Sk(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的饱和度，Rk(i,j)、Gk(i,j)和Bk(i,j)分别表示第k幅彩色图像三通道在像素(i,j)处的取值，mu表示三通道在像素(i,j)处的平均值；
(3)图像的适度曝光量
其中，Ek(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的曝光量，ERk(i,j)、EGk(i,j)和EBk(i,j)分别表示第k幅彩色图像三通道在像素(i,j)处的曝光量，σ为方差；
每幅多曝光图像权重图用三个信息测度因子的乘积组合表示：
Wk(i,j)＝(Ck(i,j))τc·(Sk(i,j))τs·(Ek(i,j))τe (4)
其中，Wk(i,j)表示多曝光图像序列中第k幅图像在像素(i,j)处的权值，τc、τs和τe分别为Ck(i,j)、Sk(i,j)和Ek(i,j)权值的调节参数；
构造权重图映射函数，对高斯金字塔进行权值映射具体包括：
高斯金字塔底层为源多曝光图像，记为G0，高斯金字塔的第l层图像的构造方法如下：
构造的l层图像记为Gl，Gl-1与具有低通特性的窗口函数ω进行卷积，通过对它们卷积的结果做隔行隔列的降采样运算得到Gl，方法如下式所示：
其中，L表示高斯金字塔层数，Cl为第l层图像的列数，Rl是行数，ω(m,n)为5×5窗口函数；
为了保证信息丰富区域保持较大权值，对每层权重图构造狄利克雷函数映射，使信息丰富区域的权值保持最大，即完全保留信息丰富区域的细节，防止了低暗区和高亮区的细节信息丢失，构造的权值映射函数如下所示：
其中，max(Gl(Wk(i,j)))是高斯金字塔多曝光图像序列中第k幅图像权重图中第l层在像素(i,j)处的最大权重值，K是多曝光图像数量，Gl(DWk(i,j))是狄利克雷权值映射矩阵。
2.如权利要求1所述的多尺度细节融合的多曝光高动态图像重建方法，其特征在于，得到的综合的拉普拉斯金字塔为：
其中，LPlk(I)是第k幅多曝光图像的拉普拉斯金字塔第l层的系数，Gl(DWk)是经过映射后第k幅多曝光图像的高斯金字塔第l层的权值，LPl(R)为经过加权平均新得到的第k幅多曝光图像的拉普拉斯金字塔第l层的系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711069376.8A CN107845128B (zh) | 2017-11-03 | 2017-11-03 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711069376.8A CN107845128B (zh) | 2017-11-03 | 2017-11-03 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107845128A CN107845128A (zh) | 2018-03-27 |
| CN107845128B true CN107845128B (zh) | 2021-09-03 |
Family
ID=61681385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711069376.8A Expired - Fee Related CN107845128B (zh) | 2017-11-03 | 2017-11-03 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107845128B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108827184B (zh) * | 2018-04-28 | 2020-04-28 | 南京航空航天大学 | 一种基于相机响应曲线的结构光自适应三维测量方法 |
| CN109035251B (zh) * | 2018-06-06 | 2022-05-27 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
| CN109240210A (zh) * | 2018-10-16 | 2019-01-18 | 重庆工业职业技术学院 | 一种具有故障诊断与预警功能的数控机床 |
| CN109472752B (zh) * | 2018-10-30 | 2022-05-03 | 北京工业大学 | 基于航拍图像的多曝光融合系统 |
| CN109712091B (zh) * | 2018-12-19 | 2021-03-23 | Tcl华星光电技术有限公司 | 图片处理方法、装置及电子设备 |
| CN110428389B (zh) * | 2018-12-26 | 2023-03-24 | 西安电子科技大学 | 基于msr理论和曝光融合的微光图像增强方法 |
| CN109801279B (zh) * | 2019-01-21 | 2021-02-02 | 京东方科技集团股份有限公司 | 图像中的目标检测方法及装置、电子设备、存储介质 |
| CN110189281B (zh) * | 2019-04-10 | 2020-12-29 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110415188B (zh) * | 2019-07-10 | 2021-08-20 | 首都师范大学 | 一种基于多尺度形态学的hdr图像色调映射方法 |
| CN111028165B (zh) * | 2019-11-29 | 2023-03-21 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
| CN111709904B (zh) * | 2020-05-27 | 2023-12-26 | 盛视科技股份有限公司 | 一种图像融合方法及装置 |
| CN112785534B (zh) * | 2020-09-30 | 2025-03-14 | 广东电网有限责任公司广州供电局 | 一种动态场景下去鬼影多曝光图像融合方法 |
| CN112258434A (zh) * | 2020-09-30 | 2021-01-22 | 广东电网有限责任公司广州供电局 | 一种静态场景下细节保持多曝光图像融合算法 |
| CN112634187B (zh) * | 2021-01-05 | 2022-11-18 | 安徽大学 | 基于多重权重映射的宽动态融合算法 |
| CN113191994B (zh) * | 2021-04-26 | 2023-11-21 | 北京小米移动软件有限公司 | 图像处理方法、装置及存储介质 |
| CN115529834A (zh) * | 2021-04-27 | 2022-12-27 | 京东方科技集团股份有限公司 | 图像处理方法和图像处理装置 |
| CN113822800B (zh) * | 2021-06-11 | 2022-09-06 | 无锡安科迪智能技术有限公司 | 一种全景图像拼接融合的方法及装置 |
| CN113674186B (zh) * | 2021-08-02 | 2024-10-22 | 中国科学院长春光学精密机械与物理研究所 | 基于自适应调整因子的图像合成方法、装置 |
| CN113628141B (zh) * | 2021-08-18 | 2023-11-28 | 上海磐启微电子有限公司 | 一种基于高低曝光图像融合的hdr细节增强方法 |
| CN113781370B (zh) * | 2021-08-19 | 2024-09-13 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
| CN114092352B (zh) * | 2021-11-23 | 2025-03-04 | 中国直升机设计研究所 | 一种基于深度学习的低光照图像增强方法 |
| CN114494092A (zh) * | 2022-01-11 | 2022-05-13 | 卓外（上海）医疗电子科技有限公司 | 一种可见光图像与荧光图像融合方法及系统 |
| CN114596238A (zh) * | 2022-03-08 | 2022-06-07 | 安徽大学 | 一种多曝光图像融合方法、系统及可存储介质 |
| CN114998173B (zh) * | 2022-06-07 | 2024-03-15 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
| CN115760663B (zh) * | 2022-11-14 | 2023-09-22 | 辉羲智能科技(上海)有限公司 | 基于多帧多曝光的低动态范围图像合成高动态范围图像的方法 |
| CN116112807B (zh) * | 2023-02-01 | 2024-07-23 | 广西壮族自治区自然资源遥感院 | 一种基于单景卫星影像的曝光融合方法 |
| CN116452454B (zh) * | 2023-04-19 | 2023-10-03 | 哈尔滨理工大学 | 一种基于多分辨率金字塔的色阶映射方法 |
| CN116630218B (zh) * | 2023-07-02 | 2023-11-07 | 中国人民解放军战略支援部队航天工程大学 | 一种基于边缘保持平滑金字塔的多曝光图像融合方法 |
| CN118172254B (zh) * | 2024-02-26 | 2024-11-12 | 天津大学浙江国际创新设计与智造研究院 | 一种基于深度学习的高动态范围图像重建方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
| US8885976B1 (en) * | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
| US9641820B2 (en) * | 2015-09-04 | 2017-05-02 | Apple Inc. | Advanced multi-band noise reduction |
| CN106204473B (zh) * | 2016-06-30 | 2019-07-16 | 扬州大学 | 基于Laplacian优化的非完备模型局部变形的恢复方法 |
| CN106960414B (zh) * | 2016-12-12 | 2020-01-03 | 天津大学 | 一种多视角ldr图像生成高分辨率hdr图像的方法 |
| CN106506983B (zh) * | 2016-12-12 | 2019-07-19 | 天津大学 | 一种适用于ldr视频的hdr视频生成方法 |
-
2017
- 2017-11-03 CN CN201711069376.8A patent/CN107845128B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107845128A (zh) | 2018-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107845128B (zh) | 一种多尺度细节融合的多曝光高动态图像重建方法 | |
| CN103854259B (zh) | 图像处理设备以及处理图像的方法 | |
| Galdran | Image dehazing by artificial multiple-exposure image fusion | |
| CN104881854B (zh) | 基于梯度和亮度信息的高动态范围图像融合方法 | |
| US20180007337A1 (en) | Hardware-Based Convolutional Color Correction in Digital Images | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN107220956A (zh) | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 | |
| Hajisharif et al. | Adaptive dualISO HDR reconstruction | |
| CN109767413B (zh) | 一种抗运动伪影的hdr方法、装置及便携式终端 | |
| CN113228094A (zh) | 图像处理器 | |
| CN110189281B (zh) | 一种多曝光红外图像融合方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN107408296A (zh) | 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统 | |
| CN113962884A (zh) | Hdr视频获取方法、装置、电子设备以及存储介质 | |
| CN114596238A (zh) | 一种多曝光图像融合方法、系统及可存储介质 | |
| Ke et al. | Perceptual multi-exposure image fusion with overall image quality index and local saturation | |
| CN116416175A (zh) | 一种基于自适应边缘保持平滑金字塔的图像融合方法 | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN113850741A (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| CN106157305A (zh) | 基于局部特性的高动态图像快速生成方法 | |
| Gao et al. | High dynamic range infrared image acquisition based on an improved multi-exposure fusion algorithm | |
| CN112634187B (zh) | 基于多重权重映射的宽动态融合算法 | |
| CN113409247B (zh) | 一种多曝光融合图像质量评价方法 | |
| Chambe et al. | HDR-LFNet: Inverse tone mapping using fusion network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210903 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |