CN104616273A - 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 - Google Patents

Abstract

该发明公开了一种基于拉普拉斯金字塔分解的多曝光图像融合法，涉及计算机视觉领域和图像/视频处理领域，研究偏重于图像处理。该方法针对传统的基于拉普拉斯金字塔的融合方法在进行多尺度分解和重构的过程中损失了图像的细节等信息的弊端，利用图像细节增强方法对输入图像进行一定程度的细节增强，抵消一部分由于金字塔放大和缩小造成的细节损失，从而具有对多曝光图像融合后的生成图像包含有丰富的细节和较高的清晰度的效果。

Description

一种基于拉普拉斯金字塔分解的多曝光图像融合方法

技术领域

本发明涉及计算机视觉领域和图像/视频处理领域，研究偏重于图像处理。

背景技术

动态范围是指一个物理量的最大值和最小值之比。对于一个实际场景来说，动态范围就是指这个现实场景中最明亮的点与最阴暗的点的光照辐射度之比。高动态范围图像所覆盖的动态范围很大，可以很好地再现自然场景，保留场景中的细节信息，给人们带来逼真的视觉体验。高动态范围成像技术在图像和视频领域起着很重要的作用。当一个真实场景的动态范围很高时，即使照相机设置了正确的曝光度，获得的图像中也总是包含过度曝光和曝光不足的区域。高动态范围成像技术能够获得高动态范围图像，并且使这些含有丰富细节的高动态范围图像在低动态范围设备上显示。

目前常用的高动态范围成像技术为多曝光图像融合方法，包括：直接融合方法、基于区域的融合方法和基于分层的融合方法。直接融合方法是根据获得的输入图像的权重图，将输入图像直接融合。在这种方法中，权重图质量是获得高质量图像的关键。为了获得高质量的权重图，这种方法会变得非常复杂。基于区域的融合方法首先将输入图像分成若干的区域，然后选取所有输入图像同一区域的最优块，最后融合选取的最优区域。由于这种方法需要像素级运算选择最优块，同时需要像素级的融合，因此算法运行时间较长。基于分层的融合方法是利用某种分层框架将输入图像分解，进行一定的处理后再进行重构的一种融合方法。常用的基于分层的融合方法有：基于拉普拉斯金字塔的融合方法和基于子带的融合方法。基于子带的融合方法能够获得含有丰富细节高质量的高动态范围图像。因为该方法的增益控制图的获取比较复杂，因此该方法的复杂度很高，并且实时性不高。基于拉普拉斯金字塔的多曝光图像融合方法是目前使用较多的获得高动态范围图像的方法。传统的基于拉普拉斯金字塔的融合方法在进行多尺度分解和重构的过程中损失了图像的细节等信息，并且没有对丢失的信息进行补偿，使得最终得到的高动态范围图像缺失细节等信息。因此，提出一种新的基于拉普拉斯金字塔的多曝光图像融合方法来获得含有丰富细节和高清晰度的高动态范围图像非常重要。图1为传统的基于拉普拉斯金字塔的融合框架。

本发明的主要目的是实现一种实时性较高的融合方法并且能够生成含有丰富细节和高清晰度的高动态范围图像。为了实现此目标，提出一种基于拉普拉斯金字塔分解框架的新的多曝光图像融合方法。

发明内容

本发明针对背景技术的不足改进设计一种基于拉普拉斯金字塔分解的多曝光图像融合法，从而达到对多曝光图像融合后的生成图像包含有丰富的细节和较高的清晰度。

本发明的技术方案是一种基于拉普拉斯金字塔分解的多曝光图像融合法，该方法针对传统的基于拉普拉斯金字塔的融合方法在进行多尺度分解和重构的过程中损失了图像的细节等信息的弊端，利用图像细节增强方法对输入图像进行一定程度的细节增强，抵消一部分由于金字塔放大和缩小造成的细节损失，从而实现发明目的。因而发明一种基于拉普拉斯金字塔分解的多曝光图像融合法，该方法包括：

步骤1：选取同一个场景采取不同的曝光度获得的图像，这些图像中每幅图像都含有场景的细节，大小都相同，同时调整图像大小使得图像尺寸能够满足金字塔分解的条件；

步骤2：对选取的每幅图像进行细节增强处理；

步骤3：对每一幅处理后的图像进行拉普拉斯金字塔分解；

步骤4：获得步骤1选取的各幅图像的权重图；

步骤5：对各权重图进行与步骤3相同的拉普拉斯金字塔分解；

步骤6：利用步骤5得到的权重图分解图将步骤3的分解图像进行融合；

步骤7：将融合后的图像进行重构，获得最终图像。

进一步地，所述步骤2中采用空域细节增强方法对选取的每幅图像进行细节增强处理；如下式所示：

O(x,y)＝I(x,y)+α×[I(x,y)-LP(I(x,y))]

其中O(x,y)表示增强细节后的输出图像，I(x,y)表示原始输入图像，LP(I(x,y))表示对输入图像进行平滑滤波，α表示细节增强的权重因子。

进一步地，所述步骤3采用基于高斯金字塔分解的拉普拉斯金字塔分解方法对每一幅处理后的图像进行分解；如下面公式所示：

${\mathrm{Lap}}_l=\left\{\begin{array}{c}{G}_l-G_l^{*},0\&le;l<n\\ G_n,l=n\end{array}\right.$

其中G_l表示图像G₀的第l层高斯金字塔图像，表示G₀的第l+1层高斯金字塔图像经过内插放大了一级之后的图像，n表示高斯金字塔分解的总层数，Lap_l表示拉普拉斯金字塔的第l层图像。

进一步地，所述步骤4根据图像的细节度、饱和度、曝光度这3项质量评价标准来确定各幅图像的权重图。

进一步地，所述步骤6的具体步骤为：

步骤6-1：将同一幅图像的拉普拉斯金字塔分解后的各层图像与其权重图分解后的相同层图像进行对应的融合，每层都得到一幅融合图像；

步骤6-2：将各幅图像相同层的融合图像进行融合，得到n幅融合图像，n表示拉普拉斯金字塔分解图像的层数。

进一步地，所述步骤7的具体步骤为：

步骤7-1：计算步骤6得到的各幅融合图像的图像特征，计算公式为：

$C=\frac{\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}\frac{e_r+e_g+e_b}{3}}{w*h}*100$

其中w和h表示图像的宽和高，e_r，e_g和e_b分别表示(w,h)处的像素在r、g、b三个通道的过曝光度；

步骤7-2：构造各层融合图像的增强因子：其中L表示图像为融合后拉普拉斯金字塔的第L层，C为图像特征；

步骤7-3：结合增强因子对图像进行重构：

$\mathrm{Res}=\underset{l=0}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{\&theta;}}_l*{\mathrm{Lap}}_{l,l})$

其中Res表示重构后的结果图像，l表示拉普拉斯金字塔的层级，n表示金字塔的总层数，Lap_l,l表示第l层的融合后的拉普拉斯金字塔的图像经过l次内插放大后所得到的的图像。

本发明一种基于拉普拉斯金字塔分解的多曝光图像融合法，该方法针对传统的基于拉普拉斯金字塔的融合方法在进行多尺度分解和重构的过程中损失了图像的细节等信息的弊端，利用图像细节增强方法对输入图像进行一定程度的细节增强，抵消一部分由于金字塔放大和缩小造成的细节损失，从而具有对多曝光图像融合后的生成图像包含有丰富的细节和较高的清晰度的效果。

附图说明

图1为传统的基于拉普拉斯金字塔的融合流程图；

图2为本发明一种基于拉普拉斯金字塔分解的多曝光图像融合法流程图；

具体实施方式

这种新的多曝光图像融合方法的主要思想是：利用图像细节增强方法对输入图像进行一定程度的细节增强，抵消一部分由于金字塔放大和缩小造成的细节损失。提出一种新的重构方法再次增强图像的细节和清晰度。本发明主要包括以下步骤：

A.选取同一场景的一组多曝光图像序列作为输入图像，同时调整图像大小使得图像尺寸能够满足金字塔分解的条件；

B.对每一幅输入图像进行细节增强；

C.对增强后的输入图像进行拉普拉斯金字塔分解；

D.获得原始图像的权重图；

E.利用权重图对步骤C分解后的图像进行融合；

F.金字塔重构。

步骤A中选取的输入图像分别为对同一个场景采取不同的曝光度获得的图像，这些图像中每幅图像都含有场景的某些细节，并且图像大小相同，没有偏差，调整图像的宽和高为2的某次幂同时图像的尺寸损失最小。

步骤B图像的细节增强采用空域细节增强技术。在一定程度上对图像进行了细节增强。细节增强算法如公式(1)所示。

O(x,y)＝I(x,y)+α×[I(x,y)-LP(I(x,y))]    (1)

其中I(x,y)表示原始输入图像，O(x,y)表示增强细节后的输出图像，LP(I(x,y))表示对输入图像进行平滑滤波，α表示细节增强的权重因子。

步骤C将每一组具有不同曝光度的输入图像进行拉普拉斯金字塔分解。拉普拉斯金字塔通常用于图像分析和图像处理领域。拉普拉斯金字塔在使用时，将图像分解为分辨率不同的多个等级。拉普拉斯金字塔的分解是基于高斯金字塔分解的。图像G₀的拉普拉斯金字塔的构成如公式(2)所示。

${\mathrm{Lap}}_l=\left\{\begin{array}{c}{G}_l-G_l^{*},0\&le;l<n\\ G_n,l=n\end{array}\right.---\left(2\right)$

其中G_l表示图像G₀的第l层高斯金字塔图像，表示G₀的第l+1层高斯金字塔图像经过内插放大了一级之后的图像，n表示高斯金字塔分解的总层数，Lap_l表示拉普拉斯金字塔的第l层图像，其中高斯金字塔的总层数n是根据调整后图像的长和宽中的数值较小的一个为2的多少次幂减1来确定，例如图像的宽较小且大小为32，则高斯金字塔的总层数n等于4。

步骤D获取原始输入图像的权重图。权重图在一定程度上能够体现一副图像中像素点的质量，权重图是一种灰度图像，像素值越高的区域，表明图像在此区域的质量越高。本发明中图像的质量评价标准采用图像的细节度、饱和度以及适度的曝光度。权重图的获取进一步包括：

D1.计算图像的细节度。将图像的灰度图的每个像素的梯度信息作为细节度测量方法。图像在(x,y)处的细节度D(x,y)计算方法如公式(3)和(4)所示。

$\left\{\begin{array}{c}{\mathrm{\&Delta;I}}_x=|(x+1,y)-I(x,y)|+|I(x-1,y)-I(x,y)|\\ {\mathrm{\&Delta;I}}_y=|I(x,y+1)-I(x,y)|+|(x,y-1)-I(x,y)|\end{array}\right.---\left(3\right)$

其中I(x,y)表示图像(x,y)处的像素的灰度值，△I_x表示(x,y)处水平方向的梯度值，△I_y表示(x,y)处垂直方向的梯度值。

D(x,y)＝△I_x+△I_y    (4)

D2.计算图像的饱和度。随着曝光时间的增长，图像的颜色饱和度会逐渐的减少，直至完全消失，因此饱和度作为图像质量的一种评价因子是很有必要的。饱和度因子S可以由R,G,B三通道的标准偏差得到，如公式(5)所示。

$\left\{\begin{array}{c}M=\frac{R+G+B}{3}\\ S(x,y)=\sqrt{\frac{{(R-M)}^2+{(G-M)}^2+{(B-M)}^2}{3}}\end{array}\right.---\left(5\right)$

其中R,G,B分别表示图像(x,y)处的像素点在红绿蓝三个通道的像素值。

D3.计算图像的适度曝光度。图像中过度曝光的区域一般显示为白色，对应像素点的像素值为1，同样曝光不足的区域显示为黑色，对应像素点的像素值为0，因此图像中的像素值既不接近1也不接近0的像素点应该被保留下来，并且像素值越接近0.5越应该赋予较高的权重。图像(x,y)处的曝光度E的计算如公式(6)所示。

$E(x,y)=e^{-\frac{{(r-0.5)}^2}{2\&times;{\mathrm{\&theta;}}^2}}\&times;e^{-\frac{{(g-0.5)}^2}{2\&GreaterEqual;{\mathrm{\&theta;}}^2}}\&times;e^{-\frac{{(b-0.5)}^2}{2\&times;{\mathrm{\&theta;}}^2}}---\left(6\right)$

其中r,g,b分别表示图像(x,y)处的像素点在红绿蓝三个通道的像素值，参数θ的值为0.2，控制着权重函数的范围。

D4.融合测度因子生成权重图。将每个像素点的三种测度因子利用乘法集成起来形成最终权值。第k副图像的权重函数如公式(7)和(8)所示。

W_k(x,y)＝D_k(x,y)×S_k(x,y)×E_k(x,y)    (7)

其中D_k(x,y)，S_k(x,y)和E_k(x,y)分别表示图像在(x,y)处的细节度、饱和度和适度曝光度。为了得到一致的结果，将权重图进行归一化处理。归一化后所有输入图像相同位置的权重值和为一。归一化如公式(8)所示。

$W_{\mathrm{nor},k}(x,y)=\frac{W_k(x,y)}{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{W}_k(x,y)}---\left(8\right)$

其中n表示输入图像的个数，W_nor,k(x,y)表示归一化后的权重图。

步骤E利用权重图对分解后的图像进行融合。输入图像的权重图首先利用高斯金字塔分解为与原始输入图像相同的分解层数。利用分解后的权重图融合得到的图像将含有丰的细节，高的饱和度以及适度的曝光度。图像融合是将拉普拉斯金字塔某一副输入图像的某一层的图像与高斯金字塔相同输入图像以及相同层的权重图进行结合，然后将所有结合后的同一层的图像进行进一步结合，融合方法如公式(9)所示。

${\mathrm{Lap}\left(F\right)}^l=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(G{\left(I\right)}_k^l*\mathrm{Lap}{\left(I\right)}_k^l)---\left(9\right)$

融合后的拉普拉斯金字塔的第l层图像是所有输入图像的拉普拉斯金字塔第l层图像的加权平均。Lap(F)^l表示融合后的拉普拉斯金字塔的第l层图像，表示第k副图像权重图的高斯金字塔的第l层图像，表示第k副输入图像的拉普拉斯金字塔的第l层图像。

步骤F金字塔重构。拉普拉斯金字塔的重构是将融合后的拉普拉斯金字塔的每一层的图像进行内插放大，经过若干次放大后变为大小与原始输入图像相同的图像，然后进行像素级的加法运算，得以重构。图像内插方法的次数与其所处的拉普拉斯金字塔的层数相同。本发明中提出的新的重构方法，可以使重构后的图像含有丰富的细节以及高清晰度。重构方法进一步包括：

F1.计算融合后图像特征。融合后图像与原始输入图像相比质量得到了很大的提高，不仅表现在整体细节，还表现在饱和度和曝光度等方面。拉普拉斯金字塔的0～n-1层均为残差图序列，而拉普拉斯金字塔的第n层也就是最高层就是高斯金字塔的第n层，一定程度上与原始输入图像具有相同的特征。融合后的拉普拉斯金字塔的第n层同样可以某种程度的体现最终重构后的图像的某些特征。本发明中通过计算融合后拉普拉斯金字塔的过曝光程度来控制图像的增强程度，用于避免出现增强过度而过度曝光的区域。融合后图像特征的计算如公式(10)所示。

$C=\frac{\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}\frac{e_r+e_g+e_b}{3}}{w*h}*100---\left(10\right)$

其中w和h表示图像的宽和高，e_r，e_g和e_b分别表示(w,h)处的像素在红绿蓝三通道的过曝光度，如公式(11)、(12)和(13)所示。

$e_r=\left\{\begin{array}{c}r-0.5,r>0.5\\ 0,r\&le;0.5\end{array}\right.---\left(11\right)$

其中r表示像素点在r通道的像素值。

$e_g=\left\{\begin{array}{c}g-0.5,g>0.5\\ 0,g\&le;0.5\end{array}\right.---\left(12\right)$

其中g表示像素点在g通道的像素值。

$e_b=\left\{\begin{array}{c}b-0.5,b>0.5\\ 0,b\&le;0.5\end{array}\right.---\left(13\right)$

其中b表示像素点在b通道的像素值。

F2.构造增强因子。增强因子应该结合融合后图像的特征来构造，融合后图像的特征可以控制图像的曝光度，除此之外应该添加一些增强因子。融合后图像的不同层数由于被滤波的程度不同，各层的清晰度和细节度会有不同程度的损失。在进行重构时，各层图像依然需要再次进行滤波，细节和清晰度同样会有损失。本发明将为各层依据其清晰度和细节度分配不同的权重。处于高层的细节和清晰度的损失较为严重，将分配较低的权重，而处于低层的细节比较丰富并且清晰度较高，将被赋予较高的权重。第L层融合后拉普拉斯金字塔图像的增强因子的构造如公式(14)所示。

${\mathrm{\&theta;}}_L=\frac{1}{C*L}---\left(14\right)$

其中L表示图像为融合后拉普拉斯金字塔的第L层，C为图像的特征。

F3.结合增强因子进行图像重构。图像的重构是将拉普拉斯金字塔的各层图像进行不同次数的内插放大，直至与原始图像大小相同。将各层的增强因子与各层内插放大后的图像进行结合并重构。增强因子与相应图像的结合以及重构如公式(15)所示。

$\mathrm{Res}=\underset{l=0}{\overset{n}{\mathrm{\&Sigma;}}}({\mathrm{\&theta;}}_l*{\mathrm{Lap}}_{l,l})---\left(15\right)$

其中Res表示重构后的结果图像，l表示拉普拉斯金字塔的层级，n表示金字塔的总层数，Lap_l,l表示第l层的融合后的拉普拉斯金字塔的图像经过l次内插放大后所得到的的图像。

本发明的具体流程图如图2所示。

本发明针对基于拉普拉斯金字塔的多曝光图像融合方法，提出了一种新的多曝光图像融合方法。本发明不再采用传统的金字塔重构方法，提出一种新的重构方法。融合后的拉普拉斯金字塔的各层图像经过内插放大后变为与原始图像大小相同的图像，然后为这些图像添加增强因子，增强图像的细节和清晰度，最后将增强后的图像相加。

在图像进行重构时，拉普拉斯金字塔不同层次的图像将根据其清晰度和细节度被分配不同的权重。内插放大前的图像处于拉普拉斯金字塔中的层数越高，其图像含有的细节度和清晰度越低，因此应该被分配较低的权重。而内插放大前处于拉普拉斯金字塔中较低层次的图像，将含有较高的细节度和清晰度，应该被分配较高的权重。这保证了融合后的图像含有较高的细节度和清晰度。为了保证图像的增强程度适度，融合后图像的特征也将融合进增强因子。融合后拉普拉斯金字塔的最高层不是残差图层，而是图像层，在一定程度上能够反映融合后图像的特征，本发明通过计算该图像的过曝光程度得到图像特征，当曝光度很高时，为了避免出现过度曝光现象，增强程度应该一定程度的减弱，当曝光度低时，应该适度的增加增强程度。

这种基于拉普拉斯金字塔分解的新的重构方法，在重构时添加增强因子，既保证了重构后的高动态范围图像含有丰富的细节和较高的清晰度，而且还可以控制由于增强过度而造成的过度曝光现象。这种新的多曝光图像融合方法使得图像的增强以及增强程度能够达到一种平衡。

本发明所讲述的方法与其他方法相比，含有更加丰富的细节，更高的清晰度并且具有令人满意的运行速度。本专利的实验结果测量是利用传统的图像质量评价标准：饱和度、对比度和清晰度。与其他的三种得到高动态范围图像的多曝光图像融合方法进行比较，实验结果如表1、表2和表3所示；表1显示了利用四种融合方法得到的高动态范围图像的饱和度数据。从数据中可以看出利用本发明产生的高动态范围图像的饱和度最高，其他方法产生的图像的饱和度不足。表2显示了图像的对比度数据。本发明的结果图像的对比度与Mertens等人提出的方法具有相同的对比度数据，在某种程度上可以认为本发明的结果含有最高的对比度。表3显示了图像的细节度信息，除第一组实验结果外，本发明的结果图像含有的细节度比其他结果高很多。实验结果以及数据分析充分表明本发明的优点，实验结果契合了本发明的提出理念：提高图像质量，特别是图像的细节。本发明的速度与其他类似方法相似，具有较高的实用价值。

表1图像的饱和度

表2图像的对比度

表3图像的细节度

Claims (6)

1.一种基于拉普拉斯金字塔分解的多曝光图像融合法，该方法包括：

步骤1：选取同一个场景采取不同的曝光度获得的图像，这些图像中每幅图像都含有场景的细节，大小都相同，同时调整图像大小使得图像尺寸能够满足金字塔分解的条件；

步骤2：对选取的每幅图像进行细节增强处理；

步骤3：对每一幅处理后的图像进行拉普拉斯金字塔分解；

步骤4：获得步骤1选取的各幅图像的权重图；

步骤5：对各权重图进行与步骤3相同的拉普拉斯金字塔分解；

步骤6：利用步骤5得到的权重图分解图将步骤3的分解图像进行融合；

步骤7：将融合后的图像进行重构，获得最终图像。

2.如权利要求1所述的一种基于拉普拉斯金字塔分解的多曝光图像融合法，其特征在于所述步骤2中采用空域细节增强方法对选取的每幅图像进行细节增强处理；如下式所示：

O(x,y)＝I(x,y)+α×[I(x,y)-LP(I(x,y))]

其中O(x,y)表示增强细节后的输出图像，I(x,y)表示原始输入图像，LP(I(x,y))表示对输入图像进行平滑滤波，α表示细节增强的权重因子。

3.如权利要求1所述的一种基于拉普拉斯金字塔分解的多曝光图像融合法，其特征在于所述步骤3采用基于高斯金字塔分解的拉普拉斯金字塔分解方法对每一幅处理后的图像进行分解；如下面公式所示：

其中G_l表示图像G₀的第l层高斯金字塔图像，表示G₀的第l+1层高斯金字塔图像经过内插放大了一级之后的图像，n表示高斯金字塔分解的总层数，Lap_l表示拉普拉斯金字塔的第l层图像。

4.如权利要求1所述的一种基于拉普拉斯金字塔分解的多曝光图像融合法，其特征在于所述步骤4根据图像的细节度、饱和度、曝光度这3项质量评价标准来确定各幅图像的权重图。

5.如权利要求1所述的一种基于拉普拉斯金字塔分解的多曝光图像融合法，其特征在于所述步骤6的具体步骤为：

步骤6-1：将同一幅图像的拉普拉斯金字塔分解后的各层图像与其权重图分解后的相同层图像进行对应的融合，每层都得到一幅融合图像；

步骤6-2：将各幅图像相同层的融合图像进行融合，得到n幅融合图像，n表示拉普拉斯金字塔分解图像的层数。

6.如权利要求1所述的一种基于拉普拉斯金字塔分解的多曝光图像融合法，其特征在于所述步骤7的具体步骤为：

步骤7-1：计算步骤6得到的各幅融合图像的图像特征，计算公式为：

其中w和h表示图像的宽和高，e_r，e_g和e_b分别表示(w,h)处的像素在r、g、b三个通道的过曝光度；

步骤7-2：构造各层融合图像的增强因子：其中L表示图像为融合后拉普拉斯金字塔的第L层，C为图像特征；

步骤7-3：结合增强因子对图像进行重构：

其中Res表示重构后的结果图像，l表示拉普拉斯金字塔的层级，n表示金字塔的总层数，Lap_l,l表示第l层的融合后的拉普拉斯金字塔的图像经过l次内插放大后所得到的的图像。