CN117291851A - 一种基于低秩分解和稀疏表示的多曝光图像融合方法 - Google Patents

Abstract

本发明涉及数字信息技术领域，具体公开了一种基于低秩分解和稀疏表示的多曝光图像融合方法，包括：S10，获取曝光图像序列；S12，对曝光图像序列进行颜色空间转换，得到亮度图像序列和色度图像序列；S13，对亮度图像序列进行多级低秩分解，得到基础图像序列和细节图像序列；S14，对基础图像序列进行稀疏分解；S15，根据稀疏系数的L1范数、基础图像序列的曝光度、对比度和亮度对基础图像序列进行融合；S16，对细节图像序列进行融合，得到融合细节图像；S17，根据融合细节图像和融合基础图像进行重构，得到融合亮度图像；S18，将色度信息的绝对值作为色度融合权重，对色度图像和融合亮度图像进行多尺度融合并进行颜色空间转换，得到融合图像。

Description

一种基于低秩分解和稀疏表示的多曝光图像融合方法

技术领域

本发明涉及数字信息处理技术领域，具体涉及一种基于低秩分解和稀疏表示的多曝光图像融合方法。

背景技术

随着图像数字信息处理技术的迅猛发展，人们对数字图像的成像质量要求越来越高。然而在深空探测和太阳活动观测等领域目标场景的动态范围最高可达180dB，而传统成像探测器的动态范围最高仅能达到90dB，这就导致拍摄结果存在大面积的曝光不良区域，丢失了场景中的亮度信息，不能对高动态场景进行有效的观测与测量。

高动态范围成像技术(High Dynamic Range Imaging,HDRI)为解决该问题提供了一种解决思路。现有获得高动态范围图像的方法主要有两种：一种是通过专业的HDR相机直接获取HDR图像，但该方法需要大量特殊辅助设备且成本高昂；另一种方法是将不同曝光时间下的低动态范围(low dynamic range,HDR)图像利用图像处理的方法融合得到HDR图像。

传统多曝光图像融合方法利用相机响应函数将多曝光图像转换到辐射域进行加权融合，再通过色调映射函数将高动态范围的辐照度图像映射到低动态范围，计算复杂且需要对相机响应函数进行求解。与之相比，多曝光图像融合(Multi-Exposure Fusion,MEF)技术无需计算相机响应函数，可以通过多张图像直接融合得到HDR图像，逐渐成为图像融合领域的研究热点。

现有多曝光图像融合方法主要分为两种：基于空间域的图像融合方法和基于变换域的图像融合方法。基于空间域的多曝光图像融合方法通过构建多种图像质量评价指标，在空间域进行多曝光图像融合。

随着目标场景复杂程度的增加，现有多曝光融合算法不能很好地保留过曝光和欠曝光区域的图像细节信息。

发明内容

针对上述问题，本发明提供一种基于低秩分解和稀疏表示的多曝光图像融合方法，能够提高融合图像的细节纹理信息。

本发明提供了一种基于低秩分解和稀疏表示的多曝光图像融合方法，包括：

步骤S11，获取曝光图像序列；

步骤S12，对所述曝光图像序列进行颜色空间转换，得到亮度图像序列和色度图像序列；所述亮度图像序列包括所述曝光图像序列的强度信息和细节信息；所述色度图像序列包括所述曝光图像序列的色度信息；

步骤S13，对所述亮度图像序列进行多级低秩分解，得到基础图像序列和细节图像序列；

步骤S14，利用训练好的卷积字典对所述基础图像序列进行稀疏分解，得到稀疏系数；

步骤S15，根据所述稀疏系数的L1范数、所述基础图像序列的曝光度、对比度和亮度确定第一融合权重，根据所述第一融合权重对所述基础图像序列进行融合，得到融合基础图像；

步骤S16，利用Gabor滤波器提取所述细节图像序列中的细节信息作为第二融合权重，根据所述第二融合权重对所述细节图像序列进行融合，得到融合细节图像；

步骤S17，根据所述融合细节图像和所述融合基础图像进行重构，得到融合亮度图像；

步骤S18，将所述色度信息的绝对值作为色度融合权重，对所述色度图像和所述融合亮度图像进行多尺度融合并进行颜色空间转换，得到融合图像。

在一种可能的实现方式中，所述S12包括：

将所述曝光图像序列转换到YCbCr颜色空间，基于如下公式分别对亮度信息和色度信息进行加权融合，得到亮度图像序列和色度图像序列：

式中，R,G,B分别为曝光图像序列的RGB三通道图像，Y为YCbCr颜色空间的亮度信息，Cb,Cr为YCbCr颜色空间的色度信息，Cb表示色度红，Cr表示色度蓝。

在一种可能的实现方式中，所述S13包括：

基于如下公式对所述亮度图像序列进行多级低秩分解：

min||Z||_*+||L||_*+λ||E||₁

s.t.Y＝YZ+LY+E

V_d＝L×P(Y)

Y_b＝Y-Y_d

s.t.Y_d＝R(V_d)

式中，Z为低秩系数矩阵，L为显著系数矩阵，E为稀疏噪声矩阵，R()为显著系数矩阵重构为曝光图像序列的过程，P()为曝光图像序列分解为显著系数矩阵的过程，Y为亮度图像序列，Y_b和Y_d分别为分解的基础图像和细节图像，λ为正则化系数，V_d为图像显著系数矩阵；

基于如下公式，对多级分解后的亮度图像序列进行累加，得到基础图像序列和细节图像序列：

式中，r为分解级数，r＝[1,2,...,R]，Y_B和Y_D分别为基础图像序列和细节图像序列。

在一种可能的实现方式中，所述S14包括：

根据如下公式对卷积字典进行稀疏：

式中，y为原始信号，D为卷积字典，d_m为卷积字典中的第m个原子，x为信号的稀疏系数向量，*为二维信号卷积运算符,M为字典的通道个数。

在一种可能的实现方式中，S14还包括：

将复杂场景下的多曝光图像作为训练数据集，利用交替方向乘法器基于如下公式对卷积字典进行迭代求解：

其中，N为训练图像个数，Ω()为卷积字典D的约束集指示函数，n为编号；

利用训练好的卷积字典对所述基础图像序列进行稀疏分解，得到稀疏系数，并基于如下公式根据稀疏系数计算稀疏系数的L1范数：

式中，和S_k分别为第k张曝光图像序列和第k张曝光图像序列的稀疏系数的L1范数，λ为正则化系数，D为卷积字典，/>为基础图像序列，X_k,m为稀疏系数。

在一种可能的实现方式中，所述S15包括：

根据所述基础图像序列的对比度和所述稀疏系数的L1范数确定曝光度权重，根据拉普拉斯算子和基础图像序列的卷积的绝对值确定对比度权重，根据所述基础图像序列的非线性高斯函数确定亮度权重；

基于如下公式，将所述曝光度权重、所述对比度权重和所述亮度权重相乘以得到初始权重图：

式中，μ和σ值为参数，W₁ ^k为曝光度权重，W₂ ^k为对比度权重，W₃ ^k为亮度权重，为初始权重图。

在一种可能的实现方式中，所述S15还包括：

将所述基础图像序列作为引导图像，利用引导滤波基于如下公式对所述初始权重进行优化：

式中，G_γ,ε()为引导滤波，γ和ε分别为滤波窗口的半径和正则化参数，和/>分别为滤波后的第k张基础图像序列的权重图和归一化后的基础融合权重图；

分别对所述基础图像序列和所述基础融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，最后重建金字塔得到融合基础图像，过程如下公式：

式中，l为金字塔分解层数，为融合基础图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

在一种可能的实现方式中，所述S16包括：

基于Gabor滤波的融合权重，利用多尺度图像融合方法基于如下公式得到融合细节图像：

s.t.i'＝icosθ+jsinθ,j'＝-isinθ+jcosθ

式中，mean()为图像均值求解过程，(i,j)为像素点的坐标位置，λ为Gabor滤波的波长，θ为滤波器的方向，φ为相位偏移量，α为Gabor滤波后的椭圆长宽比，σ_ga为Gabor滤波中高斯函数的标准差，和/>分别为滤波后第k张细节图像序列的权重图和归一化后的细节融合权重图；

分别对所述细节图像序列和所述细节融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，并基于如下公式重建金字塔得到融合细节图像：

式中，l为金字塔分解层数，为融合细节图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

在一种可能的实现方式中，所述S17包括：

根据所述融合细节图像和所述融合基础图像，基于如下公式进行重构得到融合亮度图像：

式中，Y^final为融合亮度图像，为融合基础图像，/>为融合细节图像。

在一种可能的实现方式中，所述S18包括：

基于如下公式对所述色度图像和所述融合亮度图像进行多尺度融合，得到融合色度图像：

基于如下公式将YCbCr通道的融合色度图像转换到RGB色彩空间：

式中，Cr^final和Cb^final为融合色度图像，Cr^final表示融合色度图像中的色度红，Cb^final表示融合色度图像中的色度蓝，Y^final为融合亮度图像,R^final、G^final、B^final分别为融合图像的RGB三通道图像。

本发明提供的基于低秩分解和稀疏表示的多曝光图像融合方法，为了尽可能保留图像的颜色信息，将图像序列从RGB颜色空间转换到YCbCr空间，对亮度图像和色度图像采用不同的图像融合策略；为保留图像细节纹理信息，利用低秩分解将亮度图像分解为细节图像和基础图像，对基础图像进行稀疏为提取稀疏系数，对细节层图像进行Gabor滤波提取细节纹理信息；最后采用不同融合权重函数进行图像融合，反变换得到融合图像。最终实现较好地保留图像的细节纹理信息，同时有效地避免了颜色失真现象，提高了图像的视觉效果。

附图说明

图1为本发明实施例提供的多曝光图像融合方法的流程示意图；

图2为本发明实施例提供的多曝光图像融合方法的逻辑示意图；

图3(a)为本发明实施例提供的曝光图像序列中的曝光图像；

图3(b)为本发明实施例提供的曝光图像分解后的Y通道图像信息；

图3(c)为本发明实施例提供的曝光图像分解后的Cb通道图像信息；

图3(d)为本发明实施例提供的曝光图像分解后的Cr通道图像信息；

图3(e)为本发明实施例提供的亮度图像分解后的基础图像；

图3(f)为本发明实施例提供的亮度图像分解后的细节图像；

图4为本发明实施例提供的卷积字典；

图5(a)为本发明实施例提供的初始权重图；

图5(b)为本发明实施例提供的初始融合结果；

图5(c)为本发明实施例提供的初始局部放大图；

图5(d)为本发明实施例提供的滤波后初始权重图；

图5(e)为本发明实施例提供的滤波后初始融合结果；

图5(f)为本发明实施例提供的滤波后初始局部放大图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。

在本发明的描述中，需要说明的是，除非另有说明，“多个”的含义是两个或两个以上；术语“第一”“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性；对于本领域的普通技术人员而言，可视具体情况理解上述术语在本发明中的具体含义。

图1为本发明实施例提供的基于低秩分解和稀疏表示的多曝光图像融合方法的流程示意图，图2为本发明实施例提供的多曝光图像融合方法的逻辑示意图，结合图1和图2，基于低秩分解和稀疏表示的多曝光图像融合方法，包括：

步骤S11，获取曝光图像序列；

步骤S12，对曝光图像序列进行颜色空间转换，得到亮度图像序列和色度图像序列；

其中，亮度图像序列包括曝光图像序列的强度信息和细节信息。色度图像序列包括曝光图像序列的色度信息。

大多数图像融合算法从RGB通道分别进行图像处理，但RGB通道彼此之间存在密切的相关性，多曝光图像融合容易破坏通道间的相关性，引入颜色失真现象。

本发明采用的YCbCr颜色空间利用亮度信息Y和色度信息Cb和Cr表示图像，亮度信息和色度信息的分离可以降低通道间的相关性，提高了融合图像的颜色保留能力。

在一种可能实现的方式中，基于如下公式将曝光图像序列转换到YCbCr颜色空间，分别对亮度信息和色度信息进行加权融合，得到亮度图像序列和色度图像序列：

式中，R,G,B分别为曝光图像序列的RGB三通道图像，Y为YCbCr颜色空间的亮度信息，Cb,Cr为YCbCr颜色空间的色度信息，Cb表示色度红，Cr表示色度蓝。

步骤S13，对亮度图像序列进行多级低秩分解，得到基础图像序列和细节图像序列；

现有融合算法往往直接对图像进行多曝光融合，图像细节信息会受到噪声和外部因素的干扰，导致融合图像的细节纹理信息丢失，降低图像成像质量。

本发明中的低秩分解算法作为一种特征提取算法，可以采用增广拉格朗日算法将曝光图像序列分解为细节图像序列和基础图像序列。其中，细节图像序列表示曝光图像序列的细节信息，基础图像序列表示曝光图像序列的背景信息。

在一种可能实现的方式中，基于如下公式对亮度图像序列进行多级低秩分解：

min||Z||_*+||L||_*+λ||E||₁

s.t.Y＝YZ+LY+E

V_d＝L×P(Y)

Y_b＝Y-Y_d

s.t.Y_d＝R(V_d)

式中，Z为低秩系数矩阵，L为显著系数矩阵，E为稀疏噪声矩阵，R()为显著系数矩阵重构为曝光图像序列的过程，P()为曝光图像序列分解为显著系数矩阵的过程，Y为亮度图像序列，Y_b和Y_d分别为分解的基础图像和细节图像，λ为正则化系数，V_d为图像显著系数矩阵。

为了更好地保留图像细节信息，提高算法对环境噪声和外部干扰的鲁棒性，本发明对亮度图像进行多级潜在低秩分解，将单次分解得到的基础图像再次进行潜在低秩分解，将多级分解的细节图像累加得到最终的细节图像序列。

在一种可能的实现方式中，基于如下公式对多级分解后的亮度图像序列进行累加，得到基础图像序列和细节图像序列：

式中，r为分解级数，r＝[1,2,…,R]，Y_B和Y_D分别为基础图像序列和细节图像序列。

图3(a)为本发明实施例提供的曝光图像序列中的曝光图像，需要注意的是，图3(a)实际为彩色图像。图3(b)为本发明实施例提供的曝光图像分解后的Y通道图像信息，图3(c)为本发明实施例提供的曝光图像分解后的Cb通道图像信息，图3(d)为本发明实施例提供的曝光图像分解后的Cr通道图像信息，图3(e)为本发明实施例提供的亮度图像分解后的基础图像，图3(f)为本发明实施例提供的亮度图像分解后的细节图像。

步骤S14，利用训练好的卷积字典对基础图像序列进行稀疏分解，得到稀疏系数；

稀疏表示作为一种图像处理方法，由于运算速度快和运算量小的特点被广泛地应用到了信号处理和图像融合领域。相比传统方法，通过稀疏表示提取的图像稀疏系数可以更好地反映图像的成像质量，系数越大表示像素点的成像质量越好，细节保留能力越强。图像稀疏表示的本质是利用卷积字典将信号表示为稀疏系数向量集，通过将稀疏系数与卷积字典相乘，利用少量元素表示输入信号。

在一种可能实现的方式中，根据如下公式对卷积字典进行稀疏：

式中，y为原始信号，D为卷积字典，d_m为卷积字典中的第m个原子，x为信号的稀疏系数向量，*为二维信号卷积运算符,M为字典的通道个数。

作为稀疏表示的重要影响因素，卷积字典直接影响了稀疏表示的准确性，然而现有字典训练多为曝光良好的自然图像，对曝光不良图像研究较少。为提高训练卷积字典的完备性，本发明采用基于近似稀疏分量的在线卷积字典学习方法，选择80张复杂场景下的多曝光图像作为训练数据集，利用改进交替方向乘法器方法对目标函数进行迭代求解。

在一种可能实现的方式中，将复杂场景下的多曝光图像作为训练数据集，利用交替方向乘法器基于如下公式对卷积字典进行迭代求解：

其中，N为训练图像个数，Ω()为卷积字典D的约束集指示函数，n为编号。

基于如下公式利用训练好的卷积字典对基础图像序列进行稀疏分解，得到稀疏系数，根据稀疏系数计算稀疏系数的L1范数：

式中，和S_k分别为第k张曝光图像序列和第k张曝光图像序列的稀疏系数的L1范数，λ为正则化系数，D为卷积字典，/>为基础图像序列，X_k,m为稀疏系数。

在一个示例中，本发明设置卷积字典大小为8X8，字典通道个数为32，图4为本发明实施例提供的卷积字典。

步骤S15，根据稀疏系数的L1范数、基础图像序列的曝光度、对比度和亮度确定第一融合权重，根据第一融合权重对基础图像序列进行融合，得到融合基础图像；

在多曝光图像融合过程中，曝光良好的图像区域具有更丰富的细节信息和颜色信息，应该赋予更高的权重。同时曝光不良区域存在细节丢失和颜色丢失等问题，应该赋予更低的权重。由稀疏表示可知，像素点包含的细节纹理和颜色信息越丰富，像素稀疏系数值越高。

为了更好地评价图像曝光程度，本申请将稀疏系数作为图像曝光度的评价指标。利用训练的卷积字典对基础图像序列进行稀疏分解，利用稀疏系数的L1范数构建融合权重。同时为了降低噪声对图像融合的影响，采用“赢者通吃”策略得到曝光度权重。

在曝光图像中，具有良好局部对比度的图像区域往往包含更丰富的纹理信息。因此本发明在构建初始权重图时，将对比度作为权重融合因子。拉普拉斯算子L作为边缘检测算子，可以较好地提取图像的边缘纹理信息。因此将拉普拉斯算子和基础图像卷积的绝对值作为对比度权重。同时，亮度信息作为重要的图像参数，直接影响多曝光图像的融合结果，本发明采用非线性高斯函数作为图像亮度加权函数。

在一种可能实现的方式中，根据基础图像序列的对比度和稀疏系数的L1范数确定曝光度权重，根据拉普拉斯算子和基础图像序列的卷积的绝对值确定对比度权重，根据基础图像序列的非线性高斯函数确定亮度权重。

将曝光度权重、对比度权重和亮度权重相乘得到初始权重图，如下方公式：

式中，μ和σ值为参数，W₁ ^k为曝光度权重，W₂ ^k为对比度权重，W₃ ^k为亮度权重，为初始权重图。

在一个示例中，μ和σ值分别为0.5和0.2。

图5(a)为本发明实施例提供的初始权重图，图5(b)为本发明实施例提供的初始融合结果，图5(c)为本发明实施例提供的初始局部放大图，从图5(a)-(c)中可以看出初始权重图存在大量的随机噪声，融合结果在局部区域存在伪影现象，影响融合结果。需要注意的是，图5(b)和图5(e)实际为彩色图像。

为避免随机噪声对图像融合的干扰，本发明将基础图像序列作为引导图像，利用引导滤波对初始权重进行优化。图5(d)为本发明实施例提供的滤波后初始权重图，图5(e)为本发明实施例提供的滤波后初始融合结果，图5(f)为本发明实施例提供的滤波后初始局部放大图，从图5(d)-(f)可知，精细化的融合权重整体更加平滑，去除了图像噪声，同时抑制了融合图像的伪影现象，提高了融合质量。

在一种可能实现的方式中，将基础图像序列作为引导图像，利用引导滤波基于如下公式对初始权重进行优化：

式中，G_γ,ε()为引导滤波，γ和ε分别为滤波窗口的半径和正则化参数，和/>分别为滤波后的第k张基础图像序列的权重图和归一化后的基础融合权重图。

在一个示例中，γ和ε分别设置为3和0.25。

为避免图像融合产生的狭缝干扰，采用基于金字塔分解的多尺度图像融合方法，分别对基础图像序列和基础融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，最后重建金字塔得到融合基础图像，过程如下公式：

式中，l为金字塔分解层数，为融合基础图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

步骤S16，利用Gabor滤波器提取细节图像序列中的细节信息作为第二融合权重，根据第二融合权重对细节图像序列进行融合，得到融合细节图像；

细节图像序列包含了图像纹理信息和亮度分布，Gabor滤波作为一种用来描述纹理信息的特征描述符，对细节信息具有较好的灵敏度，同时对光照变化具有较强的鲁棒性，可以提取曝光不良区域的纹理信息。

因此本申请构造一种基于Gabor滤波的融合权重，尽可能保留曝光图像的细节纹理信息。

在一种可能实现的方式中，基于Gabor滤波的融合权重，利用多尺度图像融合方法得到融合细节图像，过程如下公式：

s.t.i'＝icosθ+jsinθ,j'＝-isinθ+jcosθ

式中，mean()为图像均值求解过程，(i,j)为像素点的坐标位置，λ为Gabor滤波的波长，θ为滤波器的方向，φ为相位偏移量，α为Gabor滤波后的椭圆长宽比，σ_ga为Gabor滤波中高斯函数的标准差，和/>分别为滤波后第k张细节图像序列的权重图和归一化后的细节融合权重图。、

在一个示例中，λ、θ、φ、α和σ_ga分别设为2、45°、0.5、0°和0.5。

分别对细节图像序列和细节融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，最后重建金字塔得到融合细节图像，过程如下公式：

式中，l为金字塔分解层数，为融合细节图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

步骤S17，根据融合细节图像和融合基础图像进行重构，得到融合亮度图像；

在一种可能的实现方式中，根据融合细节图像和融合基础图像进行重构，得到融合亮度图像，过程如下公式：

式中，Y^final为融合亮度图像，为融合基础图像，/>为融合细节图像。

步骤S18，将色度信息的绝对值作为色度融合权重，对色度图像和融合亮度图像进行多尺度融合并进行颜色空间转换，得到融合图像。

当图像处于曝光良好状态时，图像亮度信息变化小，基于亮度信息的融合权重不能提取出图像的细节信息，而颜色信息可以很好地反映曝光良好区域的颜色变化，赋予颜色变化剧烈区域更高的权重。归一化后图像色度信息的取值范围为[-0.5，0.5]，像素的色度值越接近0，图像颜色信息越少，成像结果越接近灰度图像。因此色度值的绝对值越大，像素点包含的颜色信息越丰富，本发明将图像色度信息的绝对值作为色度图像的融合权重。

在一种可能实现的方式中，对色度图像和融合亮度图像进行多尺度融合，得到融合色度图像，过程如下公式：

将YCbCr通道的融合色度图像转换到RGB色彩空间，过程如下公式：

式中，Cr^final和Cb^final为融合色度图像，Cr^final表示融合色度图像中的色度红，Cb^final表示融合色度图像中的色度蓝，Y^final为融合亮度图像,R^final、G^final、B^final分别为融合图像的RGB三通道图像。

根据图1-图5，可以明显看出本申请的融合结果的对比度高，保留了图像颜色信息，没有出现伪影和光晕现象；整体曝光适度，颜色信息更加清晰，同时较好地保留了台灯内部的细节信息。从局部放大图也可以看出，本申请的方法保留了高曝光区域的细节信息，具有很好的视觉效果。

现有的多曝光融合算法在处理图像过曝光区域和欠曝光区域时不能较好地保留图像细节信息，降低了融合图像的视觉效果。本发明的基于低秩分解和稀疏表示的多曝光图像融合方法，利用多级低秩分解提取图像的细节图像和基础图像，有效保留了图像的细节信息；其次为评价基础图像的曝光程度，对图像进行稀疏表示提取稀疏系数，利用稀疏系数的L1范数构建融合权重图；为评价细节图像的纹理信息，利用Gabor滤波对细节图像进行加权融合；能够更好地保留多曝光图像的细节信息，具有较好的视觉效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于低秩分解和稀疏表示的多曝光图像融合方法，其特征在于，包括：

步骤S11，获取曝光图像序列；

步骤S12，对所述曝光图像序列进行颜色空间转换，得到亮度图像序列和色度图像序列；所述亮度图像序列包括所述曝光图像序列的强度信息和细节信息；所述色度图像序列包括所述曝光图像序列的色度信息；

步骤S13，对所述亮度图像序列进行多级低秩分解，得到基础图像序列和细节图像序列；

步骤S14，利用训练好的卷积字典对所述基础图像序列进行稀疏分解，得到稀疏系数；

步骤S15，根据所述稀疏系数的L1范数、所述基础图像序列的曝光度、对比度和亮度确定第一融合权重，根据所述第一融合权重对所述基础图像序列进行融合，得到融合基础图像；

步骤S16，利用Gabor滤波器提取所述细节图像序列中的细节信息作为第二融合权重，根据所述第二融合权重对所述细节图像序列进行融合，得到融合细节图像；

步骤S17，根据所述融合细节图像和所述融合基础图像进行重构，得到融合亮度图像；

步骤S18，将所述色度信息的绝对值作为色度融合权重，对所述色度图像和所述融合亮度图像进行多尺度融合并进行颜色空间转换，得到融合图像。

2.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S12包括：

将所述曝光图像序列转换到YCbCr颜色空间，基于如下公式分别对亮度信息和色度信息进行加权融合，得到亮度图像序列和色度图像序列：

式中，R,G,B分别为曝光图像序列的RGB三通道图像，Y为YCbCr颜色空间的亮度信息，Cb,Cr为YCbCr颜色空间的色度信息，Cb表示色度红，Cr表示色度蓝。

3.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S13包括：

基于如下公式对所述亮度图像序列进行多级低秩分解：

min||Z||_*+||L||_*+λ||E||₁

s.t.Y＝YZ+LY+E

V_d＝L×P(Y)

Y_b＝Y-Y_d

s.t.Y_d＝R(V_d)

式中，Z为低秩系数矩阵，L为显著系数矩阵，E为稀疏噪声矩阵，R()为显著系数矩阵重构为曝光图像序列的过程，P()为曝光图像序列分解为显著系数矩阵的过程，Y为亮度图像序列，Y_b和Y_d分别为分解的基础图像和细节图像，λ为正则化系数，V_d为图像显著系数矩阵；

基于如下公式，对多级分解后的亮度图像序列进行累加，得到基础图像序列和细节图像序列：

式中，r为分解级数，r＝[1,2,…,R]，Y_B和Y_D分别为基础图像序列和细节图像序列。

4.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S14包括：

根据如下公式对卷积字典进行稀疏：

式中，y为原始信号，D为卷积字典，d_m为卷积字典中的第m个原子，x为信号的稀疏系数向量，*为二维信号卷积运算符,M为字典的通道个数。

5.根据权利要求4所述的多曝光图像融合方法，其特征在于，S14还包括：

将复杂场景下的多曝光图像作为训练数据集，利用交替方向乘法器基于如下公式对卷积字典进行迭代求解：

其中，N为训练图像个数，Ω()为卷积字典D的约束集指示函数，n为编号；

利用训练好的卷积字典对所述基础图像序列进行稀疏分解，得到稀疏系数，并基于如下公式根据稀疏系数计算稀疏系数的L1范数：

式中，和S_k分别为第k张曝光图像序列和第k张曝光图像序列的稀疏系数的L1范数，λ为正则化系数，D为卷积字典，/>为基础图像序列，X_k,m为稀疏系数。

6.根据权利要求5所述的多曝光图像融合方法，其特征在于，所述S15包括：

根据所述基础图像序列的对比度和所述稀疏系数的L1范数确定曝光度权重，根据拉普拉斯算子和基础图像序列的卷积的绝对值确定对比度权重，根据所述基础图像序列的非线性高斯函数确定亮度权重；

基于如下公式，将所述曝光度权重、所述对比度权重和所述亮度权重相乘以得到初始权重图：

式中，μ和σ值为参数，W₁ ^k为曝光度权重，为对比度权重，/>为亮度权重，/>为初始权重图。

7.根据权利要求6所述的多曝光图像融合方法，其特征在于，所述S15还包括：

将所述基础图像序列作为引导图像，利用引导滤波基于如下公式对所述初始权重进行优化：

式中，G_γ,ε()为引导滤波，γ和ε分别为滤波窗口的半径和正则化参数，和/>分别为滤波后的第k张基础图像序列的权重图和归一化后的基础融合权重图；

分别对所述基础图像序列和所述基础融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，最后重建金字塔得到融合基础图像，过程如下公式：

式中，l为金字塔分解层数，为融合基础图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

8.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S16包括：

基于Gabor滤波的融合权重，利用多尺度图像融合方法基于如下公式得到融合细节图像：

s.t.i'＝icosθ+jsinθ,j'＝-isinθ+jcosθ

式中，mean()为图像均值求解过程，(i,j)为像素点的坐标位置，λ为Gabor滤波的波长，θ为滤波器的方向，φ为相位偏移量，α为Gabor滤波后的椭圆长宽比，σ_ga为Gabor滤波中高斯函数的标准差，和/>分别为滤波后第k张细节图像序列的权重图和归一化后的细节融合权重图；

分别对所述细节图像序列和所述细节融合权重图进行拉普拉斯金字塔分解和高斯金字塔分解，并基于如下公式重建金字塔得到融合细节图像：

式中，l为金字塔分解层数，为融合细节图像，F{}^l为第l层高斯金字塔，L{}^l为第l层拉普拉斯金字塔。

9.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S17包括：

根据所述融合细节图像和所述融合基础图像，基于如下公式进行重构得到融合亮度图像：

式中，Y^final为融合亮度图像，为融合基础图像，/>为融合细节图像。

10.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述S18包括：

基于如下公式对所述色度图像和所述融合亮度图像进行多尺度融合，得到融合色度图像：

基于如下公式将YCbCr通道的融合色度图像转换到RGB色彩空间：

式中，Cr^final和Cb^final为融合色度图像，Cr^final表示融合色度图像中的色度红，Cb^final表示融合色度图像中的色度蓝，Y^final为融合亮度图像,R^final、G^final、B^final分别为融合图像的RGB三通道图像。