CN106375675B - 一种航空相机多曝光图像融合方法 - Google Patents

Abstract

本发明公开了一种航空相机多曝光图像融合方法。使用本发明能够解决现有航空相机在高动态场景成像过程中曝光不适当导致的图像信息不完整的问题。本发明从多曝光序列中选取高亮度、中亮度、低亮度三幅图像，对其进行直接融合，无需知道图像的曝光时间，避免了传统高动态成像技术中标定相机响应函数这一繁琐费时的步骤，大大减少了所需时间；采用基于双数复小波变换的曝光融合方法，将图像分解为高频分量和低频分量，并根据它们的特点，采用不同的融合方式，使得得到的图像在整体亮度和细节保持方面都能具有较好的表现。

Description

一种航空相机多曝光图像融合方法

技术领域

本发明涉及数字图像处理和机器视觉技术领域，具体涉及一种航空相机多曝光图像融合方法。

背景技术

现代航空成像探测系统在侦查过程中，场景动态范围大，受相机CCD动态范围约束，很难在一幅图像中呈现场景中的所有信息。通过调节相机的光圈与快门，只能将曝光重点锁定在场景中的一部分区域，不能保证场景中所有区域都曝光准确，这样成像过程中会丢失场景中的部分信息，为后期图像处理以及航空侦察带来了困难。

目前，高动态范围成像技术应用日益广泛。高动态范围成像技术通过对同一场景多次曝光得到一系列曝光量不同的图像，再对图像进行分析，最终得到一幅曝光准确的图像。目前，高动态图像成像技术可以分成两类：色调映射和曝光融合。

(1)色调映射方法。首先需要根据同一场景一系列曝光量不同的图像以及它们的曝光时间标定相机的相机响应函数，依据相机响应函数和多曝光图像序列合成高动态图像，此图像不能在传统显示设备上显示，所以需要再对其进行色调映射，将高动态图像映射为8bit图像，以便在传统显示设备上显示。然而，相机响应函数作为各大相机生产厂商的商业机密是不公开的，且为了提高成像质量，目前相机的相机响应函数也越来越复杂。准确标定相机响应函数是合成高动态图像的关键。

(2)曝光融合方法。目前曝光融合方法包括空间域融合方法和频率域融合方法。空间域融合方法有基于块的融合方法和基于像素特征的融合方法等，这类融合方法都是根据图像块或像素的特征，如图像熵、梯度、饱和度、亮度等，选取最佳的图像块或像素组合在一起，然后进行滤波等后期处理，得到融合图像。频率域融合方法多采用多分辨率分析，将图像分解为低频部分和高频部分，对低频部分和高频部分分别融合，得到融合后的图像。多分辨率分析的图像融合方法主要包括金字塔分解变换的融合方法和小波变换的融合方法。目前多曝光图像融合多采用金字塔分解变换的融合方法，这种方法在图像各方向的信息方面体现的不够全面；二维离散小波变换只能反映图像水平、垂直和对角线三个方向上的高频信息，方向选择性有限。

发明内容

有鉴于此，本发明提供了一种航空相机多曝光图像融合方法，能够解决现有航空相机在高动态场景成像过程中曝光不适当导致的图像信息不完整的问题。

本发明的航空相机多曝光图像融合方法，包括如下步骤：

步骤1：控制相机对同一高动态场景进行多次曝光，得到同一场景的一系列曝光量不同的图像序列；所述图像序列中图像数量多于5；在图像序列中选取三幅图片平均亮度分别属于低、中、高三个亮度的图像；

步骤2，对步骤1选取的3幅图像分别进行双树复小波变换，得到各图像的2个低频系数和多个不同方向的高频系数；

步骤3，分别进行高频系数融合和低频系数融合，包括如下子步骤：

步骤3.1，采用绝对值最大法对3幅图像的高频系数进行融合，即将3幅图像中的处于相同方向的、绝对值最大的高频系数作为该方向高频系数的融合结果；

步骤3.2，采用加权的方式对低频系数进行融合；包括如下子步骤：

步骤3.2.1，采用包络滤波法分别估计步骤1中的3幅图像的整体亮度，获得3幅亮度估计图；

步骤3.2.2，将3幅亮度估计图分别缩小至与其低频分量尺度相同，得到3幅小尺度亮度估计图，分别为小尺度低亮度估计图、小尺度中亮度估计图和小尺度高亮度估计图；分别计算3幅小尺度亮度估计图中各像素的权值：

其中，小尺度低亮度估计图中各像素的权值为：

小尺度中亮度估计图中各像素的权值为：

小尺度高亮度估计图中各像素的权值为：

其中，p表示像素的灰度值；

步骤3.2.3，对3幅小尺度亮度估计图的权值进行归一化处理，得到归一化后的权值W₁′、W₂′和W₃′；将3幅图像的第一个低频系数分别与对应图像的权值W₁′、W₂′和W₃′相乘后求和，得到第一低频系数的融合结果；将3幅图像的第二个低频系数分别与对应图像的权值W₁′、W₂′和W₃′相乘后求和，得到第二低频系数的融合结果；

步骤4，对步骤3.1获得的不同方向高频系数的融合结果和步骤3.2获得的2个低频系数的融合结果，进行双树复小波逆变换，得到融合后的图像。

进一步地，所述步骤1中，图像序列中图像的平均亮度依次变化，且平均亮度间隔相近。

进一步地，所述步骤1中，所述低、中、高三个亮度的图像的平均亮度分别接近50、128和200。

进一步地，所述步骤2中，对3幅图像均进行j次的双树复小波变换，j＝3～5。

有益效果：

本发明从多曝光序列中选取高亮度、中亮度、低亮度三幅图像，对其进行直接融合，无需知道图像的曝光时间，避免了传统高动态成像技术中标定相机响应函数这一繁琐费时的步骤，大大减少了所需时间；采用基于双树复小波变换的曝光融合方法，将图像分解为高频分量和低频分量，并根据它们的特点，采用不同的融合方式，使得得到的图像在整体亮度和细节保持方面都能具有较好的表现。

附图说明

图1为2维图像1次双树复小波变换示意图。

图2为航空相机多曝光图像融合方法流程图。

图3为低频分量权值分配曲线。

其中，Tree A为复小波实数部分；Tree B为复小波虚数部分；h₀(n)为Tree A的低通滤波器；h₁(n)为Tree A的高通滤波器；g₀(n)为Tree B的低通滤波器；g₁(n)为Tree B的低通滤波器；A_(j,1)为原始图像；A_(j+1,1)和A_(j+1,2)分别为经1次双树复小波变换后得到的2个低频系数；D_(j+1,i)(i＝1,2…6)为经1次双树复小波变换后得到的6个高频系数；{I₁,I₂,I₃}为选取待融合的3幅图像；p为像素灰度值；w_l为低亮度图像权值；w_m为中等亮度图像权值；w_h为高亮度图像权值。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种航空相机多曝光图像融合方法，利用双树复小波变换对多曝光图像进行处理、融合。

双树复小波变换采用二元树的方法，用实数小波变换实现复小波变换，将图像分解为高频部分和低频部分，可以反映出图像在±15°，±45°，±75°方向上的细节信息，同时具有平移不变性、方向选择性和数据冗余有限的特点。将双树复小波变换用于图像融合，将高频信息与低频信息分开处理，可以兼顾图像不同尺度上的信息，为得到高质量的图像提供保障。因此，本发明采用双树复小波进行多曝光图像的融合处理。

本实施例采用操作系统为WINDOWS 7，软件平台为MATLAB 2012b，处理器为第二代酷睿i5-4210M。流程图如图1所示，具体步骤如下：

步骤1：在高动态场景时，控制快门曝光时间对同一高动态场景进行由短到长多次曝光，得到同一场景的一系列曝光量不同的图像序列；图像数量多于5幅且它们的平均亮度依次变化，平均亮度间隔相近；

在这一图像序列中选取亮度高、中、低三幅图像，用于融合。本实施例中，选取3幅平均亮度分别接近50、128和200的图像I_l，I_m和I_h，用于融合。

步骤2：对选取的3幅图像I_l，I_m和I_h进行双树复小波变换，将它们用尺度函数和复小波函数表示出来，如下式所示：

其中L为分解层数，R²表示二维空间，θ＝{±15°,±45°,±75°}，a_L,k和d_l,k ^θ'分别代表信号的近似部分和细节部分，Ф(x,y)、ψ(x,y)分别为尺度函数和复小波函数。

每幅图像的每一次变换可以得到6个高频系数(即高频分量){D(j,m)，m＝1,2…6}和2个低频系数(即低频分量){A(j,p)，p＝1,2}，j表示变换次数；j＝3～5。

具体的，第一次双树复小波变换时，得到6个高频系数和2个低频系数；第二次双树复小波变换时，是针对2个低频系数进行变换，1个低频系数变换得到3个高频系数和1个低频系数，依次类推，当进行到第n次双树复小波变换时，一共能得到6n个高频系数和2个低频系数。各高频系数的方向各不相同。

步骤3：对双树复小波变换分解得到的高频系数和低频系数使用不同的融合规则进行融合：

步骤3.1：对I_l，I_m和I_h的高频系数进行融合：

高频系数主要反应图像亮度幅值变化特性，如图像的边缘等细节特征，高频子带融合结果决定融合后图像的细节信息。为最大程度地保留场景中的细节信息，同时考虑到计算时间，本发明采用绝对值最大法对高频系数进行融合，即针对某一方向的高频系数，选取3幅图像中该方向的高频系数中绝对值最大者作为该方向高频系数的融合结果。

具体的，I_l，I_m和I_h的高频系数分别为D₁(j,m)、D₂(j,m)和D₃(j,m)，(m＝1,2…6)}，针对各方向的高频系数，选取3幅图像中绝对值最大的高频系数作为该方向高频系数的融合结果，如下所示；

F(x,y)＝max(|D_i(x,y)|,i＝1,2,3)

其中，F(x,y)为方向为(x,y)的高频系数的融合结果，D_i(x,y)为第i幅图像中方向为(x,y)的高频系数。

将双树复小波变换后的每个方向的F(x,y)依次组合，即得到高频系数的融合结果集合。

步骤3.2：对I_l，I_m和I_h的低频系数进行融合：

低频分量是原图像低频信息的体现，低频信息体现图像的主要能量，反映了图像的整体亮度。对低频分量的处理要考虑图像的整体亮度，不局限于单一像素，所以先得到图像的亮度估计图，根据亮度估计图计算权值。

具体的，本发明采用包络滤波估计图像整体亮度，获得3幅亮度估计图。包络滤波可以消除突变信号中的微弱变化并保留图像中的突变部分，1维包络滤波过程见下式：

其中，S_i(i＝1，2，……，n)为输入信号，L_i为输出信号，L_i ⁺为中间状态信号，为信号的局部梯度，n为信号个数；

α是局部梯度的函数，取值见下式：

其中，α₀为常量，-1/T为梯度阈值。

3幅图像相对行然后对列分别进行包络滤波，得到他们的亮度估计图。

亮度均值高的图像中曝光准确的部分集中在像素亮度值低的区域，同样地，亮度均值低的图像中曝光准确的部分集中在像素亮度值高的区域，曝光融合的目的就是将每幅图像中曝光准确的部分协调地融合到一幅图像中，为三幅曝光程度不同的图像分别分配权值。

具体的，由于低频分量与原图尺度不同，首先将亮度估计图按比例缩小至与低频分量尺度相同，得到小尺度亮度估计图{S'_l,S'_m,S'_h}；

由于低亮度图像I_l中像素值较大的区域曝光较适宜，高亮度图像I_h中像素值较小的区域曝光较适宜。而融合的目的就是将每幅图像中曝光较适宜的部分协调的融合到一幅图像中，为曝光准确的像素区域分配较大的权值，为曝光不足或过度的像素区域分配较小的权值，由不同亮度图像曝光特点建立每个像素点与其权值的函数关系。故低亮度图像I_l中亮度较大的像素、亮度适中图像I_m中亮度接近128的像素和高亮度图像I_h中亮度较小的像素要分配大权值；

对低亮度图像I_l中各像素的权值分配如下：

对亮度适中图像I_m中各像素的权值分配如下：

对高亮度图像I_h中各像素的权值分配如下：

其中，W₁,W₂,W₃分别为低、中、高亮度图像中各像素的权值，p表示像素的灰度值。

将三幅图像的亮度估计图S'_l,S'_m,S'_h分别按照W₁,W₂,W₃分配权值，并对各图像的权值进行归一化，如下式：

将上式得到的每幅图像的权值W'_i分别与对应图像的2个低频分量{A_i(j,n)}相乘，3幅图像属于同一个低频系数的乘积结果之和即为该低频系数的融合结果，即通过下式

得到融合后的2个低频分量{A_f(j,1),A_f(j,2)}；

步骤4：将步骤3.1和步骤3.2中得到的融合后的高频分量{D_f(j,m)}和融合后的低频分量{A_f(j,1),A_f(j,2)}进行双树复小波逆变换，得到融合后的图像I_fusion。

I_fusion的绝大部分都能保证曝光准确，且能在传统显示设备上显示。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种航空相机多曝光图像融合方法，其特征在于，包括如下步骤：

步骤1，控制相机对同一高动态场景进行多次曝光，得到同一场景的一系列曝光量不同的图像序列；所述图像序列中图像数量多于5；在图像序列中选取三幅图片平均亮度分别属于低、中、高三个亮度的图像；

步骤2，对步骤1选取的3幅图像分别进行双树复小波变换，得到各图像的2个低频系数和多个不同方向的高频系数；

步骤3，分别进行高频系数融合和低频系数融合，包括如下子步骤：

步骤3.1，采用绝对值最大法对3幅图像的高频系数进行融合，即将3幅图像中的处于相同方向的、绝对值最大的高频系数作为该方向高频系数的融合结果；

步骤3.2，采用加权的方式对低频系数进行融合；包括如下子步骤：

步骤3.2.1，采用包络滤波法分别估计步骤1中的3幅图像的整体亮度，获得3幅亮度估计图；

步骤3.2.2，将3幅亮度估计图分别缩小至与其低频分量尺度相同，得到3幅小尺度亮度估计图，分别为小尺度低亮度估计图、小尺度中亮度估计图和小尺度高亮度估计图；分别计算3幅小尺度亮度估计图中各像素的权值：

其中，小尺度低亮度估计图中各像素的权值为：

小尺度中亮度估计图中各像素的权值为：

小尺度高亮度估计图中各像素的权值为：

其中，p表示像素的灰度值；

步骤3.2.3，对3幅小尺度亮度估计图的权值进行归一化处理，得到归一化后的权值W₁′、W₂′和W₃′；将3幅图像的第一个低频系数分别与对应图像的权值W₁′、W₂′和W₃′相乘后求和，得到第一低频系数的融合结果；将3幅图像的第二个低频系数分别与对应图像的权值W₁′、W₂′和W₃′相乘后求和，得到第二低频系数的融合结果；

步骤4，对步骤3.1获得的不同方向高频系数的融合结果和步骤3.2获得的2个低频系数的融合结果，进行双树复小波逆变换，得到融合后的图像。

2.如权利要求1所述的航空相机多曝光图像融合方法，其特征在于，所述步骤1中，图像序列中图像的平均亮度依次变化，且平均亮度间隔相近。

3.如权利要求1所述的航空相机多曝光图像融合方法，其特征在于，所述步骤1中，所述低、中、高三个亮度的图像的平均亮度分别接近50、128和200。

4.如权利要求1所述的航空相机多曝光图像融合方法，其特征在于，所述步骤2中，对3幅图像均进行j次的双树复小波变换，j＝3～5。