CN115409754B - 一种基于图像区域有效性的多曝光图像融合方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像区域有效性的多曝光图像融合方法及系统，涉及图像处理技术领域，首先获取若干幅不同曝光的raw图，并进行归一化；基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；基于当前噪声水平，获取每一幅raw图对应的有效性图；基于每一幅raw图对应的有效性图，计算对应的权重图；将每一幅raw图依据对应的权重图进行融合，得到融合图像。本发明进行多曝光图像融合时，计算量小、实时性好、融合效果更佳，能够减少图像信号处理过程的影响。

Description

一种基于图像区域有效性的多曝光图像融合方法及系统

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于图像区域有效性的多曝光图像融合方法及系统。

背景技术

随着计算机和多媒体技术的发展，各种多媒体应用都对高质量图像提出了广泛的需求。高质量的图像能够提供丰富的信息和真实的视觉感受。然而，在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在显示终端呈现的图像往往是低质量的图像。因此，如何通过低质量图像重建高质量的图像，一直都是图像处理领域面临的一个挑战。

多曝光图像融合是把多幅曝光度不同的图像融合成为一幅图像的技术。多曝光图像融合技术可以提高图像的成像质量，避免了因为曝光度单一造成的高亮或者阴暗区域的细节丢失。现有的多曝光图像融合方法主要有Exposure Fusion（曝光融合）—MertensTMO，以及基于导向滤波的图像融合等，然而现有的融合方法中仍存在以下缺陷：

Exposure Fusion（曝光融合）—Mertens TMO：需要用拉普拉斯算子对图像三个通道进行计算，需要消耗大量的算力，容易出现偏色。

基于导向滤波的图像融合：对彩色图像进行多次滤波操作，流程复杂，需要消耗大量算力，容易出现halo现象。

因此如何克服上述现有技术的缺陷，解决多曝光图像融合过程中计算量大、效果较差等技术问题，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于图像区域有效性的多曝光图像融合方法及系统，方法简单、场景适应性强、速度快。

为了实现上述目的，本发明提供如下技术方案：

一种基于图像区域有效性的多曝光图像融合方法，包括以下步骤：

步骤1、获取若干幅不同曝光的raw图，并进行归一化，后续图像的处理均是基于归一化后的raw图；

步骤2、基于若干幅不同曝光的raw图，计算当前噪声水平；

步骤3、基于当前噪声水平，获取每一幅raw图对应的有效性图；

步骤4、基于每一幅raw图对应的有效性图，计算对应的权重图；

步骤5、将每一幅raw图依据对应的权重图进行融合，得到融合图像。

可选的，所述步骤1中，所述若干幅不同曝光的raw图按照曝光时间递减进行排序，构成集合A={raw0，raw1，...，rawi，...，raw（n-1）}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，n≥2。

可选的，所述步骤2中，计算当前噪声水平的方法为：

按照场景一致的原则进行计算，噪声均值noise_u=mean(rawj-ratio*raw（j+1）)，噪声方差noise_std=std(rawj-ratio*raw（j+1）)，其中rawj和raw（j+1）为集合A中任意两幅相邻的raw图，0≤j≤n-2。

本发明利用多帧曝光特性进行噪声水平的评估，比其它噪声评估方法更简单。

可选的，所述步骤3中，获取每一幅raw图对应的有效性图的方法为：

对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧以外的每个点有效性：

e_q=(ratio-1)*noise_u；

d_q=sqrt(ratio**2+1)*noise_std；

Si=rawi-ratio*raw(i+1)；

Pi=(Si-(e_q-d_q))/max(delta,2*d_q)，delta=1e^-6；

Img_valid_i=(1-Pi)；

最短帧有效性由1减去倒数第二短帧的有效性得到。

本发明通过噪声水平特性，生成的图像曝光有效性更准确，更适合夜间高噪声场景的融合，场景适应性强。

并且本发明在raw域做有效性评估，以得到有效性图，因为raw数据更接近线性，能更准确的反应图像亮度的递进过程，减少图像信号处理过程中gamma对亮度值的影响。

可选的，所述步骤4中，对于第i幅raw图对应的有效性图Img_valid_i，计算对应的权重图的方法为：

步骤4.1、使用拉普拉斯金字塔方法，对有效性图Img_valid_i做高斯模糊；

步骤4.2、将高斯模糊之后的有效性图Img_valid_i图像大小缩小到原来的1/2；

步骤4.3、按照步骤4.2进行若干个尺度变换就构成了从大到小的图像序列，按照上层图像大于下层图像的原则，组成高斯金字塔Img_valid_i_pyramid，然后从高斯金字塔底层的图像开始，到倒数第二顶层做以下操作：

A、使用双线性插值，放大图像到与上一层一致；

B、与上一层的图像做计算合成新的图像；

C、将新的图像替换原有上一层图像；

得到的顶层图像成为权重图w_i，可以增强融合图像的平滑性。

上述方法通过有效性判断权重，比单纯用亮度图的值大小判断权重更准确、计算量更小。

可选的，所述步骤5中，将每一幅raw图依据对应的权重图进行融合，得到融合图像，融合公式为：

Raw_hdr=raw0*w_0+raw1*w_1*ratio+.....+rawi*w_i*ratioⁱ+...+raw（n-1）*w_（n-1）*ratio^n-1，其中w_i表示第i幅raw图对应的权重图。

本发明在raw域做图像融合，与jpg图像相比，可以增加图像信息的保留比例。

一种基于图像区域有效性的多曝光图像融合系统，包括：

曝光图像获取模块，用于获取若干幅不同曝光的raw图；

噪声水平计算模块，用于基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；

有效性图获取模块，用于基于当前噪声水平，获取每一幅raw图对应的有效性图；

权重图获取模块，用于基于每一幅raw图对应的有效性图，计算对应的权重图；

融合模块，用于将每一幅raw图依据对应的权重图进行融合。

经由上述的技术方案可知，本发明公开提供了一种基于图像区域有效性的多曝光图像融合方法及系统，与现有技术相比，具有以下有益效果：

速度方面：因为计算量的大大减少，本发明能快速部署在终端设备，能做到实时性好。

效果方面：本发明在raw域对没有处理的原始图像数据进行融合，可以更好的配合后期图像信号处理调试，保证最终出图的图像效果。

适用性方面：本发明适合用于多数传感器，可移植性强，可拓展于其他的任务领域，可广泛运用于拍照、摄像相关系统及终端设备等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程示意图；

图2为本发明的系统模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于图像区域有效性的多曝光图像融合方法，参见图1，包括以下步骤：

步骤1、获取若干幅不同曝光的raw图，并进行归一化，按照曝光时间递减进行排序，构成集合A={raw0，raw1，...，rawi，...，raw（n-1）}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，n≥2。

步骤2、基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平：

按照场景一致的原则进行计算，噪声均值noise_u=mean(rawj-ratio*raw（j+1）)，噪声方差noise_std=std(rawj-ratio*raw（j+1）)，其中rawj和raw（j+1）为集合A中任意两幅相邻的raw图，0≤j≤n-2。

步骤3、基于当前噪声水平，获取每一幅raw图对应的有效性图。

具体的，对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧（最短曝光时间的raw图）以外的每个点有效性：

e_q=(ratio-1)*noise_u；

d_q=sqrt(ratio**2+1)*noise_std；

Si=rawi-ratio*raw(i+1)；

Pi=(Si-(e_q-d_q))/max(delta,2*d_q)，delta=1e^-6；

Img_valid_i=(1-Pi)；

最短帧有效性由1减去倒数第二短帧的有效性得到。

在其他实施例中还可以通过以下方式计算有效性：

Si=rawi-ratio*raw(i+1)；

e_q=(ratio-1)*noise_u；

Img_valid_i=(Si-e_q)*ratio；

步骤4、基于每一幅raw图对应的有效性图，计算对应的权重图。

具体的，对于第i幅raw图对应的有效性图Img_valid_i，计算对应的权重图的方法为：

步骤4.1、使用拉普拉斯金字塔方法，对有效性图Img_valid_i做高斯模糊；

步骤4.2、将高斯模糊之后的有效性图Img_valid_i图像大小缩小到原来的1/2；

步骤4.3、按照步骤4.2进行若干个尺度变换就构成了从大到小的图像序列，顶层为原始大小，按固定比例，往下层缩小，比如第一层宽高=20x10，下一层为10x5，按照该规律组成高斯金字塔Img_valid_i_pyramid，然后从高斯金字塔底层的图像开始，到倒数第二顶层做以下操作：

A、使用双线性插值，放大图像到与上一层一致；

B、与上一层的图像做计算合成新的图像；

C、将新的图像替换原有上一层图像；

得到的顶层图像成为权重图w_i。

在其他实施例中，还可以将拉普拉斯金字塔替换为其他方式进行平滑操作。

步骤5、将每一幅raw图依据对应的权重图进行融合，得到融合图像，融合公式为：

Raw_hdr=raw0*w_0+raw1*w_1*ratio+.....+rawi*w_i*ratioⁱ+...+raw（n-1）*w_（n-1）*ratio^n-1，其中w_i表示第i幅raw图对应的权重图。

本发明实施例还公开一种基于图像区域有效性的多曝光图像融合系统，与上述方法实施例相对应，参见图2，包括：

曝光图像获取模块，用于获取若干幅不同曝光的raw图；

噪声水平计算模块，用于基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；

有效性图获取模块，用于基于当前噪声水平，获取每一幅raw图对应的有效性图；

权重图获取模块，用于基于每一幅raw图对应的有效性图，计算对应的权重图；

融合模块，用于将每一幅raw图依据对应的权重图进行融合。

下面以ratio=8，n=3时的情况为具体实施例，对本发明方案进行说明。

一、获取多曝光图像

设定长短曝光之间的曝光时间为固定8倍，即ratio=8。获得3幅不同曝光的图像，记长曝光为raw0，中曝光为raw1，短曝光为raw2。raw图归一化到[0,1]区间。后续步骤均是对归一化后的raw图进行的图像处理。

二、噪声水平计算

根据得到的多张曝光图像，基于场景一致的假设，统计出当前噪声水平的估计值：

噪声均值：noise_u=mean(raw0-8*raw1)；

噪声方差：noise_std=std(raw0-8*raw1)。

三、有效性计算

根据噪声水平，从两帧不同曝光的图像中，根据曝光倍率关系计算出除了最短帧以外的每个点有效性：

e_q=(ratio-1)*noise_u；

d_q=sqrt(ratio**2+1)*noise_std；

S0=raw0-8*raw1；

P0=(S0-(e_q-d_q))/max(delta,2*d_q)，delta=1e^-6；

Img_valid_0=(1-P0)；

最短帧有效性由1减去倒数第二短帧的有效性得到。

四、权重计算

应用拉普拉斯金字塔方法，对有效性图Img_valid_i先做高斯模糊，再将图像大小缩小到原来的1/2。按照前述方式进行若干个尺度变换就构成了从大到小的图像序列，按照上层图像大于下层图像的原则，组成高斯金字塔Img_valid_i_pyramid，然后从高斯金字塔底层的图像开始，到倒数第二顶层做以下操作：

A、使用双线性插值，放大图像到与上一层一致；

B、与上一层的图像做计算合成新的图像；

C、将新的图像替换原有上一层图像；

最后得到的顶层图像成为权重图w_i。

五、融合

将原始raw图根据权重合成最终的hdr raw图：

Raw_hdr=raw0*w_0+raw1*w_1*8+raw2*w_2*64。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于图像区域有效性的多曝光图像融合方法，其特征在于，包括以下步骤：

步骤1、获取若干幅不同曝光的raw图，按照曝光时间递减进行排序，构成集合A＝{raw0，raw1，...，rawi，...，raw(n-1)}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，rawi表示第i幅raw图，n≥2；并进行归一化；

步骤2、基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平，方法为：

按照场景一致的原则进行计算，噪声均值noise_u＝mean(rawj-ratio*raw(j+1))，噪声方差noise_std＝std(rawj-ratio*raw(j+1))，其中rawj和raw(j+1)为集合A中任意两幅相邻的raw图，0≤j≤n-2；

步骤3、基于当前噪声水平，获取每一幅raw图对应的有效性图，方法为：

对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧以外的每个点有效性：

e_q＝(ratio-1)*noise_u；

d_q＝sqrt(ratio*2+1)*noise_std；

Si＝rawi-ratio*raw(i+1)；

Pi＝(Si-(e_q-d_q))/max(delta,2*d_q)，delta＝1e^-6；

Img_valid_i＝1-Pi；

最短帧有效性由1减去倒数第二短帧的有效性得到；

步骤4、基于每一幅raw图对应的有效性图，计算对应的权重图；

步骤5、将每一幅raw图依据对应的权重图进行融合。

2.根据权利要求1所述的一种基于图像区域有效性的多曝光图像融合方法，其特征在于，所述步骤4中，对于第i幅raw图对应的有效性图Img_valid_i，计算对应的权重图的方法为：

步骤4.1、使用拉普拉斯金字塔方法，对有效性图Img_valid_i做高斯模糊；

步骤4.2、将高斯模糊之后的有效性图Img_valid_i图像大小缩小到原来的1/2；

步骤4.3、按照步骤4.2进行若干个尺度变换就构成了从大到小的图像序列，按照上层图像大于下层图像的原则，组成高斯金字塔Img_valid_i_pyramid，然后从高斯金字塔底层的图像开始，到倒数第二顶层做以下操作：

A、使用双线性插值，放大图像到与上一层一致；

B、与上一层的图像做计算合成新的图像；

C、将新的图像替换原有上一层图像；

得到的顶层图像成为权重图w_i。

3.根据权利要求1所述的一种基于图像区域有效性的多曝光图像融合方法，其特征在于，所述步骤5中，将每一幅raw图依据对应的权重图进行融合，得到融合图像，融合公式为：

Raw_hdr＝raw0*w_0+raw1*w_1*ratio+...+rawi*w_i*ratioⁱ+...+raw

(n-1)*w_(n-1)*ratio^n-1，其中w_i表示第i幅raw图对应的权重图。

4.一种基于图像区域有效性的多曝光图像融合系统，其特征在于，包括：

曝光图像获取模块，用于获取若干幅不同曝光的raw图，按照曝光时间递减进行排序，构成集合A＝{raw0，raw1，...，rawi，...，raw(n-1)}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，n≥2；并进行归一化；

噪声水平计算模块，用于基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平，具体的：

按照场景一致的原则进行计算，噪声均值noise_u＝mean(rawj-ratio*raw(j+1))，噪声方差noise_std＝std(rawj-ratio*raw(j+1))，其中rawj和raw(j+1)为集合A中任意两幅相邻的raw图，0≤j≤n-2；

有效性图获取模块，用于基于当前噪声水平，获取每一幅raw图对应的有效性图，具体的：

对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧以外的每个点有效性：

e_q＝(ratio-1)*noise_u；

d_q＝sqrt(ratio*2+1)*noise_std；

Si＝rawi-ratio*raw(i+1)；

Pi＝(Si-(e_q-d_q))/max(delta,2*d_q)，delta＝1e^-6；

Img_valid_i＝1-Pi；

最短帧有效性由1减去倒数第二短帧的有效性得到；

权重图获取模块，用于基于每一幅raw图对应的有效性图，计算对应的权重图；

融合模块，用于将每一幅raw图依据对应的权重图进行融合。

Images