CN113012070B - 一种基于模糊控制的高动态场景图像序列获取方法 - Google Patents

Abstract

本发明公开了一种基于模糊控制的高动态场景图像序列获取方法，包括采集两幅不同曝光场景的图像，并根据图像灰度值将HDR场景分割成不同的区域；分析图像中的不同亮度区域，根据平均梯度和曝光度估计每个区域的粗曝光时间；根据图像的统计特性构造模糊控制调节机制，对粗曝光时间进行精调，得到一组图像序列。本发明主要针对高动态范围场景获取一组数量少、质量高的图像序列，算法效率高，为后续图像融合提供高效的数据支持。

Description

一种基于模糊控制的高动态场景图像序列获取方法

技术领域

本发明涉及图像序列获取方法，特别是一种基于模糊控制的高动态场景图像序列获取方法。

背景技术

自然景物的辐射度可以达到10个数量级，但是传统的相机只能捕捉大约4个数量级的动态范围。高动态范围(HDR)成像是指在大动态范围内拍摄场景的过程，这类场景包含多个亮度区域，不同亮度区域的亮度差别较大，采用传统相机单次曝光难以获得清晰的图像。针对高动态场景的图像序列，通过把多次曝光获得的图像序列融合得到HDR图像。然而，在HDR成像过程中，低动态范围(LDR)图像的数量和质量严重影响着成像效率和成像效果。首先，LDR图像数量过多，不可避免地会出现信息冗余，导致时间成本显著增加，降低拍摄效率和后期图像融合效率；其次，LDR图像数量不足不能保证场景中不同亮度区域的良好表达；最后，图像序列中每幅图像的质量均涉及一个亮度区域，对高动态场景的整体表达具有意义。因此，获取包含明暗区域场景细节的最小图像集具有重要意义。

Elamvazuthi I,Vasant P,Webb J F.The Application of Mamdani FuzzyModel for Auto Zoom Function of a Digital Camera[J].International Journal ofComputer Science&Information Security,2009,6(3).公开了一种模糊模型在数码相机自动变焦中的应用。

Pham D T,Castellani M.Action aggregation and defuzzification inMamdani-type fuzzy systems[J].ARCHIVE Proceedings of the Institution ofMechanical Engineers Part C Journal of Mechanical Engineering Science 1989-1996(vols 203-210),2002,216(7):747-759.公开了一种在模糊控制器动作集合与去模糊化方法。

上述模糊控制器的理论较为成熟，为本发明的提供了一种解决思路。

发明内容

针对现有技术中存在的问题，本发明提供了一种主要针对高动态范围场景获取一组数量少、质量高的图像序列，算法效率高，为后续图像融合提供高效的数据支持的基于模糊控制的高动态场景图像序列获取方法。

本发明的目的通过以下技术方案实现。

一种基于模糊控制的高动态场景图像序列获取方法，包括：

1)采集两幅不同曝光场景的图像，并根据图像灰度值将HDR场景分割成不同的区域；

2)分析图像中的不同亮度区域，根据平均梯度和曝光度估计每个区域的粗曝光时间；3)根据图像的统计特性构造模糊控制调节机制，对粗曝光时间进行精调，得到一组图像序列。

所述步骤1)基于联合概率分布函数，对场景亮度区域进行分割，具体包括以下步骤：

1.1)在不同曝光时间(t1和t2)下拍摄的两幅场景图像表示为f1和f2，联合分布函数(P(f1,f2))是L×L的矩阵，其中L表示图像中的灰度级，其取值范围为0～255的整数；

1.2)由于摄像机响应曲线是近似线性的，那么对于HDR场景，不同的亮度区域将反映在P(f1,f2)中，其灰度级分布于曝光时间密切相关；

1.3)根据P(f1,f2)矩阵非零值的分布对场景进行分割。

所述步骤2)基于虚拟曝光的粗曝光时间估计，其中虚拟曝光定义为参考图像乘以时间系数的图像获取过程包括如下步骤：

2.1)比较图像f₁和f₂中同一亮度区域，将图像质量较好的作为参考图像，图像质量可以联合曝光度和平均梯度等评价标准来衡量，如等式所示，其中，(i,j)是像素的位置索引,h_P＝[10-1],h_⊥＝h_P ^T，σ＝0.2，对于每个像素，使用乘法将两种度量信息融合为标量权重映射函数：/>其中，ω_W和ω_G用于控制每个度量的影响，设置ω_W＝0.5和ω_G＝0.5，高动态场景内，某个亮度区域的图像质量使用统计值进行评估，其平均值：/>其中，(i,j)是位于该区域的像素的索引，M是该区域的总像素数；当图像区域的平均值位于灰度值范围的中间时，图像具有良好的曝光质量；对于选定的参考图像区域，如果图像的平均灰度大于阈值，则选择较小的时间系数(δ<1)；当平均灰度小于等于阈值时，则选择较大的时间系数(δ>1)；通过优化曝光度来选择最佳时间系数δ：/>其中，f_R是标准化的参考图像，δ是时间系数，通过推导得到：/>其中，M和N是图像区域的长度和宽度；

2.2)得到粗曝光时间t_ro_ugh＝δo_ptt_R，其中t_R是参考图像区域的当前曝光时间。

所述步骤3)基于模糊控制的曝光时间精调包括如下步骤：

3.1)定义由模糊控制隶属函数组成的模糊控制基变量：采用图像的曝光度相关的量如灰度直方图来调整曝光时间；模糊化需要将量化的输入值转换为模糊值；根据图像区域的直方图以及直方图的主域位置，推断出图像是亮的还是暗的；直方图的主域定义为一个包含Num个连续灰度级且像素数最大的区间，针对某个特定的亮度区域，过曝光和欠曝光的像素归一化差异diff将用于模糊控制，其定义如下：其中，N_o和N_u分别表示曝光过多和曝光不足的像素数，N是该亮度区域的总像素个数，Th是阈值。

3.2)构造模糊控制规则并进行模糊规则推理，使规则库中的规则能够确定曝光调整时间，下表为设计的模糊规则：

模糊规则在模糊控制器中的应用

3.3)将模糊推理的结果从语言概念转换为量化的曝光时间，采用区域中心去模糊化方法进行去模糊，当输出的绝对值小于最小阈值时，对应的曝光时间是最佳的，对场景的每个亮度区域重复这一曝光时间调整过程，为每个亮度区域获取最优的曝光时间，最终，为整个高动态场景获取一个多曝光图像序列。

所述步骤2)中对于选定的参考图像区域，如果图像的平均灰度大于阈值128，则选择较小的时间系数(δ<1)；当平均灰度小于等于阈值128时，则选择较大的时间系数(δ>1)。

所述步骤3)中直方图的主域定义为一个包含Num个连续灰度级且像素数最大的区间，所述如Num＝30。

相比于现有技术，本发明的优点在于：本发明为HDR场景提供了一种鲁棒的自动曝光方法，该方法对场景中亮度不同的对象进行不同时长的曝光，通过精确计算每个不同亮度区域的最佳曝光时间，从而使场景中的不同物体可以很好地呈现在一组不同的曝光图像中，可广泛应用于高动态图像融合、高动态成像系统等领域。本发明可以自动计算得到高动态场景的曝光时间，降低信息冗余，获得一个最小图像集，算法精度高，鲁棒性强，可极大地提高高动态场景图像序列的获取质量与效率。

附图说明

图1为本发明流程图。

图2为两幅初始曝光图像。

图3为两幅图像的联合分布函数。

图4为场景亮度区域分割效果图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

如图1所示，一种基于模糊控制的高动态场景图像序列获取方法，包括：

1)如图2所示，采集两幅不同曝光场景的图像，如图4所示，并根据图像灰度值将HDR场景分割成不同的区域；

2)分析图像中的不同亮度区域，根据平均梯度和曝光度估计每个区域的粗曝光时间；

3)根据图像的统计特性构造模糊控制调节机制，对粗曝光时间进行精调，得到一组图像序列。如图3所示，基于联合概率分布函数，对场景亮度区域进行分割：

1.1在不同曝光时间(t1和t2)下拍摄的两幅场景图像表示为f1和f2，联合分布函数(P(f1,f2))是L×L的矩阵，其中L表示图像中的灰度级，其取值范围为0～255的整数；

1.2由于摄像机响应曲线是近似线性的，那么对于HDR场景，不同的亮度区域将反映在P(f1,f2)中，其灰度级分布于曝光时间密切相关；

1.3根据P(f1,f2)矩阵非零值的分布对场景进行分割；

基于虚拟曝光的粗曝光时间估计，其中虚拟曝光定义为参考图像乘以时间系数的图像获取过程：

2.1比较图像f1和f2中同一亮度区域，将图像质量较好的作为参考图像，图像质量可以联合曝光度和平均梯度等评价标准来衡量，如等式所示，其中，(i,j)是像素的位置索引,h_P＝[10-1],h_⊥＝h_P ^T，σ＝0.2，对于每个像素，使用乘法将两种度量信息融合为标量权重映射函数：

其中，ω_W和ω_G用于控制每个度量的影响，可设置ω_W＝0.5和ω_G＝0.5。高动态场景内，某个亮度区域的图像质量使用统计值进行评估，如平均值：

其中，(i,j)是位于该区域的像素的索引，M是该区域的总像素数。当图像区域的平均值位于灰度值范围的中间时，图像具有良好的曝光质量。对于选定的参考图像区域，如果图像的平均灰度大于阈值，如128，则选择较小的时间系数(δ<1)；当平均灰度小于阈值(128)时，则选择较大的时间系数(δ>1)。通过优化曝光度来选择最佳时间系数δ：

这里，fR是标准化的参考图像，δ是时间系数。通过推导得到：

其中，M和N是图像区域的长度和宽度。显然，该函数为二次函数，我们可以通过计算二次函数的极值来得到最优解。

2.2得到粗曝光时间t_rough＝δ_optt_R，其中tR是参考图像区域的当前曝光时间。

基于模糊控制的曝光时间精调：

3.1定义由模糊控制隶属函数组成的模糊控制基变量：本文采用图像的曝光度相关的量如灰度直方图来调整曝光时间。模糊化需要将量化的输入值转换为模糊值。根据图像区域的直方图以及直方图的主域位置，可推断出图像是亮的还是暗的。直方图的主域定义为一个包含Num(如Num＝30)个连续灰度级且像素数最大的区间。针对某个特定的亮度区域，过曝光和欠曝光的像素归一化差异diff将用于模糊控制，其定义如下：

其中，N_o和N_u分别表示曝光过多和曝光不足的像素数，N是该亮度区域的总像素个数，Th是阈值。

本发明结合灰度直方图主域位置(条件1)、过曝光和欠曝光的像素归一化差异diff(条件2)两个因素来调整曝光时间，为这两个条件分别定义语言变量。根据条件1，定义五个语言术语，分别是极左(FL)、稍左(LL)、中间(M)、稍右(LR)和极右(FR)。对于条件2，diff为正表示曝光时间应缩短，反之则应增加曝光时间。为条件2定义三个语言术语，分别为负(N)、相等(E)和正(P)。模糊控制器的作用是调整曝光时间，我们定义的输出语言术语是大减(LD)、微减(SD)、不变(U)、微增(SI)和大增(LI)。输出模糊域定义为[-mT_c,mT_c]，其中T_c是当前曝光时间，m是比例因子。实验中模糊域[-mT_c,mT_c]应归一化到[-1,1]。利用条件1和条件2的隶属函数，可以将精确的输入转化为模糊项。如果图像区域的直方图主域位于[110,143](M)且过曝光和欠曝光的像素归一化差异在[110,143](E)中，则认为该区域曝光良好，当前曝光时间为最佳曝光时间。如果有任意一个变量超出最佳范围(M或E)，曝光时间都将被调整。

3.2构造模糊控制规则并进行模糊规则推理，使规则库中的规则能够确定曝光调整时间。如表1所示为本发明设计的模糊规则：

表1模糊规则在模糊控制器中的应用。

3.3将模糊推理的结果从语言概念转换为量化的曝光时间，本发明采用区域中心去模糊化方法进行去模糊[2]，当输出的绝对值小于最小阈值(如0.05)时，对应的曝光时间是最佳的。对场景的每个亮度区域重复这一曝光时间调整过程，可为每个亮度区域获取最优的曝光时间，最终，为整个高动态场景获取一个多曝光图像序列。

Claims (6)

1.一种基于模糊控制的高动态场景图像序列获取方法，其特征在于包括：

步骤1)采集两幅不同曝光场景的图像，并根据图像灰度值将HDR场景分割成不同的区域；

步骤2)分析图像中的不同亮度区域，根据平均梯度和曝光度估计每个区域的粗曝光时间；

步骤3)设计基于模糊控制的曝光时间精调方法，定义由模糊控制隶属函数组成的模糊控制基变量：采用图像的曝光度相关的量如灰度直方图来调整曝光时间；模糊化需要将量化的输入值转换为模糊值；根据图像区域的直方图以及直方图的主域位置，推断出图像是亮的还是暗的，最终得到一组图像序列。

2.根据权利要求1所述的一种基于模糊控制的高动态场景图像序列获取方法，其特征在于所述步骤1)基于联合概率分布函数，对场景亮度区域进行分割，具体包括以下步骤：

1.1)在不同曝光时间(t1和t2)下拍摄的两幅场景图像表示为f1和f2，联合分布函数(P(f1,f2))是L×L的矩阵，其中L表示图像中的灰度级，其取值范围为0～255的整数；

1.2)由于摄像机响应曲线是近似线性的，那么对于HDR场景，不同的亮度区域将反映在P(f1,f2)中，其灰度级分布于曝光时间密切相关；

1.3)根据P(f1,f2)矩阵非零值的分布对场景进行分割。

3.根据权利要求2所述的一种基于模糊控制的高动态场景图像序列获取方法，其特征在于所述步骤2)基于虚拟曝光的粗曝光时间估计，其中虚拟曝光定义为参考图像乘以时间系数的图像获取过程包括如下步骤：

2.1)比较图像f₁和f₂中同一亮度区域，将图像质量较好的作为参考图像，图像质量可以联合曝光度和平均梯度等评价标准来衡量，如等式

所示，其中，(i,j)是像素的位置索引,h_P＝[10-1]，

σ＝0.2，对于每个像素，使用乘法将两种度量信息融合为标量权重映射函数：其中，ω_W和ωG用于控制每个度量的影响，设置ω_W＝0.5和ω_G＝0.5，高动态场景内，某个亮度区域的图像质量使用统计值进行评估，其平均值：其中，(i,j)是位于该区域的像素的索引，M是该区域的总像素数；当图像区域的平均值位于灰度值范围的中间时，图像具有良好的曝光质量；对于选定的参考图像区域，如果图像的平均灰度大于阈值，则选择较小的时间系数(δ<1)；当平均灰度小于等于阈值时，则选择较大的时间系数(δ>1)；通过优化曝光度来选择最佳时间系数δ：其中，f_R是标准化的参考图像，δ是时间系数，通过推导得到：/>其中，m和n是图像区域的长度和宽度；

2.2)得到粗曝光时间t_rough＝δ_optt_R，其中t_R是参考图像区域的当前曝光时间。

4.根据权利要求3所述的一种基于模糊控制的高动态场景图像序列获取方法，其特征在于所述步骤3)基于模糊控制的曝光时间精调包括如下步骤：

3.1)定义由模糊控制隶属函数组成的模糊控制基变量：采用图像的曝光度相关的量如灰度直方图来调整曝光时间；模糊化需要将量化的输入值转换为模糊值；根据图像区域的直方图以及直方图的主域位置，推断出图像是亮的还是暗的；直方图的主域定义为一个包含Num个连续灰度级且像素数最大的区间，针对某个特定的亮度区域，过曝光和欠曝光的像素归一化差异diff将用于模糊控制，其定义如下：其中，N_o和N_u分别表示曝光过多和曝光不足的像素数，N_t是该亮度区域的总像素个数，Th是阈值；

3.2)构造模糊控制规则并进行模糊规则推理，使规则库中的规则能够确定曝光调整时间，下表为设计的模糊规则：

模糊规则在模糊控制器中的应用

其中，定义极左：FL、稍左：LL、中间：M、稍右：LR、极右：FR；负：N、相等：E、正：P；大减：LD、微减：SD、不变：U、微增：SI和大增：LI；

3.3)将模糊推理的结果从语言概念转换为量化的曝光时间，采用区域中心去模糊化方法进行去模糊，当输出的绝对值小于最小阈值时，对应的曝光时间是最佳的，对场景的每个亮度区域重复这一曝光时间调整过程，为每个亮度区域获取最优的曝光时间，最终，为整个高动态场景获取一个多曝光图像序列。

5.根据权利要求2所述的一种基于模糊控制的高动态场景图像序列获取方法，其特征在于所述步骤2)中对于选定的参考图像区域，如果图像的平均灰度大于阈值128，则选择较小的时间系数(δ<1)；当平均灰度小于等于阈值128时，则选择较大的时间系数(δ>1)。

6.根据权利要求3所述的一种基于模糊控制的高动态场景图像序列获取方法，其特征在于所述步骤3)中直方图的主域定义为一个包含Num个连续灰度级且像素数最大的区间，所述Num＝30。