[go: up one dir, main page]

CN115170416A - 一种针对微光图像的多曝光动态范围增强方法 - Google Patents

一种针对微光图像的多曝光动态范围增强方法 Download PDF

Info

Publication number
CN115170416A
CN115170416A CN202210762526.8A CN202210762526A CN115170416A CN 115170416 A CN115170416 A CN 115170416A CN 202210762526 A CN202210762526 A CN 202210762526A CN 115170416 A CN115170416 A CN 115170416A
Authority
CN
China
Prior art keywords
image
low
pyramid
exposure
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210762526.8A
Other languages
English (en)
Inventor
王小勇
马中祺
江澄
岳春宇
陈轩
何红艳
王芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN202210762526.8A priority Critical patent/CN115170416A/zh
Publication of CN115170416A publication Critical patent/CN115170416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种针对微光图像的多曝光动态范围增强方法，针对一组经过配准、对同一景物、连续多曝光成像的微光图像序列，对于不同曝光时间的原始图像，首先，逐像素计算对比度、纹理和曝光适度三种权重因子，三者加权相乘并归一化得到不同曝光时间对应的权重图；其次，将不同曝光时间的原始图像进行拉普拉斯金字塔分解，将不同曝光时间对应的权重图进行高斯金字塔分解；再次，逐层将不同曝光时间的高斯金字塔权重系数与拉普拉斯金字塔进行加权平均，融合得到新的拉普拉斯金字塔；最后，对融合后的拉普拉斯金字塔进行重建，最终得到融合后的目标场景高动态范围微光图像。

Description

一种针对微光图像的多曝光动态范围增强方法
技术领域
本发明涉及一种针对微光图像的多曝光动态范围增强方法，属于图像处理领域。
背景技术
图像传感器在工业检测、医疗诊断、军事探测、航天航空等领域都有着广泛应用。自上世纪60年代起，图像传感器开始被装设在飞机、空艇及卫星等航空、航天平台，其获取的地面影像可用于军事侦察、地图测绘等。当前航空、航天遥感常用的探测器，如时间延迟积分电荷耦合器件(Time Delay Integration Charge Coupled Device，TDICCD)探测器、CMOS(Complementary Metal Oxide Semiconductor)探测器等，动态范围大都在60dB，与实际的目标场景中大于180dB的动态范围相比差距较大，因此，直接使用这类探测器会损失很多目标场景中的信息。夜间探测对于军事侦察具有极为重要的战略意义，然而动态范围问题在监测夜间场景时更为突出。夜间获取的微光图像亮度和对比度均明显偏低，局部细节信息容易被隐藏，从而导致航空航天遥感探测系统无法对所获取的夜间彩色图像进行更深入的研究。目前已有研究人员尝试提高探测器本身的动态范围，但仍然存在暗噪声大，信号干扰强等多种问题，设计与流片远未达到成熟可应用的程度。此外，宽动态范围器件本身也存在着成本高的问题。传统图像处理领域往往采用多曝光图像融合方法，即对多张不同曝光时间的图片进行融合处理，同时获取低曝光图像中的高亮区域以及高曝光图像中的低暗区域的信息。
发明内容
本发明解决的技术问题是：针对目前现有技术中，传统图像处理领域采用的多曝光图像融合方法存在多种缺陷的情况，提出了一种针对微光图像的多曝光动态范围增强方法。
本发明解决上述技术问题是通过如下技术方案予以实现的：
一种针对微光图像的多曝光动态范围增强方法，包括：
对一组微光图像序列进行对比度因子C、纹理T、曝光适度E的逐像素计算；
将对比度因子C、纹理T、曝光适度E进行加权相乘及归一化，确定第k幅图像像素坐标为(i,j)处的权重
Figure BDA0003721445140000021
对微光图像序列中各幅输入图像的灰度值Lk进行拉普拉斯金字塔分解，对各幅输入图像的权重
Figure BDA0003721445140000022
进行高斯金字塔分解；
将高斯金字塔分解结果与拉普拉斯金字塔分解结果进行加权平均；
对加权平均结果进行拉普拉斯金字塔逆变换，获取逆变换最终结果，作为一组目标场景高动态范围微光图像。
所述微光图像序列经过配准，对同一景物进行连续多曝光成像，各组微光图像序列的输入图像数量均为N，对比度因子C的计算方法为：
对每幅输入的图像进行拉普拉斯滤波，取滤波结果的绝对值作为像素坐标为(i,j)处的对比度因子：
Ck(i,j)＝|▽2Lk(i,j)|
式中，Ck(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的对比度因子，▽2为拉普拉斯算符，Lk(i,j)为第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的灰度值。
纹理T的计算方法为：对于任一输入图像的某个像素(i,j)，取滑动窗口大小为10×10，计算像素(i,j)作为中心的窗口图像的归一化灰度共生矩阵
Figure BDA0003721445140000023
根据归一化灰度共生矩阵的角二阶距作为像素(i,j)的纹理T。
灰度共生矩阵Hk,i,j具体表示为：
Hk,i,j(r,c)＝P(G(m,n)＝r|G(m+dm,n+dn)＝c)
式中，G表示滑动窗口所对应的图像灰度值矩阵。
归一化灰度共生矩阵
Figure BDA0003721445140000031
具体表示为：
Figure BDA0003721445140000032
角二阶距Tk(i,j)具体表示为：
Figure BDA0003721445140000033
式中，Tk(i,j)表示第k幅图像像素坐标为(i,j)处的纹理因子，角二阶距Tk(i,j)即为像素(i,j)的纹理T。
曝光适度E的计算方法为：通过多尺度Retinex算法处理各幅输入图像，获取第k幅图像的反射度图像Rk，像素(i,j)所在反射度图像Rk(i,j)具体表示为：
Figure BDA0003721445140000034
Figure BDA0003721445140000035
式中，Nr表示尺度的数量，
Figure BDA0003721445140000036
表示尺度nr对应的加权系数，δ1、δ2、δ3均取固定值，
Figure BDA0003721445140000037
表示滤波函数在像素(i,j)处的数值；
令
Figure BDA0003721445140000038
每幅输入图像在像素(i,j)处的曝光适度因子评估公式为：
Figure BDA0003721445140000039
式中，Ek(i,j)表示第k幅图像像素坐标为(i,j)处的曝光适度因子，σ取固定值。
第k幅图像像素坐标为(i,j)处的权重
Figure BDA00037214451400000310
的确定方法为：
Figure BDA00037214451400000311
Figure BDA00037214451400000312
式中，ωC、ωT、ωE分别对应对比度因子C、纹理T、曝光适度E的权重。
高斯金字塔分解方法为：
先将待分解的输入图像作为高斯金字塔第0层GP0，利用低通滤波器ψ进行卷积，对卷积后的图像进行下采样以去除偶数行和列，从而获取上一层图像，再将上一层图像作为输入图像重复进行卷积和下采样操作，直到迭代至金字塔顶层，其中：
Figure BDA0003721445140000041
1≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
式中，GPl(rG,cG)表示第l层高斯金字塔图像像素坐标为(rG,cG)处的值，P_Height为金字塔分解总层数，Rowl，Coll分别为第l层高斯金字塔图像的列数和行数；
金字塔分解总层数P_Height的确定方法为：
P_Height＝log2[min(H,W)]
式中，H、W分别为待分解图像的高度、宽度；
低通滤波器ψ表示为：
Figure BDA0003721445140000042
拉普拉斯金字塔分解方法为：
针对待分解的输入图像先进行高斯金字塔分解获取图像序列GP0，GP1，…，GPP_Height，再对分解结果进行扩展预测得到图像序列GP0 *，GP1 *，…，GP* P_Height，将两组图像序列相应求差确定拉普拉斯金字塔的分解图像；
对分解结果进行扩展预测的方法为：
预测在下采样前的第l-1层高斯分解图像GPl-1，对第l层图像GPl进行扩展插值后再用低通滤波器ψ进行卷积，得到预测图像GPl *，其中：
Figure BDA0003721445140000051
0≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
Figure BDA0003721445140000052
式中，GPl *(rL,cL)表示第l层拉普拉斯金字塔图像像素坐标为(rL,cL)处的值，GPl与GPl *的差值为第l层拉普拉斯金子塔图像LPl。
加权平均公式为：
Figure BDA0003721445140000053
式中，GPk,l表示第k幅权重图像的第l层高斯金字塔分解结果，LPk,l表示第k幅原始图像的第l层拉普拉斯金字塔分解结果，LPl out表示第l层的加权平均结果。
拉普拉斯金字塔逆变换由金字塔顶层LPout P_Height开始，进行上采样后与下一层图像LPout P_Height-1相加，持续上采样及叠加处理至最后一层获取逆变换最终结果，此结果即为一组目标场景高动态范围微光图像。
本发明与现有技术相比的优点在于：
(1)本发明提供的一种针对微光图像的多曝光动态范围增强方法，对多曝光图像序列逐像素计算对比度、纹理、曝光适度三种权重因子，对于曝光适度因子，首先通过多尺度Retinex算法处理图像序列以恢复图像的真实色彩和细节，再取图像序列的retinex处理结果的均值作为理想曝光情况的标准，最后根据像素值与理想曝光标准的差值决定曝光程度，避免了人工选取固定值引入的误差；
(2)本发明将对比度、纹理、曝光适度三种权重因子加权相乘并归一化得到不同曝光时间对应的权重图，并分别通过高斯金字塔分解、拉普拉斯金字塔进行加权平均，获取拉普拉斯金字塔逆变换后的目标场景高动态范围微光图像，从而提升微光场景的动态范围，增加图像信息量，为后续图像解译提供支持。
附图说明
图1为发明提供的多曝光动态范围增强方法流程图；
具体实施方式
一种针对微光图像的多曝光动态范围增强方法，针对一组经过配准、对同一景物、连续多曝光成像的微光图像序列，对于不同曝光时间的原始图像，首先，逐像素计算对比度、纹理和曝光适度三种权重因子，三者加权相乘并归一化得到不同曝光时间对应的权重图；其次，将不同曝光时间的原始图像进行拉普拉斯金字塔分解，将不同曝光时间对应的权重图进行高斯金字塔分解；再次，逐层将不同曝光时间的高斯金字塔权重系数与拉普拉斯金字塔进行加权平均，融合得到新的拉普拉斯金字塔；最后，对融合后的拉普拉斯金字塔进行重建，最终得到融合后的目标场景高动态范围微光图像。
具体步骤如下：
对一组微光图像序列进行对比度因子C、纹理T、曝光适度E的逐像素计算；
对对比度因子C、纹理T、曝光适度E进行加权相乘及归一化，确定第k幅图像像素坐标为(i,j)处的权重
Figure BDA0003721445140000061
对微光图像序列中各幅输入图像的灰度值Lk进行拉普拉斯金字塔分解，对各幅输入图像的权重
Figure BDA0003721445140000062
进行高斯金字塔分解；
将高斯金字塔分解结果与拉普拉斯金字塔分解结果进行加权平均；
对加权平均结果进行拉普拉斯金字塔逆变换，获取逆变换最终结果，作为一组目标场景高动态范围微光图像。
其中：
微光图像序列经过配准，对同一景物进行连续多曝光成像，各组微光图像序列的输入图像数量均为N，对比度因子C的计算方法为：
对每幅输入图像的进行拉普拉斯滤波，取滤波结果的绝对值作为像素坐标为(i,j)处的对比度因子：
Ck(i,j)＝|▽2Lk(i,j)|
式中，Ck(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的对比度因子，▽2为拉普拉斯算符，Lk(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的灰度值；
纹理T的计算方法为：对于任一输入图像的某个像素(i,j)，取滑动窗口大小为10×10，计算像素(i,j)作为中心的窗口图像的归一化灰度共生矩阵
Figure BDA0003721445140000071
根据归一化灰度共生矩阵的角二阶距作为像素(i,j)的纹理T；
灰度共生矩阵Hk,i,j具体表示为：
Hk,i,j(r,c)＝P(G(m,n)＝r|G(m+dm,n+dn)＝c)
式中，G表示滑动窗口所对应的图像灰度值矩阵。
归一化灰度共生矩阵
Figure BDA0003721445140000072
具体表示为：
Figure BDA0003721445140000073
角二阶距Tk(i,j)具体表示为：
Figure BDA0003721445140000074
式中，Tk(i,j)表示第k幅图像像素坐标为(i,j)处的纹理因子，角二阶距Tk(i,j)即为像素(i,j)的纹理T；
曝光适度E的计算方法为：通过多尺度Retinex算法处理各幅输入图像，获取第k幅图像的反射度图像Rk，像素(i,j)所在反射度图像Rk(i,j)具体为：
Figure BDA0003721445140000075
Figure BDA0003721445140000076
式中，Nr表示尺度的数量，
Figure BDA0003721445140000081
表示尺度nr对应的加权系数，δ1、δ2、δ3均取固定值，
Figure BDA0003721445140000082
表示滤波函数在像素(i,j)处的数值；
令
Figure BDA0003721445140000083
每幅输入图像于像素(i,j)处的曝光适度因子评估公式为：
Figure BDA0003721445140000084
式中，Ek(i,j)表示第k幅图像像素坐标为(i,j)处的曝光适度因子，σ取固定值；
第k幅图像像素坐标为(i,j)处的权重
Figure BDA0003721445140000085
的确定方法为：
Figure BDA0003721445140000086
Figure BDA0003721445140000087
式中，ωC、ωT、ωE分别对应对比度因子C、纹理T、曝光适度E的权重；
高斯金字塔分解方法为：
将待分解的输入图像作为高斯金字塔第0层GP0，利用低通滤波器ψ进行卷积，对卷积后的图像进行下采样去除偶数行和列以获取上一层图像，将上一层图像作为输入图像重复进行卷积和下采样操作，直到迭代至金字塔顶层，其中：
Figure BDA0003721445140000088
1≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
式中，GPl(rG,cG)表示第l层高斯金字塔图像像素坐标为(rG,cG)处的值，P_Height表示金字塔分解总层数，Rowl，Coll分别表示第l层高斯金字塔图像的列数和行数；
金字塔分解总层数P_Height的确定方法为：
P_Height＝log2[min(H,W)]
式中，H、W分别表示待分解图像的高度、宽度；
低通滤波器ψ表示为：
Figure BDA0003721445140000091
拉普拉斯金字塔分解方法为：
将待分解的输入图像先进行高斯金字塔分解获取图像序列GP0，GP1，…，GPP_Height，再对分解结果进行扩展预测得到图像序列GP0 *，GP1 *，…，GP* P_Height，将两组图像序列相应求差确定拉普拉斯金字塔的分解图像；
对分解结果进行扩展预测的方法为：
预测在下采样前的第l-1层高斯分解图像GPl-1，对第l层图像GPl进行扩展插值后再用低通滤波器ψ进行卷积，得到预测图像GPl *，其中：
Figure BDA0003721445140000092
0≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
Figure BDA0003721445140000093
式中，GPl *(rL,cL)表示第l层拉普拉斯金字塔图像像素坐标为(rL,cL)处的值，GPl与GPl *的差值表示第l层拉普拉斯金子塔图像LPl；
加权平均公式为：
Figure BDA0003721445140000094
式中，GPk,l表示第k幅权重图像的第l层高斯金字塔分解结果，LPk,l表示第k幅原始图像的第l层拉普拉斯金字塔分解结果，LPl out表示第l层的加权平均结果；
拉普拉斯金字塔逆变换由金字塔顶层LPout P_Height开始，进行上采样后与下一层图像LPout P_Height-1相加，持续上采样及叠加处理至最后一层获取逆变换最终结果作为一组目标场景高动态范围微光图像。
下面根据具体实施例进行进一步说明：
在当前实施例中，如图1所示，步骤一：针对一组经过配准、对同一景物、连续多曝光成像的微光图像序列(输入图像数量为N)，逐像素计算对比度C、纹理T和曝光适度E三种权重因子。其中，对比度因子C的计算方法为：对每幅图像进行拉普拉斯滤波，取滤波结果的绝对值作为对比度因子，即：
Ck(i,j)＝|▽2Lk(i,j)|
式中Ck(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的对比度因子，▽2为拉普拉斯算符，Lk(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的灰度值。
纹理T的计算方法为：对于一幅图像的某个像素(i,j)，取滑动窗口大小为10×10，计算像素(i,j)作为中心的窗口图像的归一化灰度共生矩阵
Figure BDA0003721445140000101
灰度共生矩阵中元素Hk,i,j(r,c)表示“当窗口图像的某一像素点(m+dm,n+dn)的灰度值为r时，窗口图像像素点(m,n)的灰度值是c”这一事件的发生概率，即：
Hk,i,j(r,c)＝P(G(m,n)＝r|G(m+dm,n+dn)＝c)
式中G表示滑动窗口所对应的图像灰度值矩阵。归一化灰度共生矩阵
Figure BDA0003721445140000102
具体表示为：
Figure BDA0003721445140000103
取归一化灰度共生矩阵的角二阶距作为像素(i,j)的纹理特征。角二阶距是灰度共生矩阵各个元素的平方和，即：
Figure BDA0003721445140000111
式中Tk(i,j)表示第k幅图像像素坐标为(i,j)处的纹理因子，
Figure BDA0003721445140000112
表示归一化灰度共生矩阵第r行第c列的值。
曝光适度E的计算方法为：通过多尺度Retinex算法处理每幅图像，得到第k幅图像的反射度图像Rk，即：
Figure BDA0003721445140000113
Figure BDA0003721445140000114
式中Nr表示尺度的数量，一般取大、中、小三个尺度，
Figure BDA0003721445140000115
表示尺度nr对应的加权系数，一般取
Figure BDA0003721445140000116
δ1、δ2、δ3分别取15、80、250，
Figure BDA0003721445140000117
表示滤波函数在像素(i,j)处的数值。
令
Figure BDA0003721445140000118
则每幅图像的曝光适度因子采用下式进行评估：
Figure BDA0003721445140000119
式中Ek(i,j)表示第k幅图像像素坐标为(i,j)处的曝光适度因子，σ取0.2。
三种权重因子加权相乘并进行归一化，得到第k幅图像像素坐标为(i,j)处的权重
Figure BDA00037214451400001110
即：
Figure BDA00037214451400001111
Figure BDA00037214451400001112
式中ωC、ωT、ωE分别用于控制对比度C、纹理T和曝光适度E三种权重因子的影响程度，一般均取1，可根据实际情况进行调整。
步骤二：对每幅原始图像Lk(i,j)进行拉普拉斯金字塔分解，对每幅权重图像
Figure BDA0003721445140000121
进行高斯金字塔分解。
高斯金字塔分解过程为，将待分解的权重图像作为最底层(即高斯金字塔第0层，GP0)，利用低通滤波器ψ对其进行卷积，然后对卷积后的图像进行下采样(去除偶数行和列)得到上一层图像，再将其作为输入重复卷积和下采样操作，直到迭代至金字塔顶层。公式表达为
Figure BDA0003721445140000122
1≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
式中GPl(rG,cG)表示第l层高斯金字塔图像像素坐标为(rG,cG)处的值，P_Height表示金字塔分解总层数，Rowl，Coll分别表示第l层高斯金字塔图像的列数和行数。
金字塔分解总层数P_Height由下式确定，H、W分别表示待分解图像的高度、宽度：
P_Height＝log2[min(H,W)]
低通滤波器ψ可表示为：
Figure BDA0003721445140000123
拉普拉斯金字塔分解过程为，先对图像进行高斯金字塔分解得到图像序列GP0，GP1，…，GPP_Height，再对分解结果进行扩展预测得到图像序列GP0 *，GP1 *，…，GP* P_Height，两组图像序列相应求差即可得到拉普拉斯金字塔的分解图像。高斯金字塔的扩展预测是指预测在下采样前的第l-1层高斯分解图像GPl-1，首先对第l层图像GPl进行扩展插值后再用低通滤波器ψ进行卷积，得到预测图像GPl *，即：
Figure BDA0003721445140000131
0≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
Figure BDA0003721445140000132
式中GPl *(rL,cL)表示第l层拉普拉斯金字塔图像像素坐标为(rL,cL)处的值。GPl与GPl *的差值即为第l层拉普拉斯金子塔图像LPl。
步骤三：将权重图像高斯金字塔分解结果与原始图像拉普拉斯金字塔分解结果进行加权平均，即：
Figure BDA0003721445140000133
式中GPk,l表示第k幅权重图像的第l层高斯金字塔分解结果，LPk,l表示第k幅原始图像的第l层拉普拉斯金字塔分解结果，LPl out表示第l层的加权平均结果。
步骤四：对步骤三得到的加权平均结果进行拉普拉斯金字塔逆变换。逆变换过程从金字塔顶层LPout P_Height开始，对其进行上采样后与下一层图像LPout P_Height-1相加，叠加直至最后一层得到逆变换最终结果。该结果即为最终的目标场景高动态范围微光图像。
本发明提供的一种针对微光图像的多曝光动态范围增强方法，在现有传统算法的基础上，针对微光图像因光线不足而存在的细节缺失、噪声明显等问题加以改进。本发明对多曝光图像序列逐像素计算对比度、纹理、曝光适度三种权重因子，但对于曝光适度因子，传统方法以像素值远离某一固定值(一般为0.5)的远近程度衡量曝光程度，而本发明首先通过多尺度Retinex算法处理图像序列以恢复图像的真实色彩和细节，再取图像序列的retinex处理结果的均值作为理想曝光情况的标准，最后根据像素值与理想曝光标准的差值决定曝光程度，避免了人工选取固定值引入的误差。对比度、纹理、曝光适度三种权重因子加权相乘并归一化得到不同曝光时间对应的权重图，并分别通过高斯金字塔分解、拉普拉斯金字塔进行加权平均，获取拉普拉斯金字塔逆变换后的目标场景高动态范围微光图像，从而提升微光场景的动态范围，增加图像信息量，为后续图像解译提供支持。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。

Claims (10)

1.一种针对微光图像的多曝光动态范围增强方法，其特征在于包括：
对一组微光图像序列进行对比度因子C、纹理T、曝光适度E的逐像素计算；
将对比度因子C、纹理T、曝光适度E进行加权相乘及归一化，确定第k幅图像像素坐标为(i,j)处的权重
Figure FDA0003721445130000011
对微光图像序列中各幅输入图像的灰度值Lk进行拉普拉斯金字塔分解，对各幅输入图像的权重
Figure FDA0003721445130000012
进行高斯金字塔分解；
将高斯金字塔分解结果与拉普拉斯金字塔分解结果进行加权平均；
对加权平均结果进行拉普拉斯金字塔逆变换，获取逆变换最终结果，作为一组目标场景高动态范围微光图像。
2.根据权利要求1所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
所述微光图像序列经过配准，对同一景物进行连续多曝光成像，各组微光图像序列的输入图像数量均为N，对比度因子C的计算方法为：
对每幅输入的图像进行拉普拉斯滤波，取滤波结果的绝对值作为像素坐标为(i,j)处的对比度因子：
Figure FDA0003721445130000013
式中，Ck(i,j)表示第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的对比度因子，
Figure FDA0003721445130000014
为拉普拉斯算符，Lk(i,j)为第k幅图像(k＝1,2,...,N)像素坐标为(i,j)处的灰度值。
3.根据权利要求2所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
纹理T的计算方法为：对于任一输入图像的某个像素(i,j)，取滑动窗口大小为10×10，计算像素(i,j)作为中心的窗口图像的归一化灰度共生矩阵
Figure FDA0003721445130000015
根据归一化灰度共生矩阵的角二阶距作为像素(i,j)的纹理T。
4.根据权利要求3所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
灰度共生矩阵Hk,i,j具体表示为：
Hk,i,j(r,c)＝P(G(m,n)＝r|G(m+dm,n+dn)＝c)
式中，G表示滑动窗口所对应的图像灰度值矩阵。
归一化灰度共生矩阵
Figure FDA0003721445130000021
具体表示为：
Figure FDA0003721445130000022
角二阶距Tk(i,j)具体表示为：
Figure FDA0003721445130000023
式中，Tk(i,j)表示第k幅图像像素坐标为(i,j)处的纹理因子，角二阶距Tk(i,j)即为像素(i,j)的纹理T。
5.根据权利要求4所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
曝光适度E的计算方法为：通过多尺度Retinex算法处理各幅输入图像，获取第k幅图像的反射度图像Rk，像素(i,j)所在反射度图像Rk(i,j)具体表示为：
Figure FDA0003721445130000024
Figure FDA0003721445130000025
式中，Nr表示尺度的数量，
Figure FDA0003721445130000026
表示尺度nr对应的加权系数，δ1、δ2、δ3均取固定值，
Figure FDA0003721445130000027
表示滤波函数在像素(i,j)处的数值；
令
Figure FDA0003721445130000028
每幅输入图像在像素(i,j)处的曝光适度因子评估公式为：
Figure FDA0003721445130000031
式中，Ek(i,j)表示第k幅图像像素坐标为(i,j)处的曝光适度因子，σ取固定值。
6.根据权利要求5所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
第k幅图像像素坐标为(i,j)处的权重
Figure FDA0003721445130000032
的确定方法为：
Figure FDA0003721445130000033
Figure FDA0003721445130000034
式中，ωC、ωT、ωE分别对应对比度因子C、纹理T、曝光适度E的权重。
7.根据权利要求6所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
高斯金字塔分解方法为：
先将待分解的输入图像作为高斯金字塔第0层GP0，利用低通滤波器ψ进行卷积，对卷积后的图像进行下采样以去除偶数行和列，从而获取上一层图像，再将上一层图像作为输入图像重复进行卷积和下采样操作，直到迭代至金字塔顶层，其中：
Figure FDA0003721445130000035
1≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
式中，GPl(rG,cG)表示第l层高斯金字塔图像像素坐标为(rG,cG)处的值，P_Height为金字塔分解总层数，Rowl，Coll分别为第l层高斯金字塔图像的列数和行数；
金字塔分解总层数P_Height的确定方法为：
P_Height＝log2[min(H,W)]
式中，H、W分别为待分解图像的高度、宽度；
低通滤波器ψ表示为：
Figure FDA0003721445130000041
8.根据权利要求7所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
拉普拉斯金字塔分解方法为：
针对待分解的输入图像先进行高斯金字塔分解获取图像序列GP0，GP1，…，GPP_Height，再对分解结果进行扩展预测得到图像序列GP0 *，GP1 *，…，GP* P_Height，将两组图像序列相应求差确定拉普拉斯金字塔的分解图像；
对分解结果进行扩展预测的方法为：
预测在下采样前的第l-1层高斯分解图像GPl-1，对第l层图像GPl进行扩展插值后再用低通滤波器ψ进行卷积，得到预测图像GPl *，其中：
Figure FDA0003721445130000042
0≤l≤P_Height,0＜rG＜Rowl,0＜cG＜Coll
Figure FDA0003721445130000043
式中，GPl *(rL,cL)表示第l层拉普拉斯金字塔图像像素坐标为(rL,cL)处的值，GPl与GPl *的差值为第l层拉普拉斯金子塔图像LPl。
9.根据权利要求8所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
加权平均公式为：
Figure FDA0003721445130000051
式中，GPk,l表示第k幅权重图像的第l层高斯金字塔分解结果，LPk,l表示第k幅原始图像的第l层拉普拉斯金字塔分解结果，LPl out表示第l层的加权平均结果。
10.根据权利要求9所述的一种针对微光图像的多曝光动态范围增强方法，其特征在于：
拉普拉斯金字塔逆变换由金字塔顶层LPout P_Height开始，进行上采样后与下一层图像LPout P_Height-1相加，持续上采样及叠加处理至最后一层获取逆变换最终结果，此结果即为一组目标场景高动态范围微光图像。
CN202210762526.8A 2022-06-29 2022-06-29 一种针对微光图像的多曝光动态范围增强方法 Pending CN115170416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210762526.8A CN115170416A (zh) 2022-06-29 2022-06-29 一种针对微光图像的多曝光动态范围增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210762526.8A CN115170416A (zh) 2022-06-29 2022-06-29 一种针对微光图像的多曝光动态范围增强方法

Publications (1)

Publication Number Publication Date
CN115170416A true CN115170416A (zh) 2022-10-11

Family

ID=83489792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210762526.8A Pending CN115170416A (zh) 2022-06-29 2022-06-29 一种针对微光图像的多曝光动态范围增强方法

Country Status (1)

Country Link
CN (1) CN115170416A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备
WO2024094222A1 (zh) * 2022-11-02 2024-05-10 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290703A1 (en) * 2009-05-14 2010-11-18 National University Of Singapore Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN113610839A (zh) * 2021-08-26 2021-11-05 北京中星天视科技有限公司 红外目标显著性检测方法、装置、电子设备和介质
CN114331939A (zh) * 2021-12-30 2022-04-12 安徽大学 同态滤波的细节增强多曝光图像融合方法及可存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290703A1 (en) * 2009-05-14 2010-11-18 National University Of Singapore Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN113610839A (zh) * 2021-08-26 2021-11-05 北京中星天视科技有限公司 红外目标显著性检测方法、装置、电子设备和介质
CN114331939A (zh) * 2021-12-30 2022-04-12 安徽大学 同态滤波的细节增强多曝光图像融合方法及可存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG L等: "Multi-exposure image fusion based on feature evaluation with adaptive factor", IET IMAGE PROCESSING, vol. 15, no. 3, 15 August 2021 (2021-08-15), pages 3211 - 3220 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024094222A1 (zh) * 2022-11-02 2024-05-10 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及系统
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Similar Documents

Publication Publication Date Title
CN105657402B (zh) 一种深度图恢复方法
CN114529817B (zh) 基于注意力神经网络的无人机光伏故障诊断及定位方法
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
CN115170416A (zh) 一种针对微光图像的多曝光动态范围增强方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN108876829B (zh) 基于非线性尺度空间及径向基函数的sar高精度配准方法
CN112967327A (zh) 基于联合自注意力机制的单目深度方法
CN113744134A (zh) 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN101540043A (zh) 单幅图像复原的解析迭代快速频谱外推方法
CN115326809A (zh) 一种隧道衬砌表观裂纹检测方法及检测装置
CN115587946A (zh) 一种基于多尺度网络的遥感影像去雾方法
CN116485885A (zh) 基于深度学习去除视觉slam前端动态特征点的方法
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN112184700B (zh) 基于单目相机的农业无人车障碍物感知方法及装置
CN118212129A (zh) 基于双线性解混的高光谱遥感图像多源融合超分方法
CN118505572B (zh) 一种由粗到细的多尺度双支路图像曝光校正方法
CN114078149B (zh) 一种图像估计方法、电子设备及存储介质
CN110660022A (zh) 一种基于曲面拟合的图像超分辨率重建方法
CN108171731B (zh) 一种顾及拓扑几何多要素约束的最小影像集自动优选方法
CN116012265A (zh) 基于时空域自适应滤波的红外视频降噪方法和装置
Ali et al. A comparative study of various image dehazing techniques
CN113192020A (zh) 一种面向小数据集的非局部自适应多视方法及系统
Tang et al. Image edge detection based on interval type-2 fuzzy similarity
CN117853582B (zh) 一种基于改进Faster R-CNN的星敏感器快速星像提取方法
CN111489308B (zh) 一种实时长波红外透雾性能增强算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination