CN106600572A - 一种自适应的低照度可见光图像和红外图像融合方法 - Google Patents

Abstract

本发明涉及一种自适应的低照度可见光图像和红外图像融合方法，属于数字图像处理领域。包括图像预处理、NSCT变换、频域系数融合和NSCT逆变换部分，主要实现亮度图像和红外可见光图像的多尺度分解，提取各自的高频分量和低频分量，根据高频和低频分量的特点，选择不同的融合准则，进行频域的融合，NSCT逆变换部分，主要是对得到的融合高频分量和低频分量，进行多尺度逆变换，得到融合后的灰度图像，最后将融合后的灰度图像和原始彩色可见光图像加权得到最终的彩色融合图像。本发明能够有效保留更多原始图像的细节信息，提高融合图像的对比度和清晰度，可广泛应用于智能交通、视频监控、医学诊断、目标探测、国防安全等领域。

Description

一种自适应的低照度可见光图像和红外图像融合方法

技术领域

本发明属于数字图像处理领域。

背景技术

随着传感器技术的快速发展，图像融合技术的研究逐渐成为当今研究的热点领域。不同种类的传感器，捕获场景的图像信息通常差别较大。除此之外，单一传感器获得的信息量有限，难以满足人们的应用需求。图像融合技术，是将两个或两个以上的传感器获取的图像信息进行合并，产生一幅新的图像。融合后的新图像具有细节信息丰富、对比度高等优点，广泛应用于医学诊断、目标识别与跟踪、视频监控、智能交通、国防安全等各个领域，具有较高的社会应用价值。融合准则的确定、融合图像质量的提高和原始图像的配准等问题，仍然是图像融合领域技术难点。

图像融合技术主要分为基于像素点分析的融合方法、基于特征计算的融合方法和基于决策分析的融合方法。其中，基于像素点分析的融合方法，直接对原图像对应像素点进行分析和综合处理，得到融合像素值，是图像融合领域应用最广泛、最简单的方法。基于传统小波变换的图像融合方法，由于方向性选择较差，易引入块效应，导致融合图像对比度低，不利于人眼的观察和判别。基于传统Contourlet变换的图像融合方法，由于融合准则选取不当，造成融合图像亮度动态范围小、细节信息缺失等问题，严重影响视觉系统的功能。

近年来，图像融合技术的研究关注度越来越高。低照度可见光图像，往往亮度低，不清晰，不便于目标的观测和识别。目前，基于像素点分析的图像融合方法，还未形成统一的数学模型，并且融合图像质量还有待进一步提高。传统图像融合方法，存在对比度低、亮度动态范围小、保留细节信息少等问题，并且大多数方法只针对灰度图像的融合，难以广泛应用于各个领域。

发明内容

本发明提出一种自适应的低照度可见光图像和红外图像融合方法，以解决融合图像对比度低、亮度动态范围小的问题。

本发明采取的技术方案是，包括下列步骤：

(1)、原始低照度可见光图像和红外图像的采集：

在低照度条件下，通过云台上的红外相机和可见光相机分别采集原始彩色可见光图像和红外图像，其分辨率均为640*480；

(2)、将得到的原始红外图像和彩色可见光图像，进行尺度不变特征点匹配：

根据原始红外图像和彩色可见光图像的尺度不变特征，进行图像配准，保证场景中的任意相同位置的像在采集的图像中也处于相同位置；

(3)、对于配准后的彩色可见光图像，利用HIS变换提取其亮度图像；根据红外传感器特性，增强配准后红外图像的对比度：

经过配准后，彩色可见光图像为三维图像，红外图像为二维图像，图像空间维数的不同，因此，采用颜色空间HIS变换，提取彩色可见光图像的亮度图像I_visible，其计算公式如(1)所示：

其中，I_r、I_g、I_b分别表示为低照度可见光图像的RGB三通道的像素值；

将红外图像进行像素亮度值取反，有利于增强红外图像的对比度；

I_IR＝L-I_ir (2)

其中，I_IR为去反后的红外图像，I_ir为配准后的红外图像，L为红外图像的灰度级，当红外图像的像素为8bit时，L＝2^8＝256；

(4)、采用NSCT变换，将亮度图像I_visible和红外图像I_IR进行多尺度分解，分别得到对应低频分量和高频分量：

包括两个部分：非子采样金字塔滤波器和非子采样方向滤波器组，非子采样金字塔滤波器组用于实现多尺度分解过程，非子采样方向滤波器组用于实现频域方向的分解；

非子采样金字塔滤波器组中，第k级非子采样金字塔滤波器，由下式可得：

非子采样金字塔滤波器还需满足Bezout恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (4)

其中H₀(z)、G₀(z)为非子采样金字塔滤波器的低通分解滤波器和合成滤波器；H₁(z)、G₁(z)为非子采样金字塔滤波器的高通分解滤波器和合成滤波器：

非子采样方向滤波器组，是由单个的扇形滤波器组成，对非子采样方向滤波器进行上采样操作，可以有效消除频谱混叠现象；

根据非子采样金字塔和非子采样方向滤波器组，对亮度图像和红外图像进行多尺度变换，提取对应的高频分量和低频分量其中，J≥d≥1，J表示图像的总分解层数，总分解层数越大，则算法运行的时间越长，为保证图像分解的多尺度和多方向特性，令J＝2，k＝[2,16]；

(5)采用不同的融合准则，对高频分量和低频分量分别进行融合，得到融合后的低频分量和高频分量；

低频分量反映原始图像的概貌信息，而高频分量表示的是图像的纹理细节信息，根据高频分量和低频分量的特点，分别采用不同的准则进行融合，得到融合后的高频分量和低频分量；

1)低频分量融合

对于步骤(4)得到的对应低频分量，采用自适应阈值融合准则得到融合后低频分量：

其中，为融合后的低频分量，I_TH为亮度阈值，w_th为权值系数，分别为亮度图像和红外图像的对应低频分量；

对于亮度图像和红外图像的低频分量，采用自适应阈值的融合准则，进行融合，当亮度图像的低频分量大于阈值时，选择亮度图像低频分量为融合后的低频分量，当亮度图像的低频分量小于等于阈值时，对亮度图像和红外图像的低频分量进行算术平均，计算可到融合后的低频分量；

2)高频分量融合

对于步骤(4)得到的对应高频分量，采用脉冲耦合神经网络点火次数选大的融合准则，得到融合后高频分量，脉冲耦合神经网络是由一个反馈型网络，由若干个神经元连接组成，每个神经元主要有接收部分、调制部分和脉冲产生器组成，高频分量系数为触发脉冲耦合神经网络的反馈输入，如式(7)所示：

其中，是反馈部分的输出，是输入信号，(i,j)表示像素位置，k表示第d层高频分量的方向数，n’为当前迭代次数；

脉冲耦合神经网络的连接部分，由式(8)可得。

其中是连接部分的输出，m和n是连接神经元的范围，V_L为归一化系数，W_ij,mn为连接的其他神经元的权重系数；

脉冲耦合神经网络内部运算过程，由式(9)和式(10)计算得到；

其中，是内部状态，β,a_θ和V_θ为固定系数，是阈值；

每次迭代过程如下式所示：

其中，X表示原始的亮度图像或者红外图像；N为总迭代次数；表示总的点火次数；

通过比较点火次数，选择点火次数大的对应的高频分量作为融合后高频分量：

对于亮度图像和红外图像的高频分量，采用基于脉冲耦合神经网络点火次数取大的准则进行融合，利用公式(7)，将对应高频分量触发脉冲耦合神经网络，并根据公式(9)-(12)计算得到对应的点火次数，由公式(13)通过比较点火次数，选择大的点火次数对应的高频分量作为融合后的高频分量；

(6)、将融合后的低频分量和高频分量进行NSCT逆变换，便得到融合后的灰度图像I_Gray-F；

对于原始图像为低照度灰度可见光图像和红外图像，通过多尺度逆变换，得到的灰度融合图像，保持了低照度区域红外图像信息，同时保留了低照度灰度图像的纹理信息，提高原始可见光灰度图像的对比度和清晰度，便于人眼更准确判断和识别场景中的人或其他目标物；

(7)、由步骤(6)得到的融合后灰度图像和配准后的彩色可见光图像进行权值求和，得到最终的彩色融合图像I_F；

其中，C表示R、G、B颜色通道；表示C颜色通道的原始可见光像素值；表示C通道最终的融合图像像素值，w为加权系数，一般w＝0.5。

低照度条件下，彩色可见光图像的平均亮度值较低，为保证彩色融合图像保留更多的可见光图像的色彩信息，通过公式(14)将步骤6中得到的灰度融合图像与原始彩色可见光图像进行权值求和，得到最终的彩色融合图像。

本发明具有下述有益效果：

(1)本发明是针对分辨率为640*480低照度可见光图像和红外图像进行频域融合，提高新图像对比度和清晰度的方法。

(2)可见光传感器一般情况下获取的图像具有丰富的彩色信息和细节信息，但是在低照度条件或其他恶劣天气(如:雾霾、沙尘天气)下，会丢失很多场景信息，不能全天候工作。红外传感器，通过目标热辐射，能够捕获隐藏的热目标，受到场景亮度和恶劣天气的影响较小，但是一般红外图像的对比度低，且无色彩信息，单一传感器，难以完全满足实际的工程应用。本发明采用NSCT变换，首先对原始图像进行多尺度分解，提取对应的高频分量和低频分量。然后，通过采用自适应阈值的融合准则对低频分量进行融合。利用基于脉冲耦合神经网络点火次数绝对值取大的融合准则，对高频分量进行融合。再通过NSCT逆变换和权值求和，得到新的融合图像，有效地去除方块效应，突出场景目标的细节信息，保留更多的细节信息和色彩信息，提高融合图像的对比度和清晰度，更加有利于人眼的观察和判别，可应用于低照度和恶劣天气情况，具有广泛的社会应用价值。

(3)本发明不仅适用于灰度图像的融合，还适用于彩色图像的融合，且原始图像分辨率大于640*480。

(4)本发明在视频监控、智能交通、医学诊断、机器视觉和国防安全等方面具有广泛的应用价值。

附图说明

图1为本发明应用例中算法流程图；

图2为本发明应用例中图像采集系统的云台示意图；

图3(a)为本发明应用例中场景1原始低照度彩色可见光图像；

图3(b)为本发明应用例中场景1原始红外图像；

图4(a)为本发明应用例中场景1经过特征配准后的亮度图像；

图4(b)为本发明应用例中场景1经过特征配准后的红外图像；

图5为应用例中场景1融合后的彩色融合图像；

图6(a)为本发明应用例中场景2原始低照度彩色可见光图像；

图6(b)为本发明应用例中场景2原始低照度红外图像；

图7(a)为本发明应用例中场景2经过特征配准后的亮度图像；

图7(b)为本发明应用例中场景2经过特征配准后的红外图像；

图8为本发明应用例中场景2融合后的彩色融合图像。

具体实施方式

包括下列步骤：

(1)、原始低照度可见光图像和红外图像的采集：

如图2所示，为本发明图像采集的云台系统，在低照度条件下，通过云台上的红外相机和可见光相机分别采集原始彩色可见光图像和红外图像，其分辨率均为640*480；

(2)、将得到的原始红外图像和彩色可见光图像，进行尺度不变特征点匹配：

由于相机位置不同、镜头焦距不同以及其他外界环境的影响，场景中同一位置的像在步骤(1)中采集的彩色可见光图像和红外图像中处于不同位置，因此，根据原始红外图像和彩色可见光图像的尺度不变特征，进行图像配准，保证场景中的任意相同位置的像在采集的图像中也处于相同位置；

(3)、对于配准后的彩色可见光图像，利用HIS变换提取其亮度图像；根据红外传感器特性，增强配准后红外图像的对比度：

经过配准后，彩色可见光图像为三维图像，红外图像为二维图像，图像空间维数的不同，会导致融合出错，因此，采用颜色空间HIS变换，提取彩色可见光图像的亮度图像I_visible，其计算公式如(1)所示：

其中，I_r、I_g、I_b分别表示为低照度可见光图像的RGB三通道的像素值；

红外传感器通过场景中目标物的红外辐射进行成像，往往目标物(如人)在图像中亮度值较高，但是在夜间低照度条件下，人眼观察到的目标物往往为低亮度。因此，将红外图像进行像素亮度值取反，有利于增强红外图像的对比度。

I_IR＝L-I_ir (2)

其中，I_IR为去反后的红外图像，I_ir为配准后的红外图像，L为红外图像的灰度级，当红外图像的像素为8bit时，L＝2^8＝256；

(4)、采用NSCT变换，将亮度图像I_visible和红外图像I_IR进行多尺度分解，分别得到对应低频分量和高频分量：

NSCT变换不仅具有Contourlet变换多分辨率、局部化、多方向性的特点，还具有平移不变性，能够消除Gibbs现象，包括两个部分：非子采样金字塔滤波器和非子采样方向滤波器组，非子采样金字塔滤波器组用于实现多尺度分解过程。非子采样方向滤波器组用于实现频域方向的分解；

非子采样金字塔滤波器组中，第k级非子采样金字塔滤波器，由下式可得：

非子采样金字塔滤波器还需满足Bezout恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (4)

其中H₀(z)、G₀(z)为非子采样金字塔滤波器的低通分解滤波器和合成滤波器；H₁(z)、G₁(z)为非子采样金字塔滤波器的高通分解滤波器和合成滤波器：

非子采样方向滤波器组，是由单个的扇形滤波器组成，为实现高频分量的方向平移不变性，去除了采样环节，在金字塔高层子带上，较低和较高频率上的方向响应，容易引发频谱混叠现象，对非子采样方向滤波器进行上采样操作，可以有效消除频谱混叠现象。

根据非子采样金字塔和非子采样方向滤波器组，对亮度图像和红外图像进行多尺度变换，提取对应的高频分量和低频分量其中，J≥d≥1，J表示图像的总分解层数。总分解层数越大，则算法运行的时间越长，为保证图像分解的多尺度和多方向特性，令J＝2，k＝[2,16]；

(5)采用不同的融合准则，对高频分量和低频分量分别进行融合，得到融合后的低频分量和高频分量；

低频分量反映原始图像的概貌信息，而高频分量表示的是图像的纹理细节信息，根据高频分量和低频分量的特点，分别采用不同的准则进行融合，得到融合后的高频分量和低频分量；

1)低频分量融合

对于步骤(4)得到的对应低频分量，采用自适应阈值融合准则得到融合后低频分量：

其中，为融合后的低频分量，I_TH为亮度阈值，w_th为权值系数，分别为亮度图像和红外图像的对应低频分量；

对于亮度图像和红外图像的低频分量，采用自适应阈值的融合准则，进行融合，低照度可见光图像，整体平均亮度值较低，其中，高亮度像素点大部分来源于背景光，如：汽车灯光、路灯或者其他照明设备等。通过实验，对应低频分量差值0.13％的最大值来源于背景光，通过公式(5)确定阈值，实例中取w＝0.75。由公式(6)可知，当亮度图像的低频分量大于阈值时，选择亮度图像低频分量为融合后的低频分量，当亮度图像的低频分量小于等于阈值时，对亮度图像和红外图像的低频分量进行算术平均，计算可到融合后的低频分量；

2)高频分量融合

对于步骤(4)得到的对应高频分量，采用脉冲耦合神经网络点火次数选大的融合准则，得到融合后高频分量，脉冲耦合神经网络是由一个反馈型网络，由若干个神经元连接组成，每个神经元主要有接收部分、调制部分和脉冲产生器组成，高频分量系数为触发脉冲耦合神经网络的反馈输入，如式(7)所示：

其中，是反馈部分的输出，是输入信号，(i,j)表示像素位置，k表示第d层高频分量的方向数，n’为当前迭代次数；

脉冲耦合神经网络的连接部分，由式(8)可得。

其中是连接部分的输出，m和n是连接神经元的范围，V_L为归一化系数，W_ij,mn为连接的其他神经元的权重系数；

脉冲耦合神经网络内部运算过程，由式(9)和式(10)计算得到；

其中，是内部状态，β,a_θ和V_θ为固定系数，是阈值；

每次迭代过程如下式所示：

其中，X表示原始的亮度图像或者红外图像；N为总迭代次数；表示总的点火次数；

通过比较点火次数，选择点火次数大的对应的高频分量作为融合后高频分量：

对于亮度图像和红外图像的高频分量，采用基于脉冲耦合神经网络点火次数取大的准则进行融合，利用公式(7)，将对应高频分量触发脉冲耦合神经网络，并根据公式(9)-(12)计算得到对应的点火次数，由公式(13)通过比较点火次数，选择大的点火次数对应的高频分量作为融合后的高频分量；

(6)、将融合后的低频分量和高频分量进行NSCT逆变换，便得到融合后的灰度图像I_Gray-F；

对于原始图像为低照度灰度可见光图像和红外图像，通过多尺度逆变换，得到的灰度融合图像，保持了低照度区域红外图像信息，同时保留了低照度灰度图像的纹理信息，提高原始可见光灰度图像的对比度和清晰度，便于人眼更准确判断和识别场景中的人或其他目标物；

(7)、由步骤(6)得到的融合后灰度图像和配准后的彩色可见光图像进行权值求和，得到最终的彩色融合图像I_F；

其中，C表示R、G、B颜色通道；表示C颜色通道的原始可见光像素值；表示C通道最终的融合图像像素值，w为加权系数，一般w＝0.5。

低照度条件下，彩色可见光图像的平均亮度值较低。为保证彩色融合图像保留更多的可见光图像的色彩信息，通过公式(14)将步骤6中得到的灰度融合图像与原始彩色可见光图像进行权值求和，得到最终的彩色融合图像。

下边结合具体应用例及附图来进一步说明本发明。

(1)、原始低照度可见光图像和红外图像的采集。

在低照度环境下，通过图2云台系统的红外相机和可见光相机，采集原始低照度可见光图像和红外图像，其分辨率均为640*480。如图2；

(2)、将得到的原始红外图像和彩色可见光图像，进行尺度不变特征点匹配；

(3)对于配准后的彩色可见光图像，利用HIS变换提取其亮度图像；根据红外传感器特性，增强配准后红外图像的对比度；

(4)采用NSCT变换，将亮度图像I_visible和红外图像I_IR进行多尺度分解，分别得到对应低频分量和高频分量；

(5)采用不同的融合准则，对高频分量和低频分量分别进行融合，得到融合后的低频分量和高频分量；

低频分量反映原始图像的概貌信息，而高频分量表示的是图像的纹理细节信息，根据高频分量和低频分量的特点，分别采用不同的准则进行融合，得到融合后的高频分量和低频分量；

对于亮度图像和红外图像的对应低频分量，采用自适应阈值的融合准则，进行融合，低照度可见光图像，整体平均亮度值较低，由公式(5)和公式(6)可得，当亮度图像的低频分量大于阈值时，选择亮度图像低频分量为融合后的低频分量，当亮度图像的低频分量小于等于阈值时，对亮度图像和红外图像的低频分量进行算术平均，计算可到融合后的低频分量；

对于亮度图像和红外图像的对应高频分量，采用基于脉冲耦合神经网络点火次数取大的准则进行融合，利用公式(7)，将对应高频分量触发脉冲耦合神经网络，并根据公式(8)-(12)计算得到对应的点火次数，由公式(13)通过比较点火次数，选择大的点火次数对应的高频分量作为融合后的高频分量；

(6)将融合后的低频分量和高频分量进行NSCT逆变换，便得到融合后的灰度图像I_Gray-F；、

(7)将步骤(6)得到的融合后灰度图像和配准后的彩色可见光图像进行权值求和，得到最终的彩色融合图像I_F；

低照度条件下，彩色可见光图像的平均亮度值较低，动态范围小，场景目标信息不清晰，如图3(a)和图6(a)所示，很难观测到场景中的行人、车辆的轮廓、树干等；而通过场景目标的红外辐射采集的红外图像，能够清晰观察到可见光传感器无法看到的目标信息，但是缺乏色彩信息，如图3(b)和图6(b)所示；

由图4所示，融合图像既有效保留了可见光图像中路灯、汽车尾灯及天空区域的色彩信息，又保留了红外图像中车的轮廓(如车轮部分)、行人、路灯的支撑杆等纹理细节信息，如图6所示，融合图像既有效保留了汽车的灯光、路灯、建筑物等色彩信息，又保留了红外图像中行人、树杆等纹理细节信息；因此，通过本发明的方法，对红外图像和彩色可见光图像进行有效融合，不仅可以保留了可见光图像的色彩信息，还可以得到红外图像场景目标的纹理细节信息，可广泛应用于视频监控、智能交通、国防安全等领域。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明的原理的技术方案均属于本方面的保护范围，对于本领域的技术人员而言，在不脱离本发明的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种自适应的低照度可见光图像和红外图像融合方法，其特征在于包括下列步骤：

(1)、原始低照度可见光图像和红外图像的采集：

在低照度条件下，通过云台上的红外相机和可见光相机分别采集原始彩色可见光图像和红外图像，

(2)、将得到的原始红外图像和彩色可见光图像，进行尺度不变特征点匹配：

根据原始红外图像和彩色可见光图像的尺度不变特征，进行图像配准，保证场景中的任意相同位置的像在采集的图像中也处于相同位置；

(3)、对于配准后的彩色可见光图像，利用HIS变换提取其亮度图像；根据红外传感器特性，增强配准后红外图像的对比度：

(4)、采用NSCT变换，将亮度图像I_visible和红外图像I_IR进行多尺度分解，分别得到对应低频分量和高频分量：

包括两个部分：非子采样金字塔滤波器和非子采样方向滤波器组，非子采样金字塔滤波器组用于实现多尺度分解过程，非子采样方向滤波器组用于实现频域方向的分解；

(5)采用不同的融合准则，对高频分量和低频分量分别进行融合，得到融合后的低频分量和高频分量；

低频分量反映原始图像的概貌信息，而高频分量表示的是图像的纹理细节信息，根据高频分量和低频分量的特点，分别采用不同的准则进行融合，得到融合后的高频分量和低频分量；

(6)、将融合后的低频分量和高频分量进行NSCT逆变换，便得到融合后的灰度图像I_Gray-F；

对于原始图像为低照度灰度可见光图像和红外图像，通过多尺度逆变换，得到的灰度融合图像，保持了低照度区域红外图像信息，同时保留了低照度灰度图像的纹理信息，提高原始可见光灰度图像的对比度和清晰度，便于人眼更准确判断和识别场景中的人或其他目标物；

(7)、由步骤(6)得到的融合后灰度图像和配准后的彩色可见光图像进行权值求和，得到最终的彩色融合图像I_F；

$I_F^C=I_{Gray-F}+w\×I_{Color-F}^C---\left(14\right)$

其中，C表示R、G、B颜色通道；表示C颜色通道的原始可见光像素值；表示C通道最终的融合图像像素值，w为加权系数；

低照度条件下，彩色可见光图像的平均亮度值较低，为保证彩色融合图像保留更多的可见光图像的色彩信息，通过公式(14)将步骤6中得到的灰度融合图像与原始彩色可见光图像进行权值求和，得到最终的彩色融合图像。

2.根据权利要求1所述的一种自适应的低照度可见光图像和红外图像融合方法，其特征在于：步骤(1)中采集原始彩色可见光图像和红外图像的分辨率均为640*480。

3.根据权利要求1所述的一种自适应的低照度可见光图像和红外图像融合方法，其特征在于：步骤(3)中，经过配准后，彩色可见光图像为三维图像，红外图像为二维图像，图像空间维数的不同，因此，采用颜色空间HIS变换，提取彩色可见光图像的亮度图像I_visible，其计算公式如(1)所示：

$L_{visible}=\frac{I_r+I_g+I_b}{3}---\left(1\right)$

其中，I_r、I_g、I_b分别表示为低照度可见光图像的RGB三通道的像素值；

将红外图像进行像素亮度值取反，有利于增强红外图像的对比度；

I_IR＝L-I_ir (2)

其中，I_IR为去反后的红外图像，I_ir为配准后的红外图像，L为红外图像的灰度级，当红外图像的像素为8bit时，L＝2^8＝256。

4.根据权利要求1所述的一种自适应的低照度可见光图像和红外图像融合方法，其特征在于，步骤(4)中：

非子采样金字塔滤波器组中，第k级非子采样金字塔滤波器，由下式可得：

$H_s^{eq}\left(z\right)=\left\{\begin{array}{cc}{H}_1\left(z^{2^{s-1}}\right)\underset{j=0}{\overset{s-2}{\Π}}{H}_0\left(z^{2^j}\right)& 2^k>s\≥1\\ \underset{j=0}{\overset{s-2}{\Π}}{H}_0\left(z^{2^j}\right)& s=2^k\end{array}\right.---\left(3\right)$

非子采样金字塔滤波器还需满足Bezout恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (4)

其中H₀(z)、G₀(z)为非子采样金字塔滤波器的低通分解滤波器和合成滤波器；H₁(z)、G₁(z)为非子采样金字塔滤波器的高通分解滤波器和合成滤波器：

非子采样方向滤波器组，是由单个的扇形滤波器组成，对非子采样方向滤波器进行上采样操作，可以有效消除频谱混叠现象。

根据非子采样金字塔和非子采样方向滤波器组，对亮度图像和红外图像进行多尺度变换，提取对应的高频分量和低频分量其中，J≥d≥1，J表示图像的总分解层数。总分解层数越大，则算法运行的时间越长，为保证图像分解的多尺度和多方向特性，令J＝2，k＝[2,16]。

5.根据权利要求1所述的一种自适应的低照度可见光图像和红外图像融合方法，其特征在于，步骤(5)低频分量融合方法如下：

对于步骤(4)得到的对应低频分量，采用自适应阈值融合准则得到融合后低频分量：

$I_{TH}=w_{th}\×max(I_{Visible}^J-I_{IR}^J)---\left(5\right)$

$I_F^{low}=\left\{\begin{array}{cc}{I}_{Visible}^J& I_{Visible}^J\≥I_{TH}\\ (I_{IR}^J+I_{Visible}^J)/2& otherwise\end{array}\right.---\left(6\right)$

其中，为融合后的低频分量，I_TH为亮度阈值，w_th为权值系数，分别为亮度图像和红外图像的对应低频分量；

对于亮度图像和红外图像的低频分量，采用自适应阈值的融合准则，进行融合，当亮度图像的低频分量大于阈值时，选择亮度图像低频分量为融合后的低频分量，当亮度图像的低频分量小于等于阈值时，对亮度图像和红外图像的低频分量进行算术平均，计算可到融合后的低频分量。

6.根据权利要求1所述的一种自适应的低照度可见光图像和红外图像融合方法，其特征在于，步骤(5)高频分量融合方法如下：

对于步骤(4)得到的对应高频分量，采用脉冲耦合神经网络点火次数选大的融合准则，得到融合后高频分量，脉冲耦合神经网络是由一个反馈型网络，由若干个神经元连接组成，每个神经元主要有接收部分、调制部分和脉冲产生器组成，高频分量系数为触发脉冲耦合神经网络的反馈输入，如式(7)所示：

$F_{i,j}^{d,k}\left(n^{\′}\right)=I_{i,j}^{d,k}---\left(7\right)$

其中，是反馈部分的输出，是输入信号，(i,j)表示像素位置，k表示第d层高频分量的方向数，n’为当前迭代次数；

脉冲耦合神经网络的连接部分，由式(8)可得。

$L_{i,j}^{d,k}\left(n^{\′}\right)=\exp (-a_L)L_{i,j}^{d,k}\left(n^{\′}\right)+V_L\underset{m,n}{\Σ}{W}_{ij,mn}{Y}_{ij,mn}^{d,k}(n^{\′}-1)---\left(8\right)$

其中是连接部分的输出，m和n是连接神经元的范围，V_L为归一化系数，W_ij,mn为连接的其他神经元的权重系数；

脉冲耦合神经网络内部运算过程，由式(9)和式(10)计算得到；

$U_{i,j}^{d,k}\left(n^{\′}\right)=E_{i,j}^{d,k}\left(n^{\′}\right)(1+{\mathrm{\βL}}_{i,j}^{d,k}(n^{\′}\left)\right)---\left(9\right)$

${\mathrm{\θ}}_{i,j}^{d,k}\left(n^{\′}\right)=\exp (-a_{\mathrm{\θ}}){\mathrm{\θ}}_{i,j}^{d,k}(n^{\′}-1)+V_{\mathrm{\θ}}{Y}_{i,j}^{d,k}(n^{\′}-1)---\left(10\right)$

其中，是内部状态，β,a_θ和V_θ为固定系数，是阈值；

每次迭代过程如下式所示：

$Y_{i,j}^{d,k}\left(n^{\′}\right)=\left\{\begin{array}{cc}1& U_{i,j}^{d,k}\left(n^{\′}\right)>{\mathrm{\θ}}_{i,j}^{d,k}\left(n^{\′}\right)\\ 0& otherwise\end{array}\right.---\left(11\right)$

$\begin{array}{cccc}{T}_{X,ij}^{d,k}=\underset{n^{\′}=1}{\overset{N}{\Σ}}{Y}_{i,j}^{d,k}\left(n^{\′}\right)& X=Visible& or& IR\end{array}---\left(12\right)$

其中，X表示原始的亮度图像或者红外图像；N为总迭代次数；表示总的点火次数；

通过比较点火次数，选择点火次数大的对应的高频分量作为融合后高频分量：

$I_F^{high}=\left\{\begin{array}{cc}{I}_{Visible}^{d,k}& T_{Visible,ij}^{d,k}\≥T_{IR,ij}^{d,k}\\ I_{IR}^{d,k}& otherwise\end{array}\right.---\left(13\right)$

对于亮度图像和红外图像的高频分量，采用基于脉冲耦合神经网络点火次数取大的准则进行融合，利用公式(7)，将对应高频分量触发脉冲耦合神经网络，并根据公式(9)-(12)计算得到对应的点火次数，由公式(13)通过比较点火次数，选择大的点火次数对应的高频分量作为融合后的高频分量。