CN104835129B - 一种使用局部窗口视觉注意提取的双波段图像融合方法 - Google Patents

Abstract

本发明公开了一种使用局部窗口视觉注意提取的双波段图像融合方法，包括如下步骤：（1）不同窗口尺度下的视觉注意图的提取；（2）视觉注意图基础上的融合。本发明方法针对可见光、红外双波段图像融合，考虑局部窗口对图像视觉注意图的提取，并设计多尺度框架下范围内的视觉注意图获取；进而利用简便的结合视觉注意图权重的方法实现不同尺度下的图像融合，并最终计算得到增强融合结果。在本发明方法中，只要输入已经配准的一幅红外图像与一幅可见光图像，即可迅速获取较好的增强融合图像。本发明方法可应用于多波段遥感成像、目标探测等等，可应用于双波段甚至多波段图像的增强融合。

Description

一种使用局部窗口视觉注意提取的双波段图像融合方法

技术领域

本发明涉及图像处理技术，尤其涉及一种使用局部窗口视觉注意提取的双波段图像融合方法。

背景技术

图像融合，简单意思就是指对工作于同一场景下的不同传感器所得图像进行综合--信息的统一表达，通过图像融合可以实现比单幅原图像具有更丰富的信息。图像融合作为现代成像技术的拓展手段，在军事探测、遥感测量、安全监控等诸多领域都有广泛应用。在不同波段成像中，各波段含有不同的特征信息，这就需要图像融合方法将两者信息综合起来。比如红外图像能突出重要的目标区域，而可见光图像包含丰富的细节信息，利用双波段融合方法可将两者的信息综合反映到一幅图像中，以便于人们观察。双波段图像融合方法是实现不同传感器信息综合的有效手段。

双波段图像融合旨在综合不同波段的图像信息，国内外学者提出过多种图像融合的方法与理论，很多方法能有效提取图像信息，融合结果具有良好的纹理及对比度特征，但易丢失细节。以多分辨率方法为例，其在计算中可能会引起吉布斯现象，并且计算速度也非常慢。

现有方法，在考虑视觉观察要求方面与计算速度方面综合不佳，因此，开发计算速度快，又能充分反映视觉观察要求(视觉感受好，信息保留量大)的双波段图像融合方法是当务之急。

发明内容

本发明提出一种使用局部窗口视觉注意提取的双波段图像融合方法，可从红外、可见光双波段图像，直接通过尺度选择下的视觉注意图计算，并进一步得到增强融合后的图像。

本发明的主要思路是：

1、局部图像灰度差异计算实现视觉注意图的提取

类比人眼视觉特性，本发明通过局部灰度差异法，凸显潜在的视觉感兴趣区域，产生一个视觉注意图V。在V中，其数值在[0,1]之间，如果该图中某一像素处越大则表示人眼对该处的注意程度越高。

本发明认为，在一定空间范围内，相同灰度值的像素与区域具有近似的视觉感受值。本发明同时认为，空间距离不同，对于视觉感受的贡献也是不同的，本发明具体包括以下步骤：

1、不同窗口尺度下的视觉注意图的提取，

输入双波段图像，即IR(红外图像)与VI(可见光图像)；

(1-a)、在局部区域内，定义图像f在像素(i,j)处的视觉注意程度值 V(i,j)如下：

在式(1)中，Ω是图像f中的某一个窗口区域，其尺寸为M×M，而(i,j)为区域Ω的中心即Ω_M；f_xy、f_ij表示f在(x,y)处与(i,j)处的灰度值；D(·)是灰度差异函数，其衡量的就是像素之间的灰度距离：D(f_ij,f_xy)＝|f_ij-f_xy|；

此外，上式中的w(ij,xy)代表空间权重，定义为：

其中_Ds(_ij,_xy)表示像素(x,y)与像素(i,j)的空间距离(用像素的数量表示)，而σ²称为伸缩系数，σ²越大，该权重的影响范围会更大，距离越远的像素(x,y) 对当前像素(i,j)的影响与贡献越多。从这个式子可以发现，(x,y)离(i,j)越近，f_xy对f_ij的影响越大，这就对应于：空间距离不同，对于视觉感受的贡献也是不同的。

采用公式(1)求取图像f在任意像素的视觉注意程度值，对获取的V进行归一化；而使用尺度选择下的视觉注意图计算，则在于区域窗口Ω尺寸(M×M) 的变化：随着尺寸M ×M 的变化，可获得不同尺度下视觉注意图V；也就是说，对于N个尺度，即从{M_k}(k＝1,2…N)中取窗口时，可以获取视觉注意图{V_k} (k＝1,2…N)；

(1-b)、IR(红外图像)与VI(可见光图像)多窗口的视觉注意图提取

通过步骤(1-a)，将IR代替f获取多窗口的视觉注意图同理获取多窗口的视觉注意图

2、视觉注意图基础上的融合

对于红外图像IR与可见光图像VI，利用局部图像灰度差异计算实现视觉注意图V^IR与V^VI的获取。而随着区域窗口Ω尺寸(M×M)的变化，即对于N个尺度，取不同的窗口大小{M_k}(k＝1,2…N)可以获取视觉注意图与

于是，在不同的尺度k下，图像融合结果为

而对于所有的尺度进行综合，获得了最终的融合结果F定义为：

于是，最终获取了增强融合结果F。

本发明方法针对可见光、红外双波段图像融合，考虑局部窗口对图像视觉注意图的提取，并设计多尺度框架下范围内的视觉注意图获取；进而利用简便的结合视觉注意图权重的方法实现不同尺度下的图像融合，并最终计算得到增强融合结果。在本发明方法中，只要输入已经配准的一幅红外图像与一幅可见光图像，即可迅速获取较好的增强融合图像。本发明方法可应用于多波段遥感成像、目标探测等等，可应用于双波段甚至多波段图像的增强融合。

附图说明

图1为本发明方法的操作流程框图；

图2a为红外观测图像；

图2b为可见光观测图像；

图2c为经本方面方法处理后获取的融合结果。

具体实施方式

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

利用本发明方法处理图像，如图1所示，输入原始红外观测图像与可见观测图像，即可得到增强融合结果。以图2a与图2b(观测图像)为例(以下分别称为IR与VI),采用窗口数量N＝6，即窗口大小{M_k}(k＝1,2…N) ＝{3,7,11,15,19,23},伸缩系数σ²＝3.5，其主要操作步骤如下：

1、不同窗口尺度下的视觉注意图的提取

(1)对于窗口大小{M_k}(k＝1,2…N)＝{3,7,11,15,19,23}，首先针对M₁＝3, 求取对应的视觉注意图，对于红外图像IR，有下面的步骤：

在局部区域内，本发明定义图像IR在像素(i,j)处的视觉注意程度值V₁ ^IR如下：

在上式中，Ω是图像IR中的某一个窗口区域，其尺寸为M₁×M₁即3×3，而(i,j) 为区域Ω的中心即Ω_M。IR_xy、IR_ij表示IR在(x,y)处与(i,j)处的灰度值。D(·) 是灰度差异函数，其衡量的就是像素之间的灰度距离：D(IR_ij,IR_xy)＝|IR_ij-IR_xy|。

此外，上式中的w代表空间权重，本发明中定义为：

其中_Ds(_ij,_xy)表示像素(x,y)与像素(i,j)的空间距离(用像素的数量表示)，而σ²为伸缩系数，为常数。

对获取的V₁ ^IR进行归一化。

于是，获取了窗口M₁＝3下的红外图像IR的视觉注意图V₁ ^IR，同理可以获取可见光图像VI的视觉注意图V₁ ^VI。

(2)变换窗口尺度大小获取多尺度的视觉注意图

根据(1)的情况，因此，变换窗口尺度大小，即k＝1,2…6时，取对应窗口大小{M_k}(k＝1…N)＝{3,7,11,15,19,23},对于红外图像IR与可见光图像VI，可以获取对应的视觉注意图与

2、视觉注意图基础上的融合

对于红外图像IR与可见光图像VI，利用步骤1计算实现视觉注意图V^IR与 V^VI的获取。

于是，在不同的尺度k下，图像融合结果为

而对于所有的尺度进行综合，获得了最终的融合结果F定义为：

于是，最终获取了增强融合结果F，如图2c所示，运行时间为0.09秒。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (1)

1.一种使用局部窗口视觉注意提取的双波段图像融合方法，其特征在于，包括如下步骤：

(1)、不同窗口尺度下的视觉注意图的提取，输入双波段图像，即红外图像IR与可见光图像VI；

(1-a)、在局部区域内，定义图像f在像素(i,j)处的视觉注意程度值V(i,j)如下：

<mrow> <mi>V</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>=</mo> <msub> <mi>&amp;Omega;</mi> <mi>M</mi> </msub> <mo>,</mo> <mo>&amp;ForAll;</mo> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> </mrow> </munder> <mo>&amp;lsqb;</mo> <mi>w</mi> <mrow> <mo>(</mo> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>x</mi> <mi>y</mi> <mo>)</mo> </mrow> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

在式(1)中，Ω是图像f中的某一个窗口区域，其尺寸为M×M，而(i,j)为区域Ω的中心即Ω_M；f_xy、f_ij表示f在(x,y)处与(i,j)处的灰度值；D(·)是灰度差异函数，其衡量的就是像素之间的灰度距离：D(f_ij,f_xy)＝|f_ij-f_xy|；

此外，上式中的w(ij,xy)代表空间权重，定义为：

<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>ij</mi> <mo>,</mo> <mi>xy</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>D</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>ij</mi> <mo>,</mo> <mi>xy</mi> <mo>)</mo> </mrow> <mo>/</mo> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中D_s(ij,xy)表示像素(x,y)与像素(i,j)的空间距离，空间距离用像素的数量表示，而σ²称为伸缩系数，为常数；

采用公式(1)求取图像f在任意像素的视觉注意程度值，对获取的V进行归一化；

而使用尺度选择下的视觉注意图计算，则在于区域窗口Ω尺寸M×M的变化：随着尺寸M×M的变化，获得不同尺度下视觉注意图V；也就是说，对于N个尺度，即从{M_k}中取窗口时,k＝1,2…N，可以获取视觉注意图{V_k},k＝1,2…N；

(1-b)、红外图像IR与可见光图像VI多窗口的视觉注意图提取

通过步骤(1-a)，将IR代替f获取多窗口的视觉注意图同理获取多窗口的视觉注意图

(2)视觉注意图基础上的融合

对于红外图像IR与可见光图像VI，利用步骤(1)计算实现视觉注意图与的获取,k＝1,2…N；

于是，在不同的尺度k下，图像融合结果为

其中IR为红外图像与VI为可见光图像；

而对于所有的尺度进行综合，获得了最终的融合结果F定义为：

<mrow> <mi>F</mi> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>...</mo> <mi>N</mi> </mrow> </munder> <mo>{</mo> <msub> <mi>F</mi> <mi>k</mi> </msub> <mo>}</mo> </mrow>

于是，最终获取了增强融合结果F。