CN107945145A - 基于梯度置信变分模型的红外图像融合增强方法 - Google Patents
基于梯度置信变分模型的红外图像融合增强方法 Download PDFInfo
- Publication number
- CN107945145A CN107945145A CN201711143856.4A CN201711143856A CN107945145A CN 107945145 A CN107945145 A CN 107945145A CN 201711143856 A CN201711143856 A CN 201711143856A CN 107945145 A CN107945145 A CN 107945145A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- visible light
- infrared image
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于梯度置信变分模型的红外图像融合增强方法，主要解决现有全变分融合方法中出现部分源图像目标丢失的问题。其实现步骤是：1.获取红外图像u和可见光图像v；2.构造红外图像u和可见光图像v的多尺度结构张量加权梯度；3.用平均图像初始化第1次迭代的融合图像，设置最大迭代次数N；4.分别构建融合图像的亮度保真项和梯度保真项；5.构建由亮度保真项和梯度保真项组成的能量泛函；6.求解能量泛函最小化问题，获得第t+1次迭代的融合图像；7.重复步骤4至步骤6，直至迭代次数达到N次，输出融合结果。本发明具有更好的目标保持性能，更丰富的细节特性及更好的视觉效果，可用于目标识别。
Description
技术领域
本发明属于数字图像处理领域，具体涉及一种红外图像融合增强方法，可用于目标识别。
背景技术
图像融合是将同一场景多传感器源图像信息进行融合的技术。在环境条件不理想的情况下，如烟，雾，雨，低亮度等，单一传感器不足以提供充足信息，从而严重影响到后续的特征提取与分析等处理。而来自多个传感器的多源图像能够提供互补和冗余信息，通过图像融合技术，可以获得视觉效果较好的融合图像。针对图像融合问题，该领域的研究者进行了多方面的探索和研究，提出了多种基于数字信号处理技术的融合方法。
现存的图像融合方法主要有：简单融合法，多尺度多分辨率分解法和变分法。简单融合法有加权平均法和灰度值选大选小法，这种方法计算简单但是效果有限。多尺度多分辨分解的典型模型是拉普拉斯金字塔变换法，与简单融合法相比融合效果有较大改善。近两年提出的基于全变分的图像融合方法，如Jiayi Ma,Chen Chen,Chang Li,Jun Huang,Infrared and visible image fusion via gradient transfer and total variationminimization,Information Fusion 31(2016)100-109.，该方法的融合效果虽比其他传统方法更加优异，但却在某些情形下会丢失源图像的一些图像信息，对后续的目标检测和识别应用造成不利影响。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于梯度置信变分模型的红外图像融合增强方法，以自适应地从两张源图像中提取各自包含的有用的信息，得到具有丰富细节信息的融合图像，提高对后续的目标检测和识别的效果。
为了实现上述目标，本发明的技术方案包括如下：
(1)获取红外图像u和可见光图像v；
(2)构造红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：
g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv
其中，▽s是多尺度梯度算子，▽su和▽sv分别为红外图像u和可见光图像v的多尺度梯度，Ws,u和Ws,v分别是▽su和▽sv的权重；
(3)迭代计算融合图像：
(3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；
(3b)构建融合图像的亮度保真项
其中，下标t为迭代序号，为2范数；
(3c)构建融合图像的梯度保真项
其中，αs为空间距离权，其取值随着指数项s的增大而减小，0＜α＜1；β为增强因子；||·||1为1范数；为融合图像的多尺度梯度；
(3d)构建由亮度保真项和梯度保真项组成的能量泛函Et：
其中，λ为规整参数；
(3e)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像
其中，Δt为迭代步长，为梯度保真项对的导数；
(4)判断迭代次数是否小于最大迭代次数N，如果迭代次数小于最大迭代次数，则重复步骤(3b)至(3e)；否则，迭代结束，输出融合图像。
本发明与现有技术相比，具有以下优点：
1.本发明由于采用红外图像u和可见光图像v的平均图像作为亮度保真项中的逼近图像，改善了传统全变分算法中丢失部分目标信息的缺点；
2.本发明由于在梯度保真项中引入多尺度结构张量加权梯度，使得融合图像能够同时保留可见光图像和红外图像中更多的细节信息，与全变分融合方法只从可见光图像提取细节信息相比，目标和细节保持能力有了明显的改善；
3.本发明通过引入增强因子，提高图像对比度，使得融合图像具有更好的视觉效果。
附图说明
图1是本发明的实现框图；
图2是待增强的红外测试图像；
图3是与图2为同一场景的可见光图像；
图4是采用现有全变分方法对图2和图3进行融合后的输出图像；
图5是采用本发明的方法对图2和图3进行融合后的输出图像。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1，本发明的图像融合方法，将基于结构张量加权的多尺度梯度作为梯度保真项，具体包括如下步骤：
步骤1，获取红外图像u和可见光图像v。
本实施例采用开源数据库TNOImageFusionDataset中名称为“Lake”的红外图像和可见光图像作为待融合图像，其中红外图像u如附图2所示，可见光图像如附图3所示。
步骤2，计算红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)。
2a)计算红外图像u的多尺度梯度▽su和可见光图像v的多尺度梯度▽sv：
▽su＝(u-fs,xu，u-fs,yu)T
▽sv＝(v-fs,xv，v-fs,yv)T
其中，尺度值s＝1,2,3...30，fs,xu表示将红外图像u沿着x轴平移s个像素，fs,yu表示将红外图像u沿着y轴平移s个像素，fs,xv表示将可见光图像v沿着x轴平移s个像素，fs,yv表示将可见光图像v沿着y轴平移s个像素，T表示转置操作；
2b)计算红外图像u的细节信息丰富度ωu,s：
2b1)利用如下公式计算5*5的高斯卷积核K：
其中xc为核中心坐标；σ为核函数宽度参数，σ＝15；表示2范数。
2b2)计算红外图像u的多尺度结构张量ST(u)：
其中，为红外图像u的结构张量ST(u)的第1行第1列分量，ju,12＝us, xus,y*K为红外图像u的结构张量ST(u)的第1行第2列分量，ju,21＝us,xus,y*K为红外图像u的结构张量ST(u)的第2行第1列分量，为红外图像u的结构张量ST(u)的第2行第2列分量；us,x为红外图像u的多尺度梯度▽su的x轴分量，us,y为红外图像u的多尺度梯度▽su的y轴分量；*表示卷积运算；
2b3)计算红外图像u的多尺度结构张量ST(u)的两个特征值μu,s,1和μu,s,2：
2b4)计算红外图像u的细节信息丰富度ωs,u：
ωs,u＝(μu,s,1-μu,s,2)2，
2c)计算可见光图像v的细节信息丰富度ωv,s：
2c1)计算可见光图像v的多尺度结构张量ST(v)：
其中，为可见光图像v的结构张量ST(v)的第1行第1列分量，jv,12＝vs, xvs,y*K为可见光图像v的结构张量ST(v)的第1行第2列分量，jv,21＝vs,xvs,y*K为可见光图像v的结构张量ST(v)的第2行第1列分量，为可见光图像v的结构张量ST(v)的第2行第2列分量；vs,x为可见光图像v的多尺度梯度▽sv的x轴分量，vs,y为可见光图像v的多尺度梯度▽sv的y轴分量；*表示卷积运算；
2c2)计算可见光图像v的多尺度结构张量ST(v)的两个特征值μv,s,1和μv,s,2：
2c3)计算可见光图像v的细节信息丰富度ωs,v：
ωs,v＝(μv,s,1-μv,s,2)2；
2d)利用红外图像u的细节信息丰富度ωs,u和可见光图像v的细节信息丰富度ωs,v计算红外图像u的多尺度梯度权重Ws,u和可见光图像v的多尺度梯度权重Ws,v：
其中，eps是一个小数值的预定义常数，用以防止分母为0的情况。
2e)计算红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：
g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv。
步骤3，迭代计算融合图像
3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；
3b)构建融合图像的亮度保真项
其中，下标t为迭代序号，为2范数；
3c)计算融合图像的梯度保真项
3c1)计算融合图像的多尺度梯度
其中，T表示转置操作；表示将融合图像沿着x轴平移s个像素，表示将融合图像沿着y轴平移s个像素；
3c2)计算融合图像的梯度保真项
其中，αs为空间距离权，其取值随着指数项s的增大而减小，0＜α＜1，此实施例中α＝0.95；β为增强因子，本实施例中β＝1.5；||·||1为1范数；
3d)构建由亮度保真项和梯度保真项组成的能量泛函Et：
其中，λ为规整参数，本实施例中λ＝1.125；
3e)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像
3e1)计算梯度保真项对的导数
其中，DXs表示融合图像的多尺度梯度的x分量与红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)的x分量的差值，DYs表示融合图像的多尺度梯度的y分量与红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)的y分量的差值，f-s,xDXs表示将DXs沿着负x轴平移s个像素，f-s,yDYs表示将DYs沿着负y轴平移s个像素；
3e2)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像
其中，Δt为迭代步长，本实施例中Δt＝0.01；
步骤4，判断迭代次数是否小于最大迭代次数N，如果迭代次数小于最大迭代次数，则重复步骤(3b)至(3e)；否则，迭代结束，输出融合图像。
本发明的效果可通过以下实验进一步说明：
1.定性实验
设迭代次数为50，分别采用传统全变分方法和本发明方法对图2和图3进行融合，其中：
采用传统全变分方法进行融合后的输出图像如图4所示；
采用本发明方法进行图像融合后的输出图像如图5所示。
从图4和图5的对比可以看出，使用传统的全变分融合方法，丢失了红外图像中的“AUTO”
标志和部分目标细节，而使用本发明的融合方法，能同时保留两张源图像中的重要信息；此外，通过引入结构张量和多尺度梯度，使用本发明的方法得到的融合图像具有更丰富的细节信息和更高的对比度，视觉效果更好。
2.定量实验
分别采用信息熵EN和互信息MI来量化评价图4和图5的融合性能。
(2.1)信息熵
信息熵EN的数学表达式为：
其中，j是灰度级，本实验中所有图像的灰度级范围都为[0,255]；Px(j)表示的是在融合图像x中，灰度级为j的像素数量占图像x总像素数的比值,此处融合图像x指代图4和图5；信息熵的值越高，则图像所包含的细节信息更丰富。
(2.2)互信息
互信息(MI)的数学表达式为：
MI((a,b)；f)＝MI(a,f)+MI(b,f)
MI(a,f)＝EN(a)+EN(f)-H(a,f) <2>
MI(b,f)＝EN(b)+EN(f)-H(b,f) <3>
式<2>和式<3>中EN(a)，EN(b)和EN(f)的计算见式<1>所示；下标i，j和k分别指图像a，b和f的灰度级，灰度级范围为[0,255]；p(i,k)表示在图像a和图像f两张图像对应像素点组成的二维灰度级数组中，灰度级对的值为(i,k)的像素数量占总像素数量的比值；p(j,k)表示在图像b和图像f两张图像对应像素点组成的二维灰度级数组中，灰度级对的值为(j,k)的像素数量占总像素数的比值；这里图像a指代图2，图像b指代图3，图像f指代图4和图5。互信息的值越大，则融合图像从源图像中保留的细节信息越丰富。
对比测试的实验结果见表1。
表1定量对比测试结果
由表1可见：
(1)使用本发明的方法获得的融合图像具有更高的信息熵，说明本发明的方法具有更丰富的细节信息，视觉效果更好。
(2)使用本发明的方法获得的融合图像具有更高的互信息值，说明本发明的方法能从源图像中提取更多的信息。
综上，本发明所提出的基于梯度置信变分模型的融合算法可以同时保留两张源图像的目标信息，而且具有更丰富的细节信息和更高的对比度，有利于后续的目标检测和识别等其他数字图像应用。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (5)
1.一种基于梯度置信变分模型的红外图像融合增强方法，包括：
(1)获取红外图像u和可见光图像v；
(2)构造红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)：
g(▽su,▽sv)＝Ws,u·▽su+Ws,v·▽sv
其中，▽s是多尺度梯度算子，▽su和▽sv分别为红外图像u和可见光图像v的多尺度梯度，Ws,u和Ws,v分别是▽su和▽sv的权重；
(3)迭代计算融合图像：
(3a)用平均图像初始化第1次迭代的融合图像设置最大迭代次数N＝50；
(3b)构建融合图像的亮度保真项
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>-</mo>
<mfrac>
<mrow>
<mi>u</mi>
<mo>+</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，下标t为迭代序号，为2范数；
(3c)构建融合图像的梯度保真项
其中，αs为空间距离权，其取值随着指数项s的增大而减小，0＜α＜1；β为增强因子；||·||1为1范数；为融合图像的多尺度梯度；
(3d)构建由亮度保真项和梯度保真项组成的能量泛函Et：
<mrow>
<msub>
<mi>E</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>-</mo>
<mfrac>
<mrow>
<mi>u</mi>
<mo>+</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>&CenterDot;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>s</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>30</mn>
</munderover>
<msup>
<mi>&alpha;</mi>
<mi>s</mi>
</msup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mo>&dtri;</mo>
<mi>s</mi>
</msub>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>-</mo>
<mi>&beta;</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>s</mi>
</msub>
<mi>u</mi>
<mo>,</mo>
<msub>
<mo>&dtri;</mo>
<mi>s</mi>
</msub>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
其中，λ为规整参数；
(3e)采用最陡下降法求解能量泛函Et最小化问题，获得第t+1次迭代的融合图像
其中，Δt为迭代步长，为梯度保真项对的导数；
(4)判断迭代次数是否小于最大迭代次数N，如果迭代次数小于最大迭代次数，则重复步骤(3b)至(3e)；否则，迭代结束，输出融合图像。
2.根据权利要求1所述的方法，其中步骤(2)中红外图像u和可见光图像v的多尺度梯度▽su和▽sv，按如下公式计算：
▽su＝(u-fs,xu，u-fs,yu)T
▽sv＝(v-fs,xv，v-fs,yv)T
其中fs,xu表示将红外图像u沿着x轴平移s个像素，fs,yu表示将红外图像u沿着y轴平移s个像素，fs,xv表示将可见光图像v沿着x轴平移s个像素，fs,yv表示将可见光图像v沿着y轴平移s个像素，T表示转置操作。
3.根据权利要求1所述的方法，其中步骤(2)中红外图像u的多尺度梯度权重Ws,u和可见光图像v的多尺度权重Ws,v，按如下步骤计算：
(2a)计算红外图像u的细节信息丰富度ωu,s：
(2a1)计算红外图像u的多尺度结构张量ST(u)：
<mrow>
<mi>S</mi>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<msub>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<msub>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>u</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，为红外图像u的结构张量ST(u)的第1行第1列分量，ju,12＝us,xus,y*K为红外图像u的结构张量ST(u)的第1行第2列分量，ju,21＝us,xus,y*K为红外图像u的结构张量ST(u)的第2行第1列分量，为红外图像u的结构张量ST(u)的第2行第2列分量；us,x为红外图像u的多尺度梯度▽su的x轴分量，us,y为红外图像u的多尺度梯度▽su的y轴分量；*表示卷积运算；K为5*5的高斯核，其表达式为：
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中xc为核中心坐标；σ为核函数宽度参数；表示2范数；
(2a2)计算红外图像u的多尺度结构张量ST(u)的两个特征值μu,s,1和μu,s,2：
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>s</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>+</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>s</mi>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>-</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&rsqb;</mo>
</mrow>
(2a3)计算红外图像u的细节信息丰富度ωs,u:
ωs,u＝(μu,s,1-μu,s,2)2
(2b)计算可见光图像v的细节信息丰富度ωv,s：
(2b1)计算可见光图像v的多尺度结构张量ST(v)：
<mrow>
<mi>S</mi>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<msub>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<msub>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>K</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，为可见光图像v的结构张量ST(v)的第1行第1列分量，jv,12＝vs,xvs,y*K为可见光图像v的结构张量ST(v)的第1行第2列分量，jv,21＝vs,xvs,y*K为可见光图像v的结构张量ST(v)的第2行第1列分量，为可见光图像v的结构张量ST(v)的第2行第2列分量；vs,x为可见光图像v的多尺度梯度▽sv的x轴分量，vs,y为可见光图像v的多尺度梯度▽sv的y轴分量；*表示卷积运算；
(2b2)计算可见光图像v的多尺度结构张量ST(v)的两个特征值μv,s,1和μv,s,2：
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mi>s</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>+</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mi>s</mi>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>-</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>11</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>22</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>12</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mo>,</mo>
<mn>21</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&rsqb;</mo>
</mrow>
(2b3)计算可见光图像v的细节信息丰富度ωs,v：
ωs,v＝(μv,s,1-μv,s,2)2
(2c)利用红外图像u的细节信息丰富度ωs,u和可见光图像v的细节信息丰富度ωs,v计算红外图像u的多尺度梯度权重Ws,u和可见光图像v的多尺度梯度权重Ws,v：
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>u</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>u</mi>
</mrow>
</msub>
<mrow>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>u</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>e</mi>
<mi>p</mi>
<mi>s</mi>
</mrow>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mrow>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>u</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>e</mi>
<mi>p</mi>
<mi>s</mi>
</mrow>
</mfrac>
</mrow>
其中，eps是一个小数值的预定义常数，用以防止分母为0的情况。
4.根据权利要求1所述的方法，其中步骤(3c)中融合图像的多尺度梯度其计算公式如下：
<mrow>
<msub>
<mo>&dtri;</mo>
<mi>s</mi>
</msub>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>x</mi>
</mrow>
</msub>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>,</mo>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<msub>
<mover>
<mi>X</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
其中，T表示转置操作；表示将融合图像沿着x轴平移s个像素，表示将融合图像沿着y轴平移s个像素。
5.根据权利要求1所述的方法，其中步骤(3e)中梯度保真项对的导数其计算公式如下：
其中，DXs表示融合图像的多尺度梯度的x分量与红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)的x分量的差值，DYs表示融合图像的多尺度梯度的y分量与红外图像u和可见光图像v的多尺度结构张量加权梯度g(▽su,▽sv)的y分量的差值，f-s,xDXs表示将DXs沿着负x轴平移s个像素，f-s,yDYs表示将DYs沿着负y轴平移s个像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711143856.4A CN107945145A (zh) | 2017-11-17 | 2017-11-17 | 基于梯度置信变分模型的红外图像融合增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711143856.4A CN107945145A (zh) | 2017-11-17 | 2017-11-17 | 基于梯度置信变分模型的红外图像融合增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107945145A true CN107945145A (zh) | 2018-04-20 |
Family
ID=61932702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711143856.4A Pending CN107945145A (zh) | 2017-11-17 | 2017-11-17 | 基于梯度置信变分模型的红外图像融合增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107945145A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921796A (zh) * | 2018-06-07 | 2018-11-30 | 西安电子科技大学 | 一种基于深度学习的红外图像非均匀性校正方法 |
| CN109345496A (zh) * | 2018-09-11 | 2019-02-15 | 中国科学院长春光学精密机械与物理研究所 | 一种总变分和结构张量的图像融合方法及装置 |
| CN110084774A (zh) * | 2019-04-11 | 2019-08-02 | 江南大学 | 一种增强的梯度传递和总变差最小化融合图像的方法 |
| CN110544225A (zh) * | 2019-08-08 | 2019-12-06 | 北京首贝科技发展有限公司 | 一种基于弱计算能力的轻量化图像融合算法与装置 |
| CN115908221A (zh) * | 2023-03-08 | 2023-04-04 | 荣耀终端有限公司 | 图像处理方法、电子设备及存储介质 |
| CN116485694A (zh) * | 2023-04-25 | 2023-07-25 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455826A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于快速鲁棒性特征的高效匹配核人体检测方法 |
| CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
| CN107194889A (zh) * | 2017-05-11 | 2017-09-22 | 西安电子科技大学 | 分块双边全变分正则化图像噪声消除方法 |
| CN107239729A (zh) * | 2017-04-10 | 2017-10-10 | 南京工程学院 | 一种基于光照估计的光照人脸识别方法 |
-
2017
- 2017-11-17 CN CN201711143856.4A patent/CN107945145A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455826A (zh) * | 2013-09-08 | 2013-12-18 | 西安电子科技大学 | 基于快速鲁棒性特征的高效匹配核人体检测方法 |
| CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN104966108A (zh) * | 2015-07-15 | 2015-10-07 | 武汉大学 | 一种基于梯度传递的可见光与红外图像融合方法 |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
| CN107239729A (zh) * | 2017-04-10 | 2017-10-10 | 南京工程学院 | 一种基于光照估计的光照人脸识别方法 |
| CN107194889A (zh) * | 2017-05-11 | 2017-09-22 | 西安电子科技大学 | 分块双边全变分正则化图像噪声消除方法 |
Non-Patent Citations (4)
| Title |
|---|
| FEIFEIZHANG ET AL: "High dynamic range compression and detail enhancement of infrared images in the gradient domain", 《INFRARED PHYSICS & TECHNOLOGY》 * |
| JIAYI MA ET AL: "Infrared and visible image fusion via gradient transfer and total variation minimization", 《INFORMATION FUSION》 * |
| YUKUN WANG ET AL: "Image Fusion Based on Nonlinear Structure Tensor", 《2011 INTERNATIONAL CONFERENCE ON MULTIMEDIA TECHNOLOGY》 * |
| 胡建文: "基于多尺度滤波和稀疏表示的图像融合方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921796A (zh) * | 2018-06-07 | 2018-11-30 | 西安电子科技大学 | 一种基于深度学习的红外图像非均匀性校正方法 |
| CN108921796B (zh) * | 2018-06-07 | 2021-09-03 | 西安电子科技大学 | 一种基于深度学习的红外图像非均匀性校正方法 |
| CN109345496A (zh) * | 2018-09-11 | 2019-02-15 | 中国科学院长春光学精密机械与物理研究所 | 一种总变分和结构张量的图像融合方法及装置 |
| CN110084774A (zh) * | 2019-04-11 | 2019-08-02 | 江南大学 | 一种增强的梯度传递和总变差最小化融合图像的方法 |
| CN110544225A (zh) * | 2019-08-08 | 2019-12-06 | 北京首贝科技发展有限公司 | 一种基于弱计算能力的轻量化图像融合算法与装置 |
| CN115908221A (zh) * | 2023-03-08 | 2023-04-04 | 荣耀终端有限公司 | 图像处理方法、电子设备及存储介质 |
| CN115908221B (zh) * | 2023-03-08 | 2023-12-08 | 荣耀终端有限公司 | 图像处理方法、电子设备及存储介质 |
| CN116485694A (zh) * | 2023-04-25 | 2023-07-25 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
| CN116485694B (zh) * | 2023-04-25 | 2023-11-07 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945145A (zh) | 基于梯度置信变分模型的红外图像融合增强方法 | |
| Guo et al. | Multiview high dynamic range image synthesis using fuzzy broad learning system | |
| CN107067415B (zh) | 一种基于图像匹配的目标定位方法 | |
| CN109902715B (zh) | 一种基于上下文聚合网络的红外弱小目标检测方法 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN114529946B (zh) | 基于自监督学习的行人重识别方法、装置、设备及存储介质 | |
| CN107330405A (zh) | 基于卷积神经网络的遥感图像飞机目标识别方法 | |
| CN106815323B (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
| CN106558073A (zh) | 基于图像特征和tv‑l1的非刚性图像配准方法 | |
| CN113989612B (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN113091608A (zh) | 一种基于网格提取种子点的数字散斑相关快速实现方法 | |
| CN111222545B (zh) | 基于线性规划增量学习的图像分类方法 | |
| CN105931185A (zh) | 一种多视角图像自动拼接方法 | |
| CN106599810B (zh) | 一种基于栈式自编码的头部姿态估计方法 | |
| CN105654122B (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| Dourado et al. | Data augmented 3d semantic scene completion with 2d segmentation priors | |
| CN110647927A (zh) | 一种基于acgan图像半监督分类算法 | |
| CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
| CN119579934A (zh) | 基于多尺度注意力特征融合的鲁棒图像匹配系统及方法 | |
| CN106780575A (zh) | 基于图像特征和Demons的非刚性图像配准方法 | |
| CN112418250A (zh) | 一种复杂3d点云的优化匹配方法 | |
| Zhao et al. | Accurate and robust feature-based homography estimation using HALF-SIFT and feature localization error weighting | |
| CN106709904A (zh) | 一种基于主动视觉的高值目标细微变化检测方法 | |
| CN113688849B (zh) | 一种用于卷积神经网络的灰度图像序列特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180420 |
|
| WD01 | Invention patent application deemed withdrawn after publication |