CN108090888A - 基于视觉注意模型的红外图像和可见光图像的融合检测方法 - Google Patents
基于视觉注意模型的红外图像和可见光图像的融合检测方法 Download PDFInfo
- Publication number
- CN108090888A CN108090888A CN201810007446.5A CN201810007446A CN108090888A CN 108090888 A CN108090888 A CN 108090888A CN 201810007446 A CN201810007446 A CN 201810007446A CN 108090888 A CN108090888 A CN 108090888A
- Authority
- CN
- China
- Prior art keywords
- image
- visible images
- interest
- fusion
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims description 82
- 238000001514 detection method Methods 0.000 title claims description 26
- 238000002156 mixing Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 45
- 239000003086 colorant Substances 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉注意模型的红外图像和可见光图像的融合检测方法。该方法包括:对采集到的红外图像和可见光图像分别进行预处理;基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标;以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像;对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像。应用本发明可以解决现有技术中的感兴趣的目标在融合图像中被弱化的问题,大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于视觉注意模型的红外图像和可见光图像的融合检测方法,可适用于对融合图像中的弱小目标或者背景复杂的目标的检测识别中。
背景技术
红外热成像系统主要是靠目标与背景的辐射产生景物图像,但红外图像的对比度差,且只敏感于目标场景的辐射,对场景的亮度变化不敏感。与红外图像相比,可见光图像可以提供更多的目标细节,有利于人眼观察。因此,利用红外与可见光图像融合技术,可以实现在一幅图像中充分体现出多个传感器获得的多源图像间的信息冗余性和互补性。
在弱小目标探测上,红外和可见光图像都有信噪比低、图像信号的空间和时间相关性很大、且图像噪声的空间和时间相关性很小等共同特征。红外目标的灰度分布非常集中,并且具有较大的灰度值,而可见光图像中目标灰度几乎淹没在背景灰度中,很难从背景中分离,图像质量受到很大挑战。在有些场景的红外/可见光图像中,若和红外弱小目标对应的另一源图像灰度值过高或者背景过于复杂,都会影响融合结果中对该目标的辨识。
例如,如图1a~图1d所示,图1a为海面目标的红外图像的示例图,在该红外图像中,除前景区的一个大目标及三个小目标比较明显外,远景区中有疑似小目标(用圈标注)。但是,对应的图1b中的可见光图像的远景区中却是亮度较高的背景,使得图1a中的疑似小目标在图1b几乎完全淹没在背景中,很难从背景中分离。因此,这种情况对图像融合结果的有效性提出了挑战。
在现有技术中,一般使用基于小波变换的灰度融合方法或基于Waxman算法的伪彩色融合方法来对上述图1a中的红外图像和图1b的可见光图像进行融合,以得到相应的融合图像,如图1c的灰度融合图像和图1d的伪彩色融合图像。
然而,如图1c和图1d所示,由于受到了中波红外图像背景的影响,上述图1a中的疑似小目标在融合图像中的对比度被大大降低,尤其在Waxman伪彩色融合图像中,上述疑似小目标几乎被完全淹没在背景中。若想从上述的灰度融合图像或伪彩色融合图像中检测上述疑似小目标,其检测难度远比在单一来源的图像中检测出上述疑似小目标的难度还要大。
综上可知,现有技术中的图像融合方法由于存在上述的缺点和不足,有可能使得融合后的目标对比度降低,从而大大增大了对图像中的疑似目标的检测难度。
发明内容
有鉴于此,本发明提供了一种基于视觉注意模型的红外图像和可见光图像的融合检测方法,从而可以解决现有技术中的感兴趣的目标在融合图像中被弱化的问题,大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。
本发明的技术方案具体是这样实现的:
一种基于视觉注意模型的红外图像和可见光图像的融合检测方法,该方法包括:
对采集到的红外图像和可见光图像分别进行预处理;
基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标;
以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像;
对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像。
较佳的,所述基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标包括:
根据由多个预处理后的红外图像组成的图像序列,生成静态图像的亮度显著图;
根据由多个预处理后的红外图像组成的图像序列,生成运动显著图;
将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的红外图像的特征显著图;
根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述红外图像的特征显著图中的背景分离,并提取红外图像中的兴趣目标;
根据由多个预处理后的可见光图像组成的图像序列,生成静态图像的亮度显著图;
根据由多个预处理后的可见光图像组成的图像序列,生成可见光图像的运动显著图;
将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的可见光图像的特征显著图;
根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述可见光图像的特征显著图中的背景分离,并提取可见光图像中的兴趣目标;
使用预定融合规则融合红外图像和可见光图像中的兴趣目标,在目标融合图像中得到最终的兴趣目标。
较佳的,所述根据由多个预处理后的红外图像组成的图像序列,生成静态图像的亮度显著图包括:
根据图像序列中的各个预处理后的红外图像建立图像金字塔,以得到多个不同分辨率的红外图像;
各个不同分辨率的红外图像通过差值进行转换和调整,得到多个特征差异图;
通过规格化算子对所获得的特征差异图进行合并,得到最终的静态图像的亮度显著图。
较佳的,所述根据由多个预处理后的红外图像组成的图像序列,生成运动显著图包括:
根据由多个预处理后的红外图像组成的图像序列得到图像运动向量;所述图像运动向量包括:强度差异、空间一致性差异和时间一致性差异;
根据所述强度差异、空间一致性差异和时间一致性差异,生成运动显著图。
较佳的,所述预定融合规则为“或”规则;
在所述“或”规则中,将对应的可见光图像和红外图像的兴趣目标所在区域中同一像素的灰度值的最大值作为该像素在目标融合图像中的灰度值。
较佳的,所述以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像包括:
选择小波基函数和分解层数,对预处理后的可见光图像和预处理后的红外图像分别进行多分辨率分解,得到不同尺度空间的可见光图像和红外图像;
从各个不同尺度空间的可见光图像和红外图像的低频分量中提取图像边缘特征;
根据预设的融合规则对不同尺度空间的可见光图像和红外图像进行融合操作,得到融合图像的多分辨率表达,经小波逆变换后得到灰度融合图像。
较佳的,所述预设的融合规则为根据梯度和信息熵确定源图像比重的加权融合规则。
较佳的,所述对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像包括:
将所得到的兴趣目标在HSV空间逆映射到所述灰度融合图像中,并对所述兴趣目标进行伪彩色映射标注,得到目标伪彩色融合图像。
较佳的,对所述兴趣目标进行伪彩色映射标注包括:
将根据源图像特征提取出来的所述兴趣目标用预设的颜色标记在所述灰度融合图像中。
如上可见,在本发明中的基于视觉注意模型的红外图像和可见光图像的融合检测方法中,由于首先可以基于人眼的视觉注意模型,从预处理后的红外图像中提取出兴趣目标,接着将预处理后的可见光图像和红外图像融合得到灰度融合图像,然后再对灰度融合图像进行所述兴趣目标的伪彩色映射标注,将根据源图像特征提取出来的目标用特定的颜色标记,得到并输出目标伪彩色融合图像,从而可以达到用色彩突出显示兴趣目标而不影响其灰度背景的效果,进而解决了现有技术中的感兴趣的目标在融合图像中被弱化的问题,可以大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。而且,由于上述目标伪彩色融合图像中只是对兴趣目标所在的局部区域进行伪彩色映射标注,因此也不容易造成人眼的视觉疲劳。
附图说明
图1a为现有技术中的海面目标的红外图像的示例图。
图1b为现有技术中的海面目标的可见光图像的示例图。
图1c为现有技术中的海面目标的基于小波变换的灰度融合图像的示例图。
图1d为现有技术中的海面目标的基于Waxman算法的伪彩色融合图像的示例图。
图2为本发明实施例中的融合图像的示例图。
图3为本发明实施例中的基于视觉注意模型的红外图像和可见光图像的融合检测方法的流程示意图。
图4为本发明实施例中的步骤32的一种具体实现方式的流程示意图。
图5为本发明实施例中的步骤33的一种具体实现方式的流程示意图。
图6a为本发明实施例中的一个具体实验中的可见光图像的示例图。
图6b为本发明实施例中的一个具体实验中的长波红外图像的示例图。
图6c为本发明实施例中的一个具体实验中使用WMM方法得到的融合图像的示例图。
图6d为本发明实施例中的一个具体实验中使用WRE方法得到的融合图像的示例图。
图6e为本发明实施例中的一个具体实验中使用基于视觉注意模型的红外图像和可见光图像的融合检测方法得到的目标伪彩色融合图像的示例图。
图6f为本发明实施例中的一个具体实验中的使用基于视觉注意模型的红外图像和可见光图像的融合检测方法得到的目标伪彩色融合图像中包含的兴趣目标信息的示例图。
具体实施方式
为使本发明的技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明作进一步详细的说明。
为了克服现有技术中的图像融合方法的缺点和不足(例如,如上述图1d中所示的高饱和度颜色对弱小目标的影响),本发明中提出了一种基于视觉注意模型的伪彩色可见光和红外图像融合检测方法。
图3为本发明实施例中的基于视觉注意模型的红外图像和可见光图像的融合检测方法的流程示意图。如图3所示,本发明实施例中的基于视觉注意模型的红外图像和可见光图像的融合检测方法包括如下所述步骤:
步骤31,对采集到的红外图像和可见光图像分别进行预处理。
在本发明的技术方案中,可以先通过已经过光学配准的红外图像成像设备和可见光图像成像设备分别采集所需的低信噪比红外图像和可见光图像,然后再对采集到的红外图像和可见光图像分别进行预处理,以减少噪声、畸变等不利影响,提升待融合的图像的质量。
另外,在本发明的技术方案中,还可以使用多种处理方式对采集到的红外图像和可见光图像分别进行预处理。例如,上述的处理方式可以包括:高斯滤波(用于去除图像中的噪声)法和几何配准(用于去除图像中的畸变)法等方法。
步骤32,基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标。
例如,在本步骤中,可以基于人眼的视觉注意机制(即视觉注意模型),对易引起关注的热目标(即兴趣目标)进行检测,以分别从预处理后的红外图像和可见光图像中提取出所需的兴趣目标,从而可以得到可靠的目标信息。
另外,在本发明的技术方案中,可以使用多种实现方法来实现上述的步骤32。以下将以其中的一种实现方式为例对本发明的技术方案进行详细的介绍。
例如,较佳的,在本发明的一个具体实施例中,所述步骤32可以包括如下的步骤:
步骤321,根据由多个预处理后的红外图像组成的图像序列,生成静态图像的亮度显著图。
例如,较佳的,在本发明的一个具体实施例中,上述步骤321可以包括:
根据图像序列中的各个预处理后的红外图像建立图像金字塔(例如,小波金字塔),以得到多个不同分辨率的红外图像;
各个不同分辨率的红外图像通过差值进行转换和调整,得到多个特征差异图;
通过规格化算子对所获得的特征差异图进行合并,得到最终的静态图像的亮度显著图。
步骤322,根据由多个预处理后的红外图像组成的图像序列,生成运动显著图。
例如,较佳的,在本发明的一个具体实施例中,上述步骤322可以包括:
根据由多个预处理后的红外图像组成的图像序列得到图像运动向量;所述图像运动向量包括:强度差异、空间一致性差异和时间一致性差异;
根据所述强度差异、空间一致性差异和时间一致性差异,生成运动显著图。
步骤323,将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的红外图像的特征显著图。
步骤324,根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述红外图像的特征显著图中的背景分离,并提取红外图像中的兴趣目标。
通过上述的步骤321~324,即可基于人眼的视觉注意模型,从预处理后的红外图像中提取出兴趣目标。
步骤325,根据由多个预处理后的可见光图像组成的图像序列,生成静态图像的亮度显著图。
该步骤的具体实现方式与步骤321相同或相近似,在此不再赘述。
步骤326,根据由多个预处理后的可见光图像组成的图像序列,生成可见光图像的运动显著图。
该步骤的具体实现方式与步骤322相同或相近似,在此不再赘述。
步骤327,将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的可见光图像的特征显著图。
该步骤的具体实现方式与步骤323相同或相近似,在此不再赘述。
步骤328,根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述可见光图像的特征显著图中的背景分离,并提取可见光图像中的兴趣目标。
该步骤的具体实现方式与步骤324相同或相近似,在此不再赘述。
通过上述的步骤325~328,即可基于人眼的视觉注意模型,从预处理后的可见光图像中提取出兴趣目标。
另外,上述的步骤325~328与上述的步骤321~324可以同步进行,也可以在步骤321~324之前或之后执行,本发明对此并不做限制。
步骤329,使用预定融合规则融合红外图像和可见光图像中的兴趣目标,在目标融合图像中得到最终的兴趣目标。
例如,较佳的,在本发明的一个具体实施例中,所述预定融合规则可以是“或”规则。在上述“或”规则中,将对应的可见光图像和红外图像的兴趣目标所在区域中同一像素的灰度值的最大值作为该像素在目标融合图像中的灰度值。
通过上述的步骤321~329,即可基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标。
步骤33,以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像。
在本步骤中,将根据预先制定的融合规则,在小波域对预处理后的可见光图像和预处理后的红外图像进行融合操作,以得到灰度融合图像。在进行上述融合操作时,可以以预处理后的可见光图像为背景,将对应的预处理后的红外图像融合在预处理后的可见光图像中,得到上述的灰度融合图像。
另外,在本发明的技术方案中,可以使用多种实现方法来实现上述的步骤33。以下将以其中的一种实现方式为例对本发明的技术方案进行详细的介绍。
例如,较佳的,在本发明的一个具体实施例中,所述步骤33可以包括如下的步骤:
步骤331,选择小波基函数和分解层数,对预处理后的可见光图像和预处理后的红外图像分别进行多分辨率分解,得到不同尺度空间的可见光图像和红外图像。
例如,在本发明的一个具体的较佳实施例中,可以通过离散小波变换(DWT)方法对预处理后的可见光图像和预处理后的红外图像分别进行多分辨率分解。
步骤332,从各个不同尺度空间的可见光图像和红外图像的低频分量中提取图像边缘特征。
步骤333,根据预设的融合规则对不同尺度空间的可见光图像和红外图像进行融合操作,得到融合图像的多分辨率表达,经小波逆变换后得到灰度融合图像。
例如,较佳的,在本发明的一个具体实施例中,所述预设的融合规则可以是根据梯度、信息熵等指标确定源图像比重的加权融合规则。
通过上述的步骤331~333,即可得到灰度融合图像。
步骤34,对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像。
例如,较佳的,在本发明的一个具体实施例中,可以将所得到的兴趣目标在HSV空间逆映射到所述灰度融合图像中,并对所述兴趣目标进行伪彩色映射标注,得到目标伪彩色融合图像。
在众多的彩色空间中,HSV彩色空间能够减少彩色图像处理的复杂性,而且更接近人眼对色彩的认识和解释。因此,在上述的较佳实施例中,可以使用HSV彩色空间进行伪彩色映射标注。
再例如,较佳的,在本发明的一个具体实施例中,对所述兴趣目标进行伪彩色映射标注可以包括:
将根据源图像特征提取出来的所述兴趣目标用预设的颜色(例如,红色、绿色等)标记在所述灰度融合图像中。
由于在本发明的技术方案中,融合后的灰度融合图像是用灰度表示的,而仅将兴趣目标用符合人眼心理特性的伪彩色在所述灰度融合图像中突出显示,而形成目标伪彩色融合图像,使得通过人眼观测融合图像时目标更加突出,从而可以达到用色彩突出显示兴趣目标而不影响其灰度背景的效果,进而可以大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。而且,由于上述目标伪彩色融合图像中只是对兴趣目标所在的局部区域进行伪彩色映射标注,因此也不容易造成人眼的视觉疲劳。
可以通过实际的实验数据来对本发明的有益技术效果进行介绍。
例如,可以通过实际的实验,将通过使用本发明中的方法而得到的目标伪彩色融合图像,与通过小波分解模极大值法(称之为WMM法)和小波分解区域能量法(称之为WRE法)得到的融合图像进行比较。
如图6a~6f所示,在图6a所示的可见光图像中,房屋及树木的细节比较清晰,但该可见光图像中的两团烟雾完全遮挡了目标信息。而在图6b所示的长波红外图像中,房屋和树木的轮廓比较清晰,同时前景中的人像(可称为目标一)及燃烧体(可称为目标二)等目标信息比较明显;但是,还有因为对比度过低而不太明显的后景人像目标(可称为目标三)。图6c和图6d中分别示出了使用现有技术中的WMM方法和WRE方法得到的融合图像的示例图。从图6c和图6d中可看出,目标二在融合图像中比较明显;而目标一的视觉感受已比较微弱;受可见光图像中烟雾的影响,目标三被完全淹没。因此,如果是在使用WMM方法和WRE方法得到的融合图像中检测以上兴趣目标,则目标一、二可以被检测出来,但目标三则很可能会被丢失。
然而,如果使用本发明中的基于视觉注意模型的红外图像和可见光图像的融合检测方法,则可以在进行图像融合前,首先通过基于人眼的视觉注意模型在红外图像和可见光图像中提取兴趣目标,由此可以得到可靠的目标信息;然后再根据预先制定的融合规则,在小波域进行图像融合操作;最后将兴趣目标通过伪彩色映射到灰度融合图像中,得到目标伪彩色融合图像,例如,如图6e所示。在该目标伪彩色融合图像中,三个兴趣目标都被显著突出,因此使得目标信息变得更加显著可靠,而且上述的目标伪彩色融合图像也比现有技术中的灰度融合图像具有更强的表现力。
例如,在图6c和图6d的融合图像中,左侧房屋的墙角处出现了“鬼影”。这是由于红外图像中物体边缘比较模糊、边缘点的能量不够集中的缘故。而在上述的图6e中,所得到的目标伪彩色融合图像有效改善了这一现象。除此之外,上述目标伪彩色融合图像中包含了已定位的目标信息,并且该目标信息比直接在融合图像中检测所得结果更加可靠,在后处理中只需要做颜色分割等简单处理即可得到目标信息(如图6f所示);而且,本发明中的目标伪彩色融合图像在有效保留源图像目标信息和细节信息的同时,还使得整个图像显得更加干净、细腻,这些正是基于边缘特征的融合规则所体现出来的优势。
以下的表1表示三种不同的融合图像的客观评价结果:
交叉熵 | 结构相似度 | 特征融合熵 | 图像信噪比 | |
WMM方法 | 3.8798 | 0.7983 | 19.4839 | 28.3713 |
WRE方法 | 3.8366 | 0.8032 | 20.2699 | 29.8120 |
本发明 | 3.8470 | 0.8251 | 21.0753 | 32.5567 |
根据上述表1可知,与现有技术中的WMM方法和WRE方法相比,本发明中的基于视觉注意模型的红外图像和可见光图像的融合检测方法可以大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。
综上所述,在本发明的技术方案中,由于首先可以基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标,接着将预处理后的可见光图像和红外图像融合得到灰度融合图像,然后再对灰度融合图像进行所述兴趣目标的伪彩色映射标注,将根据源图像特征提取出来的目标用特定的颜色标记,得到并输出目标伪彩色融合图像,从而可以达到用色彩突出显示兴趣目标而不影响其灰度背景的效果,进而解决了现有技术中的感兴趣的目标在融合图像中被弱化的问题,可以大大提高对兴趣目标的检测与识别的准确性和可靠性,降低目标识别的难度。而且,由于上述目标伪彩色融合图像中只是对兴趣目标所在的局部区域进行伪彩色映射标注,因此也不容易造成人眼的视觉疲劳。此外,在图像融合前对红外图像进行目标检测也能够有效避免另一源图像(即可见光图像)对低对比度目标在融合过程中的影响。因此,本发明所提供的基于视觉注意模型的红外图像和可见光图像的融合检测方法可适用于对融合图像中的弱小目标或者背景复杂的目标的检测识别中,尤其针对复杂背景和低对比度的目标该方法更加有效。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (9)
1.一种基于视觉注意模型的红外图像和可见光图像的融合检测方法,其特征在于,该方法包括:
对采集到的红外图像和可见光图像分别进行预处理;
基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标;
以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像;
对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像。
2.根据权利要求1所述的方法,其特征在于,所述基于人眼的视觉注意模型,从预处理后的红外图像和可见光图像中提取出兴趣目标包括:
根据由多个预处理后的红外图像组成的图像序列,生成静态图像的亮度显著图;
根据由多个预处理后的红外图像组成的图像序列,生成运动显著图;
将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的红外图像的特征显著图;
根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述红外图像的特征显著图中的背景分离,并提取红外图像中的兴趣目标;
根据由多个预处理后的可见光图像组成的图像序列,生成静态图像的亮度显著图;
根据由多个预处理后的可见光图像组成的图像序列,生成可见光图像的运动显著图;
将所述亮度显著图和运动显著图按照预设比例加权相加融合,得到最终的可见光图像的特征显著图;
根据像素灰度相似性和显著区域质心邻接性,通过局部自适应阈值分割法,将兴趣目标与所述可见光图像的特征显著图中的背景分离,并提取可见光图像中的兴趣目标;
使用预定融合规则融合红外图像和可见光图像中的兴趣目标,在目标融合图像中得到最终的兴趣目标。
3.根据权利要求2所述的方法,其特征在于,所述根据由多个预处理后的红外图像组成的图像序列,生成静态图像的亮度显著图包括:
根据图像序列中的各个预处理后的红外图像建立图像金字塔,以得到多个不同分辨率的红外图像;
各个不同分辨率的红外图像通过差值进行转换和调整,得到多个特征差异图;
通过规格化算子对所获得的特征差异图进行合并,得到最终的静态图像的亮度显著图。
4.根据权利要求2所述的方法,其特征在于,所述根据由多个预处理后的红外图像组成的图像序列,生成运动显著图包括:
根据由多个预处理后的红外图像组成的图像序列得到图像运动向量;所述图像运动向量包括:强度差异、空间一致性差异和时间一致性差异;
根据所述强度差异、空间一致性差异和时间一致性差异,生成运动显著图。
5.根据权利要求2所述的方法,其特征在于:
所述预定融合规则为“或”规则;
在所述“或”规则中,将对应的可见光图像和红外图像的兴趣目标所在区域中同一像素的灰度值的最大值作为该像素在目标融合图像中的灰度值。
6.根据权利要求1所述的方法,其特征在于,所述以预处理后的可见光图像为背景,将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合,得到灰度融合图像包括:
选择小波基函数和分解层数,对预处理后的可见光图像和预处理后的红外图像分别进行多分辨率分解,得到不同尺度空间的可见光图像和红外图像;
从各个不同尺度空间的可见光图像和红外图像的低频分量中提取图像边缘特征;
根据预设的融合规则对不同尺度空间的可见光图像和红外图像进行融合操作,得到融合图像的多分辨率表达,经小波逆变换后得到灰度融合图像。
7.根据权利要求6所述的方法,其特征在于:
所述预设的融合规则为根据梯度和信息熵确定源图像比重的加权融合规则。
8.根据权利要求1所述的方法,其特征在于,所述对灰度融合图像进行所述兴趣目标的伪彩色映射标注,得到并输出目标伪彩色融合图像包括:
将所得到的兴趣目标在HSV空间逆映射到所述灰度融合图像中,并对所述兴趣目标进行伪彩色映射标注,得到目标伪彩色融合图像。
9.根据权利要求8所述的方法,其特征在于,对所述兴趣目标进行伪彩色映射标注包括:
将根据源图像特征提取出来的所述兴趣目标用预设的颜色标记在所述灰度融合图像中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810007446.5A CN108090888B (zh) | 2018-01-04 | 2018-01-04 | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810007446.5A CN108090888B (zh) | 2018-01-04 | 2018-01-04 | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108090888A true CN108090888A (zh) | 2018-05-29 |
CN108090888B CN108090888B (zh) | 2020-11-13 |
Family
ID=62179971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810007446.5A Active CN108090888B (zh) | 2018-01-04 | 2018-01-04 | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108090888B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146904A (zh) * | 2018-08-13 | 2019-01-04 | 合肥英睿系统技术有限公司 | 在可见光图像中显示红外图像目标物轮廓的方法及设备 |
CN109470664A (zh) * | 2018-09-27 | 2019-03-15 | 中国船舶工业系统工程研究院 | 一种快速无接触识别海面膜状覆盖物的系统及识别方法 |
CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
CN111191574A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种面诊的脏腑分区温度的获取方法及装置 |
CN111208521A (zh) * | 2020-01-14 | 2020-05-29 | 武汉理工大学 | 一种多波束前视声呐水下障碍物鲁棒检测方法 |
CN111325139A (zh) * | 2020-02-18 | 2020-06-23 | 浙江大华技术股份有限公司 | 一种唇语识别方法及装置 |
CN111345026A (zh) * | 2018-08-27 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 图像处理及呈现 |
CN111833282A (zh) * | 2020-06-11 | 2020-10-27 | 毛雅淇 | 一种基于改进的DDcGAN模型的图像融合方法 |
CN112233024A (zh) * | 2020-09-27 | 2021-01-15 | 昆明物理研究所 | 基于差异特征色彩映射的中长波双波段红外图像融合方法 |
CN112308102A (zh) * | 2019-08-01 | 2021-02-02 | 北京易真学思教育科技有限公司 | 图像相似度计算方法、计算装置及存储介质 |
US11017515B2 (en) | 2019-02-06 | 2021-05-25 | Goodrich Corporation | Thermal image warm-target detection and outline formation |
CN112916407A (zh) * | 2020-04-29 | 2021-06-08 | 江苏旷博智能技术有限公司 | 用于分拣煤和矸石的方法 |
CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
CN114399450A (zh) * | 2021-12-10 | 2022-04-26 | 浙江大华技术股份有限公司 | 图像融合方法、目标特征识别方法、装置和电子设备 |
CN114419312A (zh) * | 2022-03-31 | 2022-04-29 | 南京智谱科技有限公司 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
CN114581351A (zh) * | 2022-03-02 | 2022-06-03 | 合肥英睿系统技术有限公司 | 目标增强的图像显示方法、装置、设备及存储介质 |
CN115100193A (zh) * | 2022-08-23 | 2022-09-23 | 南京天朗防务科技有限公司 | 基于红外和可见光影像的弱小目标检测识别方法、装置 |
CN118887107A (zh) * | 2024-09-25 | 2024-11-01 | 西安高商智能科技有限责任公司 | 一种电阻阵列红外景象图像的图像融合方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1822046A (zh) * | 2006-03-30 | 2006-08-23 | 上海电力学院 | 基于区域特征模糊的红外与可见光图像融合方法 |
CN101872473A (zh) * | 2010-06-25 | 2010-10-27 | 清华大学 | 基于过分割与优化的多尺度图像自然色彩融合方法及装置 |
US8775597B2 (en) * | 2011-05-26 | 2014-07-08 | Eci Telecom Ltd. | Technique for management of communication networks |
CN104700381A (zh) * | 2015-03-13 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于显著目标的红外与可见光图像融合方法 |
-
2018
- 2018-01-04 CN CN201810007446.5A patent/CN108090888B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1822046A (zh) * | 2006-03-30 | 2006-08-23 | 上海电力学院 | 基于区域特征模糊的红外与可见光图像融合方法 |
CN101872473A (zh) * | 2010-06-25 | 2010-10-27 | 清华大学 | 基于过分割与优化的多尺度图像自然色彩融合方法及装置 |
US8775597B2 (en) * | 2011-05-26 | 2014-07-08 | Eci Telecom Ltd. | Technique for management of communication networks |
CN104700381A (zh) * | 2015-03-13 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于显著目标的红外与可见光图像融合方法 |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146904A (zh) * | 2018-08-13 | 2019-01-04 | 合肥英睿系统技术有限公司 | 在可见光图像中显示红外图像目标物轮廓的方法及设备 |
US11778338B2 (en) | 2018-08-27 | 2023-10-03 | SZ DJI Technology Co., Ltd. | Image processing and presentation |
US11212436B2 (en) | 2018-08-27 | 2021-12-28 | SZ DJI Technology Co., Ltd. | Image processing and presentation |
CN111345026A (zh) * | 2018-08-27 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 图像处理及呈现 |
CN109470664A (zh) * | 2018-09-27 | 2019-03-15 | 中国船舶工业系统工程研究院 | 一种快速无接触识别海面膜状覆盖物的系统及识别方法 |
US11017515B2 (en) | 2019-02-06 | 2021-05-25 | Goodrich Corporation | Thermal image warm-target detection and outline formation |
CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
CN110322423B (zh) * | 2019-04-29 | 2023-03-31 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
CN112308102A (zh) * | 2019-08-01 | 2021-02-02 | 北京易真学思教育科技有限公司 | 图像相似度计算方法、计算装置及存储介质 |
CN111191574A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种面诊的脏腑分区温度的获取方法及装置 |
CN111208521A (zh) * | 2020-01-14 | 2020-05-29 | 武汉理工大学 | 一种多波束前视声呐水下障碍物鲁棒检测方法 |
CN111325139A (zh) * | 2020-02-18 | 2020-06-23 | 浙江大华技术股份有限公司 | 一种唇语识别方法及装置 |
CN111325139B (zh) * | 2020-02-18 | 2023-08-04 | 浙江大华技术股份有限公司 | 一种唇语识别方法及装置 |
CN112916407A (zh) * | 2020-04-29 | 2021-06-08 | 江苏旷博智能技术有限公司 | 用于分拣煤和矸石的方法 |
CN111833282A (zh) * | 2020-06-11 | 2020-10-27 | 毛雅淇 | 一种基于改进的DDcGAN模型的图像融合方法 |
CN111833282B (zh) * | 2020-06-11 | 2023-08-04 | 毛雅淇 | 一种基于改进的DDcGAN模型的图像融合方法 |
CN112233024B (zh) * | 2020-09-27 | 2023-11-03 | 昆明物理研究所 | 基于差异特征色彩映射的中长波双波段红外图像融合方法 |
CN112233024A (zh) * | 2020-09-27 | 2021-01-15 | 昆明物理研究所 | 基于差异特征色彩映射的中长波双波段红外图像融合方法 |
CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
CN113409232B (zh) * | 2021-06-16 | 2023-11-10 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
CN114399450A (zh) * | 2021-12-10 | 2022-04-26 | 浙江大华技术股份有限公司 | 图像融合方法、目标特征识别方法、装置和电子设备 |
CN114581351A (zh) * | 2022-03-02 | 2022-06-03 | 合肥英睿系统技术有限公司 | 目标增强的图像显示方法、装置、设备及存储介质 |
CN114419312A (zh) * | 2022-03-31 | 2022-04-29 | 南京智谱科技有限公司 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
CN114419312B (zh) * | 2022-03-31 | 2022-07-22 | 南京智谱科技有限公司 | 图像处理方法及装置、计算设备和计算机可读存储介质 |
CN115100193B (zh) * | 2022-08-23 | 2022-11-25 | 南京天朗防务科技有限公司 | 基于红外和可见光影像的弱小目标检测识别方法、装置 |
CN115100193A (zh) * | 2022-08-23 | 2022-09-23 | 南京天朗防务科技有限公司 | 基于红外和可见光影像的弱小目标检测识别方法、装置 |
CN118887107A (zh) * | 2024-09-25 | 2024-11-01 | 西安高商智能科技有限责任公司 | 一种电阻阵列红外景象图像的图像融合方法 |
CN118887107B (zh) * | 2024-09-25 | 2025-01-10 | 西安高商智能科技有限责任公司 | 一种电阻阵列红外景象图像的图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108090888B (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090888A (zh) | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 | |
Zhang et al. | A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application | |
CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN105518709B (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
CN104899866B (zh) | 一种智能化的红外小目标检测方法 | |
CN112989889B (zh) | 一种基于姿态指导的步态识别方法 | |
CN109102003A (zh) | 一种基于红外物理特征融合的小目标检测方法和系统 | |
Hsieh et al. | Fast and robust infrared image small target detection based on the convolution of layered gradient kernel | |
Dong et al. | FusionPID: A PID control system for the fusion of infrared and visible light images | |
Miller et al. | Person tracking in UAV video | |
Tian et al. | Pedestrian detection based on laplace operator image enhancement algorithm and faster R-CNN | |
CN116665015A (zh) | 一种基于YOLOv5的红外序列图像弱小目标检测方法 | |
CN112069907A (zh) | 基于实例分割的x光机图像识别方法、装置及系统 | |
Liu et al. | A generative adversarial network for infrared and visible image fusion using adaptive dense generator and Markovian discriminator | |
Lian et al. | A novel method on moving-objects detection based on background subtraction and three frames differencing | |
CN109165551A (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
Wu et al. | An infrared target images recognition and processing method based on the fuzzy comprehensive evaluation | |
Yao et al. | A novel method for real-time multiple moving targets detection from moving IR camera | |
Jiang et al. | Fusion evaluation of X-ray backscatter image and holographic subsurface radar image | |
Wu et al. | Spectra-difference based anomaly-detection for infrared hyperspectral dim-moving-point-target detection | |
CN115205327B (zh) | 一种融合历史库信息的红外小目标跟踪方法 | |
Fan et al. | Infrared Dim and Small Target detection based on sample data | |
Yao et al. | Real-time multiple moving targets detection from airborne IR imagery by dynamic Gabor filter and dynamic Gaussian detector | |
Raja | Principal component analysis based assessment of trees outside forests in satellite images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |