CN113409232B - 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 - Google Patents
基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 Download PDFInfo
- Publication number
- CN113409232B CN113409232B CN202110667804.7A CN202110667804A CN113409232B CN 113409232 B CN113409232 B CN 113409232B CN 202110667804 A CN202110667804 A CN 202110667804A CN 113409232 B CN113409232 B CN 113409232B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- infrared
- enhanced
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 77
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title abstract description 14
- 241001417494 Sciaenidae Species 0.000 title 1
- 241000271532 Crotalus Species 0.000 claims abstract description 58
- 238000013178 mathematical model Methods 0.000 claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 230000005764 inhibitory process Effects 0.000 claims description 11
- 230000005284 excitation Effects 0.000 claims description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 230000007248 cellular mechanism Effects 0.000 claims description 7
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 2
- 230000007246 mechanism Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 4
- 230000007910 cell fusion Effects 0.000 abstract description 3
- 230000016776 visual perception Effects 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 59
- 230000000638 stimulation Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法，该模型通过提取红外源图像和可见光源图像的共有信息和特有信息来进行图像预处理，提高了融合图像的质量；通过引入响尾蛇双模式细胞数学模型设计图像融合结构，有效利用了响尾蛇双模式细胞融合机制，更好的模拟了响尾蛇视觉感知机制；获得的融合图像在色彩表现上有所改善，细节更加明显、目标更加突出，更符合人眼视觉特性。
Description
技术领域
本发明涉及图像融合处理技术领域，更具体的说是涉及一种基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法。
背景技术
图像融合技术旨在将同一环境下通过多传感器得到的各具优缺点的多幅图像进行图像信息整合，生成包含更多信息量的单张融合图像，进而从中获取更准确的信息。为了更深入的研究图像融合技术，部分学者以响尾蛇为研究对象模拟其视觉成像机制，例如美国麻省理工学院的A.M.Waxman等人利用模仿响尾蛇双模式细胞工作原理的视觉感受野模型，提出了微光和红外图像的融合结构。
Waxman融合结构中，ON/OFF结构表现了中心-环绕对抗受域的对比度感知属性，第一阶段为增强阶段，第二阶段为对红外增强可见光和红外抑制可见光的处理，与响尾蛇视觉的红外和可见光的融合机理相符。该Waxman融合结构模拟了“红外增强可见光细胞”和“红外抑制可见光细胞”，虽然对红外信号分别进行了OFF对抗和ON对抗增强并传入神经节细胞的环绕区域，但实质仍是抑制信号，这就导致红外信号对可见光信号的增强并不明显，进而得到的融合图像中在色彩表现上不够理想，目标不够明显，细节不够突出。
因此，如何提供一种融合效果更优的基于响尾蛇视觉成像的仿生假彩色图像融合方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法，解决了现有的图像融合方法得到的融合图像中在色彩表现上不够理想，目标不够明显，细节不够突出等问题。
为了实现上述目的，本发明采用如下技术方案：
一方面，本发明提供了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，该模型包括：
图像预处理模块，所述图像预处理模块用于提取输入的红外源图像和可见光源图像的共有信息和特有信息，并对红外源图像和可见光源图像进行预处理；
响尾蛇双模式细胞机制模拟模块，所述响尾蛇双模式细胞机制模拟模块通过响尾蛇双模式细胞数学模型，对预处理后的红外源图像和可见光源图像进行响尾蛇双模式细胞机制模拟，获得六种响尾蛇双模式细胞模型输出信号；
增强图像生成模块，所述增强图像生成模块用于将六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像；
融合信号生成模块，所述融合信号生成模块用于将所述增强图像进行融合处理，获得融合信号；以及
假彩色融合图像生成模块，所述假彩色图像生成模块用于将所述融合信号映射至RGB颜色空间的不同颜色通道，生成假彩色融合图像。
进一步地，所述图像预处理模块包括：
共有信息获取单元，所述共有信息获取单元用于获取所述红外源图像和所述可见光源图像的共有信息成分，即：
Ir(i,j)∩Ivis(i,j)＝min{Ir(i,j),Ivis(i，j)}
其中，Ir(i,j)表示红外源图像，Ivis(i,j)表示可见光源图像，(i,j)表示两幅图像对应的某一像素点，Ir(i,j)∩Ivis(i,j)表示二者的共有信息成分；
特有信息获取单元，所述特有信息获取单元用于获取所述红外源图像和所述可见光源图像的特有信息成分，即：
Ir(i,j)*＝Ir(i，j)-Ir(i,j)∩Ivis(i，j)
Ivis(i,j)*＝Ivis(i,j)-Ir(i,j)∩Ivis(i,j)
其中，Ir(i,j)*表示红外源图像Ir(i,j)的特有信息成分，Ivis(i,j)*表示可见光源图像Ivis(i,j)的特有信息成分；
预处理单元，所述预处理单元用于将所述红外源图像减去可见光源图像的特有信息成分，得到红外源图像的预处理结果，并将所述可见光源图像减去所述红外源图像的特有信息成分，得到可见光源图像的预处理结果。
进一步地，所述响尾蛇双模式细胞数学模型包括可见光增强红外细胞数学模型、可见光抑制红外细胞数学模型、红外增强可见光细胞数学模型、红外抑制可见光细胞数学模型、与细胞数学模型以及或细胞数学模型。
更进一步地，所述可见光增强红外细胞数学模型的表达式为：
I+IR←V(i,j)＝IIR(i,j)exp[IV(i,j)]
其中，I+IR←V(i,j)表示可见光增强红外后所得图像，IIR(i,j)表示红外图像，IV(i,j)表示可见光图像；
所述可见光抑制红外细胞数学模型的表达式为：
I-IR←V(i,j)＝IIR(i,j)log[IV(i,j)+1]
其中，I-IR←V(i，j)表示可见光抑制红外后所得图像；
所述红外增强可见光细胞数学模型的表达式为：
I+V←IR(i，j)＝IV(i，j)exp[IIR(i，j)]
其中，I+V←IR(i,j)表示红外增强可见光信号后所得图像；
所述红外抑制可见光细胞数学模型的表达式为：
I-V←IR(i,j)＝IV(i,j)log[IIR(i,j)+1]
其中，I-V←IR(i,j)表示红外抑制可见光信号后所得图像；
所述与细胞数学模型的表达式为：
当IV(i,j)<IR(i,j)时，融合结果为：
IAND(i,j)＝mIV(i,j)+nIR(i，j)
当IV(i,j)>IR(i,j)时，融合结果为：
IAND(i,j)＝nIV(i,j)+mIR(i，j)
其中m>0.5，n<0.5，IAND(i,j)表示红外图像和可见光图像加权与作用后得到的图像；
所述或细胞数学模型的表达式为：
当IV(i,j)<IR(i,j)时，融合结果为：
IOR(i,j)＝nIV(i,j)+mIR(i,j)
当IV(i,j)>IR(i,j)时，融合结果为：
IOR(i,j)＝mIV(i,j)+nIR(i,j)
其中，m>0.5，n<0.5，IOR(i,j)表示可见光图像和红外图像加权或作用后得到的图像。
进一步地，所述六种响尾蛇双模式细胞模型输出信号包括与输出信号、或输出信号、红外增强可见光输出信号、红外抑制可见光输出信号、可见光增强红外输出信号以及可见光抑制红外输出信号。
进一步地，所述增强图像生成模块包括：
增强图像+OR_AND生成单元，所述增强图像+OR_AND生成单元用于将所述或输出信号和所述与输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，生成增强图像+OR_AND；
增强图像+VIS生成单元，所述增强图像+VIS生成单元用于将红外增强可见光输出信号和红外抑制可见光输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，生成增强图像+VIS；以及
增强图像+IR生成单元，所述增强图像+IR生成单元用于将可见光增强红外输出信号和可见光抑制红外信号分别馈入到OFF-中心型感受野的中心抑制区域和环绕兴奋区域，得到增强图像+IR。
进一步地，所述融合信号生成模块包括：
图像馈入单元，所述图像馈入单元用于将所述增强图像+OR_AND、增强图像+VIS以及增强图像+IR分别馈入两个ON-中心型感受野所对应的中心和环绕区域，获得融合信号+VlS+OR_AND和融合信号+VlS+IR；以及
线性或操作单元，所述线性或操作单元用于对增强图像+VIS和增强图像+OR_AND进行线性或操作，生成融合信号+OR_AND OR+VlS。
另一方面，本发明还提供了一种基于响尾蛇视觉成像的仿生假彩色图像融合方法，该方法包括：
获取待处理的红外源图像和可见光源图像；
将获取的所述红外源图像和可见光源图像输入上述基于响尾蛇视觉成像的仿生假彩色图像融合模型中，输出假彩色融合图像。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法，该模型通过提取红外源图像和可见光源图像的共有信息和特有信息来进行图像预处理，提高了融合图像的质量；通过引入响尾蛇双模式细胞数学模型设计图像融合结构，有效利用了响尾蛇双模式细胞融合机制，更好的模拟了响尾蛇视觉感知机制；获得的融合图像在色彩表现上有所改善，细节更加明显、目标更加突出，更符合人眼视觉特性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于响尾蛇视觉成像的仿生假彩色图像融合模型结构架构示意图；
图2为图像预处理模块的实现原理示意图；
图3为ON-中心型感受野模型和OFF-中心型感受野模型的结构示意图；
图4为本发明提供的一种基于响尾蛇视觉成像的仿生假彩色图像融合方法的实现流程示意图；
图5为基于响尾蛇视觉成像的仿生假彩色图像融合方法的实现原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，参见附图1，本发明实施例公开了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，该模型包括：
图像预处理模块1，图像预处理模块1用于提取输入的红外源图像和可见光源图像的共有信息和特有信息，并对红外源图像和可见光源图像进行预处理；
响尾蛇双模式细胞机制模拟模块2，响尾蛇双模式细胞机制模拟模块2通过响尾蛇双模式细胞数学模型，对预处理后的红外源图像和可见光源图像进行响尾蛇双模式细胞机制模拟，获得六种响尾蛇双模式细胞模型输出信号；
增强图像生成模块3，增强图像生成模块3用于将六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像；
融合信号生成模块4，融合信号生成模块4用于将增强图像进行融合处理，获得融合信号；以及
假彩色融合图像生成模块5，假彩色融合图像生成模块5用于将融合信号映射至RGB颜色空间的不同颜色通道，生成假彩色融合图像。
具体地，图像预处理模块1包括：
共有信息获取单元，共有信息获取单元用于获取红外源图像和可见光源图像的共有信息成分，即：
Ir(i,j)∩Ivis(i,j)＝min{Ir(i,j),Ivis(i,j)}
其中，Ir(i,j)表示红外源图像，Ivis(i,j)表示可见光源图像，(i,j)表示两幅图像对应的某一像素点，Ir(i,j)∩Ivis(i，j)表示二者的共有信息成分；
特有信息获取单元，特有信息获取单元用于获取红外源图像和可见光源图像的特有信息成分，即：
Ir(i,j)*＝Ir(i,j)-Ir(i,j)∩Ivis(i,j)
Ivis(i,j)*＝Ivis(i,j)-Ir(i,j)∩Ivis(i,j)
其中，Ir(i,j)*表示红外源图像Ir(i，j)的特有信息成分，Ivis(i,j)*表示可见光源图像Ivis(i,j)的特有信息成分；
预处理单元，预处理单元用于将红外源图像Ir(i,j)减去可见光源图像的特有信息成分Ivis(i,j)*，得到红外源图像的预处理结果，即Ir(i,j)-Ivis(i,j)*，并将可见光源图像Ivis(i,j)减去红外源图像的特有信息成分Ir(i,j)*，得到可见光源图像的预处理结果，即Ivis(i,j)-Ir(i,j)*，将Ir(i,j)-Ivis(i,j)*和Ivis(i,j)-Ir(i,j)*分别作为预处理后的红外图像和可见光图像，记为IR和VIS，即：
图2示出了上述图像预处理模块中各单元对红外源图像和可见光源图像进行共有特征和特有特征获取以及预处理，最终获得预处理后的红外图像IR和可见光图像VIS的原理。
本实施例中预处理操作是为了对图像融合输入的源图像根据后面的需求进行处理，保留或提高某些图像信息，省略某些对后续处理不是很重要的图像信息，从而达到增强图像的效果，进而提高最终获得的融合图像的质量。
若要将红外图像和可见光图像融合到一张图像中进行呈现，那么必然要对两张源图像的图像信息进行选择和侧重，本实施例通过红外源图像减去二者共有信息减轻了红外源图像和可见光源图像共同的图像信息比重，并且更加突出了红外源图像独有而可见光源图像所欠缺的图像信息，用可见光源图像减二者共有信息的初衷亦是如此。便于后续图像融合时融合图像对红外源图像和可见光源图像信息的整合和呈现。
在本实施例中，响尾蛇双模式细胞数学模型包括可见光增强红外细胞数学模型、可见光抑制红外细胞数学模型、红外增强可见光细胞数学模型、红外抑制可见光细胞数学模型、与细胞数学模型以及或细胞数学模型。
在可见光增强红外细胞中，红外信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而可见光信号刺激单独作用不产生响应，起到辅助增强效果，可利用指数函数来表示可见光图像的增强作用，最终获得可见光增强红外细胞的数学模型如下：
I+IR←V(i,j)＝IIR(i，j)exp[IV(i，j)]
其中，I+IR←V(i，j)表示可见光增强红外后所得图像，IIR(i，j)表示红外图像，IV(i，j)表示可见光图像。
在可见光抑制红外细胞中，红外信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而可见光信号刺激单独作用不产生响应，起到辅助抑制作用，可利用对数函数来表示可见光图像的抑制作用，最终获得可见光抑制红外细胞的数学模型如下：
I-IR←V(i,j)＝IIR(i,j)log[IV(i,j)+1]
其中，I-IR←V(i，j)表示可见光抑制红外后所得图像。
在红外增强可见光细胞中，可见光信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而红外信号刺激单独作用不产生响应，起到辅助增强作用，可利用指数函数来表示红外图像的增强作用，最终获得红外增强可见光细胞的数学模型如下：
I+V←IR(i,j)＝IV(i,j)exp[IIR(i,j)]
其中，I+V←IR(i,j)表示红外增强可见光信号后所得图像。
在红外抑制可见光细胞中，可见光信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而红外信号刺激单独作用不产生响应，起到辅助抑制作用，可利用对数函数来表示红外图像的抑制作用，最终获得红外抑制可见光细胞的数学模型如下：
I-V←IR(i,j)＝IV(i,j)log[IIR(i,j)+1]
其中，I-V←IR(i,j)表示红外抑制可见光信号后所得图像；
在与细胞中，只有两种信号刺激同时存在时，细胞才会有较显著响应，红外信号和可见光信号并无实质上的差别，只是各自刺激强度的大小会对响应产生影响，故可考虑用“加权与”的方式来模拟可见光和红外图像的共同作用效果，最终获得与细胞的数学模型如下：
当IV(i,j)<IR(i,j)时，融合结果为：
IAND(i,j)＝mIV(i,j)+nIR(i,j)
当IV(i,j)>IR(i,j)时，融合结果为
IAND(i,j)＝nIV(i,j)+mIR(i,j)
其中m>0.5，n<0.5，IAND(i,j)表示红外图像和可见光图像加权与作用后得到的图像。
对于或细胞来说，红外信号刺激和可见光刺激中的任意一种单独作用都产生响应，而两种信号刺激的同时存在则会起到增益作用，或细胞依旧可以产生响应。
在该细胞中，红外信号刺激和可见光刺激中的任意一种单独作用都产生响应，两种信号刺激同时存在会起到增益作用，两种信号间体现着一种合作共赢的伙伴关系，故考虑用“加权或”的方式来模拟可见光和红外图像的共同作用效果，最终获得或细胞数学模型如下：
当IV(i，j)<IR(i,j)时，融合结果为
IOR(i,j)＝nIV(i,j)+mIR(i,j)
当IV(i，j)>IR(i，j)时，融合结果为
IOR(i,j)＝mIV(i,j)+nIR(i,j)
其中，m>0.5，n<0.5，IOR(i,j)表示可见光图像和红外图像加权或作用后得到的图像。
使用上述六种响尾蛇双模式细胞数学模型对可见光图像(VIS)和红外图像(IR)进行处理，得到或输出信号V∪IR、与输出信号V∩IR、红外增强可见光输出信号+V←IR、红外抑制可见光输出信号-V←IR、可见光增强红外输出信号+IR←V和可见光抑制红外输出信号-IR←V共六种响尾蛇双模式细胞模型输出信号。
具体地，增强图像生成模块3包括：
增强图像+OR_AND生成单元，增强图像+OR_AND生成单元用于将或输出信号V∪IR馈入到ON-中心型感受野的中心兴奋区域，并将与输出信号V∩IR馈入到ON-中心型感受野的环绕抑制区域，生成增强图像+OR_AND；
增强图像+VIS生成单元，增强图像+VIS生成单元用于将红外增强可见光输出信号+V←IR馈入到ON-中心型感受野的中心兴奋区域，并将红外抑制可见光输出信号-V←IR馈入到ON-中心型感受野的环绕抑制区域，生成增强图像+VIS；以及
增强图像+IR生成单元，增强图像+IR生成单元用于将可见光增强红外输出信号+IR←V馈入到OFF-中心型感受野的中心抑制区域，并将可见光抑制红外信号-IR←V馈入到OFF-中心型感受野的环绕兴奋区域，得到增强图像+IR。
在本实施例中，增强图像生成模块3利用视觉感受野及其数学模型将六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像。
下面对上述的视觉感受野及其数学模型进行如下说明：
生理学特性表明，视网膜神经细胞感受野的基本作用方式为同心圆的空间拮抗作用，可以分为两种：一种是ON-center/OFF-surround系统(即：ON中心兴奋/OFF环绕抑制感受野)，一般简称为ON-中心型感受野，结构如图3中a所示。而另外一种是OFF-center/ON-surround系统(即：OFF中心抑制/ON环绕兴奋感受野)，一般简称为OFF-中心型感受野，结构如图3中b所示。神经节细胞受域通过数学建模可用高斯差函数模型进行模拟，可用高斯分布来描述其不同区域的细胞活跃度，其敏锐性从中心向四周依次递减。
中心-环绕对抗受域的一种动力学描述是被动膜方程(Passive membraneequation)。根据视觉感受野动力学方程的描述，给出视觉感受野动力学方程如下：
ON对抗系统的稳态输出：
OFF对抗系统稳态输出：
其中，Ck(i,j)和Sk(i,j)分别表示中心输入图像、环绕输入图像与高斯函数的卷积，A为衰减常数，E是极化常数。
其中，Ck(i,j)为感受野中心，其表达式为：
Sk(i,j)为感受野环绕区域，其表达式为：
其中，Ik(i,j)为输入图像，*是卷积算子,Wc、Ws分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为和m×n和p×q，σc、σs分别为中心和环绕区域的空间常数，分别使用c、s作为下标来对中心区域(Center)和环绕区域(Surround)进行区分。
具体地，融合信号生成模块4包括：
图像馈入单元，图像馈入单元用于将增强图像+OR_AND、增强图像+VIS以及增强图像+IR分别馈入两个ON-中心型感受野所对应的中心和环绕区域，获得融合信号+VlS+OR_AND和融合信号+VlS+IR两个图像信号；以及
线性或操作单元，线性或操作单元用于对增强图像+VIS和增强图像+OR_AND进行线性或操作，生成融合信号+OR_AND OR+VlS。
最后，假彩色融合图像生成模块5采用RGB颜色空间，将融合信号生成模块中获得的+VIS+OR_AND、+OR_AND OR+VlS和+VIS+IR融合信号分别映射到R、G、B三个通道，将通过上述处理后得到的图像作为最终生成的假彩色融合图像。
另一方面，参见附图4和图5，本发明实施例还公开了一种基于响尾蛇视觉成像的仿生假彩色图像融合方法，该方法包括：
S1：获取待处理的红外源图像和可见光源图像；
S2：将获取的红外源图像和可见光源图像输入上述基于响尾蛇视觉成像的仿生假彩色图像融合模型中，输出假彩色融合图像。
综上所述，本发明实施例从仿生学角度，基于响尾蛇视觉系成像系统设计了一种假彩色图像融合模型，用于获取红外光和可见光融合图像，通过提取红外和可见光图像的共有信息和特有信息来进行图像预处理，进而提高融合图像质量。引入响尾蛇双模式细胞数学模型设计图像融合结构，有效利用了响尾蛇双模式细胞融合机制，更好的模拟了响尾蛇视觉感知机制。同时，上述仿生假彩色图像融合方法，较好的模拟了响尾蛇对红外图像和可见光图像的融合机制，获得的融合图像在色彩表现上有所改善，能在融合图像中更好的呈现人物等目标位置，能够在某些细节方面有更好的表现，能较好的改善光照、烟雾遮挡以及天气情况对成像效果的影响，更符合人眼视觉特性，便于后期人员观察、理解和进一步学术研究。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，其特征在于，包括：
图像预处理模块，所述图像预处理模块用于提取输入的红外源图像和可见光源图像的共有信息和特有信息，并对红外源图像和可见光源图像进行预处理；
所述图像预处理模块包括：
预处理单元，所述预处理单元用于将所述红外源图像减去可见光源图像的特有信息成分，得到红外源图像的预处理结果，并将所述可见光源图像减去所述红外源图像的特有信息成分，得到可见光源图像的预处理结果；
共有信息获取单元，所述共有信息获取单元用于获取所述红外源图像和所述可见光源图像的共有信息成分；
特有信息获取单元，所述特有信息获取单元用于获取所述红外源图像和所述可见光源图像的特有信息成分；
所述红外源图像和所述可见光源图像的共有信息成分的计算公式为：
Ir(i，j)∩Ivis(i，j)＝min{Ir(i，j)，Ivis(i，j)}
其中，Ir(i，j)表示红外源图像，Ivis(i，j)表示可见光源图像，(i，j)表示两幅图像对应的某一像素点，Ir(i，j)∩Ivis(i，j)表示二者的共有信息成分；
所述红外源图像和所述可见光源图像的特有信息成分的计算公式分别为：
Ir(i，j)*＝Ir(i，j)-Ir(i，j)∩Ivis(i，j)
Ivis(i，j)*＝Ivis(i，j)-Ir(i，j)∩Ivis(i，j)
其中，Ir(i，j)*表示红外源图像Ir(i，j)的特有信息成分，Ivis(i，j)*表示可见光源图像Ivis(i，j)的特有信息成分；
响尾蛇双模式细胞机制模拟模块，所述响尾蛇双模式细胞机制模拟模块通过响尾蛇双模式细胞数学模型，对预处理后的红外源图像和可见光源图像进行响尾蛇双模式细胞机制模拟，获得六种响尾蛇双模式细胞模型输出信号；
所述响尾蛇双模式细胞数学模型包括可见光增强红外细胞数学模型、可见光抑制红外细胞数学模型、红外增强可见光细胞数学模型、红外抑制可见光细胞数学模型、与细胞数学模型以及或细胞数学模型；
所述六种响尾蛇双模式细胞模型输出信号包括与输出信号、或输出信号、红外增强可见光输出信号、红外抑制可见光输出信号、可见光增强红外输出信号以及可见光抑制红外输出信号；
增强图像生成模块，所述增强图像生成模块用于将所述六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像；
所述增强图像生成模块用于将所述或输出信号和所述与输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域；将红外增强可见光输出信号和红外抑制可见光输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域；以及将可见光增强红外输出信号和可见光抑制红外信号分别馈入到OFF-中心型感受野的中心抑制区域和环绕兴奋区域；
融合信号生成模块，所述融合信号生成模块用于将所述增强图像进行融合处理，获得融合信号；以及
假彩色融合图像生成模块，所述假彩色图像生成模块用于将所述融合信号映射至RGB颜色空间的不同颜色通道，生成假彩色融合图像。
2.根据权利要求1所述的一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，其特征在于，所述可见光增强红外细胞数学模型的表达式为：
I+IR←V(i，j)＝IIR(i，j)exp[IV(i，j)]
其中，I+IR←V(i，j)表示可见光增强红外后所得图像，IIR(i，j)表示红外图像，IV(i，j)表示可见光图像；
所述可见光抑制红外细胞数学模型的表达式为：
I-IR←V(i，j)＝IIR(i，j)log[IV(i，j)+1]
其中，I-IR←V(i，j)表示可见光抑制红外后所得图像；
所述红外增强可见光细胞数学模型的表达式为：
I+V←IR(i，j)＝IV(i，j)exp[IIR(i，j)]
其中，I+V←IR(i，j)表示红外增强可见光信号后所得图像；
所述红外抑制可见光细胞数学模型的表达式为：
I-V←IR(i，j)＝IV(i，j)log[IIR(i，j)+1]
其中，I-V←IR(i，j)表示红外抑制可见光信号后所得图像；
所述与细胞数学模型的表达式为：
当IV(i，j)＜IR(i，j)时，融合结果为：
IAND(i，j)＝mIV(i，j)+nIR(i，j)
当IV(i，j)＞IR(i，j)时，融合结果为：
IAND(i，j)＝nIV(i，j)+mIR(i，j)
其中m＞0.5，n＜0.5，IAND(i，j)表示红外图像和可见光图像加权与作用后得到的图像；
所述或细胞数学模型的表达式为：
IOR(i，j)＝nIV(i，j)+mIR(i，j)
IOR(i，j)＝mIV(i，j)+nIR(i，j)
其中，m＞0.5，n＜0.5，IOR(i，j)表示可见光图像和红外图像加权或作用后得到的图像。
3.根据权利要求1所述的一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，其特征在于，所述增强图像生成模块包括：
增强图像+OR_AND生成单元，所述增强图像+OR_AND生成单元用于将所述或输出信号和所述与输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，生成增强图像+OR_AND；
增强图像+VIS生成单元，所述增强图像+VIS生成单元用于将红外增强可见光输出信号和红外抑制可见光输出信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，生成增强图像+VIS；以及
增强图像+IR生成单元，所述增强图像+IR生成单元用于将可见光增强红外输出信号和可见光抑制红外信号分别馈入到OFF-中心型感受野的中心抑制区域和环绕兴奋区域，得到增强图像+IR。
4.根据权利要求3所述的一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，其特征在于，所述融合信号生成模块包括：
图像馈入单元，所述图像馈入单元用于将所述增强图像+OR_AND、增强图像+VIS以及增强图像+IR分别馈入两个ON-中心型感受野所对应的中心和环绕区域，获得融合信号
+V1S+OR_AND和融合信号+V1S+IR；以及
线性或操作单元，所述线性或操作单元用于对增强图像+VIS和增强图像+OR_AND进行线性或操作，生成融合信号+OR_AND OR+V1S。
5.一种基于响尾蛇视觉成像的仿生假彩色图像融合方法，其特征在于，包括：
获取待处理的红外源图像和可见光源图像；
将获取的所述红外源图像和可见光源图像输入到如权利要求1-4任一项所述的一种基于响尾蛇视觉成像的仿生假彩色图像融合模型中，输出假彩色融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110667804.7A CN113409232B (zh) | 2021-06-16 | 2021-06-16 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110667804.7A CN113409232B (zh) | 2021-06-16 | 2021-06-16 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409232A CN113409232A (zh) | 2021-09-17 |
| CN113409232B true CN113409232B (zh) | 2023-11-10 |
Family
ID=77684422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110667804.7A Active CN113409232B (zh) | 2021-06-16 | 2021-06-16 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409232B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091879B (zh) * | 2022-12-21 | 2025-03-11 | 吉林大学 | 一种基于响尾蛇机制不同光照环境的图像融合方法 |
| CN117994145B (zh) * | 2024-02-04 | 2025-02-18 | 吉林大学 | 一种基于on对抗细胞的生成非伪彩色图像的方法 |
| CN119168885A (zh) * | 2024-09-03 | 2024-12-20 | 中国矿业大学 | 仿响尾蛇视顶盖机制的井下复杂环境视觉融合增强感知方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011004381A1 (en) * | 2009-07-08 | 2011-01-13 | Yogesh Chunilal Rathod | An apparatus, system, and method for automated production of rule based near live sports event in the form of a video film for entertainment |
| CN102924596A (zh) * | 2005-04-29 | 2013-02-13 | 詹森生物科技公司 | 抗il-6抗体、组合物、方法及应用 |
| CN108090888A (zh) * | 2018-01-04 | 2018-05-29 | 北京环境特性研究所 | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN108711146A (zh) * | 2018-04-19 | 2018-10-26 | 中国矿业大学 | 一种基于可见光和红外图像融合的煤岩识别装置及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN110458877A (zh) * | 2019-08-14 | 2019-11-15 | 湖南科华军融民科技研究院有限公司 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8176054B2 (en) * | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
| CN104835129B (zh) * | 2015-04-07 | 2017-10-31 | 杭州电子科技大学 | 一种使用局部窗口视觉注意提取的双波段图像融合方法 |
| CN106952246A (zh) * | 2017-03-14 | 2017-07-14 | 北京理工大学 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
| CN110211083A (zh) * | 2019-06-10 | 2019-09-06 | 北京宏大天成防务装备科技有限公司 | 一种图像处理方法及装置 |
| CN111724333B (zh) * | 2020-06-09 | 2023-05-30 | 四川大学 | 基于早期视觉信息处理的红外图像和可见光图像融合方法 |
-
2021
- 2021-06-16 CN CN202110667804.7A patent/CN113409232B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102924596A (zh) * | 2005-04-29 | 2013-02-13 | 詹森生物科技公司 | 抗il-6抗体、组合物、方法及应用 |
| WO2011004381A1 (en) * | 2009-07-08 | 2011-01-13 | Yogesh Chunilal Rathod | An apparatus, system, and method for automated production of rule based near live sports event in the form of a video film for entertainment |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN108090888A (zh) * | 2018-01-04 | 2018-05-29 | 北京环境特性研究所 | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 |
| CN108711146A (zh) * | 2018-04-19 | 2018-10-26 | 中国矿业大学 | 一种基于可见光和红外图像融合的煤岩识别装置及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN110458877A (zh) * | 2019-08-14 | 2019-11-15 | 湖南科华军融民科技研究院有限公司 | 基于仿生视觉的红外与可见光信息融合的导航方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王勇 等."Pseudo color image fusion based on rattlesnake's visual receptive field model".《IEEE International Conference on Artificial Intelligence and Information Systems》.2020,第596-600页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409232A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113409232B (zh) | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 | |
| Zhang et al. | Underwater image enhancement via extended multi-scale Retinex | |
| Sagiv et al. | Structural encoding of human and schematic faces: holistic and part-based processes | |
| Li et al. | Efficient stereo coding in the multiscale representation | |
| Tu et al. | Category-selective attention modulates unconscious processes in the middle occipital gyrus | |
| CN112991250B (zh) | 基于响尾蛇视觉成像的红外与可见光图像融合方法 | |
| Zhou et al. | Specificity of face processing without awareness | |
| Susilo et al. | The composite effect for inverted faces is reliable at large sample sizes and requires the basic face configuration | |
| CN110120028A (zh) | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 | |
| Jerath et al. | How lateral inhibition and fast retinogeniculo-cortical oscillations create vision: a new hypothesis | |
| CN108133470A (zh) | 红外图像与微光彩色图像融合系统及方法 | |
| Zhu et al. | Fine and distributed subcellular retinotopy of excitatory inputs to the dendritic tree of a collision-detecting neuron | |
| Abbas et al. | A three-layer network model of direction selective circuits in the optic tectum | |
| CN107067386A (zh) | 一种基于相对全局直方图拉伸的浅海水下图像增强方法 | |
| Tong | Foundations of vision | |
| Zhang et al. | Bionic algorithm for color fusion of infrared and low light level image based on rattlesnake bimodal cells | |
| Daly et al. | The independence of eye movements in a stomatopod crustacean is task dependent | |
| Pokorny et al. | Fifty years exploring the visual system | |
| Le Meur et al. | From low-level perception to high-level perception: a coherent approach for visual attention modeling | |
| McCarthy et al. | Augmenting intensity to enhance scene structure in prosthetic vision | |
| DE102022208822A1 (de) | Anzeigen von bilddaten basierend auf umgebungslicht | |
| Zhang | Computer vision overview | |
| Vishwanath | Experimental phenomenology of visual 3D space: Considerations from evolution, perception, and philosophy | |
| CN102903079A (zh) | 一种真实影像再现的方法及装置 | |
| Shi et al. | Objective evaluation of color fusion of visual and IR imagery by measuring image contrast |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |