CN116091879B - 一种基于响尾蛇机制不同光照环境的图像融合方法 - Google Patents
一种基于响尾蛇机制不同光照环境的图像融合方法 Download PDFInfo
- Publication number
- CN116091879B CN116091879B CN202211649510.2A CN202211649510A CN116091879B CN 116091879 B CN116091879 B CN 116091879B CN 202211649510 A CN202211649510 A CN 202211649510A CN 116091879 B CN116091879 B CN 116091879B
- Authority
- CN
- China
- Prior art keywords
- signal
- image
- visible light
- enhanced
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 26
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000005286 illumination Methods 0.000 title claims description 19
- 241001417494 Sciaenidae Species 0.000 title description 6
- 230000004927 fusion Effects 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 18
- 241000271532 Crotalus Species 0.000 claims abstract description 11
- 230000005284 excitation Effects 0.000 claims description 29
- 230000005764 inhibitory process Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 19
- 210000004027 cell Anatomy 0.000 description 33
- 238000013178 mathematical model Methods 0.000 description 25
- 230000007248 cellular mechanism Effects 0.000 description 24
- 230000001629 suppression Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007321 biological mechanism Effects 0.000 description 2
- 230000036755 cellular response Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005342 ion exchange Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于响尾蛇机制不同光照环境的图像融合方法，包括：根据待融合图像中可见光图像的灰度图像的像素值比例分布，判定待融合图像的光照环境；光照环境包括：夜间图像和白天图像；待融合图像包括：可见光图像和红外光图像；根据光照环境判定结果，分别对待融合图像通过ON‑中心型感受野和OFF‑中心型感受野进行增强和融合处理，并将结果映射到R通道、B通道和G通道；输出待融合图像的伪彩色融合图像。该方法可显著提升白天和夜间图像的融合精度。
Description
技术领域
本发明涉及数字图像融合技术领域，特别涉及一种基于响尾蛇机制不同光照环境的图像融合方法。
背景技术
图像融合是对同一场景的图像利用不同的传感器经过计算机技术生成更丰富更高质量图像的过程。图像融合处理能够提取图像中包含的有效信息和可利用的互补信息，滤去源图像中的冗余信息和无效信息，生成一种鲁棒的或有信息的图像，改善图像质量。因此，融合技术在现代应用的计算机视觉领域表现了巨大的功效。各种形式的图像，包括可见光、红外线、计算机断层扫描(CT)和磁共振成像(MRI)等，都是非常好的信息来源图像。红外光图像还能够通过辐射差把目标和场景区别开，在全天候和昼夜等条件下也能够很好的识别；可见光图像可以提供高空间分辨率和清晰度的纹理细节，符合人类视觉系统。因此，将这两类红外光图像和可见光图像进行融合是可取的，它可以结合红外图像中热辐射信息的优点和可见光图像中详细的纹理信息，获取高质量的图像。而且红外光图像和可见光图像的获取设备相对简单，而CT、MRI等成像技术的要求比较严格。而且红外图像和可见光图像具有互补特性，从而产生鲁棒且信息丰富的融合图像。
随着图像融合技术的发展，传统的红外可见光融合已不能满足研究者的需要。1981年，Newman等人发现响尾蛇的双峰细胞可以同时接收和处理红外光图像信息和可见光图像信息，并且在神经元中自动进行配准，根据自身的6种双峰细胞的融合机制完成红外与可见光图像信息的融合对周围环境进行感知判断。
Li等人对网络结构进行改进，提出了一种基于生物视觉融合机制的图像增强算法；Wang等人提出一种改进的响尾蛇双模式细胞模型的图像融合。Jing等人将响尾蛇的双峰细胞数学模型引用到Waxman网络结构中，实现了多波段图像的伪彩色图像融合。Liu等人提出基于响尾蛇视觉感受场模型的图像融合和基于响尾蛇视觉成像系统的红外与可见图像伪彩色融合。
然而上述的研究周围环境都是在光线相对充足的情况下，当可见光为夜间图像时，即不能实现图像融合。夜间图像能见度低，图像纹理较差，因此融合方法相比较白天图像更困难。Zhu等人提出一种基于灰度变换与两尺度分解的夜视图像融合。Qiu等人提出一种基于红外与可见光图像融合的夜间监控图像增强优化方法。这些方法中，都是传统的图像融合方法，而利用生物学角度的响尾蛇视觉感知机制去研究夜间环境下的红外与可见光图像的融合较少。
因此，在现有的图像融合技术的基础上，如何显著提升白天和夜间图像的融合精度，成为本领域技术人员亟需解决的问题。
发明内容
鉴于上述问题，本发明提出了一种至少解决上述部分技术问题的基于响尾蛇机制不同光照环境的图像融合方法，该方法可显著提升白天和夜间图像的融合精度。
本发明实施例提供一种基于响尾蛇机制不同光照环境的图像融合方法，包括如下步骤：
S1、根据待融合图像中可见光图像的灰度图像的像素值比例分布，判定所述待融合图像的光照环境；所述光照环境包括：夜间图像和白天图像；所述待融合图像包括：可见光图像和红外光图像；
S2、根据光照环境判定结果，分别对所述待融合图像通过ON-中心型感受野和OFF-中心型感受野进行增强和融合处理，并将结果映射到R通道、B通道和G通道；输出所述待融合图像的伪彩色融合图像。
进一步地，当所述可见光图像的灰度图像的像素值高于110的像素个数占所述可见光图像的灰度图像的总像素个数的比例小于15％时，判定所述待融合图像为夜间图像，否则为白天图像。
进一步地，所述步骤S2，包括：
当所述待融合图像为白天图像时，分别将所述可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；
将所述可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；
将所述可见光第一增强信号和所述红外光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号(也称红外增强可见光信号，记作+VIS+IR)；
将所述可见光第一增强信号和所述红外光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号(也称红外抑制可见光信号，记作+VIS-IR)；
将所述红外光第一增强信号和所述可见光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号(也称可见抑制红外光信号，记作+IR-VIS)；
将所述红外光第一增强信号和所述可见光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号(也称可见增强红外光信号，记作+IR+VIS)；
将所述第二融合信号和所述第三融合信号作为输入信号，输出红外AND可见光信号(也称与细胞信号)；
将所述第一融合信号和所述第四融合信号作为输入信号，输出红外OR可见光信号(也称或细胞信号)；
将所述可见光第一增强信号和所述第一融合信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第五融合信号；
将所述第五融合信号映射到B通道；将所述红外OR可见光信号映射到G通道；
输出所述待融合图像的伪彩色融合图像。
进一步地，所述步骤S2，还包括：
将所述红外光第一增强信号减去所述红外AND可见光信号后，映射到R通道。
进一步地，所述步骤S2，包括：
当所述待融合图像为夜间图像时，分别将所述可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；
将所述可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；
将所述可见光第一增强信号和所述红外光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号(也称红外增强可见光信号，记作+VIS+IR)；
将所述可见光第一增强信号和所述红外光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号(也称红外抑制可见光信号，记作+VIS-IR)；
将所述红外光第一增强信号和所述可见光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号(也称可见抑制红外光信号，记作+IR-VIS)；
将所述红外光第一增强信号和所述可见光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号(也称可见增强红外光信号，记作+IR+VIS)；
将所述第二融合信号和所述第三融合信号作为输入信号，输出红外AND可见光信号(也称与细胞信号)；
将所述第一融合信号和所述第四融合信号作为输入信号，输出红外OR可见光信号(也称或细胞信号)；
将所述红外光第一增强信号和所述第四融合信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第六融合信号；
将所述第六融合信号映射到B通道；将所述红外OR可见光信号映射到G通道；
输出所述待融合图像的伪彩色融合图像。
进一步地，所述步骤S2，还包括：
将所述红外光第一增强信号减去所述红外AND可见光信号后，映射到R通道。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种基于响尾蛇机制不同光照环境的图像融合方法，包括：根据待融合图像中可见光图像的灰度图像的像素值比例分布，判定待融合图像的光照环境；光照环境包括：夜间图像和白天图像；待融合图像包括：可见光图像和红外光图像；根据光照环境判定结果，分别对待融合图像通过ON-中心型感受野和OFF-中心型感受野进行增强和融合处理，并将结果映射到R通道、B通道和G通道；输出待融合图像的伪彩色融合图像。该方法可显著提升白天和夜间图像的融合精度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的基于响尾蛇机制不同光照环境的图像融合方法流程图；
图2为本发明实施例提供的白天图像融合结构示意图；
图3为本发明实施例提供的夜间图像融合结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种基于响尾蛇机制不同光照环境的图像融合方法，参照图1所示，包括：
根据待融合图像中可见光图像的灰度图像的像素值比例分布，判定待融合图像的光照环境；光照环境包括：夜间图像和白天图像；待融合图像包括：可见光图像和红外光图像；
根据光照环境判定结果，分别对待融合图像通过ON-中心型感受野和OFF-中心型感受野进行增强和融合处理，并将结果映射到R通道、B通道和G通道；
输出待融合图像的伪彩色融合图像。
本实施例提供的基于响尾蛇机制不同光照环境的图像融合方法，可显著提升白天和夜间图像的融合精度。
其中，被动膜方程(Passive membrane equation)，是一种对中心-环绕对抗受域的动力学描述，用于模拟细胞膜的离子交换。其动力学方程具体如下：
定义ON对抗系统细胞响应Xk(i,j)，则有：
定义OFF对抗系统细胞响应Yk(i,j)，则有：
式中，A表示衰减常数，(i,j)用于表示图像中的像素坐标，D、用于表示两种对抗细胞各自的基底活性，k代表对应颜色空间的颜色通道，E和F表示极化常数，亦称为Nernst电势。
其中Ck(i,j)为受域兴奋中心区域：
其中Sk(i,j)为受域抑制环绕区域：
式中，Ik(i,j)为输入图像，*是卷积算子，Wc和Ws分别是中心区域和环绕区域的高斯分布函数，中心区域和环绕区域高斯模板大小分别为m×n和p×q，σc、σs分别为中心和环绕区域的空间常数，上下标C、S分别表示中心(Center)和环绕区域(Surround)。
(1)和(2)式都描述了细胞受到刺激时的瞬时响应，当系统处于平衡状态时，令可以得到如下公式：
ON对抗系统输出：
OFF对抗系统输出：
ON对抗系统增强能使两个源图像中的共有信息、互补信息被增强。而OFF对抗系统抑制了两幅图像的共有信息，同时源图像中的互补信息得到反向增强，即亮的区域变暗而暗的区域变亮。两种对抗系统均能够起到增强反差，突出边缘信息的作用。
响尾蛇视顶盖内有大量的双模式细胞。Newman和Hartline发现了6种处理可见光和红外信息的双模式细胞，它们对红外光刺激和可见光刺激可产生不同的非线性响应。用fV(i,j)和fIR(i,j)分别表示输入的可见光图像和红外图像，并且坐标和函数精确表示每个输入的像素位置与像素值大小。
红外增强可见光细胞机制：
该细胞只有红外光刺激时，细胞不产生响应。只有可见光刺激时，细胞产生响应。在有可见光刺激前提下，额外使用红外光刺激细胞时，细胞产生强烈响应。可以判断红外信号对可见光信号起辅助增强作用，所以用指数函数来模拟这种增强作用，数学模型如式(7)表示。
f+V←IR(i,j)＝fV(i,j)exp[fIR(i,j)] (7)
其中，f+V←IR(i,j)为红外增强可见光处理后的输出结果。
分别从可见光数学模型图像、红外光数学模型图像、红外增强可见光细胞机制的数学模型图像中，可以看出同样亮度区域更能体现可见光的亮度区域，当可见光和红外光图像中同时存在强边界时，结果图中亮度为最亮，当可见光和红外光只有一个较亮时，可见光比红外光更亮。
可见增强红外光细胞机制：
该细胞只有可见光刺激时，细胞不产生响应。只有红外光刺激时，细胞产生响应。有红外光刺激前提下，额外使用可见光刺激细胞时，细胞产生强烈响应。可以判断可见光信号对红外信号起辅助增强作用，所以用指数函数来模拟这种增强作用，数学模型如式(8)表示。
f+IR←V(i,j)＝fIR(i,j)exp[fV(i,j)] (8)
其中，f+IR←V(i,j)为可见增强红外光处理后的输出结果。
分别从可见光数学模型图像、红外光数学模型图像、可见增强红外光细胞机制的数学模型图像中，可以看出同样亮度区域更能体现红外光的亮度区域，当可见光和红外光图像中同时存在强边界时，结果图中亮度为最亮，当可见光和红外光只有一个较亮时，红外光比可见光更亮。
红外抑制可见光细胞机制：
该细胞只有红外光刺激时，细胞不产生响应。只有可见光刺激时，细胞产生响应。有可见光刺激前提下，额外使用红外光刺激细胞时，细胞产生微弱响应。可以判断红外信号对可见光信号起辅助抑制作用，所以用对数函数来模拟这种抑制作用，数学模型如式(9)表示。
f-V←IR(i,j)＝fV(i,j)log[fIR(i,j)+1] (9)
其中，f-V←IR(i,j)为红外抑制可见光处理后的输出结果。
分别从可见光数学模型图像、红外光数学模型图像、红外抑制可见光细胞机制的数学模型图像中，可以看出结果中只显示可见光的信息，当且仅有可见光的亮度时，结果图亮度大，当可见光和红外光图像中信息同时存在时和只有红外光图像信息存在时，结果图中亮度较小，同样此机制也会对图像边界进行增强。
可见抑制红外光细胞机制：
该细胞只有可见光刺激时，细胞不产生响应。只有红外光刺激时，细胞产生响应。有红外光刺激前提下，额外使用可见光刺激细胞时，细胞产生微弱响应。可以判断可见光信号对红外信号起辅助抑制作用，所以用对数函数来模拟这种抑制作用，数学模型如式(10)表示。
f-IR←V(i,j)＝fIR(i,j)log[fV(i,j)+1] (10)
其中，f-IR←V(i,j)为可见抑制红外光处理后的输出结果。
分别从可见光数学模型图像、红外光数学模型图像、可见抑制红外光细胞机制的数学模型图像中，可以看出结果中只显示红外光的信息，当且仅有红外的亮度时，结果图亮度大，当可见光和红外光图像中信息同时存在时和只有可见光图像信息存在时，结果图中亮度较小，同样此机制也会对图像边界进行增强。
与细胞机制：
只有可见光或者只有红外光刺激时细胞只产生微弱响应，两者共同刺激时产生强烈响应。考虑使用“加权与”进行模拟表达，数学模型如式(11)和(12)表示。
a、当fV(i,j)>fIR(i,j)时，
输出结果为fAND(i,j)＝b*fV(i,j)+a*fIR(i,j) (11)
b、当fV(i,j)<fIR(i,j)时，
输出结果为fAND(i,j)＝a*fV(i,j)+b*fIR(i,j) (12)
其中，a>0.5,b<0.5，fAND(i,j)为加权与处理后的输出结果。
可见光AND红外光机制是将红外抑制可见光图像和可见光抑制红外图像作为AND机制的输入图片，最终得到可见光AND红外光融合结果。
分别从可见光数学模型图像、红外光数学模型图像、与细胞机制的数学模型图像中，可以看出结果图中只出现了可见光和红外光都亮的区域，图中较亮的目标代表着既是红外光目标又是可见光目标以及两个图像同时存在的边界信息。
或细胞机制：
可见光或者红外光中任意一种信号刺激都产生响应，两者共同刺激时也产生响应。考虑使用“加权或”进行模拟表达，数学模型如式(13)和(14)表示。
a、当fV(i,j)>fIR(i,j)时，
输出结果为fOR(i,j)＝a*fV(i,j)+b*fIR(i,j) (13)
b、当fV(i,j)<fIR(i,j)时，
输出结果为fOR(i,j)＝b*fV(i,j)+a*fIR(i,j) (14)
其中，a>0.5,b<0.5，fOR(i,j)为加权与处理后的输出结果。
分别从可见光数学模型图像、红外光数学模型图像、或细胞机制的数学模型图像中，可以看出结果图中同时出现了可见光和红外光的信息，红外光的目标和可见光目标都亮时，结果比单独其中一种都亮，该机制可以很好地展现可见光和红外光信息的层次。并且该机制也可对边界进行增强，两幅图边界都强时，增强地更明显。
在生物机制下的红外与可见光的图像融合，最初是美国麻省理工大学MIT实验室等人的Waxman经典融合方法，该方法分为两个阶段：该方法的第一个阶段为增强阶段，具体为将可见光图像和红外光图像经过ON-中心型感受野处理进行增强，获得ON_IR图像(红外光第一增强信号)和ON_VIS图像(可见光第一增强信号)，将红外光图像经过OFF-中心型感受野处理进行增强并反相，使亮区域变暗，暗区域变亮，获得OFF_IR图像(红外光第二增强信号)。该方法的第二阶段为融合阶段，具体为将可见光经ON-型处理的增强信号(ON_VIS)馈入到一个ON-中心型感受野的中心兴奋区域，将红外光经OFF-型处理的增强信号(OFF_IR)馈入到该感受野的环绕抑制区域，模拟了红外增强可见光细胞机制，得到+VIS+IR融合信号(第一融合信号)；将可见光经ON-型处理的增强信号(ON_VIS)馈入到一个ON-中心型感受野的中心兴奋区域，将红外光经ON-型处理的增强信号(ON_IR)馈入到该感受野的环绕抑制区域，模拟了红外抑制可见光细胞机制，得到+VIS-IR融合信号(第二融合信号)；最后将+VIS+IR融合信号映射到R通道，将+VIS-IR融合信号映射到B通道。将ON_VIS映射到G通道，生成基于RGB颜色空间的假彩色融合图像。
进一步地，基于彩色空间的融合算法(李惠彩色空间融合算法)为：将映射到R通道的信号用红外自身增强图减去红外光AND可见光图表示，具体操作为：将第二融合信号和第三融合信号作为输入信号，最终得到红外AND可见光信号(也称与细胞信号)；将红外光第一增强信号(红外自身增强图)减去红外光AND可见光信号映射到R通道，是为了突显可见光图中弱的但是红外光图中强的红外信号，将可见光图中隐藏的红外光信号用红色来表示，更有利于发现具有重要信息的红外目标。而用G通道去表示可见光中的信息，用B通道去表示被红外信息抑制的可见光信息，从而将不同性质的目标显示在最后的彩色结果图中，其中G、B通道和Waxman经典融合方法一样。
其中基于彩色空间的融合算法，该算法的R通道信号用红外自身增强图(红外光第一增强信号)减去红外AND可见光图表示，更有利于发现具有重要信息的红外目标，是可见光图像和红外光图像融合的优势，尤其针对夜间图像优势更大，其次是白天图像有特殊环境的干扰(如雾天，火灾，雨天，遥感图像的云遮挡)，白天图像的树木遮挡。因此，本实施例选择彩色空间融合算法进行改进。
在生物机制下的众多方法中，均是处理可见光是白天的图像，而现在夜间图像也被广泛地关注，但是可见光是夜间的环境下，在生物机制下没有给出一个好的融合方法。因此，本实施例会给出针对夜间图像的基于响尾蛇视觉感知机制下的红外光与可见光的图像融合方法。
具体的，该融合方法首先判断环境是白天还是夜晚，响尾蛇可以根据眼睛器官判断环境是白天还是夜晚。其中夜间图像往往亮度低，能见度低，对比度弱，纹理信息不丰富，其灰度图像的像素值偏低。所以，选择根据可见光的灰度图像的像素值比例分布(也可根据直方图)判断场景是白天还是夜晚。当可见光的灰度图像的像素值高于110的像素个数占其灰度图像总像素个数的比例小于15％，认为其可见光图像为夜间图像，否则为白天图像。
当可见光图像被判断为白天图像时，则选择如图2所示的网络融合结构。该结构在G通道加入或细胞机制(OR)(或细胞信号)替代了基于彩色空间的融合算法中增强的可见光信号，因为或机制可以很好地展现可见光和红外光信息的层次，这种机制同时出现了可见光和红外光的信息，即红外光的目标和可见光目标都亮时，结果比单独其中一种都亮，可以显示可见光和红外光的全部信息，而不是单纯的可见光信息，这样白天图像的红外信息也可以捕捉到，是可见光与红外光图像融合的优势。
当可见光图像被判断为白天图像时，分别将可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；将可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；将可见光第一增强信号和红外光第二增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号(也称红外增强可见光信号，记作+VIS+IR)；将可见光第一增强信号和红外光第一增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号(也称红外抑制可见光信号，记作+VIS-IR)；将红外光第一增强信号和可见光第一增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号(也称可见抑制红外光信号，记作+IR-VIS)；将红外光第一增强信号和可见光第二增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号(也称可见增强红外光信号，记作+IR+VIS)；将第二融合信号和第三融合信号作为输入信号，输出红外AND可见光信号(也称与细胞信号)；将第一融合信号和第四融合信号作为输入信号，输出红外OR可见光信号(也称或细胞信号)；将可见光第一增强信号和第一融合信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第五融合信号；将第五融合信号映射到B通道；将红外OR可见光信号映射到G通道；将红外光第一增强信号减去红外AND可见光信号后，映射到R通道。
因为白天图像，环境温度较高，红外光图像信息相对较弱，可见光纹理清晰，所以可见光占主要地位，同时红外增强可见光细胞机制(+VIS+IR，第一融合信号)同样亮度区域更能体现可见光的亮度区域，当可见光和红外光只有一个较亮时，可见光比红外光更亮，这种细胞机制可以更好地体现可见光的信息，所以在B通道中将可见光图像经ON-中心型感受野处理所得到的ON_VIS信号(可见光第一增强信号)和红外增强可见光细胞机制(+VIS+IR)分别馈入ON-中心型感受野的中心兴奋区域和环绕抑制区域得到+ON_VIS+VIS+IR图像(第五融合信号)，替代了基于彩色空间的融合算法中的单纯红外抑制可见光的细胞机制(+VIS-IR，第二融合信号)，本实施例的可见光增强信号(ON_VIS)和红外增强可见光的细胞机制(+VIS+IR)比单纯的红外抑制可见光的细胞机制(+VIS-IR)更能体现白天图像的可见光的纹理信息。因为R通道能够体现白天图像的红外信息，所以R通道网络结构保持不变，最后将R,G,B所得到的网络结构依次映射对应的通道，输出最终的伪彩色融合图像。
夜间图像的融合方法：
当可见光图像被判断为夜间图像时，则选择如图3所示的网络融合结构。该结构在基于彩色空间的融合算法的结构基础上，也在G通道加入或细胞机制(OR)替代了基于彩色空间的融合算法的增强的可见光信号，可以捕捉夜间图像的红外信息，使融合图像质量更高。
当可见光图像被判断为夜间图像时，分别将可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；将可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；将可见光第一增强信号和红外光第二增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号(也称红外增强可见光信号，记作+VIS+IR)；将可见光第一增强信号和红外光第一增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号(也称红外抑制可见光信号，记作+VIS-IR)；将红外光第一增强信号和可见光第一增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号(也称可见抑制红外光信号，记作+IR-VIS)；将红外光第一增强信号和可见光第二增强信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号(也称可见增强红外光信号，记作+IR+VIS)；将第二融合信号和第三融合信号作为输入信号，输出红外AND可见光信号(也称与细胞信号)；将第一融合信号和第四融合信号作为输入信号，输出红外OR可见光信号(也称或细胞信号)；将红外光第一增强信号和第四融合信号分别馈入到ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第六融合信号；将第六融合信号映射到B通道；将红外OR可见光信号映射到G通道；将红外光第一增强信号减去红外AND可见光信号后，映射到R通道。
因为夜间图像，可见光几乎不能提供有效视觉信息，可见光信息极弱，而夜间环境下温度较低，所以红外光要占主导地位，同时可见增强红外光细胞机制(+IR+VIS，第四融合信号)同样亮度区域更能体现红外光的亮度区域，当可见光和红外光只有一个较亮时，红外光比可见光更亮，这种细胞机制可以更好地体现红外光的信息。所以在B通道将红外光图像经ON-中心型感受野处理所得到的ON_IR信号(红外光第一增强信号)和可见增强红外光细胞机制(+IR+VIS)分别馈入ON-中心型感受野的中心兴奋区域和环绕抑制区域得到+ON_IR+IR+VIS图像(第六融合信号)，替代了基于彩色空间的融合算法的单纯红外抑制可见光的细胞机制(+VIS-IR)，其中红外抑制可见光的细胞机制(+VIS-IR)只有可见光的信息在图中显示，当红外光和可见光亮度同时存在时以及只有红外光图像亮度存在时，结果亮度会较小，不能体现夜间图像的红外信息，而本实施例中红外光的增强信号(ON_IR)和可见增强红外光的细胞机制(+IR+VIS)更能体现夜间图像占主导地位的红外信息。R通道网络结构还是保持不变，最后将R,G,B所得到的网络结构依次映射对应的通道，输出最终的伪彩色融合图像。
为了证明本实施例提供的方法的优越性，选取13组具有代表性的红外与可见光的图像，并且根据可见光的灰度图像的像素值比例分布判断，其中6组为白天的图像，7组为夜间图像。这13组图像的白天图像有房子，树木，指示牌等代表性标志物，还有在特殊环境背景下(比如火灾，烟雾)背后不易发现的红外热源，还有和可见光的灰度图像的颜色相近，不易捕捉的红外热源；夜间图像有红外源不能捕捉的路障，交通指示牌，斑马线，路灯，商家的牌匾等标志物，有可见光源不能捕捉的人类，极暗环境下不开灯有热源的车辆。本实施例选取的这13组图像来源于数据集CVC-14Dataset和TNO Image Fusion Dataset。具体选择标准差，信息熵，平均梯度，QAB/F，空间频率这5种客观图像质量评价指标对本实施例所提出的融合方法进行评价。
QAB/F：
QAB/F是测量从源图像传输到融合图像的边缘信息的量，体现源图像中的边缘信息的多少保留在融合图像中，QAB/F的值越大，表示可见光与红外光的图像边缘信息被转移到融合图像中的越多，说明图像就越清晰。
定义大小为M×N图像的QAB/F为：
其中 和分别为像素点(i,j)处的边缘强度值和方向值。wX表示每个源图像对融合图像重要性的权重。
空间频率：
空间频率反映的是空间域内图像的总体活跃程度，即图像灰度的变化率。空间频率越大，融合图像质量越好，大小为M×N图像的空间频率定义为：
其中，SF表示融合图像的空间频率，RF和CF分别表示融合图像的行频率和列频率，m和n分别表示融合图像像素位置。
最终评价结果得出本实施例提供的融合方法更加接近事物真实色彩。图像没有噪声干扰和图像颜色更加自然，环境层次更加清晰。最后得到的融合图像颜色自然，亮度偏亮，清晰度高。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (2)
1.一种基于响尾蛇机制不同光照环境的图像融合方法，其特征在于，包括如下步骤：
S1、根据待融合图像中可见光图像的灰度图像的像素值比例分布，判定所述待融合图像的光照环境；所述光照环境包括：夜间图像和白天图像；所述待融合图像包括：可见光图像和红外光图像；
S2、根据光照环境判定结果，分别对所述待融合图像通过ON-中心型感受野和OFF-中心型感受野进行增强和融合处理，并将结果映射到R通道、B通道和G通道；输出所述待融合图像的伪彩色融合图像；
步骤S2，包括：
当所述待融合图像为白天图像时，分别将所述可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；
将所述可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；
将所述可见光第一增强信号和所述红外光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号；
将所述可见光第一增强信号和所述红外光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号；
将所述红外光第一增强信号和所述可见光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号；
将所述红外光第一增强信号和所述可见光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号；
将所述第二融合信号和所述第三融合信号作为输入信号，输出红外AND可见光信号；
将所述第一融合信号和所述第四融合信号作为输入信号，输出红外OR可见光信号；
将所述可见光第一增强信号和所述第一融合信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第五融合信号；
将所述第五融合信号映射到B通道；将所述红外OR可见光信号映射到G通道；
将所述红外光第一增强信号减去所述红外AND可见光信号后，映射到R通道；
当所述待融合图像为夜间图像时，分别将所述可见光图像和红外光图像经过ON-中心型感受野处理进行增强，分别获得可见光第一增强信号和红外光第一增强信号；
将所述可见光图像和红外光图像经过OFF-中心型感受野处理进行增强并反相，分别获得可见光第二增强信号和红外光第二增强信号；
将所述可见光第一增强信号和所述红外光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第一融合信号；
将所述可见光第一增强信号和所述红外光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第二融合信号；
将所述红外光第一增强信号和所述可见光第一增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第三融合信号；
将所述红外光第一增强信号和所述可见光第二增强信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第四融合信号；
将所述第二融合信号和所述第三融合信号作为输入信号，输出红外AND可见光信号；
将所述第一融合信号和所述第四融合信号作为输入信号，输出红外OR可见光信号；
将所述红外光第一增强信号和所述第四融合信号分别馈入到所述ON-中心型感受野的中心兴奋区域和环绕抑制区域，得到第六融合信号；
将所述第六融合信号映射到B通道；将所述红外OR可见光信号映射到G通道；
将所述红外光第一增强信号减去所述红外AND可见光信号后，映射到R通道。
2.如权利要求1所述的一种基于响尾蛇机制不同光照环境的图像融合方法，其特征在于，当所述可见光图像的灰度图像的像素值高于110的像素个数占所述可见光图像的灰度图像的总像素个数的比例小于15％时，判定所述待融合图像为夜间图像，否则为白天图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649510.2A CN116091879B (zh) | 2022-12-21 | 2022-12-21 | 一种基于响尾蛇机制不同光照环境的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649510.2A CN116091879B (zh) | 2022-12-21 | 2022-12-21 | 一种基于响尾蛇机制不同光照环境的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091879A CN116091879A (zh) | 2023-05-09 |
| CN116091879B true CN116091879B (zh) | 2025-03-11 |
Family
ID=86198388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211649510.2A Active CN116091879B (zh) | 2022-12-21 | 2022-12-21 | 一种基于响尾蛇机制不同光照环境的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091879B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119168885A (zh) * | 2024-09-03 | 2024-12-20 | 中国矿业大学 | 仿响尾蛇视顶盖机制的井下复杂环境视觉融合增强感知方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
| CN110557526B (zh) * | 2018-06-04 | 2021-03-23 | 杭州海康威视数字技术股份有限公司 | 一种图像采集方法和系统 |
| CN111861958A (zh) * | 2020-07-10 | 2020-10-30 | 逢亿科技(上海)有限公司 | 一种基于自适应性对抗系统的图像融合算法 |
| CN112991250B (zh) * | 2021-04-19 | 2022-08-23 | 吉林大学 | 基于响尾蛇视觉成像的红外与可见光图像融合方法 |
| CN113409232B (zh) * | 2021-06-16 | 2023-11-10 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN115063329B (zh) * | 2022-06-10 | 2024-12-20 | 中国人民解放军国防科技大学 | 低光照环境下的可见光和红外图像融合增强方法及系统 |
-
2022
- 2022-12-21 CN CN202211649510.2A patent/CN116091879B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091879A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Toet et al. | New false color mapping for image fusion | |
| CN110009720B (zh) | Ar场景中的图像处理方法、装置、电子设备及存储介质 | |
| CN101853492B (zh) | 一种夜视微光图像与红外图像融合方法 | |
| US20090231327A1 (en) | Method for visualization of point cloud data | |
| Yu et al. | A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space | |
| CN107358572B (zh) | 一种改进型基于战术信息终端的环境光线自适应方法 | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| CN112184646B (zh) | 基于梯度域导向滤波和改进pcnn的图像融合方法 | |
| CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
| CN116091879B (zh) | 一种基于响尾蛇机制不同光照环境的图像融合方法 | |
| CN112365467A (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
| CN115587946A (zh) | 一种基于多尺度网络的遥感影像去雾方法 | |
| CN110246086A (zh) | 彩色图像增强的图像处理方法及其图像处理系统 | |
| Jin et al. | Image Enhancement Based on Selective-Retinex Fusion Algorithm. | |
| Qian et al. | Fast color contrast enhancement method for color night vision | |
| CN115100556A (zh) | 基于图像分割与融合的增强现实的方法、装置及电子设备 | |
| CN109377468A (zh) | 基于多特征的红外辐射和偏振图像的伪彩色融合方法 | |
| Qian et al. | Effective contrast enhancement method for color night vision | |
| CN105118032B (zh) | 一种基于视觉系统的宽动态处理方法 | |
| AU2015376657A1 (en) | Image change detection | |
| CN112991174A (zh) | 一种提高单帧红外图像分辨率的方法与系统 | |
| KR102618580B1 (ko) | 대기광 추정 및 레티넥스 기반의 야간 저조도 영상 복원 방법, 이를 수행하는 장치 및 컴퓨터 프로그램 | |
| Agrawal et al. | Multispectral image fusion for enhancing situation awareness: A review | |
| Lei et al. | Research on image defogging enhancement technology based on retinex algorithm | |
| Luo et al. | Color fusion method with a combination of steerable pyramid color transfer and ICA |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |