CN111402306A - 一种基于深度学习的微光/红外图像彩色融合方法及系统 - Google Patents
一种基于深度学习的微光/红外图像彩色融合方法及系统 Download PDFInfo
- Publication number
- CN111402306A CN111402306A CN202010175703.3A CN202010175703A CN111402306A CN 111402306 A CN111402306 A CN 111402306A CN 202010175703 A CN202010175703 A CN 202010175703A CN 111402306 A CN111402306 A CN 111402306A
- Authority
- CN
- China
- Prior art keywords
- convolution
- network
- infrared image
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 239000003086 colorant Substances 0.000 abstract description 11
- 230000004297 night vision Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 108010003272 Hyaluronate lyase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的微光/红外图像彩色融合方法及系统，所述融合方法包括：获取训练数据；对所述训练数据进行预处理；构建微光/红外图像色度预测网络；构建损失函数；基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；提取目标图像的亮度信息；基于所述亮度信息和所述色度信息，最终合成彩色图像。本发明中的上述方法能够实现自然、稳定色彩的预测，提高彩色融合图像的可观察性。
Description
技术领域
本发明涉及夜视领域，特别是涉及一种基于深度学习的微光/红外图像彩色融合方法及系统。
背景技术
夜视技术，是借助于光电成象器件实现夜间观察的一种光电技术，现有夜视装备主要有微光夜视仪和红外热像仪。微光夜视仪以被动工作方式探测目标对月光和夜天光的反射光，所获得图像层次感强，场景和目标细节较为清晰，符合人眼观察习惯，但存在着对比度差、灰度级有限、受气候影响大、易被外界环境光干扰、探测距离有限等缺点；红外热像仪依据目标与背景的温度和辐射差产生景物热图，可以昼夜工作，具有温度分辨率高、图像对比度好、动态范围大、能穿烟尘透雾霾等优点，但它在热对比较差的环境下识别目标能力弱，存在着景物细节不清晰、对场景亮度变化不敏感、所成热图不符合人眼视觉习惯等缺点。为了有效解决夜视装备的上述问题，将微光图像和红外图像进行彩色融合已成为夜视技术的重要发展方向。
现有的基于色彩传递的微光/红外彩色融合技术，选择“海洋”、“沙漠”、“雪原”等不同模式进行色彩传递，但由于其仅以像素邻域灰度均值和标准差等少量简单统计特征作匹配参量，难以获得较好的像素匹配和色彩传递效果，所获得的微光/红外彩色融合图像依然存在着色彩不自然、不稳定等问题。
发明内容
本发明的目的是提供一种基于深度学习的微光/红外图像彩色融合方法及系统，实现自然、稳定色彩的预测，提高彩色融合图像的可观察性。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的微光/红外图像彩色融合方法，所述融合方法包括：
获取训练数据；
对所述训练数据进行预处理；
构建微光/红外图像色度预测网络；
构建损失函数；
基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；
采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；
提取目标图像的亮度信息；
基于所述亮度信息和所述色度信息，最终合成彩色图像。
可选的，对所述训练数据进行预处理具体包括：
采用多模图像校准技术对所述训练数据继续预处理。
可选的，所述微光/红外图像色度预测网络包括：特征提取子网络和色度预测子网络。
可选的，所述损失函数具体采用以下公式：
可选的，所述特征提取子网络的网络类型为编码器-解码器网络类型，包括编码网络单元和解码网络单元；所述编码网络单元采用常规卷积单元和空洞卷积单元；所述解码网络单元采用转置卷积单元；
所述色度提取子网络采用转置卷积单元。
可选的，所述特征提取子网络中的编码网络单元具体包括第一常规卷积单元、第二常规卷积单元、第三常规卷积单元以及第四空洞卷积单元；
所述特征提取子网络中的解码网络单元具体包括：第五转置卷积单元和第六转置卷积单元；
所述色度提取子网络中的转置卷积单元具体包括第七转置卷积单元。
可选的，所述第一常规卷积单元Conv1包括第一常规卷积层Conv1_1和第二常规卷积层Conv1_2，所述Conv1_1的卷积核大小为2、卷积核数量为64、步幅为1、输入通道为3，所述Conv1_2的卷积核大小为3、卷积核数量为64、步幅为2、输入通道为64；
所述第二常规卷积单元Conv2的卷积核大小为3、卷积核数量为128、步幅为2、输入通道为64；
所述第三常规卷积单元Conv3的卷积核大小为2、卷积核数量为64、步幅为1、输入通道为3；
所述第四空洞卷积单元DilaConv4包括第一空洞卷积层DilaConv4_1和第二空洞卷积层DilaConv4_2，所述第一空洞卷积层DilaConv4_1的卷积核大小为3、卷积核数量为256、步幅为1、输入通道为256，所述第二空洞卷积层DilaConv4_2的卷积核大小为3、卷积核数量为256、步幅为1、输入通道为256；
所述第五转置卷积单元TransConv5的卷积核大小为3、卷积核数量为128、步幅为1、输入通道为128；
所述第六转置卷积单元TransConv6卷积核大小为3、卷积核数量为64、步幅为1、输入通道为256；
所述第七转置卷积单元TransConv7卷积核大小为3、卷积核数量为313、步幅为1、输入通道为128。
可选的，所述方法在构建微光/红外图像色度预测网络之后还包括：采用BN(BatchNormalization)技术对所述微光/红外图像色度预测网络中的每个层级的输出特征进行归一化处理。
本发明另外提供一种基于深度学习的微光/红外图像彩色融合系统，所述系统包括：
训练数据获取模块，用于获取训练数据；
预处理模块，用于对所述训练数据进行预处理；
预测网络构建模块，用于构建微光/红外图像色度预测网络；
损失函数构建模块，用于构建损失函数；
训练模块，用于基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；
色度信息提取模块，用于采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；
亮度信息提取模块，用于提取目标图像的亮度信息；
彩色图像合成模块，用于基于所述亮度信息和所述色度信息，最终合成彩色图像。
可选的，所述预处理模块具体包括采用多模图像校准技术对所述训练数据继续预处理。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明中的上述方法，通过获取训练数据，对所述训练数据进行预处理；构建微光/红外图像色度预测网络；构建损失函数；基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息，提取目标图像的亮度信息，基于所述亮度信息和所述色度信息，最终合成彩色图像，能够自动获取原始图像和训练集图像中的大量特征作为匹配参量，因此能够获得较好的像素匹配和色彩传递效果，通过学习微光和红外图像与白天彩色图像之间的映射关系来获得色彩信息，获得颜色自然稳定的彩色融合图像，能够改善观察者对场景的理解，提高目标的辨识度，有效增强观察者情景感知能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度学习的微光/红外图像彩色融合方法流程图；
图2为本发明实施例微光/红外彩色融合训练集；
图3为本发明实施例微光/红外彩色融合测试集；
图4为本发明实施例色度预测网路结构图；
图5为本发明实施例基于深度学习的微光/红外图像彩色融合系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的微光/红外图像彩色融合方法及系统，实现自然、稳定色彩的预测，提高彩色融合图像的可观察性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例基于深度学习的微光/红外图像彩色融合方法流程图，如图1所示，所述方法包括：
步骤101：获取训练数据。
步骤102：对所述训练数据进行预处理。
步骤103：构建微光/红外图像色度预测网络。
步骤104：构建损失函数。
步骤105：基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络。
步骤106：采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息。
步骤107：提取目标图像的亮度信息。
步骤108：基于所述亮度信息和所述色度信息，最终合成彩色图像。
下面对各步骤做详细介绍：
步骤101：获取训练数据。
通过微光夜视仪、红外热像仪以及彩色相机进行训练数据集的采集。获取某一区域不同场景下的微光、红外以及彩色图像，为了确保数据集有较好的适应性和质量，要求在黎明前夕或者黄昏时刻进行数据集的获取，同时应该保持至少较高的采集数量。通过该部分可获取同一场景下的微光/红外彩色融合原始数据，包含微光图像集L、红外图像集I、以及彩色图像集C，具体如图2所示。
步骤102：对所述训练数据进行预处理。
数据的好坏对于基于深度学习的图像处理方法至关重要，对获取的微光/红外彩色融合原始数据进行预处理，由于在采集过程中，微光、红外以及彩色图像获取设备的视场角和光轴位置之间存在差异，需要采用多模图像校准技术对微光图像集L、红外图像集I、以及彩色图像集C的数据进行校准处理。
本发明采用两两配准的方式对获取的微光、红外以及彩色图像进行配准操作，以红外图像为基准，通过将彩色图像和微光图像映射到红外图像的基准上，实现三种类型图像的配准，最终对数据集中所有图像进行相同的配准处理。具体配准采用基于特征点的匹配方法，利用场景中明显的标志物进行匹配特征点的选择(如房屋的边界、区域的边界等)，然后通过人为选取特征点和合适的变换模型(一般选择仿射变换模型和投影变换模型)进行图像的配准操作，通过对整个数据集处理，形成配准好微光/红外彩色融合数据集(至少包含20幅分辨率为640×480的数据)，包括微光图像集L1、红外图像集I1、以及彩色图像集C1。
步骤103：构建微光/红外图像色度预测网络。
本发明设计了一种微光/红外图像色度预测网络(Chroma prediction network，以下简称CP-Net)，其结构如图4所示(其中每个卷积示意箭头表示一个或多个卷积操作)，整个网络由特征提取子网络、色度预测子网络两部分组成：特征提取子网络采用编码器-解码器风格类型的网络，编码网络单元采用常规卷积和空洞卷积逐层进行微光和红外图像多尺度空间特征的提取，采用深层卷积表示更大尺度和高层次的复杂特征；解码网络单元通过转置卷积对编码层进行扩充，提高空间分辨率，并通过残差连接综合各个层级的多尺度特征信息，为后续的色度预测子网络提供更为精确的位置信息；色度预测子网络紧接着解码网络单元，采用卷积核数量为313的常规卷积进行颜色信息的预测(313为颜色空间量化后的颜色个数)。由于池化层会导致部分信息丢失，整个网络没有使用池化层，通过使用步幅大于1的常规卷积实现空间分辨率的降低。由于不同尺度的特征值存在差异，本发明中采用BN技术对每个层级的输出特征进行了归一化处理。
为了便于理解，将常规卷积层表示为Conv(fi,ni,si,ci)，空洞卷积层表示为DilaConv(fi,ni,si,ci)，转置卷积层表示为TransConv(fi,ni,si,ci)，其中变量fi,ni,si,ci，分别表示卷积核的大小、数量、步幅和输入通道数量(当前层的输入通道数量和上一层的卷积核数量表示同一量，即ci＝ni-1，i为层数)，网络输入数据空间分辨率为128×128。
本发明中的整个网络均采用3×3大小卷积。所述特征提取子网络中的编码网络单元具体包括第一常规卷积单元、第二常规卷积单元、第三常规卷积单元以及第四空洞卷积单元；所述特征提取子网络中的解码网络单元具体包括：第五转置卷积单元和第六转置卷积单元；所述色度提取子网络中的转置卷积单元具体包括第七转置卷积单元。
其中，第一常规卷积单元主要用来提取多波段夜视图像的低层特征并通过减少输出特征空间分辨率增大感受野，具体包括两个卷积层，分别为第一常规卷积层Conv1_1和第二常规卷积层Conv1_2，Conv1_1主要用来提取低层特征数量，卷积核数量参考大部分网络设置为n1_1＝64，为了充分利用低层特征信息，该层卷积步幅设置为s1_1＝1；数据集包含微光和红外等两种波段数据，则c1_1＝2，因此第一常规卷积单元的第一层可以表示为Conv1_1(2,64,1,3)，且输出特征尺寸不变，卷积神经网络具有较好的适应能力，在不改变结构的条件下，可接受任意维度输入，并产生任意维度输出，因此CP-Net能够应用于寻找多波段数据集之间的映射关系，如可以进行三波段融合等。
Conv1_2通过增大步幅来减少输出特征图尺寸来增大感受野，因此设置s1_2＝2，卷积核数量同前层保持一致设置为n1_2＝64，则该层可以表示为Conv1_2(3,64,2,64)，同时输出特征图空间尺寸减半，为64×64。第2卷积单元采用步幅为2的常规卷积，因此输出特征图尺寸继续减半。为了维持输出和输入信息的平衡，这里对输出特征图数量加倍，即设置卷积核数量n2＝128，因此第二卷积单元可表示为Conv2(3,128,2,64)，输出特征图减少为32×32。第三卷积单元同理可表示为Conv3(3,256,2,128)，输出特征图减少为16×16。
如果第四卷积单元继续通过减少尺寸方式增加感受野，会导致输出特征图尺寸进一步减少，影响高级特征表示。空洞卷积作为一种新的卷积方式，能够在不减少空间分辨率的情况下，增大输出特征的感受野，而且空洞卷积的层数决定了最终能够获得的最大感受野，所以采用扩张因子为2的空洞卷积，该卷积单元可表示为DilaConv4_1(3,256,1,256)，DilaConv4_2(3,256,1,256)，输出特征图尺寸依旧为16×16。第五卷积单元和第六卷积单元与编码网络单元成对称分布，采用转置卷积对以前的特征进行上采样和聚合，增加特征图空间分辨率，并将特征通道的数量减半。为了综合不同尺度的特征信息，将分别将第一、第二卷积单元输出和第六、第五网络单元进行连接，则第五、第六网络单元分别表示为TransConv5(3,128,1,128)，TransConv6(3,64,1,256)，同时输出特征图尺寸被上采样到64×64。表1给出了关于特征提取子网络的详细配置信息，可以看到主要由重复的卷积、空洞卷积和转置卷积组成。
表1特征提取子网络的详细配置信息
色度预测子网络采用特征数为313的转置卷积模块生成每一个像素的颜色概率分布，并增加空间分辨率以达到原始输入尺寸，则该层可表示为TransConv7(3,313,1,128)。
采用softmax输出层预测每种颜色的概率分布，再通过Rehsape层转换为图像原始维度。设pi(k)表示第i个像素属于第k个量化值的概率，则softmax输出层被定义为：
表2给出了色度预测子网络的详细配置信息。可以看到色度预测子网络的核心是通过每一层特征进行某一类颜色的预测，并通过Softmax层实现颜色的概率分布计算。
表2色度预测子网络的详细配置信息
步骤104：构建损失函数。
颜色信息本身为一个多态问题即许多目标可能具有不同的色彩，但损失函数MSE对于多模态的自然彩色问题不具有鲁棒性。因为如果一个目标可以采取一组不同的色度值，MSE的主要最优解将是集合的平均值，这将在彩色化过程中导致偏灰色、不饱和的结果；如果合理的着色集合是非凸的，则真实的彩色将在集合之外，会得出不可信的结果。为此将色度问题转化为多分类问题来预测每一个像素的颜色概率分布，并在训练过程中，引入类平衡概念，对损失的权重进行调节来强调出现频率很低的颜色，确保设计的网络具有颜色多样性和真实性。
设多波段夜视图像所在通道为X∈RH×W×2(其中两个维度分别表示微光、红外)，则目标是学习一个映射
(其中，带
的参量表示预测值，不带的表示真实值)来表示相应的色度通道Y∈RH×W×2。
将色度预测问题转化为多分类问题的步骤是：首先将ab着色空间量化为网格大小为10的点集，在整个着色区域内共有Q＝313对值。该问题转化为给定输入多波段夜视图像通道X∈RH×W×2，学习
到可能颜色的概率分布
的一个映射。
由于真值Yh,w是实际图像的色度信息，其色度值并不是量化后的值，为了对预测值
和真实值进行比较，定义Z＝H-1(Y)，采用软编码结构将真实的颜色空间转化到向量Z，即在输出空间中(313个量化值)找到距离Yh,w最近的5个邻域，计算各个邻居到真值的距离d(k),k＝(1,2,3,…,313)，用σ＝5的高斯核按比例对各个距离进行加权，则第i个像素属于第k个量化值的概率可以表示为：
通过上式可以得到图像上所有颜色的概率分布Z＝[0,1]H×W×Q。可设计多分类交叉熵损失函数为：
式中v(·)为权重项，用来平衡损失函数，可根据颜色类的稀疏性来确定。利用函数
将颜色概率分布
映射到颜色值
步骤105：基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络。
在建立的彩色融合数据集中随机抽取2000对128×128图像块作为网络训练和测试数据。在网络模型的基础上，设置了微光/红外图像自然感彩色融合网络的优化函数、学习率、批次规模、滤波器数量等超参数，其中，优化函数采用Adam算法，学习率设为lr＝0.001，网络权重初始化采用MSRA方法，偏置全部初始化为0，激活函数采用ReLU函数，批次规模设置为16，训练周期设置为80。最后采用Keras开源框架在NVIDIA GTX850显卡上进行网络训练。训练后的网络可实现在给定微光和红外图像输入的情况下，实现色度信息的预测。
步骤106：采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息。
步骤107：提取目标图像的亮度信息。
本发明利用NRL伪彩色融合图像的亮度信息作为最终彩色融合的亮度信息来源。
步骤108：基于所述亮度信息和所述色度信息，最终合成彩色图像。
本发明中基于亮度信息结合预测的色度信息，可实现最终的自然感彩色融合图像预测。
本发明选取荷兰人力研究所(TNO Hunan Factors)提供的图像融合数据集[10,11]，该数据集包含配准好的微光和红外图像以及对应场景下的彩色图像，彩色图像没有和对应场景的微光和红外图像进行配准，首先利用多模图像校准技术对彩色图像和对应场景的微光红外图像进行了配准，最终选择了5组场景近似的图像作为训练集，图2为其中一组典型训练图像，包含(a)(b)(c)三部分，从左至右依次为同一场景下的微光图像、红外图像和彩色图像。
在训练的过程中，我们首先从训练样本集中随机抽取5000对大小为128×128图像微光、红外和彩色图像子区域对，并采用旋转、平移等方法进行数据增强，然后将微光和红外图像块对合并成二维多通道图像作为网络输入，提取彩色图像块的色度信息ab作为输出，网络参数根据前文进行设定。
最后训练好的模型在测试集上进行了测试，获得了自然的彩色融合图像，如图3所示，包含(a)(b)(c)三部分，(a)部分为微光图像，(b)部分为红外图像，(c)部分为彩色图像，可以看到图3中的彩色融合图像具有训练集中参考图像的颜色特征，房屋为红色，天空为浅蓝色，道路为灰色，树木草地为绿色，色彩自然丰富，符合人眼观察习惯。
图5为本发明实施例基于深度学习的微光/红外图像彩色融合系统结构示意图，如图5所示所述系统包括：训练数据获取模块201、预处理模块202、预测网络构建模块203、损失函数构建模块204、训练模块205、色度信息提取模块206、亮度信息提取模块207以及彩色图像合成模块208。
其中，训练数据获取模块201用于获取训练数据。
预处理模块202用于对所述训练数据进行预处理。
预测网络构建模块203用于构建微光/红外图像色度预测网络。
损失函数构建模块204用于构建损失函数。
训练模块205用于基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络。
色度信息提取模块206用于采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；
亮度信息提取模块207用于提取目标图像的亮度信息；
彩色图像合成模块208用于基于所述亮度信息和所述色度信息，最终合成彩色图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述融合方法包括：
获取训练数据；
对所述训练数据进行预处理；
构建微光/红外图像色度预测网络；
构建损失函数；
基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；
采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；
提取目标图像的亮度信息；
基于所述亮度信息和所述色度信息，最终合成彩色图像。
2.根据权利要求1所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，对所述训练数据进行预处理具体包括：
采用多模图像校准技术对所述训练数据继续预处理。
3.根据权利要求1所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述微光/红外图像色度预测网络包括：特征提取子网络和色度预测子网络。
4.根据权利要求1所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述损失函数具体采用以下公式：
5.根据权利要求3所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述特征提取子网络的网络类型为编码器-解码器网络类型，包括编码网络单元和解码网络单元；所述编码网络单元采用常规卷积单元和空洞卷积单元；所述解码网络单元采用转置卷积单元；
所述色度提取子网络采用转置卷积单元。
6.根据权利要求5所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述特征提取子网络中的编码网络单元具体包括第一常规卷积单元、第二常规卷积单元、第三常规卷积单元以及第四空洞卷积单元；
所述特征提取子网络中的解码网络单元具体包括：第五转置卷积单元和第六转置卷积单元；
所述色度提取子网络中的转置卷积单元具体包括第七转置卷积单元。
7.根据权利要求6所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述第一常规卷积单元Conv1包括第一常规卷积层Conv1_1和第二常规卷积层Conv1_2，所述Conv1_1的卷积核大小为2、卷积核数量为64、步幅为1、输入通道为3，所述Conv1_2的卷积核大小为3、卷积核数量为64、步幅为2、输入通道为64；
所述第二常规卷积单元Conv2的卷积核大小为3、卷积核数量为128、步幅为2、输入通道为64；
所述第三常规卷积单元Conv3的卷积核大小为2、卷积核数量为64、步幅为1、输入通道为3；
所述第四空洞卷积单元DilaConv4包括第一空洞卷积层DilaConv4_1和第二空洞卷积层DilaConv4_2，所述第一空洞卷积层DilaConv4_1的卷积核大小为3、卷积核数量为256、步幅为1、输入通道为256，所述第二空洞卷积层DilaConv4_2的卷积核大小为3、卷积核数量为256、步幅为1、输入通道为256；
所述第五转置卷积单元TransConv5的卷积核大小为3、卷积核数量为128、步幅为1、输入通道为128；
所述第六转置卷积单元TransConv6卷积核大小为3、卷积核数量为64、步幅为1、输入通道为256；
所述第七转置卷积单元TransConv7卷积核大小为3、卷积核数量为313、步幅为1、输入通道为128。
8.根据权利要求1所述的基于深度学习的微光/红外图像彩色融合方法，其特征在于，所述方法在构建微光/红外图像色度预测网络之后还包括：采用BN技术对所述微光/红外图像色度预测网络中的每个层级的输出特征进行归一化处理。
9.一种基于深度学习的微光/红外图像彩色融合系统，其特征在于，所述系统包括：
训练数据获取模块，用于获取训练数据；
预处理模块，用于对所述训练数据进行预处理；
预测网络构建模块，用于构建微光/红外图像色度预测网络；
损失函数构建模块，用于构建损失函数；
训练模块，用于基于所述预处理后的训练数据和所述损失函数对所述微光/红外图像色度预测网络进行训练，得到训练后的微光/红外图像色度预测网络；
色度信息提取模块，用于采用所述训练后的微光/红外图像色度预测网络提取目标图像的色度信息；
亮度信息提取模块，用于提取目标图像的亮度信息；
彩色图像合成模块，用于基于所述亮度信息和所述色度信息，最终合成彩色图像。
10.根据权利要求9所述的基于深度学习的微光/红外图像彩色融合系统，其特征在于，所述预处理模块具体包括采用多模图像校准技术对所述训练数据继续预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010175703.3A CN111402306A (zh) | 2020-03-13 | 2020-03-13 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010175703.3A CN111402306A (zh) | 2020-03-13 | 2020-03-13 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111402306A true CN111402306A (zh) | 2020-07-10 |
Family
ID=71432416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010175703.3A Pending CN111402306A (zh) | 2020-03-13 | 2020-03-13 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402306A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898671A (zh) * | 2020-07-27 | 2020-11-06 | 中国船舶工业综合技术经济研究院 | 激光成像仪和彩色相机编码融合目标识别方法及系统 |
| CN111967530A (zh) * | 2020-08-28 | 2020-11-20 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统的荧光区域识别方法 |
| CN112164017A (zh) * | 2020-09-27 | 2021-01-01 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
| CN113012087A (zh) * | 2021-03-31 | 2021-06-22 | 中南大学 | 基于卷积神经网络的图像融合方法 |
| CN113191970A (zh) * | 2021-04-24 | 2021-07-30 | 北京理工大学 | 一种正交色彩传递网络及方法 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113643202A (zh) * | 2021-07-29 | 2021-11-12 | 西安理工大学 | 一种基于噪声注意力图指导的微光图像增强方法 |
| CN113920172A (zh) * | 2021-12-14 | 2022-01-11 | 成都睿沿芯创科技有限公司 | 一种目标跟踪方法、装置、设备以及存储介质 |
| CN114612364A (zh) * | 2020-11-24 | 2022-06-10 | 中山大学附属第七医院(深圳) | 一种新型冠状病毒肺炎无症状人群筛查方法 |
| TWI773526B (zh) * | 2020-09-29 | 2022-08-01 | 大陸商北京靈汐科技有限公司 | 影像處理方法、裝置、電腦設備及儲存媒體 |
| WO2022257184A1 (zh) * | 2021-06-09 | 2022-12-15 | 烟台艾睿光电科技有限公司 | 图像生成装置获取方法及图像生成装置 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN118317171A (zh) * | 2024-06-11 | 2024-07-09 | 成都工业学院 | 一种红外线摄像仪成像方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| US20150326863A1 (en) * | 2012-06-29 | 2015-11-12 | Canon Kabushiki Kaisha | Method and device for encoding or decoding and image |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| US20190378258A1 (en) * | 2017-02-10 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Fusion Apparatus and Image Fusion Method |
-
2020
- 2020-03-13 CN CN202010175703.3A patent/CN111402306A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| US20150326863A1 (en) * | 2012-06-29 | 2015-11-12 | Canon Kabushiki Kaisha | Method and device for encoding or decoding and image |
| US20190378258A1 (en) * | 2017-02-10 | 2019-12-12 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image Fusion Apparatus and Image Fusion Method |
| CN108133470A (zh) * | 2017-12-11 | 2018-06-08 | 深圳先进技术研究院 | 红外图像与微光彩色图像融合系统及方法 |
| CN110120028A (zh) * | 2018-11-13 | 2019-08-13 | 中国科学院深圳先进技术研究院 | 一种仿生响尾蛇红外和微光图像彩色融合方法及装置 |
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| RICHARD ZHANG, PHILLIP ISOLA, ALEXEI A. EFROS: "Colorful Image Colorization", vol. 9907, pages 649 - 666 * |
| YUE LI1, LI LI, ZHU LI, JIANCHAO YANG, NING XU, DONG LIU, HOUQIANG LI: "A HYBRID NEURAL NETWORK FOR CHROMA INTRA PREDICTION", pages 1797 - 1801 * |
| 何芳州: "色度与亮度特征相融合的彩色人脸识别算法", vol. 42, no. 07, pages 74 - 78 * |
| 徐中辉，吕维帅: "基于卷积神经网络的图像着色", vol. 44, no. 10, pages 19 - 22 * |
| 潘豪亮，闫青，徐奕，梁龙飞，杨小康: "融合亮度信息与色度信息的图像梯度提取方法", vol. 38, no. 09, pages 18 - 24 * |
| 苗启广 等: "《多传感器图像融合技术及应用》", vol. 1, 西安电子科技大学, pages: 29 - 31 * |
| 黄应清， 齐鸥， 蒋晓瑜， 刘中喧: "新的伪彩色图像融合质量客观评价指标", vol. 47, no. 8, pages 368 - 394 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898671B (zh) * | 2020-07-27 | 2022-05-24 | 中国船舶工业综合技术经济研究院 | 激光成像仪和彩色相机编码融合目标识别方法及系统 |
| CN111898671A (zh) * | 2020-07-27 | 2020-11-06 | 中国船舶工业综合技术经济研究院 | 激光成像仪和彩色相机编码融合目标识别方法及系统 |
| CN111967530A (zh) * | 2020-08-28 | 2020-11-20 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统的荧光区域识别方法 |
| CN112164017A (zh) * | 2020-09-27 | 2021-01-01 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
| CN112164017B (zh) * | 2020-09-27 | 2023-11-17 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
| TWI773526B (zh) * | 2020-09-29 | 2022-08-01 | 大陸商北京靈汐科技有限公司 | 影像處理方法、裝置、電腦設備及儲存媒體 |
| CN114612364A (zh) * | 2020-11-24 | 2022-06-10 | 中山大学附属第七医院(深圳) | 一种新型冠状病毒肺炎无症状人群筛查方法 |
| CN113012087B (zh) * | 2021-03-31 | 2022-11-04 | 中南大学 | 基于卷积神经网络的图像融合方法 |
| CN113012087A (zh) * | 2021-03-31 | 2021-06-22 | 中南大学 | 基于卷积神经网络的图像融合方法 |
| CN113191970A (zh) * | 2021-04-24 | 2021-07-30 | 北京理工大学 | 一种正交色彩传递网络及方法 |
| CN113191970B (zh) * | 2021-04-24 | 2022-10-21 | 北京理工大学 | 一种正交色彩传递网络及方法 |
| WO2022257184A1 (zh) * | 2021-06-09 | 2022-12-15 | 烟台艾睿光电科技有限公司 | 图像生成装置获取方法及图像生成装置 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113609893B (zh) * | 2021-06-18 | 2024-04-16 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113643202A (zh) * | 2021-07-29 | 2021-11-12 | 西安理工大学 | 一种基于噪声注意力图指导的微光图像增强方法 |
| CN113920172A (zh) * | 2021-12-14 | 2022-01-11 | 成都睿沿芯创科技有限公司 | 一种目标跟踪方法、装置、设备以及存储介质 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN116309216B (zh) * | 2023-02-27 | 2024-01-09 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN118317171A (zh) * | 2024-06-11 | 2024-07-09 | 成都工业学院 | 一种红外线摄像仪成像方法、装置、设备及可读存储介质 |
| CN118317171B (zh) * | 2024-06-11 | 2024-07-30 | 成都工业学院 | 一种红外线摄像仪成像方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402306A (zh) | 一种基于深度学习的微光/红外图像彩色融合方法及系统 | |
| CN107392130B (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
| CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN113283444A (zh) | 一种基于生成对抗网络的异源图像迁移方法 | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
| CN101303733A (zh) | 采用模式数据库的具有空间感的自然彩色夜视实现方法 | |
| CN109410171A (zh) | 一种用于雨天图像的目标显著性检测方法 | |
| CN114638764B (zh) | 基于人工智能的多曝光图像融合方法及系统 | |
| CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
| CN116258653B (zh) | 一种基于深度学习的微光图像增强方法和系统 | |
| CN117115033A (zh) | 基于强光抑制的电力作业现场弱光图像增强方法 | |
| Qian et al. | Fast color contrast enhancement method for color night vision | |
| CN116721243B (zh) | 一种空谱特征约束的深度学习大气校正方法及系统 | |
| CN113869157A (zh) | 一种基于可见光和红外云图的云分类方法 | |
| Richart et al. | Image colorization with neural networks | |
| CN117935079A (zh) | 一种遥感影像融合方法、系统及可读存储介质 | |
| CN111915566A (zh) | 基于循环一致对抗网络的红外样本目标检测方法 | |
| CN113920455B (zh) | 一种基于深度神经网络的夜间视频着色方法 | |
| Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
| CN117314734A (zh) | 用于近红外-可见光图像转换的方法及系统 | |
| Zhang et al. | Sub-pixel dispersion model for coded aperture snapshot spectral imaging | |
| CN115587961A (zh) | 一种基于多曝光图像融合技术的细胞成像方法 | |
| CN114067187A (zh) | 一种基于对抗生成网络的红外偏振可见光人脸翻译方法 | |
| Makwana et al. | Efficient color transfer method based on colormap clustering for night vision applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200710 |
|
| RJ01 | Rejection of invention patent application after publication |