CN112365559B - 一种基于结构相似度的生成对抗网络的红外图像着色方法 - Google Patents
一种基于结构相似度的生成对抗网络的红外图像着色方法 Download PDFInfo
- Publication number
- CN112365559B CN112365559B CN202011305117.2A CN202011305117A CN112365559B CN 112365559 B CN112365559 B CN 112365559B CN 202011305117 A CN202011305117 A CN 202011305117A CN 112365559 B CN112365559 B CN 112365559B
- Authority
- CN
- China
- Prior art keywords
- generator
- infrared image
- image
- loss function
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004040 coloring Methods 0.000 title claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000003331 infrared imaging Methods 0.000 abstract description 3
- 230000004297 night vision Effects 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000011161 development Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003333 near-infrared imaging Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于结构相似度的生成对抗网络的红外图像着色方法，构造一个基于结构相似度的生成对抗网络，包括生成器和鉴别器；鉴别器能够区别图像是来自红外图像域或是来自彩色图像域，对生成器采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数、基于结构相似度的损失函数，使生成器能够生成色彩逼真且边缘清晰的彩色图像；利用预先采集的红外图像和彩色图像将所提出的基于结构相似度的生成对抗网络训练到收敛条件，所获得的生成器即可实现对红外图像的着色。本发明不仅能保留红外成像在夜间拍摄的优势，也能利于人眼能够更好更快的捕捉到图像中的有用信息，充分发挥图像价值，从而促进夜视成像技术的发展。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种基于结构相似度的生成对抗网络的红外图像着色方法。
背景技术
近红外成像技术是一种通过不同物体对近红外辐射的反射进行成像的技术，广泛应用于夜视成像装置中，在军事、野外观察、安保、导航等方面均有较大用途。
但是，由于近红外成像技术所获取的红外图像为单色图像，相比较于彩色图像，缺乏更多的色彩特征，不利于人眼的直接分辨、识别，制约了场景中有效信息的获取。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于结构相似度的生成对抗网络的红外图像着色方法，能够将红外图像转化为彩色图像，既保留红外成像在夜间拍摄的优势，且利于人眼更好更快地捕捉图像中的有用信息。
本发明的技术方案如下：
一种基于结构相似度的生成对抗网络的红外图像着色方法，包括如下步骤：
1)构造一个基于结构相似度的生成对抗网络，基于结构相似度的生成对抗网络包括生成器G和鉴别器D；其中，生成器G包括彩色图像生成器GRGB、红外图像生成器GNIR，彩色图像生成器GRGB用于生成彩色图像，红外图像生成器GNIR用于生成红外图像，鉴别器D用于判断图像来自红外图像域或彩色图像域；
2)对于鉴别器D，采用生成对抗网络的损失函数；对于生成器G，采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数，再引入一个基于结构相似度的损失函数，构建一个新的用于生成器G的损失函数；步骤2)中，所述的基于结构相似度的损失函数为：
其中，
其中，
ycycle＝GRGB[GNIR(y)]；
yrecon＝GRGB(y)；
xcycle＝GNIR[GRGB(x)]；
xrecon＝GNIR(x)；
其中，NIR表示红外图像域，RGB表示彩色图像域；x表示真实的红外图像，y表示彩色图像；
表示由红外图像生成器GNIR转换生成的红外图像，
表示由彩色图像生成器GRGB转换生成的彩色图像；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；xcycle表示循环一致的红外图像，ycycle表示循环一致的彩色图像；xrecon表示重构的红外图像，yrecon表示重构的彩色图像；
表示图像样本分布的期望运算；
SSIM表示结构相似度计算方法，具体为：
其中，m和n表示一对图像；μm和μn表示图像的均值；σm和σn表示图像的方差；σmn表示两张图像的协方差；C1和C2为常数；
3)利用预先采集的红外图像和彩色图像对步骤1)构造的基于结构相似度的生成对抗网络训练至收敛条件，获得所更新的彩色图像生成器GRGB，利用更新后的彩色图像生成器GRGB对红外图像进行着色。
作为优选，步骤2)中，所述的用于生成器G的损失函数为：
LG＝λ1Lgan+λ2Lcycle+λ3Lrecon+λ4Lssim；
其中，Lgan、Lcycle和Lrecon分别表示生成对抗网络的损失函数、循环一致损失函数和重构损失函数；λ1＞0、λ2＞0、λ3＞0和λ4＞0表示用于控制各损失函数的权重参数。
作为优选，步骤3)中，所述的收敛条件为：
其中，NIR表示红外图像域，RGB表示彩色图像域；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；DNIR表示判断图像来自红外图像域的鉴别器，DRGB表示判断图像来自彩色图像域的鉴别器；LD表示用于鉴别器D的损失函数，LG表示用于生成器G的损失函数。
作为优选，步骤3)中，所述的训练为采用生成器G和鉴别器D进行对抗训练，进而得到所更新的彩色图像生成器GRGB。
本发明的有益效果如下：
本发明所述的基于结构相似度的生成对抗网络的红外图像着色方法，首先，构造一个基于结构相似度的生成对抗网络，其中包括生成器和鉴别器；其次，对鉴别器采用生成对抗损失函数，使鉴别器能够区别图像是来自红外图像域或是来自彩色图像域，而对生成器不仅仅采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数，还引入一个基于结构相似度的损失函数，使生成器能够生成色彩逼真且边缘清晰的彩色图像；最后，利用预先采集的红外图像和彩色图像将所提出的基于结构相似度的生成对抗网络训练到收敛条件，所获得的生成器即可实现对红外图像的着色。
本发明实现将红外图像转化为逼真的彩色图像，不仅能保留红外成像在夜间拍摄的优势，也能利于人眼能够更好更快的捕捉到图像中的有用信息，充分发挥图像价值，从而促进夜视成像技术的发展。
附图说明
图1是基于结构相似度的生成对抗网络的红外图像着色模型示意图；
图2为彩色图像生成过程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了实现将红外图像转化为逼真的彩色图像，提供一种基于结构相似度的生成对抗网络的红外图像着色方法，包括如下步骤：
1)构造一个基于结构相似度的生成对抗网络，基于结构相似度的生成对抗网络包括生成器G和鉴别器D；其中，生成器G包括彩色图像生成器GRGB、红外图像生成器GNIR，彩色图像生成器GRGB用于生成彩色图像，红外图像生成器GNIR用于生成红外图像，鉴别器D用于判断图像来自红外图像域或彩色图像域；
2)对于鉴别器D，采用生成对抗网络的损失函数；对于生成器G，采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数，再引入一个基于结构相似度的损失函数，构建一个新的用于生成器G的损失函数；步骤2)中，所述的基于结构相似度的损失函数为：
其中，
其中，
ycycle＝GRGB[GNIR(y)]；
yrecon＝GRGB(y)；
xcycle＝GNIR[GRGB(x)]；
xrecon＝GNIR(x)；
其中，NIR表示红外图像域，RGB表示彩色图像域；x表示真实的红外图像，y表示彩色图像；
表示由红外图像生成器GNIR转换生成的红外图像，
表示由彩色图像生成器GRGB转换生成的彩色图像；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；xcycle表示循环一致的红外图像，ycycle表示循环一致的彩色图像；xrecon表示重构的红外图像，yrecon表示重构的彩色图像；
表示图像样本分布的期望运算；
SSIM表示结构相似度计算方法，具体为：
其中，m和n表示一对图像；μm和μn表示图像的均值；σm和σn表示图像的方差；σmn表示两张图像的协方差；C1和C2为常数，本实施例为，分别设置为0.0001和0.0009；
3)利用预先采集的红外图像和彩色图像对步骤1)构造的基于结构相似度的生成对抗网络训练至收敛条件，获得所更新的彩色图像生成器GRGB，利用更新后的彩色图像生成器GRGB对红外图像进行着色。
本实施例中，步骤1)中所述的生成对抗网络，为编码器无独立组件的生成对抗网络模型(No-Independent-Component-for-Encoding GAN，NICE-GAN)，其中，包括两组生成对抗网络，每组生成对抗网络包括一个鉴别器D和一个生成器G，且在每组生成对抗网络内，生成器G与鉴别器D共用鉴别器D中的编码器E，即将鉴别器D中的编码器E作为生成器G的编码器。如图1所示，NICE-GAN的图像转换过程表示为：
xrecon＝GNIR[ENIR(x)]；
yrecon＝GRGB[ERGB(y)]；
其中，NIR表示红外图像域，RGB表示彩色图像域；x表示真实的红外图像，y表示彩色图像；
表示由红外图像生成器GNIR转换生成的红外图像，
表示由彩色图像生成器GRGB转换生成的彩色图像；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；xcycle表示循环一致的红外图像，ycycle表示循环一致的彩色图像；xrecon表示重构的红外图像，yrecon表示重构的彩色图像；GNIR和GRGB分别为红外图像生成器和彩色图像生成器；ENIR为鉴别器DNIR中共用于生成器的编码器；ERGB为鉴别器DRGB中共用于生成器的编码器。本实施例中，生成器G和鉴别器D(包括编码器E)由卷积神经网络构成，其中，生成器G包括6个残差块结构和反卷积网络层；鉴别器D(包括编码器E)为7层卷积神经网络。
步骤2)中，所述的用于生成器G的损失函数为：
LG＝λ1Lgan+λ2Lcycle+λ3Lrecon+λ4Lssim；
其中，Lgan、Lcycle和Lrecon分别表示生成对抗网络的损失函数、循环一致损失函数和重构损失函数；λ1＞0、λ2＞0、λ3＞0和λ4＞0表示用于控制各损失函数的权重参数，本实施例中，λ1、λ2、λ3和λ4分别设置为1、10、10和0.001。
步骤3)中，所述的收敛条件为：
其中，NIR表示红外图像域，RGB表示彩色图像域；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；DNIR表示判断图像来自红外图像域的鉴别器，DRGB表示判断图像来自彩色图像域的鉴别器；LD表示用于鉴别器D的损失函数，LG表示用于生成器G的损失函数。
步骤3)中，所述的训练为采用生成器G和鉴别器D进行对抗训练，进而得到所更新的彩色图像生成器GRGB。进而，利用更新后彩色图像生成器GRGB对红外图像进行着色，即可实现将红外图像转化为逼真的彩色图像；彩色图像的生成过程如图2所示。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (4)
1.一种基于结构相似度的生成对抗网络的红外图像着色方法，其特征在于，包括如下步骤：
1)构造一个基于结构相似度的生成对抗网络，基于结构相似度的生成对抗网络包括生成器G和鉴别器D；其中，生成器G包括彩色图像生成器GRGB、红外图像生成器GNIR，彩色图像生成器GRGB用于生成彩色图像，红外图像生成器GNIR用于生成红外图像，鉴别器D用于判断图像来自红外图像域或彩色图像域；
2)对于鉴别器D，采用生成对抗网络的损失函数；对于生成器G，采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数，再引入一个基于结构相似度的损失函数，构建一个新的用于生成器G的损失函数；步骤2)中，所述的基于结构相似度的损失函数为：
其中，
其中，
ycycle＝GRGB[GNIR(y)]；
yrecon＝GRGB(y)；
xcycle＝GNIR[GRGB(x)]；
xrecon＝GNIR(x)；
其中，NIR表示红外图像域，RGB表示彩色图像域；x表示真实的红外图像，y表示彩色图像；
表示由红外图像生成器GNIR转换生成的红外图像，
表示由彩色图像生成器GRGB转换生成的彩色图像；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；xcycle表示循环一致的红外图像，ycycle表示循环一致的彩色图像；xrecon表示重构的红外图像，yrecon表示重构的彩色图像；
表示图像样本分布的期望运算；
SSIM表示结构相似度计算方法，具体为：
其中，m和n表示一对图像；μm和μn表示图像的均值；σm和σn表示图像的方差；σmn表示两张图像的协方差；C1和C2为常数；
3)利用预先采集的红外图像和彩色图像对步骤1)构造的基于结构相似度的生成对抗网络训练至收敛条件，获得所更新的彩色图像生成器GRGB，利用更新后的彩色图像生成器GRGB对红外图像进行着色。
2.根据权利要求1所述的基于结构相似度的生成对抗网络的红外图像着色方法，其特征在于，步骤2)中，所述的用于生成器G的损失函数为：
LG＝λ1Lgan+λ2Lcycle+λ3Lrecon+λ4Lssim；
其中，Lgan、Lcycle和Lrecon分别表示生成对抗网络的损失函数、循环一致损失函数和重构损失函数；λ1＞0、λ2＞0、λ3＞0和λ4＞0表示用于控制各损失函数的权重参数。
3.根据权利要求1所述的基于结构相似度的生成对抗网络的红外图像着色方法，其特征在于，步骤3)中，所述的收敛条件为：
其中，NIR表示红外图像域，RGB表示彩色图像域；GNIR表示红外图像生成器，GRGB表示彩色图像生成器；DNIR表示判断图像来自红外图像域的鉴别器，DRGB表示判断图像来自彩色图像域的鉴别器；LD表示用于鉴别器D的损失函数，LG表示用于生成器G的损失函数。
4.根据权利要求1所述的基于结构相似度的生成对抗网络的红外图像着色方法，其特征在于，步骤3)中，所述的训练为采用生成器G和鉴别器D进行对抗训练，进而得到所更新的彩色图像生成器GRGB。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305117.2A CN112365559B (zh) | 2020-11-19 | 2020-11-19 | 一种基于结构相似度的生成对抗网络的红外图像着色方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305117.2A CN112365559B (zh) | 2020-11-19 | 2020-11-19 | 一种基于结构相似度的生成对抗网络的红外图像着色方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365559A CN112365559A (zh) | 2021-02-12 |
| CN112365559B true CN112365559B (zh) | 2022-08-26 |
Family
ID=74533353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011305117.2A Active CN112365559B (zh) | 2020-11-19 | 2020-11-19 | 一种基于结构相似度的生成对抗网络的红外图像着色方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365559B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609893B (zh) * | 2021-06-18 | 2024-04-16 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN114898031A (zh) * | 2022-04-08 | 2022-08-12 | 北京科技大学 | 一种基于生成对抗式网络的图像着色方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
| CN110827375A (zh) * | 2019-10-31 | 2020-02-21 | 湖北大学 | 一种基于微光图像的红外图像真彩着色方法及系统 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| CN111583113A (zh) * | 2020-04-30 | 2020-08-25 | 电子科技大学 | 一种基于生成对抗网络的红外图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474929B2 (en) * | 2017-04-25 | 2019-11-12 | Nec Corporation | Cyclic generative adversarial network for unsupervised cross-domain image generation |
-
2020
- 2020-11-19 CN CN202011305117.2A patent/CN112365559B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
| CN110827375A (zh) * | 2019-10-31 | 2020-02-21 | 湖北大学 | 一种基于微光图像的红外图像真彩着色方法及系统 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| CN111583113A (zh) * | 2020-04-30 | 2020-08-25 | 电子科技大学 | 一种基于生成对抗网络的红外图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-label learning with multi-label smoothing regularization for vehicle re-identification;Huanqiang Zeng 等;《ScienceDirect》;20190205;全文 * |
| 基于生成对抗网络的图像彩色化算法;赵绍良;《中国优秀硕士学位论文全文数据库》;20200215;第I138-1937页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365559A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Coupled GAN with relativistic discriminators for infrared and visible images fusion | |
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN111275647B (zh) | 一种基于循环生成对抗网络的水下图像复原方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN108320274A (zh) | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 | |
| CN109325931A (zh) | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 | |
| CN112365559B (zh) | 一种基于结构相似度的生成对抗网络的红外图像着色方法 | |
| CN111489321B (zh) | 基于派生图和Retinex的深度网络图像增强方法和系统 | |
| CN110517195A (zh) | 无监督sar图像去噪方法 | |
| CN105447840B (zh) | 基于主动采样与高斯过程回归的图像超分辨方法 | |
| CN114708181A (zh) | 图像融合方法、装置、设备和存储介质 | |
| Zhang et al. | Dispel darkness for better fusion: A controllable visual enhancer based on cross-modal conditional adversarial learning | |
| CN113362281A (zh) | 基于WSN-LatLRR的红外和可见光图像融合方法 | |
| CN117333410A (zh) | 基于Swin Transformer与GAN的红外与可见光图像融合方法 | |
| Wei et al. | Sidgan: Single image dehazing without paired supervision | |
| CN117745560A (zh) | 一种基于通道注意力的红外和可见光图像融合方法及系统 | |
| Pang et al. | Infrared and visible image fusion based on double fluid pyramids and multi-scale gradient residual block | |
| CN118628598A (zh) | 基于PIPO-Net的图像压缩感知重建方法及其系统 | |
| Soares et al. | Privacy-preserving training of monocular depth estimators via self-supervised federated learning | |
| CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
| Liu et al. | Infrared image generation algorithm based on gan and contrastive learning | |
| CN114742890A (zh) | 一种基于图像内容和风格解耦的6d姿态估计数据集迁移方法 | |
| CN116977243A (zh) | 无监督的红外图像到可见光图像的转换方法、装置和设备 | |
| Wang et al. | Modern architecture style transfer for ruin buildings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |