[go: up one dir, main page]

CN111667434B - 一种基于近红外增强的弱光彩色成像方法 - Google Patents

一种基于近红外增强的弱光彩色成像方法 Download PDF

Info

Publication number
CN111667434B
CN111667434B CN202010546315.1A CN202010546315A CN111667434B CN 111667434 B CN111667434 B CN 111667434B CN 202010546315 A CN202010546315 A CN 202010546315A CN 111667434 B CN111667434 B CN 111667434B
Authority
CN
China
Prior art keywords
network
image
filter array
color filter
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010546315.1A
Other languages
English (en)
Other versions
CN111667434A (zh
Inventor
岳涛
陈鑫
胡雪梅
闫锋
潘红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010546315.1A priority Critical patent/CN111667434B/zh
Publication of CN111667434A publication Critical patent/CN111667434A/zh
Application granted granted Critical
Publication of CN111667434B publication Critical patent/CN111667434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种基于近红外增强的弱光彩色成像方法。具体步骤如下：(1)构建包括图像采集模块以及图像恢复模块的神经网络；(2)利用光谱数据以及对应场景的RGB数据，端到端训练所构建的神经网络；(3)根据图像采集模块网络学习到的颜色滤波阵列的参数来设计制作颜色滤波阵列，利用颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；(4)利用图像恢复模块网络对图像序列进行恢复重建。本发明基于优化采集联合计算重建的思路，先采用学习的方式优化设计传感器的颜色滤波阵列，联合采集近红外与可见光，再基于深度学习进行图像恢复处理的，实现了星光级、被动式、彩色、清晰、实时成像。

Description

一种基于近红外增强的弱光彩色成像方法
技术领域
本发明涉及计算摄像学和深度学习领域，尤其涉及一种基于近红外增强的弱光彩色成像方法。
背景技术
弱光环境下的清晰成像与场景观测具有广泛的应用需求，比如国防军事、环境监测、安防监控、生物科研等。弱光彩色成像一直是成像领域研究的热点和难点问题。弱光环境下，光信号极其微弱，而一般相机传感器灵敏度低、读出噪声高，所以采集到的图像信噪比极低，拍摄物体的轮廓、形状难以分辨，细节、颜色更是难以重现。
现有的夜视成像技术，普遍基于像增强管技术和红外技术，极大提高了人类在弱光环境下的感知能力，但是，这些技术都无法实现在极弱光(<1e-3Lux)条件下的彩色成像。
发明内容
针对以上现有弱光成像方法的缺陷，本发明的目的在于提出一种基于近红外增强弱光彩色成像方法。
为达上述目的，本发明采用的技术方案如下：
一种基于近红外增强的弱光彩色成像方法，通过采用颜色滤波阵列联合采集近红外与可见光波段的光信号进行成像，并通过深度学习算法对采集的图像进行颜色重建。
进一步地，上述成像方法具体包括如下步骤：
步骤1，构建包括图像采集模块网络以及图像恢复模块网络的神经网络，其中，图像采集模块网络用于学习高通光量和宽谱域颜色滤波阵列的响应曲线参数，图像恢复模块网络用于对采集图像进行恢复重建；
步骤2，利用光谱数据以及对应场景的RGB数据，端到端训练步骤1所构建的神经网络；
步骤3，根据图像采集模块网络学习到的颜色滤波阵列的响应参数来设计制作颜色滤波阵列；利用所述颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；
步骤4，利用图像恢复模块网络对步骤3采集的图像序列进行恢复重建。
进一步地，步骤1中，所述图像采集模块网络由一层卷积层构成，用于模拟颜色滤波阵列从光谱数据积分得到采集图像的过程，其卷积核的参数即颜色滤波阵列响应曲线的参数。
进一步地，步骤1中，所述图像恢复模块网络包括多尺度特征提取网络和特征融合重建网络；所述多尺度特征提取网络由多个支路组成，每条支路均包括若干残差模块、长短期记忆网络以及由输出到输入的反馈回路；所述特征融合重建网络由若干残差模块组成。
进一步地，步骤2中，具体神经网络的训练过程为：
将光谱数据作为网络输入，将RGB数据作为网络输出的标签，采用如下损失函数来约束网络整体优化：
LOSS＝λ1LC1(WC)+λ2LC2(WC)+LR(outputR,rgb)
其中，LC1为使颜色滤波阵列响应曲线积分面积最大化的损失函数，LC2为约束颜色滤波阵列响应曲线使其可被硬件实现的损失函数，LR为约束图像恢复模块网络输出为正常RGB图像的损失函数，λ1、λ2为调整各损失函数比例的参数。
进一步地，步骤4中，恢复重建的步骤如下：
首先，将当前t时刻的输入图像It下采样，得到N层多尺度金字塔
Figure BDA0002540910230000021
接着，将所述N层多尺度金字塔与上一时刻的多尺度反馈特征
Figure BDA0002540910230000022
在各自的尺度上进行合并，并分别送入所述多尺度特征提取网络的各支路；各支路的输出特征图作为反馈特征传至下一时刻，同时上采样至与图像It相同分辨率后再合并输入所述特征融合重建网络；最终，输出当前t时刻的重建结果。
本发明采用学习的方式优化设计宽谱域颜色滤波阵列同时采集可见光与近红外的光信号，在可见光极其微弱的夜晚，可极大提高信噪比；再采用基于深度学习的方法，构建基于反馈式、多尺度、残差模块、长短期记忆网络，实现去马赛克、去噪、颜色恢复等一系列基本功能。本发明相比于现有的其他弱光成像方法，优势在于：硬件结构简单，成像效果更好：信噪比高、轮廓清晰、颜色准确、细节丰富、对比度高，可用于国防军事、环境监测、安防监控、生物科研等领域。
附图说明
图1为本发明方法的流程图；
图2为图像恢复重建流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1，图2，本实施例的一种基于近红外增强的弱光彩色成像方法，具体步骤如下：
步骤1，构建包含图像采集模块C以及图像恢复模块R的神经网络，前者学习高通光量、宽谱域颜色滤波阵列的响应曲线参数，后者对采集图像进行恢复重建。
图像采集模块C由一层卷积构成，来模拟从光谱数据Dspec积分得到采集图像Draw的过程，表示为
Figure BDA0002540910230000031
这里，Dspec尺寸为H×W×Cspec，本实施例光谱数据的波长范围700nm～950nm。H为图像的高度，W为图像宽度，Cspec为光谱数据的通道数。WC为卷积核，尺寸为1×1×Cspec×3，其数值表示颜色滤波阵列对不同波长的光的通过率。
Figure BDA0002540910230000032
表示卷积操作。
图像恢复模块R包括多尺度特征提取网络和特征融合重建网络。多尺度特征提取网络由多个支路组成，每条支路均由若干残差模块ResBlock和LSTM组成，这里可采用三个ResBlock与一个LSTM单元串联，并且包含由输出到输入的反馈回路；特征融合重建网络由若干残差模块组成，这里可设为两个。该网络在时间上参数共享。
首先将当前时刻t的输入图像It下采样，得到N层多尺度金字塔
Figure BDA0002540910230000033
Figure BDA0002540910230000034
这里，Fi表示第i尺度层的特征图，conv_down2表示步长为2的下采样卷积操作，卷积核尺寸可设为边长为3的正方形；接着与上一时刻的多尺度反馈特征
Figure BDA0002540910230000035
在各自的尺度上进行合并得到{M1,M2,M3,M4,...}，
Figure BDA0002540910230000036
这里concat表示通道维上的合并操作，并将{M1,M2,M3,M4,...}送入对应的支路网络，输出
Figure BDA0002540910230000037
Bi＝LSTM_OP(res_OP(res_OP(res_OP(Mi))),(i＝1,2,3,...N)，
这里，LSTM_OP表示LSTM的处理操作，res_OP表示残差模块ResBlock的操作，具体为：
res_OP(x)＝relu(f2(relu(f1(x)))+x)，
这里relu表示relu激活函数，f1，f2分别表示两个卷积层的操作；将各支路的输出特征图
Figure BDA0002540910230000038
作为反馈特征传至下一时刻，同时上采样至与图像It相同分辨率再合并为Ball：
Figure BDA0002540910230000041
这里upsample表示上采样操作，将Ball输入特征融合重建网络；最终输出当前时刻的重建结果：
re＝res_OP(res_OP(Ball))。
步骤2，端到端训练步骤1构建的神经网络，包括图像采集模块C网络以及图像恢复模块R网络。将光谱数据作为整体网络输入，将RGB数据作为整体网络输出的标签。整个流程为
out＝fR(fp(fC(Dspec)))
这里，out为整体网络的输出，fR表示图像恢复模块的映射函数，fp表示相机内部的处理流程，fC表示图像采集模块C的映射函数，也即模拟颜色滤波阵列对光谱数据的积分过程。
采用的损失函数如下所示
LOSS＝λ1LC1(WC)+λ2LC2(WC)+LR(out,label)
其中，LC1为使颜色滤波阵列响应曲线积分面积最大化的损失函数，从而提高滤波阵列的通光量；LC2为约束颜色滤波阵列响应曲线使其可被硬件实现的损失函数，比如要求响应曲线是光滑的，各频段的响应系数有上下限；LR为约束图像恢复模块网络输出为正常RGB图像的损失函数，λ1、λ2为调整各损失函数比例的参数。
步骤3，利用图像采集模块网络学习到的宽谱域颜色滤波阵列的参数来设计制作颜色滤波阵列。本实施例的颜色滤波阵列可联合采集700～950nm波段范围光信号，得到较高信噪比的图像序列。
步骤4，利用图像恢复模块网络对步骤3颜色滤波阵列采集的图像序列进行恢复重建，包括去马赛克、去噪、颜色恢复等。

Claims (4)

1.一种基于近红外增强的弱光彩色成像方法，其特征在于，通过采用颜色滤波阵列联合采集近红外与可见光波段的光信号进行成像，并通过深度学习算法对采集的图像进行颜色重建；具体包括如下步骤：
步骤1，构建包括图像采集模块网络以及图像恢复模块网络的神经网络，其中，图像采集模块网络用于学习高通光量和宽谱域颜色滤波阵列的响应曲线参数，图像恢复模块网络用于对采集图像进行恢复重建；
步骤2，利用光谱数据以及对应场景的RGB数据，端到端训练步骤1所构建的神经网络；具体神经网络的训练过程为：
将光谱数据作为网络输入，将RGB数据作为网络输出的标签，采用如下损失函数来约束网络整体优化：
LOSS＝λ1LC1(WC)+λ2LC2(WC)+LR(out,label)
其中，LC1为使颜色滤波阵列响应曲线积分面积最大化的损失函数，LC2为约束颜色滤波阵列响应曲线使其可被硬件实现的损失函数，LR为约束图像恢复模块网络输出为正常RGB图像的损失函数，λ1、λ2为调整各损失函数比例的参数，WC为卷积核，out为网络的输出，label为标签，即RGB数据标签；
步骤3，根据图像采集模块网络学习到的颜色滤波阵列的响应参数来设计制作颜色滤波阵列；利用所述颜色滤波阵列联合采集可见光与近红外的光信号，得到图像序列；
步骤4，利用图像恢复模块网络对步骤3采集的图像序列进行恢复重建。
2.根据权利要求1所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤1中，所述图像采集模块网络由一层卷积层构成，用于模拟颜色滤波阵列从光谱数据积分得到采集图像的过程，其卷积核的参数即颜色滤波阵列响应曲线的参数。
3.根据权利要求1所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤1中，所述图像恢复模块网络包括多尺度特征提取网络和特征融合重建网络；所述多尺度特征提取网络由多个支路组成，每条支路均包括若干残差模块、长短期记忆网络以及由输出到输入的反馈回路；所述特征融合重建网络由若干残差模块组成。
4.根据权利要求3所述的一种基于近红外增强的弱光彩色成像方法，其特征在于，步骤4中，恢复重建的步骤如下：
首先，将当前t时刻的输入图像It下采样，得到N层多尺度金字塔
Figure FDA0004142925380000011
接着，将所述N层多尺度金字塔与上一时刻的多尺度反馈特征
Figure FDA0004142925380000021
在各自的尺度上进行合并，并分别送入所述多尺度特征提取网络的各支路；各支路的输出特征图作为反馈特征传至下一时刻，同时上采样至与图像It相同分辨率后再合并输入所述特征融合重建网络；
最终，输出当前t时刻的重建结果。
CN202010546315.1A 2020-06-16 2020-06-16 一种基于近红外增强的弱光彩色成像方法 Active CN111667434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010546315.1A CN111667434B (zh) 2020-06-16 2020-06-16 一种基于近红外增强的弱光彩色成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010546315.1A CN111667434B (zh) 2020-06-16 2020-06-16 一种基于近红外增强的弱光彩色成像方法

Publications (2)

Publication Number Publication Date
CN111667434A CN111667434A (zh) 2020-09-15
CN111667434B true CN111667434B (zh) 2023-05-09

Family

ID=72387839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010546315.1A Active CN111667434B (zh) 2020-06-16 2020-06-16 一种基于近红外增强的弱光彩色成像方法

Country Status (1)

Country Link
CN (1) CN111667434B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781326B (zh) * 2021-08-11 2024-11-22 北京旷视科技有限公司 解马赛克方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988215B (zh) * 2015-02-15 2020-03-06 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN108648144B (zh) * 2018-04-20 2021-12-10 南开大学 一种基于深度学习算法的fpm高分辨率彩色图像重建方法
CN110880163B (zh) * 2018-09-05 2022-08-19 南京大学 一种基于深度学习的弱光彩色成像方法
CN110544205B (zh) * 2019-08-06 2021-05-07 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN110889813B (zh) * 2019-11-15 2023-11-24 安徽大学 基于红外信息的低光图像增强方法

Also Published As

Publication number Publication date
CN111667434A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111145131B (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN114283158B (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN113222835B (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
CN110428387B (zh) 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN114166346B (zh) 基于深度学习的多光谱光场成像方法及系统
CN110880163B (zh) 一种基于深度学习的弱光彩色成像方法
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
CN115761472A (zh) 一种基于融合事件和rgb数据的水下暗光场景重建方法
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
CN111325771A (zh) 基于影像融合框架的高分辨率遥感影像变化检测方法
CN109447898B (zh) 一种基于压缩感知的高光谱超分辨计算成像系统
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
Zhao et al. Hsgan: Hyperspectral reconstruction from rgb images with generative adversarial network
CN111667434B (zh) 一种基于近红外增强的弱光彩色成像方法
CN112733746B (zh) 融合InSAR相干性与多光谱遥感的协同分类方法
CN116091492B (zh) 一种图像变化像素级检测方法与系统
CN113435474A (zh) 一种基于双生成对抗网络的遥感图像融合方法
CN114118199A (zh) 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统
CN115641514A (zh) 一种面向夜间海雾监测的伪可见光云图生成方法
Shi et al. Nitedr: Nighttime image de-raining with cross-view sensor cooperative learning for dynamic driving scenes
Zeng et al. U-net-based multispectral image generation from an rgb image
CN116295831B (zh) 快照式多光谱成像系统及其制作方法
Huo et al. Learning to recover spectral reflectance from rgb images
CN115753691B (zh) 一种基于rgb重建高光谱的水质参数检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant