CN116402679B - 一种轻量级红外超分辨率自适应重建方法 - Google Patents
一种轻量级红外超分辨率自适应重建方法 Download PDFInfo
- Publication number
- CN116402679B CN116402679B CN202211692350.XA CN202211692350A CN116402679B CN 116402679 B CN116402679 B CN 116402679B CN 202211692350 A CN202211692350 A CN 202211692350A CN 116402679 B CN116402679 B CN 116402679B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- model
- super
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013434 data augmentation Methods 0.000 claims abstract description 3
- 239000010410 layer Substances 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000008521 reorganization Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 30
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域,尤其为一种轻量级红外超分辨率自适应重建方法,包括如下步骤:步骤1,构建网络模型:红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块;步骤2,准备数据集:准备红外图像数据集,并对其进行模拟下采样和数据增广,以便后续进行网络训练;步骤3,训练网络模型:训练红外图像超分辨率重建模型。本发明提出的自适应图像特征处理单元,通过将自注意力机制限制在滑动窗口内,依赖滑动窗口内各特征本身来自适应地计算并更新窗口内的特征值,避免了在局部窗口内采用相同的卷积核,提高了表达能力,同时减少了自注意力机制训练和推理过程中产生的计算量。
Description
技术领域
本发明涉及图像处理技术领域,具体为一种轻量级红外超分辨率自适应重建方法。
背景技术
红外图像的成像机理是通过感应环境中物体发射的热辐射进行成像,不依赖环境光或人造光源的反射,具备很强的抗干扰和全天候工作能力;由于其出色的识别能力和被动成像的特点,被广泛用于军事、自动驾驶和安防等领域;但是,红外成像传感器的制作工艺较为复杂,密集阵列需要制冷机支持,所以其分辨率普遍较低,且价格昂贵;相比直接改良成像传感器,通过图像超分辨率的方法,恢复部分红外图像中的高频信息,提高图像的分辨率和质量,能有效提高成像质量且成本低廉,具有重要的实际意义和广阔的应用前景;红外图像超分辨率是一个高度欠定问题,丢失的细节需要通过大量的图像结构关系来估计,这导致红外图像超分辨率重建的难度较高;目前主流的方案是采用卷积神经网络来完成从低分辨率红外图像到高分辨率红外图像的映射,这会受到卷积网络中卷积核参数复用的原理的限制。
中国专利公开号为“CN112308772B”,名称为“基于深度学习局部与非局部信息的超分辨率重建方法”,该方法构建了一个深层神经网络模型,将图像输入网络后分时复用同一套特征筛选网络,包括局部网络和非局部增强网络两大模块,通过非常深层的卷积运算,恢复图像中丢失的细节;卷积运算在每一层采用固定的卷积核,这使浅层网络的表达能力很差,所以网络常常要设计得很深很宽,这使计算复杂度和存储容量占用率都居高不下;因此,如何克服卷积运算的限制,通过少量的可学习参数和乘加运算就能实现高质量超分辨率重建是本领域技术人员亟需解决的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种轻量级红外超分辨率自适应重建方法,解决了上述背景技术中所提出的问题。
(二)技术方案
本发明为了实现上述目的具体采用以下技术方案:
一种轻量级红外超分辨率自适应重建方法,包括如下步骤:
步骤1,构建网络模型:红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块;
步骤2,准备数据集:准备红外图像数据集,并对其进行模拟下采样和数据增广,以便后续进行网络训练;
步骤3,训练网络模型:训练红外图像超分辨率重建模型,将步骤2中准备好的数据集进输入到步骤1中构建好的网络模型中进行训练;
步骤4,最小化损失函数和选择最优评估指标:通过最小化网络输出图像与标签的损失函数,直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数;同时选择最优评估指标来衡量算法的精度,评估系统的性能;
步骤5,微调模型:准备多个额外的红外图像数据集,对模型进行训练和微调,得到更优的模型参数,进一步提高模型的泛化能力;最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量;
步骤6,保存模型:将最终确定的模型参数进行固化,之后需要进行红外图像超分辨率重建操作时,直接将图像输入到网络中即可得到最终的重建图像。
上述的一种轻量级红外超分辨率自适应重建方法,所述步骤1中红外图像超分辨率重建模型中输入初始化为单层卷积层,用于将输入图像映射到特征空间中,以供后续特征的进一步细化和处理;图像特征提取模块由四层自适应图像特征处理单元组成,具体而言,自适应图像特征处理单元由卷积层一、自注意力层和卷积层二组成,其中自注意力层由线性特征拆解、自注意力机制、相对位置编码层、全连接层一、全连接层二和特征重组组成;输出图像重建模块由信道压缩层、全局跳跃连接、和像素重组层组成。
上述的一种轻量级红外超分辨率自适应重建方法,所述步骤2中训练过程中的红外图像数据集使用FLIRADAS数据集;将数据集中的红外图像分别模拟下采样2、3、4倍,用于对不同超分辨率尺度的超分辨率重建模型进行有监督的训练;
上述的一种轻量级红外超分辨率自适应重建方法,所述步骤4中在训练过程中损失函数选择使用自适应损失函数,在偏差值很高的情况下,引入像素损失以稳定、快速地优化网络参数,避免梯度爆炸的问题;在偏差值降低至阈值以下时,采用结构损失以使网络参数优化时聚焦于图像的纹理细节恢复;损失函数的选择影响着模型的好坏,能够真实地体现出预测值与真值差异,并且能够正确地反馈模型的质量。
上述的种轻量级红外超分辨率自适应重建方法,所述步骤4中在训练过程中合适的评估指标选择峰值信噪比(PSNR)、结构相似性(SSIM),能够有效地评估算法超分辨率重建结果的质量和真实高分辨率图像之间的失真程度,衡量网络模型的性能。
上述的一种轻量级红外超分辨率自适应重建方法,所述步骤5中在微调模型参数过程中使用MFNet、TNO数据集。
本发明还提供了一种轻量级红外超分辨率的电子设备,所述设备包括:多功能视频流输入输出接口、一个中央处理器、多个图形处理单元、存储装置及存储在存储器上并可在处理器上运行的计算机程序;其中,中央处理器和多个图像处理单元执行计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方法的步骤。
(三)有益效果
与现有技术相比,本发明提供了一种轻量级红外超分辨率自适应重建方法,具备以下有益效果:
本发明提出的自适应图像特征处理单元,通过将自注意力机制限制在滑动窗口内,依赖滑动窗口内各特征本身来自适应地计算并更新窗口内的特征值,避免了在局部窗口内采用相同的卷积核,提高了表达能力,同时减少了自注意力机制训练和推理过程中产生的计算量。
本发明在提出的自适应图像特征处理单元中,滑动窗口内加入了相对位置编码,避免重叠部分在计算自注意力时重复计算;重叠部分在重组时使用各窗口中相应区域的数学期望更新,无需再额外设计窗口间的信息交互手段。
本发明在自注意力计算机制中不再使用层归一化操作,确保图像结构信息和对比度信息的完整性;同时,将输入的特征向量和新特征向量拼接后输入前馈网络更新,以更好地保持图像的低频结构。
本发明提出了一种自适应损失函数,它可以通过训练过程中实时监控网络模型的状态,自动选择让网络学习总体相似或图像纹理细节,提高了最终获得的网络模型的重建性能。
附图说明
图1为为本发明流程图;
图2为为本发明的网络模型结构;
图3为本发明自适应图像处理单元的处理流程图;
图4为本发明滑窗自注意力机制中特征图的工作原理示意图;
图5为本发明像素重组的工作原理示意图;
图6为本发明实现轻量级红外超分辨率方法与现有技术的主要性能指标对比结果图;
图7为本发明实现轻量级红外超分辨率方法的电子设备内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,一种轻量级红外超分辨率自适应重建方法的流程图,该方法具体包括如下步骤:
步骤1,构建网络模型:红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块;输入初始化为单层卷积层,用于将输入图像映射到特征空间中,以供后续特征的进一步细化和处理;图像特征提取模块由四层自适应图像特征处理单元组成,具体而言,自适应图像特征处理单元由卷积层一、特征拆解层、相对位置编码层、自注意力层、特征重组和卷积层二组成,其中自注意力层由线性自注意力机制、全连接层一、全连接层二组成;输出图像重建模块由信道压缩层、全局跳跃连接、和像素重组层组成;
步骤2,准备数据集:准备FLIRADAS红外图像数据集,;将数据集中的红外图像进行增广,分别模拟下采样2、3、4倍,用于对不同超分辨率尺度的超分辨率重建模型进行有监督的训练;
步骤3,训练网络模型:训练红外图像超分辨率重建模型,将步骤2中准备好的数据集进输入到步骤1中构建好的网络模型中进行训练;
步骤4,最小化损失函数和选择最优评估指标:训练过程中损失函数选择使用自适应损失函数,在偏差值很高的情况下,引入像素损失以稳定、快速地优化网络参数,避免梯度爆炸的问题;在偏差值降低至阈值以下时,采用结构损失以使网络参数优化时聚焦于图像的纹理细节恢复;通过最小化网络输出图像与标签的损失函数,直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成,保存模型参数;同时选择最优评估指标来衡量算法的精度,评估系统的性能;
步骤5,微调模型:准备MFNet、TNO红外图像数据集,对模型进行训练和微调,得到更优的模型参数,进一步提高模型的泛化能力;最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量;
步骤6,保存模型:将最终确定的模型参数进行固化,之后需要进行红外超分辨率操作时,直接将图像输入到网络中即可得到最终的重建图像。
实施例2:
如图1所示,一种轻量级红外超分辨率自适应重建方法的流程图,该方法具体包括如下步骤:
步骤1,构建网络模型;
所述步骤1中整个红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块;输入初始化层为一个卷积核为3×3、步长为1、填充为1且设置了偏置参数的卷积层,其从输入Iir∈1×H×W转换到特征空间中得到初始特征f1∈C×H×W的过程可以表示为:
f1=W1*Iir+B1
式中,W1为输入初始化层中的卷积核,B1为卷积操作中的偏置,*表示卷积操作;
然后,特征被输入图像特征提取模块进一步处理,图像特征提取模块中包括4个自适应图像处理单元,每一个单元负责处理上一层输出的特征图,并将本层输出特征图与输入特征图在通道维度拼接后输出;将特征f1∈C×H×W输入图像特征提取模块,并获得各单元输出特征fn∈(n+1)C×H×W,n=1,2,3,4的具体过程可以表示为:
式中,为第n个自适应图像处理单元,其工作原理如图2所示;在自适应图像处理单元中,特征图fi′∈C×H×W先经过一个卷积核为1×1、步长为1的卷积将通道改变为自注意力机制所需的特征向量长度,得到新特征图f1′∈C'×H×W,该过程可表示为:
f1′=σ(Wi′*fi′+Bi′)
式中,σ(x)=max(x,0)+min(x,p)为参数线性整流函数;由于其高效性和优秀的拟合能力,在本发明中,所有的激活函数均设计为参数线性整流函数;接下来,f1′将由图3所示的滑窗自注意力机制进行处理,在大小为n×n、步进为m的窗口内将特征沿通道维度分成n×n个长度为C'的向量,得到向量集合其中i=1,2,......,H/m,j=1,2,......,W/m分别为高宽方向切分的窗口编号;然后,将索引权重WQ、查询权重WK和内容权重WV分别与各向量相乘,将特征向量分化为索引向量Q、查询向量K和内容向量V,该过程可以表达为:
Q=WQwi,j,K=WKwi,j,V=WVwi,j
将索引向量Q和查询向量的转置KT做矩阵相乘,相当于计算向量集合内的内积,即可计算出向量集合中不同向量之间的相关性;对相关性矩阵做softmax归一化处理后与内容向量V相乘即可得到自注意力机制的输出
式中,BP为相对位置编码,用于减少滑窗过程中引入的重复自注意力计算,dk为特征向量的长度;随后,特征向量先经过全连接层一,再与输入图像拼接后通过全连接层二得到输出向量可以表示为:
式中,W1′、W2′为全连接层一和二的权重参数,B1′、B2′分别为全连接层一和全连接层二的偏置参数;求得输出向量后,将其按原顺序重新组合为特征图f2′∈C'×H×W,其中重叠的像素由各窗口中该像素灰度值的期望来代替;最后,特征图f2′通过一个核尺寸1×1、步长为1的卷积操作,再与输入特征图fi′相加以实现局部残差连接,得到输出特征fo′,该过程可被表示为:
fo′=σ(Wo′*f2′+Bo′)+fi′
图像特征提取模块得到输出特征f4∈5C×H×W后,将其输入输出图像重建模块,首先经过一个信道压缩层,使用核尺寸1×1、步长为1的卷积将通道数压缩到与初始特征f1∈C×H×W相同,再与初始特征相加后,用核尺寸1×1、步长为1的卷积层将通道进一步减少到尺度的平方,最后使用如图5所示的像素重组输出最终的超分辨率重建图像ISR∈1×sH×sW(s为超分倍数);该操作可被具体表示为:
ISR=Gpixelshuffle(Wc2*σ(Wc1*f4)+f1)
式中,Wc1、Wc2为信道压缩层和卷积层的权重参数,Gpixelshuffle(·)表示像素重组操作;
步骤2,准备数据集;
所属步骤2中的数据集使用FLIR ADAS数据集,该数据集包括8862张分辨率为512×640的热红外图像;首先将这些图像切割为256×256的图像块,一共获得37976张图像块,然后用双三次下采样获取低分辨率图像,组合成高低分辨率图像对;为了扩充数据量,随即对图像进行水平翻转、垂直翻转、旋转、平移和缩放裁剪变换;
步骤3,训练网络模型;
所述步骤3中的训练方案具体为:设定训练次数为100,每次输入到网络图片数量大小为16-32左右,每次输入到网络图片数量大小的上限主要是根据计算机图形处理器性能决定,一般每次输入到网络图片数量在16-32区间内,可以使网络训练更加稳定且训练结果更好;训练过程的学习率设置为0.001,既能保证训练的速度,又能避免出现梯度爆炸的问题;训练至100次、150次和175次时将学习率下降为目前学习率的0.1,能更好地接近参数最优值;网络参数优化器选择自适应矩估计算法,其优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳;损失函数函数值阈值设定为0.01,小于该阈值就可以认为整个网络的训练已基本完成;
步骤4,最小化损失函数和选择最优评估指标;
所述步骤4中将在网络的输出和标签计算损失值,通过最小化损失函数达到更好的超分辨率重建效果;损失函数选择结构相似性和像素损失,根据模型当前的训练效果调整损失函数的使用;结构相似性计算公式如下所示:
SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中,l(x,y)表示亮度对比函数,c(x,y)表示对比度对比函数,s(x,y)表示结构对比函数,三个函数的定义如下所示:
在实际应用中,α、β和γ均取值为1,C3为0.5C2,因此结构相似性公式可以表示为:
x和y分别表示两张图像中大小为N×N的窗口的像素点,μx和μy分别表示x和y的均值,可作为亮度估计;σx和σy分别表示x和y的方差,可作为对比度估计;σxy表示x和y的协方差,可作为结构相似性度量;c1和c2为极小值参数,可避免分母为0,通常分别取0.01和0.03;所以根据定义,整个图像的结构相似性计算方式如下所示:
X和Y分别表示待比较的两张图像,MN为窗口总数量,xij和yij为两张图片中各局部窗口;结构相似性具有对称性,其数值范围在[0,1]之间,数值越接近于1,结构相似性越大,两图像的差异越小;一般情况下,通过网络优化直接缩小其与1之间的差值即可,结构相似性损失如下所示:
SSIMloss=1-MSSIM(Iir,ISR)
通过优化结构相似性损失,可逐步缩小输出图像与输入图像结构上的差异,使得图像在亮度、对比度上更相近,直觉感知上也更相近,生成图像质量较高;
像素损失函数定义如下所示:
在网络训练之初或出现严重波动时,像素损失能够稳定地优化网络参数,使网络向正确的方向继续训练;但像素损失主要来源于能量集中的低频部分的差异,即便差异已经很小,所以结构相似性损失这种聚焦于图像结构差异的损失更适合对网络进行精细调整;基于此,总损失函数被定义为:
所述步骤4中合适的评估指标选择峰值信噪比(PSNR)、结构相似性(SSIM),峰值信噪比是基于对应像素点间的误差,即基于误差敏感的图像质量评价;结构相似性则是从亮度、对比度和结构三方面度量图像相似性,是一种用以衡量两张数位影像相似程度的指标;结构相似性定义同损失函数峰值信噪比质量评估定义如下:
步骤5,微调模型;
所述步骤5中,采用MFNet和TNO数据集的红外图像数据,共包括约2000张红外图像,分辨率为640×480;将其图像进行同步骤2中的图像预处理操作,得到模型微调数据集;加载步骤4得到的模型权重参数,将学习率调整为0.000001,将模型微调数据集的图像对输入模型,继续训练10个训练周期;
步骤6,保存模型与参数;
所述步骤6中将网络训练完成后,需要将网络中所有参数保存,之后输入任意大小的图像均可获得超分辨率重建结果;
其中,卷积、拼接和上下采样等操作的实现是本领域技术人员公知的算法,具体流程和方法可在相应的教科书或者技术文献中查阅到。
本发明通过构建一种轻量级红外超分辨率自适应重建方法,可以获得较高质量的超分辨率重建效果,由于其轻量化结构,相比先前的复杂网络具有更少的参数量,能应用于各种移动设备上;通过计算与现有方法得到图像的相关指标,进一步验证了该方法的可行性和优越性;现有技术和本发明提出方法的相关指标对比如图6所示;
基于与上述图像超分辨率重建的方法相同的发明构思,本申请实施例还提供了一种电子设备,该电子设备具体可以为具备信号传输、浮点运算和存储的桌面计算机、便携式计算机、边缘计算设备、平板电脑、智能手机等,如图7所示,该电子设备可由主要部件处理器、存储器和通信接口组成;
处理器可以是通用处理器,例如中央处理器(CPU)、数字信号处理器(DSP)、图像处理器(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图;通用处理器可以是微处理器或者任何常规的处理器等;结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或用处理器中的硬件及软件模块组合执行完成;
存储器作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块;存储器可以包括至少一种类型的存储介质,例如可以包括随机访问存储器(RAM)、静态随机访问存储器(SRAM)、带电可擦除可编程只读存储器(EEPROM)、磁性存储器、光盘等等;存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此;本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令或数据;
通信接口可用于计算设备与其他计算设备、终端或成像设备的数据传输,通信接口可以采用通用的协议,例如通用串行总线(USB)、同步/异步串行接收/发送器(USART)、控制器局域网络(CAN)等等;通信接口能用于在不同设备之间传递数据的接口及其通信协议,但不限于此;本申请实施例中的通信接口还可以是光通信或其他任意能够实现信息传输的方式或协议;
本发明还提供了一种轻量级红外超分辨率自适应重建的计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质;计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本发明提供的方法;
应注意,尽管图7所示的电子设备仅仅示出了存储器、处理器、通信接口,但是在具体实现过程中,本领域的技术人员应当理解,装置还包括实现正常运行所必须的其他器件;同时,根据具体需要,本领域的技术人员应当理解,装置还可包括实现其他附加功能的元器件;此外,本领域的技术人员应当理解,装置也可仅包括实现本发明实施例所必须的器件,而不必包括图7中所示的全部器件。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种轻量级红外超分辨率自适应重建方法,其特征在于:包括如下步骤:
步骤1,构建网络模型:红外图像超分辨率重建模型包括输入初始化层、图像特征提取模块和输出图像重建模块;输入初始化为单层卷积层,用于将输入图像映射到特征空间中,以供后续特征的细化和处理;图像特征提取模块由四层自适应图像特征处理单元组成,具体而言,自适应图像特征处理单元由卷积层一、自注意力层和卷积层二组成,其中自注意力层由线性特征拆解、自注意力机制、相对位置编码层、全连接层一、全连接层二和特征重组组成,所述自注意力层用于提取与处理红外特征,包括:
S1:红外特征将由滑窗自注意力机制进行处理,在大小为n×n、步进为m的窗口内将特征沿通道维度分成n×n个长度为C'的向量,得到向量集合其中i=1,2,......,H/m,j=1,2,......,W/m分别为高宽方向切分的窗口编号;然后,将索引权重WQ、查询权重WK和内容权重WV分别与各向量相乘,将特征向量分化为索引向量Q、查询向量K和内容向量V;
S2:将索引向量Q和查询向量的转置KT做矩阵相乘,计算向量集合内的内积,获取向量集合中不同向量之间的相关性;对相关性矩阵做softmax归一化处理后与内容向量V相乘得到自注意力机制的输出
S3:特征向量先经过全连接层一,再与输入图像拼接后通过全连接层二得到输出向量将其按原顺序重新组合为特征图f2′∈C'×H×W,其中重叠的像素由各窗口中该像素灰度值的期望来代替;最后,特征图f2′通过一个核尺寸1×1、步长为1的卷积操作,再与输入特征图fi′相加以实现局部残差连接,得到输出特征fo′;
输出图像重建模块由信道压缩层、全局跳跃连接和像素重组层组成;
步骤2,准备数据集:准备红外图像数据集,并对其进行模拟下采样和数据增广,以便后续进行网络训练;
步骤3,训练网络模型:训练红外图像超分辨率重建模型,将步骤2中准备好的数据集进输入到步骤1中构建好的网络模型中进行训练;
步骤4,最小化损失函数和选择最优评估指标:通过最小化网络输出图像与标签的损失函数,直到训练次数达到设定阈值或损失函数的值到达设定范围内则认为模型参数已预训练完成,保存模型参数;同时选择最优评估指标来衡量算法的精度,评估系统的性能;
步骤5,微调模型:准备多个额外的红外图像数据集,对模型进行训练和微调,得到更优的模型参数;最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量;
步骤6,保存模型:将最终确定的模型参数进行固化,之后需要进行红外图像超分辨率重建操作时,直接将图像输入到网络中得到最终的重建图像。
2.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法,其特征在于:所述步骤3准备FLIR ADAS红外图像数据集,将数据集中的红外图像进行增广,分别模拟下采样2、3、4倍,用于对不同超分辨率尺度的超分辨率重建模型进行有监督的训练。
3.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法,其特征在于:所述步骤4中在训练过程中损失函数选择DiceLoss损失函数;损失函数的选择影响着模型的好坏,能够真实地体现出预测值与真值差异,并且能够正确地反馈模型的质量。
4.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法,其特征在于:所述步骤5准备MFNet、TNO红外图像数据集,对模型进行训练和微调,得到更优的模型参数;最终使得模型在应对多种型号的红外成像仪时维持良好的重建质量。
5.根据权利要求1所述的一种轻量级红外超分辨率自适应重建方法,其特征在于:所述步骤5中在微调模型参数过程中使用SODA。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211692350.XA CN116402679B (zh) | 2022-12-28 | 2022-12-28 | 一种轻量级红外超分辨率自适应重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211692350.XA CN116402679B (zh) | 2022-12-28 | 2022-12-28 | 一种轻量级红外超分辨率自适应重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116402679A CN116402679A (zh) | 2023-07-07 |
CN116402679B true CN116402679B (zh) | 2024-05-28 |
Family
ID=87016642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211692350.XA Active CN116402679B (zh) | 2022-12-28 | 2022-12-28 | 一种轻量级红外超分辨率自适应重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116402679B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117196959B (zh) * | 2023-11-08 | 2024-03-01 | 华侨大学 | 基于自注意力的红外图像超分辨率方法、装置及可读介质 |
CN117611445B (zh) * | 2023-12-05 | 2025-03-07 | 长春理工大学 | 一种跨模态超分辨率重建方法、终端设备及可读存储介质 |
CN117495681B (zh) * | 2024-01-03 | 2024-05-24 | 国网山东省电力公司济南供电公司 | 一种红外图像超分辨重建系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
CN114331831A (zh) * | 2021-11-19 | 2022-04-12 | 长春理工大学 | 一种轻量化的单张图像超分辨率重建方法 |
CN115113303A (zh) * | 2022-06-21 | 2022-09-27 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
CN115131214A (zh) * | 2022-08-31 | 2022-09-30 | 南京邮电大学 | 基于自注意力的室内老人图像超分辨率重构方法及系统 |
CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
-
2022
- 2022-12-28 CN CN202211692350.XA patent/CN116402679B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
CN114331831A (zh) * | 2021-11-19 | 2022-04-12 | 长春理工大学 | 一种轻量化的单张图像超分辨率重建方法 |
CN115113303A (zh) * | 2022-06-21 | 2022-09-27 | 天津大学 | 基于元学习的厄尔尼诺极端天气预警方法及装置 |
CN115131214A (zh) * | 2022-08-31 | 2022-09-30 | 南京邮电大学 | 基于自注意力的室内老人图像超分辨率重构方法及系统 |
CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers;Yikang Ding 等;IEEE;20220927;第8585-8594页 * |
基于卷积神经网络的热红外图像语义分割研究;夏威;中国优秀硕士学位论文全文数据库 信息科技辑;20200731;第I138-1118页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116402679A (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116402679B (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
CN110533721B (zh) | 一种基于增强自编码器的室内目标物体6d姿态估计方法 | |
US20210150678A1 (en) | Very high-resolution image in-painting with neural networks | |
WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
CN112329658A (zh) | 一种对于yolov3网络的检测算法改进方法 | |
CN112991472B (zh) | 一种基于残差稠密阈值网络的图像压缩感知重建方法 | |
CN113658122B (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
CN112766099B (zh) | 一种从局部到全局上下文信息提取的高光谱影像分类方法 | |
CN112257727B (zh) | 一种基于深度学习自适应可变形卷积的特征图像提取方法 | |
CN111951203B (zh) | 视点合成方法、装置、设备及计算机可读存储介质 | |
Zeng et al. | Cascade neural network-based joint sampling and reconstruction for image compressed sensing | |
CN117522694A (zh) | 一种基于扩散模型的图像超分辨率重建方法及系统 | |
CN117237656A (zh) | 基于置信度引导的解耦传播与级联优化光流估计方法 | |
CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
Hui et al. | Two-stage convolutional network for image super-resolution | |
CN113095254A (zh) | 一种人体部位关键点的定位方法及系统 | |
WO2024072250A1 (en) | Neural network training method and apparatus, image processing method and apparatus | |
CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及系统 | |
CN116258651A (zh) | 一种图像处理方法及相关装置 | |
CN117576402A (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
CN114758282A (zh) | 基于时序校正卷积的视频预测方法 | |
CN118628355A (zh) | 一种基于扩散模型的遥感图像超分辨率重建方法及系统 | |
CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN114529793B (zh) | 一种基于门控循环特征融合的深度图像修复系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |