[go: up one dir, main page]

CN118864329B - 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法 - Google Patents

一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法 Download PDF

Info

Publication number
CN118864329B
CN118864329B CN202410820404.9A CN202410820404A CN118864329B CN 118864329 B CN118864329 B CN 118864329B CN 202410820404 A CN202410820404 A CN 202410820404A CN 118864329 B CN118864329 B CN 118864329B
Authority
CN
China
Prior art keywords
gradient
low
image
light image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410820404.9A
Other languages
English (en)
Other versions
CN118864329A (zh
Inventor
余小兵
陆晨阳
詹天明
王晨云
吴华朋
戴然臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING AUDIT UNIVERSITY
Original Assignee
NANJING AUDIT UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING AUDIT UNIVERSITY filed Critical NANJING AUDIT UNIVERSITY
Priority to CN202410820404.9A priority Critical patent/CN118864329B/zh
Publication of CN118864329A publication Critical patent/CN118864329A/zh
Application granted granted Critical
Publication of CN118864329B publication Critical patent/CN118864329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小波变换的多尺度Transformer‑Unet低光图像的增强方法，包括以下步骤：步骤1、给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征Flight、浅层特征F0、以及梯度特征Fgradient，步骤2、将浅层特征F0和梯度特征Fgradient作为Transformer‑Unet网络的输入，得到中级增强图像IPE，步骤3、使用光照特征Flighe作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像。本发明克服了卷积神经网络计算的局限性，弥补了Transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行。

Description

一种基于小波变换的多尺度Transformer-Unet低光图像的增 强方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法。
背景技术
近年来，科技发展迅速，人工智能技术在各行各业逐步普及，自动驾驶、安防等领域具有广阔的前景，但是在夜间或其他光照不足情况下，所拍摄到的图像往往遭受损害，具有亮度低、对比度差等问题，大大影响目标检测、目标追踪等高层视觉任务的执行性能，因此，需要对低光图像进行光照的矫正；
通常传统的低光图像增强是采用直方图均衡化来调整图像整体的对比度，但是这种方法所能获得提升较少，且由于均衡化后的灰度级减少，部分信息会消失，也会导致图像出现不自然的增强，而基于学习的低光图像增强方法，往往采用卷积神经网络，但是卷积神经网络注重局部特征的提取，对于全局特征的提取效果并不好；
鉴于此，是否能够保证图像细节的同时实现对低光图像的增强以适应高层视觉任务，是亟待解决的问题；
因此，发明一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法来解决上述问题很有必要。
发明内容
本发明的目的是提供一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，通过充分利用Transformer的全局建模能力和Unet网络所构造的多尺度交互框架，并采用小波变换实现跨特征域的信息交互，克服了卷积神经网络计算的局限性，弥补了Transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行，以解决技术中的上述不足之处。
为了实现上述目的，本发明提供如下技术方案：一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，包括以下步骤：
步骤1、给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征Flight、浅层特征F0、以及梯度特征Fgradient；
步骤2、将浅层特征F0和梯度特征Fgradient作为Transformer-Unet网络的输入，得到中级增强图像IPE；
步骤3、使用光照特征Flight作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤1中，给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征Flight、浅层特征F0、以及梯度特征Fgradient的具体步骤如下：
1.1、设IL表示低光图像，利用边缘检测算子提取低光图像IL的梯度特征Fgradient；
1.2、将低光图像IL和均值图像Imean级联，利用卷积神经网络做增强处理，得到初级增强图像IPL；
1.3、从卷积神经网络中间层提取初级增强图像IPL的光照特征Flight；
其中，IL∈IH×W×3，H为图像I的高度，W为图像I的宽度，C为图像I的通道数；
且Imean∈IH×W×1，为IL三通道求均值获得；
1.4、采用3×3卷积层提取初级增强图像IPL的浅层特征F0。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤2中，将浅层特征F0和梯度特征Fgradient作为Transformer-Unet网络的输入，得到中级增强图像IPE的具体步骤如下：
2.1、对浅层特征F0使用Transformer块进行RGB域的特征学习，得到中间层特征F1；
2.2、将中间层特征F1使用Haar小波分解后转换到小波域，使用梯度特征Fgradient作为指导并与梯度特征Fgradient融合，采用堆叠的多个Transformer块进行特征学习，得到中间层特征F2；
2.3、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与下采样结果进行融合，并采用堆叠的多个Transformer块进行特征学习，得到中间层特征F3；
2.4、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与与下采样结果进行融合，并采用级联的多个Transformer块进行特征学习，得到中间层特征F4，用作瓶颈层；
2.5、在跳跃连接部分，将中间层特征F1、中间层特征F2、中间层特征F3、中间层特征F4统一输入到CDSF模块中，获取不同尺度不同域下的特征权重并融合，与解码器阶段输出进行权重相加，得到中级增强图像IPE。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤2.1中，对浅层特征F0使用Transformer块进行RGB域的特征学习，得到中间层特征F1，具体公式为：
F′＝LayerNorm(F0)
FA＝WSA(F′)+AbSA(F′)
F0′＝F0+FA
F″＝LayerNorm(F′0)
F1＝DGFN(F″)+F0′
其中，LayerNorm(·)为层归一化处理，
WSA(·)为窗口注意力，
AbSA(·)为轴向注意力，
DGFN(·)为带有双门控机制的前馈网络。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤2.2中，将中间层特征F1使用Haar小波分解后转换到小波域，使用梯度特征Fgradient作为指导并与梯度特征Fgradient融合，采用堆叠的多个Transformer块进行特征学习，得到中间层特征F2，具体公式为：
FLL,FLH,FHL,FHH＝DWT(F1)
F1′＝[FLL,FLH,FHL,FHH]
F1″＝DOF(F1′,Fgradient)
F2＝WAT(F1″)
其中，DWT(·)为小波变换，
DOF(·)为利用深度过参数卷积进行特征融合，
WAT(·)为步骤2.1中的计算过程；
FLL为低频分量，
FLH为水平方向高频分量，
FHL为垂直方向高频分量，
FHH为对角线方向高频分量。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤2.3中，使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与下采样结果进行融合，并采用堆叠的多个Transformer块进行特征学习，得到中间层特征F3，具体公式为：
F2′＝Downsampling(F2)
F2″＝DOF(F2′,Fgradient)
F3＝WAT(F2″)
其中，Downsampling(·)为卷积进行2倍下采样。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤2.4中，使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与与下采样结果进行融合，并采用级联的多个Transformer块进行特征学习，得到中间层特征F4，的具体公式为：
F3′＝Downsampling(F3)
F3″＝DOF(F3′,Fgradient)
F4＝WAT(F3″)。
前述的基于小波变换的多尺度Transformer-Unet低光图像的增强方法，在步骤3中，使用光照特征Flight作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像，具体过程下：
将光照特征Flight和中级增强图像IPE一并输入到光照调整模块LAM执行对光照的调整，即可得到目标曝光图像。
与现有技术相比，本发明的有益效果是：
本发明通过使用卷积神经网络提取出低光图像的浅层特征、以及梯度特征，进而输入到Transformer-Unet网络中，并以光照特征、作为指导，得到目标曝光图像，充分利用Transformer的全局建模能力和Unet网络所构造的多尺度交互框架，并采用小波变换实现跨特征域的信息交互，克服了卷积神经网络计算的局限性，弥补了Transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明的流程图；
图2是本发明实施例中给定的低光图像；
图3是本发明得到的目标曝光图像；
图4是给定的低光图像的实际曝光图像。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
本发明提供了如图1-4所示的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，包括以下步骤：
步骤1、给定一个低光图像，提取出低光图像的光照特征和梯度特征，并使用卷积神经网络对其进行增强处理，得到初级增强图像，提取出初级增强图像的浅层特征，具体步骤如下：
1.1、设IL表示低光图像，利用边缘检测算子提取低光图像IL的梯度特征Fgradient；
1.2、将低光图像IL和均值图像Imean级联，利用卷积神经网络做增强处理，得到初级增强图像IPL；
1.3、从卷积神经网络中间层提取初级增强图像IPL的光照特征Flight；
其中，IL∈IH×W×3，H为图像I的高度，W为图像I的宽度，C为图像I的通道数；
Imean∈IH×W×1，为IL三通道求均值获得；
1.4、采用3×3卷积层提取初级增强图像IPL的浅层特征F0；
在本步骤中，通过引入均值图像Imean，可以将低光图像进行初步增强，实现一定程度上的点亮，方便后序操作。
步骤2、将浅层特征F0和梯度特征Fgradient作为Transformer-Unet网络的输入，得到中级增强图像IPE，具体步骤如下：
2.1、对浅层特征F0使用Transformer块进行RGB域的特征学习，得到中间层特征F1，具体公式为：
F′＝LayerNorm(F0)
FA＝WSA(F′)+AbSA(F′)
F0′＝F0+FA
F″＝LayerNorm(F′0)
F1＝DGFN(F″)+F0′
其中，LayerNorm(·)为层归一化处理，
WSA(·)为窗口注意力，
AbSA(·)为轴向注意力，
DGFN(·)为带有双门控机制的前馈网络；
2.2、将中间层特征F1使用Haar小波分解后转换到小波域，使用梯度特征Fgradient作为指导并与梯度特征Fgradient融合，采用堆叠的多个Transformer块进行特征学习，得到中间层特征F2，具体公式为：
FLL,FLH,FHL,FHH＝DWT(F1)
F1′＝[FLL,FLH,FHL,FHH]
F1″＝DOF(F1′,Fgradient)
F2＝WAT(F1″)
其中，DWT(·)为小波变换，
DOF(·)为利用深度过参数卷积进行特征融合，
WAT(·)为步骤2.1中的计算过程；
FLL为低频分量，
FLH为水平方向高频分量，
FHL为垂直方向高频分量，
FHH为对角线方向高频分量；
2.3、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与下采样结果进行融合，并采用堆叠的多个Transformer块进行特征学习，得到中间层特征F3，具体公式为：
F2′＝Downsampling(F2)
F2″＝DOF(F2′,Fgradient)
F3＝WAT(F2″)
其中，Downsampling(·)为卷积进行2倍下采样；
2.4、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与与下采样结果进行融合，并采用级联的多个Transformer块进行特征学习，得到中间层特征F4，用作瓶颈层，且得到中间层特征F4的具体公式为：
F3′＝Downsampling(F3)
F3″＝DOF(F3′,Fgradient)
F4＝WAT(F3″)
2.5、在跳跃连接部分，将中间层特征F1、中间层特征F2、中间层特征F3、中间层特征F4统一输入到CDSF模块中，获取不同尺度不同域下的特征权重并融合，与解码器阶段输出进行权重相加，即可得到中级增强图像IPE；
在本步骤中，DOF模块在编码器阶段有助于增强分解的效果，结合WAT模块中的窗口注意力和轴向注意力，可以更好的学习局部特征和全局相关性，双门控机制的前馈网络能够帮助模型提取更有利的信息，同时，传统的跳跃连接采用简单的相加，而本步骤中的CDSF模块更有助于整合跨域多尺度特征，能够实现高分辨率图像语义信息不足、低分辨率图像细节不足的相互弥补，可以更好的提取有用的特征，DSF跨域多尺度的融合效果好，Transformer特征学习效果好，且通过梯度特征的引入，在Transformer-Unet网络部分完成浅层特征F0细节的恢复，并且可以抑制对低光图像作初步增强的被放大的噪声。
步骤3、使用光照特征Flight作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像，具体过程下：
将光照特征Flight和中级增强图像IPE一并输入到光照调整模块LAM执行对光照的调整，即可得到目标曝光图像。
在本步骤中，通过以提取的光照特征为指导，能够对中级增强图像的结果进行局部光照的微调，避免最终增强图像出现局部过度曝光的问题，从而得到曝光良好，细节完善的目标曝光图像。
验证实验
如图2所示，其为一个低光图像，在经过本发明处理后，得到目标曝光图像，也即图3所示，此时，从视觉上可以看出，图3获得了很好的光照增强效果，不仅恢复了暗部的信息，对于纹理等细节也做了很好的增强，与实际的曝光图像，也即图4，并没明显差异，本发明可以用来获得可靠的目标曝光图像。
综上所述，本发明通过使用卷积神经网络提取出低光图像的浅层特征、以及梯度特征，进而输入到Transformer-Unet网络中，并以光照特征、作为指导，得到目标曝光图像，充分利用Transformer的全局建模能力和Unet网络所构造的多尺度交互框架，并采用小波变换实现跨特征域的信息交互，克服了卷积神经网络计算的局限性，弥补了Transformer块对低光图像中局部信息的忽视，最终得到正常曝光、细节完善的目标曝光图像，不仅保证了低光图像的细节信息，还实现了低光图像的光照增强，能够适应目标追踪等高层视觉任务的执行。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：包括以下步骤：
步骤1、给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征Flight、浅层特征F0、以及梯度特征Fgradient；
步骤2、将浅层特征F0和梯度特征Fgradient作为Transformer-Unet网络的输入，得到中级增强图像IPE，具体步骤如下：
2.1、对浅层特征F0使用Transformer块进行RGB域的特征学习，得到中间层特征F1；
2.2、将中间层特征F1使用Haar小波分解后转换到小波域，使用梯度特征Fgradient作为指导并与梯度特征Fgradient融合，采用堆叠的多个Transformer块进行特征学习，得到中间层特征F2；
2.3、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与下采样结果进行融合，并采用堆叠的多个Transformer块进行特征学习，得到中间层特征F3；
2.4、使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与与下采样结果进行融合，并采用级联的多个Transformer块进行特征学习，得到中间层特征F4，用作瓶颈层；
2.5、在跳跃连接部分，将中间层特征F1、中间层特征F2、中间层特征F3、中间层特征F4统一输入到CDSF模块中，获取不同尺度不同域下的特征权重并融合，与解码器阶段输出进行权重相加，得到中级增强图像IPE；
步骤3、使用光照特征Flight作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像。
2.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤1中，给定一个低光图像，使用卷积神经网络对其进行增强处理，提取出低光图像的光照特征Flight、浅层特征F0、以及梯度特征Fgradient的具体步骤如下：
1.1、设IL表示低光图像，利用边缘检测算子提取低光图像IL的梯度特征Fgradient；
1.2、将低光图像IL和均值图像Imean级联，利用卷积神经网络做增强处理，得到初级增强图像IPL；
1.3、从卷积神经网络中间层提取初级增强图像IPL的光照特征Flight；
其中，IL∈IH×W×3，H为图像I的高度，W为图像I的宽度，C为图像I的通道数；
且Imean∈IH×W×1，为IL三通道求均值获得；
1.4、采用3×3卷积层提取初级增强图像IPL的浅层特征F0。
3.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤2.1中，对浅层特征F0使用Transformer块进行RGB域的特征学习，得到中间层特征F1，具体公式为：
F′＝LayerNorm(F0)
FA＝WSA(F′)+AbSA(F′)
F′0＝F0+FA
F″＝LayerNorm(F′0)
F1＝DGFN(F″)+F0′
其中，LayerNorm(·)为层归一化处理，
WSA(·)为窗口注意力，
AbSA(·)为轴向注意力，
DGFN(·)为带有双门控机制的前馈网络。
4.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤2.2中，将中间层特征F1使用Haar小波分解后转换到小波域，使用梯度特征Fgradient作为指导并与梯度特征Fgradient融合，采用堆叠的多个Transformer块进行特征学习，得到中间层特征F2，具体公式为：
FLL,FLH,FHL,FHH＝DWT(F1)
F1′＝[FLL,FLH,FHL,FHH]
F1″＝DOF(F1′,Fgradient)
F2＝WAT(F1″)
其中，DWT(·)为小波变换，
DOF(·)为利用深度过参数卷积进行特征融合，
WAT(·)为步骤2.1中的计算过程；
FLL为低频分量，
FLH为水平方向高频分量，
FHL为垂直方向高频分量，
FHH为对角线方向高频分量。
5.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤2.3中，使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与下采样结果进行融合，并采用堆叠的多个Transformer块进行特征学习，得到中间层特征F3，具体公式为：
F2′＝Downsampling(F2)
F2″＝DOF(F2′,Fgradient)
F3＝WAT(F2″)
其中，Downsampling(·)为卷积进行2倍下采样。
6.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤2.4中，使用卷积进行2倍下采样，使用梯度特征Fgradient作为指导与与下采样结果进行融合，并采用级联的多个Transformer块进行特征学习，得到中间层特征F4，的具体公式为：
F3′＝Downsampling(F3)
F3″＝DOF(F3′,Fgradient)
F4＝WAT(F3″)。
7.根据权利要求1所述的一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法，其特征在于：在步骤3中，使用光照特征Flight作为光照微调的指导，对中级增强图像IPE进行光照微调，得到目标曝光图像，具体过程下：
将光照特征Flight和中级增强图像IPE一并输入到光照调整模块LAM执行对光照的调整，即可得到目标曝光图像。
CN202410820404.9A 2024-06-24 2024-06-24 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法 Active CN118864329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410820404.9A CN118864329B (zh) 2024-06-24 2024-06-24 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410820404.9A CN118864329B (zh) 2024-06-24 2024-06-24 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法

Publications (2)

Publication Number Publication Date
CN118864329A CN118864329A (zh) 2024-10-29
CN118864329B true CN118864329B (zh) 2025-02-18

Family

ID=93156960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410820404.9A Active CN118864329B (zh) 2024-06-24 2024-06-24 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法

Country Status (1)

Country Link
CN (1) CN118864329B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888744A (zh) * 2021-10-14 2022-01-04 浙江大学 一种基于Transformer视觉上采样模块的图像语义分割方法
CN116579939A (zh) * 2023-04-29 2023-08-11 中国人民解放军海军特色医学中心 一种基于卷积神经网络和小波变换的低照度图像增强方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949353A (zh) * 2019-03-25 2019-06-28 北京理工大学 一种低照度图像自然感彩色化方法
CN111861914B (zh) * 2020-07-07 2023-02-03 天津大学 基于深度神经网络的低照度彩色偏振图像增强方法
CN114972134B (zh) * 2022-05-11 2023-08-25 即刻分享信息技术(北京)有限公司 一种提取并融合局部和全局特征的低光图像增强方法
CN115063329B (zh) * 2022-06-10 2024-12-20 中国人民解放军国防科技大学 低光照环境下的可见光和红外图像融合增强方法及系统
CN115393212A (zh) * 2022-08-25 2022-11-25 河海大学 一种基于改进Unet的RAW域夜景图像去噪方法
CN117437146B (zh) * 2023-10-10 2024-09-13 南京大学 基于CNN-Transformer的DAS去噪方法
CN117474812A (zh) * 2023-10-31 2024-01-30 杭州电子科技大学 一种基于深度学习的单人图像去除光照影响方法
CN118154450A (zh) * 2023-12-29 2024-06-07 福思(杭州)智能科技有限公司 低照度图像增强方法、装置、计算机设备及存储介质
CN118172268A (zh) * 2024-04-10 2024-06-11 上海理工大学 一种基于双交叉Transformer的全局低光照图像增强系统及其方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888744A (zh) * 2021-10-14 2022-01-04 浙江大学 一种基于Transformer视觉上采样模块的图像语义分割方法
CN116579939A (zh) * 2023-04-29 2023-08-11 中国人民解放军海军特色医学中心 一种基于卷积神经网络和小波变换的低照度图像增强方法

Also Published As

Publication number Publication date
CN118864329A (zh) 2024-10-29

Similar Documents

Publication Publication Date Title
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN110675328B (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN116246138A (zh) 基于全卷积神经网络的红外-可见光图像目标级融合方法
CN109035163A (zh) 一种基于深度学习的自适应图像去噪方法
CN108664953A (zh) 一种基于卷积自编码器模型的图像特征提取方法
CN110929099B (zh) 一种基于多任务学习的短视频帧语义提取方法及系统
CN114757938A (zh) 一种变压器漏油识别方法和系统
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN116883290A (zh) 一种基于通道注意力的弱光图像增强深度学习算法
CN117670733A (zh) 一种基于小波谱学习的低光照图像增强方法
CN116777782A (zh) 一种基于双注意力层级特征融合的多补丁去雾方法
CN116029947A (zh) 一种用于恶劣环境的复杂光学图像增强方法、装置和介质
CN111539885B (zh) 一种基于多尺度网络的图像增强去雾方法
Chen et al. Brightsightnet: A lightweight progressive low-light image enhancement network and its application in “rainbow” maglev train
CN117576515A (zh) 基于扩散生成的自监督图像数据集构建方法、系统及设备
CN118552442A (zh) 基于混合大尺度卷积和注意力融合的图像去雾方法
CN115063434B (zh) 一种基于特征去噪的低弱光图像实例分割方法及系统
CN114693548B (zh) 一种基于亮区域检测的暗通道去雾方法
CN118864329B (zh) 一种基于小波变换的多尺度Transformer-Unet低光图像的增强方法
CN119672509A (zh) 一种基于多模态退化特征学习的水下图像增强方法及系统
CN119130878A (zh) 一种适用于雾霾气候的微光图像增强方法
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant