[go: up one dir, main page]

CN112163998A - 一种匹配自然降质条件的单图像超分辨率分析方法 - Google Patents

一种匹配自然降质条件的单图像超分辨率分析方法 Download PDF

Info

Publication number
CN112163998A
CN112163998A CN202011015611.5A CN202011015611A CN112163998A CN 112163998 A CN112163998 A CN 112163998A CN 202011015611 A CN202011015611 A CN 202011015611A CN 112163998 A CN112163998 A CN 112163998A
Authority
CN
China
Prior art keywords
image
resolution
network
super
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011015611.5A
Other languages
English (en)
Inventor
陈伦强
龙学军
陈东文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Boshixin Electronic Technology Co ltd
Original Assignee
Zhaoqing Boshixin Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Boshixin Electronic Technology Co ltd filed Critical Zhaoqing Boshixin Electronic Technology Co ltd
Priority to CN202011015611.5A priority Critical patent/CN112163998A/zh
Publication of CN112163998A publication Critical patent/CN112163998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种匹配自然降质条件的单图像超分辨率分析方法,包括域学习网络和超分辨率分析学习网络,域学习网络包括生成器网络Gd和鉴别器网络Dx,超分辨率分析学习网络包括超分辨率分析网络GSR和鉴别器网络Dy。基于深度学习训练下的生成器网络Gd,以生成低分辨率图像,使得该低分辨率图像和自然降质的低分辨率源域图像x相匹配,并通过超分辨率分析网络GSR在生成对抗网络框架中通过使用生成的低分辨率
Figure DDA0002698956920000011
图像及其对应的高分辨率图像在干净的高分辨率目标域y中进行逐像素监督来训练,从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,实现与现实匹配的的图像退化过程。

Description

一种匹配自然降质条件的单图像超分辨率分析方法
技术领域
本发明涉及图像处理技术领域,具体为一种匹配自然降质条件的单图像超分辨率分析方法。
背景技术
单图像超分辨率分析(SISR)的目标是从低分辨率(LR)观测图像恢复高分辨率(HR)图像。单图像超分辨率问题是基本的低级视觉和图像处理问题,在卫星成像,医学成像,天文学,显微镜成像,地震学,遥感,监视,生物识别,图像压缩等方面具有各种实际应用。近来,由于深层CNN具有强大的功能表示能力,许多作品都解决了单图超分辨率分析的任务。2017年Lim等提出了一种利用残差学习的增强型深度超分辨率分析网络(EDSR)。2018年Wang等人提出了增强超分辨率分析生成对抗网络模型(ESRGAN)来实现当时最先进的感知性能,该方法是通过HR/LR图像对在双三次下采样上进行训练的,因此在实际设置中的性能受到限制。2019年Fritsche等人提出了通过无监督的方式训练网络来学习退化机制,并且将增强超分辨率分析生成对抗网络修改为频率分离超分辨率分析(SR-FS),以进一步提高其在实际环境中的性能[3]。这些基于深度学习的单图像超分辨率分析方法从大量成对的低分辨率/高分辨率(LR/HR)训练数据中学习低分辨率输入与高分辨率输出之间的非线性映射。高分辨率图像采用现实拍摄的高分辨率图像,成对的低分辨率图像一般由高分辨率图像的双三次降采样退化操作所获得,使用已知的双三次降采样退化模型不能很好地归纳自然图像特征。所以,这种退化过程和实际的图像受损相比较时,诸如面对固有的传感器噪声、随机噪声、压缩伪影时,该图像退化过程与这些自然降质条件不匹配,导致超分辨率分析的性能受限,为此我们提出一种匹配自然降质条件的单图像超分辨率分析方法用于解决上述问题。
发明内容
本发明的目的在于提供一种匹配自然降质条件的单图像超分辨率分析方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种匹配自然降质条件的单图像超分辨率分析方法,包括域学习网络和超分辨率分析学习网络,所述域学习网络包括生成器网络Gd和鉴别器网络Dx,所述超分辨率分析学习网络包括超分辨率分析网络GSR和鉴别器网络Dy,基于深度学习训练下的生成器网络Gd作为采样网络,以生成低分辨率图像,使得该低分辨率图像和自然降质的低分辨率源域图像x相匹配,即具有相同特征,并通过超分辨率分析网络GSR在生成对抗网络框架中通过使用生成的低分辨率
Figure BDA0002698956900000021
图像及其对应的高分辨率图像在干净的高分辨率目标域y中进行逐像素监督来训练,从而在学习从高分辨率图像y的双三次降采样图像z到源域图像x的映射,同时保留图像内容,从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,实现与现实匹配的的图像退化过程。
优选的一种实施案例,所述退化过程的模型如下:
Figure BDA0002698956900000022
其中,
Figure BDA0002698956900000023
是退化得到的低分辨率图像,
Figure BDA0002698956900000024
是下采样运算符,该运算符通过缩放因子s和加性高斯白噪声η将高分辨率图像
Figure BDA0002698956900000025
重新调整大小,其中加性高斯白噪声的标准偏差为σ,N×N是图像中的像素总数。
优选的一种实施案例,所述退化过程的模型为训练过程,反之,应用过程中,Y是观测到的降质的低分辨率图像,以观测的低分辨率图像Y恢复高分辨率图像X使用结合观测和先验信息的变分方法,其相应的损失函数如下:
Figure BDA0002698956900000031
其中,其中
Figure BDA0002698956900000032
是数据保真度项,用于衡量解与观测值的接近度,RW(X)是与图像先验信息相关联的正则化项,并且是权衡参数,控制数据保真度和正则化条件之间的折衷。
优选的一种实施案例,所述正则化项所使用的正则化器一般形式如下:
Figure BDA0002698956900000033
其中,L对应于一阶或更高阶微分线性算子,而ρ(·)表示作用于滤波输出的诸如lp向量或矩阵范数的势函数,将正则化器RW(X)植入深度卷积神经网络之中,其参数以W表示,即可获得强大的图像先验能力。
优选的一种实施案例,所述最小化能量损失函数采用适当的优化策略来找到W,最小化基于能量的损失函数,其方法步骤如下:
1)通过最小化方法恢复高分辨率图像X:
Figure BDA0002698956900000035
通过引用方程式(2)和(3),将其写成:
Figure BDA0002698956900000036
2)需要限制图像强度,自然图像中的值要求为非负值,因此(5)须要以约束优化形式重写:
Figure BDA0002698956900000037
并通过近似梯度法求解公式(6),以处理无法完全微分的函数的优化,将其分为平滑部分和非平滑部分,将公式(6)改写为:
Figure BDA0002698956900000041
其中,ιc是凸集
Figure BDA0002698956900000042
上的指标函数,可训练的投影层为指标函数计算的近端映射:
Figure BDA0002698956900000043
其中
Figure BDA0002698956900000044
是参数化阈值,其中α是可训练的参数,σ是噪声水平,C×H×W是图像中的像素总数;
3)通过更新规则对(7)中问题进行能够迭代解决方案:
Figure BDA0002698956900000045
其中,γt是步长,
Figure BDA0002698956900000046
是与指标函数ιc相关的近端算子,其定义为:
Figure BDA0002698956900000047
F(X)的梯度计算如下:
Figure BDA0002698956900000048
其中φk(·)是势函数ρk(·)的梯度;
4)通过结合等式(8),(9)和(10),最终形式为:
Figure BDA0002698956900000049
公式(11)是在起点Y和X(0)=0处执行一个近端梯度下降推断步骤,其公式为:
Figure BDA00026989569000000410
其中α=λγ对应于投影层可训练参数,Lk T是Lk的伴随滤波器,而HT表示按比例放大操作
优选的一种实施案例,步骤4)中,所述公式(12)还用于设计生成器网路Gd,其中φk(·)对应应用于卷积特征映射的参数化整流线性单位(PReLU)。
优选的一种实施案例,所述生成器网络Gd采用损失函数进行训练,从而从源域x学习域分布层面的图像降质,生成对抗网络框架下,训练生成器网络Gd的损失函数如下:
Figure BDA0002698956900000051
其中,Lcolor表示色彩损失,Ltex表示纹理损失,Lper表示感知损失。
优选的一种实施案例,所述超分辨率分析网络GSR网络具有以下损失函数:
Figure BDA0002698956900000052
其中,感知损失Lper关注于输出图像的感知质量,将其定义为:
Figure BDA0002698956900000053
其中,φ是从预训练的网络中提取的特征;
纹理损失LGAN关注于输出图像的高频部分,将其定义为:
Figure BDA0002698956900000054
其中,Ey
Figure BDA0002698956900000055
分别代表对小图像块中所有真实y和生成的
Figure BDA0002698956900000056
数据取平均值的操作,则真实高分辨率和重构高分辨率图像块的相对生成对抗网络得分可以定义为:
Figure BDA0002698956900000057
其中,C是原始鉴别器输出,并且是S型(sigmoid)函数;
内容损失L1定义为:
Figure BDA0002698956900000058
其中N是小图像块的大小;
全变分损失Ltv:关注于使梯度差异最小化并在输出图像中产生清晰度,其定义为;
Figure BDA0002698956900000061
其中,
Figure BDA0002698956900000062
Figure BDA0002698956900000063
表示图像的水平和垂直渐变。
优选的一种实施案例,所述鉴别器网络Dx由三层卷积网络组成,它们在图像块级别运行,所述卷积层(Conv)具有64~256个支持5×5的特征映射内核,最后一个卷积层将256映射为1,其余每个卷积层之后都应用了归一化模块(BN)和Leak激活函数(LReLU)。
优选的一种实施案例,所述鉴别器网络Dy经过训练可以从生成的伪超分辨率分析图像中区分出真实的HR图像,原始的鉴别器网络包含10个卷积层,支持3x3和4x4特征映射的内核数量为512,其后连接归一化模块(BN)和Leak激活函数。
与现有技术相比,本发明的有益效果是:通过一个深层的超高分辨率残差卷积生成对抗网络,通过从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,从而实现与现实匹配的的图像退化过程;该方法可用于提高此类现实环境中的图像质量,严格遵循图像观察(物理)模型,即匹配自然降质图像的超分辨率分析学习方法,以克服现实世界中超分辨率的挑战,使用了图像正则化和解决逆问题的大规模优化技术,在合成和自然降质图像的多个数据集上评估本方法,结果表明我们提出的方法在现实世界的自然降质条件下,优于其他方法。
附图说明
图1为本发明结构示意图;
图2为本发明中超分辨率分析网络GSR结构示意图;
图3为本发明图鉴别器网络Dy结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,本发明提供一种技术方案:一种匹配自然降质条件的单图像超分辨率分析方法,包括域学习网络和超分辨率分析学习网络,域学习网络包括生成器网络Gd和鉴别器网络Dx,超分辨率分析学习网络包括超分辨率分析网络GSR和鉴别器网络Dy,由于没有成对的(低分辨率/高分辨率)数据,首先基于深度学习训练下的生成器网络Gd作为采样网络,以生成低分辨率图像,使得该低分辨率图像和自然降质的低分辨率源域图像x相匹配,即具有相同特征,并通过超分辨率分析网络GSR在生成对抗网络框架中通过使用生成的低分辨率
Figure BDA0002698956900000071
图像及其对应的高分辨率图像在干净的高分辨率目标域y中进行逐像素监督来训练,从而在学习从高分辨率图像y的双三次降采样图像z到源域图像x的映射,同时保留图像内容,从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,实现与现实匹配的的图像退化过程。
从大量成对的低分辨率/高分辨率(LR/HR)训练数据中学习低分辨率输入与高分辨率输出之间的非线性映射,高分辨率图像采用现实拍摄的高分辨率图像,成对的低分辨率图像一般由高分辨率图像通过退化操作所获得,退化过程的模型如下:
Figure BDA0002698956900000072
其中,
Figure BDA0002698956900000073
是退化得到的低分辨率图像,
Figure BDA0002698956900000074
是下采样运算符,该运算符通过缩放因子s和加性高斯白噪声η将高分辨率图像
Figure BDA0002698956900000081
重新调整大小,其中加性高斯白噪声的标准偏差为σ,N×N是图像中的像素总数。
进一步的,退化过程的模型为训练过程,反之,应用过程中,Y是观测到的降质的低分辨率图像,以观测的低分辨率图像Y恢复高分辨率图像X使用结合观测和先验信息的变分方法,其相应的损失函数如下:
Figure BDA0002698956900000082
其中,其中
Figure BDA0002698956900000083
是数据保真度项,用于衡量解与观测值的接近度,RW(X)是与图像先验信息相关联的正则化项,并且是权衡参数,控制数据保真度和正则化条件之间的折衷。
进一步的,正则化项所使用的正则化器一般形式如下:
Figure BDA0002698956900000084
其中,L对应于一阶或更高阶微分线性算子,而ρ(·)表示作用于滤波输出的诸如lp向量或矩阵范数的势函数,将正则化器RW(X)植入深度卷积神经网络之中,其参数以W表示,即可获得强大的图像先验能力。
进一步的,除了适当制定损失函数和正则化函数外,本方法所使用变分方法还需获得所需解的最小化策略,派生的解可以描述为惩罚最大似然估计或最大后验概率(MAP)估计,最小化能量损失函数采用适当的优化策略来找到W,最小化基于能量的损失函数,其方法步骤如下:
1)通过最小化方法恢复高分辨率图像X:
Figure BDA0002698956900000086
通过引用方程式(2)和(3),将其写成:
Figure BDA0002698956900000091
2)需要限制图像强度,自然图像中的值要求为非负值,因此(5)须要以约束优化形式重写:
Figure BDA0002698956900000092
并通过近似梯度法求解公式(6),以处理无法完全微分的函数的优化,将其分为平滑部分和非平滑部分,将公式(6)改写为:
Figure BDA0002698956900000093
其中,ιc是凸集
Figure BDA0002698956900000094
上的指标函数,可训练的投影层为指标函数计算的近端映射:
Figure BDA0002698956900000095
其中
Figure BDA0002698956900000096
是参数化阈值,其中α是可训练的参数,σ是噪声水平,C×H×W是图像中的像素总数;
3)通过更新规则对(7)中问题进行能够迭代解决方案:
Figure BDA0002698956900000097
其中,γt是步长,
Figure BDA0002698956900000098
是与指标函数ιc相关的近端算子,其定义为:
Figure BDA0002698956900000099
F(X)的梯度计算如下:
Figure BDA00026989569000000910
其中φk(·)是势函数ρk(·)的梯度;
4)通过结合等式(8),(9)和(10),最终形式为:
Figure BDA00026989569000000911
公式(11)是在起点Y和X(0)=0处执行一个近端梯度下降推断步骤,其公式为:
Figure BDA0002698956900000101
其中α=λγ对应于投影层可训练参数,Lk T是Lk的伴随滤波器,而HT表示按比例放大操作
步骤4)中,公式(12)还用于设计生成器网路Gd,其中φk(·)对应应用于卷积特征映射的参数化整流线性单位(PReLU)。
进一步的,等式(12)中的大多数参数来自等式(2)的前项,这导致建议的生成器网络将其大部分参数表示为图像先验信息,为了学习正则化参数的有效权重,权重设定为零均值和固定比例约束,为了从源域x学习域分布层面的图像降质,生成器网络Gd采用损失函数进行训练,在生成对抗网络框架下,训练生成器网络Gd的损失函数如下:
Figure BDA0002698956900000102
其中,Lcolor表示色彩损失,Ltex表示纹理损失,Lper表示感知损失。
进一步的,生成器网络Gd由8个残差模块(两个卷积层和他们之间的PReLU激活组件)组成,它们夹在两个卷积层(Conv)之间。所有的卷积层(Conv)都有具有64个支持3×3的特征映射内核,同时将S形(sigmoid)非线性函数应用于Gd网络的输出。
鉴别器网络Dx由三层卷积网络组成,它们在图像块级别运行,卷积层(Conv)具有64~256个支持5×5的特征映射内核,最后一个卷积层将256映射为1,其余每个卷积层之后都应用了归一化模块(BN)和Leak激活函数(LReLU)。
使用512x512的图像块训练Gd网络,并对其进行二次降采样,随机裁剪源域图像(x)至128x128尺寸,具体的,使用参数为β1=0.5,β2=0.999,ε=10-8的Adam优化器训练网络。
超分辨率分析网络GSR网络具有以下损失函数:
Figure BDA0002698956900000111
其中,感知损失Lper关注于输出图像的感知质量,将其定义为:
Figure BDA0002698956900000112
其中,φ是从预训练的网络中提取的特征;
纹理损失LGAN关注于输出图像的高频部分,将其定义为:
Figure BDA0002698956900000113
其中,Ey
Figure BDA0002698956900000114
分别代表对小图像块中所有真实y和生成的
Figure BDA0002698956900000115
数据取平均值的操作,则真实高分辨率和重构高分辨率图像块的相对生成对抗网络得分可以定义为:
Figure BDA0002698956900000116
其中,C是原始鉴别器输出,并且是S型(sigmoid)函数;
内容损失L1定义为:
Figure BDA0002698956900000117
其中N是小图像块的大小;
全变分损失Ltv:关注于使梯度差异最小化并在输出图像中产生清晰度,其定义为;
Figure BDA0002698956900000118
其中,
Figure BDA0002698956900000119
Figure BDA00026989569000001110
表示图像的水平和垂直渐变。
进一步的,超分辨率分析网络GSR的架构,编码器层(Lk滤波器)和解码器层(即Lk T滤波器)都有64个支持5×5的特征映射内核,具有C×H×W张量,其中C是输入图像的通道数,在编码器内部,LR图像Y由带有升采样层的双线性核进行升采样(相当于HTY操作),其中选用随机升采样内核,残差网络(Resnet)由5个残差模块和2个预激活卷积层组成,均有64个支持3×3的特征映射内核,预激活(φk(·))是指支持64个功能通道的参数化整流线性单位(PReLU),解码器内部的可训练投影层(Proj,即近端算子PC),使用估计的噪声标准偏差σ计算近端映射,并处理数据保真度和先验项,此外,在训练期间,通过投影层(Proj)参数进行了微调,在夹在编码器和解码器之间的残差网络(Resnet)中实现噪声估计,从LR输入图像中减去解码器之后的估计残留图像,最后,剪裁层结合了我们对图像强度有效范围的先验知识,并强制重构图像的像素值至[0,255]区间,在所有卷积层之前使用反射填充,以确保在输入图像的边界处缓慢变化。
鉴别器网络Dy经过训练可以从生成的伪超分辨率分析图像中区分出真实的HR图像,原始的鉴别器网络包含10个卷积层,支持3x3和4x4特征映射的内核数量为512,其后连接归一化模块(BN)和Leak激活函数。
进一步的,在训练时,将输入的LR图像块大小设置为32x32,使用参数为β1=0.9,β2=0.999,ε=10-8的Adam优化器网络进行51000次迭代训练,一次训练选区的样本数为16,发生器和鉴别器的权重均不减小以最小化公式(14)中的损失函数,学习率最初设置为10-4,然后在5K,10K,20K和30K次迭代后乘以0.5,从输入的LR图像估计投影层参数σ,在从αmax=2到αmin=1的对数刻度值上初始化投影层参数α,然后在训练过程中通过反向传播进一步微调。
进一步的,应用本发明方法进行实际测试应用,具体如下:
使用因未知降质而损坏的源域数据(X:2650张损坏的HR图像),未知降质可能是传感器噪声、压缩伪像等,使用目标域数据(Y:800张清晰的HR图像),使用这些数据通过随机的垂直和水平翻转以及90旋转来扩充的训练数据,在峰值信噪比(PSNR),结构相似度(SSIM)和学习知觉图像补丁相似度(LPIPS)指标下评估训练的模型。PSNR和SSIM是基于失真的度量,与基于实际感知的相似性的关联性较差,而LPIPS与基于失真的度量相比,与人类感知的关联性更好,将本发明的方法与其他最先进的超分辨率分析方法进行了比较,包括增强型深层超分辨率网络(EDSR),增强型超分辨率生成对抗网络(ESRGAN)和频率分离超分辨率分析(SR-FS),其结果如下表所示,
对比结果
Figure BDA0002698956900000131
结果显示了本发明的方法在所选用数据集上的定量结果比较,分别在合成降质条件(σ=8传感器噪声和质量quality=30的JPEG压缩)和自然降质条件下进行测试。与其他方法相比,我们的方法在PSNR和SSIM指标上的性能均优于其他方法。而在LPIPS指标上,虽然在合成降质条件下不如SR-FS,但是在现实世界的自然降质条件下,优于其他方法。
综上所述,本发明通过一个深层的超高分辨率残差卷积生成对抗网络,通过从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,从而实现与现实匹配的的图像退化过程,该方法可用于提高此类现实环境中的图像质量,严格遵循图像观察(物理)模型,即匹配自然降质图像的超分辨率分析学习方法,以克服现实世界中超分辨率的挑战,使用了图像正则化和解决逆问题的大规模优化技术,在合成和自然降质图像的多个数据集上评估本方法,结果表明我们提出的方法在现实世界的自然降质条件下,优于其他方法。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种匹配自然降质条件的单图像超分辨率分析方法,包括域学习网络和超分辨率分析学习网络,其特征在于:所述域学习网络包括生成器网络Gd和鉴别器网络Dx,所述超分辨率分析学习网络包括超分辨率分析网络GSR和鉴别器网络Dy,基于深度学习训练下的生成器网络Gd作为采样网络,以生成低分辨率图像,使得该低分辨率图像和自然降质的低分辨率源域图像x相匹配,即具有相同特征,并通过超分辨率分析网络GSR在生成对抗网络框架中通过使用生成的低分辨率
Figure FDA0002698956890000011
图像及其对应的高分辨率图像在干净的高分辨率目标域y中进行逐像素监督来训练,从而在学习从高分辨率图像y的双三次降采样图像z到源域图像x的映射,同时保留图像内容,从生成的低分辨率对图像块在高分辨率域中,通过最小化能量损失函数进行残差学习,用像素级监督进行对抗训练,实现与现实匹配的的图像退化过程。
2.根据权利要求1所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述退化过程的模型如下:
Figure FDA0002698956890000012
其中,
Figure FDA0002698956890000013
是退化得到的低分辨率图像,
Figure FDA0002698956890000014
是下采样运算符,该运算符通过缩放因子s和加性高斯白噪声η将高分辨率图像
Figure FDA0002698956890000015
重新调整大小,其中加性高斯白噪声的标准偏差为σ,N×N是图像中的像素总数。
3.根据权利要求2所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述退化过程的模型为训练过程,反之,应用过程中,Y是观测到的降质的低分辨率图像,以观测的低分辨率图像Y恢复高分辨率图像X使用结合观测和先验信息的变分方法,其相应的损失函数如下:
Figure FDA0002698956890000021
其中,其中
Figure FDA0002698956890000022
是数据保真度项,用于衡量解与观测值的接近度,RW(X)是与图像先验信息相关联的正则化项,并且是权衡参数,控制数据保真度和正则化条件之间的折衷。
4.根据权利要求3所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述正则化项所使用的正则化器一般形式如下:
Figure FDA0002698956890000023
其中,L对应于一阶或更高阶微分线性算子,而ρ(·)表示作用于滤波输出的诸如lp向量或矩阵范数的势函数,将正则化器RW(X)植入深度卷积神经网络之中,其参数以W表示,即可获得强大的图像先验能力。
5.根据权利要求1所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述最小化能量损失函数采用适当的优化策略来找到W,最小化基于能量的损失函数,其方法步骤如下:
1)通过最小化方法恢复高分辨率图像X:
Figure FDA0002698956890000024
通过引用方程式(2)和(3),将其写成:
Figure FDA0002698956890000025
2)需要限制图像强度,自然图像中的值要求为非负值,因此(5)须要以约束优化形式重写:
Figure FDA0002698956890000026
并通过近似梯度法求解公式(6),以处理无法完全微分的函数的优化,将其分为平滑部分和非平滑部分,将公式(6)改写为:
Figure FDA0002698956890000031
其中,ιc是凸集
Figure FDA0002698956890000032
上的指标函数,可训练的投影层为指标函数计算的近端映射:
Figure FDA0002698956890000033
其中
Figure FDA0002698956890000034
是参数化阈值,其中α是可训练的参数,σ是噪声水平,C×H×W是图像中的像素总数;
3)通过更新规则对(7)中问题进行能够迭代解决方案:
Figure FDA0002698956890000035
其中,γt是步长,
Figure FDA0002698956890000036
是与指标函数ιc相关的近端算子,其定义为:
Figure FDA0002698956890000037
F(X)的梯度计算如下:
Figure FDA0002698956890000038
其中φk(·)是势函数ρk(·)的梯度;
4)通过结合等式(8),(9)和(10),最终形式为:
Figure FDA0002698956890000039
公式(11)是在起点Y和X(0)=0处执行一个近端梯度下降推断步骤,其公式为:
Figure FDA00026989568900000310
其中α=λγ对应于投影层可训练参数,Lk T是Lk的伴随滤波器,而HT表示按比例放大操作。
6.根据权利要求5所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:步骤4)中,所述公式(12)还用于设计生成器网路Gd,其中φk(·)对应应用于卷积特征映射的参数化整流线性单位(PReLU)。
7.根据权利要求6所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述生成器网络Gd采用损失函数进行训练,从而从源域x学习域分布层面的图像降质,生成对抗网络框架下,训练生成器网络Gd的损失函数如下:
Figure FDA0002698956890000048
其中,Lcolor表示色彩损失,Ltex表示纹理损失,Lper表示感知损失。
8.根据权利要求1所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述超分辨率分析网络GSR网络具有以下损失函数:
Figure FDA0002698956890000041
其中,感知损失Lper关注于输出图像的感知质量,将其定义为:
Figure FDA0002698956890000042
其中,φ是从预训练的网络中提取的特征;
纹理损失LGAN关注于输出图像的高频部分,将其定义为:
Figure FDA0002698956890000043
其中,Ey
Figure FDA0002698956890000044
分别代表对小图像块中所有真实y和生成的
Figure FDA0002698956890000045
数据取平均值的操作,则真实高分辨率和重构高分辨率图像块的相对生成对抗网络得分可以定义为:
Figure FDA0002698956890000046
其中,C是原始鉴别器输出,并且是S型(sigmoid)函数;
内容损失L1定义为:
Figure FDA0002698956890000047
其中N是小图像块的大小;
全变分损失Ltv:关注于使梯度差异最小化并在输出图像中产生清晰度,其定义为;
Figure FDA0002698956890000051
其中,
Figure FDA0002698956890000052
Figure FDA0002698956890000053
表示图像的水平和垂直渐变。
9.根据权利要求1所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述鉴别器网络Dx由三层卷积网络组成,它们在图像块级别运行,所述卷积层(Conv)具有64~256个支持5×5的特征映射内核,最后一个卷积层将256映射为1,其余每个卷积层之后都应用了归一化模块(BN)和Leak激活函数(LReLU)。
10.根据权利要求1所述的一种匹配自然降质条件的单图像超分辨率分析方法,其特征在于:所述鉴别器网络Dy经过训练可以从生成的伪超分辨率分析图像中区分出真实的HR图像,原始的鉴别器网络包含10个卷积层,支持3x3和4x4特征映射的内核数量为512,其后连接归一化模块(BN)和Leak激活函数。
CN202011015611.5A 2020-09-24 2020-09-24 一种匹配自然降质条件的单图像超分辨率分析方法 Pending CN112163998A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011015611.5A CN112163998A (zh) 2020-09-24 2020-09-24 一种匹配自然降质条件的单图像超分辨率分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011015611.5A CN112163998A (zh) 2020-09-24 2020-09-24 一种匹配自然降质条件的单图像超分辨率分析方法

Publications (1)

Publication Number Publication Date
CN112163998A true CN112163998A (zh) 2021-01-01

Family

ID=73863824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011015611.5A Pending CN112163998A (zh) 2020-09-24 2020-09-24 一种匹配自然降质条件的单图像超分辨率分析方法

Country Status (1)

Country Link
CN (1) CN112163998A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113435334A (zh) * 2021-06-28 2021-09-24 中国科学院上海微系统与信息技术研究所 一种基于深度学习的小目标人脸识别方法
CN113487476A (zh) * 2021-05-21 2021-10-08 中国科学院自动化研究所 在线更新的图像盲超分辨率重建方法和装置
CN113763247A (zh) * 2021-09-09 2021-12-07 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528595A (zh) * 2016-02-01 2016-04-27 成都通甲优博科技有限责任公司 在无人机航拍图像中对输电线路绝缘子的识别定位方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UMER, RAO MUHAMMAD;: "Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW 2020), pages 1769 - 1777 *
丁明航;邓然然;邵恒;: "基于注意力生成对抗网络的图像超分辨率重建方法", 计算机系统应用, no. 02 *
史振威;雷森;: "图像超分辨重建算法综述", 数据采集与处理, no. 01 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487476A (zh) * 2021-05-21 2021-10-08 中国科学院自动化研究所 在线更新的图像盲超分辨率重建方法和装置
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113284046B (zh) * 2021-05-26 2023-04-07 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113435334A (zh) * 2021-06-28 2021-09-24 中国科学院上海微系统与信息技术研究所 一种基于深度学习的小目标人脸识别方法
CN113435334B (zh) * 2021-06-28 2024-02-27 中国科学院上海微系统与信息技术研究所 一种基于深度学习的小目标人脸识别方法
CN113763247A (zh) * 2021-09-09 2021-12-07 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法及系统
CN113763247B (zh) * 2021-09-09 2023-12-05 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
Ye et al. CSformer: Bridging convolution and transformer for compressive sensing
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
Lin et al. Image super-resolution using a dilated convolutional neural network
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN105960657B (zh) 使用卷积神经网络的面部超分辨率
Gajjar et al. New learning based super-resolution: use of DWT and IGMRF prior
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN110533620A (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN110443768A (zh) 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法
CN112507997A (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
Wali et al. Recent progress in digital image restoration techniques: A review
CN101976435A (zh) 基于对偶约束的联合学习超分辨方法
CN102982520B (zh) 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN103020898B (zh) 序列虹膜图像超分辨率重建方法
CN110490796B (zh) 一种高低频成分融合的人脸超分辨率处理方法及系统
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN106097253A (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
Li et al. A maximum a posteriori estimation framework for robust high dynamic range video synthesis
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
Iwasokun et al. Image enhancement methods: a review
CN108830791A (zh) 基于自身样例和稀疏表示的图像超分辨率方法
CN115457265A (zh) 基于生成对抗网络和多尺度融合的图像去雾方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101