[go: up one dir, main page]

CN111353940B - 一种基于深度学习迭代上下采样的图像超分辨率重建方法 - Google Patents

一种基于深度学习迭代上下采样的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111353940B
CN111353940B CN202010245716.3A CN202010245716A CN111353940B CN 111353940 B CN111353940 B CN 111353940B CN 202010245716 A CN202010245716 A CN 202010245716A CN 111353940 B CN111353940 B CN 111353940B
Authority
CN
China
Prior art keywords
resolution
low
feature map
image
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010245716.3A
Other languages
English (en)
Other versions
CN111353940A (zh
Inventor
胡靖�
李欣妍
吴锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010245716.3A priority Critical patent/CN111353940B/zh
Publication of CN111353940A publication Critical patent/CN111353940A/zh
Application granted granted Critical
Publication of CN111353940B publication Critical patent/CN111353940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习迭代上‑下采样的图像超分辨率重建方法，方法包括：准备原始高分辨率图像，对原始高分辨率图像进行双三次插值得到低分辨率图像，将低分辨图像输入到构建好的神经网络中，先提取低分辨率图像特征，然后通过多个反向投影层的上‑下采样模块逐层提取高分辨率图像特征，以能够更多的挖掘低分辨率图像和高分辨率图像之间的相互依赖关系，神经网络中的卷积均采用空洞卷积来增加感受野，提升网络对特征信息的敏感性，并引入稠密连接减少经过中间层传递导致信息的丢失，能够更好的利用低层特征信息，提高了图像重建的性能。

Description

一种基于深度学习迭代上下采样的图像超分辨率重建方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度学习迭代上下采样的图像超分辨率重建方法。
背景技术
图像超分辨率重建的应用领域及其宽广，在军事、医学、公共安全和计算机视觉等方面都存在着重要的应用前景。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。
超分辨率图像重建(Super resolution image reconstruction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术。高分辨率图像像素密度高，可获取细节多，在实际应用中不可或缺。图像超分辨率重建技术可以提高图像的识别能力和识别精度；可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。
图像超分辨率重建的方法有很多种，基本上可分为基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。
基于插值的方法将每一张图像都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。
基于重构的方法则是从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。但这种方法对图像自身的先验信息利用的不充分。这些方法大多利用图像的边缘性、局部平滑性等一些先验知识来构成约束条件，然后通过迭代算法来求解优化问题，但是重建出来的图像往往会过于平滑，缺少锐化性。
基于浅层学习的方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。建立浅层学习模型有效地提升了图像超分辨率重建的精度，并有着实时的速度。虽然相对于之前的传统方法，基于浅层学习的传统图像超分辨率算法有了很大的改进，比如更加锐化，但是由于该方法所提取的特征都是人工设计的，无法表达高层次的特征，因此放大倍数较大的超分辨率任务仍然很难应用于该方法上。
发明内容
针对现有技术之不足，一种基于深度学习迭代上下采样的图像超分辨率重建方法，所述重建方法包括：
步骤1：采集原始高分辨率图像；
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像；
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层，重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层；
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块的得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层；
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像；
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值。损失值通过逐像素计算预测高分辨率图像和原始图像之差的绝对值得到。
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5；
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。
根据一种优选的实施方式，所述方法还包括：
上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure BDA0002433929360000031
再将所述高分辨率特征图
Figure BDA0002433929360000032
进行空洞卷积得到一个低分辨率特征图
Figure BDA0002433929360000033
接着将所述低分辨率特征图
Figure BDA0002433929360000034
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure BDA0002433929360000035
将高分辨率特征图
Figure BDA0002433929360000036
和高分辨率特征图
Figure BDA0002433929360000037
相加得到最终的高分辨率特征图Ht。
根据一种优选的实施方式，所述方法还包括：
下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure BDA0002433929360000038
再将低分辨率特征图
Figure BDA0002433929360000039
进行反卷积得到一个高分辨率特征图
Figure BDA00024339293600000310
接着将所述高分辨率特征图
Figure BDA00024339293600000311
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure BDA00024339293600000312
将低分辨率特征图
Figure BDA00024339293600000313
和低分辨率特征图
Figure BDA00024339293600000314
相加得到最终的低分辨率特征图Lt。
根据一种优选的实施方式，所述重建方法还包括自校正模型，所述自校正模型的方法包括：
将在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中，在下采样模块中经过上述同样的操作得到的下投影残差值，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过重构卷积层得到最终的预测高分辨率图像。
根据一种优选的实施方式，所述方法还包括稠密连接模块，稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作，将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作。与现有技术相比，本发明的有益效果在于：
1、本申请的方法是基于深度学习的方法，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使重建过程更加容易。与浅层学习方法需要人工规则构造特征相比，深度学习方法利用大量数据来学习特征，更能够刻画特征的丰富内在信息。
2、本发明的技术方案的基于深度学习迭代上-下采样学习，同时相互连接的上下采样模块，能够更多的挖掘低分辨率图像和高分辨率图像之间的相互依赖关系。
3、使用迭代的错误反馈机制，计算上下采样误差来重构图像以获得更好的重建结果。
4、加入空洞卷积网络提取图像的上下文信息，来增加感受野，提升网络对特征信息的敏感性，提高了图像重建的性能。
附图说明
图1是本发明重建方法的流程示意图；
图2是本发明神经网络的结构示意图；
图3是自校正模型的示意图；
图4(a)是上采样模块的流程示意图；
图4(b)是下采样模块的流程示意图；
图5是稠密连接模块的流程示意图；
图6是不同感受野的对比图；
图7是本发明技术方案和现有方法的超分辨率效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图进行详细说明。
本发明基于深度学习理论，构建了一个端到端的网络，该网络是基于迭代的上-下采样，加入空洞卷积网络提取图像中的上下文信息，将上-下采样中所有的卷积层都使用空洞卷积，即网络结构中层与层之间的联系和相互作用，来增加感受野，随着感受野的增大，输出的特征图上的像素点在原始图像上映射的区域大小也增大，从而能够提取到更为全局、语义层次更高的特征。提升网络对特征信息的敏感性的一种技术。
针对现有技术的不足，本发明提出一种基于深度学习迭代上下采样的图像超分辨率重建方法，如图1所示重建方法的示意图，包括：
步骤1：采集原始高分辨率图像；原始高分辨率图像的可以来自各种成像设备拍摄，如手机和高清相机，或者从网络收集高质量图片。
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像。特定尺度因子指：通常是指2、3、4等整数放大倍数。
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，神经网络的结构示意图如图2所示，现结合图2对重建预测高分辨率图像的步骤进行说明，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层。重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层。
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块的得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层。
本步骤通过如此反复堆叠相互连接的上-下采样模块来得到高分辨率图像和低分辨率图像之间的联系和相互作用信息；通过迭代的上-下采样模块来构建高分辨率图像和低分辨率图像的关系，使用迭代的错误反馈机制，即每个上-下采样模块的残差值输出到后续相邻的采样模块中，来调整神经网络参数，以获得更好的重建结果。
本发明提出了一种用于超分辨率的迭代纠错反馈机制，该机制不直接一次预测输出，而是使用一个自校正模型，通过反馈计算得到的上-下投影错误预测逐步改变初始解决方案，以指导最终获得更好的重建结果。
图3是自校正模型的示意图，如图3所示，在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中。在下采样模块中经过上述同样的操作得到的下投影残差值。这里的残差值用于指导后续的网络参数的更新。以此类推，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过卷积层得到最终的预测高分辨率图像。
图4(a)是上采样模块的流程示意图。如图4(a)所示，上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure BDA0002433929360000061
再将所述高分辨率特征图
Figure BDA0002433929360000062
进行空洞卷积得到一个低分辨率特征图
Figure BDA0002433929360000063
接着将所述低分辨率特征图
Figure BDA0002433929360000064
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure BDA0002433929360000065
将高分辨率特征图
Figure BDA0002433929360000066
和高分辨率特征图
Figure BDA0002433929360000067
相加得到最终的高分辨率特征图Ht。
图4(b)是下采样模块的流程示意图。如图4(b)所示，下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure BDA0002433929360000068
再将低分辨率特征图
Figure BDA0002433929360000071
进行反卷积得到一个高分辨率特征图
Figure BDA0002433929360000072
接着将所述高分辨率特征图
Figure BDA0002433929360000073
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure BDA0002433929360000074
将低分辨率特征图
Figure BDA0002433929360000075
和低分辨率特征图
Figure BDA0002433929360000076
相加得到最终的低分辨率特征图Lt。
将上-下采样模块交替进行，这些投影模块可以理解为一种自我校正过程，通过将残差值et投影误差反馈到下一个上采样模块或者下采样模块，并通过反馈投影误差来迭代地更改解决方案，即得到的残差值et实际上就是一个投影误差，被馈送到下一个卷积或反卷积中。
与如今大多数网络结构只能将低分辨率特征映射到高分辨率特征相比，这个方法能够更好挖掘高分辨率图像与低分辨率图像之间的联系和相互作用信息。同时神经网络可以在生成更深、更高特征的同时通过学习多种上下采样模块来保留HR细节。
同时在每个上-下采样模块利用稠密连接模块来鼓励特征重用以提升网络精度，如图5所示是稠密连接模块的流程示意图。这样神经网络中的每个上采样模块和下采样模块都可接触到其之前的所有上采样模块和下采样模块的输出，将低层特征信息直接输出到后续的每个高层汇总，减少经过中间层传递导致信息的丢失，能够更好的利用低层特征信息。
稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作。将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作。
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像。
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值。损失值通过逐像素计算预测高分辨率图像和原始图像之差的绝对值得到。
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5。
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。当loss值趋于平稳不再下降时便可结束训练。
通过本发明的重建方法，增加感受野，提升神经网络对特征信息的敏感性，提高了重建性能。感受野就是卷积神经网络的每一层输出的特征图上的像素点在原图像上映射的区域大小。
图6是是不同感受野的对比图。如图6所示，图a是普通的卷积，感受野是3*3相当于不加入空洞，dilation＝1，图b是空洞卷积，感受野是7*7，dilation＝2，图c是空洞卷积，感受野是15*15，dilation＝4。
可以观察到加入空洞卷积即是在卷积核填充0值，卷积核中除红色点所在位置外，其余位置的值都为0，使得感受野增大，输出的特征图上的像素点在原始图像上映射的区域大小也增大，从而能够提取到更为全局、语义层次更高的特征。
为了更直观的说明本发明重建方法的性能，将现有技术方案的重建结果和本发明的重建结果进行实验对比，如图7所示，是现有技术方案和本发明重建结果的对比图。其中，HR指原始高分辨率图像；LR指HR图像经过双三次差值算法下采样操作得到的低分辨率图像。Bicubic指双三次差值算法得到的高分辨率图像。
VDSR指：VDSR即Very Deep Super-Resolution，其最大的结果特点就是层数很多(20层)。采用残差学习，因此收敛速度快。
DRRN指：含有1个递归块和25个残差单元，深度为52层的网络结构。结合多路径模式的局部残差学习、全局残差学习和多权重的递归学习等多种学习方法来进行学习。
LapSRN指:由多级组成的分级网络，每一级完成一次2倍的上采样的多尺度模型。通过逐步上采样，一级一级预测残差的方式，在做高倍上采样时，也能得到中间低倍上采样结果的输出。由于尺寸是逐步放大，不是所有的操作都在大尺寸特征上进行，因此速度比较快。
EDSR指：即enhanced deep super-resolution network，去掉传统的剩余网络中不必要的模块(批量标准化(batch normalization,BN)层)的一种单幅图像超分辨率增强深度残差网络。
DBPN指：一种适用于单幅图像超分辨率的深度反投影网络：Deep Back-Projection Networks，利用多个上-下采样阶段增加SR特征，反馈网络中不同深度的错误预测来修改采样结果，然后积累每个上采样阶段的自纠正特征来创建SR图像。
DBPN-D指：在DBPN的基础上加入空洞卷积网络提取图像中的上下文信息，来增加感受野，从而能够提取到更为全局、语义层次更高的特征，得到比DBPN更好的SR效果的网络结构。
从图中可以看出DBPN和DBPN-D算法均有较好的重建效果，尤其是DBPN-D，与其他算法相比，重建出更多的图像细节特征和结构。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (3)

1.一种基于深度学习迭代上下采样的图像超分辨率重建方法，其特征在于，所述重建方法包括：
步骤1：采集原始高分辨率图像；
步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像，特定尺度因子是指2、3、4整数放大倍数；
步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层，重建方法的具体步骤包括：
步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层；
步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层；
所述重建方法还包括自校正模型，所述自校正模型的方法包括：
将在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中，在下采样模块中经过同样的操作得到的下投影残差值，以此类推，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过重构卷积层得到最终的预测高分辨率图像；
所述方法还包括稠密连接模块，稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作，将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作；
步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像；
步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值；
步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5；
步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述方法还包括：
上采样模块将低分辨率特征图Lt-1先进行反卷积得到高分辨率特征图
Figure FDA0002904558880000021
再将所述高分辨率特征图
Figure FDA0002904558880000022
进行空洞卷积得到一个低分辨率特征图
Figure FDA0002904558880000023
接着将所述低分辨率特征图
Figure FDA0002904558880000024
和低分辨率特征图Lt-1进行残差运算，把得到的残差值et进行反卷积生成高分辨率特征图
Figure FDA0002904558880000025
将高分辨率特征图
Figure FDA0002904558880000026
和高分辨率特征图
Figure FDA0002904558880000027
相加得到最终的高分辨率特征图Ht。
3.如权利要求2所述的图像超分辨率重建方法，其特征在于，所述方法还包括：
下采样模块将高分辨率特征图Ht先进行空洞卷积得到低分辨率特征图
Figure FDA0002904558880000028
再将低分辨率特征图
Figure FDA0002904558880000029
进行反卷积得到一个高分辨率特征图
Figure FDA00029045588800000210
接着将所述高分辨率特征图
Figure FDA00029045588800000211
和高分辨率特征图Ht进行残差运算，把得到的残差值et进行空洞卷积生成低分辨率特征图
Figure FDA00029045588800000212
将低分辨率特征图
Figure FDA00029045588800000213
和低分辨率特征图
Figure FDA00029045588800000214
相加得到最终的低分辨率特征图Lt。
CN202010245716.3A 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法 Active CN111353940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245716.3A CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245716.3A CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111353940A CN111353940A (zh) 2020-06-30
CN111353940B true CN111353940B (zh) 2021-04-02

Family

ID=71193135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245716.3A Active CN111353940B (zh) 2020-03-31 2020-03-31 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111353940B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815515B (zh) * 2020-07-01 2024-02-09 成都智学易数字科技有限公司 基于医学教育的对象三维绘制方法
US11908103B2 (en) * 2020-08-14 2024-02-20 Tencent America LLC Multi-scale-factor image super resolution with micro-structured masks
CN112070668B (zh) * 2020-08-18 2024-07-12 中科南京人工智能创新研究院 一种基于深度学习和边缘增强的图像超分辨方法
JP7580986B2 (ja) * 2020-09-10 2024-11-12 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム
CN112200724B (zh) * 2020-10-22 2023-04-07 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112258394B (zh) * 2020-11-11 2022-04-29 珠海大横琴科技发展有限公司 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN112669234A (zh) 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113066168B (zh) * 2021-04-08 2022-08-26 云南大学 一种多视图立体网络三维重建方法及系统
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113674151A (zh) * 2021-07-28 2021-11-19 南京航空航天大学 一种基于深度神经网络的图像超分辨率重建方法
CN113920013B (zh) * 2021-10-14 2023-06-16 中国科学院深圳先进技术研究院 一种基于超分辨率的小图像多目标检测方法
CN114170078A (zh) * 2021-11-18 2022-03-11 天讯瑞达通信技术有限公司 基于图神经网络的双目图像超分辨率方法及装置
CN115759202B (zh) * 2022-11-22 2023-11-28 江苏济远医疗科技有限公司 一种可变空洞卷积的稠密图像超分辨率方法
CN118799191B (zh) * 2024-09-12 2024-12-27 华东交通大学 基于偏振图像的零样本学习超分辨率重建方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101184323B1 (ko) * 2005-11-03 2012-09-19 삼성전자주식회사 소프트웨어 무선 기술을 지원하는 수신기를 위한 아날로그/디지털 변환 방법 및 장치
WO2012134598A2 (en) * 2011-04-01 2012-10-04 Ghannam Rima System for natural language understanding
CN105631807B (zh) * 2015-12-21 2018-11-16 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
US10609383B2 (en) * 2017-04-07 2020-03-31 Hulu, LLC Video compression using down-sampling patterns in two phases
CN110322400B (zh) * 2018-03-30 2021-04-27 京东方科技集团股份有限公司 图像处理方法及装置、图像处理系统及其训练方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN108765290A (zh) * 2018-05-29 2018-11-06 天津大学 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN109064396B (zh) * 2018-06-22 2023-04-07 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109146788B (zh) * 2018-08-16 2023-04-18 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109389667B (zh) * 2018-08-23 2023-07-18 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN109118432B (zh) * 2018-09-26 2022-09-13 福建帝视信息科技有限公司 一种基于快速循环卷积网络的图像超分辨率重建方法
CN109544451A (zh) * 2018-11-14 2019-03-29 武汉大学 一种基于渐进式迭代反投影的图像超分辨率重建方法和系统
CN109615582B (zh) * 2018-11-30 2023-09-01 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109741260B (zh) * 2018-12-29 2023-05-12 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109740688B (zh) * 2019-01-09 2023-04-18 广东工业大学 一种太赫兹图像信息解译方法、网络及存储介质
CN109919838B (zh) * 2019-01-17 2023-02-14 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN109978762B (zh) * 2019-02-27 2023-06-16 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110163801B (zh) * 2019-05-17 2021-07-20 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN110443867B (zh) * 2019-08-01 2022-06-10 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN110570353B (zh) * 2019-08-27 2023-05-12 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Also Published As

Publication number Publication date
CN111353940A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN111179167B (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
Zuo et al. Multi-scale frequency reconstruction for guided depth map super-resolution via deep residual network
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN111833277B (zh) 一种具有非配对多尺度混合编解码结构的海上图像去雾方法
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN112669214A (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN113763268B (zh) 人脸图像盲修复方法及系统
CN111340744A (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN118967449B (zh) 一种基于扩散模型的病理切片图像超分辨率方法
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN114663440A (zh) 一种基于深度学习的眼底图像病灶分割方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN114972024A (zh) 一种基于图表示学习的图像超分辨率重建装置及方法
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
CN112819716B (zh) 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
CN114708353B (zh) 图像重建方法、装置、电子设备与存储介质
Kang et al. Efficient swin transformer for remote sensing image super-resolution
CN110211059A (zh) 一种基于深度学习的图像重建方法
CN111382845B (zh) 一种基于自注意力机制的模板重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant