[go: up one dir, main page]

CN111028150A - 一种快速时空残差注意力视频超分辨率重建方法 - Google Patents

一种快速时空残差注意力视频超分辨率重建方法 Download PDF

Info

Publication number
CN111028150A
CN111028150A CN201911187313.1A CN201911187313A CN111028150A CN 111028150 A CN111028150 A CN 111028150A CN 201911187313 A CN201911187313 A CN 201911187313A CN 111028150 A CN111028150 A CN 111028150A
Authority
CN
China
Prior art keywords
resolution
video
fast
super
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911187313.1A
Other languages
English (en)
Other versions
CN111028150B (zh
Inventor
杜博
黎圣
张乐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911187313.1A priority Critical patent/CN111028150B/zh
Publication of CN111028150A publication Critical patent/CN111028150A/zh
Application granted granted Critical
Publication of CN111028150B publication Critical patent/CN111028150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分。本发明提出在高分辨率重建部分使用注意力机制，用于更好地复现高频信息。

Description

一种快速时空残差注意力视频超分辨率重建方法
技术领域
本发明涉及视频超分辨率重建领域技术，尤其涉及一种快速时空残差注意力视频超分辨率重建方法。
背景技术
视频超分辨率重建是一种将视频的连续低分辨率视频重建为其相应的高分辨率视频的技术。视频超分辨率重建技术在卫星成像、安防监控、以及视频传输优化有着极其重要的作用。
得益于深度学习在计算机视觉领域的快速发展，Dong等人首次利用基于深度学习的3层网络从单张低分辨率图像重建出其对应的超分辨率图像，大幅超越传统的插值重建方法[1]。自此开始越来越多的基于深度学习的超分辨率方法被发明出来。视频超分辨率可以简单地一帧一帧地使用图像超分重建方法进行超分，但这忽视了视频序列中帧间连续性带来的帧与帧之间的相关性和互补信息。因此，不同于图像超分辨率，如何高效利用视频的帧间连续帧带来的更多的信息往往被看作视频超分重建的一个关键。
为了提高视频超分辨率的重建效果，深度学习的视频超分辨率方法主要使用视频前后连续帧片段重建出其对应的一张高分辨率视频帧。
近年来，视频超分辨率基本上使用二维卷积网络学习低分辨率视频连续帧的特征，但是二维卷积不能直接作用于视频四维数据(帧序列、宽、高、色彩通道)，因此帧间融合技术往往被引入以用来融合多帧之间的信息。中国发明专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号CN105072373B，公开日为2018.03.27)采用双向循环卷积网络将前后相关联的帧信息用于辅助超分重建。Kappeler等人设计了基于深度卷积神经网络的视频超分辨率复原方法(Video super-resolution using convolutional neuralnetwork,VSRCNN)[5]，使用了堆叠的方式将前后关联帧图像与当前帧在颜色维度堆叠，然后放入网络进行训练以达到融合多帧信息的效果。在Caballero等人设计的具有时空网络和运动补偿的实时视频超分辨率方法(Video efficient sub-pixel convolutionalneural network，VESPCN)[6]以及Tao等人设计的深层细节的视频超分辨率方法(sub-pixel motion compensation Video Super-resolution，SPMC-VideoSR)[7]等都引入了运动估计来估算帧间信息，从而融合多帧信息。中国公开专利“一种基于深度学习的视频超分辨率重建方法”(公开号CN109102462A，公开日期2018.12.28)使用3D卷积构建了双向循环神经网络使用3D卷积进行时空特征融合。
尽管已有多种引入帧间信息融合的视频超分辨率复原方法，但是实际应用中，无论是运动估计还是原始的3D卷积都会消耗巨大的计算资源，这会导致重建时间过长，网络的深度不能变的更深，使其重建效果并不令人满意。本发明可以在一定程度上解决最后重建过程中丢失过多的高频信息问题。
本发明中涉及的参考文献如下：
[1]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image super-resolution,”in European Conference on ComputerVision,2014,pp.184–199.
[2]C.Ledig et al.,“Photo-realistic single image super-resolutionusing a generative adversarial network,”in CVPR,2017,vol.2,no.3,p.4.
[3]Y.Zhang,Y.Tian,Y.Kong,B.Zhong,and Y.Fu,“Residual dense network forimage super-resolution,”in CVPR,2018.
[4]Y.Huang,W.Wang,and L.Wang,“Bidirectional recurrent convolutionalnetworks for multi-frame super-resolution,”in Advances in Neural InformationProcessing Systems,2015,pp.235–243.
[5]A.Kappeler,S.Yoo,Q.Dai,and A.K.Katsaggelos,“Video super-resolutionwith convolutional neural networks,”IEEE Transactions on ComputationalImaging,vol.2,no.2,pp.109–122,2016.
[6]J.Caballero et al.,“Real-time video super-resolution with spatio-temporal networks and motion compensation,”in IEEE Conference on ComputerVision and Pattern Recognition(CVPR),2017.
[7]X.Tao,H.Gao,R.Liao,J.Wang,and J.Jia,“Detail-revealing deep videosuper-resolution,”in Proceedings of the IEEE International Conference onComputer Vision,Venice,Italy,2017,pp.22–29.
发明内容
为了解决上述技术问题，本发明提供了一种快速时空残差注意力视频超分辨率重建方法，通过将一个三维时空卷积拆分成两个三维时空分步卷积减少计算量，并有效结合不同层次的残差学习，不仅可以使得视频超分辨率重建的视频更加清晰，显著提高了视频显示的效果，同时也保证了较低的计算资源消耗，而且避免在最后重建过程中丢失过多的高频信息。
本发明采用的技术方案是一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；
视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；
所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分，所述高分辨率重建部分包括一个用于融合特征的3D卷积，之后分为高分辨率映射分支和注意力模块分支，最后两个分支相乘并使用一个卷积融合特征。
而且，所述低分辨率特征提取部分，包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取，输出结果F0。
而且，所述快速时空残差块部分，由若干个快速时空残差块组成，第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。
而且，高分辨率重建部分的输入为快速时空残差块部分的输出，高分辨率映射分支对快速时空残差块部分输出的融合结果
Figure BDA0002292692960000031
应用一个3D卷积，输出结果Fup，意力模块分支对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA；最后两个分支相乘并使用一个卷积融合特征，得到输出
Figure BDA0002292692960000032
而且，高分辨率残差学习部分中，引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果。
本发明采用以上技术方案，特点在于：第一，本发明提出使用三维卷积对低分辨率的视频进行特征提取，可以避免进行传统的光流法估计运动补偿，为了进一步减小计算资源的消耗，本发明提出快速时空残差块，使用连续的空间三维卷积和时间三维卷积替代时空三维卷积，这可以减少大量的计算消耗并能很好地学习到低分辨率视频的时空特征。第二，与最经典的基于深度学习的残差超分辨率网络相比，本发明提出在低分辨率上应用残差学习之外，将低分辨率视频直接映射到高分辨率空间以构建高分辨率空间的残差学习，这可以有效减缓视频重建部分的压力，极大地提高视频图像的重建效果。第三，增加了注意力上采样模块，这个模块可以很好地将网络注意力集中于高频信息，从而得到更好的恢复结果。
附图说明
图1是本发明实施例中快速时空残差注意力视频超分辨率重建方法的原理示意图；
图2是本发明实施例中快速时空残差块原理示意图；
图3是图1中的部分细节图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述。
如图1所示，本发明实施例公开了一种快速时空残差注意力视频超分辨率重建方法，其包括如下步骤：
步骤1：训练与测试数据准备：
采集连续镜头拍摄的N个视频，从中裁剪出5×sH×sW大小的视频块，即每个视频块取5帧，裁剪的高度为sH、宽度为sW；然后进行旋转(0°，90°，180°，270°)，即上下左右翻转，将得到的视频块的中间帧作为高分辨率视频HR，对得到的视频块进行下采样s倍得到5×H×W低分辨率视频块LR，高度为H、宽度为W，这些高低分辨率作为视频对(LR，HR)用于网络的训练和测试。取视频对的90％作为训练视频对，10％作为测试视频对。
具体实施时，缩放比例s可预先设定，优选采用正整数。
步骤2：设置网络结构：本发明所提出的网络模型将视频对中的LR作为输入，网络输出与HR相同大小的超分结果SR。网络主要包含四个部分：
(1)低分辨率特征提取部分：对输入的低分辨率视频LR(图中记为ILR)应用一个简单的3×3×3卷积核的3D卷积Conv和激活函数运算ReLU进行特征提取，输出结果F0，其计算公式是：
F0＝max(W1*LR+B1,0) (1)
其中W1和B1分别是本发明的第一层的卷积权值参数和偏置参数；
(2)快速时空残差块部分：如图2所示本部分由D个快速时空残差块组成。具体实施时，D的取值可根据需要设置。第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。每个残差块由一个3×3×1卷积核的3D卷积(即l×k×k Conv3d)和一个1×1×3卷积核的3D卷积(即k×k×l Conv3d)以及一个激活函数运算ReLU(即图2中PReLU)组成，假设残差块的输入为Fd，输出为Fd+1，其计算公式是：
Fd+1＝Hd(Fd)＝Fd+max(Wd2*(Wd1*Fd+Bd1)+Bd2,0) (2)
其中Hd()表示本发明快速时空残差块所代表的函数，Wd1和Bd1分别是本发明快速时空残差块的第一个3D卷积的卷积权值参数和偏置参数，其中Wd2和Bd2分别是本发明快速时空残差块的第二个3D卷积的卷积权值参数和偏置参数；
同时，本发明在这里引入低分辨率上的残差连接，将F0直接加到最后一个快速时空残差块结果上，因此快速时空残差块部分其计算公式是：
FD＝F0+HD(F0)＝F0+HD(HD-1(…(H2(H1(F0)))…)) (3)
其中，Hd()表示本发明快速时空残差块所代表的函数，d＝1,2,…D。
最后应用一个激活函数ReLU：
Figure BDA0002292692960000051
(3)高分辨率重建部分(AUM)，详见图3：此部分的输入为快速时空残差块部分的输出，首先使用一个3D卷积Conv融合特征：
Figure BDA0002292692960000052
其中，WP和BP分别是这个3D卷积的卷积权值参数和偏置参数。
然后分为高分辨率映射和注意力模块两部分。
参见图3中，分支Upsampling branch：高分辨率映射部分对快速时空残差块部分输出的融合结果
Figure BDA0002292692960000061
应用一个3×3×3卷积核的3D卷积，输出结果Fup，其计算公式是：
Figure BDA0002292692960000062
其中WL1和BL1分别是本发明高分辨率重建部分3×3×3卷积核的3D反卷积卷积权值参数和偏置参数。
参见图3中，分支Attention Mask branch：注意力模块部分对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA，其计算公式是：
Figure BDA0002292692960000063
其中
Figure BDA0002292692960000064
表示本发明快速时空残差块所代表的函数输出，
Figure BDA0002292692960000065
和
Figure BDA0002292692960000066
分别是本发明高分辨率重建部分注意力模块下采样卷积的卷积权值参数和偏置参数；
Figure BDA0002292692960000067
和
Figure BDA0002292692960000068
分别是本发明高分辨率重建部分注意力模块第k个上采样卷积的卷积权值参数和偏置参数，k＝1,2,…n。
最后以上两部分相乘并使用一个卷积融合特征，总的输出
Figure BDA0002292692960000069
可以表示为：
Figure BDA00022926929600000610
其中，WAUM和BAUM分别是最后一个卷积的卷积权值参数和偏置参数。
(4)高分辨率残差学习部分：由于低分辨率和高分辨率存在分辨率的区别，因此不能直接将低分辨率的视频加到高分辨率重建部分输出，本发明引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果，其计算公式是：
Figure BDA00022926929600000611
其中HS表示将低分视频LR映射到高分空间的映射函数，这可以是一个反卷积函数或者任意的插值函数，如最邻近插值、双三次插值等。
步骤3：训练：随机初始化各层的连接权值W和偏置b，使用学习速率r，可以取1e-4，采用欧氏距离计算网络输出SR和目标高分辨率帧HR之间的距离作为损失函数。
使用自适应矩估计优化器Adam优化网络参数，反复迭代直到网络输出误差达到预设精度或者训练次数达到预设的最大迭代次数，训练结束，保存网络结构和参数，得到训练好的神经网络模型。
步骤4：测试：将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出即为重建后的超分辨率视频帧，将得到的连续帧合成视频便是超分辨率视频。当重建的所有高分辨率视频帧与其对应的高分辨率视频帧比较时已经获得预先设定的重建效果时，则停止优化参数，否则重复步骤3直到获得预先设定的重建效果。
本发明以上流程可采用计算机软件技术实现自动运行流程。
为了验证本发明的有效性，采用了25个YUV格式的公开视频数据集进行4倍视频超分辨率重建训练。本发明得到的重建效果与一些现有技术进行比较，例如双三次插值法、SRCNN[1]、SRGAN[2]、RDN[3]、BRCN[4]、VESPCN[6]，本发明较现有技术相比取得了更高的PSNR和SSIM值，也得到了更高质量的重建视频图像。

Claims (5)

1.一种快速时空残差注意力视频超分辨率重建方法，其特征在于：通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；
视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；
所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分，所述高分辨率重建部分包括一个用于融合特征的3D卷积，之后分为高分辨率映射分支和注意力模块分支，最后两个分支相乘并使用一个卷积融合特征。
2.根据权利要求1所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述低分辨率特征提取部分，包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取，输出结果F0。
3.根据权利要求2所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述快速时空残差块部分，由若干个快速时空残差块组成，第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。
4.根据权利要求3所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率重建部分的输入为快速时空残差块部分的输出，高分辨率映射分支对快速时空残差块部分输出的融合结果
Figure FDA0002292692950000011
应用一个3D卷积，输出结果Fup，意力模块分支对快速时空残差块部分输出FD应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为FA；最后两个分支相乘并使用一个卷积融合特征，得到输出
Figure FDA0002292692950000012
5.根据权利要求4所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率残差学习部分中，引入一个映射函数，将低分视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果。
CN201911187313.1A 2019-11-28 2019-11-28 一种快速时空残差注意力视频超分辨率重建方法 Active CN111028150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911187313.1A CN111028150B (zh) 2019-11-28 2019-11-28 一种快速时空残差注意力视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911187313.1A CN111028150B (zh) 2019-11-28 2019-11-28 一种快速时空残差注意力视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111028150A true CN111028150A (zh) 2020-04-17
CN111028150B CN111028150B (zh) 2022-04-15

Family

ID=70202762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911187313.1A Active CN111028150B (zh) 2019-11-28 2019-11-28 一种快速时空残差注意力视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111028150B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667445A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于Attention多特征融合的图像压缩感知重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111932454A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 基于改进的二元闭环神经网络的logo图案重建方法
CN112070677A (zh) * 2020-09-18 2020-12-11 中国科学技术大学 基于时间切片的视频时空超分辨率增强方法
CN112329690A (zh) * 2020-11-16 2021-02-05 河北工业大学 基于时空残差网络和时序卷积网络的连续手语识别方法
CN112991181A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于反应扩散方程的图像超分辨率重建方法
CN113066022A (zh) * 2021-03-17 2021-07-02 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN113284068A (zh) * 2021-06-04 2021-08-20 中国科学院光电技术研究所 一种基于通道共享时空网络的自适应光学图像盲复原方法
CN113487481A (zh) * 2021-07-02 2021-10-08 河北工业大学 基于信息构建和多密集残差块的循环视频超分辨率方法
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113592746A (zh) * 2021-07-07 2021-11-02 电子科技大学 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN115638731A (zh) * 2022-09-07 2023-01-24 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
US20180293706A1 (en) * 2017-04-05 2018-10-11 Here Global B.V. Deep convolutional image up-sampling
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN110288529A (zh) * 2019-06-28 2019-09-27 闽江学院 一种基于递归局部合成网络的单幅图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293706A1 (en) * 2017-04-05 2018-10-11 Here Global B.V. Deep convolutional image up-sampling
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109949217A (zh) * 2017-12-20 2019-06-28 四川大学 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN110288529A (zh) * 2019-06-28 2019-09-27 闽江学院 一种基于递归局部合成网络的单幅图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHENG LI,ETC: "Fast Spatio-Temoral Residual Network for Video Super-Resolution", 《2019IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12236556B2 (en) 2020-04-23 2025-02-25 Boe Technology Group Co., Ltd. Video resolution enhancement method, storage medium, and electronic device
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
WO2021213340A1 (zh) * 2020-04-23 2021-10-28 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN111667445A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于Attention多特征融合的图像压缩感知重建方法
CN111681166B (zh) * 2020-06-02 2023-04-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111932454A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 基于改进的二元闭环神经网络的logo图案重建方法
CN111932454B (zh) * 2020-07-22 2022-05-27 杭州电子科技大学 基于改进的二元闭环神经网络的logo图案重建方法
CN112070677A (zh) * 2020-09-18 2020-12-11 中国科学技术大学 基于时间切片的视频时空超分辨率增强方法
CN112070677B (zh) * 2020-09-18 2024-04-02 中国科学技术大学 基于时间切片的视频时空超分辨率增强方法
CN112329690A (zh) * 2020-11-16 2021-02-05 河北工业大学 基于时空残差网络和时序卷积网络的连续手语识别方法
CN113066022A (zh) * 2021-03-17 2021-07-02 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN113066022B (zh) * 2021-03-17 2022-08-16 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN112991181A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于反应扩散方程的图像超分辨率重建方法
CN113284068A (zh) * 2021-06-04 2021-08-20 中国科学院光电技术研究所 一种基于通道共享时空网络的自适应光学图像盲复原方法
CN113487481B (zh) * 2021-07-02 2022-04-12 河北工业大学 基于信息构建和多密集残差块的循环视频超分辨率方法
CN113487481A (zh) * 2021-07-02 2021-10-08 河北工业大学 基于信息构建和多密集残差块的循环视频超分辨率方法
CN113592746B (zh) * 2021-07-07 2023-04-18 电子科技大学 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN113592746A (zh) * 2021-07-07 2021-11-02 电子科技大学 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN115638731A (zh) * 2022-09-07 2023-01-24 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法
CN115638731B (zh) * 2022-09-07 2023-08-15 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法
CN115861078A (zh) * 2023-02-22 2023-03-28 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统
CN115861078B (zh) * 2023-02-22 2023-05-12 成都索贝数码科技股份有限公司 基于双向时空递归传播神经网络的视频增强方法及系统

Also Published As

Publication number Publication date
CN111028150B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
Liu et al. Video super-resolution based on deep learning: a comprehensive survey
Liang et al. Vrt: A video restoration transformer
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Kappeler et al. Video super-resolution with convolutional neural networks
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
CN111787187B (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN108830790B (zh) 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN111739082A (zh) 一种基于卷积神经网络的立体视觉无监督深度估计方法
CN111008938B (zh) 一种基于内容和连续性引导的实时多帧比特增强方法
CN113139898A (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN111476745A (zh) 一种进行运动模糊超分辨的多分支网络及方法
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN110796622A (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN113052764A (zh) 一种基于残差连接的视频序列超分重建方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN112435165B (zh) 基于生成对抗网络的两阶段视频超分辨率重建方法
CN113850718A (zh) 一种基于帧间特征对齐的视频同步时空超分方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Xu et al. Hdrflow: Real-time hdr video reconstruction with large motions
CN114339030A (zh) 一种基于自适应可分离卷积的网络直播视频稳像方法
Chandramouli et al. A generative model for generic light field reconstruction
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant