[go: up one dir, main page]

CN113538249A - 一种用于视频监控高清呈现的图像超分辨率重建方法及装置 - Google Patents

一种用于视频监控高清呈现的图像超分辨率重建方法及装置 Download PDF

Info

Publication number
CN113538249A
CN113538249A CN202111031496.5A CN202111031496A CN113538249A CN 113538249 A CN113538249 A CN 113538249A CN 202111031496 A CN202111031496 A CN 202111031496A CN 113538249 A CN113538249 A CN 113538249A
Authority
CN
China
Prior art keywords
image
data
dual
super
regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111031496.5A
Other languages
English (en)
Inventor
李超
陈杰
程德强
寇旗旗
陈亮亮
韩成功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202111031496.5A priority Critical patent/CN113538249A/zh
Publication of CN113538249A publication Critical patent/CN113538249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种用于视频监控高清呈现的图像超分辨率重建方法及装置，通过引入一个额外的约束来开发一个改进的双重回归方案，这样映射可以形成一个闭环，LR图像可以被重建来提高SR模型的性能，通过提出的双重回归方案，深度模型可以很容易地适应现实世界的数据；对于配对训练数据和非配对现实数据的SR任务都进行了研究；提出的双重回归方案利用真实世界的LR数据和成对的合成数据，使SR模型适应新的LR数据，此方法不同于完全抛弃配对的合成数据。

Description

一种用于视频监控高清呈现的图像超分辨率重建方法及装置
技术领域
本发明涉及图像处理领域，具体涉及一种用于视频监控高清呈现的图像超分辨率重建方法及装置。
背景技术
从目前的市场应用来看，非智能摄像机依然占据市场最大份额，未来，前端智能化摄像必将成为主流。然而传统的视频系统只能完成监控录像、视频联网这些基本功能，无法实现事前预防、突发情况预警功能。智能视频分析得益于新基建的需求刺激在雪亮工程、智安小区、城市治理、城镇老旧小区改造等项目快速发展。智能视频分析通常可以分为运动目标的识别、目标跟踪与行为理解，这一切的任务都有赖于超高清的图像。在复杂环境下的图像超分辨率重建更加困难，但是其具有重大的现实意义。因此，研究对于城市地下空间作业环境下视频监控高清呈现的图像超分辨率重建是其视频监控中至关重要的环节。本方法采用改进的双回归闭环网络来提高单幅图像超分辨重建的效果。
一直以来，低级(low-level)视觉任务中的图像超分辨率重建都是计算机视觉技术的热点。在图像超分辨率重建领域，传统的大多采用基于插值和正则化的方法。如，最邻近插值、双线性插值以及双三次插值直都有着不错的效果。到近几年的基于深度学习、深度神经网络的模型不断提出和优化，端到端的图像超分辨率重建任务有了质的进步。
单幅图像超分辨率的双回归网络(Dual Regression Networks for SingleImage Super-Resolution)：即除了LR到HR图像的映射外，还额外学习了一个双重回归映射来估计下采样核并重建LR图像，其中形成一个闭环以提供额外监督，并且由于双重回归过程并不依赖于HR图像，可以直接从LR图像中学习。
双回归训练方案分成两部分，是其中包含一个超分辨率的原始回归任务和一个将超分辨率图像投影回LR图像的双重回归任务。，目前存在的缺陷在于：第一，学习从LR到HR图像的映射是一个典型的不适定问题，因为存在无穷多的HR图像。所以从LR到HR图像映射空间太大，难以使网络学习到合适的映射函数；第二，训练数据中高低分辨率的图像往往都是成对出现的，由此训练的网络模型在现实泛化应用中性能表现较差。
发明内容
针对上述现有技术的缺点，本发明提出一种用于视频监控高清呈现的图像超分辨率重建方法及装置，改进在于：第一，针对当前仍然存在可能的映射函数空间大，导致性能有限的问题，本方法提出一个额外的限制，以减少可能的空间，这样超分辨图像可以重建输入LR图像；第二，针对当前大多数SR方法依赖于配对的训练数据的问题，因为这种方法很难获得有前景的SR模型，所以，本发明提出直接从LR图像学习，使LR图像的回归不依赖于HR图像。
一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：所述方法首先设计配对数据的双回归方案，在配对数据上，通过重建LR图像引入额外的约束，以减少可能函数的空间；然后关注未配对的数据，并将二元回归方案应用于真实世界的数据，从得到的超分图像中退质出低分图像，具体包含如下两部分：
第一部分，配对数据的双回归方案；
引入一个额外的限制LR数据，除了学习映射LR→HR，还学习从超分辨率图像到LR图像的双重映射；通过联合学习原始回归和双重回归这两个学习任务，提出训练超分辨率模型；
第二部分，不成对数据的双重回归方案；
在不成对数据的双重回归方案中，提出了训练算法来处理SR模型，使SR模型适应各种不成对的数据。
进一步的，本方法中，假设x∈X为LR图像，y∈Y为HR图像，网络同时学习原始映射P去重建HR图像，学习双重映射D去重建LR图像，将SR问题化为包含两个回归任务的双重回归方案：
原始回归任务为，寻找一个函数P:X→Y，使预测的P(x)与其对应的HR图像y相似；
双重回归任务为，寻找一个函数D:Y→X，使预测的D(y)与其原始输入LR图像x相似；
原始学习任务和双重学习任务形成一个闭环，为训练模型P和D提供信息监督；如果P(x)为正确的HR图像，那么下采样图像D(P(x))和LR图像x接近。
进一步的，第一部分中，给定一组N个成对样本，
Figure BDA0003245419920000031
其中xi和yi分别表示成对数据集中的第i对低分辨率和高分辨率图像；训练的损失函数写为：
Figure BDA0003245419920000041
其中Lp和LD分别表示原始和双重回归任务的损失函数；λ控制双重回归损失的权重。
进一步的，第一部分中，把DRN建立在超分辨率的U-Net设计之上；DRN模型由原始网络和双重网络两部分组成，原始网络遵循下采样设计：下采样和上采样模块都包含log2(s)基本块，其中s表示比例因子，即网络将有2个块用于4倍放大，3个块用于8倍放大；使用B剩余通道注意块RCAB构建每个基本块；之后，添加额外的输出以产生相应比例的图像，即1倍、2倍和4倍图像，并将建议的损失应用于它们以训练模型。
进一步的，第一部分中，使用双线性核来提升LR图像，然后将它们输入原始网络；设计了一个双重网络来从超分辨率图像中产生下采样的LR图像，双重任务用于学习下采样操作；该双重模型包括两个卷积层和一个LeakyReLU激活层。
进一步的，第一部分中，进行配对训练数据，遵循监督SR方法的学习方法，并通过最小化方程来训练模型。
进一步的，第二部分中，给定M个不成对的LR样本和N个成对的合成样本，目标函数写成：
Figure BDA0003245419920000042
其中Lsp是当xi∈Sp时等于1的指标函数，否则该函数等于0。
进一步的，第二部分中，不成对对数据的训练方法为，对于每次迭代，首先从SU中抽取m个未配对的真实世界数据，从SP中抽取n个配对的合成数据；接着加载预处理模型P和D；未收敛时通过来自SU的未标记数据
Figure BDA0003245419920000051
以及来自SP的样本标记数据
Figure BDA0003245419920000052
来更新原始模型；通过最小化目标来更新P：
Figure BDA0003245419920000053
以此来更新原始模型；
通过最小化目标更新D：
Figure BDA0003245419920000054
以此来更新对偶模型；
然后，通过最小化Eqn中的目标来端对端地训练模型，将不成对数据的数据比率定义为：
ρ＝m/(m+n)
通过改变成对合成样本的数量n来调整ρ。
进一步的，设置ρ＝30％以获得最佳结果。
进一步的，所述装置包括视频采集模块，PC端控制模块，用于图像超分辨率重建的HUAWEI Atlases200 Developer Kit图像处理开发模块和显示模块，其中视频采集模块和PC端控制模块分别通过PAL和RS485与图像处理开发模块连接，图像处理开发模块通过PAL与显示模块连接。
本发明达到的有益效果为：
(1)本方法通过引入一个额外的约束来开发一个改进的双重回归方案，这样映射可以形成一个闭环，LR图像可以被重建来提高SR模型的性能，通过提出的双重回归方案，深度模型可以很容易地适应现实世界的数据.
(2)本方法对于配对训练数据和非配对现实数据的SR任务都进行了研究。
(3)本方法提出的双重回归方案利用真实世界的LR数据和成对的合成数据，使SR模型适应新的LR数据，此方法不同于完全抛弃配对的合成数据。
附图说明
图1为双回归网络超分重建的一般过程示意图。
图2为本发明实施例中用于视频监控高清呈现的单幅图像超分辨率重建方法示意图。
图3为本发明实施例中用于视频监控高清呈现的图像超分辨率重建装置结构示意图。
图4为本发明实施例中不成对数据的自适应算法流程图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明提出了一种面向地下空间环境下作业的智能视频监控图像超分辨率重建的方法及装置，其主要目的是利用闭环来缩小SR的可能函数的空间，并且考虑学习非对称映射，为使用循环的合理性和必要性提供了理论保证。所述装置包括视频采集模块，PC端控制模块，用于图像超分辨率重建的HUAWEIAtlases200 Developer Kit图像处理开发板和显示模块，其结构示意图如图3所示。本方法主要包含两部分，首先在配对数据上，通过重建LR图像引入额外的约束，以减少可能函数的空间。因此，可以显著提高SR模型的性能。其次，也关注未配对的数据，并将二元回归方案应用于真实世界的数据，其结构示意图如图2所示。图中黑色箭头是正向网络，先降采样提取特征超分重建；红色箭头为双重网络，从得到的超分图像中退质出低分图像。假设x∈X为LR图像，y∈Y为HR图像，网络同时学习原始映射P去重建HR图像，学习双重映射D去重建LR图像。注意，双重映射可以看作是对底层下采样核的估计。在一般情况下，将SR问题化为包含两个回归任务的双重回归方案。
原始回归任务(Primal Regression Task)：寻找一个函数P:X→Y，使预测的P(x)与其对应的HR图像y相似。
双重回归任务(Dual Regression Task)：寻找一个函数D:Y→X，使预测的D(y)与其原始输入LR图像x相似。
原始学习任务和双重学习任务可以形成一个闭环，为训练模型P和D提供信息监督。如果P(x)为正确的HR图像，那么下采样图像D(P(x))应该和LR图像x非常接近。在这种约束下，可以减少可能映射的函数空间，使得能够更容易学到更好的重建HR图像的映射。
第一部分：配对数据的双回归方案。
为了解决映射函数的空间可能非常大的问题，引入一个额外的限制LR数据。具体来说，除了学习映射LR→HR，还学习从超分辨率图像到LR图像的双重映射。通过联合学习原始回归和双重回归这两个学习任务，本方法提出如下训练超分辨率模型。给定一组N个成对样本，
Figure BDA0003245419920000081
其中xi和yi分别表示成对数据集中的第i对低分辨率和高分辨率图像。训练的损失函数可以写为：
Figure BDA0003245419920000082
其中Lp和LD分别表示原始和双重回归任务的损失函数。λ控制双重回归损失的权重。在实践中，本方法只在LR数据上增加了双重回归损失，同时保持了与原始SR模型大致相同的成本。
本方法把DRN(Deep neural networks)建立在超分辨率的U-Net设计之上。DRN模型由两部分组成:原始网络和双重网络，原始网络遵循下采样设计。下采样和上采样模块都包含log2(s)基本块，其中s表示比例因子。这意味着网络将有2个块用于4倍放大(见图2)，3个块用于8倍放大。与基线U-Net不同，使用B剩余通道注意块(RCAB)构建每个基本块，以提高模型容量。之后，添加额外的输出以产生相应比例的图像(即，1倍、2倍和4倍图像)，并将建议的损失应用于它们以训练模型。请注意，本方法使用双线性核来提升LR图像，然后将它们输入原始网络。设计了一个双重网络来从超分辨率图像中产生下采样的LR图像(见图2中的红线)。请注意，双重任务旨在学习下采样操作，这比学习上尺度映射的原始任务简单得多。因此，本方法设计的双重模型只有两个卷积层和一个LeakyReLU激活层，其计算成本比原始模型低得多，但在实践中运行良好。
进行配对训练数据，遵循监督SR方法的学习方法，并通过最小化方程来训练模型。
第二部分：不成对数据的双重回归方案。
在不成对数据的双重回归方案中，考虑了一个更一般的SR情况，在现实世界LR数据中没有相应的HR数据。更关键的是，LR图像的退化方法往往是未知的，这使得这个问题非常具有挑战性。在这种情况下，现有的SR模型通常会产生严重的适应性问题。为了缓解这个问题，本方法提出了一个有效的算法来适应新的SR模型。训练算法如图4所示。
请注意，双重回归映射学习潜在的退化方法，不一定依赖于HR图像。因此，可以使用它直接从不成对的真实世界LR数据中学习，以执行模型自适应。为了确保高分辨率图像的重建性能，还结合了来自成对合成数据的信息，这些信息可以非常容易地获得(例如，使用双三次核)。给定M个不成对的LR样本和N个成对的合成样本，目标函数可以写成：
Figure BDA0003245419920000091
其中Lsp是当xi∈Sp时等于1的指标函数，否则该函数等于0。
不成对对数据的训练方法：如算法图3所示，对于每次迭代，首先从SU中抽取m个未配对的真实世界数据，从SP中抽取n个配对的合成数据；接着加载预处理模型P和D；未收敛时通过来自SU的未标记数据
Figure BDA0003245419920000092
以及来自SP的样本标记数据
Figure BDA0003245419920000093
来更新原始模型；通过最小化目标来更新P：
Figure BDA0003245419920000101
以此来更新原始模型。
通过最小化目标更新D：
Figure BDA0003245419920000102
以此来更新对偶模型。
然后，通过最小化Eqn中的目标来端对端地训练模型。为了方便起见，将不成对数据的数据比率定义为：
ρ＝m/(m+n)
由于成对合成数据可以非常容易地获得(例如，执行双三次核以产生LR-HR对)，我们可以通过改变成对合成样本的数量n来调整ρ。在实践中，设置ρ＝30％以获得最佳结果。利用所提出的双重回归方案，可以使SR模型适应各种不成对的数据，同时保持良好的重建性能。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：所述方法首先设计配对数据的双回归方案，在配对数据上，通过重建LR图像引入额外的约束，以减少可能函数的空间；然后关注未配对的数据，并将二元回归方案应用于真实世界的数据，从得到的超分图像中退质出低分图像，具体包含如下两部分：
第一部分，配对数据的双回归方案；
引入一个额外的限制LR数据，除了学习映射LR→HR，还学习从超分辨率图像到LR图像的双重映射；通过联合学习原始回归和双重回归这两个学习任务，提出训练超分辨率模型；
第二部分，不成对数据的双重回归方案；
在不成对数据的双重回归方案中，提出了训练算法来处理SR模型，使SR模型适应各种不成对的数据。
2.根据权利要求1所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：本方法中，假设x∈X为LR图像，y∈Y为HR图像，网络同时学习原始映射P去重建HR图像，学习双重映射D去重建LR图像，将SR问题化为包含两个回归任务的双重回归方案：
原始回归任务为，寻找一个函数P:X→Y，使预测的P(x)与其对应的HR图像y相似；
双重回归任务为，寻找一个函数D:Y→X，使预测的D(y)与其原始输入LR图像x相似；
原始学习任务和双重学习任务形成一个闭环，为训练模型P和D提供信息监督；如果P(x)为正确的HR图像，那么下采样图像D(P(x))和LR图像x接近。
3.根据权利要求1所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第一部分中，给定一组N个成对样本，
Figure FDA0003245419910000021
其中xi和yi分别表示成对数据集中的第i对低分辨率和高分辨率图像；训练的损失函数写为：
Figure FDA0003245419910000022
其中Lp和LD分别表示原始和双重回归任务的损失函数；λ控制双重回归损失的权重。
4.根据权利要求3所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第一部分中，把DRN建立在超分辨率的U-Net设计之上；DRN模型由原始网络和双重网络两部分组成，原始网络遵循下采样设计：下采样和上采样模块都包含log2(s)基本块，其中s表示比例因子，即网络将有2个块用于4倍放大，3个块用于8倍放大；使用B剩余通道注意块RCAB构建每个基本块；之后，添加额外的输出以产生相应比例的图像，即1倍、2倍和4倍图像，并将建议的损失应用于它们以训练模型。
5.根据权利要求4所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第一部分中，使用双线性核来提升LR图像，然后将它们输入原始网络；设计了一个双重网络来从超分辨率图像中产生下采样的LR图像，双重任务用于学习下采样操作；该双重模型包括两个卷积层和一个LeakyReLU激活层。
6.根据权利要求5所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第一部分中，进行配对训练数据，遵循监督SR方法的学习方法，并通过最小化方程来训练模型。
7.根据权利要求1所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第二部分中，给定M个不成对的LR样本和N个成对的合成样本，目标函数写成：
Figure FDA0003245419910000031
其中Lsp是当xi∈Sp时等于1的指标函数，否则该函数等于0。
8.根据权利要求7所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：第二部分中，不成对对数据的训练方法为，对于每次迭代，首先从SU中抽取m个未配对的真实世界数据，从SP中抽取n个配对的合成数据；接着加载预处理模型P和D；未收敛时通过来自SU的未标记数据
Figure FDA0003245419910000032
以及来自SP的样本标记数据
Figure FDA0003245419910000033
来更新原始模型；通过最小化目标来更新P：
Figure FDA0003245419910000034
以此来更新原始模型；
通过最小化目标更新D：
Figure FDA0003245419910000035
以此来更新对偶模型；
然后，通过最小化Eqn中的目标来端对端地训练模型，将不成对数据的数据比率定义为：
ρ＝m(m+n)
通过改变成对合成样本的数量n来调整ρ。
9.根据权利要求8所述的一种用于视频监控高清呈现的图像超分辨率重建方法，其特征在于：设置ρ＝30％以获得最佳结果。
10.一种使用权利要求1-9其中任一项所述的用于视频监控高清呈现的图像超分辨率重建方法及的装置，其特征在于：所述装置包括视频采集模块，PC端控制模块，用于图像超分辨率重建的HUAWEI Atlases200 Developer Kit图像处理开发模块和显示模块，其中视频采集模块和PC端控制模块分别通过PAL和RS485与图像处理开发模块连接，图像处理开发模块通过PAL与显示模块连接。
CN202111031496.5A 2021-09-03 2021-09-03 一种用于视频监控高清呈现的图像超分辨率重建方法及装置 Pending CN113538249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031496.5A CN113538249A (zh) 2021-09-03 2021-09-03 一种用于视频监控高清呈现的图像超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031496.5A CN113538249A (zh) 2021-09-03 2021-09-03 一种用于视频监控高清呈现的图像超分辨率重建方法及装置

Publications (1)

Publication Number Publication Date
CN113538249A true CN113538249A (zh) 2021-10-22

Family

ID=78092404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031496.5A Pending CN113538249A (zh) 2021-09-03 2021-09-03 一种用于视频监控高清呈现的图像超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN113538249A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115516A (zh) * 2022-06-27 2022-09-27 天津大学 基于Raw域的真实世界视频超分辨率算法
CN115272709A (zh) * 2022-07-29 2022-11-01 梅卡曼德（北京）机器人科技有限公司 深度补全模型的训练方法、装置、设备、介质及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN112528731A (zh) * 2020-10-27 2021-03-19 西安交通大学 基于双回归卷积神经网络的平面波波束合成方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN112528731A (zh) * 2020-10-27 2021-03-19 西安交通大学 基于双回归卷积神经网络的平面波波束合成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONG GUO 等: "Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 5407 - 5416 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115516A (zh) * 2022-06-27 2022-09-27 天津大学 基于Raw域的真实世界视频超分辨率算法
CN115115516B (zh) * 2022-06-27 2023-05-12 天津大学 基于Raw域的真实世界视频超分辨率的构建方法
CN115272709A (zh) * 2022-07-29 2022-11-01 梅卡曼德（北京）机器人科技有限公司 深度补全模型的训练方法、装置、设备、介质及产品
CN115272709B (zh) * 2022-07-29 2023-08-15 梅卡曼德（北京）机器人科技有限公司 深度补全模型的训练方法、装置、设备、介质

Similar Documents

Publication Publication Date Title
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
Chen et al. Multi-attention augmented network for single image super-resolution
CN101299235B (zh) 一种基于核主成分分析的人脸超分辨率重构方法
CN108259994B (zh) 一种提高视频空间分辨率的方法
CN109064405A (zh) 一种基于双路径网络的多尺度图像超分辨率方法
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Hu et al. Single image super-resolution with multi-scale information cross-fusion network
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
Liu et al. Effective image super resolution via hierarchical convolutional neural network
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN106097253B (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
Wang et al. Semi-supervised student-teacher learning for single image super-resolution
CN113538249A (zh) 一种用于视频监控高清呈现的图像超分辨率重建方法及装置
Wu et al. Cross-view panorama image synthesis with progressive attention GANs
Gao et al. Mixed hierarchy network for image restoration
CN116597203A (zh) 一种基于知识蒸馏的非对称自编码器的异常检测方法
CN116958541A (zh) 一种基于全尺度跳跃连接u型结构的图像分割方法
Wang et al. Image super-resolution using multi-granularity perception and pyramid attention networks
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN116612010A (zh) 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法
Yuan et al. Unsupervised real image super-resolution via knowledge distillation network
Zhang et al. GlocalFuse-Depth: Fusing transformers and CNNs for all-day self-supervised monocular depth estimation
Liu et al. Single-image super-resolution based on an improved asymmetric Laplacian pyramid structure
CN115222600B (zh) 对比学习的多光谱遥感图像超分辨重建方法
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022