[go: up one dir, main page]

CN109345449A - 一种基于融合网络的图像超分辨率及去非均匀模糊方法 - Google Patents

一种基于融合网络的图像超分辨率及去非均匀模糊方法 Download PDF

Info

Publication number
CN109345449A
CN109345449A CN201810785846.9A CN201810785846A CN109345449A CN 109345449 A CN109345449 A CN 109345449A CN 201810785846 A CN201810785846 A CN 201810785846A CN 109345449 A CN109345449 A CN 109345449A
Authority
CN
China
Prior art keywords
image
resolution
blur
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810785846.9A
Other languages
English (en)
Other versions
CN109345449B (zh
Inventor
王飞
张昕昳
董航
张康龙
韦昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810785846.9A priority Critical patent/CN109345449B/zh
Priority to PCT/CN2018/107710 priority patent/WO2020015167A1/zh
Publication of CN109345449A publication Critical patent/CN109345449A/zh
Application granted granted Critical
Publication of CN109345449B publication Critical patent/CN109345449B/zh
Priority to US17/149,764 priority patent/US11928792B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，该方法首次实现了基于深度神经网络对低分辨率非均匀运动模糊图像进行恢复。该网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个可以训练的特征融合模块对两个特征提取分支的输出实现自适应融合。最终上采样重建模块实现去非均匀运动模糊和超分辨率任务。本方法利用自行生成的训练数据集对网络进行离线训练，从而实现对任何输入尺寸的低分辨率非均匀运动模糊图像进行恢复。该方法训练难度低，效果好，并且计算效率极高，非常适用于针对移动设备、监控设备拍摄图像的恢复和增强等应用。

Description

一种基于融合网络的图像超分辨率及去非均匀模糊方法
技术领域
本发明属于计算机视觉与图像处理领域，特别涉及一种基于融合网络的图像超分辨率及去非均匀模糊方法。
背景技术
图像超分辨率是计算机视觉应用中的一类基础任务。其目的是从低分辨率图像还原出高分辨率图像，并且提升图像质量和恢复出图像细节信息。它不仅可以生成令人满意的高分辨率的图像，同时也可以为类似目标检测、人脸识别等更深层次图像处理过程提供更高品质的图像源。然而，自然图像中存在着不同深度的运动物体以及运动遮挡现象，因此真实低分辨率图像中往往还存在着非均匀运动模糊现象，这些都会严重影响到超分辨算法的研究。
不同于均匀运动模糊图像，非均匀运动模糊的图像由一段清晰的视频中的相邻帧融合而成，其融合过程如公式1所示：
其中M表示用来生成非均匀运动模糊的连续图像帧的数量，表示相机采集的第i帧图像。g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似关系入公式2所示：
g(x)＝x1/γ (2)
在此基础上，低分辨率的非均匀运动模糊图像Lblur通过对公式1中的模糊图像Hblur通过降采样获得，如公式3所示：
Lblur＝D(Hblur) (3)
其中D表示降采样插值算法。
根据上述公式可以看出，低分辨率的非均匀运动模糊图像是由两种退化模型叠加而成，由单帧低分辨率的非均匀运动模糊图像恢复出高分辨率的清晰图像是一个高度病态问题。因此现有相关研究中，往往将图像超分辨率和图像去非均匀运动模糊当成两个独立问题进行研究。图像去非均匀运动模糊是一种从高度复杂模糊的图像还原出清晰图像的方法，非均匀运动模糊考虑了现实成像环境中存在的运动物体深度不同以及运动遮挡现象，是一种相较均匀运动模糊更加复杂的图像退化模型。近年来随着深度神经网络技术的成熟，去非均匀运动模糊的研究取得重大进展。但当处理图像同时存在上述两种退化模型时，这些算法虽然可以去除模糊现象，却无法对提升图像分辨率并对细节信息进行恢复，使得输出图像质量无法满足预期效果。同样地，现有超分辨算法无法有效消除图像中的运动模糊现象，导致生成的高分辨率图像仍然存在着严重模糊区域。
现有实现超分辨并去去非均匀运动模糊的方法包括：(1)简单串联法，即将处理两类任务的方法进行简单串联，首先处理一种退化模型，并将结果作为另一种方法的输入，进而消除第二种退化模型。该方法的缺陷主要在于，简单串联的方法并不能确保获得问题最优解，因为第一种方法所带来的误差将会在第二种方法中被进一步放大。此外，串行的连接使得第一种方法中的中间特征无法在第二种方法中被有效复用，使得运行效率较低。(2)端到端的深度神经网络训练法。该类方法利用深度神经网络强大的学习能力，通过大量训练样本使网络具备同时超分辨并去运动模糊的能力。该类方法的代表文献为[1,2].但这些方法都集中在处理均匀运动模糊[1]或者高斯模糊[2]，当应用在更为复杂的非均匀运动模糊场景，其结果远远不能满足实际应用需求。
发明内容
本发明的目的在于提供一种基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于融合网络的图像超分辨率及去非均匀模糊方法，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。
进一步的，步骤一中图像块三元组的具体生成过程为：
1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数。并根据公式将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ。
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
进一步的，步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
进一步的，步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征ΦSRF。
进一步的，步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行自适应融合：
其中Gfusion表示特征融合模块网络，表示逐元素乘法。
进一步的，步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像的恢复。
进一步的，步骤三中，网络训练所用的损失函数定义为：
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
进一步的，训练步骤二的模型时采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
进一步的，步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
与现有技术相比，本发明有以下技术效果：
本发明的基于深度特征融合网络的自然图像超分辨率及去非均匀运动模糊方法，并首次实现了基于深度神经网络对低分辨率非均匀运动模糊图像进行恢复。该发明的网络通过两个并行的特征提取分支模块，有效地将上述联合任务解耦为两个子任务，从而降低了网络训练难度并提升了网络效果；此外特征融合模块的存在使得网络能够更好的将不同子任务的特征进行融合。最后，由于网络大部分计算都集中在低分辨率的尺度下，因此该方法的计算效率极高，实时性好，非常适用于针对移动设备、监控设备拍摄图像的恢复和增强等应用。
附图说明
图1为本发明的实施流程图；
图2为本发明的卷积神经网络架构图；
图3a和3b为图像超分辨率及非均匀运动模糊去除实例图。
具体实施方式
以下结合附图对本发明进一步说明：
一种基于融合网络的图像超分辨率及去非均匀模糊方法，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。
步骤一中图像块三元组的具体生成过程为：
1)
从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数。并根据公式将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ。
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征φSRF。
步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对φSRF，φdeblur进行自适应融合：
其中Gfusion表示特征融合模块网络，表示逐元素乘法。
步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像的恢复。
步骤三中，网络训练所用的损失函数定义为：
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
训练步骤二的模型时，采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
实施流程图：
如图1所示，本发明基于一种深度特征融合网络实现自然图像超分辨率及去非均匀运动模糊方法，包括如下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的多段自然场景清晰视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率下清晰图像块和高分辨率清晰图像块，作为神经网络训练中不同阶段的真值。
具体地，本方法从21段视频中随机采取2100帧图像，构成训练集真值图像集H。并利用其相邻11帧图像根据公式所述方法生成高分辨率模糊图像集Hblur。如此一共生成2100组高分辨率清晰/模糊图像对{H，Hblur}，进而对每一组图像对以{0.5，0.7，1}三种缩放尺度进行降采样，得到6300组高分辨率清晰/模糊图像对。针对扩展后的图像对，采用步长为128的滑动窗口方式截取大小为256*256的图像块对。在上述图像对中共截取107584组图像块对。针对其中每一组高分辨率图像块对{h，hblur}，采用公式g(x)＝x1/γ所述方法进行降采样得到低分辨率图像块对{l，lblur}，并最终获得步骤一所述的图像块三元组{lblur，l，h}。上述中降采样法均采用双三次插值降采样法。
步骤二：搭建深度神经网络。如图2所示，该网络采用两个分支模块分别提取用于图像超分辨特征和去非均匀模糊特征，并通过一个可以训练的特征融合模块对两个特征提取分支的输出实现自适应融合。最后该方法通过一个上采样重建模块实现超分辨率和去非均匀运动模糊任务。
其中模糊特征提取模块采取编码-解码结构，以增大特征提取网络的感受野，从而应对可能出现的大尺度模糊现象。其编码-解码结构由“C1-Res(1-6)-C2-Res(7-12)-C3—Res(13-18)—D1—D2—C4”组成。C1为卷积核大小为7*7的卷积层，其输出通道数为64；Res表示移除BN层的残差网络块，每个残差网络块由一个卷积核大小为3*3的卷积层，一个斜率为0.2的Leaky-ReLU激活函数以及一个卷积核大小为3*3的卷积层依次连接构成，最后整个残差网络块首尾串接相加构成最终输出。Res(1-6)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C2为卷积核大小为3*3、步长为2的卷积层，其输出通道数为128，该层起到对特征图降采样的作用；Res(7-12)表示6个串联的残差网络块，其中全部卷积层的输出通道数为128；C3为卷积核大小为3*3、步长为2的卷积层，其输出通道数为256，该层起到对特征图降采样的作用；Res(13-18)表示6个串联的残差网络块，其中全部卷积层的输出通道数为256；D1由卷积核大小为4*4、步长为2的反卷积层以及Leaky-ReLU激活函数构成，其输出通道数为128，该层起到对特征图上采样的作用；D2由卷积核大小为4*4、步长为2的反卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64，该层起到对特征图上采样的作用；C4为卷积核大小为7*7的卷积层，其输出通道数为64。其中Res6的输出与C1的输出之间、Res12的输出与C2的输出之间以及C1的输出与C4的输出间存在跳接相加架构。编码-解码结构模块的输出为去模糊特征Φdeblur。
此外编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，其结构由“C5—C6”组成。C5由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C6为卷积核大小为3*3的卷积层，其输出通道数为3。改网络最终生成低分辨率清晰图像
该方法中提取超分辨特征的模块结构为“C7—Res(19-26)—C8”。C7为卷积核大小为7*7的卷积层，其输出通道数为64；Res(19-26)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C8为卷积核大小为3*3的卷积层，其输出通道数为64。C7的输出与C8的输出间存在跳接相加架构。该分支的输出为超分辨特征ΦSRF。
该方法中的特征融合模块通过输出逐点融合权重对特征提取分支所提取的特征进行自适应融合。具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行特征融合：
其结构由“C9—C10—MUL”组成。其中C9由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C10为卷积核大小为1*1的卷积层，其输出通道数为64；MUL表示逐点相乘层，负责对C10输出的融合权重与φdeblur进行求积，其输出与φSRF逐点求和得到最终的融合特征Φfusion。
该方法中的上采样重建模块以融合后的特征Φfusion为输入，实现高分辨率清晰图像的恢复。其结构由“Res(27-34)-C11-P1-C12-P2-C13-C14”组成。Res(27-34)表示6个串联的残差网络块，其中全部卷积层的输出通道数为64；C11为卷积核大小为3*3的卷积层，其输出通道数为256；P1由像素置换层以及Leaky-ReLU激活函数构成，其输出通道为64，该层起到对特征图两倍上采样的作用；C12为卷积核大小为3*3的卷积层，其输出通道数为256；P2由像素置换层以及Leaky-ReLU激活函数构成，其输出通道为64，该层起到对特征图两倍上采样的作用；C13由卷积核大小为3*3的卷积层以及Leaky-ReLU激活函数构成，其输出通道数为64；C14为卷积核大小为3*3的卷积层，其输出通道数为3，即最终高分辨率清晰结果
步骤三：模型训练，利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的模型。其中网络训练所用的损失函数定义为：
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者都采用均方误差(MSE)函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
训练过程分为两个阶段。第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有网络层。第一阶段中Epochs数设为60，初始学习率为1e-4，每8个epoch学习率衰减为之前的0.2倍，Batch size设为16，损失函数间的权重α设为1；第二阶段训练过程中，取消上述限制，并在一阶段训练模型基础上连同特征融合模块对整个网络进行更新。第二阶段中Epochs数设为50，初始学习率为5e-5，每8个epoch学习率衰减为之前的0.2倍，Batch size设为16，损失函数间的权重α设为0.5。两阶段的优化方法均采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和四种随机旋转角度对已生成图像块三元组进行数据增强。
步骤四：模型测试：首先对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除，从而经过编码-解码网络后得到的特征图与输入图像尺度大小保持一致。随后将处理过的测试图像输入步骤三中训练好神经网络模型得到高分辨率清晰的图像。
图3展示了一个针对低分辨率非均匀运动模糊图像恢复的例子。在图3中，(a)为输入的低分辨率非均匀运动模糊图像；(b)展示了通过上述神经网络模型所获得的高分辨率清晰图像。
本发明可通过多种编程语言来实现，例如C++、python、matlab等。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (9)

1.一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，包括以下步骤：
步骤一：对原始视频进行预处理，获取图像训练数据集：将高速运动相机采集到的若干段视频，转换为多对空间位置对齐的图像块三元组{lblur，l，h}，其中lblur表示低分辨率下的非均匀运动模糊图像块，作为神经网络训练的输入；l和h分别表示低分辨率的清晰图像块和高分辨率的清晰图像块，作为神经网络训练中不同分支的真值；
步骤二：搭建深度神经网络：神经网络采用两个分支模块分别提取用于图像超分辨和去非均匀模糊的特征，并通过一个能够训练的特征融合模块对两个分支提取的特征进行自适应融合；最后通过一个上采样重建模块实现超分辨率及去非均匀运动模糊任务；
步骤三：模型训练：利用步骤一得到的训练集图像块三元组对搭建好的神经网络进行权重更新，获得用于恢复低分辨率非均匀运动模糊图像的网络模型；
步骤四：模型测试：将待处理低分辨率非均匀运动模糊图像进行预处理，并输入训练好神经网络模型得到高分辨率的清晰图像。
2.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤一中图像块三元组的具体生成过程为：
1)从多段现实场景视频中随机采样N帧图像，作为训练集真值图像集H；针对真值图像集中每一帧图像Hi，以该帧为中心采样包括其在内的相邻M帧图像形成图像集T，T＝{Hi-(M-1)/2…，Hi…，Hi+(M-1)/2}，其中下标表示该图像所处帧数；并根据公式将图像集生成高分辨率模糊图像集Hblur；其中M表示用来生成非均匀运动模糊的连续图像帧的数量，Hi表示相机采集的第i帧图像，g表示相机响应函数，用来表示感光元件接收亮度与采集图像像素值之间的映射关系，其近似函数为g(x)＝x1/γ；
2)针对上一步中生成的N组高分辨率清晰/模糊图像对{H，Hblur}，对每一组图像对以{0.5,0.7,1}三种缩放尺度进行降采样，得到3*N组高分辨率清晰/模糊图像对；针对扩展后的图像对，采用步长为S的滑动窗口方式截取大小为M*M的图像块集合；针对其中每一组高分辨率图像块对{h，hblur}，采用公式L＝D(H)进行降采样得到低分辨率图像块对{l，lblur}，其中D表示降采样插值算法，H表示高分辨率图像，L表示降采样后得到的低分辨率图像；并最终获得步骤一所述的图像块三元组{lblur，l，h}；降采样法均采用双三次插值降采样法。
3.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤二中，用来提取去模糊特征的神经网络模块采取编码-解码结构；编码-解码结构模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块、两个下采样卷积层和两个反卷积层串联构成，其中间特征具有三个尺度；同时编码-解码结构中相同尺度特征间存在多个跳接架构；编码-解码结构模块的输出为去模糊特征Φdeblur；编码-解码结构后还接入一个由两个卷积层构成的像素回归网络，生成低分辨率清晰图像
4.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤二中，用来提取超分辨特征的模块由一个直接对输入进行处理的卷积层、若干个移除BN层的残差网络块构成；该分支模块的输出为超分辨特征ΦSRF。
5.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤二中，特征融合模块包含两个卷积层，通过输出逐点融合权重对两个分支提取的特征进行自适应融合；具体地，该模块以{lblur，ΦSRF，Φdeblur}为输入，以如下公式对ΦSRF，Φdeblur进行自适应融合：
其中Gfusion表示特征融合模块网络，表示逐元素乘法。
6.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤二中，上采样重建模块以融合后的特征Φdeblur为输入，采用若干个移除BN层的残差网络块对特征进行进一步优化和提炼，并通过两个像素置换层和若干个卷积层实现高分辨率清晰图像的恢复。
7.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤三中，网络训练所用的损失函数定义为：
其中LSR和Ldeblur分别表示上采样重建模块和去模糊模块的输出误差，两者均采用均方误差MSE函数来计算输出网络输出与真值间的距离，α为两个损失间的权重。
8.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，训练步骤二的模型时采用了两阶段训练的策略；第一阶段训练过程中，将特征融合网络获得的逐点融合权重强制为1，并更新除特征融合模块外的所有部分；第二阶段训练过程中，取消上述对权重的限制，并在一阶段训练基础上，连同特征融合模块对整个网络进行再训练；整个训练过程中优化方法采用ADAM优化算法，同时为了增加训练数据的多样性，采用随机水平翻转和随机旋转对已生成图像块三元组进行数据增强。
9.根据权利要求1所述的一种基于融合网络的图像超分辨率及去非均匀模糊方法，其特征在于，步骤四中，对待测试图像进行边缘剪裁预处理，使其尺寸满足长和宽都能被4整除。
CN201810785846.9A 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法 Active CN109345449B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810785846.9A CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法
PCT/CN2018/107710 WO2020015167A1 (zh) 2018-07-17 2018-09-26 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US17/149,764 US11928792B2 (en) 2018-07-17 2021-01-15 Fusion network-based method for image super-resolution and non-uniform motion deblurring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785846.9A CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法

Publications (2)

Publication Number Publication Date
CN109345449A true CN109345449A (zh) 2019-02-15
CN109345449B CN109345449B (zh) 2020-11-10

Family

ID=65296663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785846.9A Active CN109345449B (zh) 2018-07-17 2018-07-17 一种基于融合网络的图像超分辨率及去非均匀模糊方法

Country Status (3)

Country Link
US (1) US11928792B2 (zh)
CN (1) CN109345449B (zh)
WO (1) WO2020015167A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109961451A (zh) * 2019-03-22 2019-07-02 西北工业大学 一种基于边缘信息的材料晶粒组织分割方法
CN109978077A (zh) * 2019-04-08 2019-07-05 南京旷云科技有限公司 视觉识别方法、装置和系统及存储介质
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
CN110033422A (zh) * 2019-04-10 2019-07-19 北京科技大学 一种眼底oct图像融合方法及装置
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110175509A (zh) * 2019-04-09 2019-08-27 西安电子科技大学 一种基于级联超分辨率的全天候眼周识别方法
CN110211064A (zh) * 2019-05-21 2019-09-06 华南理工大学 一种基于边缘引导的混合退化文本图像恢复方法
CN110647934A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110675333A (zh) * 2019-08-26 2020-01-10 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110689558A (zh) * 2019-09-30 2020-01-14 清华大学 多传感器图像增强方法及装置
CN111462041A (zh) * 2020-03-02 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、设备及存储介质
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111476745A (zh) * 2020-01-13 2020-07-31 杭州电子科技大学 一种进行运动模糊超分辨的多分支网络及方法
CN111598808A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
WO2020215644A1 (zh) * 2019-04-22 2020-10-29 深圳市商汤科技有限公司 视频图像处理方法及装置
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN112634153A (zh) * 2020-12-17 2021-04-09 中山大学 一种基于边缘增强的图像去模糊方法
CN112652000A (zh) * 2020-12-30 2021-04-13 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
WO2021134874A1 (zh) * 2019-12-31 2021-07-08 深圳大学 二维码去摩尔纹的深度残差网络的训练方法
CN113177896A (zh) * 2021-05-20 2021-07-27 中国人民解放军国防科技大学 基于多路径精化融合神经网络的图像去除模糊方法
CN113365107A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN113379641A (zh) * 2021-06-25 2021-09-10 南昌航空大学 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
US20210383505A1 (en) * 2020-09-03 2021-12-09 Nvidia Corporation Image enhancement using one or more neural networks
CN114202461A (zh) * 2021-12-07 2022-03-18 中国科学院深圳先进技术研究院 一种高分辨率处理方法、装置以及计算机存储介质
CN115063298A (zh) * 2022-08-17 2022-09-16 中加健康工程研究院(合肥)有限公司 一种多重超分辨残差网络的pet超分辨率方法
CN115511767A (zh) * 2022-11-07 2022-12-23 中国科学技术大学 一种自监督学习的多模态图像融合方法及其应用
US11568518B2 (en) 2019-12-11 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
WO2024124432A1 (en) * 2022-12-14 2024-06-20 Intel Corporation Enhanced single feature local directional pattern (ldp) -based video post processing

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
KR20200114436A (ko) * 2019-03-28 2020-10-07 국방과학연구소 스케일러블 영상 부호화를 수행하는 장치 및 방법
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
US11222409B2 (en) * 2019-05-22 2022-01-11 Nec Corporation Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
TWI719512B (zh) * 2019-06-24 2021-02-21 瑞昱半導體股份有限公司 使用像素通道置亂的卷積神經網路的演算方法與系統
KR102436512B1 (ko) * 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
CN111340694B (zh) * 2020-02-07 2023-10-27 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111369601B (zh) * 2020-02-12 2023-04-07 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN111340744B (zh) * 2020-02-20 2023-03-14 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
US11423305B2 (en) * 2020-02-26 2022-08-23 Deere & Company Network-based work machine software optimization
CN111401436B (zh) * 2020-03-13 2023-04-18 中国科学院地理科学与资源研究所 一种融合网络和双通道注意力机制的街景图像分割方法
US20230085827A1 (en) * 2020-03-20 2023-03-23 The Regents Of The University Of California Single-shot autofocusing of microscopy images using deep learning
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111429378A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111461987B (zh) * 2020-04-01 2023-11-24 中国科学院空天信息创新研究院 一种网络构建方法、图像超分辨率重建方法及系统
CN111524068B (zh) * 2020-04-14 2023-06-02 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111523493A (zh) * 2020-04-27 2020-08-11 东南数字经济发展研究院 一种针对雾天影像的目标检测算法
CN113592723B (zh) * 2020-04-30 2024-04-02 京东方科技集团股份有限公司 视频增强方法及装置、电子设备、存储介质
CN111583115B (zh) * 2020-04-30 2023-09-05 西安交通大学 基于深度注意力网络的单幅图像超分辨率重建方法及系统
CN111626951B (zh) * 2020-05-20 2023-04-18 武汉科技大学 一种基于内容感知信息的图像阴影消除方法
CN111667410B (zh) * 2020-06-10 2021-09-14 腾讯科技（深圳）有限公司 图像分辨率提升方法、装置及电子设备
CN111709895B (zh) * 2020-06-17 2023-05-16 中国科学院微小卫星创新研究院 基于注意力机制的图像盲去模糊方法及系统
WO2022011571A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 视频处理方法、装置、设备、解码器、系统及存储介质
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法
CN111968064B (zh) * 2020-10-22 2021-01-15 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112329603B (zh) * 2020-11-03 2022-09-13 西南科技大学 一种基于图像级联的坝面裂纹缺陷定位方法
CN112767532B (zh) * 2020-12-30 2022-07-08 华东师范大学 一种基于迁移学习的超声或ct医学影像三维重建方法
CN112651883B (zh) * 2021-01-18 2023-04-07 广东工业大学 一种图像高速场景恢复方法、设备及介质
CN112801195A (zh) * 2021-02-04 2021-05-14 四川望村网络科技有限公司 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN113111886B (zh) * 2021-04-19 2023-03-24 太原科技大学 一种基于双层残差网络的交通场景图像语义分割方法
CN113240584B (zh) * 2021-05-11 2023-04-28 上海大学 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN113221925B (zh) * 2021-06-18 2022-11-11 北京理工大学 一种基于多尺度图像的目标检测方法及装置
CN113505678B (zh) * 2021-07-01 2023-03-21 西北大学 基于深度可分离卷积的猴类面部识别方法
CN113763386B (zh) * 2021-07-13 2024-04-19 合肥工业大学 基于多尺度特征融合的手术器械图像智能分割方法和系统
US12041248B2 (en) 2021-08-02 2024-07-16 Mediatek Singapore Pte. Ltd. Color component processing in down-sample video coding
CN113344827B (zh) * 2021-08-05 2021-11-23 浙江华睿科技股份有限公司 一种图像去噪方法、图像去噪网络运算单元及设备
CN113810597B (zh) * 2021-08-10 2022-12-13 杭州电子科技大学 一种基于半预测滤波的快速图像散景渲染方法
CN113537246B (zh) * 2021-08-12 2024-07-12 浙江大学 一种基于对抗学习的灰度图像同时上色超分方法
CN113947102B (zh) * 2021-08-30 2024-08-06 上海大学 一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法
CN113724136B (zh) * 2021-09-06 2024-09-06 腾讯音乐娱乐科技（深圳）有限公司 一种视频修复方法、设备及介质
CN118339577A (zh) * 2021-09-30 2024-07-12 百度时代网络技术（北京）有限公司 使用变分核自动编码器的鲁棒高效的盲超分辨率
CN113962857A (zh) * 2021-10-11 2022-01-21 南京航空航天大学 一种基于新型深度残差收缩网络的图像超分辨率重建方法
CN113837946B (zh) * 2021-10-13 2022-12-06 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN114022360B (zh) * 2021-11-05 2024-05-03 长春理工大学 基于深度学习的渲染图像超分辨系统
CN114049270B (zh) * 2021-11-09 2024-07-12 江苏科技大学 基于多阶段锐化图像嵌入融合网络的海洋雪去除方法与系统
CN114049625B (zh) * 2021-11-11 2024-02-27 西北工业大学 基于新型图像收缩方法的多方向文本检测方法
CN113902647B (zh) * 2021-11-19 2024-08-06 东北师范大学 一种基于双闭环网络的图像去模糊方法
CN114187181B (zh) * 2021-12-17 2024-06-07 福州大学 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN114359662B (zh) * 2021-12-24 2023-06-13 江苏大学 一种基于异构fpga和融合多分辨率的卷积神经网络的实现方法
CN114252423B (zh) * 2021-12-24 2024-02-02 汉姆德(宁波)智能医疗科技有限公司 超分辨显微镜完全采样图像的生成方法、装置
CN114418878B (zh) * 2022-01-13 2025-02-18 福建帝视信息科技有限公司 一种基于模糊条件残差网络的图像去失焦模糊方法
CN114550137B (zh) * 2022-02-22 2024-04-09 智道网联科技(北京)有限公司 识别交通标志牌的方法、装置和电子设备
CN114549361B (zh) * 2022-02-28 2023-06-30 齐齐哈尔大学 一种基于改进U-Net模型的去图像运动模糊方法
CN114580526B (zh) * 2022-03-02 2023-10-17 青岛星科瑞升信息科技有限公司 一种基于深度学习的建筑物提取方法
CN114663301B (zh) * 2022-03-05 2024-03-08 西北工业大学 一种基于小波层的卷积神经网络全色锐化方法
CN114820342B (zh) * 2022-03-17 2024-02-27 西北工业大学 一种基于动态神经网络的视频去模糊方法
CN114821350B (zh) * 2022-03-17 2024-02-27 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN114663285B (zh) * 2022-04-01 2023-06-09 哈尔滨工业大学 基于卷积神经网络的老电影超分辨系统
CN114692509B (zh) * 2022-04-21 2023-02-14 南京邮电大学 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN114913069B (zh) * 2022-04-26 2024-05-03 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法
CN114882203B (zh) * 2022-05-20 2024-05-28 江阴萃合智能装备有限公司 一种用于电力电网巡检机器人的图像超分辨率重建方法
CN114913342B (zh) * 2022-05-30 2024-07-30 武汉大学 融合事件和图像的运动模糊图像线段检测方法及系统
CN114821449B (zh) * 2022-06-27 2022-09-20 松立控股集团股份有限公司 一种基于注意力机制的车牌图像处理方法
CN115147276B (zh) * 2022-07-01 2025-01-14 西安科技大学 一种文本图像超分辨率方法
CN115100041B (zh) * 2022-07-05 2025-03-14 西南交通大学 一种基于非残差结构的极深图像超分辨率重建方法
CN115082316A (zh) * 2022-07-08 2022-09-20 浙江工业大学 一种时变体数据的空间超分辨率重建模型及其训练方法
CN114972043B (zh) * 2022-08-03 2022-10-25 江西财经大学 基于联合三边特征滤波的图像超分辨率重建方法与系统
CN115546030B (zh) * 2022-11-30 2023-04-07 武汉大学 基于孪生超分辨率网络的压缩视频超分辨率方法及系统
CN115546031B (zh) * 2022-12-01 2023-03-24 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN116385284A (zh) * 2023-03-10 2023-07-04 杭州微影医疗科技有限公司 一种三维磁共振图像的图像增强系统
CN116168352B (zh) * 2023-04-26 2023-06-27 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统
CN116363036B (zh) * 2023-05-12 2023-10-10 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116452696B (zh) * 2023-06-16 2023-08-29 山东省计算中心（国家超级计算济南中心） 一种基于双域特征采样的图像压缩感知重构方法及系统
CN116485796B (zh) * 2023-06-19 2023-09-08 闽都创新实验室 害虫检测方法、装置、电子设备及存储介质
CN116958739B (zh) * 2023-06-25 2024-06-21 南京矩视科技有限公司 一种基于注意力机制的碳纤维丝道实时动态编号方法
CN116664562B (zh) * 2023-07-28 2023-11-03 香港理工大学深圳研究院 一种基于滑窗变分自编码器的非监督裂缝识别方法
CN117172134B (zh) * 2023-10-19 2024-01-16 武汉大学 基于融合地形特征的月表多尺度dem建模方法
CN117714875B (zh) * 2024-02-06 2024-04-30 博大视野(厦门)科技有限公司 一种基于深度神经网络的端到端视频防抖方法
CN118052712B (zh) * 2024-02-23 2025-02-07 西北工业大学 一种基于多阶段空频联合的遥感图像超分辨率重建方法
CN118351571B (zh) * 2024-04-17 2024-12-24 淮阴工学院 一种基于视频音频识别的变电站鸟类识别方法及系统
CN118521477A (zh) * 2024-05-14 2024-08-20 安徽大学 基于图像超分辨率重建算法的静默环境脑控方法
CN118194675B (zh) * 2024-05-16 2024-07-26 四川大学 基于生成模型的反应堆承压结构内流道拓扑优化设计方法
CN118521577B (zh) * 2024-07-22 2024-10-18 中建四局安装工程有限公司 螺纹连接式消防管道智能化生产线控制方法及其相关设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188770A1 (en) * 2010-02-04 2011-08-04 Yahoo! Inc. Automatic super-resolution transformation for images
CN102194222A (zh) * 2011-04-26 2011-09-21 浙江大学 一种基于联合运动估计与超分辨率重建的图像重建方法
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
EP2523160A1 (en) * 2011-05-13 2012-11-14 Sony Corporation Image processing device, image processing method, and program
US20130016239A1 (en) * 2011-07-11 2013-01-17 Postech Academy-Industry Foundation Method and apparatus for removing non-uniform motion blur using multi-frame
US20130058588A1 (en) * 2011-09-02 2013-03-07 Jue Wang Motion Deblurring Using Image Upsampling
CN103310430A (zh) * 2012-03-13 2013-09-18 三星电子株式会社 对非均匀运动模糊进行去模糊的方法和设备
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN104680491A (zh) * 2015-02-28 2015-06-03 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
US20160163021A1 (en) * 2014-12-03 2016-06-09 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity
US20160335747A1 (en) * 2015-04-22 2016-11-17 Adobe Systems Incorporated Scale adaptive blind deblurring
US20170024855A1 (en) * 2015-07-26 2017-01-26 Macau University Of Science And Technology Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
CN106373107A (zh) * 2016-12-06 2017-02-01 四川长虹电器股份有限公司 智能手机自动图像去模糊系统及方法
CN107301662A (zh) * 2017-06-30 2017-10-27 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101810876B1 (ko) 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9692939B2 (en) * 2013-05-29 2017-06-27 Yeda Research And Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN104867111B (zh) * 2015-03-27 2017-08-25 北京理工大学 一种基于分块模糊核集的非均匀视频盲去模糊方法
CN107274378B (zh) * 2017-07-25 2020-04-03 江西理工大学 一种融合记忆cnn的图像模糊类型识别及参数整定方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188770A1 (en) * 2010-02-04 2011-08-04 Yahoo! Inc. Automatic super-resolution transformation for images
CN102194222A (zh) * 2011-04-26 2011-09-21 浙江大学 一种基于联合运动估计与超分辨率重建的图像重建方法
EP2523160A1 (en) * 2011-05-13 2012-11-14 Sony Corporation Image processing device, image processing method, and program
US20130016239A1 (en) * 2011-07-11 2013-01-17 Postech Academy-Industry Foundation Method and apparatus for removing non-uniform motion blur using multi-frame
US20130058588A1 (en) * 2011-09-02 2013-03-07 Jue Wang Motion Deblurring Using Image Upsampling
CN103310430A (zh) * 2012-03-13 2013-09-18 三星电子株式会社 对非均匀运动模糊进行去模糊的方法和设备
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
US20160163021A1 (en) * 2014-12-03 2016-06-09 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity
CN104680491A (zh) * 2015-02-28 2015-06-03 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
US20160335747A1 (en) * 2015-04-22 2016-11-17 Adobe Systems Incorporated Scale adaptive blind deblurring
US20170024855A1 (en) * 2015-07-26 2017-01-26 Macau University Of Science And Technology Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
CN106373107A (zh) * 2016-12-06 2017-02-01 四川长虹电器股份有限公司 智能手机自动图像去模糊系统及方法
CN107301662A (zh) * 2017-06-30 2017-10-27 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BING TIAN 等: "Super-Resolution Deblurring Algorithm for Generative Adversarial Networks", 《2017 SECOND INTERNATIONAL CONFERENCE ON MECHANICAL, CONTROL AND COMPUTER ENGINEERING (ICMCCE)》 *
XIANGYU XU 等: "Learning to Super-Resolve Blurry Face and Text Images", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
XIAO-JIAO MAO 等: "Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", 《ARXIV》 *
何林阳: "航空图像超分辨率重建关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
朱福珍 等: "图像超分辨BP神经网络的改进", 《系统工程与电子技术》 *
高志荣 等: "一种基于神经网络的人脸图像超分辨率重构算法", 《中南民族大学学报(自然科学版)》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109961451A (zh) * 2019-03-22 2019-07-02 西北工业大学 一种基于边缘信息的材料晶粒组织分割方法
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
CN109978077A (zh) * 2019-04-08 2019-07-05 南京旷云科技有限公司 视觉识别方法、装置和系统及存储介质
CN109978077B (zh) * 2019-04-08 2021-03-12 南京旷云科技有限公司 视觉识别方法、装置和系统及存储介质
CN110175509B (zh) * 2019-04-09 2022-07-12 西安电子科技大学 一种基于级联超分辨率的全天候眼周识别方法
CN110175509A (zh) * 2019-04-09 2019-08-27 西安电子科技大学 一种基于级联超分辨率的全天候眼周识别方法
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
CN110033422B (zh) * 2019-04-10 2021-03-23 北京科技大学 一种眼底oct图像融合方法及装置
CN110033422A (zh) * 2019-04-10 2019-07-19 北京科技大学 一种眼底oct图像融合方法及装置
CN110111251B (zh) * 2019-04-22 2023-04-28 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110111251A (zh) * 2019-04-22 2019-08-09 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
WO2020215644A1 (zh) * 2019-04-22 2020-10-29 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110211064B (zh) * 2019-05-21 2022-11-18 华南理工大学 一种基于边缘引导的混合退化文本图像恢复方法
CN110211064A (zh) * 2019-05-21 2019-09-06 华南理工大学 一种基于边缘引导的混合退化文本图像恢复方法
CN110675333A (zh) * 2019-08-26 2020-01-10 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110675333B (zh) * 2019-08-26 2023-04-07 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN110647934A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110647934B (zh) * 2019-09-20 2022-04-08 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110689558A (zh) * 2019-09-30 2020-01-14 清华大学 多传感器图像增强方法及装置
CN110689558B (zh) * 2019-09-30 2022-07-22 清华大学 多传感器图像增强方法及装置
US11568518B2 (en) 2019-12-11 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
WO2021134874A1 (zh) * 2019-12-31 2021-07-08 深圳大学 二维码去摩尔纹的深度残差网络的训练方法
CN111476745A (zh) * 2020-01-13 2020-07-31 杭州电子科技大学 一种进行运动模糊超分辨的多分支网络及方法
CN111462041B (zh) * 2020-03-02 2023-05-05 北京东软医疗设备有限公司 图像处理方法、装置、设备及存储介质
CN111462041A (zh) * 2020-03-02 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、设备及存储介质
CN113365107A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN113365107B (zh) * 2020-03-05 2024-05-10 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111598808A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN111598808B (zh) * 2020-05-18 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及其训练方法
CN111914947B (zh) * 2020-08-20 2024-04-16 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
US20210383505A1 (en) * 2020-09-03 2021-12-09 Nvidia Corporation Image enhancement using one or more neural networks
CN112634153B (zh) * 2020-12-17 2023-10-20 中山大学 一种基于边缘增强的图像去模糊方法
CN112634153A (zh) * 2020-12-17 2021-04-09 中山大学 一种基于边缘增强的图像去模糊方法
CN112652000A (zh) * 2020-12-30 2021-04-13 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112652000B (zh) * 2020-12-30 2024-05-24 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112950476A (zh) * 2021-03-12 2021-06-11 广州冠图视觉科技有限公司 一种用于提高图片分辨率和清晰度的方法
CN113177896A (zh) * 2021-05-20 2021-07-27 中国人民解放军国防科技大学 基于多路径精化融合神经网络的图像去除模糊方法
CN113177896B (zh) * 2021-05-20 2022-05-03 中国人民解放军国防科技大学 基于多路径精化融合神经网络的图像去除模糊方法
CN113421188B (zh) * 2021-06-18 2024-01-05 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113379641B (zh) * 2021-06-25 2022-09-16 南昌航空大学 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
CN113379641A (zh) * 2021-06-25 2021-09-10 南昌航空大学 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
CN114202461A (zh) * 2021-12-07 2022-03-18 中国科学院深圳先进技术研究院 一种高分辨率处理方法、装置以及计算机存储介质
CN115063298A (zh) * 2022-08-17 2022-09-16 中加健康工程研究院(合肥)有限公司 一种多重超分辨残差网络的pet超分辨率方法
CN115511767A (zh) * 2022-11-07 2022-12-23 中国科学技术大学 一种自监督学习的多模态图像融合方法及其应用
WO2024124432A1 (en) * 2022-12-14 2024-06-20 Intel Corporation Enhanced single feature local directional pattern (ldp) -based video post processing

Also Published As

Publication number Publication date
US20210166350A1 (en) 2021-06-03
US11928792B2 (en) 2024-03-12
WO2020015167A1 (zh) 2020-01-23
CN109345449B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN109345449A (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN111476745B (zh) 一种进行运动模糊超分辨的多分支网络及方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN109272447A (zh) 一种深度图超分辨率方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN106127696A (zh) 一种基于bp神经网络拟合运动场的图像去除反射方法
Wang et al. Image super-resolution using a improved generative adversarial network
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN111696033A (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN115965559A (zh) 面向森林场景的一体化航拍图像增强方法
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN108989731A (zh) 一种提高视频空间分辨率的方法
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Wang et al. MSF-net: Multi-scale feedback reconstruction for guided depth map super-resolution
CN109087247B (zh) 一种对立体图像进行超分的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant