[go: up one dir, main page]

CN108596841B - 一种并行实现图像超分辨率及去模糊的方法 - Google Patents

一种并行实现图像超分辨率及去模糊的方法 Download PDF

Info

Publication number
CN108596841B
CN108596841B CN201810307856.1A CN201810307856A CN108596841B CN 108596841 B CN108596841 B CN 108596841B CN 201810307856 A CN201810307856 A CN 201810307856A CN 108596841 B CN108596841 B CN 108596841B
Authority
CN
China
Prior art keywords
image
deblurring
resolution
branch
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810307856.1A
Other languages
English (en)
Other versions
CN108596841A (zh
Inventor
王飞
张康龙
张昕昳
韦昭
谷宇
祝捷
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810307856.1A priority Critical patent/CN108596841B/zh
Publication of CN108596841A publication Critical patent/CN108596841A/zh
Application granted granted Critical
Publication of CN108596841B publication Critical patent/CN108596841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种并行实现图像超分辨率及去模糊的方法，在获取到适合的数据集后，通过特别设计的、带有特征信息桥接的编码‑解码神经网络模块快速提取到输入图像特征，并将输出的特征图同时作为图像超分辨率分支和去模糊分支分别进行相关任务处理，不仅减少了运算量，同时，在训练网络的时，本发明提出的两条分支网络能够在不同程度上对共享特征图做出激励，使得超分辨率分支和去模糊分支的效果均有提升。

Description

一种并行实现图像超分辨率及去模糊的方法
技术领域
本发明属于计算机视觉与图像处理领域，特别涉及一种并行实现图像超分辨率及去模糊的方法。
背景技术
近年来，随着深度学习技术的日渐发展与成熟，图像超分辨率以及图像去模糊算法研究受到了越来越多的关注，在算法方面也有了很大的进步。
图像超分辨率的目的是从低分辨率图像还原出高分辨率图像，它不仅可以生成令人满意的高分辨率的图像，同时也可以为类似目标检测、人脸识别等更深层次图像处理过程提供更高品质的图像源。然而，长时间的探索发现，相机抖动、失焦、湍流等现象严重阻碍图像超分辨率方法研究。
图像去模糊是一种从高度模糊的图像还原出清晰图像的方法，高斯模糊是一种常见的图像退化模型，主要由飞行器高速运动产生的湍流产生。近年来随着深度神经网络技术的成熟，该技术也被应用到图像去模糊领域。与图像超分辨率方法研究一样，图像去模糊可以为更高级别的图像处理任务提供更高品质的图像源。
现有的图像去模糊算法难以估量出适合全图的模糊内核，另一方面，现有的图像超分辨率方法会遗失图像的高频细节，当试图将这两个任务结合时效果反而会更差。
发明内容
本发明的目的在于提供一种并行实现图像超分辨率及去模糊的方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种并行实现图像超分辨率及去模糊的方法，包括以下步骤：
步骤一：获取图像数据集，对图像数据集预处理；在每幅训练集图像上随机裁取图像块并做随机翻转处理后，作为神经网络超分辨率分支的训练真值，将裁剪到的图像块经插值缩放作为神经网络去模糊分支的训练真值，再人工对其进行图像模糊处理，并将最后得到的图像作为神经网络的输入；
步骤二：搭建神经网络，采用基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征，并用两分支结构分别实现图像去模糊和超分辨率任务；
步骤三：模型训练，利用预处理的训练集图像对搭建好的神经网络进行训练，获得最优解模型；
步骤四：模型测试，训练好神经网络模型之后即可对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理。
进一步的，图像数据集为高清图像数据集，用以作为真值。
进一步的，步骤二中，用来提取特征的神经网络模块采取编码-解码结构，最大限度的提取图像特征，并能够将特征图恢复到输入图像大小。
进一步的，编码-解码结构模块包括由一个直接对输入进行处理的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由上卷积层、卷积层构成的解码单元。
进一步的，为编码-解码结构模块添加编码器和解码器之间的多重桥接。
进一步的，步骤二中，两分支结构包括图像超分辨率分支和去模糊分支，两路分支共享编码-解码模块输出的特征图。
进一步的，图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层，前者进一步对编码-解码模块的特征图进行优化处理，后者用来进行图像放大。
进一步的，图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理。
进一步的，图像超分辨率分支采用的损失函数为MSE损失函数，所述图像去模糊分支采用的损失函数为Charbonnier补偿函数，整个网络的损失函数定义为L＝Lsr+a*Ldb，其中L为总的损失函数，Lsr指超分辨率分支的MSE损失，Lab指去模糊分支的Charbonnier补偿函数损失，ɑ为两个损失间的权重。
进一步的，步骤三中的训练方法采用ADAM优化进行训练，Epochs数设为120，学习率设为0.0005，每30个epoch学习率变为之前的0.5倍，Batch size设为32，损失函数间的权重ɑ设为0.2。
与现有技术相比，本发明有以下技术效果：
本发明的基于深度学习的并行实现图像超分辨率及图像去模糊的方法，将图像处理的两个任务合二为一，极大的减少了运算量，通过编码-解码模块可以快速提取输入图像特征，并输出超分辨率分支与去模糊分支共享的特征图。在训练过程中，由于两条分支共享特征图，进行反向传播更新权重时，去模糊分支可以激励共享特征图生成更多的细节信息，从而指导超像素分支更好的还原更高像素的图像，而超像素分支则可以激励共享特征图包含更多的高频信息，使特征图更加锐化，从而令去模糊分支的输出更加清晰。
附图说明
图1为本发明神经网络架构流程图；
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1，一种并行实现图像超分辨率及去模糊的方法，利用特别设计的卷积神经网络编码-解码模块提取输入图像特征，再分别经过图像去模糊分支和图像超分辨率分支，并行实现图像超分辨率和图像去模糊任务。
根据本发明的一种实施方式，主要包括以下步骤：
步骤一：图像数据集预处理，如DIV 2K高清图像数据集，在每幅训练集图像上随机裁取图像块并做随机翻转处理后，作为神经网络超分辨率分支的训练真值，将裁剪到的图像块经插值缩放作为神经网络去模糊分支的训练真值，再人工对其添加高斯核进行图像模糊处理，并加入0.1水平的高斯噪声，将最后得到的图像作为神经网络的输入。
步骤二：构建神经网络，采用一种基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征，并发明一种两分支结构分别实现图像去模糊和超分辨率任务。
其中，编码-解码单元能够最大限度的提取图像特征，并能够将特征图恢复到输入图像大小。由一个直接对输入进行处理的3×3卷积核的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由3个上卷积层、3个卷积层构成的解码单元，其中，每个残差网络块包含两个去除BN层的卷积层，采用ReLU激活函数，然后整个block首尾串接构成。同时，为编码-解码结构模块添加编码器和解码器之间的多重桥接，如图1所示，以实现特征信息的快速传递及特征提取网络的快速收敛。
两分支结构包括图像超分辨率分支和去模糊分支，两路分支共享编码-解码模块输出的特征图。其中，图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层，前者进一步对编码-解码模块的特征图进行优化处理，后者用来进行图像放大。图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理。
此外，图像超分辨率分支采用的损失函数为MSE损失函数，所述图像去模糊分支采用的损失函数为Charbonnier补偿函数，整个网络的损失函数定义为L＝Lsr+a*Ldb，其中L为总的损失函数，Lsr指超分辨率分支的MSE损失，Ldb指去模糊分支的Charbonnier补偿函数损失，ɑ为两个损失间的权重。
步骤三：模型训练，利用经过预处理的训练集图像对搭建好的神经网络进行训练，获得最优解模型，训练方法采用ADAM优化进行训练，Epochs数设为120，学习率设为0.0005，每30个epoch学习率变为之前的0.5倍，Batch size设为32，损失函数间的权重ɑ设为0.2。
步骤四：模型测试，训练好神经网络模型之后即可对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理。
神经网络收敛后的模型以低分辨率模糊图像作为输入，同时输出还原出的高分辨率图像以及去模糊后的图像。

Claims (6)

1.一种并行实现图像超分辨率及去模糊的方法，其特征在于，包括以下步骤：
步骤一：获取图像数据集，图像数据集包括训练集、验证集以及测试集，训练集用于训练神经网络模型，验证集用于在训练过程中对模型进行验证，评估模型收敛以及泛化效果，测试集用于在训练结束后，对模型的最终性能按照一定的指标做出评价；
步骤二：对训练集进行预处理；在每幅训练集图像上随机裁取图像块，再对得到的图像块进行随机翻转处理，将翻转后的图像块作为神经网络超分辨率分支的训练真值，将翻转后的图像块进一步进行插值缩放后作为神经网络去模糊分支的训练真值，再人工对神经网络去模糊分支的训练真值进行图像模糊处理，并将最后得到的图像作为神经网络的输入；
步骤三：搭建神经网络，采用基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征，并用两分支结构分别实现图像去模糊和超分辨率任务；
步骤四：模型训练，利用预处理的训练集图像对搭建好的神经网络进行训练，获得最优解模型；
步骤五：模型测试，训练好神经网络模型之后对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理；
步骤三中，两分支结构包括图像超分辨率分支和去模糊分支，两路分支共享编码-解码模块输出的特征图；
图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层，前者进一步对编码-解码模块的特征图进行优化处理，后者用来进行图像放大；
图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理；
图像超分辨率分支采用的损失函数为MSE损失函数，所述图像去模糊分支采用的损失函数为Charbonnier补偿函数，整个网络的损失函数定义为L＝Lsr+a*Ldb，其中L为总的损失函数，Lsr指超分辨率分支的MSE损失，Ldb指去模糊分支的Charbonnier补偿函数损失，ɑ为两个损失间的权重。
2.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法，其特征在于，图像数据集为高清图像数据集。
3.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法，其特征在于，步骤三中，用来提取特征的神经网络模块采取编码-解码结构，最大限度的提取图像特征，并能够将特征图恢复到输入图像大小。
4.根据权利要求3所述的一种并行实现图像超分辨率及去模糊的方法，其特征在于，编码-解码结构模块包括由一个直接对输入进行处理的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由上卷积层、残差网络块构成的解码单元；BN层为BatchNormalization层。
5.根据权利要求3所述的一种并行实现图像超分辨率及去模糊的方法，其特征在于，为编码-解码结构模块添加编码器和解码器之间的多重桥接。
6.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法，其特征在于，步骤四中的训练方法采用ADAM优化进行训练，Epochs数设为120，学习率设为0.0005，每30个epoch学习率变为之前的0.5倍，Batch size设为32，损失函数间的权重ɑ设为0.2。
CN201810307856.1A 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法 Active CN108596841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810307856.1A CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810307856.1A CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Publications (2)

Publication Number Publication Date
CN108596841A CN108596841A (zh) 2018-09-28
CN108596841B true CN108596841B (zh) 2021-01-19

Family

ID=63621323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810307856.1A Active CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Country Status (1)

Country Link
CN (1) CN108596841B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109949240B (zh) * 2019-03-11 2021-05-04 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109978764B (zh) * 2019-03-11 2021-03-02 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110163801B (zh) * 2019-05-17 2021-07-20 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
KR102410907B1 (ko) * 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111986069A (zh) * 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
KR20210020387A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111369460B (zh) * 2020-03-03 2023-06-20 大连厚仁科技有限公司 基于admm神经网络的图像去模糊方法
CN111920436A (zh) * 2020-07-08 2020-11-13 浙江大学 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法
CN113065997B (zh) * 2021-02-27 2023-11-17 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113628260B (zh) * 2021-07-05 2024-08-06 中国科学院深圳先进技术研究院 一种图像配准方法、装置、终端设备和存储介质
WO2024065070A1 (zh) * 2022-09-26 2024-04-04 之江实验室 一种基于图聚类的基因编码育种预测方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections;Xiao-Jiao Mao等;《arXiv》;20160830;第1-17页 *
Learning to Super-Resolve Blurry Face and Text Images;Xiangyu Xu等;《Proceedings of the IEEE International Conference on Computer Vision》;20171231;第251-260页 *
一种基于神经网络的人脸图像超分辨率重构算法;高志荣等;《中南民族大学学报(自然科学版)》;20160331;第35卷(第1期);第114-118页 *

Also Published As

Publication number Publication date
CN108596841A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
US11928792B2 (en) Fusion network-based method for image super-resolution and non-uniform motion deblurring
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN111709895B (zh) 基于注意力机制的图像盲去模糊方法及系统
CN109978762B (zh) 一种基于条件生成对抗网络的超分辨率重建方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN111340744A (zh) 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN112200724A (zh) 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统
CN116895037B (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN106447609A (zh) 一种基于深度卷积神经网络的图像超分辨方法
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN115375540A (zh) 一种基于深度学习算法的太赫兹图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant