CN109993701B - 一种基于金字塔结构的深度图超分辨率重建的方法 - Google Patents
一种基于金字塔结构的深度图超分辨率重建的方法 Download PDFInfo
- Publication number
- CN109993701B CN109993701B CN201910278790.2A CN201910278790A CN109993701B CN 109993701 B CN109993701 B CN 109993701B CN 201910278790 A CN201910278790 A CN 201910278790A CN 109993701 B CN109993701 B CN 109993701B
- Authority
- CN
- China
- Prior art keywords
- resolution
- residual
- depth map
- dense
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000009467 reduction Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于金字塔结构的深度图超分辨率重建的方法,将图像输入由若干个残差密集块组成的卷积神经网络,采用从粗到细的方式,利用卷积神经网络的级联来产生高分辨率图像。本发明能够生成高质量的高分辨率深度图。
Description
技术领域
本发明涉及图像处理领域,特别是一种基于金字塔结构的深度图超分辨率重建的方法。
背景技术
深度图超分辨率重建技术是指在现有深度相机硬件系统条件不变的前提下,利用重建算法恢复出图像的高频信息,并有效地抑制随机噪声以及成像过程中的模糊现象,重建出高质量的超分辨率深度图。从数学理论角度分析,超分辨重建技术的求解过程是一个病态问题,重建过程需要将场景附加信息作为先验知识以解决病态优化问题。传统的基于插值的放大方法,双线性插值和双立方插值等,使用固定的数学计算公式,对低分辨率图像当中的邻域像素信息进行加权平均,计算出放大的高分辨图像中所缺失的中间像素,但是这种简单的插值算法不会产生更多具有高频信息的图像细节,而且会导致生成的图像中产生模糊伪像。
用于深度图超分辨率的方法有许多,大体上可以按以下方法划分:传统与深度学习方法,单张深度图超分辨率重建或利用彩色图作为指导的深度图超分辨率重建。由于传统方法需要人工提取特征,计算复杂度高,而且彩色图像和深度图不一定成对出现,再加上深度图的纹理,边缘等不如彩色图像的复杂,因此彩色图像的超分辨率算法不一定适合对深度图进行超分辨率重建。
用于单张深度图超分辨重建的深度学习方法有许多,大体上可以分为以下两类:
1、先对输入的低分辨率图像利用双三性插值等方法进行上采样,然后将上采样后的图像作为深度卷积神经网络的输入,经过深度卷积神经网络的处理后输出高分辨率深度图。
2、输入为低分辨率的深度图,经过神经网络的计算后,只对得到的特征进行一次反卷积操作,得到高分辨率的深度图。
但是对低分辨率深度图进行简单插值后,可能会引入新的噪声;且插值后的图像增加深度卷积神经网络的计算量,该方法耗时费力。并且只进行一次反卷积操作可能导致深度卷积神经网络无法学习到复杂的映射,且由于低分辨率图像受到空间分辨率的限制,无法提供足够的用于高分辨率图像重建的信息。
发明内容
有鉴于此,本发明的目的是提出一种基于金字塔结构的深度图超分辨率重建的方法,能够生成高质量的高分辨率深度图。
本发明采用以下方案实现:一种基于金字塔结构的深度图超分辨率重建的方法,将图像输入由log2s个残差密集块组成的卷积神经网络,采用从粗到细的方式,利用卷积神经网络的级联来产生高分辨率图像。
进一步地,所述残差密集块包括两个部分,分别为特征表示学习与图像重建。
进一步地,所述特征表示学习包括以下步骤:
步骤S11:浅层特征提取;
步骤S12:残差密集特征学习;
步骤S13:反卷积层上采样;
步骤S14:残差学习。
进一步地,步骤S12具体为:先对提取出的浅层特征进行密集特征学习,以获得高层次、抽象的特征,然后使用1×1大小的卷积核对获得的密集特征进行降维,降维后的特征再经过两个卷积层的学习,最后与相加构成残差密集块;表达式如下:
上式中,{}表示对特征在通道上进行级联操作,L表示密集特征学习里的卷积层数目,表示密集特征学习里第l卷积层得到的特征,表示密集特征学习里第l卷积层的卷积核,表示密集特征学习里第l卷积层的偏置项,表示对密集特征学习得到的特征进行降维后的特征,表示降维层的卷积核,表示降维层的偏置项,表示降维后第一层卷积层的卷积核,表示降维后第二层卷积层的卷积核,表示降维后第一层卷积层的偏置项,表示降维后第二层卷积层的偏置项,表示残差密集特征,表示残差学习的卷积核,表示残差学习的偏置项。密集网络的连接方式有助于网络学习多层次、多尺度的特征。
进一步地,所述图像重建包括以下步骤:
与现有技术相比,本发明有以下有益效果:
1、本发明的深度卷积神经网络能充分利用各种层次与尺度的特征,学习低分辨率深度图与高分辨率深度图间的复杂映射关系,最终达到生成高质量的高分辨率深度图的效果。
2、本发明的深度卷积神经网络由于采样了金字塔型的结构,因此一次前向传播就能生成多种尺度的深度图,所以网络更加灵活。
3、本发明的深度卷积神经网络的输入仅需低分辨率深度图,并且不要求对其预处理,能实现端到端的学习,既大大简化了计算,又不会引入噪声。
附图说明
图1为本发明实施例的原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于金字塔结构的深度图超分辨率重建的方法,将图像输入由log2s个残差密集块组成的卷积神经网络,采用从粗到细的方式,利用卷积神经网络的级联来产生高分辨率图像。
在本实施例中,所述残差密集块包括两个部分,分别为特征表示学习与图像重建。
在本实施例中,所述特征表示学习包括以下步骤:
步骤S11:浅层特征提取;
步骤S12:残差密集特征学习;
步骤S13:反卷积层上采样;
步骤S14:残差学习。
在本实施例中,步骤S12具体为:先对提取出的浅层特征进行密集特征学习,以获得高层次、抽象的特征,然后使用1×1大小的卷积核对获得的密集特征进行降维,降维后的特征再经过两个卷积层的学习,最后与相加构成残差密集块;表达式如下:
上式中,{}表示对特征在通道上进行级联操作,L表示密集特征学习里的卷积层数目,表示密集特征学习里第l卷积层得到的特征,表示密集特征学习里第l卷积层的卷积核,表示密集特征学习里第l卷积层的偏置项,表示对密集特征学习得到的特征进行降维后的特征,表示降维层的卷积核,表示降维层的偏置项,表示降维后第一层卷积层的卷积核,表示降维后第二层卷积层的卷积核,表示降维后第一层卷积层的偏置项,表示降维后第二层卷积层的偏置项,表示残差密集特征,表示残差学习的卷积核,表示残差学习的偏置项。密集网络的连接方式有助于网络学习多层次、多尺度的特征。
在本实施例中,所述图像重建包括以下步骤:
本实施例设计了一种使用金字塔结构用于深度图超分辨率的深度卷积神经网络,该网络能实现端到端训练,采用的网络灵活性高,速度快,内存暂用低。同时,本实施例使用残差密集连接的方式,能有效地学习低分辨率深度图与高低分辨率深度图的映射关系。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (6)
1.一种基于金字塔结构的深度图超分辨率重建的方法,其特征在于:将图像输入由log2s个残差密集块组成的卷积神经网络,采用从粗到细的方式,利用卷积神经网络的级联来产生高分辨率图像;所述残差密集块包括两个部分,分别为特征表示学习与图像重建;
所述特征表示学习包括以下步骤:
步骤S11:浅层特征提取;
步骤S12:残差密集特征学习;
步骤S13:反卷积层上采样;
步骤S14:残差学习;
步骤S12具体为:先对提取出的浅层特征进行密集特征学习,以获得高层次、抽象的特征,然后使用1×1大小的卷积核对获得的密集特征进行降维,降维后的特征再经过两个卷积层的学习,最后与相加构成残差密集块;表达式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910278790.2A CN109993701B (zh) | 2019-04-09 | 2019-04-09 | 一种基于金字塔结构的深度图超分辨率重建的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910278790.2A CN109993701B (zh) | 2019-04-09 | 2019-04-09 | 一种基于金字塔结构的深度图超分辨率重建的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109993701A CN109993701A (zh) | 2019-07-09 |
CN109993701B true CN109993701B (zh) | 2022-06-21 |
Family
ID=67131180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910278790.2A Expired - Fee Related CN109993701B (zh) | 2019-04-09 | 2019-04-09 | 一种基于金字塔结构的深度图超分辨率重建的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993701B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402128A (zh) * | 2020-02-21 | 2020-07-10 | 华南理工大学 | 一种基于多尺度金字塔网络的图像超分辨率重建方法 |
CN111487573B (zh) * | 2020-05-18 | 2021-03-23 | 厦门大学 | 一种用于磁共振欠采样成像的强化型残差级联网络模型 |
CN113538229B (zh) * | 2021-05-28 | 2023-12-12 | 华南师范大学 | 基于特征循环融合的多帧红外图像超分辨率方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105917354A (zh) * | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
US10303977B2 (en) * | 2016-06-28 | 2019-05-28 | Conduent Business Services, Llc | System and method for expanding and training convolutional neural networks for large size input images |
-
2019
- 2019-04-09 CN CN201910278790.2A patent/CN109993701B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
Non-Patent Citations (2)
Title |
---|
Deep recursive super resolution network with Laplacian Pyramid for better agricultural pest surveillance and detection;Yue, Y 等;《Computers & Electronics in Agriculture》;20181231;第1卷;全文 * |
基于深度网络分级特征图的图像超分辨率重建;张一帆 等;《云南民族大学学报》;20190228(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109993701A (zh) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403415B (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
CN101639938B (zh) | 一种基于双边滤波器和余量去卷积的图像复原方法 | |
Zhao et al. | Unsupervised degradation learning for single image super-resolution | |
CN110738605A (zh) | 基于迁移学习的图像去噪方法、系统、设备及介质 | |
CN108416752A (zh) | 一种基于生成式对抗网络进行图像去运动模糊的方法 | |
CN116051428B (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
CN110610526B (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
Liu et al. | Multi-scale grid network for image deblurring with high-frequency guidance | |
CN111899176B (zh) | 一种视频图像增强方法 | |
CN112669214A (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
CN107392986B (zh) | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 | |
CN114331886A (zh) | 一种基于深度特征的图像去模糊方法 | |
CN108492270A (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220621 |