[go: up one dir, main page]

CN110349087B - 基于适应性卷积的rgb-d图像高质量网格生成方法 - Google Patents

基于适应性卷积的rgb-d图像高质量网格生成方法 Download PDF

Info

Publication number
CN110349087B
CN110349087B CN201910609314.4A CN201910609314A CN110349087B CN 110349087 B CN110349087 B CN 110349087B CN 201910609314 A CN201910609314 A CN 201910609314A CN 110349087 B CN110349087 B CN 110349087B
Authority
CN
China
Prior art keywords
network
convolution
image
adaptive
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910609314.4A
Other languages
English (en)
Other versions
CN110349087A (zh
Inventor
张东九
冼楚华
杨煜
钱锟
李桂清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910609314.4A priority Critical patent/CN110349087B/zh
Publication of CN110349087A publication Critical patent/CN110349087A/zh
Application granted granted Critical
Publication of CN110349087B publication Critical patent/CN110349087B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于适应性卷积的RGB‑D图像高质量网格生成方法，包括步骤：1)构建训练数据集；2)数据扩增和归一化；3)构建适应卷积层；4)构建深度图像补全网络和超分辨率网络并进行训练；5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。本发明构建的数据集弥补了当前在深度图像补全领域缺乏高质量的大规模的数据集的问题；使用编码解码结构以及跨层连接结构，能够有效将数据中的低层特征和高层特征融合起来，同时避免了参数的冗余；使用适应性卷积结构能有效解决当前方法难以产生高质量的完整的深度图像的问题。本发明能解决当前kinect获取到的数据精度低，缺失区域大的问题。

Description

基于适应性卷积的RGB-D图像高质量网格生成方法
技术领域
本发明涉及高质量三维网格生成的技术领域，尤其是指一种基于适应性卷积的RGB-D图像高质量网格生成方法。
背景技术
随着深度传感器在自动驾驶、增强现实、室内导航、安全支付以及场景重建等领域的大量应用，对于高精度的深度信息的获取以及后续高质量三维重建结果的需求变得愈发重要。尽管最近在深度感应技术上已经取得很大的进展，但在一方面商品级RGB-D相机比如Microsoft Kinect，Intel RealSense和Google Tango等设备仍然存在当被采集表面过于光滑，高光，太过纤细，太过靠近或者远离相机等因素影响下，采集到的深度图像会经常出现深度数据的缺失。而这些情况又在较大的房间，条状物体和强光照射的场景下频繁出现。即使在家中，深度图像也通常缺少超过50％的像素。在另一方面，受限于深度摄像机较低的分辨率，通过传感器数据重建出的点云太过稀疏。这些深度传感器扫描所得到的原始数据可能不太适合上述如三维重建应用的使用。
高质量网格数据快速生成主要有两个关键部分：首先，数据补全，即恢复出因各种不利因素带来的深度数据的缺失。然后，数据超分辨率，即从上一步的到的低分辨率的完整的点云数据生成高分辨率的点云数据。最后，进一步由点云数据生成网格数据。
许多基于传统方法的室内RGB-D数据补全以及超分辨率的方法效果都不尽人意，而最近，少数基于深度学习的方法有一定的效果，但有以下几个主要缺点：1)非端到端的学习导致方法不能做到实时；2)卷积较大的感受野造成边缘信息的破坏。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于适应性卷积的RGB-D图像高质量网格生成方法，该方法利用深度学习策略，构建卷积神经网络，将局部特征以及全局特征结合，并在学习的过程中引入适应性卷积，避免了边缘信息被破坏的情况下有效实现高质量室内网格数据的快速生成。
为实现上述目的，本发明所提供的技术方案为：基于适应性卷积的RGB-D图像高质量网格生成方法，包括以下步骤：
1)构建训练数据集；
2)数据扩增和归一化；
3)构建适应性卷积层；
4)构建深度图像补全网络和超分辨率网络并进行训练；
5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。
在步骤1)中，获取基础数据，包括RGBD数据集NYU-DATASET和RGBD-SCENE-DATASET，NYU-DATASET、RGBD-SCENE-DATASET两个数据包含用kinect v1获取到的室内场景彩色图像IRGB和与之对应的带缺失的深度图像IDinc，并用基于泊松方程和稀疏矩阵的方法对带缺失的深度图像做修复，得到完整的深度图像IDc用于训练。
在步骤2)中，数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据；数据归一化是指对彩色图像，将所有图像像素值缩放到0-1之间，对深度图像，作如下处理：
Figure GDA0002819763160000021
其中，
Figure GDA0002819763160000022
分别代表归一化之前的深度图像中像素的最小值和最大值。
在步骤3)中，构建适应性卷积层，其适应性卷积的操作如下：
Figure GDA0002819763160000031
Figure GDA0002819763160000032
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作，b为偏差，⊙代表按元素相乘操作，Ψ(Mi)为权值正则项；
适应性卷积层给予图像不同区域不同的权重，能让深度网络更好的学习到图像中的有效特征；对于语义填充网络Netfill、边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同，具体如下：
对于语义填充网络Netfill：
Figure GDA0002819763160000033
其中，判断xj是否有效的依据是在当前特征中，xj的像素值是否为0；
对于边缘增强网络Netrefine：
Figure GDA0002819763160000034
其中，判断xj是否有效的依据是在当前RGB图像中，xj与相应滑动窗口中心的像素差异是否小于5个像素值；
对于超分辨率网络Netsr：
Figure GDA0002819763160000035
在步骤4)中，分别构建用于补全任务的深度图像补全网络和用于超分辨率任务的超分辨率网络并进行训练，具体如下：
a、深度图像补全网络
补全网络采用了多尺度编码解码网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的标准卷积由适应性卷积替换；
对于语义填充网络Netfill，输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout，然后将IDout以及彩色图像IRGB一并输入边缘增强网络Netrefine进行精炼调整，最终得到缺失修复结果Irepair,输出张量形式与输入图像尺寸相同；网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为10:1；
语义填充网络Netfill采用U型神经网络(U-Net)作为基础结构，网络包括编码器及解码器两部分，编码器用于对图像信息进行编码和特征空间的转换，解码器用于高位信息的解码，两部分均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并采用leaky-relu作为激活函数，卷积核尺寸分别为7*7、5*5、3*3、3*3、3*3，卷积步长全部为2，每经过一层特征高和宽都降为原来一半，并在输入图像的边界做补0处理；卷积核个数分别为16,32,64,128,128；通过不断地在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复；
解码器同样为5层结构，每层包含上采样、特征拼接、适应性卷积以及批量正则化四个操作，采用leaky relu作为激活函数，编码器和解码器之间进行跨层连接，即每个编码器的输出都与解码器上采样后相同尺寸的特征图输出进行复制拼接，并作为解码器的输入，具体是：每个解码器层先将上一层的输入做上采样以后，和与之对应的尺寸相同的编码器特征进行拼接之后，输入当前适应性卷积进行特征学习，卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1；
网络最后一层为卷积核尺寸为1*1的卷积层，用于特征的通道变换以及数值区间映射；
b、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法，并使用曼哈顿距离作为损失函数进行优化；
对于超分辨率网络Netsr，采用密集连接块(dense block)为基础结构，通过亚像素卷积进行上采样，将所有标准卷积替换为适应性卷积，网络最后一层使用1*1卷积用于通道调整；网络使用五个密集连接块进行特征的提取，每个密集连接块都使用两次适应性卷积，卷积核的大小都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64；将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入；通过不断融合从低维到高维的特征来使网络学习到更丰富的信息；亚像素卷积的上采样因子为4，在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数；
c、对构建好的网络进行训练
对构建好的网络设计相应的损失函数，使用Adam方法对损失函数进行优化，最终得到训练完成的网络。
在步骤5)中，将经过神经网络修补好的高分辨率的点云数据，用滚球法BallPivoting方法生成高质量的室内场景网格数据。
本发明与现有技术相比，具有如下优点与有益效果：
1、针对目前缺失公开高质量RGB-D数据集的情况，提出构建“高-低”质量的室内场景RGB-D图像数据集的方法。
2、针对消费级别或移动设备的深度相机获取的缺失的深度信息图，提出一个利用RGB彩色图像特征结合融合卷积操作的深度信息图修复算法。
3、针对低质量、高噪音的深度图像，提出一个利用RGB彩色图像语义信息来进行去噪和增强特征的方法。
4、提出一个融合RGB彩色图像语义特征、基于点云的卷积网络进行深度图像超分辨率重建的方法。
附图说明
图1为本发明逻辑流程示意图。
图2为语义填充网络的架构图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于适应性卷积的RGB-D图像高质量的网格生成方法，包含以下步骤：
步骤1、构建训练数据集
1.1构建室内场景补全数据集DatabaseCompletion
采用的纽约大学的开放数据集里有着超过十万组室内场景的RGBD图像，从https://cs.nyu.edu/～silberman/datasets/nyu_depth_v2.html网站中收集RGBD图像，9000≤NRGBD≤10000，其分辨率为640*480，其RGBD图像包含彩色图像IRGB、残缺的深度图像IDinc并用Anat Levin's的colorization方法对带缺失的深度图像做修复得到完整的深度图像IDc。首先对将深度图像和RGB图像对齐以及降噪之后对RGBD数据的四周进行裁切，得到557*423分辨率的图像。随后，对数据集内所有数据提取掩码构建掩码图像集MaskDepth：
Figure GDA0002819763160000071
式中，
Figure GDA0002819763160000072
是其中的深度图像相对应缺失信息的掩码；
上述生成的IDinc并与对应的IRGB以及IDc组成新的训练数据，进而构建起补全任务训练数据集。
1.2构建室内场景超分辨率数据集DatabaseSR
从http://rgbd-dataset.cs.washington.edu/dataset/rgbd-scenes-v2/采集两组内容相同的深度图M对，每队图像的下采样因子为4x。一组位低分辨率深度图ILR，另一组为高分辨率深度图IHR，并对图片对水平翻转已进行数据扩增，最终得到24000～25000对数据对。
步骤2、数据扩增和归一化
数据扩增包括水平翻转和对深度图像缺失区域进行膨胀操作，以得到不同缺失比例的训练数据。
对于彩色图像IRGB，统一作除以255处理，将像素值缩放到0～1之间。而对于深度图像IDinc，首先作降噪处理，将深度值在200以下以及40000以上的置零。对每张图像单独计算最小值
Figure GDA0002819763160000073
以及最大值
Figure GDA0002819763160000074
然后作以下处理：
Figure GDA0002819763160000075
步骤3、构建适应性卷积层
本文核心为构建合适的适应性卷积层来替换标准卷积以更好的服务于本任务。适应性卷积层的流程如下：
Figure GDA0002819763160000081
Figure GDA0002819763160000082
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作,b为偏差，⊙代表按元素相乘操作，Ψ(Mi)为权值正则项。适应性卷积给与不同区域不同的权重，相比传统卷积让网络更好的学习到有效特征。对于语义填充网络Netfill，边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同。计算方式如下。
对于语义填充网络Netfill：
Figure GDA0002819763160000083
其中，判断xj是否有效的依据是在当前特征中，xj的像素值是否为0。
对于边缘增强网络Netrefine：
Figure GDA0002819763160000084
其中，判断xj是否有效的依据是在当前RGB图像中中，xj与相应滑动窗口中心的像素差异是否小于5个像素值。
对于超分辨率网络Netsr：
Figure GDA0002819763160000085
步骤4、构建深度图像补全网络和超分辨率网络并进行训练
a、构建深度图像补全网络
深度图像补全网络采用了多尺度的编码解码结构网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的标准卷积由适应性卷积替换。
对于语义填充网络Netfill,输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout。然后再将IDout以及彩色图像Irgb一并输入Netrefine进行精炼调整，最终得到空洞填充结果IFill,输出张量形式同样为H*W*1。网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为1:10。
如图2所示，Netfill采用U-Net作为基础结构，编码器及解码器均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并用leaky-relu作为激活函数，卷积核尺寸分别为7*7,5*5,3*3,3*3,3*3，卷积步长全部为2，每经过一个编码层特征高和宽都降为原来一半，并在输入图像的边界做补0处理。卷积核个数分别为16,32,64,128,128。通过不断的在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复。
解码器同样为5层结构，每层包含上采样、特征拼接，适应性卷积以及正则化四个操作，同样采用leaky relu作为激活函数。每个解码器层先将上一层的输入做上采样以后和与之对应的尺寸相同的编码器中的特征进行拼接之后输入当前适应性卷积进行特征学习。卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1。
网络最后一层为卷积核尺寸为1*1的普通卷积层，同于特征的通道变换以及数值区间映射。
c、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法并使用曼哈顿距离作为损失函数进行优化。
对于超分辨率网络Netsr，输入补全网络得到的结果IFill，经过密集连接块的语义提取和亚像素卷积的上采样，得到高分辨率的完整的深度图像，并最终转化为网格。
超分辨率网络Netsr采用密集连接块为基础结构，通过亚像素卷积进行上采样。同样的，将所有标准卷积替换为适应性卷积。类似的，网络最后一层使用1*1卷积用于通道调整。模型使用五个密集连接块进行特征的提取，每个密集连接块都包含两次适应性卷积，卷积核的尺寸都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64。并将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入。通过不断的融合从低维到高维的特征来使网络学习到更丰富的信息。亚像素卷积的上采样因子为4，特征经过此层之后高和宽都变为原来的4倍。在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数。
训练神经网络：将数据集按7:2:1的比例划分为训练集、验证集和测试集，分别对补全网络以及超分辨率网络进行训练。利用验证集，对模型实时进行评估并计算评价指标，利用测试集对训练完毕的网络进行性能测试。所用设备处理器为英特尔i7-7700,显卡为英伟达1080ti；
针对补全任务，Netfill输入为深度图Iin，以批大小4和学习率0.001先训练一天，之后把学习率降为0.0001继续训练，整个过程耗时三天。训练过程以网络输出和真值之间的均方差为损失函数。Netrefine将输入Irgb提取的权值和Netfill对应的输入做对应元素想乘，并以固定参数的标准卷积核进行卷积，无可训练参数，执行较快。
针对超分辨率任务，Netsr的输入为Ilr,以批大小为8进行训练，学习率为0.0001。训练耗费200个批次模型达到收敛。
步骤5、将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格，具体如下：
将经过神经网络修补好的高分辨率的点云数据，用Ball Pivoting方法生成高质量的室内场景网格数据。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于，包括以下步骤：
1)构建训练数据集；
2)数据扩增和归一化；
3)构建适应性卷积层，其适应性卷积的操作如下：
Figure FDA0002819763150000011
Figure FDA0002819763150000012
其中，xi为张量中的某个点，xj为xi的邻域点，mj为xj对应的掩码，ω为标准卷积操作，b为偏差，⊙代表按元素相乘操作，Ψ(Mi)为权值正则项；
适应性卷积给予图像不同区域不同的权重，能让深度网络更好的学习到图像中的有效特征；对于语义填充网络Netfill、边缘增强网络Netrefine以及超分辨率网络Netsr，mj的计算方式各不相同，具体如下：
对于语义填充网络Netfill：
Figure FDA0002819763150000013
其中，判断xj是否有效的依据是在当前特征中，xj的像素值是否为0；
对于边缘增强网络Netrefine：
Figure FDA0002819763150000014
其中，判断xj是否有效的依据是在当前RGB图像中，xj与相应滑动窗口中心的像素差异是否小于5个像素值；
对于超分辨率网络Netsr：
Figure FDA0002819763150000021
4)构建深度图像补全网络和超分辨率网络并进行训练；
5)将测试数据依次输入两个训练好的网络中，输出修补好的高分辨率图片并进一步转化成高质量网格。
2.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤1)中，获取基础数据，包括RGBD数据集NYU-DATASET和RGBD-SCENE-DATASET，NYU-DATASET、RGBD-SCENE-DATASET两个数据包含用kinect v1获取到的室内场景彩色图像IRGB和与之对应的带缺失的深度图像IDinc，并用基于泊松方程和稀疏矩阵的方法对带缺失的深度图像做修复，得到完整的深度图像IDc用于训练。
3.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量网格生成方法，其特征在于：在步骤4)中，分别构建用于补全任务的深度图像补全网络和用于超分辨率任务的超分辨率网络并进行训练，具体如下：
a、深度图像补全网络
补全网络采用了多尺度编码解码网络进行构建，由语义填充网络Netfill以及边缘增强网络Netrefine两部分组成并依次顺序连接，其中，除最后一层之外所有的卷积由适应性卷积替换；
对于语义填充网络Netfill，输入带缺失的深度图像IDinc，其张量形式为H*W*1，其中，H为图像的高度，W为图像的宽度；经过Netfill语义补全之后得到完整深度图像IDout，然后将IDout以及彩色图像IRGB一并输入边缘增强网络Netrefine进行精炼调整，最终得到缺失修复结果Irepair,输出张量形式与输入图像尺寸相同；网络损失函数分别由缺失区域的损失和非缺失区域损失两部分构成，权值比例为10:1；
语义填充网络Netfill采用U型神经网络U-Net作为基础结构，网络包括编码器及解码器两部分，编码器用于对图像信息进行编码和特征空间的转换，解码器用于高位信息的解码，两部分均采用5层卷积神经网络架构；
编码器采用五层结构，每层分别包含适应性卷积以及批量正则化两个操作，并采用leaky-relu作为激活函数，卷积核尺寸分别为7*7、5*5、3*3、3*3、3*3，卷积步长全部为2，每经过一次适应性卷积，特征高和宽都降为原来一半，并在输入图像的边界做补0处理以消除卷积边缘区域的差异；卷积核个数分别为16,32,64,128,128；通过不断地在不同尺寸提取特征以对缺失区域进行填补，最终所有的缺失区域都将被修复；
解码器同样为5层结构，每层包含上采样、特征拼接、适应性卷积以及批量正则化四个操作，采用leaky relu作为激活函数，编码器和解码器之间进行跨层连接，即每个编码器的输出都与解码器上采样后相同尺寸的特征图输出进行复制拼接，并作为解码器的输入，具体是：每个解码器层先将上一层的输入做上采样以后，和与之对应的尺寸相同的编码器特征进行拼接之后，输入当前适应性卷积进行特征学习，卷积核尺寸全部为3*3，步长全部为1*1，卷积核个数分别为128,64,32,16,1；
网络最后一层为卷积核尺寸为1*1的标准卷积，用于特征的通道变换以及数值区间映射；
b、构建超分辨率网络
超分辨率任务采用了全局特征和局部特征相融合的方法，并使用曼哈顿距离作为损失函数进行优化；
对于超分辨率网络Netsr，采用密集连接块dense block为基础结构，通过亚像素卷积进行上采样，将所有标准卷积替换为适应性卷积，网络最后一层使用1*1卷积用于通道调整；网络使用五个密集连接块进行特征的提取，每个密集连接块都包含两次适应性卷积，卷积核的大小都为3*3，步长为1，并对输入四周进行补0以保持输入和输出的特征尺寸一致，卷积核的个数都为64；将密集连接块的输入与输出进行跨层连接，即把密集连接块的输入与输出进行特征维度的拼接之后作为下一个密集连接块的输入；通过不断融合从低维到高维的特征来使网络学习到更丰富的信息；亚像素卷积的上采样因子为4，在网络最后，有一个卷积核尺寸为1*1的标准卷积并以relu为激活函数；
c、对构建好的网络进行训练
对构建好的网络设计相应的损失函数，使用Adam方法对损失函数进行优化，最终得到训练完成的网络。
4.根据权利要求1所述的基于适应性卷积的RGB-D图像高质量的网格生成方法，其特征在于：在步骤5)中，将经过神经网络修补好的高分辨率的点云数据，用滚球法BallPivoting生成高质量的室内场景网格数据。
CN201910609314.4A 2019-07-08 2019-07-08 基于适应性卷积的rgb-d图像高质量网格生成方法 Expired - Fee Related CN110349087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609314.4A CN110349087B (zh) 2019-07-08 2019-07-08 基于适应性卷积的rgb-d图像高质量网格生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609314.4A CN110349087B (zh) 2019-07-08 2019-07-08 基于适应性卷积的rgb-d图像高质量网格生成方法

Publications (2)

Publication Number Publication Date
CN110349087A CN110349087A (zh) 2019-10-18
CN110349087B true CN110349087B (zh) 2021-02-12

Family

ID=68178224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609314.4A Expired - Fee Related CN110349087B (zh) 2019-07-08 2019-07-08 基于适应性卷积的rgb-d图像高质量网格生成方法

Country Status (1)

Country Link
CN (1) CN110349087B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091548B (zh) * 2019-12-12 2020-08-21 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路货车承载鞍错位故障图像识别方法及系统
CN111626929B (zh) * 2020-04-28 2023-08-08 Oppo广东移动通信有限公司 深度图像的生成方法及装置、计算机可读介质和电子设备
CN111915619A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种双特征提取与融合的全卷积网络语义分割方法
CN114693757A (zh) * 2020-12-29 2022-07-01 深圳市光鉴科技有限公司 空间神经网络深度补全方法、系统、设备及存储介质
CN112734825A (zh) * 2020-12-31 2021-04-30 深兰人工智能(深圳)有限公司 3d点云数据的深度补全方法和装置
CN113033645B (zh) * 2021-03-18 2024-12-13 南京大学 Rgb-d图像的多尺度融合深度图像增强方法及装置
CN114004754B (zh) * 2021-09-13 2022-07-26 北京航空航天大学 一种基于深度学习的场景深度补全系统及方法
CN117420209B (zh) * 2023-12-18 2024-05-07 中国机械总院集团沈阳铸造研究所有限公司 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
CN109087375A (zh) * 2018-06-22 2018-12-25 华东师范大学 基于深度学习的图像空洞填充方法
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
US10122994B2 (en) * 2016-11-11 2018-11-06 Disney Enterprises, Inc. Object reconstruction from dense light fields via depth from gradients
US10049463B1 (en) * 2017-02-14 2018-08-14 Pinnacle Imaging Corporation Method for accurately aligning and correcting images in high dynamic range video and image processing
US10497084B2 (en) * 2017-04-24 2019-12-03 Intel Corporation Efficient sharing and compression expansion of data across processing systems
CN108932550B (zh) * 2018-06-26 2020-04-24 湖北工业大学 一种基于模糊密集稀疏密集算法进行图像分类的方法
CN109064406A (zh) * 2018-08-26 2018-12-21 东南大学 一种正则化参数自适应的稀疏表示图像重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
CN109087375A (zh) * 2018-06-22 2018-12-25 华东师范大学 基于深度学习的图像空洞填充方法
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN109903372A (zh) * 2019-01-28 2019-06-18 中国科学院自动化研究所 深度图超分辨率补全方法及高质量三维重建方法与系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Real-time scene reconstruction and triangle mesh generation using multiple RGB-D cameras;Siim Meerits 等;《J Real-Time Image Proc》;20171118;第2247-2259页 *
三维网格模型特征向量水印嵌入;李世群 等;《图学学报》;20170415;第38卷(第2期);第155-161页 *
基于RGBD图像的三维重建关键问题研究;郭庆慧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815(第08期);第I138-1360页 *
基于多尺度卷积网络的单幅图像的点法向估计;冼楚华 等;《华南理工大学学报(自然科学版)》;20181215;第46卷(第12期);第1-9页 *
基于深度学习的人脸表情识别研究;牛新亚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);第I138-3911页 *
改进的基于卷积神经网络的图像超分辨率算法;肖进胜 等;《光学学报》;20170331;第37卷(第3期);第103-111页 *

Also Published As

Publication number Publication date
CN110349087A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN109978762A (zh) 一种基于条件生成对抗网络的超分辨率重建方法
CN109949214A (zh) 一种图像风格迁移方法及系统
CN110910390A (zh) 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN110443883B (zh) 一种基于dropblock的单张彩色图片平面三维重建方法
CN110544205A (zh) 基于可见光与红外交叉输入的图像超分辨率重建方法
CN111667421B (zh) 一种图像去雾方法
Yu et al. A review of single image super-resolution reconstruction based on deep learning
CN115035171B (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN116402692B (zh) 基于非对称交叉注意力的深度图超分辨率重建方法与系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
WO2024221696A1 (zh) 生成图像超分数据集的方法、图像超分模型及训练方法
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
Zhang et al. MFFE: multi-scale feature fusion enhanced net for image dehazing
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN115937704A (zh) 基于拓扑感知神经网络的遥感图像道路分割方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN110211059A (zh) 一种基于深度学习的图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210212