CN116310111A - 基于伪平面约束的室内场景三维重建方法 - Google Patents

Abstract

本发明公开了一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：使用图像分割算法利用颜色聚类将原始输入图像分割成伪平面；在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：在颜色渲染约束部分，对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域。本发明省去了耗费高昂的三维建模或是数据采集过程，而是运用少量的图像数据来训练神经网络，以经济的方式实现高精度的场景生成。

Description

基于伪平面约束的室内场景三维重建方法

技术领域

本发明涉及一种室内三维场景重建技术，旨在结合计算机算法和低成本数据重建适用于虚拟现实任务的高质量、高精度的室内场景，属于计算机视觉和图形学技术结合的领域。

背景技术

传统的室内场景重建技术主要基于技术人员的手动三维建模，或是基于RBGD摄像机扫描并使用COLMAP等技术重建点云。这两类方式的效率都很低：前者需要大量的人力和计算资源；后者则需要昂贵的采集设备。

发明内容

本发明要解决的技术问题是：传统的室内场景重建技术效率低下。

为了解决上述技术问题，本发明的技术方案是提供了一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：

步骤1、使用图像分割算法利用颜色聚类将原始输入图像分割成一系列具有相似特征的由相邻像素构成的不规则像素块，这些不规则像素块被称之为超像素，并进一步将这些超像素区域定义为伪平面；

步骤2、在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：

第一阶段：在每一个伪平面内随机采样至少4条随机光线，并将其输入到神经网络之中，根据神经网络输出的SDF结果计算出每条随机光线相关的深度值；结合深度值和相机内参将这些随机光线对应的像素点映射到空间当中再利用最小二乘法计算出粗粒度的伪平面参数；

第二阶段：在粗粒度伪平面内随机采样更多的随机光线，使用与第一阶段相同的方法计算出更为精确的细粒度的伪平面参数，从而得到精确的伪平面参数；

在得到精确的伪平面参数之后，约束空间中随机光线对应的采样点到平面的距离与采样点对应的SDF值一致来规范平面区域变得平整；

步骤3、在颜色渲染约束部分：

对于除无纹理区域外的其他区域采用通用的约束随机光线对应的预测颜色和真实图像颜色一致的规范策略；

对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域，具体包括以下步骤：

步骤301、首先使用DSO算法直接处理原始图像来提取一系列关键点；

步骤302、分别以各关键点为中心使用n×n的高斯核来计算整张图片的采样概率图，概率图中，关键点具有最高采样概率，以关键点为中心的n×n高斯核区域概率次之，其余区域概率最低；

步骤303、使用该概率图来采样得到随机光线；

步骤304、约束步骤303获得的随机光线对应的预测颜色和真实图像颜色一致。

优选地，步骤2中，所述场景几何信息由以下方法获得：

步骤201、以从一组带有相机参数标定的多视角图片中提取的空间点和视角方向组合而成的采样光线作为输入，使用全连接神经网络来提取底层空间特征；

步骤202、使用有向距离场模块，以底层空间特征为输入，解析输出由有符号距离函数定义的体密度数据，该体密度数据中包含的所述场景几何信息被用于所述几何约束。

优选地，以所述步骤201获得的底层空间特征为输入，通过分割渲染模块解析输出伪平面置信度，并使用不同视角下的超像素分割交叉熵损失来约束伪平面置信度尽可能的准确；

则在所述步骤2中，求解伪平面参数时，给参与计算伪平面参数和平面约束的点赋予权重的优化策略，采用所述分割渲染模块解析输出的伪平面置信度作为不同的点的权重，由权重点重新计算得到伪平面参数结果。

优选地，在所述步骤3中，颜色信息采用以下方法获得：

以所述步骤201获得的底层空间特征为输入，通过颜色渲染模块解析输出颜色数据并利用体渲染技术生成颜色信息，颜色信息被用于所述颜色渲染约束。

优选地，所采用的基础损失函数如下式所示：

其中：

是颜色渲染约束损失，是约束渲染的图片与真实图片相近的/>

损失；

是深度约束损失，是约束渲染的深度与真实的深度相近的/>

损失；/>

是约束整个有向距离场处处均匀的Eikonal损失。

优选地，针对平面几何约束的损失函数如下式所示：

其中：

是伪平面参数的权重；s(x)是预测的有向距离值；/>

是真实的有向距离值。

优选地，针对分割融合的损失函数如下式所示：

其中，

是针对累积分割sigmoid概率的交叉熵损失，/>

是针对重采样点的分割sigmoid概率的交叉熵损失，他们分别对由粗糙到精细的两步伪平面分割做约束。

本发明基于最近一段时间以来在新视角生成领域取得了重大突破的神经辐射场技术，从一系列带有相机位置信息的图像数据中学习到场景的颜色信息以及几何信息，并依赖隐式神经表达和体渲染等方法重建出高质量的室内场景。这一过程省去了耗费高昂的三维建模或是数据采集过程，而是运用少量的图像数据来训练神经网络，以经济的方式实现高精度的场景生成。

附图说明

图1为本发明的整体框架图。左上角阐释了本发明中的基于关键点指导的随机光线采样策略，首先使用DSO算法直接处理输入图像提取得到关键点，再以关键点为中心根据高斯距离求解得到采样概率，用于指导光线采样。右下角解释了两步优化平面参数算法的流程，首先根绝神经网络输出的SDF来求解得到粗粒度的平面参数，之后在粗粒度平面内随机重采样更多的点来求解得到细粒度的更精确的平面参数。左下角阐明了整个算法使用到的约束损失，包括深度损失、颜色渲染损失、分割渲染损失以及平面约束损失。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本实施例公开了一种基于伪平面约束的室内场景三维重建方法，给定一组带有相机标定的室内场景图片作为本实施例公开方法的输入，通过本实施例公开的方法重建出该室内场景的高精度三维几何结构。为此，我们设计了一种全新的基于伪平面的平面几何约束算法来重建室内场景几何结构，又针对颜色渲染约束和伪平面约束的弱点分别提出了两种优化方式，进一步提升其在几何重建方面的准确度。

由于室内场景存在大量的无纹理区域，例如墙面、地面、桌面等，如果仅仅使用渲染约束无法在这些区域生成光滑平整的重建结果，因此需要引入额外的几何约束。如果直接使用预训练的几何网络生成的法向和深度结果去约束场景虽然能够产生较好的重建结果，但是所需的成本较高。而如果使用曼哈顿假设来约束墙面和地面虽然也能够生成较为真实的重建结果，但是该假设存在较大的局限性，无法拓展到非曼哈顿室内场景以及墙面和地面被遮挡较严重的场景中。为了解决这些问题，我们提出了一种基于伪平面约束的室内场景生成方法，具体包括以下步骤：

由于直接从场景中划分出平面区域进行约束是困难的，因此我们首先使用菲尔森茨瓦布(Felzenszwalb)图像分割算法利用颜色聚类将原始输入图像分割成一系列具有相似纹理、颜色、亮度等特征的由相邻像素构成的不规则像素块，也被称之为超像素(superpixel)，我们定义这些超像素区域为伪平面。由于基于颜色聚类的超像素分割方法不仅能将大片颜色近似区域例如墙面分割成像素块，也能够对小片颜色近似区域例如桌面进行有效划分。因此，利用伪平面不仅能约束场景中的墙面和地面区域，也能够对桌面，沙发面等平整区域进行有效约束。

我们选择近年来在三维重建领域极具启发性的VolSDF作为骨干网络，并在其基础上针对室内场景重建领域进行改进。以从一组带有相机参数标定的多视角图片中提取的空间点和视角方向组合而成的采样光线作为输入，使用了8层全连接神经网络来提取底层空间特征。之后，使用1层全连接神经网络作为有向距离场模块，以空间特征为输入，解析输出由有符号距离函数(signed distance field，SDF)定义的体密度数据，数据中包含的丰富几何信息被用于后续的几何约束。

同时，我们又使用了4层全连接神经网络作为颜色渲染模块，以空间特征为输入，解析输出颜色数据并利用体渲染技术生成颜色信息，颜色信息被用于后续的颜色渲染约束。

为了提高几何约束的准确度，我们在现有网络的基础上设计使用了4层全连接神经网络作为分割渲染模块，以空间特征为输入，解析输出伪平面置信度，进而将其应用到后续优化伪平面的平面参数的计算步骤当中。

几何约束部分，由于室内场景包含大量的无纹理区域，这些无纹理区域绝大多数是类似于墙面、地面、桌面之类的平面，如果能够事先划分出平面，就可以针对性地约束同一平面区域内的SDF是一致的，从而得到更为平整的结果，提升室内几何重建精度。我们假设由超像素分割得到的伪平面是平面区域，但由于基于超像素颜色聚类的伪平面分割通常带有很大的噪音，因此我们后续又针对分割噪音提出了伪平面权重优化策略。在求解平面参数部分，我们利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：第一阶段，我们在每一个伪平面内随机采样至少4条随机光线，并将其输入到神经网络之中，根据神经网络输出的SDF结果计算出每条随机光线相关的深度值，结合深度值和相机内参将这些随机光线对应的像素点映射到空间当中再利用最小二乘法计算出粗粒度的伪平面参数；第二阶段，我们在粗粒度伪平面内随机采样更多的随机光线，使用上述同样的方式计算出更为精确的细粒度伪平面参数。在得到精确的伪平面参数之后，我们约束空间中随机光线对应的采样点到平面的距离与采样点对应的SDF值一致来规范平面区域变得平整。

如上所述，由于基于超像素的伪平面分割方法通常是不准确的并且带有很大的噪音，如会将颜色相近的相邻不同物体划分进同一超像素内，此时如果直接使用其作为伪平面进行几何约束通常会产生真实平面外的点被错误划分到平面内从而导致计算的平面参数与真实值偏差较大的问题。因此我们提出了一种给参与计算伪平面参数和平面约束的点赋予权重的优化策略，不同的点的权重是由来自不同视角下的伪平面分割融合的结果。我们假设不同视角下分割不一致的区域更有可能是错误的，该区域的点需要赋予更低的权重，而分割一致的区域则更有可能是准确的，该区域的点需要赋予更高的权重。我们采用上述分割渲染模块解析输出的伪平面置信度作为权重，使用不同视角下的超像素分割交叉熵损失来约束伪平面置信度尽可能的准确。由权重点重新计算的伪平面参数结果更加接近真实值并在平面约束中取得了更准确，更鲁棒的结果。

颜色渲染约束部分，我们依旧采用通用的约束随机光线对应的预测颜色和真实图像颜色一致的规范策略。但在室内场景中，由于被用于神经网络输入的随机光线多会采到无纹理区域，而无纹理区域的颜色变化不明显，因此在这些区域应用颜色渲染约束多是没有较大收益的，因此我们提出了一种基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域。我们首先使用DSO算法直接处理原始图像来提取一系列关键点，并分别以这些关键点为中心使用3×3的高斯核来计算整张图片的采样概率图，概率图中关键点具有最高采样概率，以其为中心的3×3高斯核区域概率次之，其余区域概率最低。最后，我们使用该概率图来采样得到随机光线。使用该方法得到的随机光线多会集中在颜色变化较大的边界区域，可以在不减少几何约束精度的条件下有效提升颜色渲染约束的精度。

模型的训练函数主要分为三部分，分别是针对神经表面重建的基础损失函数和针对平面约束的损失函数以及针对分割融合的损失函数：

针对神经表面重建的基础损失函数：

其中

是颜色渲染约束损失，是约束渲染的图片与真实图片相近的/>

损失，

是深度约束损失，是约束渲染的深度与真实的深度相近的/>

损失，/>

是约束整个有向距离场处处均匀的Eikonal损失。

针对平面几何约束的损失函数：

其中，

是伪平面参数的权重，s(x)是预测的有向距离值，/>

是真实的有向距离值，约束使得预测值和真实值相近，进而使得预测的伪平面与真实的伪平面相近。

针对分割融合的损失函数：

其中，

是针对累积分割sigmoid概率的交叉熵损失，/>

是针对重采样点的分割sigmoid概率的交叉熵损失，他们分别对由粗糙到精细的两步伪平面分割做约束。

为了实现本发明，我们提供以下方案：

使用Adam优化器进行训练基于上述方法构建的模型，并将参数设为λ_rgb＝1，λ_depth＝1，λ_plane＝0.2，λ_seg＝0.01，批量大小设为1024，学习率设为0.005。

为了验证本发明的有效性，我们在一组包含了4类16个室内场景的数据集上进行了实验，包括4个来自Manhattan-SDF方法的场景，4个Deep LabV3+方法预测差的场景，4个包含较少墙面和地面的场景以及4个不满足曼哈顿假设的场景。我们将本发明与现有的室内场景三维重建的方法NeRF，NeuS，VolSDF，Manhattan-SDF以及COLMAP进行了比较，结果如下：

表1：来自MManhattan-SDF方法的场景

表2：DeepLabV3+方法预测较差的场景

表3：包含较少墙面和地面的场景

表4：不满足曼哈顿假设的场景

实验结果表明，本发明的室内场景重建质量要优于现有技术。

Claims (7)

1.一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：

步骤1、使用图像分割算法利用颜色聚类将原始输入图像分割成一系列具有相似特征的由相邻像素构成的不规则像素块，这些不规则像素块被称之为超像素，并进一步将这些超像素区域定义为伪平面；

步骤2、在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：

第一阶段：在每一个伪平面内随机采样至少4条随机光线，并将其输入到神经网络之中，根据神经网络输出的SDF结果计算出每条随机光线相关的深度值；结合深度值和相机内参将这些随机光线对应的像素点映射到空间当中再利用最小二乘法计算出粗粒度的伪平面参数；

第二阶段：在粗粒度伪平面内随机采样更多的随机光线，使用与第一阶段相同的方法计算出更为精确的细粒度的伪平面参数，从而得到精确的伪平面参数；

在得到精确的伪平面参数之后，约束空间中随机光线对应的采样点到平面的距离与采样点对应的SDF值一致来规范平面区域变得平整；

步骤3、在颜色渲染约束部分：

对于除无纹理区域外的其他区域采用通用的约束随机光线对应的预测颜色和真实图像颜色一致的规范策略；

对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域，具体包括以下步骤：

步骤301、首先使用DSO算法直接处理原始图像来提取一系列关键点；

步骤302、分别以各关键点为中心使用n×n的高斯核来计算整张图片的采样概率图，概率图中，关键点具有最高采样概率，以关键点为中心的n×n高斯核区域概率次之，其余区域概率最低；

步骤303、使用该概率图来采样得到随机光线；

步骤304、约束步骤303获得的随机光线对应的预测颜色和真实图像颜色一致。

2.如权利要求1所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，步骤2中，所述场景几何信息由以下方法获得：

步骤201、以从一组带有相机参数标定的多视角图片中提取的空间点和视角方向组合而成的采样光线作为输入，使用全连接神经网络来提取底层空间特征；

步骤202、使用有向距离场模块，以底层空间特征为输入，解析输出由有符号距离函数定义的体密度数据，该体密度数据中包含的所述场景几何信息被用于所述几何约束。

3.如权利要求2所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，以所述步骤201获得的底层空间特征为输入，通过分割渲染模块解析输出伪平面置信度，并使用不同视角下的超像素分割交叉熵损失来约束伪平面置信度尽可能的准确；

则在所述步骤2中，求解伪平面参数时，给参与计算伪平面参数和平面约束的点赋予权重的优化策略，采用所述分割渲染模块解析输出的伪平面置信度作为不同的点的权重，由权重点重新计算得到伪平面参数结果。

4.如权利要求2所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，在所述步骤3中，颜色信息采用以下方法获得：

以所述步骤201获得的底层空间特征为输入，通过颜色渲染模块解析输出颜色数据并利用体渲染技术生成颜色信息，颜色信息被用于所述颜色渲染约束。

5.如权利要求1所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，所采用的基础损失函数如下式所示：

其中：

是颜色渲染约束损失，是约束渲染的图片与真实图片相近的/>

损失；/>

是深度约束损失，是约束渲染的深度与真实的深度相近的/>

损失；/>

是约束整个有向距离场处处均匀的Eikonal损失。

6.如权利要求1所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，针对平面几何约束的损失函数如下式所示：

其中：

是伪平面参数的权重；s(x)是预测的有向距离值；/>

是真实的有向距离值。

7.如权利要求1所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，针对分割融合的损失函数如下式所示：

其中，

是针对累积分割sigmoid概率的交叉熵损失，/>

是针对重采样点的分割sigmoid概率的交叉熵损失，他们分别对由粗糙到精细的两步伪平面分割做约束。

Images