CN107590825B - 一种基于sfm的点云孔洞修补方法 - Google Patents

Abstract

本发明公开了一种基于SFM的点云孔洞修补方法，该方法实现步骤为：(1)利用光栅投影法和SFM方法分别获取点云数据后，再利用光栅投影法中获取的的点云二维相位信息，提取三维点云孔洞的边界点；(2)对SFM获取的点云数据集和光栅投影法获取的点云数据集进行配准；(3)在SFM获取的数据集上提取光栅投影获取点云中孔洞区域的补充点；(4)基于补充点，利用径向基函数实现进一步孔洞修补。本发明算法鲁棒，修补效果精确度高，并且能够更多地恢复物体的细节信息。

Description

一种基于SFM的点云孔洞修补方法

技术领域：

本发明涉及一种基于SFM的点云孔洞修补方法，属于点云后处理技术领域。

背景技术：

在三维测量的过程中，由于物体的形状复杂或者测量方式本身的缺陷，三维点云数据常常存在孔洞。光栅投影测量法具有速度快，自动化程度高等特点，但是由于测量时需要投射辅助光，所得点云数据会由于物体本身的遮挡和被测物体表面的反射率等原因而产生孔洞区域。孔洞的存在严重影响点云后续的操作。因此，孔洞的修补工作不可缺少。

孔洞修补的难点在于：1.如何准确的提取孔洞边界；2.如何在孔洞区域获取更多的信息以使修补的点更加贴合原始形状。孔洞边界的提取是孔洞修补的第一个工作，它的准确性直接影响孔洞修补的结果。现有的点云孔洞边界点提取方法主要在三维的基础上进行，主要分为基于点云网格的提取方法和直接在点云上提取边界点的方法。前者计算复杂，易将采样不够均匀的点云的内部点也当做边界点；后者通常需要计算点和邻域点的关系，且易受噪声的影响。通过实际测量可以发现点云边界点在二维相位图中特征明显，而利用二维相位来提取孔洞边界免去了在三维方法中需要建立网格或者计算邻域信息，显著提高了边界点提取的效率。因此本文利用点云二维相位信息来提取提取孔洞边界。

现有的孔洞修补算法大致分为两类:一类是直接利用点云孔洞周边的邻域信息，连续性或者曲率来进行孔洞修补，例如利用样条曲线，神经网络等方法进行插值，从而修补孔洞。该类算法简单易行，不需要任何地补充信息。但是对于曲率变化较大或者形状较为复杂的点云孔洞，由于信息缺失过多，修补效果并不理想。另一类主要通过获取附加信息再结合点云孔洞周边的结构进行修补。比如Yann Quinsat等提出了使用先验CAD模型和孔洞区域邻域的连续性作为约束条件进行孔洞修补。M Panchetti等提出了利用对应图片的二维信息和点云网格之间的曲率信息来修补孔洞。这类方法对于复杂的孔洞区域修补效果良好，但是不论是先验CAD的模型的建立，还是二维像素与三维点云之间的配准，都会导致算法整体复杂度较高。

发明内容

技术问题：针对孔洞修复过程中孔洞区域信息较少，复杂的孔洞修补效果不够理想的问题，结合三维重建中已经较成熟的融合SFM和激光扫描获取点云信息的技术，本发明提供了一种基于SFM的点云孔洞修补方法。本发明通过获取SFM的点云数据来补充孔洞部分的信息，指导孔洞修补，这些补充信息可以有效地帮助恢复点云孔洞的信息，提高孔洞修补结果的精确度，并且恢复更多的信息。又利用点云的二维相位信息提取点云的边界点，降低了边界点定位的复杂度。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于SFM的点云孔洞修补方法，包括以下步骤：

步骤1：点云孔洞边界获取：利用在光栅投影中获取的点云二维相位信息来提取点云孔洞边界；首先提取出点云的边界点；然后去除点云的外边界点；

步骤2：对两幅点云进行配准：首先利用基于共面四点集的RANSAC算法进行粗配准，然后利用改进的ICP算法进行精确配准；

步骤3：提取补充点：在完成配准后，利用步骤1中得到的点云孔洞边界，提取出SFM法获取的点云P_s在光栅投影法获取的点云P_w中孔洞区域的补充点IP；

步骤4：利用径向基函数填补点云孔洞区域：首先将孔洞边界点向二维平面投影获取点云边界特征多边形，接着利用边界特征多边形的特征进行插值，获得初始修补点集FP＝{fp_i,i＝1,2,3,...n}，然后根据径向基函数调整初始修补点集从而获得最终修补点集；

优选的：所述步骤1中利用二维相位信息来提取点云孔洞边界的步骤如下：

步骤1.1：获取点云的二维边界点：二维相位图的大小为M*N，p[m][n]相为相位图上的某一点，设点云的边界点的集合为B，则当p[m][n]满足公式时，p[m][n]∈B；

其中

是相位跳变的阈值；

步骤1.2：提取点云的外部边界点：在二维相位图像上，外部轮廓点的特征为B中每一行的初始和最终非零点；设外部轮廓线上的点的集合为S，当p[m][n]满足公式时，p[m][n]∈S；

其中m＝1，2，...M，所以孔洞的边界点Hp＝{p[m][n]|p[m][n]∈B-S}；

步骤1.3：计算点云孔洞边界点的三维坐标：已知点云数据的坐标[X_c Y_c Z_c]与相位图上的对应点p[m][n]＝θ有如下对应关系，

其中，θ为相位值；a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈为系统参量；ρ为比例因子；A_c为3*3摄像机内部参量矩阵；并且a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈A_c可以通过系统的标定获得；因此代入孔洞边界点的二维相位坐标，通过以上两个公式即可计算出对应的孔洞边界三维坐标点H＝{h_i,i＝1,2,3...n}；

优选的：所述步骤2中点云配准的步骤如下：

步骤2.1：初始配准：在初始配准中，为了增加配准效率，首先在P_w和P_s中分别划分出对应的特征明显的区域；在P_w特征区域中，利用RANSAC方法随机选取任意不共线的四点，并在P_s中找到对应的点，计算得出相对应的变换矩阵M；经过r次迭代后，选取使得两片点云匹配误差最小的变换矩阵M。利用M，获取初始匹配结果；

步骤2.2：精确配准：在精确配准中，首先对于P_w中的每一点p,在P_s中寻找到欧氏距离最近的四个点，并求出这四个点所构成的最小邻域的重心，构成点对；然后利用最小二乘法计算参数R,t；将最终结果应用于P_s中，得到配准后的点云集P_s'；

优选的：所述步骤3中筛选补充点IP的方法为：对于所述步骤2中配准后的点云P_s'中的每一点，计算它是否在所述步骤1提取出的孔洞边界点H＝{h_i，i＝1,2,3...n}包围盒中，若是则认为

否则不是；增加了补充点的点云集合为NP＝{P_ω∪IP}；

优选的：所述步骤4中利用径向基函数填补孔洞区域的步骤为：

步骤4.1：提取孔洞特征多边形：用最小二乘法将步骤1提取出来的点云孔洞点H＝{h_i，i＝1,2,3...n}投影到二维平面获得投影矩阵PM，形成孔洞特征多边形；

步骤4.2：获取粗修复点：获取孔洞特征多边形的边长，取边长的均值d作为步长在孔洞区域进行插值从而获得二维平面上的修补点；利用步骤4.2中获取的PM将插值点映射回三维平面，获取粗修复点FP＝{fp_i,i＝1,2,3,...n}；

步骤4.3：修补孔洞：首先对步骤3中添加了信息补充点的点云集合NP建立kd树，然后对FP中任意的一个点fp_i选取k个邻域点，利用RBF函数建立空间曲面，最后根据梯度条件使得fp_i向曲面调整以满足点云表面曲率要求；其中每一点fp_i对应的空间曲面方程为

F(x,y,z)＝p₀+p₁x+p₂y+p₃z+β

其中β为误差项，且

空间曲面方程的未知数ω_j,p₀,p₁,p₂,p₃可以通过求解公式QA＝B获得；

其中A＝[ω₁ ω₂ … ω_n p₀ p₁ p₂ p₃]^T B＝[δ₁ δ₂ … δ_n 0 0 0 0]^T，

实验中δ_i为误差值，δ₁＝δ₂＝…＝δ_n＝0.1，N＝{N_ix，N_iy，N_iz，i＝1,2…，6}，D_ij＝|N_i-N_j|^3/2i＝1,2,...，6,j＝1,2,...6，

实验中δ_i为误差值，δ₁＝δ₂＝...＝δ_n＝0.1，N＝{N_ix，N_iy，N_iz，i＝1,2...，6}，D_ij＝|N_i-N_j|^3/2i＝1,2,…，6,j＝1,2,...6。

有益效果：本发明提供的一种基于SFM的孔洞修补算法，相比现有技术，具有以下有益效果：

除了从孔洞边界获取信息以外，增加了新的从SFM获取的点云中获取信息的方法，提高了孔洞填补的精度；在三维空间中寻找孔洞边界的方法使得算法复杂，本发明又采用利用二维相位信息寻找孔洞边界的方法，提高了算法的效率。

附图说明

图1为本发明完整流程。

图2为光面陶瓷杯的点云模型图。由图可见在光面陶瓷杯上由于物体本身的反射率过高，在正中间位置产生了孔洞。

图3为人脸的点云模型图。在人脸模型中，眼睛和眉毛区域由于反射率较低产生了孔洞，在鼻子区域由于本身的遮挡也产生了孔洞。

图4表示经过孔洞修补以后的光面陶瓷杯点云示意图。修补后的点云图能够更加贴合原始数据。

图5为光面陶瓷杯的孔洞区域修补的细节图，其中新增的孔洞修补点共404个。SFM获取的点云数据提供了96个补充点。这些数据在RBF函数计算对应点的曲面方程时提供了关键的信息，使得孔洞修补结果更加准确。

图6是经过孔洞修补以后的人脸的点云图。修补结果在三维重建后准确地反应了物体本身的形状，且恢复了更为丰富的细节。

图7具体展示了鼻子部分的填补细节。对于更为复杂的模型如人脸模型，基于SFM的点云孔洞修补方法也可以有效地恢复孔洞信息。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用Visual Studio2013对陶瓷杯和人脸分别进行实验。

本发明的具体实施步骤如下：

步骤1：点云孔洞边界获取

步骤1.1：获取点云的二维边界点

二维相位图的大小为M*N，p[m][n]为相位图上的某一点，设点云的边界点的集合为B，则当p[m][n]满足公式时，p[m][n]∈B；

其中

是相位跳变的阈值；

步骤1.2：提取点云的外部边界点

在二维相位图像上，外部轮廓点的特征为B中每一行的初始和最终非零点；设外部轮廓线上的点的集合为S，当p[m][n]满足公式时，p[m][n]∈S；

其中m＝1，2，...M，所以孔洞的边界点Hp＝{p[m][n]|p[m][n]∈B-S}；

步骤1.3：计算点云孔洞边界点的三维坐标

已知点云数据的坐标[X_c Y_c Z_c]与相位图上的对应点p[m][n]＝θ有如下对应关系，

其中，θ为相位值；a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈为系统参量；ρ为比例因子；A_c为3*3摄像机内部参量矩阵；并且a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈A_c可以通过系统的标定获得；因此代入孔洞边界点的二维相位坐标，通过以上两个公式即可计算出对应的孔洞边界三维坐标点H＝{h_i,i＝1,2,3...n}；

步骤2：对两幅点云进行配准

步骤2.1：初始配准

在初始配准中，为了增加配准效率，首先在P_w和P_s中分别划分出对应的特征明显的区域；在P_w特征区域中，利用RANSAC方法随机选取任意不共线的四点，并在P_s中找到对应的点，计算得出相对应的变换矩阵M；经过r次迭代后，选取使得两片点云匹配误差最小的变换矩阵M；利用M，获取初始匹配结果；

步骤2.2：精确配准

在精确配准中，首先对于P_w中的每一点p,在P_s中寻找到欧氏距离最近的四个点，并求出这四个点所构成的最小邻域的重心，构成点对；然后利用最小二乘法计算参数R,t；将最终结果应用于P_s中，得到配准后的点云集P_s'；

步骤3：提取补充点

对于P_s'中的每一点，计算它是否在步骤1中提取出的孔洞边界点H＝{h_i，i＝1,2,3...n}包围盒中，若是则认为

否则不是；增加了补充点的点云集合为NP＝{P_ω∪IP}；

步骤4：利用径向基函数填补点云孔洞区域

步骤4.1：提取孔洞特征多边形

用最小二乘法将步骤1中提取出来的点云孔洞点H＝{h_i，i＝1,2,3...n}投影到二维平面获得投影矩阵PM，形成孔洞特征多边形；

步骤4.2：获取粗修复点

获取孔洞特征多边形的边长，取边长的均值d作为步长在孔洞区域进行插值从而获得二维平面上的修补点。利用步骤4.1中获取的PM将插值点映射回三维平面，获取粗修复点FP＝{fp_i,i＝1,2,3,…n}；

步骤4.3：修补孔洞

首先对步骤3中添加了信息补充点的点云集合NP建立kd树，然后对FP中任意的一个点fp_i选取k个邻域点，利用RBF函数建立空间曲面，最后根据梯度条件使得fp_i向曲面调整以满足点云表面曲率要求；其中每一点fp_i对应的空间曲面方程为

F(x,y,z)＝p₀+p₁x+p₂y+p₃z+β

其中β为误差项，且

空间曲面方程的未知数ω_j,p₀,p₁,p₂,p₃可以通过求解公式QA＝B获得；

其中A＝[ω₁ ω₂ … ω_n p₀ p₁ p₂ p₃]^T B＝[δ₁ δ₂ … δ_n 0 0 0 0]^T，

实验中δ_i为误差值，δ₁＝δ₂＝...＝δ_n＝0.1，N＝{N_ix，N_iy，N_iz，i＝1,2...，6}，D_ij＝|N_i-N_j|^3/2i＝1,2,…，6,j＝1,2,…6。

本发明将SFM获取的数据集加入孔洞修补中，并利用该数据集添加补充信息，指导孔洞修补，使得修补后的孔洞区域能够获得更多的细节信息，更好地恢复孔洞部分的形状。又将二维相位信息加入到点云孔洞提取中，利用三维孔洞边界点在二维相位中的特征，提取出孔洞边界；降低了孔洞边界提取的复杂度。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于SFM的点云孔洞修补方法，其特征在于包括以下步骤：

步骤1：点云孔洞边界获取：利用在光栅投影中获取的点云二维相位信息来提取点云孔洞边界，首先提取出点云的内外边界点；第二步去除点云的外边界点；

步骤2：对两幅点云进行配准：首先利用基于共面四点集的RANSAC算法进行粗配准，然后利用改进的ICP算法进行精确配准；

步骤3：提取补充点：在完成配准后，利用步骤1中得到的点云孔洞边界，提取出SFM法获取的点云P_s在光栅投影法获取的点云P_w中孔洞区域的补充点IP；

步骤4：利用径向基函数填补点云孔洞区域：首先将孔洞边界点向二维平面投影获取点云边界特征多边形，然后利用边界特征多边形的特征进行插值，获得初始修补点集FP＝{fp_i,i＝1,2,3,...n}，然后根据径向基函数调整初始修补点集从而获得最终修补点集；

步骤4.1：提取孔洞特征多边形：用最小二乘法将步骤1中提取出来的点云孔洞点H＝{h_i，i＝1,2,3...n}投影到二维平面获得投影矩阵PM，形成孔洞特征多边形；

步骤4.2：获取粗修复点：先获取孔洞特征多边形的边长，取边长的均值d作为步长在孔洞区域进行插值从而获得二维平面上的修补点；利用步骤4.1中获取的PM将插值点映射回三维平面，获取粗修复点FP＝{fp_i,i＝1,2,3,...n}；

步骤4.3：修补孔洞：首先对步骤3中添加了信息补充点的点云集合NP建立kd树，然后对FP中任意的一个点fp_i选取k个邻域点，利用RBF函数建立空间曲面，最后根据梯度条件使得fp_i向曲面调整以满足点云表面曲率要求；其中每一点fp_i对应的空间曲面方程为

F(x,y,z)＝p₀+p₁x+p₂y+p₃z+β

其中β为误差项,空间曲面方程的未知数ω_j,p₀,p₁,p₂,p₃可以通过求解公式QA＝B获得；其中A＝[ω₁ ω₂…ω_n p₀ p₁ p₂ p₃]^T B＝[δ₁ δ₂…δ_n 0 0 0 0]^T，

实验中δ_i为误差值，δ₁＝δ₂＝...＝δ_n＝0.1，N＝{N_ix，N_iy，N_iz，i＝1,2...，6}，D_ij＝|N_i-N_j|^3/2i＝1,2,...，6,j＝1,2,...6。

2.根据权利要求1所述的基于SFM的点云孔洞修补方法，其特征在于步骤1中，利用二维相位信息来提取点云孔洞边界的步骤如下：

步骤1.1：获取点云的二维边界点：二维相位图的大小为M*N，p[m][n]为相位图上的某一点，设点云的边界点的集合为B，则当p[m][n]满足公式时，p[m][n]∈B，

其中

是相位跳变的阈值；

步骤1.2：提取点云的外部边界点：在二维相位图像上，外部轮廓点的特征为B中每一行的初始和最终非零点，设外部轮廓线上的点的集合为S，当p[m][n]满足公式时，p[m][n]∈S，

其中m＝1，2，...M，所以孔洞的边界点Hp＝{p[m][n]|p[m][n]∈B-S}；

步骤1.3：计算点云孔洞边界点的三维坐标：已知点云数据的坐标[X_c Y_c Z_c]^T与相位图上的对应点p[m][n]＝θ有如下对应关系，

其中，θ为相位值；a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈为系统参量；ρ为比例因子；A_c为3*3摄像机内部参量矩阵；并且a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈，A_c可以通过系统的标定获得，因此代入孔洞边界点的二维相位坐标，通过以上两个公式即可计算出对应的孔洞边界三维坐标点H＝{h_i,i＝1,2,3...n}。

3.根据权利要求1所述的基于SFM的点云孔洞修补方法，其特征在于步骤2中，所述点云配准的步骤如下：

步骤2.1：初始配准：在初始配准中，为了增加配准效率，首先在P_w和P_s中分别划分出对应的特征明显的区域；在P_w特征区域中，利用RANSAC方法随机选取任意不共线的四点，并在P_s中找到对应的点，计算得出相对应的变换矩阵M；经过r次迭代后，选取使得两片点云匹配误差最小的变换矩阵M；利用M，获取初始匹配结果；

步骤2.2：精确配准：在精确配准中，首先对于P_w中的每一点p,在P_s中寻找到欧氏距离最近的四个点，并求出这四个点所构成的最小邻域的重心，构成点对；然后利用最小二乘法计算参数R,t；将最终结果应用于P_s中，得到配准后的点云集P_s'。

4.根据权利要求3所述的基于SFM的点云孔洞修补方法，其特征在于步骤3中筛选补充点IP的方法为：对于步骤2中得到的配准后的点云P_s'中的每一点，计算它是否在步骤1提取出的孔洞边界点H＝{h_i，i＝1,2,3...n}的包围盒中，若是则认为

否则不是；增加了补充点的点云集合为NP＝{P_ω∪IP}。

Images