CN111768353A

CN111768353A - 一种三维模型的孔洞填补方法及装置

Info

Publication number: CN111768353A
Application number: CN202010624045.1A
Authority: CN
Inventors: 王林杰; 李骊
Original assignee: Beijing HJIMI Technology Co Ltd
Current assignee: Beijing HJIMI Technology Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-10-13
Anticipated expiration: 2040-06-30
Also published as: CN111768353B

Abstract

本申请提供了一种三维模型的孔洞填补方法及装置，其中，方法包括：检测三维模型的孔洞；依据孔洞，确定待填补孔洞；针对每个待填补孔洞，分别执行以下填补流程，完成对孔洞的填补，得到填补区域：确定待填补孔洞的边界中具有最小夹角的相邻边，得到目标相邻边；在目标相邻边的长度之和大于平均长度的两倍的情况下，在目标相邻边的基础上向待填补孔洞的内部填补两个三角形；填补的三角形中新添加边的长度为预设长度；在待填补孔洞未被完全填补的情况下，针对更新后的待填补孔洞执行填补流程，直至待填补孔洞被完全填补。在将待填补孔洞完全填补过程中，本申请填补的次数少于现有技术，因此，本申请可以降低时间和空间上的复杂度。

Description

一种三维模型的孔洞填补方法及装置

技术领域

本申请涉及三维重建领域，尤其涉及一种三维模型的孔洞填补方法及装置。

背景技术

三维重建技术是计算机视觉和计算机图形学领域的研究热点。近年来许多消费级深度相机(如Microsoft Kinect XBOX,ASUS Xtion，Apple iPhone X,Intel Realsense等)的出现，使得能够对一般场景与物体进行实时三维重建。具体的，通过采集的RGB彩色图及Depth深度图(为了描述方便，以下称为RGBD数据)构建三维模型。由于采集的RGBD数据对构建的三维模型的完整性具有一定的影响，使得构建的三维模型会出现一定的孔洞，因此，需要对三维模型的孔洞进行填补。

目前，对三维模型的孔洞的填补方法包括：首先，将三维模型转换为半边结构表示，然后，在三维模型的孔洞的边界使用三角形生长方法填充孔洞，最后，再对新填补的顶点进行优化。

但是，由于三维模型的孔洞大小不可预知，在孔洞较大，或者，孔洞的边界中相邻边之间夹角接近180度的情况下，采用三角形生长方法的时间和空间复杂度都比较高。

发明内容

本申请提供了一种三维模型的孔洞填补方法及装置，目的在于解决采用三角形生长法对孔洞填补所需的时间和空间复杂度高的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种三维模型的孔洞填补方法，包括：

检测三维模型的孔洞；

依据所述孔洞，确定待填补孔洞；所述待填补孔洞至少包括所述孔洞；

针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述孔洞的填补，得到填补区域：

确定所述待填补孔洞的边界中具有最小夹角的相邻边，得到目标相邻边；

在所述目标相邻边的长度之和大于平均长度的两倍的情况下，在所述目标相邻边的基础上向所述待填补孔洞的内部填补两个三角形；填补的三角形中新添加边的长度为预设长度；所述平均长度为所述待填补孔洞的边界中全部边的平均长度；

在所述待填补孔洞未被完全填补的情况下，针对更新后的待填补孔洞执行所述填补流程，直至所述待填补孔洞被完全填补。

可选的，还包括：

在所述目标相邻边的长度之和不大于所述平均长度的两倍的情况下，对所述目标相邻边的边界点相连得到的三角形进行填补。

可选的，所述依据所述孔洞，确定待填补孔洞，包括：

在所述孔洞的边界中边的数量大于预设数量的情况下，将所述孔洞分割为两个孔洞，得到两个待处理孔洞；

在任一待处理孔洞的边界中边的数量大于所述预设数量的情况下，将该待处理孔洞分割为两个待处理孔洞，直至每个待处理孔洞中边的数量都不大于所述预设数量，得到目标待处理孔洞；

分别针对每个目标待处理孔洞，依据目标待处理孔洞的边界中全部边的平均长度，对目标待处理孔洞的目标边进行分割，得到的分割点为目标待处理孔洞的新增顶点；对于任意一个目标待处理孔洞，该目标待处理孔洞的目标边为该目标待处理孔洞的边界中，长度大于该目标待处理孔洞的边界中全部边的平均长度的边；得到的全部孔洞为所述待填补孔洞。

可选的，将任一孔洞分为两个孔洞，得到两个待处理孔洞，包括：

从该孔洞中，确定满足预设条件的两条边，得到两条分界边；

所述预设条件包括：不相邻且对应的比值在该孔洞的边界中不相邻的两条边分别对应的比值中最小；该孔洞的边界中任意两条不相邻边的比值指：该两条不相邻边的边界长度与空间距离间的比值；所述边界长度为该两条不相邻边的起点和终点将该孔洞的边界分割为的两部分边界的最小边界长度；所述空间距离为该两条不相邻边的起点和终点间的欧式距离；该两条不相邻边的起点和终点通过在该孔洞的边界上按照预设环绕方向得到；

以所述两条分界边的起点和终点为分割点，将该孔洞的边界分为两部分，得到两个待处理孔洞。

可选的，在所述检测所述三维模型的孔洞之后，并且，在所述依据所述孔洞，确定待填补孔洞之前，还包括：

对检测到的每个孔洞的边界进行裁剪，得到裁剪后的孔洞；

所述依据所述孔洞，确定待填补孔洞，包括：

依据所述裁剪后的孔洞，确定待填补孔洞。

可选的，在针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述裁剪后的孔洞的填补，得到填补区域之后，还包括：

以待优化区域的边界的顶点和第一投影点为TPS算法的控制点，对所述待优化区域的填补顶点进行优化，得到优化后的区域；所述待优化区域为填补区域中面积大于预设面积阈值的区域；所述第一投影点为所述待优化区域的边界的顶点在所述三维模型的最小包围球的投影点；所述待优化区域的填补顶点为对裁剪后的孔洞填补过程中新增的顶点。

可选的，在所述以待优化区域的边界的顶点和第一投影点为TPS算法的控制点，对所述待优化区域的填补顶点进行优化，得到优化后的区域之后，还包括：

对所述优化后的区域的重复顶点进行去重，得到目标区域；

按照预设的重建算法，对所述目标区域的点云进行重建。

本申请还提供了一种三维模型的孔洞填补装置，包括：

检测模块，用于检测三维模型的孔洞；

确定模块，用于依据所述孔洞，确定待填补孔洞；所述待填补孔洞至少包括所述孔洞；

执行模块，用于针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述孔洞的填补，得到填补区域：

本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任一种所述的三维模型的孔洞填补方法。

本申请还提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一种所述的三维模型的孔洞填补方法。

本申请所述的三维模型的孔洞填补方法及装置，检测三维模型的孔洞，依据孔洞，确定待填补孔洞；待填补孔洞至少包括所述孔洞；针对检测到的每个待填补孔洞，分别执行以下填补流程：

确定待填补孔洞的边界中具有最小夹角的相邻边，得到目标相邻边；在目标相邻边的长度之和大于平均长度的两倍的情况下，在目标相邻边的基础上向待填补孔洞的内部填补两个三角形，由于填补的三角形中新添加边的长度为预设长度。使得在目标相邻边的长度之和大于平均长度的两倍的情况下，相比于现有技术中的填补方法，本申请填补的两个三角形的面积比现有技术填补的三角形的面积大。因此，在将待填补孔洞完全填补过程中，本申请填补的次数少于现有技术，因此，本申请可以降低时间和空间上的复杂度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种三维模型的孔洞填补方法的流程图；

图2(a)为本申请实施例公开的一种三维模型的示例图；

图2(b)为本申请实施例公开的一种三维模型填补后的示例图；

图2(c)为本申请实施例公开的一种填补后的三维模型的优化结果的示例图；

图3(a)为本申请实施例公开的三维模型中一个孔洞的示例图；

图3(b)为本申请实施例公开的填补一个三角形的结果示例图；

图3(c)为本申请实施例公开的填补两个三角形的示例图；

图4为本申请实施例公开的优化过程的示意图图；

图5为本申请实施例公开的待填补孔洞的确定方法的流程图；

图6为本申请实施例公开的一种三维模型的孔洞填补装置的结构示意图；

图7为本申请实施例公开的一种设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种三维模型的孔洞填补方法，可以包括以下步骤：

S101、检测三维模型的孔洞。

在本实施例中，三维模型是通过RGBD数据构建的三维模型，并将构建的三维模型转换为半边结构表示得到的三维模型。

在本步骤中，检测三维模型的孔洞的具体实现方式为现有技术，这里不再赘述。

图2(a)为本实施例提供的一个三维模型的示意图，从图2(a)中可以看出，在耳朵和头顶到后脑部分分别有一个孔洞，即图2(a)所示的三维模型展示了两个孔洞。

S102、对检测到的每个孔洞的边界进行裁剪，得到裁剪后的孔洞。

在实际中，三维模型中孔洞的边界数据通常含有较大噪声，使得直接采用该孔洞边界对孔洞进行填补，对三维模型的填补效果不理想。为了使得对三维模型的孔洞达到较好的填补效果，在本步骤中，对每个孔洞的边界进行裁剪。具体的，可以采用KD树对每个孔洞进行裁剪，当然，在实际中，还可以采用其他方法对孔洞的边界进行裁剪，本实施例不对具体的裁剪方法作限定。

为了描述方便，将裁剪得到的孔洞称为裁剪后的孔洞。

需要说明的是，在实际中，本步骤不是必须执行的步骤，即是可选步骤。

S103、依据裁剪后的孔洞，确定待填补孔洞。

在本实施例中，以待裁剪的孔洞为例进行介绍，如果在实际中，未执行S102，则在以下叙述中，裁剪后的孔洞则需替换为孔洞。

在本实施例中，一种情况，待填补孔洞为裁剪后的孔洞。另一种情况，将满足条件的裁剪后的孔洞划分为多个孔洞，则得到的全部孔洞都是待填补孔洞。因此，在本实施例中，待填补孔洞至少包括裁剪后的孔洞。其中，条件可以为边界的边数量大于预设数量，本实施例不对条件的具体内容作限定。

例如，裁剪后的孔洞包括孔洞1和孔洞2，其中，如果孔洞1和孔洞2都不满足条件，则待填补孔洞包括孔洞1和孔洞2。如果孔洞2为满足条件的孔洞，则在本实施例中，将孔洞2进行划分，假如划分为3个孔洞，则该种情况下，得到的待填补孔洞为孔洞1，以及对孔洞2划分得到的3个孔洞，即待填补孔洞为4个。

S104、对每个待填补孔洞，分别进行填补。

在本步骤中，对每个待填补孔洞的填补方式都相同，为了方便介绍，以任一待填补孔洞为例，介绍对该待填补孔洞的填补流程，可以包括以下步骤A1～步骤A7：

A1、确定待填补孔洞的边界中具有最小夹角的相邻边，得到目标相邻边。

在本实施例中，为了更清楚的介绍待填补孔洞的边界中的相邻边，以及相邻边的夹角的概念，以图3(a)所示的孔洞边界为例进行介绍。

在图3(a)中，黑色实线围成的是一个孔洞，其中，从图3(a)可以看出，该孔洞是由e0、e1、e2、e3、e4、e5、e6和e7这8条边依次连接而成。其中，e0和e7这两条边是相邻边，交点为v0，e0和e1这两条边是相邻边，交点为v1，e1和e2这两条边是相邻边，交点为v2，e2和e3这两条边是相邻边，交点为v3，e3和e4这两条边是相邻边，交点为v4，e4和e5这两条边是相邻边，交点为v5，e5和e6这两条边是相邻边，交点为v6，e6和e7这两条边是相邻边，交点为v7。

其中，任意相邻边在孔洞侧形成的夹角就是该相邻边的夹角。例如，e0和e1这两条相邻边的夹角为v0、v1和v2组成的在孔洞侧的夹角。

在本步骤中，从待填补孔洞的边界中的相邻边中，确定夹角最小的相邻边，为了描述方便，将夹角最小的相邻边称为目标相邻边。其中，本步骤的具体实现方式为现有技术，这里不再赘述。

A2、判断目标相邻边的长度之和是否大于平均长度的两倍，如果否，则执行A3，如果是，则执行A4。

在本实施例中，将待填补孔洞的边界的全部边长的平均值，称为待填补孔洞的平均长度。

在本步骤中，目标相邻边的长度的计算方式为现有技术，这里不再赘述。

在本步骤中，如果目标相邻边的长度之和大于两倍的平均长度，则执行步骤A4，如果目标相邻边的长度之和不大于两倍的平均长度，则执行步骤A3。

A3、对目标相邻边的边界点相连得到的三角形进行填补。

在目标相邻边的长度之和不大于两倍的平均长度的情况下，执行本步骤的操作。具体的，在本步骤中，目标相邻边的边界点为目标相邻边最边缘的两个点。还以图3(a)所示的孔洞的边界为例，如果目标相邻边为e6和e7构成的相邻边，则目标相邻边的边界点为是v6和v0。

在本步骤中，直接对目标相邻边的边界点相连构成的一个三角形进行填补。

为了直观展示本步骤的操作结果，以图3(b)为例，在图3(b)中，v0、v1和v2是孔洞边界的三个顶点，其中，v0与v1构成的边和v1与v2构成的边组成了目标相邻边。图3(b)中虚线与目标相邻边组成的三角形，就是本步骤填补的三角形的示例。

A4、在目标相邻边的基础上向待填补孔洞的内部填补两个三角形。

在目标相邻边的长度之和大于两倍的平均长度的情况下，执行本步骤的操作。在本步骤中，在目标相邻边的基础上向待填补孔洞的内部填补两个三角形。其中，填补的三角形中新添加边的长度为预设长度。其中，预设长度可以为平均长度，当然，在实际中，预设长度也可以为除平均长度之外的其他取值，本实施例不对预设长度的具体取值作限定。

为了直观展示本步骤的操作结果，以图3(c)为例，在图3(c)中，v0、v1和v2是孔洞边界的三个顶点，其中，v0与v1构成的边和v1与v2构成的边组成了目标相邻边。图3(c)中虚线与目标相邻边组成的两个三角形，就是本步骤填补的三角形的示例。

A5、判断待填补孔洞是否被完全填补，如果否，则执行A6，如果是，则结束。

在本实施例中，在填补的三角形完全覆盖待填补孔洞的情况下，表示待填补孔洞已被完全填补，否则，表示待填补孔洞未被完全填补。在本步骤中，判断待填补孔洞是否被完全填补的具体实现方式为现有技术，这里不再赘述。

在本步骤中，如果待填补孔洞被完全填补的情况下，则结束，即待填补孔洞的填补过程结束。如果待填补孔洞未被完全填补的情况下，则执行步骤A6。

A6、更新待填补孔洞的边界，得到更新后的待填补孔洞。

在本实施例中，由于执行步骤A3或者执行步骤A4，在目标相邻边的基础上填补三角形后，待填补孔洞发生了变化，即待填补孔洞的边界发生了变化，变化后的待填补孔洞的边界是由填补三角形后的边界。

在本实施例中，对待填补孔洞的边界进行更新，得到更新后的待填补孔洞。

A7、将更新后的待填补孔洞作为待填补孔洞，返回执行步骤A1。

在本实施例中，由于更新后的待填补孔洞还未填补完成，因此，需要对更新后的待填补孔洞继续进行填补，其中，对更新后的待填补孔洞的填补流程与对待填补孔洞的填补流程相同，因此，返回执行步骤A1。

还以图2(a)所示的三维模型为例，在本步骤中，对图2(a)所示的三维模型的孔洞进行填补后，得到是三维模型可以如图2(b)所示。

从图2(b)可以看出，孔洞填补后的三维模型与理想中的三维模型之间存在差异，为了减少差异，需要对填补后的三维模型进行优化，具体的优化过程，可以参考S105。

通过S101～S104，使得三维模型中的每个孔洞被填补完成，为了描述方便，在本实施例中，将三维模型中的每个孔洞被填补完成后得到区域，称为填补区域，即三维模型中一个孔洞对应一个填补区域。例如，图2(a)所示的三维模型展示了两个孔洞，则该两个孔洞分别对应一个填补区域。

S105、以待优化区域的边界的顶点以及第一投影点为预设优化算法的控制点，对待优化区域的填补顶点进行优化，得到优化后的区域。

在本实施例中，待优化区域为填补区域中面积大于预设面积阈值的填补区域。

在本实施例中，对于任意一个填补区域，将构成该区域的边界的边中，相邻边形成的相交点，称为该区域的边界的顶点。

在本步骤中，待优化区域的填补顶点为填补对应的孔洞(填补三角形)的过程中新增的顶点。

在本步骤中，预设优化算法可以为薄板样条(Thin Plate Spline，TPS)算法，其中，基于TPS算法对待优化区域的填补顶点进行优化的具体步骤可以包括步骤C1～步骤C4：

C1、计算待优化区域的顶点分别在最小包围球上的投影点，得到第一投影点。

在本步骤中，最小包围球为三维模型的最小包围球，其中，最小包围球的具体计算方式为现有技术，这里不再赘述。为了描述方便，将本步骤计算得到的投影点，称为第一投影点。

C2、将待优化区域的顶点和第一投影点，作为TPS算法的控制点。

需要说明的是，在本实施例中，由于对三维模型的孔洞填补之前，先对三维模型中每个孔洞的边界进行裁剪，以减少孔洞的边界的噪声，进而提高孔洞的边界准确性。因此，本步骤将待优化区域的边界的顶点作为TPS变形算法的控制点，使得控制点的数据更准确。

C3、计算填补顶点在最小包围球上的投影点，得到第二投影点。

本步骤的具体实现方式为现有技术，这里不再赘述。为了描述方便，将本步骤计算得到的投影点，称为第二投影点。

C4、依据TPS算法和控制点，计算第二投影点对应的变形顶点。

在本步骤中，第二投影点对应的变形顶点为填补顶点在优化后得到的顶点。

当然，在实际中，除了采用TPS算法进行优化外，还可以通过其他优化算法进行优化，本实施例不对采用哪种算法进行优化作限定。

为了直观的展示优化过程，本实施例以图4所示的优化过程为例进行介绍。在图4中，l1为待优化线段，目标是使得l1变为与s1类似的形状，v0和v1是填补顶点。在变形过程中，对填补顶点v0和v1进行变形运算，变形运算后得到t0和t1。为了描述方便，本实施例将填补顶点经过变形运算，得到的点称为变形顶点，即t0和t1则是变形顶点。

通过上述步骤C3～步骤C4，可以看出本实施例先将填补顶点投影到最小包围球上，得到第二投影点，然后再依据TPS算法和控制点，对第二投影点进行变形，这样可以使得优化后的区域更加平滑、自然。

为了直观展示本步骤的优化结果，给出了图2(c)所示的优化结果示意图，从图2(c)可以看出，优化得到的三维模型与理想模型的差异，相比于图2(b)所示的三维模型与理想模型的差异得到减小，进而达到优化效果。

S106、对优化后的区域中的重复顶点进行去重，得到目标区域。

在本实施例中，在对待优化区域中的填补顶点进行优化的过程中，填补顶点中可能存在重复填补顶点，导致优化后区域的边界上存在重复变形顶点。

还以图4所示的优化过程为例进行介绍，在图4中，在变形过程中，填补顶点v0和v1经过变形运算后变为t0和t1，但是t0和t1具有相同的空间坐标，也就是变形后，填补顶点出现了重叠。其中，填补顶点v0和v1就是重复填补顶点，该重复填补顶点分别对应的变形后的顶点，就是优化后的区域中的重复顶点，即t0和t1就是重复顶点。

为了避免后续过程中在使用重复顶点出现歧义，需要对重复顶点进行去重。例如，通过v3表示v0和v1变形后的坐标，即通过v3表示t0和t1。

为了描述方便，将本步骤对优化后的区域的重复顶点进行去重后得到的区域，称为目标区域。

S107、按照预设的重建算法，对目标区域的点云进行重建。

在本步骤中，可以采用简单可扩展表面重建(Simple and Scalable SurfaceReconstruction，SSSR)算法对目标区域的点云进行重建，当然，在实际中，还可以采用其他重建算法，比如泊松重建算法等，本实施例不对具体的重建算法作限定。

图5为本申请实施例提供的待填补孔洞的确定方法，为了描述方便，在本实施例中，以三维模型中的任意一个孔洞为例，介绍依据该孔洞，确定待填补孔洞的过程，可以包括以下步骤：

S501、判断孔洞的边界中边的数量是否大于预设数量，如果是，则执行S502，如果否，则执行S503。

在本步骤中，预设数量的取值可以为3，也可以为4，当然，在实际中，也可以为其他数值，只要不小于3即可，本实施例不对预设数量的取值作限定。

S502、将孔洞分为两个孔洞，得到两个待处理孔洞。

可选的，在本实施例中，将一个孔洞分为两个孔洞的过程可以包括以下步骤B1～步骤B2：

B1、从孔洞中确定满足预设条件的两条边，得到两条分界边。

在本步骤中，预设条件可以包括：不相邻且比值在孔洞的边界中不相邻的两条边分别对应的比值中最小。

在本实施例中，两条边界边可以采用e_i和e_j表示，其中，两条不相邻边即|i-j|>1。

在本实施例中，孔洞的边界中任意两条不相邻边的比值为边界长度与空间距离间的比值。其中，该不相邻两条边的边界长度为该不相邻的两条边的起点和终点将孔洞的边界分割成的两部分边界中的最小边界长度，可以采用D_ij表示。该不相邻两条边的空间距离为起点和终点间的空间欧式距离，可以采用P_ij表示。其中，该不相邻的两条边的起点和终点是在边界上按照预设环绕方向得到。

以图3(a)所示的黑色实线构成的孔洞的边界中不相邻的两条边为e1和e4为例，假设在该孔洞的边界上按照逆时针方向环绕，可以得到从边e1沿着逆时针方向到e4，起点为v1，终点为v5。v1和v5将该孔洞的边界分成的两部分边界，分别为：在孔洞边界上按照逆时针方向，从v1绕到v5的边界，以及从v5绕到v1的边界。

该不相邻两条边的边界长度为从v1绕到v5的边界长度和从v5绕到v1的边界长度中的最小值。该不相邻两条边的空间距离为v1和v5间的空间直线距离，即欧式距离。

B2、以两条分界边的起点和终点为分割点，将孔洞中的边分为两组，得到两个待处理孔洞。

还以图3(a)所示的孔洞中v1为起点和v5为终点为例，在本步骤中，以v1和v5为分割点，将图3(a)所示的孔洞分为两部分，其中，v1-v2-v3-v4-v5-v1围成一个孔洞，称为待处理孔洞。v5-v6-v7-v0-v1-v5围成一个孔洞，称为待处理孔洞。

在本实施例中，将待处理孔洞作为孔洞，返回S501继续执行，直至待处理孔洞的边界中边的数量不大于预设数量，为了描述方便，本实施例将边界的边的数量不大于预设数量的待处理孔洞，称为目标待处理孔洞。

S503、分别针对每个目标待处理孔洞，依据目标待处理孔洞的边界中全部边的平均长度，对目标待处理孔洞的目标边进行分割，得到的分割点为目标待处理孔洞的新增顶点。

为了描述方便，以任意一个目标待处理孔洞为例，介绍本步骤的操作。具体的，该目标待处理孔洞的目标边为该目标待处理孔洞的边界中，长度大于该目标待处理孔洞的边界中全部边的平均长度的边。

具体的，在目标边上添加新增顶点的个数的确定方式如下公式(1)所示：

式中，N_i表示目标边上添加新增顶点的个数，l_i表示目标边的边长，l_m表示目标待处理孔洞的边界中全部边的平均长度。

假设目标待处理孔洞构成的区域是一个三角形区域，则该目标待处理孔洞的边界包括三条边，表示为{e₀,e₁,e₂}，该目标待处理孔洞存在三个顶点，可以表示为{p₀,p₁,p₂}，该目标待处理孔洞的边界包括的三条边的边长，可以表示为{l₀,l₁,l₂}，该目标待处理孔洞的边界的全部边的平均长度为l_m。

通过上述公式(1)可以计算得到需要在目标边上新增顶点的个数，假设新增顶点的数量为k+1个，其中，新增顶点可以表示为p_i,k＝p_i+v_i·k,k＜N_i，其中，v_i为对应边的单位法向量。新增顶点构成的集合可以表示为{p_i,0,p_i,1,…,p_i,k}。

在本实施例中，对于任意一个目标待处理孔洞，在目标边上的新增顶点，也是目标待处理孔洞的顶点。

S504、将得到的全部孔洞，作为待填补孔洞。

在本实施例中，通过上述S503得到的全部孔洞，都称为待填补孔洞。

在得到待填补孔洞后，按照图1对应的实施例提供的填补流程分别进行填补。需要说明的是，在实际中，得到的待填补孔洞的数量可能有多个，在本实施例中，为了加快后续对待填补孔洞的填补速度，可以对待填补孔洞进行并行填补。

还需要说明的是，在本实施例中，依据三维模型中的孔洞，确定待填补孔洞，在实际中，可能三维模型中的一个孔洞通过图5对应的方法被分割为多个待填补孔洞。在图1对应的实施例中，对三维模型中的孔洞被填补后所形成的填补区域中面积大于预设面积阈值的填补区域(待优化区域)进行优化。由于三维模型中的一个孔洞对应一个填补区域，在任意一个孔洞被确出多个待填补区域的情况下，该孔洞对应的填补区域的面积为该孔洞被分割得到的全部待填补孔洞的面积之和。

图6为本申请实施例提供的一种三维模型的孔洞填补装置，可以包括：检测模块601、确定模块602和执行模块603，其中，

检测模块601，用于检测三维模型的孔洞。

确定模块602，用于依据孔洞，确定待填补孔洞；待填补孔洞至少包括孔洞。

执行模块603，用于针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述孔洞的填补，得到填补区域：

确定待填补孔洞的边界中具有最小夹角的相邻边，得到目标相邻边；在目标相邻边的长度之和大于平均长度的两倍的情况下，在目标相邻边的基础上向待填补孔洞的内部填补两个三角形；填补的三角形中新添加边的长度为预设长度；所述平均长度为待填补孔洞的边界中全部边的平均长度；在待填补孔洞未被完全填补的情况下，针对更新后的待填补孔洞执行所述填补流程，直至待填补孔洞被完全填补。

可选的，执行模块603，执行的填补流程还可以包括：在目标相邻边的长度之和不大于平均长度的两倍的情况下，对目标相邻边的边界点相连得到的三角形进行填补。

可选的，确定模块602，用于依据孔洞，确定待填补孔洞，包括：

确定模块602，具体用于在孔洞的边界中边的数量大于预设数量的情况下，将孔洞分割为两个孔洞，得到两个待处理孔洞；在任一待处理孔洞的边界中边的数量大于预设数量的情况下，将该待处理孔洞分割为两个待处理孔洞，直至每个待处理孔洞中边的数量都不大于预设数量，得到目标待处理孔洞；分别针对每个目标待处理孔洞，依据目标待处理孔洞的边界中全部边的平均长度，对目标待处理孔洞的目标边进行分割，得到的分割点为目标待处理孔洞的新增顶点；对于任意一个目标待处理孔洞，该目标待处理孔洞的目标边为该目标待处理孔洞的边界中，长度大于该目标待处理孔洞的边界中全部边的平均长度的边；得到的全部孔洞为待填补孔洞。

可选的，确定模块602，用于在孔洞的边界中边的数量大于预设数量的情况下，将任一孔洞分割为两个孔洞，得到两个待处理孔洞，包括：

确定模块602，具体用于从该孔洞中，确定满足预设条件的两条边，得到两条分界边；预设条件包括：不相邻且对应的比值在该孔洞的边界中不相邻的两条边分别对应的比值中最小；该孔洞的边界中任意两条不相邻边的比值指：该两条不相邻边的边界长度与空间距离间的比值；边界长度为该两条不相邻边的起点和终点将该孔洞的边界分割为的两部分边界的最小边界长度；空间距离为该两条不相邻边的起点和终点间的欧式距离；该两条不相邻边的起点和终点通过在该孔洞的边界上按照预设环绕方向得到；以两条分界边的起点和终点为分割点，将该孔洞的边界分为两部分，得到两个待处理孔洞。

可选的，该装置还可以包括：

裁剪模块，用于在检测模块601，用于检测三维模型的孔洞之后，并且，在依据孔洞，确定待填补孔洞之前，对检测到的每个孔洞的边界进行裁剪，得到裁剪后的孔洞。

确定模块602，用于依据孔洞，确定待填补孔洞，包括：

确定模块602，用于依据裁剪后的孔洞，确定待填补孔洞。

可选的，该装置还可以包括：

优化模块，用于在执行模块603，用于针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述裁剪后的孔洞的填补，得到填补区域之后，以待优化区域的边界的顶点和第一投影点为TPS算法的控制点，对所述待优化区域的填补顶点进行优化，得到优化后的区域；所述待优化区域为填补区域中面积大于预设面积阈值的区域；所述第一投影点为所述待优化区域的边界的顶点在所述三维模型的最小包围球的投影点；所述待优化区域的填补顶点为对裁剪后的孔洞填补过程中新增的顶点。

可选的，该装置还可以包括：

重建模块，用于在优化模块以待优化区域的边界的顶点和第一投影点为TPS算法的控制点，对待优化区域的填补顶点进行优化，得到优化后的区域之后，对优化后的区域的重复顶点进行去重，得到目标区域；按照预设的重建算法，对目标区域的点云进行重建。

三维模型的孔洞填补装置包括处理器和存储器，上述检测模块601、确定模块602和执行模块603等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来降低时间和空间上的复杂度。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述三维模型的孔洞填补方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述三维模型的孔洞填补方法。

本发明实施例提供了一种设备，如图7所示，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的三维模型的孔洞填补方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

检测三维模型的孔洞；

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书的各个实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种三维模型的孔洞填补方法，其特征在于，包括：

检测三维模型的孔洞；

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述依据所述孔洞，确定待填补孔洞，包括：

4.根据权利要求3所述的方法，其特征在于，将任一孔洞分为两个孔洞，得到两个待处理孔洞，包括：

5.根据权利要求1所述的方法，其特征在于，在所述检测所述三维模型的孔洞之后，并且，在所述依据所述孔洞，确定待填补孔洞之前，还包括：

对检测到的每个孔洞的边界进行裁剪，得到裁剪后的孔洞；

所述依据所述孔洞，确定待填补孔洞，包括：

依据所述裁剪后的孔洞，确定待填补孔洞。

6.根据权利要求5所述的方法，其特征在于，在针对每个所述待填补孔洞，分别执行以下填补流程，完成对所述裁剪后的孔洞的填补，得到填补区域之后，还包括：

7.根据权利要求6所述的方法，其特征在于，在所述以待优化区域的边界的顶点和第一投影点为TPS算法的控制点，对所述待优化区域的填补顶点进行优化，得到优化后的区域之后，还包括：

对所述优化后的区域的重复顶点进行去重，得到目标区域；

按照预设的重建算法，对所述目标区域的点云进行重建。

8.一种三维模型的孔洞填补装置，其特征在于，包括：

检测模块，用于检测三维模型的孔洞；

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1～7任意一项权利要求所述的三维模型的孔洞填补方法。

10.一种设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1～7中任一项权利要求所述的三维模型的孔洞填补方法。