CN113343765B - 一种基于点云刚性配准的场景检索方法及系统 - Google Patents

Abstract

本发明涉及点云检索领域，提供了一种基于神经网络与点云配准的场景检索方法及系统，主要包括网络训练模块与点云检索模块，其中网络训练模块以现有的点云检索网络为基础，引入基于概率的损失函数，使点云特征向量更好地表达点云的全局特征，其中点云检索模块应用了基于点云配准的重排序策略，确保存在相似结构的点云获得更高的检索排名。本发明不仅能够增强点云检索中点云特征计算的准确度，而且能够便捷地移植到不同的点云检索网络中，提升其检索的准确度。

Description

一种基于点云刚性配准的场景检索方法及系统

技术领域

本发明属于点云检索领域，尤其涉及一种基于神经网络和点云配准的场景检索与匹配方法。

背景技术

场景识别与定位在计算机视觉领域中是一项十分具有挑战性的任务，同时它也可以被作为数据检索问题进行处理。利用基于图片的检索方式进行场景定位，常会被照片中的光照环境条件所影响，例如不同气候条件或季节变换，或是拍摄角度变化，导致同一场景的外观差异较大，而无法获得准确的定位结果。随着三维扫描技术逐渐发展，点云成为新的数据载体，其不存在图片检索中可能有的局部变形、外观变化等问题，利用神经网络对点云进行特征提取，能够达到场景定位的目的。

对于某一点云，神经网络能够提取出它在高维度下的特征向量，而特征向量中存储了该点云的结构信息。在目前的网络结构中，一般使用点云采集时同步采集的GPS定位信息作为先验知识，GPS距离较近的两个点云，将被当做同一场景，网络从它们之中学习相似几何结构的特性。

尽管特征向量差值小的一对点云，在通常情况下会有相似的结构，但它们依然可能来自不同的现实场景。有两个方面的原因：第一，在同一个场景中，当拍摄位置、视角变化时，由于场景遮挡等因素，雷达扫描装置可能生成结构不同的点云；第二，神经网络自身存在局限性，即网络进行编码、解码时，可能存在部分区域拟合不足，无法保留点云全部的结构信息。因此，以GPS定位信息为参考而构建的数据集，可能受到视角变化而产生的几何结构变化的影响，哪怕GPS距离只有不到十米。此外，雷达设备价格昂贵，当使用一般方法采集点云时，可能无法获得GPS定位信息，导致无法使用这种数据集构建方式。

在点云刚性配准领域，通过提取点云的稳定的局部几何特征，对点云进行刚性变换，如平移、旋转，使得两个点云之间能有尽可能多的点相互匹配。PFH(点特征直方图)、FPFH (快速点特征直方图)、SHOT(方向直方图特征)等均是基于传统数学运算获得点云局部特征的算子。在利用这些特征的基础上，有比如ICP(迭代最近临近点)、NDT(基于概率分布配准)等算法进行点云之间的配准。但这些配准方法一般仅适用于稠密点云，两个点云之间需要存在较多的相似区域，同时它们的迭代求解时间较长。而在点云检索任务中，由于利用神经网络进行点云特征提取，数据集中的点云均采样到同一尺寸和点数，相较于三维重建任务(点云配准算法的常用领域)中的点云，其更加稀疏，且几何特征更不明显。当直接将现有的点云配准算法应用其上时，配准后的两个点云之间的无法重合区域依然较大，不仅在后期计算时存在较大误差，而且基本无法依靠点云中对应匹配点的距离大小来评估配准结果的优劣。

发明内容

本发明针对现有技术的不足，如特征提取不全面、检索结果存在误差等，提供了一种基于神经网络与点云配准的场景检索方法及系统，能够优化点云特征向量计算模式，同时对点云检索的结果进行重排序，达到提高点云检索的准确度的目的。

本发明的技术方案为一种基于神经网络和点云配准的场景检索方法及系统，其中包含网络训练模块与点云检索模块，网络训练模块包含以下步骤：

步骤1，采集城市街道的点云信息，构建点云数据库；

步骤2，利用一点云配准单元为点云数据库中的每两个点云之间进行刚性配准，记录刚性变换矩阵；

步骤3，利用一配准评价单元为步骤2中计算的刚性配准进行得分评价，并选择得分高于阈值的作为正向训练对，得分低于阈值的作为负向训练对；

步骤4，利用步骤3中所构建的正向训练对和负向训练对，作为无监督的数据集，训练基于特征向量的点云检索网络；

点云检索模块包含以下步骤：

步骤5，采集城市街道某一位置的点云信息，将其输入点云检索网络中，计算特征向量；

步骤6，将输入点云的特征向量与点云数据库中全部点云的特征向量进行比较，并将点云数据库中的点云基于相似性进行排序；

步骤7，对于排在前N位的检索结果点云，利用点云配准单元将其依次与输入点云进行刚性配准；

步骤8，利用配准评价单元为步骤7中的每个刚性配准进行得分计算；

步骤9，利用步骤6与步骤8中的计算结果，计算最终得分，随后对步骤7中的排在前N 位点云进行重排序，获得最终的检索结果。

所述步骤2具体如下：点云配准单元中，利用点云配准算法对两个点云中的其中一个点云进行平移、旋转的刚性变换，确保变换后的点云能有尽可能多的部分与另一个点云重合。

所述步骤3具体如下：配准评价单元中，将两个点云分别映射到独立的单位球的表面，同时记录点云中的点到球心的距离，之后将这两个单位球的表面展开为平面矩形图片，比较两张图片之间的相似程度。

所述步骤4具体如下：应用任一点云检索网络，修改其损失函数为优化后的基于概率的损失函数，迭代训练直至损失函数的值足够小。

所述步骤6具体如下：特征向量的差值越小，两个点云之间相似性越大；特征向量的差值大于一定阈值时，认为两个点云之间毫不相关。

所述步骤9具体如下：通过将步骤6与步骤8中的计算结果进行加权求和，得到排在前 N位的点云的最终得分；按照最终得分从大到小的顺序对这些点云进行重排序，得到最终的检索结果。

基于同一发明构思，本发明还设计了一种实现基于神经网络的点云配准场景检索方法的系统，包括网络训练模块与点云检索模块，

网络训练模块：

采集城市街道的点云信息，构建点云数据库；利用点云配准单元为点云数据库中的每两个点云之间进行刚性配准，记录刚性变换矩阵；利用配准评价单元为刚性配准进行得分评价，并选择得分高于阈值的作为正向训练对，得分低于阈值的作为负向训练对，其中，配准评价得分由下式得出：

其中||D_k＞0||代表在两张图片上都存在点云投影的像素的数目，其中X_o代表在k像素位置处两个点云之间存在重叠，X_fsv代表在k像素位置处两个点云之间存在遮挡；

最后，利用上述构建的正向训练对和负向训练对，作为无监督的数据集，训练基于特征向量的点云检索网络；

点云检索模块：

采集城市街道某一位置的点云信息，将其输入点云检索网络中，计算特征向量；

将输入点云的特征向量与点云数据库中全部点云的特征向量进行比较，并将点云数据库中的点云基于相似性进行排序；

对于排在前N位的检索结果点云，利用点云配准单元将其依次与输入点云进行刚性配准；

利用配准评价单元为每个刚性配准进行得分计算；

利用计算结果，计算最终得分并对排在前N位点云进行重排序，获得最终的检索结果。

本发明有效提高了点云检索结果的准确率，具有如下几点优势：

1、以往的刚性配准算法中，一般使用匹配成功的点对之间的三维距离，来评估两个点云之间的匹配程度，但在点云检索任务中，点云存在点数稀少、点云仅含有关键几何结构等情况，若依然计算两个点云之间的三维距离，可能存在点对之间距离值偏大、错误匹配造成的影响过大等问题，本发明提出将三维点云投影至二维平面上进行判断，减小了因点云稀疏而可能出现的距离计算误差，能够有效地评价在点云检索任务中，两个稀疏点云的相似程度；

2、将本发明提出的点云配准的评分方式应用于点云检索的后处理中时，由于利用网络提取点云特征时，可能忽略部分几何信息，导致存在细微不同的点云具有相似的特征向量，后处理步骤中利用点云配准的评分对检索结果进行重排序，能够有效剔除这类失败检索，提高检索的准确率；

3、将本发明提出的点云配准的评分方式应用于点云检索的前处理中时，由于利用GPS 定位信息进行构建的数据库，容易受到因拍摄方位变化而导致同一建筑的外观变化的影响，将不具有同样特征的点云划入正向匹配，前处理步骤中利用点云配准的评分进行正向匹配的划分，不仅能够满足无监督的训练条件，也能提取出具有更相似特征的点云作为正向匹配，增强点云特征网络的特征提取性能；

4、本发明提出的基于概率的损失函数，能够让点云特征网络在进行特征提取时，充分考虑点云与其正向匹配之间的相似性，保证提取特征的有效性；

5、此外，本发明能够便捷地移植到不同类别的点云配准算法中，以及点云检索网络中，提升它们的检索准确率。

附图说明

图1是本发明的点云检索系统的流程图。

图2是本发明的点云配准单元的示意图。

图3是本发明的点云数据集的构建示意图。

具体实施方式

下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员理解本发明，并不对本发明作任何的限制。

本发明基于神经网络与点云配准的点云检索算法，如图1所示，算法包含网络训练模块与点云检索模块，网络训练模块包含以下步骤：

步骤1，采集城市街道的点云信息，构建点云数据库，具体如下：利用车载雷达设备沿城市街道慢速移动，采集点云信息(含GPS定位信息)，其中一部分被挑选作为测试数据集，其余的放入点云数据库；对于测试数据集中的点云，在点云数据库中找到与其GPS定位距离小于阈值的其它点云，这些点云会被记录为该点云的真实数据。测试数据集将用来评判点云检索的结果好坏，但不影响网络的训练或重排序的结果。

步骤2，利用一点云配准单元为点云数据库中的每两个点云之间进行刚性配准，得到刚性变换矩阵，其中点云配准单元具体如下：

对于输入的两个点云，利用快速点特征直方图(FPFH)方法分别计算它们的全局到局部的特征向量，随后利用快速全局配准(Fast Global Registration)方法，求出能令这两个点云的重叠部分最大化的刚性变换矩阵，即通过保持一点云不变，将刚性变换矩阵应用于另一点云，两个点云之间能有尽可能多的部分是重叠的。

步骤3，利用一配准评价单元为步骤2中计算的刚性配准进行得分评价，并选择得分高于阈值的作为正向训练对，得分低于阈值的作为负向训练对本发明中阈值设为0.5，在不同场景中，相似点云的配准评价得分一般不会有较大变化，不相似的点云基本不会有较大的评价得分，此处预设较低的得分，以选出足够不相似的点云。对于网络训练，应确保每一个点云有至少1个的正向训练对，有至少9个的负向训练对，其中配准评价单元具体如下：

利用基于视觉连续性的得分衡量两个点云之间的匹配程度，首先将点云(或经过刚性变换的点云)投影到指定半径的球面上，将球面展开成指定分辨率的矩形图片，然后在两张矩形图片都存在值的位置上，即存在点云中的点投影到该像素位置上，基于以下公式逐像素计算两张矩形图片之间的差值：

D_i，j(k)＝|PA_i(k)-PA_j(k)|，

其中k代表在两张图片上都存在点云投影的像素，PA_i(k)代表将第i个点云投影到球面并展开成图片后，在k像素位置上的值，PA_j(k)代表将第j个点云投影到球面并展开成图片后，在k像素位置上的值。

为了更方便地评判两张图片在同一位置上的像素之间的关系，引入阈值将像素k进行分类，按如下公式进行划分：

其中X_o代表在k像素位置处两个点云之间存在重叠，X_fsv代表在k像素位置处两个点云之间存在遮挡，t代表分类阈值，一般取0.15，即认为在同一位置处存在大于0.15的差值时，该位置存在明显的错位，属于错误的匹配区域。

基于每一个像素计算获得的类别，按照如下公式计算这两个点云之间的配准评价得分：

其中||D_k>0||代表在两张图片上都存在点云投影的像素的数目，|X_o|代表在整张投影形成的图片上存在重叠的像素的数目，|X_fsv|代表在整张投影形成的图片上存在遮挡的像素的数目，λ_fsv代表权值，在具体的实验中，可设置为0.5，即确保重叠区域的数目能获得更大的考量。

步骤4，利用步骤3中为每个点云所计算得到的正向训练对和负向训练对的集合，作为无监督的数据集，训练基于特征向量的点云检索网络，具体如下：

构建一点云检索网络，作为优选，使用PCAN点云检索网络，网络结构保持不变，其中损失函数替换为如下的基于概率的损失函数计算策略：

对于某一个点云P_q，其输入网络的形式为

三元组，其中P_pos代表能够与点云P_q组成正向训练对的点云(一般取1个)，

代表能够与点云P_q组成负向训练对的点云 (一般取9个，即j＝1,2...9)。P_q与三元组中的某一个点云P_i的相似程度可以被定义为条件概率p_i|q，即在以P_q为中心的高斯距离下，P_i的概率密度越大，越可能被挑选作为P_q的邻域项。在点云的特征空间中，同样定义相似的条件概率e_i|q。当训练出的网络的特征空间能够正确表示点云的全部特征时，理应有P_i|q＝e_i|q。作为优选，利用正态分布函数将欧氏距离转换成条件概率后，有如下公式：

其中M代表一个元组中的全部点云，f(P)代表利用神经网络计算点云的特征向量。

定义点云P_q选择P_pos为相似点云的概率为p_p|q，选择P_neg为相似点云的概率为

在理论设计中，需要保证p_p|q为1，同时保证全部的

为0或趋于0。由于需要找到最相似的其它点云，规定P_q|q为0。

对于任意一个输入点云，均有一个正确匹配，N个错误匹配进行训练，同时对概率因子 p和e之间的Kullback-Leibler散度和进行迭代求解，以获得使其得到最小值的参数组，具体损失函数公式如下：

点云检索模块包含以下步骤：

步骤5，将采集的未知位置的点云P_q作为训练后的点云检索网络的输入，计算其特征向量。

步骤6，将输入点云的特征向量与数据库中全部点云的特征向量进行比较，并将数据库中点云基于相似性进行排序，具体如下：

点云数据库中的全部点云，均预先使用点云检索网络计算其特征向量并存储；对于输入的点云P_q，通过网络计算特征向量，然后计算其特征向量与点云数据库中的点云P_g的特征向量的差值d(P_q,P_g)，对于点云数据库中的全部点云，按特征向量差值由小到大的顺序进行排序。此时排在前列的点云为点云检索网络所识别出的最可能与输入点云来自同一场景的点云。

步骤7，对于排在前N位的检索结果点云，利用点云配准单元将其依次与输入点云进行刚性配准，具体如下：

为了减少可能存在的匹配误差，保证输入点云作为固定点云，不进行任何刚性变换；对于排在前N位的检索结果点云，通过特征维度、配准参数等完全相同的刚性配准，应保证刚性变换后的点云能有尽可能多的点与输入点云重叠，而不考虑不重叠的区域的大小，因为来自同一场景的两个点云，可能只有场景中的部分区域是在这两个点云上均存在的。

步骤8，利用配准评价单元为步骤7中的每个刚性配准进行得分计算。

步骤9，利用步骤6中计算的特征差值与步骤8中计算的配准得分，计算最终得分，并按照得分从大到小的顺序对步骤6中的前N位点云进行重排序，获得最终的检索结果，具体如下：

对于步骤6获得的特征向量差值和步骤8获得的配准评价得分，按照如下公式计算最终得分，并将步骤7中挑选出的前N位的检索结果点云按照该最终得分进行重排序：

其中λ_f代表来自网络输出的点云之间高维向量差值的权重，λ_reg代表来自重排序的配准得分的权重。该两个权重在不同数据上应有不同的取值，比如，当点云数据集中的点云存在较少的地标类建筑时，即存在较少的特殊的几何结构，此时点云配准算法很容易出现误差，应尽可能考虑来自特征网络的信息，可以将λ_f设置为1.0，而将λ_reg设置为0.8；而当点云数据集中的点云存在较多的地标类建筑时，亦或在采集时存在较多的转弯、方向变换等，应更多地考虑来自点云配准的后处理得分信息，可以将λ_f设置为0.8，而将λ_reg设置为1.0。

应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于神经网络的点云配准场景检索方法，其特征在于，包括以下步骤：

步骤1，采集城市街道的点云信息，构建点云数据库；

步骤2，利用点云配准单元为点云数据库中的每两个点云之间进行刚性配准，记录刚性变换矩阵；

步骤3，利用配准评价单元为步骤2中计算的刚性配准进行得分评价，并选择得分高于阈值的作为正向训练对，得分低于阈值的作为负向训练对，其中，配准评价单元具体如下：

利用基于视觉连续性的得分衡量两个点云之间的匹配程度，首先将点云或经过刚性变换的点云投影到指定半径的球面上，将球面展开成指定分辨率的矩形图片，然后在两张矩形图片都存在值的位置上，即存在点云中的点投影到该像素位置上，基于以下公式逐像素计算两张矩形图片之间的差值：

D_i，j(k)＝|PA_i(k)-PA_j(k)|，

其中k代表在两张图片上都存在点云投影的像素，PA_i(k)代表将第i个点云投影到球面并展开成图片后，在k像素位置上的值，PA_j(k)代表将第j个点云投影到球面并展开成图片后，在k像素位置上的值；引入阈值将像素k进行分类，按如下公式进行划分：

配准评价得分由下式得出：

其中||D_k＞0||代表在两张图片上都存在点云投影的像素的数目，其中X_o代表在k像素位置处两个点云之间存在重叠，X_fsv代表在k像素位置处两个点云之间存在遮挡，λ_fsv代表权值；

步骤4，利用步骤3中所构建的正向训练对和负向训练对，作为无监督的数据集，训练基于特征向量的点云检索网络；

步骤5，采集城市街道某一位置的点云信息，将其输入点云检索网络中，计算特征向量；

步骤6，将输入点云的特征向量与点云数据库中全部点云的特征向量进行比较，并将点云数据库中的点云基于相似性进行排序；

步骤7，对于排在前N位的检索结果点云，利用点云配准单元将其依次与输入点云进行刚性配准；

步骤8，利用配准评价单元为步骤7中的每个刚性配准进行得分计算；

步骤9，利用步骤6与步骤8中的计算结果，计算最终得分并对步骤7中的排在前N位点云进行重排序，获得最终的检索结果，计算最终得分公式如下：

其中λ_f代表来自网络输出的点云之间高维向量差值的权重，λ_reg代表来自重排序的配准得分的权重。

2.根据权利要求1所述的方法，其特征在于：所述步骤2的具体过程为，对于输入的两个点云，利用快速点特征直方图方法分别计算它们的全局到局部的特征向量，随后利用快速全局配准方法，求出能令这两个点云的重叠部分最大化的刚性变换矩阵。

3.根据权利要求1所述的方法，其特征在于：所述步骤3中每一个点云有至少1个的正向训练对，有至少9个的负向训练对。

4.根据权利要求1所述的方法，其特征在于：点云检索网络采用PCAN点云检索网络，将其中的损失函数替换为如下的基于概率的损失函数计算策略：

对于某一个点云P_q，其与

三元组中的另一个点云P_i的相似程度被定义为条件概率p_i|q，在点云的特征空间中，同样定义相似的条件概率e_i|q。当训练出的网络的特征空间能够正确表示点云的全部特征时，理应有P_i|q＝e_i|q，利用正态分布函数将欧氏距离转换成条件概率后，有如下公式：

其中M代表一个元组中的全部点云，f(P)代表利用神经网络计算点云的特征向量，其中，P_pos代表能够与点云P_q组成正向训练对的点云，

代表能够与点云P_q组成负向训练对的点云；定义点云P_q选择P_pos为相似点云的概率为p_p|q，选择P_neg为相似点云的概率为

在理论设计中，需要保证p_p|q为1，同时保证全部的

为0或趋于0。由于需要找到最相似的其它点云，规定P_q|q为0；

对于任意一个输入点云，均有一个正确匹配，N个错误匹配进行训练，同时对概率因子p和e之间的散度和进行迭代求解，以获得使其得到最小值的参数组，具体损失函数公式如下：

5.一种实现基于神经网络的点云配准场景检索方法的系统，其特征在于：包括网络训练模块与点云检索模块，

网络训练模块：

采集城市街道的点云信息，构建点云数据库；利用点云配准单元为点云数据库中的每两个点云之间进行刚性配准，并选择得分高于阈值的作为正向训练对，得分低于阈值的作为负向训练对，其中，配准评价单元具体如下：

利用基于视觉连续性的得分衡量两个点云之间的匹配程度，首先将点云或经过刚性变换的点云投影到指定半径的球面上，将球面展开成指定分辨率的矩形图片，然后在两张矩形图片都存在值的位置上，即存在点云中的点投影到该像素位置上，基于以下公式逐像素计算两张矩形图片之间的差值：

D_i，j(k)＝|PA_i(k)-PA_j(k)|，

其中k代表在两张图片上都存在点云投影的像素，PA_i(k)代表将第i个点云投影到球面并展开成图片后，在k像素位置上的值，PA_j(k)代表将第j个点云投影到球面并展开成图片后，

在k像素位置上的值；引入阈值将像素k进行分类，按如下公式进行划分：

配准评价得分由下式得出：

其中||D_k＞0||代表在两张图片上都存在点云投影的像素的数目，其中X_o代表在k像素位置处两个点云之间存在重叠，X_fsv代表在k像素位置处两个点云之间存在遮挡，λ_fsv代表权值；

最后，利用上述构建的正向训练对和负向训练对，作为无监督的数据集，训练基于特征向量的点云检索网络；

点云检索模块：

采集城市街道某一位置的点云信息，将其输入点云检索网络中，计算特征向量；

将输入点云的特征向量与点云数据库中全部点云的特征向量进行比较，并将点云数据库中的点云基于相似性进行排序；

对于排在前N位的检索结果点云，利用点云配准单元将其依次与输入点云进行刚性配准；

利用配准评价单元为每个刚性配准进行得分计算；

利用计算结果，计算最终得分并对排在前N位点云进行重排序，获得最终的检索结果，计算最终得分公式如下：

其中λ_f代表来自网络输出的点云之间高维向量差值的权重，λ_reg代表来自重排序的配准得分的权重。

Images