CN114266279A - 一种基于复数网络表达的点云特征提取方法及装置 - Google Patents

Abstract

一种基于复数网络表达的点云特征提取方法及装置，该方法包括：第一步、使用希尔伯特变换，获取到点云复数表达当中的实数与虚数部分的处理；第二步、使用第一步的结果，对实数域虚数部分分别进行卷积，然后通过复数卷积公式来计算最终实数部分与虚数部分的特征表达，可以迭代多层来实现更复杂确定数目输出的特征的提取；第三步、则可通过第二步当中的结果计算出结合了点云实数与虚数特征表达的复数表达，通过模值计算来获得；第四步、进一步对第三步的结果进行归一化、或特征编码降维等操作，获得紧实且具有代表性的全局特征，为后续三维点云处理与分析任务提供了基础保障。

Description

一种基于复数网络表达的点云特征提取方法及装置

技术领域

本发明涉及三维处理与分析领域，并且更具体地涉及一种基于复数网络表达的点云特征提取方法及装置。

背景技术

由于三维数据采集设备近年来不断涌现出来且价钱不再昂贵，三维数据便不断激增，亟需要对三维数据进行处理与分析，其中最关键的即为对其的特征表达。其中以三维点云为例，如何提取三维点云特征表达受到了众多的关注，由于其是基本特征提取操作，可以为后续点云处理与分析任务打好基础。然而，现有点云特征网络均基于实数表达框架，并未使用复数表达网络来进行特征提取。数学上，我们知道实数是包含在复数当中虚数为零的特例，所以可知复数表达则更为泛化且数据保留更全面。物理上，通过希尔伯特变换，我们可从其解析表达获取其虚数表达部分。所以现有网络均为简化版特征提取，并未获取具有全部信息的点云特征表达。因此，如何设计更泛化且更全面的点云特征就显得尤为重要。接近的背景技术的文献有：Trabelsi C,Bilaniuk O,Zhang Y,et al.Deep complexnetworks[J].arXiv preprint arXiv:1705.09792,2017.

通过上述分析，现有技术存在的问题及缺陷为：现有点云特征提取网络均基于实数域进行操作，缺少复数域的更充实且完备的特征表达，以及通用复数点云特征提取网络框架。

解决以上问题及缺陷的难度为：现阶段暂无基于点云复数的网络，因此需要设计合理的网络框架，设计点云的复数来表达，以及构建复数卷积核的结构，难度大。

解决以上问题及缺陷的意义为：复数点云特征提取，涵盖了只有实数域点云特征提取，是更加泛化版的点云特征提取框架，且涵盖了实数所丢失的信息部分。对后续三维点云处理域分析任务提供了更完备及充实的特征提取方式。

发明内容

针对上述问题和相关方法的缺陷，本发明提出了一种基于复数网络表达的点云特征提取方法及装置，其将点云复数特征提取网络构建分为四步。通过复数网络表达所提取的点云特征，包含更全面的信息，且所需要迭代次数较少，应用于点云处理与分析的各类任务，例如：点云分类、点云分割、点云检索等任务，为点云处理与分析的下游任务提供了基础特征保障。

为解决上述技术问题，本发明采用如下技术方案来达到目的：

一种基于复数网络表达的点云特征提取方法及装置。所述的方法及装置包括以下步骤：

S1、点云预处理；

该步骤用于需要将输入点云表示为两部分：实数表达部分与虚数表达部分，可由多种方式获取，例如希尔伯特变换，或傅里叶变换e指数表达等。

S2、卷积操作层构建；

该步骤用于对由S1获取出来的点云复数表达分别进行卷积操作运算，可以是单层也可以是多层，输出特征维度大小依赖于任务需求。其中每一层的操作可由多层感知器搭建、或点云卷积操作等来实现；

S3、模值计算；

该步骤用于将S2提取出的点云复数特征变为一个全局特征表达，模值计算有多种方式，可以使用虚数与实数的平方和求开方获得。

S4、特征后处理；

该步骤用于对S3获取到的点云特征表达进一步处理，可以是归一化处理，例如softmax函数等，可以是进一步特征编码来获取全局表达，例如使用NetVLAD方式等，也可以直接输出需要的尺寸大小。

本方法提出一种基于复数网络表达的点云特征提取方法及装置，其关键在于点云复数特征提取网络的搭建，该部分可分为四步来实现。通过复数网络表达所提取的点云特征，包含更全面的信息，且所需要迭代次数较少，可应用于点云处理与分析的各类任务当中，例如：点云分类、点云分割、点云检索等任务，为点云处理与分析的下游任务提供了基础特征提取保障。

本方法提出一种基于复数网络表达的点云特征提取方法与背景技术相比，具有如下有益效果：

1、本发明是点云中更加泛化的特征提取方式，为更泛化与完备且紧实的点云特征提取提供了方法；

2、本发明可应用于各类点云处理与分析任务当中的特征提取部分，特征表现效果较仅有实数域的更佳。

附图说明

图1为本发明流程方框图，

图2为本发明主框架描述方框图，

图3为本发明实施流程方框图。

具体实施方式

为更加清楚说明本发明的目的、技术方案和优点，下面将结合附图，通过具体实施对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方面保护的范围。

实施例：

如图1、2和3所示，本实施例公开了一种基于复数网络表达的点云特征提取方法及装置，具体包括下列步骤：

步骤S1、点云预处理；

该步骤用于需要将输入点云表示为两部分：实数表达部分与虚数表达部分，可由多种方式获取，例如希尔伯特变换，或傅里叶变换e指数表达(z＝r^iθ)等。这里使用希尔伯特变化进行说明，如公式(1)所示。

其中，该公式表示物理可实现信号都是实信号，实信号的频谱具有共轭对称性，即正负频谱的幅度相同，相位相反，如果只取信号的正频部分的复数表达p(t)，则p(t)是点云信号s(t)的解析表示。且H[s(t)]称为点云信号s(t)的希尔伯特变换。因此，通过输入点云信号s(t)，根据公式(1)可以计算出其虚数部分，即希尔伯特变换。

然后即可获取到点云复数表达p(t)的实数与虚数表达部分：s(t)与H[s(t)]。公式(1)中，i是指的虚数部分。这里，由于希尔伯特变化表达式实际上就是将原始信号和一个信号做卷积的结果，所以本质上可以看成是做了一次特殊卷积积分，卷积信号为：

也即冲激响应。为了简单计算期间，可以使用一层卷积来模拟希尔伯特变换的计算过程，可简化计算。

步骤S2、卷积操作层构建；

该步骤用于对由S1获取出来的点云复数表达分别进行卷积操作运算，可以由单层也可以由多层迭代构成，输出特征维度大小依赖于任务需求。其中每一层的操作可由多层感知器搭建、或点云卷积操作等来实现。这里举例点云卷积操作来实现的过程。首先，定义复数卷积核W，如公式(2)所示，其中A为实部的卷积核，B为虚部的卷积核。

W＝A+iB (2)

然后，定义完复数卷积核，我们将从S1获取到的点云复数表达f简化表达为公式(3)所示，其中x与y分别是点云的实部与虚部。

f＝x+iy (3)

因此，点云的复数卷积过程则定义为公式(4)。对应来讲，实数卷积后结果X是实数部分的卷积与虚数部分卷积之差，如公式(5)所示，而虚数卷积后的结果Y是虚数部分卷积与实数部分卷积之和，如公式(6-1)所示。简单起见，设计虚部部分的特征提取如公式(6-2)所示，可减少计算量的同时，得到不错的效果。与6-1仅区别于输入与卷积核权值的不同。卷积核的大小及输出由具体任务而定，可以设置一层或多层迭代模式，旨在输出需要的输出的特征大小。

W*f＝(A*x-B*y)+i(B*x+A*y) (4)

X＝(A*x-B*y) (5)

Y＝(B*x+A*y) (6-1)

Y＝(A*x+B*y) (6-2)

步骤S3、模值计算；

该步骤用于将S2提取出的点云复数特征变为一个全局特征表达，模值计算有多种方式，可以使用虚数与实数的平方和求开方获得，如公式(7)所示，计算后的特征为F。这里由于开方操作可能导致网络不可导，因此简化为使用卷积操作来模拟公式(7)。

步骤S4、特征后处理；

该步骤用于对S3获取到的点云特征表达进一步处理，可以是归一化处理，例如softmax函数等将特征表达为1xD的表示，也可以是进一步特征编码来获取全局表达，例如使用NetVLAD方式等，也可以直接输出需要的尺寸大小。例如在点云检索任务当中，使用NetVLAD进一步编码，则需要先对特征进行L2归一化处理，然后进行变化，如公式(8)所示。

F＝NetVLAD(|F|₂) (8)

综上所述，本实施例公开了一种基于复数网络表达的点云特征提取方法及装置。针对现有大多数方法均基于实数特征的提取，不能完全展现数据本身所包含的信息。因此，本发明所提出了一种基于复数网络表达的点云特征提取方法及装置，其将点云复数特征提取网络的搭建可以分为四步来实现。在第一步当中使用希尔伯特变换，获取到点云复数表达当中的实数与虚数部分的处理；在第二步当中使用第一步的结果，对实数域虚数部分分别进行卷积，然后通过复数卷积公式来计算最终实数部分与虚数部分的特征表达，可以迭代多层来实现更复杂确定数目输出的特征的提取；第三步则可通过第二步当中的结果计算出结合了点云实数与虚数特征表达的复数表达，通过模值计算来获得；第四步进一步对第三步的结果进行归一化、或特征编码降维等操作，获得紧实且具有代表性的全局特征，为后续三维点云处理与分析任务提供了基础保障。

为了证明本发明实时技术方案的先进性，在多个项目中进行了实际的效果测试，和手工编写进行了实际的效率对比。

表1：本发明与PointNetVLAD效果对比表

如表1所示，对比未使用复数特征表达的网络，分为在基线与优化后的结果，对比未使用复数特征表达的网络，可以明显看出，尤其是基线，本专利所提出方法效果全部最好。

[1]Uy MA，Lee G H.PointNetVLAD：Deep Point Cloud Based Retrieval forLarge-Scale Place Recognition[C]//2018IEEE/CVF Conference on Computer Visionand Pattern Recognition.IEEE，2018.

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下的所作的改变、修饰、替代、组合、简化等均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于复数网络表达的点云特征提取方法，其特征在于，包括以下步骤：

S1、点云预处理；

S2、卷积操作层构建；

S3、模值计算；

S4、特征后处理。

2.根据权利要求1所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的步骤S1、点云预处理中，需要将输入点云表示为两部分：实数表达部分与虚数表达部分，可由多种方式获取，例如希尔伯特变换，或用傅里叶变换指数表达等。

3.根据权利要求2所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的希尔伯特变化，如公式(1)所示，

其中，该公式表示物理可实现信号都是实信号，实信号的频谱具有共轭对称性，即正负频谱的幅度相同，相位相反，如果只取信号的正频部分的复数表达p(t)，则p(t)是点云信号s(t)的解析表示；且H[s(t)]称为点云信号s(t)的希尔伯特变换；因此，通过输入点云信号s(t)，根据公式(1)可以计算出其虚数部分，

然后即可获取到点云复数表达p(t)的实数与虚数表达部分：s(t)与H[s(t)]。

4.根据权利要求1所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的步骤S2、卷积操作层构建中，对复数表达的点云分别进行复数卷积操作运算。

5.根据权利要求4所述的一种基于复数网络表达的点云特征提取方法，其特征在于，S2、卷积操作层构建具体为：

首先，定义复数卷积核，如公式(2)所示，其中A为实部的卷积核，B为虚部的卷积核；

W＝A+iB (2)

然后，定义完复数卷积核，我们将从S1获取到的点云复数表达简化表达为公式(3)所示，其中x与y分别是点云的实部与虚部；

f＝x+iy (3)

因此，点云的复数卷积过程则定义为公式(4)；对应来讲，实数卷积后结果X是实数部分的卷积与虚数部分卷积之差，如公式(5)所示，而虚数卷积后的结果Y是虚数部分卷积与实数部分卷积之和，如公式(6-1)所示；简单起见，设计虚部部分的特征提取如公式(6-2)所示，可减少计算量的同时，得到不错的效果；与6-1仅区别于输入与卷积核权值的不同；卷积核的大小及输出由具体任务而定，可以设置一层或多层迭代模式，旨在输出需要的输出的特征大小；

W*f＝(A*x-B*y)+i(B*x+A*y) (4)

X＝(A*x-B*y) (5)

Y＝(B*x+A*y) (6-1)

Y＝(A*x+B*y) (6-2)。

6.根据权利要求1所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的步骤S3、模值计算中，整体点云复数特征的计算，具体为模值的计算。

7.根据权利要求6所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的步骤S3、模值计算中模值计算具有为；

用于将S2提取出的点云复数特征变为一个全局特征表达，模值计算有多种方式，可以使用虚数与实数的平方和求开方获得，如公式(7)所示，计算后的特征为F；这里由于开方操作可能导致网络不可导，因此简化为使用卷积操作来模拟公式(7)；

8.根据权利要求1所述的一种基于复数网络表达的点云特征提取方法，其特征在于，所述的步骤S4、特征后处理中，点云特征后处理方式，获取最终全局点云复数表达。

9.一种基于复数网络表达的点云特征提取装置，用于运行或实现权利要求1-8任意一项所述的基于复数网络表达的点云特征提取方法。

Images