CN107918753A

CN107918753A - 点云数据处理方法及装置

Info

Publication number: CN107918753A
Application number: CN201610885733.7A
Authority: CN
Inventors: 曾超
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd; Tencent Cloud Computing Beijing Co Ltd
Priority date: 2016-10-10
Filing date: 2016-10-10
Publication date: 2018-04-17
Anticipated expiration: 2036-10-10
Also published as: US20190156507A1; WO2018068653A1; CN107918753B; US10846874B2

Abstract

本发明公开了一种点云数据处理方法及装置；方法包括：基于点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类；合并与道路设施高度适配的点云数据类别中的各帧点云数据；沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据；从所述候选点云数据中提取出符合道路设施的特征的点云数据。实施本发明，能够高效、准确提取道路设施的点云数据。

Description

点云数据处理方法及装置

技术领域

本发明涉及电子地图技术，尤其涉及一种点云数据处理方法及装置。

背景技术

作为下一个科技时代—人工智能的一种典型应用模式，自动驾驶技术正在受到前所未有的高度关注，高精度地图的缺失已经成为了制约自动驾驶技术发展的瓶颈。

道路护栏等道路设施作为高精度地图的重要组成部分，能够在高精度地图中精确标识道路设施是实现高精度车辆定位和自动驾驶安全的前提。

目前，通过采集道路所处的环境的点云数据，对点云数据进行对象化以形成道路设施的高精度地图。对象化是指识别出各三维点所代表的实际的道路是设施，如道路护栏、路灯等。从采集的点云数据中提取出的道路设施的点云数据可以在高精度地图中精确呈现道路设施，是基于高精度地图提供各种服务的基础。

对于如何以高效方式从采集的点云数据中提取出道路设施点云数据，从而基于道路设施点云数据在高精度地图中精确呈现相应的实体三维图形，相关技术尚无有效解决方案。

发明内容

本发明实施例提供一种点云数据处理方法及装置，能够高效、准确地提取道路设施的点云数据。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种点云数据处理方法，包括：

基于点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类；

合并与道路设施高度适配的点云数据类别中的各帧点云数据；

沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据；

从所述候选点云数据中提取出符合所述道路设施的特征的点云数据。

第二方面，本发明实施例提供一种点云数据处理装置，包括：

分类单元，用于基于点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类；

合并单元，用于合并与道路设施高度适配的点云数据类别中的各帧点云数据；

第一提取单元，用于沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据；

第二提取单元，用于从所述候选点云数据中提取出符合所述道路设施的特征的点云数据。

第三方面，本发明实施例提供一种点云数据处理装置，包括处理器和存储介质；存储介质中存储有可执行指令，用于引起处理器执行以下的操作：

第四方面，本发明实施例提供一种存储介质，存储有可执行指令，用于执行本发明实施例提供的点云数据处理方法。

本发明实施例具有以下有益效果：

1)通过各帧点数据中三维点与参照面的距离对点云数据进行初步筛选，从而可以迅速定位出道路设施对应的点云数据，可以大大降低后续处理数据量，提高处理效率；

2)根据道路设施的分布与道路的轨迹吻合的特点，从多帧点云数据合并后的结果总提取与道路距离满足预定条件的点云数据作为候选点云数据，基于道路设施的整体性特征从候选点云数据中提取整体的道路设施的点云数据，与从单帧点云数据中提取部分道路设施的点云数据相比更加鲁棒，提取点云数据所使用的整体性特征比局部特征更加鲁棒，准确度和提取效率更高。

附图说明

图1为本发明实施例中点云数据处理方法的一个可选的流程示意图；

图2为本发明实施例中点云数据处理装置的一个可选的软硬件结构示意图；

图3-1为本发明实施例中点云数据处理装置分布在车辆侧和云端时点云数据处理的一个可选的场景示意图；

图3-2为本发明实施例中点云数据处理装置分布在车辆侧和云端时点云数据处理的一个可选的场景示意图；

图4-1为本发明实施例中点云数据处理方法的一个可选的流程示意图；

图4-2为本发明实施例中点云数据处理方法的一个可选的流程示意图；

图4-3为本发明实施例中点云数据处理方法的一个可选的流程示意图；

图4-4为本发明实施例中合并点云数据的一个可选的处理示意图；

图4-5为本发明实施例中对候选点云数据集合进行聚类的一个可选的实现示意图；

图4-6为本发明实施例中对分段的候选点云数据集合判断是否为道路设施点云数据的处理示意图；

图4-7为本发明实施例中道路点云数据进行三维曲线拟合的处理示意图；

图5-1为本发明实施例中从采集的点云数据中提取如图5-2所示的道路护栏的点云数据的一个可选的流程示意图；

图5-2为本发明实施例中的道路护栏可选的示意图；

图5-3为本发明实施例中使用激光扫描仪扫描道路环境而形成点云数据的一个可选的场景示意图；

图5-4为本发明实施例中从沿车行轨迹获取车辆两侧的三维点及邻域点得到候选道路护栏点云数据的示意图；

图5-5为本发明实施例中基于道路护栏的点云数据拟合形成的道路护栏的三维曲线的示意图；

图6为本发明实施例中信息处理装置的一个可选的功能结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

点云数据，指通过安装在车辆或其他移动装置(如飞行器)中的扫描设备(如激光扫描器)，对道路环境进行扫描并以点的形式记录的数据，每一个点包含有三维点的坐标，以及相应三维点的属性信息，如红绿蓝(RGB)颜色信息，或者反射强度信息(Intensity)。

高精度地图，能够表现车道级别的地图，包括车道线、标线和道路参数等等信息。至少具有厘米级定位精度，还可以具有道路设施信息(如交通灯、电子眼和交通路牌等交通设施)。其中，道路参数可以是静态交通信息(如道路是否限行、是否限速)，还可以是动态交通信息如车流量情况(是否畅通、是否有交通事故)、路面情况(是否有积水、结冰等)。

地物，是指道路以及道路周围地面上各种有形物(如道路设施、植物、建筑等)。

地物点云数据，点云数据中用于表示地物的部分点云数据。

地面点云数据，点云数据中用于表示地面(如路面、与道路相接的地表、水面)的部分点云数据。

道路设施，道路附近的、沿道路呈连续性分布的辅助设施，如道路护栏、交通路牌、交通灯和电子眼等。

道路护栏，刚性或半钢性的、以一种主柱支撑(还包括相互拼接的栏板的)的结构，沿道路两侧连续性设置。受到车辆碰撞时，由于良好的耐撞性能和吸收能量的作用，避免车辆冲出道路被撞毁，以保护车辆和司乘人员。

三维曲线拟合，用连续曲线近似地刻画或比拟曲线拟合点云数据中的三维点，使尽量多的三维点符合某一连续三维曲线的分布，如位于该连续三维曲线上或距离该三维曲线较近，该三维曲线为基于点云数据进行三维曲线拟合的结果。

首先对相关技术提供的基于点云数据提取道路设施的点云数据的方案进行说明。

方案1)基于海量的点云数据进行识别道路设施时，相关技术部分普遍采用了或者全部采用了人工方式对道路设施对应的点云数据进行标识并提取的方式。

对于采集道路所处环境而得到的点云数据，相关技术采用了人工方式对每帧的点云数据中的道路设施对应的部分点云数据进行标识的方式。以道路护栏为例，在每帧的点云数据包括了环境中一系列的三维点的坐标及其属性信息，通过人工方式对每帧点云数据中对应道路护栏的三维点进行标识，并提取所标识的三维点的点云数据，这种方式仅仅适用于小范围的高精度地图的构建，当采用上述方式构建较大范围如城市高速公路、城际高速公路的高精度地图构建时，至少存在以下问题：

1)对于构建高精度地图来说，采集的点云数据是海量的，上述方式操作复杂，导致提取点云数据的工作量大，效率低而短时间内难以实现；

2)由于人工提取效率低，海量点云数据需要巨大的人工作业量，导致无法大规模推广作业。

方案2)相关技术还采用不同对象的预设特征与各帧的点云数据匹配以提取具有相应特征的点云数据。

相关技术还采用将各帧点云数据与预设特征匹配的方式提取出道路设施的点云数据，但是经常出现这样的情况，单帧点云数据扫描在道路护栏上的点往往比较稀疏，导致从点云数据提取的特征不明显。例如在某一帧点云数据中的三维点比较稀疏时相应的道路设施的特征不明显，此时采用预设特征提取方式方法会造成错提取和漏提取现象，致使基于离散的三维点无法判断出三维点所代表的对象。

可以看出，上述提取道路设施的点云数据的方案未考虑道路设施的点云数据的整体空间具有连续性的分布特征，基于单帧的点云数据容易误剔除道路设施的点云数据，造成真正的道路设施的点云数据的误剔除。

针对上述问题，本发明实施例提供一种点云数据处理方法，参见图1示出的点云数据处理方法的一个可选的流程示意图，步骤101，基于点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类；步骤102，合并与道路设施高度适配的点云数据类别中的各帧点云数据；步骤103，沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据；步骤104，从候选点云数据中提取出符合道路设施的特征的点云数据。

本发明实施例还提供一种用于实施上述点云数据处理方法的装置。本发明实施例提供的点云数据处理装置可以采用多种方式来实施，以下进行示例性说明。

1)点云数据处理装置分布实施在车载侧和云端服务器侧。

参见图2示出的点云数据处理装置10的一个可选的软硬件结构示意图，点云数据处理装置10包括件层、中间层、操作系统层和软件层。然而，本领域的技术人员应当理解，图2示出的点云数据处理装置10的结构仅为示例，并不构成对点云数据处理装置10结构的限定。例如，点云数据处理装置10以根据实施需要设置较图2更多的组件，或者根据实施需要省略设置部分组件。

点云数据处理装置10的硬件层包括处理器11、输入/输出接口13，存储介质14、定位模块12、通信模块15以及采集模块16；各组件可以经系统总线连接与处理器11通信。

处理器11可以采用中央处理器(CPU)、微处理器(MCU，Microcontroller Unit)、专用集成电路(ASIC，Application Specific Integrated Circuit)或逻辑可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

输入/输出接口13可以采用如显示屏、触摸屏、扬声器等输入/输出器件实现。

存储介质14可以采用闪存、硬盘、光盘等非易失性存储介质实现，也可以采用双倍率(DDR，Double Data Rate)动态缓存等易失性存储介质实现，其中存储有用以执行上述点云数据处理方法的可执行指令。

示例性地，存储介质14可以集中性设置，也可以在不同地点分布性实施。

通信模块15向处理器11提供外部数据如异地设置的存储介质14的访问能力，示例性地，通信模块15可以实现基于近场通信(NFC，Near Field Communication)技术、蓝牙(Bluetooth)技术、紫蜂(ZigBee)技术进行的近距离通信，还可以实现如基于码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband CodeDivision Multiple Access)等通信制式及其演进制式的通信。

采集模块16用于进行多角度的采集输出点云数据，可以由激光扫描仪或三维摄像头实现，点云数据至少包括三维点的坐标，根据采集模块16的具体类型点云数据中还包括相关的属性信息，如为深度摄像头时属性信息为RGB信息，再例如为激光扫描仪时属性信息为三维点的反射强度信息(与灰度有关)。

驱动层包括用于供操作系统18识别硬件层并与硬件层各组件通信的中间件15，例如可以为针对硬件层的各组件的驱动程序的集合。

软件层包括向用户提供基于高精度地图的应用如导航应用19，还可以将基于高精度地图的各种服务封装为可供调用的应用程序接口(API)。

例如，当通信模块15与车辆中的车载终端建立通信时，软件层可以向车载终端中的应用提供基于高精度地图的服务，包括定位车辆当前位置、导航路线查询等。

点云数据处理装置分布实施在车载侧和云端服务器侧一个典型的实施场景图如图3-1所示，在车辆的行驶环境中，点云数据处理装置在车载侧设置前述的采集模块(如激光扫描仪)对车辆行驶的道路沿途所处环境进行多角度(如0-360度)采集形成不同位置的点云数据，可以为采集的点云数据添加采集角度的标签。

另外，点云数据处理装置在车辆侧中还可以部署有前述的定位模块，在采集装置基于全球卫星定位系统(GPS)、北斗卫星定位导航系统等定位车辆的实时位置(例如采用各种形式的坐标记录)，从而可以对采集的点云数据添加采集的地理位置的标签，并通过点云数据处理装置在车辆侧部署的通信模块发送到云端的服务器，由点云数据处理装置设置在云端的服务器的处理器(通过执行存储介质中的可执行指令)从点云数据中提取出道路设施的点云数据，通过道路设施的点云数据对道路设施进行三维建模，以形成在高精度地图中可用于呈现的道路设施的三维实体图形。

2)点云数据处理装置分布实施在车载侧。

点云数据处理装置的一个可选的软硬件结构示意图仍然可以参见图2，点云数据处理装置分布实施在车载侧和云端服务器侧一个典型的实施场景图如图3-2所示，在车辆的行驶过程中，点云数据处理装置在车载侧设置采集模块(如激光扫描仪)对车辆行驶的沿途的环境进行多角度(如0-360度)采集形成不同位置的点云数据，可以为采集的点云数据添加采集角度的标签。

另外，点云数据处理装置在车辆侧中还可以部署有定位模块，在采集装置基于全球卫星定位系统(GPS)、北斗卫星定位导航系统等定位车辆的实时位置(例如采用各种形式的坐标记录)，为采集的点云数据添加地理位置的标签以及并由点云数据处理装置在车辆侧设置的控制器从点云数据中提取出道路设施的点云数据，通过道路设施的点云数据对道路设施进行三维建模，以形成在高精度地图中可用于呈现的道路设施，所提取的道路设施的电点云数据可以发送到云端的服务器，云端的服务器基于道路设施的高精度地图提供服务。

以下，以点云数据处理装置分布实施在车辆侧和云端的服务器侧为例，结合图3-1示出的点云数据处理的场景示意图继续说明。

参见图4-1示出的点云数据处理方法的一个可选的流程示意图，包括以下步骤：

步骤201，各车辆沿道路行进时，对道路环境进行采集。

如前所述，车辆中通过设置采集模块(如激光扫描仪、三维摄像头)对道路环境进行采集，在行进中的每个位置通过定位模块进行实时定位，并通过采集模块对环境进行多角度(例如0至360的全角度)的采集，在每个位置采集从任一角度采集形成的点云数据的一个可选的数据结构为：地理位置、采集角度、三维点坐标和三维点属性信息。

步骤202，各车辆将沿道路采集的点云数据发送至云端的服务器。

在一个实施例中，各车辆可以通过设置的通信模块将采集模块采集的点云数据实时发送给云端的服务器，供具有高运算能力的云端服务器尽快从点云数据中提取出道路设施对应的点云数据，适用于需要对高精度地图进行实时更新的应用场景。

在另一个实施例中，各车辆可以在到达预定的发送条件时才向云端的服务器发送采集模块采集的点云数据，供云端服务器从接收的点云数据中提取出道路设施对应的点云数据，适用于需要对高精度地图进行有条件更新的非实时应用场景。

示例性地，各车辆可以预定的计时时间(可以是周期性的，也可以是非周期性的)到达时，将在相应时段采集的点云数据发送给云端服务器，例如每间隔5分钟发送一次采集的点云数据。

示例性地，各车辆可以在行驶的里程满足预定里程时发送在相应里程采集的点云数据，例如每行驶1公里即将在1公里内采集的点云数据发送到云端服务器。

步骤203，服务器根据需要根据各点的角度信息，提取出各帧点云数据。

服务器将所接收的点云数据是在不同位置、不同采集角度采集的离散的点云数据，这里，服务器将所接收的点云数据整合为“帧”的形式以便于后续的处理，其中，每个采集位置至少对应有一帧点云数据，对于每个位置形成的点云数据的帧的数量取决于在该位置的停留时间以及采集时扫描道路环境的速度。

服务器所接收到在不同位置的各个角度(0至360度)采集的点云数据，对于所接收的点云数据，根据点云数据的地理位置的标签区分采集位置，对于每个采集位置点云数据，将相应位置的不同采集角度的点云数据形成相应位置的一帧点云数据，每帧点云数据中包括在相应位置以不同角度采集道路环境所得到的三维点的坐标以及属性信息。

假设形成位置1的一帧点云数据，首先从接收的点云数据中提取出具有位置1的标签的点云数据，对于具有位置1的标签的点云数据，根据各点云数据的采集角度顺序排列而形成相应的一帧点云数据。

例如，位置1的一帧点云数据的一个可选的数据结构为(位置1，采集角度0-三维点1坐标-三维点1属性信息；采集角度1-三维点n坐标-三维点n属性信息；……采集角度360-三维点1坐标-三维点1属性信息；采集角度360-三维点n坐标-三维点n属性信息)。

步骤204，服务器基于各帧点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类。

在一个实施例中，参照面可以为地平面或其他参考平面，根据每一帧点云数据的三维点的坐标建立对应地平面的平面方程，根据平面方程求取该帧点云数据中各三维点相对地平面的高度，以及地面、地物所对应的高度的取值范围，将各帧点云数据至少划分为对应地面的点云数据(地面点云数据)和对应地物的点云数据(地物点云数据)。当然，还可以划分为高于地物高度的其他类型的点云数据(简称为其他点云数据)。

举例来说，地平面上的道路设施与其他的植物如植物在高度上有所区别，交通灯的高度在1米以上，道路护栏的高度普遍在0.3米至1米之间，道路附近的植物一般为花草或其他低矮的植物普遍在0.3米以下。

如此，通过各帧点云数据三维点相对于地平面的高度，可以初步判断出该三维点是对应地平面、对应地物或者是对应更高的物体，将三维点划分到相应类别点云数据中，根据道路设施的不同，与道路设施高度适配的点云数据类别也有所不同，例如可以包括以下情况：

情况1)对于道路护栏来说，由于其高度处于地物的高度的取值范围，因此通过分类获得包括道路护栏的地物点云数据与道路护栏的高度适配。

情况2)对于交通灯来说，因其高度高于地物的高度范围，因此通过分类获得包括交通灯的其他点云数据与交通灯的高度适配。

可以看出，通过对各帧点云数据进行分类后，后续可以只对与道路设施高度适配的点云数据类别进行处理，而筛除其他类别的点云数据(不必继续进行后续处理)，这就实现了对包括道路设施的点云数据初步筛选的效果，减小了后续的数据处理量。

步骤205，合并与道路设施高度适配的点云数据类别中的各帧点云数据。

当道路设施为道路护栏时，对从各帧点云数据中分类得到的多个帧的地物点云数据进行合并；当道路设施为道路护栏时，对从各帧点云数据中分类得到的多个帧的其他点云数据进行合并。

在一个实施例中，对于点云数据的合并，提供基于特征拼接点云数据的方式，当道路设施为道路护栏时，以对从各帧点云数据中分类得到的多个帧的地物点云数据进行合并为例，从各帧的地物点云数据的三维点的坐标以及属性信息提取出特征，通过比对各帧点云所具有的相同的特征，基于各帧点云数据具有的相同的特征对各帧点云数据进行拼接。

例如，通过分析各帧的地物点云数据获得该帧地物点云数据所表示的对象的局部的特征，并且局部的特征的是物体上的与成像的大小和旋转无关的点，如可以为任何物体上的任何部位的成像点，包括物体的边缘处的点，也可以是物体上的与该物体的特性不一致的点，如白色物体上的黑色斑点，物体上凸起的点，物体上凹下点，金属制物体上的锈点，物体表面漆体上的剥落点等。

假设存在N(大于2)帧地物点云数据，如图4-4所示，以合并第1帧地物点云数据和第2帧地物点云数据为例，通过对第1、2帧地物点云数据进行分析检测出特征点的集合(特征点集)，特征点可以使用特征向量来描述，通过将特征点集1中的特征点与特征点集2中的特征点匹配，得到相同的特征点，设为特征点1，并且特征点1在第1帧点云数据中的形状s1与1在第1帧点云数据中的形状s2存在如下关系：s1＝s2*f，其中，f表示在尺寸大小上的调整，以及在角度上的旋转；那么，第2帧点云数据中的三维点的坐标系经过f变换即可转换为第1帧点云数据中三维点的坐标系，从而，实现第1帧地物点云数据与第2帧地物点云数据的拼接。

可以理解地，当道路设施为交通灯时，对从各帧点云数据中分类得到的多个帧的其他点云数据进行合并与上述的合并处理是类似地，不再赘述。

在另一个实施例中，对于点云数据的合并，提供基于各帧点云数据中的三维点的点集之间的三维变换关系的进行合并的方式，识别出各帧点云数据中的相同三维点的点集在各帧点云数据中的三维点之间的三维变换关系，基于三维变换关系对相应的各帧点云数据进行拼接。

仍以合并第1帧地物点云数据和第2帧地物点云数据为例，第1帧地物点云数据中存在包括n个三维点的点集设为PL，第1帧地物点云数据中存在包括n个三维点的点集设为PR，通过点云配准算法计算得到点集PL中各点经过三维空间变换后与点集PR中的三维点一一对应，通过迭代的方式来最大化点集设为PR和点集PL来计算得到能够准确表示点集设为PR和点集PL的三维变换关系设为f。

那么，第2帧点云数据中的三维点的坐标系经过f变换即可转换为第1帧点云数据中三维点的坐标系，从而，实现第1帧地物点云数据与第2帧地物点云数据的拼接。

步骤206，服务器沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据。

在一个实施例中，由于点云数据中携带了沿道路行驶过程的地理位置标签，通过从各帧点云数据中提取地理位置标签，可以得到以相邻的地理位置(如地理位置1-地理位置2-地理位置3)形式描述的道路的轨迹，对于在步骤205中所合并的点云数据，可以沿道路的轨迹中的各个地理位置，从合并得到的点云数据中识别以下至少一种三维点，获取所识别的三维点对应的点云数据作为候选点云数据：

1)与道路轨迹中的相应地理位置距离最近的三维点，也就是与道路的距离小于第一距离阈值的三维点。

2)与三维点(与道路距离最近的三维点)距离小于第二距离阈值(与前述第一阈值距离可以相同或不同)的三维点(也称为邻域点)。

例如，当道路设施为道路护栏时，设道路轨迹包括N相邻的地理位置，从合并的地物点云数据中依次提取与位置n(1≤n≤N)相聚不超出2米的三维点以及与上述三维点距离不超出0.5米的邻域点，将所提取的三维点以及邻域点对应的点云数据作为候选道路护栏点云数据。

再例如，当道路设施为道路护栏时，设道路轨迹包括N相邻的地理位置，从合并的地物点云数据中依次提取与位置n(1≤n≤N)相聚不超出1米的三维点以及与上述三维点距离不超出0.25米的邻域点，将所提取的三维点以及邻域点对应的点云数据作为候选道路护栏点云数据。

由于道路设施通常是沿道路的轨迹分布设置的，因此，通过沿道路的轨迹提取点云数据，一方面对点云数据进行了进一步的筛除，减少了后续的数据处理量；另一方面，由于是基于道路的距离是否满足预定条件来筛除点云数据，契合道路设施自身的分布特性而不会出现误删除的情况。

步骤207，从候选点云数据中提取出符合道路设施的特征的点云数据。

提取道路设施点云数据的方式一

在一个实施例中，鉴于道路护栏、交通等道路设施具有沿道路轨迹均匀设置且高度一致的整体分布特征，相应地，提供这样的提取道路设施点云数据的方式，从候选点云数据中识别出满足以下条件的点云数据作为道路设施点云数据：

1)三维点沿道路的轨迹分布，与道路的垂直距离不超出距离阈值。

2)三维点相对参照面的直线投影距离(也称为高程)符合均匀特征的三维点。

识别完成后，从候选点云数据中提取所识别出的三维点对应的点云数据，作为符合道路设施的特征的点云数据也即是道路设施点云数据。

例如，对于候选道路护栏点云数据，从候选道路护栏点云数据中识别出与道路的垂直距离不超出1米，且高度为0.3米(上下幅度不超出0.1米)的三维点，将所识别出的上述三维点的点云数据作为道路护栏点云数据。

再例如，对于候选交通灯点云数据，从候选交通灯点云数据中识别出与道路的垂直距离不超出2米，且高度为3米(上下幅度不超出0.5米)的三维点，将所识别出的上述三维点的点云数据作为交通灯点云数据。

提取道路设施点云数据的方式二

在另一个实施例中，根据道路设施点云数据的局部的空间分布特征，从候选点云数据中提取出符合道路设施的特征的点云数据时，还提供这样的提取道路设置点云数据的方式，将候选点云数据中的三维点进行聚类处理，形成多个候选点云数据集合，每个候选点云数据集合包括有多个三维点以及属性信息。基于各分段候选点云数据集合的空间分布特征，综合判断该候选点云数据集合是否属于道路设置点云数据。

例如，如图4-5所示的对候选点云数据41进行聚类处理的一个可选的处理示意图，按照欧式距离相近原则，将三维空间距离相近的三维点聚类为候选点云数据集合42、候选点云数据集合43和候选点云数据集合44。

可以替换地，候选点云数据还可以结合特征相近原则进行聚类，例如当三维点彼此之间的距离不具有稀疏性时，基于颜色的近似程度、高程(到参照面直线投影距离)的近似程度将特征相近的三维点聚类为候选点云数据集合。

接续上述实施例进行说明，对于上述形成的候选点云数据集合，提供这样的方式提取道路设施点云数据，将各候选点云数据集合沿基于沿道路的轨迹进行分段(均匀分段或者不均匀分段)，计算各分段候选点云数据集合的空间分布特征，例如，分段候选点云数据集合中三维点沿不同方向的空间分布密度、分段候选点云数据集合中三维点沿不同方向的空间投影密度等，基于各分段候选点云数据集合的空间分布特征综合判断该候选点云数据集合是否属于道路设置点云数据。

示例性地，对于基于各分段候选点云数据集合的空间分布特征综合判断该候选点云数据集合是否属于道路设置点云数据，可以采用如下的方式：

1)基于道路设施点云数据的预定空间分布特征的判断方式

结合图4-5如图4-6所示，将将某一候选点云数据集合划分为多个分段，判断基于多个分段的空间分布特征的特征值是否符合道路设施点云数据的预定空间分布特征，例如是否与道路设施点云数据的预定特征值相符，或者处于预定的取值范围，如果存在半数以上的分段符合道路设施点云数据的预定空间分布特征，则该候选点云数据集合为道路设施点云数据。

2)基于机器学习模型的判断方式

示例性地，机器学习模型通过这样的方式获得：

2.1)构建训练样本：利用先验点云数据的空间分布特征以及先验点云数据是否为道路设施点云数据的结果构建训练样本(空间分布特征，是/否道路设施点云数据)。

2.2)对机器学习模型中的分类器进行训练，使机器学习模型具有根据点云数据的空间分布特征判断点云数据是否为道路设施点云数据的性能。

在获得训练后的机器学习模型后，将各分段候选点云数据集合的空间分布特征输入机器学习模型，从而获得相应的候选点云数据集合是否为道路设施点云数据的判断结果。

需要指出的是，上述基于道路设施点云数据的整体分布特征以及局部的空间分布特征，从候选点云数据集合中提取道路设施点云数据的方式可以择一使用或同时使用，尤其在同时使用时，兼顾道路设施的整体特征和局部特征从候选点云数据提取道路设置点云数据，能够提高提取准确率，降低误剔除风险。

为了进一步降低所提取出道路设施点云数据中的噪点，在一个实施例中，参见图4-2示出的点云数据处理方法的一个可选的流程示意图，基于图4-1，在步骤207之后，还可以将符合道路设施的特征的点云数据进行三维曲线拟合(步骤208)，筛除未符合所拟合三维曲线的三维点对应的点云数据(步骤209)，从而得到能够准确表示道路设施的点云数据。

例如，对图4-7所示的道路点云数据进行三维曲线拟合得到带状曲线45，那么将道路设施点云数据中位于拟合曲线之外的三维点作为噪点筛除。

在提取得到道路设施的点云数据后，在一个实施例中，参见图4-3示出的点云数据处理方法的一个可选的流程示意图，基于图4-2，在步骤208之后，还可以基于符合道路设施的特征的点云数据进行三维建模，形成道路设施的三维实体图形(步骤210)。通过三维建模，将离散的点云数据转换为道路设施的三维实体图形，可以用于在高精度地图中呈现。

例如，在构建得到道路设施的高精度地图后可以提供各种应用，例如车辆智能化，车辆智能化将是车辆产业发展的最大趋势，高精度地图是核心；未来车辆产业90％以上的科技创新将集中在车辆智能化领域。通过高精度地图中道路设施的三维立体图形、以及动态交通信息实现自动驾驶车辆，例如，通过高精度地图的数据以及车辆的当前位置进行计算，告知车辆行进方向和附近路况；同时，动态交通信息可以被实时地息传递给车辆中的计算设备(如车载终端)来判断拥堵的程度，同时选择最佳行驶路径。

当车辆使用电能驱动行驶时基础在于能源管控，即一定的电量能供车辆行驶的公里里程；而实现能源管控的核心在于通过高精度地图中静态和动态的交通信息进行各种运算，如计算车辆前方是否拥堵，前方路况是否爬坡等，以此来精确算出电量使用情况。

下面，再以道路设施为道路护栏为例，对以车载激光扫描仪方式沿道路采集对的点云数据中提取出道路护栏的点云数据进行说明。

首先对单帧点云数据进行粗分类，得到地面点云、低矮地物点云和其它地物点云；然后，合并若干帧的低矮地物点云数据，并沿车行轨迹获取左右两侧离车最近的低矮地物点云数据，得到候选道路护栏点云数据；接着，对候选道路护栏点云数据进行空间聚类，得到各候选道路护栏点云集合，并分析各聚类后点云集合的特征，识别护栏点云集合并剔除干扰点云集合；最后，对提取得到的护栏点云数据进行三维曲线拟合，获得最终可在高精度地图中表示的道路护栏数据。

如图5-2所示的整个道路护栏提取的流程图如图5-1所示，包括以下几个步骤：

步骤301，单帧点云数据提取。

由于激光扫描仪采用的是360度旋转扫描方式，如图5-3所示，将激光扫描仪从0度到360度旋转扫描得到的点云称为单帧激光扫描线数据(简称单帧点云数据)。在实际采集过程中，各扫描线数据连续存储形成点云文件，因此，在获取得到点云数据后，需要根据各点的角度信息，提取出各帧扫描线点云数据(即采集角度值在0-360度之间的三维点)。

步骤302，单帧点云数据粗分类。

对上一步获取得到的单帧点云数据，采用Ransac算法提取得到地平面方程为a*x+b*y+c*z+d＝0，其中c>0。然后，依据单帧点云数据中各点到地平面的距离来进行点云粗分类。具体分类规则如下：

步骤303，计算点到平面的距离dist＝|a*x+b*y+c*z+d|/sqrt(a*a+b*b+c*c)。

当dist<＝dThred1时，该点被判断为地面点；

当dist>dThred1且dist<＝dThred2时，该点被判断为低矮地物点；

当dist>dThred2时，该点被判断为其它点。

这里dThred1可以取值0.3m，dThred2取值1m。

步骤304，沿车行轨迹进行候选道路护栏点云数据提取。

由于道路护栏点一般离地40cm以上，正好落入低矮地物点内；此外，在旁边车道无车辆遮挡的情况下，道路护栏点为低矮地物点内离采集车辆最近的点。因此，累积多帧点云数据中的低矮地物点云，得到完整的低矮地物点云集合，如图5-4所示；然后，沿车行轨迹分别取离车左右两侧(垂直车行轨迹)最近的点及其邻域点，得到候选道路护栏点云数据。

步骤305，空间聚类及护栏点云集合识别。

对上述候选道路护栏点云数据进行空间聚类，得到各候选道路护栏聚类的点云数据集合，聚类方法包括但不限于基于欧氏距离的聚类方法、基于图论的聚类方法和基于特征的聚类方法等。

护栏点云集合的识别方法包括基于整体分布特征的识别方法和基于局部特征的识别方法。

基于整体分布特征的识别方法考虑到道路护栏在空间上呈现连续三维线状分布的特征，道路护栏沿车行轨迹方向是一条平滑连续且高程(到路面投影的距离)接近的曲线，利用该特征可以快速识别道路护栏点云数据集合，并将非护栏点云集合(如路面上车辆、防撞墩和路两旁植被等)进行剔除。

基于局部特征的识别方法首先将候选道路护栏数据集合沿轨迹方向进行分段，依次计算各分段内点云数据集合的空间分布特征(包括点云在X、Y和Z方向的空间分布和垂直方向点投影密度等)；然后可以采用预设阈值(既可以人工指定，也可以通过监督学习方法进行自动获取)进行候选道路护栏点云数据集合的识别；最后，综合所有分段的识别结果来判断该候选道路护栏点云数据集合是否属于真正的护栏数据。

实际提取过程中，同时考虑护栏点云的整体和局部分布特征，能够提高护栏点云的提取准确率，降低误剔除风险。

步骤306，三维曲线拟合。

提取得到的护栏点云数据量依然较大，无法直接用于高精度地图表示。因此，这里将提取得到的护栏点云数据采用三维曲线拟合方法，进行曲线拟合，得到最终的如图5-5所示的道路护栏的三维曲线数据。曲线拟合方法包括但不限于基于多项式方程的三维曲线最小二乘拟合方法和基于Ransac的曲线拟合方法等。

基于以上步骤，可以实现基于车载激光点云的道路护栏数据的自动提取，得到高精度道路护栏数据。

再对上述点云数据处理装置的逻辑功能结构进行说明，参见图6示出的点云数据处理装置20的一个可选的逻辑功能结构示意图，包括：分类单元21、合并单元22、第一提取单元23和第二提取单元24，以下对各单元进行说明。

分类单元21，用于基于点云数据中的三维点基于相对参照面的距离，对采集道路所处环境得到的各帧点云数据进行分类；需要根据各点的角度信息，提取出各帧点云数据。

分类单元21将所接收的点云数据是车辆侧在不同位置、不同采集角度采集的离散的点云数据，将所接收的点云数据整合为“帧”的形式以便于后续的处理，例如，对于所接收的点云数据，根据点云数据的地理位置的标签区分采集位置，对于每个采集位置点云数据，将相应位置的不同采集角度的点云数据形成相应位置的一帧点云数据，每帧点云数据中包括在相应位置以不同角度采集道路环境所得到的三维点的坐标以及属性信息。

合并单元22，用于合并与道路设施高度适配的点云数据类别中的各帧点云数据。

在一个实施例中，合并单元22，还用于提取出点云数据类别中各帧点云数据的特征点，基于各帧点云数据具有的相同的特征点对各帧点云数据进行拼接。

对于点云数据的合并，合并单元22提供基于特征拼接点云数据的方式，当道路设施为道路护栏时，以对从各帧点云数据中分类得到的多个帧的地物点云数据进行合并为例，从各帧的地物点云数据的三维点的坐标以及属性信息提取出特征，通过比对各帧点云所具有的相同的特征，基于各帧点云数据具有的相同的特征对各帧点云数据进行拼接。

在另一个实施例中，对于点云数据的合并，合并单元22提供基于各帧点云数据中的三维点的点集之间的三维变换关系的进行合并的方式，识别出各帧点云数据中的相同三维点的点集在各帧点云数据中的三维点之间的三维变换关系，基于三维变换关系对相应的各帧点云数据进行拼接。

第一提取单元23，用于沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据。

在一个实施例中，第一提取单元23，还用于沿道路的轨迹从合并得到的点云数据中识别与道路距离小于第一距离阈值的三维点、和/或与三维点距离小于第二距离阈值的三维点，获取所识别的三维点对应的点云数据。

由于点云数据中携带了沿道路行驶过程的地理位置标签，通过从各帧点云数据中提取地理位置标签，可以得到以相邻的地理位置(如地理位置1-地理位置2……地理位置3)形式描述的道路的轨迹，对于合并单元22所合并的点云数据，第一提取单元23可以沿道路的轨迹中的各个地理位置，从合并得到的点云数据中识别以下至少一种三维点，获取所识别的三维点对应的点云数据作为候选点云数据：

第二提取单元24，用于从候选点云数据中提取出符合道路设施的特征的点云数据。

提取道路设施点云数据的方式一

在一个实施例中，第二提取单元24，还用于从候选点云数据中识别出沿道路的轨迹分布、且相对参照面的距离符合均匀条件的三维点，提取所识别出的三维点对应的点云数据。

鉴于道路护栏、交通等道路设施具有沿道路轨迹均匀设置且高度一致的整体分布特征，相应地，第二提取单元24提供这样的提取道路设施点云数据的方式，从候选点云数据中识别出满足以下条件的点云数据作为道路设施点云数据：

提取道路设施点云数据的方式二

在一个实施例中，第二提取单元24，还用于将候选点云数据进行聚类处理形成候选点云数据集合，基于沿道路的轨迹分段的候选点云数据集合的空间分布特征，判断出对应目标道路设施的各候选点云数据集合。

根据道路设施点云数据的局部的空间分布特征，从候选点云数据中提取出符合道路设施的特征的点云数据时，第二提取单元24还提供这样的提取道路设置点云数据的方式，将候选点云数据中的三维点进行聚类处理，形成多个候选点云数据集合，每个候选点云数据集合包括有多个三维点以及属性信息。基于各分段候选点云数据集合的空间分布特征，综合判断该候选点云数据集合是否属于道路设置点云数据。

在一个实施例中，分类单元21，还用于确定各点云数据中的三维点相对于地平面的高度，将采集道路所处环境得到的各帧点云数据至少划分为地面点云数据和地物点云数据。

在一个实施例中，参照面可以为地平面或其他参考平面，根据每一帧点云数据的三维点的坐标建立对应地平面的平面方程，分类单元21根据平面方程求取该帧点云数据中各三维点相对地平面的高度，以及地面、地物所对应的高度的取值范围，将各帧点云数据至少划分为对应地面的点云数据(地面点云数据)和对应地物的点云数据(地物点云数据)。当然，还可以划分为高于地物高度的其他类型的点云数据(简称为其他点云数据)。

在一个实施例中，点云数据处理装置20还包括：

拟合单元25，用于将第二提取单元24提取的符合道路设施的特征的点云数据进行三维曲线拟合，筛除未符合所拟合三维曲线的三维点对应的点云数据，为了进一步降低所提取出道路设施点云数据中的噪点。

在一个实施例中，点云数据处理装置20还包括：

建模单元26，用于基于符合道路设施的特征的点云数据进行三维建模，形成道路设施的三维实体图形，可以用于在高精度地图中呈现。

综上，本发明实施例具有以下有益效果：

1)通过对单帧点云数据进行粗分类，迅速定位出道路设施如护栏所在候选点云数据集，可以大大降低后续处理数据量，提高处理效率；

2)采用多帧激光点云融合数据来提取和识别护栏数据，与单帧点云数据提取护栏数据相比特征更加鲁棒；

3)在护栏识别过程中，采用先聚类后识别的方法，充分考虑了护栏在空间上的连续三维线状分布特征，可以在剔除非护栏点云数据的同时，提高护栏点云数据识别的准确率。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种点云数据处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述基于点云数据中的三维点基于相对参照面的高度，对采集道路所处环境得到的各帧点云数据进行分类，包括：

确定各点云数据中的三维点相对于地平面的不同距离，将采集道路所处环境得到的各帧点云数据至少划分为地面点云数据和地物点云数据。

3.如权利要求1所述的方法，其特征在于，所述合并与道路设施高度适配的点云数据类别中的各帧点云数据，包括：

提取出所述点云数据类别中各帧点云数据的特征点，基于各帧点云数据具有的相同的特征点对各帧点云数据进行拼接。

4.如权利要求1所述的方法，其特征在于，所述合并与道路设施高度适配的点云数据类别中的各帧点云数据，包括：

识别出相同三维点在各帧点云数据之间的三维变换关系，基于所述三维变换关系对相应的各帧点云数据进行拼接。

5.如权利要求1所述的方法，其特征在于，所述沿道路的轨迹从合并得到的点云数据中提取与道路距离满足预定条件的候选点云数据，包括：

沿道路的轨迹从合并得到的点云数据中识别与所述道路距离小于第一距离阈值的三维点、和/或与所述三维点距离小于第二距离阈值的三维点，获取所识别的三维点对应的点云数据。

6.如权利要求1所述的方法，其特征在于，所述从候选点云数据中提取出符合所述道路设施的特征的点云数据，包括：

从所述候选点云数据中识别出沿所述道路的轨迹分布、且相对所述参照面的直线投影距离符合均匀特征的三维点，提取所识别出的三维点对应的点云数据。

7.如权利要求1所述的方法，其特征在于，所述从候选点云数据中提取出符合所述道路设施的特征的点云数据，包括：

将所述候选点云数据进行聚类处理形成候选点云数据集合，沿所述道路的轨迹对所述点云数据集合进行分段，基于分段的所述候选点云数据集合的空间分布特征判断出对应所述目标道路设施的各候选点云数据集合。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

将符合所述道路设施的特征的点云数据进行三维曲线拟合，筛除未符合所拟合三维曲线的三维点对应的点云数据。

9.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于符合所述道路设施的特征的点云数据进行三维建模，形成所述道路设施的三维实体图形。

10.一种点云数据处理装置，其特征在于，包括：

11.如权利要求10所述的点云数据处理装置，其特征在于，

所述分类单元，还用于确定各点云数据中的三维点相对于地平面的不同距离，将采集道路所处环境得到的各帧点云数据至少划分为地面点云数据和地物点云数据。

12.如权利要求10所述的点云数据处理装置，其特征在于，

所述合并单元，还用于提取出所述点云数据类别中各帧点云数据的特征点，基于各帧点云数据具有的相同的特征点对各帧点云数据进行拼接。

13.如权利要求10所述的点云数据处理装置，其特征在于，

所述合并单元，还用于识别出相同三维点在各帧点云数据之间的三维变换关系，基于所述三维变换关系对相应的各帧点云数据进行拼接。

14.如权利要求10所述的点云数据处理装置，其特征在于，

所述第一提取单元，还用于沿道路的轨迹从合并得到的点云数据中识别与道路距离小于第一距离阈值的三维点、和/或与所述三维点距离小于第二距离阈值的三维点，获取所识别的三维点对应的点云数据。

15.如权利要求10所述的点云数据处理装置，其特征在于，

所述第二提取单元，还用于从所述候选点云数据中识别出沿所述道路的轨迹分布、且相对所述参照面的直线投影距离符合均匀条件的三维点，提取所识别出的三维点对应的点云数据。

16.如权利要求10所述的点云数据处理装置，其特征在于，

所述第二提取单元，还用于将所述候选点云数据进行聚类处理形成候选点云数据集合，沿所述道路的轨迹对所述点云数据集合进行分段，基于分段的所述候选点云数据集合的空间分布特征判断出对应所述目标道路设施的各候选点云数据集合。

17.如权利要求10所述的点云数据处理装置，其特征在于，所述点云数据处理装置还包括：

拟合单元，用于将所述第二提取单元提取的符合所述道路设施的特征的点云数据进行三维曲线拟合，筛除未符合所拟合三维曲线的三维点对应的点云数据。

18.如权利要求10所述的点云数据处理装置，其特征在于，所述点云数据处理装置还包括：

建模单元，用于基于符合所述道路设施的特征的点云数据进行三维建模，形成所述道路设施的三维实体图形。