CN111738051B - 点云处理方法、装置、计算机设备和存储介质 - Google Patents
点云处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111738051B CN111738051B CN202010254910.8A CN202010254910A CN111738051B CN 111738051 B CN111738051 B CN 111738051B CN 202010254910 A CN202010254910 A CN 202010254910A CN 111738051 B CN111738051 B CN 111738051B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- auxiliary
- main
- intensity
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000003068 static effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 description 25
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种点云处理方法、装置、计算机设备和存储介质。所述方法包括:获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;根据辅助点云,生成辅助八叉树地图,辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各第一占据信息,确定辅助八叉树地图中的空闲辅助图像点;将第一主点云投射至辅助八叉树地图中,若第一主点云中存在投射至空闲辅助图像点的第二主点云,从第一主点云中去除第二主点云,获得第三主点云;根据第三主点云,确定目标道路的静态点云。采用本方法获得的道路点云能够更为准确的反映道路静态信息。
Description
技术领域
本申请涉及地图技术领域,特别是涉及一种点云处理方法、装置、计算机设备和存储介质。
背景技术
高精地图具有高定位精度并包含丰富的道路信息,如道路附属设施信息(红绿灯、电子眼和交通路牌等)和动态交通信息,为了使其能够更好地应用于自动驾驶导航,需要在高精地图中生成道路静态要素(如车道线、地面标识、护栏、马路牙等设施)信息。
传统技术中,将激光雷达斜放安装于高精地图采集车的车尾,在采集车的行驶过程中,通过激光雷达扫描采集车周围区域获得道路点云数据,基于道路点云数据生成高精地图中的道路信息。
然而,传统技术采集的道路点云中包含大量动态物体(如行驶的车辆、行人等)的点云,会对道路静态要素点云产生干扰,导致静态道路信息不够准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高静态道路信息准确性的点云处理方法、装置、计算机设备和存储介质。
一种点云处理方法,所述方法包括:
获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
根据所述第三主点云,确定所述目标道路的静态点云。
一种点云处理装置,所述装置包括:
获取模块,用于获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
第一处理模块,用于根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
第二处理模块,用于将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
确定模块,用于根据所述第三主点云,确定所述目标道路的静态点云。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
根据所述第三主点云,确定所述目标道路的静态点云。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
根据所述第三主点云,确定所述目标道路的静态点云。
上述点云处理方法、装置、计算机设备和存储介质,通过主探测设备和辅助探测设备共同采集道路点云数据,可以一次性获得更全面的道路点云,根据辅助探测设备采集的辅助点云生成辅助八叉树地图,将主探测设备采集的主点云投射至辅助八叉树地图后,其中未被点云占据的辅助图像点对应的主点云表示道路动态点云,从主点云中去除这些道路动态点云后获得的点云,可以更为准确的反映道路静态信息。
附图说明
图1为一个实施例中点云处理方法的应用环境图;
图2为一个实施例中点云处理方法的流程示意图;
图3为一个实施例中步骤S208的流程示意图;
图4为一个实施例中步骤S2084的流程示意图;
图5为另一个实施例中步骤S208的流程示意图;
图6为一个实施例中步骤S2083的流程示意图;
图7为一个实施例中步骤S2083b的流程示意图;
图8为一个实施例中步骤S2083c的流程示意图;
图9为一个实施例中点云处理装置的结构框图;
图10为一个实施例中计算机设备的内部结构图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自动驾驶技术有着广泛的应用前景。
本申请涉及人工智能中的计算机视觉技术和自动驾驶技术,基于计算机视觉技术对道路点云进行处理,以确定用于自动驾驶导航的高精地图所需的静态道路信息。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的点云处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。用户可以通过终端102访问提供地图导航服务的平台,服务器104可以是该平台所在的服务器。终端102或服务器104获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;根据辅助点云,生成辅助八叉树地图,辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各第一占据信息,确定辅助八叉树地图中的空闲辅助图像点;将第一主点云投射至辅助八叉树地图中,若第一主点云中存在投射至空闲辅助图像点的第二主点云,从第一主点云中去除第二主点云,获得第三主点云;根据第三主点云,确定目标道路的静态点云。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本申请实施例中点云处理方法可以由终端102来执行,也可以由服务器104来执行,还可以是由终端102和服务器104共同执行。具体地,终端102执行本申请实施例中点云处理方法可以通过处理器来执行。
在一个实施例中,如图2所示,提供了一种点云处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤S202至步骤S208。
S202,获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云。
其中,主探测设备和辅助探测设备可以安装于高精地图采集车上,随着采集车在目标道路上的移动,分别采集相应的点云。第一主点云表示主探测设备采集的原始点云,辅助点云表示辅助探测设备采集的原始点云。
具体地,主探测设备和辅助探测设备都可以采用激光雷达,激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统,其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号与发射信号进行比较,作适当处理后就可获得目标的相关信息,如目标距离、方位、高度、速度、姿态、形状、反射强度等参数,从而对目标进行探测、跟踪和识别。
在一个实施例中,主探测设备可以是单线或多线激光雷达,斜放安装于采集车车尾,这样能够更大限度的采集到路面标线以及高处的路牌点云。辅助探测设备可以是多线激光雷达,安装于采集车车顶,顶置的辅助激光雷达能够重复扫描到同一个物体,可利用多帧激光技术去除动态物体,同时辅助激光雷达采集的点云可以覆盖车周较大的区域,能够对车尾的主激光雷达被遮挡的盲区进行补盲。
在一个实施例中,对主激光雷达和辅助激光雷达的外参进行标定,外参指的是激光与车载惯性导航系统(以下简称惯导)的相对位姿,包括相对平移(x,y,z)以及相对姿态角(yaw,pitch,roll),外参标定指的是通过相应的算法获得这六个参数。分别标定主激光雷达和辅助激光雷达与惯导的外参后,可以通过矩阵变换将主激光雷达和辅助激光雷达采集的点云统一到惯导的坐标系下。
S204,根据辅助点云,生成辅助八叉树地图,辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各第一占据信息,确定辅助八叉树地图中的空闲辅助图像点。
其中,八叉树地图是一种点云的表示和存储方式,其将三维空间分割成许多的小方块,如果将每个小方块的每个面切成两片,那么这个小方块就会变成同样大小的八个小方块,将该步骤不断重复,直到最后的方块大小达到建模的最高精度。在该过程中,将从一个节点展开成八个子节点,那么整个空间从最大空间细分到最小空间的过程,就是一棵八叉树。在八叉树中,节点存储它是否被占据的信息,当某个方块的所有子节点都被占据或不被占据时,就没必要展开这个节点,每个小方块都有一个数描述它是否被占据。因此,八叉树可以很大限度的节省存储资源,非常适合存储大规模的高精地图点数据。需要说明的是,根据辅助点云生成辅助八叉树地图,可以是采用目前已有以及以后可能出现的任何方式进行。
在采集车行驶过程中,假如其旁边车道有一行驶的车辆,在不同的时间该车辆相对于采集车的位置是变化的,因此采集车上的激光雷达扫描某一相同位置时,可能上一帧扫描到物体,而下一帧未扫描到物体,根据动态障碍去除技术,可以生成去除了动态物体的八叉树地图。
具体地,对于辅助八叉树地图中的辅助图像点,每个辅助图像点对应三维空间中的一个方块,辅助图像点的第一占据信息可通过方块的状态来表示。当激光雷达发射的激光打到物体表面时,激光与物体表面接触的点(以下简称接触点)所在的方块表示为占据状态,从激光雷达到接触点之间的所有方块,由于激光可以通过,其表示为空闲状态,在实际使用过程中,这些方块的状态可以用一个可更新的概率值(0~1)表示。举例来说,每个方块的初始概率值可以设为0.5,对于任一方块,其可能被多帧激光扫描到,例如若在第一帧中该方块包含有接触点,则在初始概率值的基础上加上第一设定值,获得该方块的第一概率值;若在第二帧中该方块可被激光通过,则在第一概率值的基础上减去第二设定值,获得该方块的第二概率值;若在第三帧中该方块继续可被激光通过,则在第二概率值的基础上继续减去第二设定值,获得该方块的第三概率值,以此类推,实现该方块的概率值更新。
辅助图像点的第一占据信息可用上述概率值来表示,辅助图像点的概率值越接近0,可认为该辅助图像点越有可能未被点云占据(即空闲辅助图像点);辅助图像点的概率值越接近1,可认为该辅助图像点越有可能被点云占据;辅助图像点的概率值接近0.5,可认为该辅助图像点的被占据状态为未知状态。在一个实施例中,若辅助图像点的概率值在第一预设概率范围内,则将辅助图像点确定为空闲辅助图像点,其中,第一预设概率范围可以在0到0.5之间,具体范围可结合实际情况进行设置,此处不做限定。
S206,将第一主点云投射至辅助八叉树地图中,若第一主点云中存在投射至空闲辅助图像点的第二主点云,从第一主点云中去除第二主点云,获得第三主点云。
当路面上有动态物体(如行驶的车辆、行人等)时,由于主激光雷达重复扫描到的区域较小,可能无法重复扫描到同一物体,使得仅根据第一主点云难以去除动态物体,因此可以通过辅助八叉树地图协助去除主激光雷达采集的第一主点云中对应于动态物体的点云。将第一主点云投射至辅助八叉树地图中,投射到空闲辅助图像点所在位置的点云表示动态物体对应的点云,即第二主点云,从第一主点云中去除第二主点云,也就是将第一主点云中对应于动态物体的点云去除。
S208,根据第三主点云,确定目标道路的静态点云。
第三主点云是从第一主点云中去除了对应于动态物体的点云之后获得的,其保留了路面静态信息,如路面、护栏、地面标识、路牙等,可以采用第三主点云表征目标道路的静态点云。
上述点云处理方法中,通过主探测设备和辅助探测设备共同采集道路点云数据,可以一次性获得更全面的道路点云,根据辅助探测设备采集的辅助点云生成辅助八叉树地图,将主探测设备采集的主点云投射至辅助八叉树地图后,其中未被点云占据的辅助图像点对应的主点云表示道路动态点云,从主点云中去除这些道路动态点云后获得的点云,可以更为准确的反映道路静态信息。
在一个实施例中,如图3所示,步骤S208具体可以包括以下步骤S2082至步骤S2084。
S2082,从辅助点云中提取对应路面信息的路面辅助点云。
S2084,根据第三主点云和路面辅助点云,确定目标道路的静态点云。
当采集车附近有车辆(如侧面车道的车辆)时,主激光雷达发射的激光可能被车辆遮挡,导致存在未扫描到的盲区,使得主激光雷达采集的主点云可能缺少部分路面信息,导致路面信息不够完整。而辅助激光雷达采集的点云可以覆盖采集车周围较大的区域,能够对主激光雷达被遮挡的盲区进行补盲。
车辆遮挡的区域主要位于路面附近,因此可以从辅助点云中提取对应路面信息的路面辅助点云,利用路面辅助点云对第三主点云进行相应的补充,获得目标道路的静态点云。具体地,可以通过点云分割将辅助点云的路面分割出来,获得路面辅助点云。需要说明的是,可以是采用目前已有以及以后可能出现的点云分割方法对辅助点云进行分割。在一个实施例中,还可以先从辅助点云中去除对应于动态物体的点云,获得静态辅助点云,再从静态辅助点云中提取对应路面信息的路面辅助点云。
上述实施例中,通过从辅助点云中提取对应路面信息的路面辅助点云,利用路面辅助点云对第三主点云进行补充,可以获得更为完整的道路静态点云,继而可以更为准确的反映道路静态信息。此外,结合辅助点云和主点云,可以获得尽可能多的路面信息,避免由于遮挡导致重新采集,有利于提高高精地图的生产效率。另外在去除道路动态物体后,不管是人工作业还是使用深度学习等技术来提取路面信息,会更加准确和高效。
在一个实施例中,如图4所示,步骤S2084具体可以包括以下步骤S2084a至步骤S2084b。
S2084a,根据第三主点云,生成主八叉树地图,主八叉树地图中的任意一个主图像点中,包含用于描述该主图像点是否被点云占据的第二占据信息,基于各第二占据信息,确定主八叉树地图中的待补充主图像点。
与前文实施例中辅助八叉树地图中的辅助图像点类似,主八叉树地图中的主图像点的第二占据信息可用概率值(0~1)来表示,主图像点的概率值越接近0,可认为该主图像点越有可能未被点云占据;主图像点的概率值越接近1,可认为该主图像点越有可能被点云占据;主图像点的概率值接近0.5,可认为该主图像点的被占据状态为未知状态(即为待补充主图像点)。在一个实施例中,若主图像点的概率值在第二预设概率范围内,则将该主图像点确定为待补充主图像点,其中,第二预设概率范围可以是0.5附近的范围,具体范围可结合实际情况进行设置,此处不做限定。在另一个实施例中,若主图像点的概率值为0.5,则将该主图像点确定为待补充主图像点。
S2084b,将路面辅助点云投射至主八叉树地图中,若路面辅助点云中存在投射至待补充主图像点的补盲点云,将第三主点云与补盲点云进行融合,获得目标道路的静态点云。
将路面辅助点云投射至主八叉树地图中,投射到待补充主图像点所在位置的点云表示主激光雷达未扫描到的路面对应的点云,即补盲点云,将第三主点云与补盲点云进行融合,可以获得更为完整的路面点云。
上述实施例中,通过将路面辅助点云投射至主八叉树地图中,利用投射到待补充主图像点的补盲点云对第三主点云进行补充,获得主激光雷达未扫描到的路面对应的点云,从而可以获得更为完整的路面点云,继而可以更为准确的反映道路静态信息。
在一个实施例中,如图5所示,在步骤S2084之前,还可以包括步骤S2083:根据第三主点云的强度,对路面辅助点云的强度进行调整,获得调整后的路面辅助点云。步骤S2084具体可以是步骤S2085:根据第三主点云和调整后的路面辅助点云,确定目标道路的静态点云。
由于辅助激光雷达和主激光雷达的强度可能不一致,将路面辅助点云与第三主点云直接融合的话可能会导致同一个路面的强度不均匀,影响高精地图的查看效果,因此可以根据第三主点云的强度,对路面辅助点云的强度进行调整,用以统一路面辅助点云与第三主点云的强度。
上述实施例中,根据第三主点云的强度,对路面辅助点云的强度进行调整,可以实现路面辅助点云与第三主点云的强度统一,进行点云融合后可以获得强度更为均匀的道路静态点云,提高点云融合后的地图查看效果。
在一个实施例中,如图6所示,步骤S2083具体可以包括以下步骤S2083a至步骤S2083d。
S2083a,从第三主点云中提取对应路面信息的路面主点云。
具体地,可以通过点云分割将第三主点云的路面分割出来,获得路面主点云。需要说明的是,可以是采用目前已有以及以后可能出现的点云分割方法对第三主点云进行分割。
S2083b,获取路面主点云的第一强度和路面辅助点云的第二强度。
具体地,路面主点云包括地面标线对应的主点云和除地面标线之外的其他主点云,由于地面标线相对较亮,从而地面标线主点云与其他主点云的强度存在差异,因此第一强度可以包括地面标线主点云的强度和其他主点云的强度。相应的,路面辅助点云包括地面标线对应的辅助点云和除地面标线之外的其他辅助点云,由于地面标线相对较亮,从而地面标线辅助点云与其他辅助点云的强度存在差异,因此第二强度可以包括地面标线辅助点云的强度和其他辅助点云的强度。
S2083c,根据第一强度和第二强度,获得路面辅助点云与路面主点云之间的强度映射关系。
具体地,可以将第二强度中各强度的值作为X集合中的元素,将第一强度中各强度的值组成Y集合中的元素,通过X集合和Y集合中各元素的对应关系,获得强度映射关系,可用y=f(x)表示,通过强度映射关系可以对路面辅助点云与路面主点云的强度进行统一。
S2083d,根据强度映射关系,对路面辅助点云的强度进行调整,获得调整后的路面辅助点云。
具体地,在获得强度映射关系y=f(x)之后,将路面辅助点云中各点云的强度分别作为x值代入y=f(x)中进行计算,获得相应的y值,即获得与路面主点云的强度相匹配的强度,将路面辅助点云中各点云的强度从x值调整为相应的y值,以获得调整后的路面辅助点云。
上述实施例中,通过路面辅助点云与路面主点云之间的强度映射关系,对路面辅助点云的强度进行调整,从而将路面辅助点云强度调整至与路面主点云相匹配的强度上,便于路面辅助点云与主点云的拼接融合。
在一个实施例中,如图7所示,步骤S2083b具体可以包括以下步骤S2083b1至步骤S2083b2。
S2083b1,从路面主点云中提取地面标线主点云,将剩余的点云作为无地面标线主点云,分别计算获得地面标线主点云的第一平均强度、以及无地面标线主点云的第二平均强度,第一强度包括第一平均强度和第二平均强度。
S2083b2,从路面辅助点云中提取地面标线辅助点云,将剩余的点云作为无地面标线辅助点云,分别计算获得地面标线辅助点云的第三平均强度、以及无地面标线辅助点云的第四平均强度,第二强度包括第三平均强度和第四平均强度。
具体地,可以分别通过点云分割将路面主点云和路面辅助点云的地面标线分割出来,分别获得地面标线主点云和地面标线辅助点云。需要说明的是,可以是采用目前已有以及以后可能出现的点云分割方法对路面主点云和路面辅助点云进行分割。
上述实施例中,将地面标线主点云的第一平均强度、以及无地面标线主点云的第二平均强度作为路面主点云的第一强度,将地面标线辅助点云的第三平均强度、以及无地面标线辅助点云的第四平均强度作为路面辅助点云的第二强度,通过分区域计算获得的平均强度,可以更准确地反映路面主点云和路面辅助点云的强度信息。
在一个实施例中,如图8所示,步骤S2083c具体可以包括以下步骤S2083c1至步骤S2083c4。
S2083c1,根据主探测设备的强度量程,获得第一最小强度和第一最大强度。
其中,第一最小强度和第一最大强度分别表示主探测设备的强度量程范围的最小值和最大值。举例来说,若主探测设备的强度量程范围为0~65535,则第一最小强度为0,第一最大强度为65535。
S2083c2,根据辅助探测设备的强度量程,获得第二最小强度和第二最大强度。
其中,第二最小强度和第二最大强度分别表示辅助探测设备的强度量程范围的最小值和最大值。举例来说,若主探测设备的强度量程范围为0~255,则第二最小强度为0,第二最大强度为255。
S2083c3,将第一平均强度、第二平均强度、第一最小强度和第一最大强度,分别与第三平均强度、第四平均强度、第二最小强度和第二最大强度对应,获得特征点数据。
举例来说,若第一最小强度、第一平均强度、第二平均强度和第一最大强度分别为x1,x2,x3和x4,第二最小强度、第三平均强度、第四平均强度和第二最大强度分别为y1,y2,y3和x4,则对应获得的四个特征点数据分别为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)。
S2083c4,基于特征点数据进行非线性拟合,获得路面辅助点云与路面主点云之间的强度映射关系。
具体地,基于上述四个特征点数据进行非线性拟合,可以得到拟合函数,将该拟合函数作为路面辅助点云与路面主点云之间的强度映射关系。
上述实施例中,将主探测设备的强度量程的最小强度和最大强度、以及地面标线主点云的平均强度和无地面标线主点云的平均强度,分别与辅助探测设备的强度量程的最小强度和最大强度、以及地面标线辅助点云的平均强度和无地面标线辅助点云的平均强度对应,基于对应后的数据进行非线性拟合获得的强度映射关系可以将路面辅助点云的强度与路面主点云的强度进行统一,使点云融合后的相近区域的强度更为均匀。
应该理解的是,虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种点云处理装置900,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块910、第一处理模块920、第二处理模块930和确定模块940,其中:
获取模块910,用于获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云。
第一处理模块920,用于根据辅助点云,生成辅助八叉树地图,辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各第一占据信息,确定辅助八叉树地图中的空闲辅助图像点。
第二处理模块930,用于将第一主点云投射至辅助八叉树地图中,若第一主点云中存在投射至空闲辅助图像点的第二主点云,从第一主点云中去除第二主点云,获得第三主点云。
确定模块940,用于根据第三主点云,确定目标道路的静态点云。
在一个实施例中,确定模块940包括:提取子模块和确定子模块。提取子模块,用于从辅助点云中提取对应路面信息的路面辅助点云。确定子模块,用于根据第三主点云和路面辅助点云,确定目标道路的静态点云。
在一个实施例中,确定子模块包括:第一处理单元和第二处理单元。第一处理单元,用于根据第三主点云,生成主八叉树地图,主八叉树地图中的任意一个主图像点中,包含用于描述该主图像点是否被点云占据的第二占据信息,基于各第二占据信息,确定主八叉树地图中的待补充主图像点。第二处理单元,用于将路面辅助点云投射至主八叉树地图中,若路面辅助点云中存在投射至待补充主图像点的补盲点云,将第三主点云与补盲点云进行融合,获得目标道路的静态点云。
在一个实施例中,确定模块940还包括调整子模块,用于根据第三主点云的强度,对路面辅助点云的强度进行调整,获得调整后的路面辅助点云。确定子模块在根据第三主点云和路面辅助点云,确定目标道路的静态点云时,具体用于根据第三主点云和调整后的路面辅助点云,确定目标道路的静态点云。
在一个实施例中,调整子模块包括:提取单元、获取单元、映射单元和调整单元。提取单元,用于从第三主点云中提取对应路面信息的路面主点云。获取单元,用于获取路面主点云的第一强度和路面辅助点云的第二强度。映射单元,用于根据第一强度和第二强度,获得路面辅助点云与路面主点云之间的强度映射关系。调整单元,用于根据强度映射关系,对路面辅助点云的强度进行调整,获得调整后的路面辅助点云。
在一个实施例中,获取单元包括:第一处理子单元和第二处理子单元。第一处理子单元,用于从路面主点云中提取地面标线主点云,将剩余的点云作为无地面标线主点云,分别计算获得地面标线主点云的第一平均强度、以及无地面标线主点云的第二平均强度,第一强度包括第一平均强度和第二平均强度。第二处理子单元,用于从路面辅助点云中提取地面标线辅助点云,将剩余的点云作为无地面标线辅助点云,分别计算获得地面标线辅助点云的第三平均强度、以及无地面标线辅助点云的第四平均强度,第二强度包括第三平均强度和第四平均强度。
在一个实施例中,映射单元包括:第一获取子单元、第二获取子单元、对应子单元和拟合子单元。第一获取子单元,用于根据主探测设备的强度量程,获得第一最小强度和第一最大强度。第二获取子单元,用于根据辅助探测设备的强度量程,获得第二最小强度和第二最大强度。对应子单元,用于将第一平均强度、第二平均强度、第一最小强度和第一最大强度,分别与第三平均强度、第四平均强度、第二最小强度和第二最大强度对应,获得特征点数据。拟合子单元,用于基于特征点数据进行非线性拟合,获得路面辅助点云与路面主点云之间的强度映射关系。
关于点云处理装置的具体限定可以参见上文中对于点云处理方法的限定,在此不再赘述。上述点云处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种点云处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10或图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要理解的是,上述实施例中的术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种点云处理方法,其特征在于,所述方法包括:
获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
根据所述第三主点云,确定所述目标道路的静态点云。
2.根据权利要求1所述的方法,其特征在于,还包括:从所述辅助点云中提取对应路面信息的路面辅助点云;
根据所述第三主点云,确定所述目标道路的静态点云,包括:
根据所述第三主点云和所述路面辅助点云,确定所述目标道路的静态点云。
3.根据权利要求2所述的方法,其特征在于,根据所述第三主点云和所述路面辅助点云,确定所述目标道路的静态点云,包括:
根据所述第三主点云,生成主八叉树地图,所述主八叉树地图中的任意一个主图像点中,包含用于描述该主图像点是否被点云占据的第二占据信息,基于各所述第二占据信息,确定所述主八叉树地图中的待补充主图像点;
将所述路面辅助点云投射至所述主八叉树地图中,若所述路面辅助点云中存在投射至所述待补充主图像点的补盲点云,将所述第三主点云与所述补盲点云进行融合,获得所述目标道路的静态点云。
4.根据权利要求2所述的方法,其特征在于,在根据所述第三主点云和所述路面辅助点云,确定所述目标道路的静态点云之前,还包括:根据所述第三主点云的强度,对所述路面辅助点云的强度进行调整,获得调整后的路面辅助点云;
根据所述第三主点云和所述路面辅助点云,确定所述目标道路的静态点云,包括:根据所述第三主点云和所述调整后的路面辅助点云,确定所述目标道路的静态点云。
5.根据权利要求4所述的方法,其特征在于,根据所述第三主点云的强度,对所述路面辅助点云的强度进行调整,获得调整后的路面辅助点云,包括:
从所述第三主点云中提取对应路面信息的路面主点云;
获取所述路面主点云的第一强度和所述路面辅助点云的第二强度;
根据所述第一强度和所述第二强度,获得所述路面辅助点云与所述路面主点云之间的强度映射关系;
根据所述强度映射关系,对所述路面辅助点云的强度进行调整,获得调整后的路面辅助点云。
6.根据权利要求5所述的方法,其特征在于,获取所述路面主点云的第一强度和所述路面辅助点云的第二强度,包括:
从所述路面主点云中提取地面标线主点云,将剩余的点云作为无地面标线主点云,分别计算获得所述地面标线主点云的第一平均强度、以及所述无地面标线主点云的第二平均强度,所述第一强度包括所述第一平均强度和所述第二平均强度;
从所述路面辅助点云中提取地面标线辅助点云,将剩余的点云作为无地面标线辅助点云,分别计算获得所述地面标线辅助点云的第三平均强度、以及所述无地面标线辅助点云的第四平均强度,所述第二强度包括所述第三平均强度和所述第四平均强度。
7.根据权利要求6所述的方法,其特征在于,根据所述第一强度和所述第二强度,获得所述路面辅助点云与所述路面主点云之间的强度映射关系,包括:
根据所述主探测设备的强度量程,获得第一最小强度和第一最大强度;
根据所述辅助探测设备的强度量程,获得第二最小强度和第二最大强度;
将所述第一平均强度、所述第二平均强度、所述第一最小强度和所述第一最大强度,分别与所述第三平均强度、所述第四平均强度、所述第二最小强度和所述第二最大强度对应,获得特征点数据;
基于所述特征点数据进行非线性拟合,获得所述路面辅助点云与所述路面主点云之间的强度映射关系。
8.一种点云处理装置,其特征在于,所述装置包括:
获取模块,用于获取主探测设备和辅助探测设备针对目标道路分别采集的第一主点云和辅助点云;
第一处理模块,用于根据所述辅助点云,生成辅助八叉树地图,所述辅助八叉树地图中的任意一个辅助图像点中,包含用于描述该辅助图像点是否被点云占据的第一占据信息,基于各所述第一占据信息,确定所述辅助八叉树地图中的空闲辅助图像点;
第二处理模块,用于将所述第一主点云投射至所述辅助八叉树地图中,若所述第一主点云中存在投射至所述空闲辅助图像点的第二主点云,从所述第一主点云中去除所述第二主点云,获得第三主点云;
确定模块,用于根据所述第三主点云,确定所述目标道路的静态点云。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010254910.8A CN111738051B (zh) | 2020-04-02 | 2020-04-02 | 点云处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010254910.8A CN111738051B (zh) | 2020-04-02 | 2020-04-02 | 点云处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111738051A CN111738051A (zh) | 2020-10-02 |
CN111738051B true CN111738051B (zh) | 2022-02-11 |
Family
ID=72646546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010254910.8A Active CN111738051B (zh) | 2020-04-02 | 2020-04-02 | 点云处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111738051B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118037790A (zh) * | 2024-01-11 | 2024-05-14 | 北京集度科技有限公司 | 一种点云处理方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268516A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车(北京)有限公司 | 基于八叉树的云端地图地图更新方法及设备 |
CN109282822A (zh) * | 2018-08-31 | 2019-01-29 | 北京航空航天大学 | 构建导航地图的存储介质、方法和设备 |
EP3467789A1 (en) * | 2017-10-06 | 2019-04-10 | Thomson Licensing | A method and apparatus for reconstructing a point cloud representing a 3d object |
WO2019183113A1 (en) * | 2018-03-20 | 2019-09-26 | Pcms Holdings, Inc. | System and method for optimizing dynamic point clouds based on prioritized transformations |
-
2020
- 2020-04-02 CN CN202010254910.8A patent/CN111738051B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268516A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车(北京)有限公司 | 基于八叉树的云端地图地图更新方法及设备 |
EP3467789A1 (en) * | 2017-10-06 | 2019-04-10 | Thomson Licensing | A method and apparatus for reconstructing a point cloud representing a 3d object |
WO2019183113A1 (en) * | 2018-03-20 | 2019-09-26 | Pcms Holdings, Inc. | System and method for optimizing dynamic point clouds based on prioritized transformations |
CN109282822A (zh) * | 2018-08-31 | 2019-01-29 | 北京航空航天大学 | 构建导航地图的存储介质、方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111738051A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112154445B (zh) | 高精度地图中车道线的确定方法和装置 | |
CN113761999B (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
CN113009506B (zh) | 一种虚实结合的实时激光雷达数据生成方法、系统及设备 | |
CN112507887B (zh) | 一种路口标志牌提取及关联的方法及装置 | |
CN116529784A (zh) | 用于增加激光雷达数据的方法和系统 | |
CN113887376A (zh) | 目标检测方法、装置、介质及设备 | |
KR102167835B1 (ko) | 영상 처리 방법 및 장치 | |
CN115139303B (zh) | 一种栅格井盖检测方法、装置、设备及存储介质 | |
CN112639822B (zh) | 一种数据处理方法及装置 | |
CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
CN117011413B (zh) | 道路图像重建方法、装置、计算机设备和存储介质 | |
CN111401190A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
CN111738051B (zh) | 点云处理方法、装置、计算机设备和存储介质 | |
CN113902927B (zh) | 一种融合了图像与点云信息的综合信息处理方法 | |
JP3919722B2 (ja) | 肌形状計測方法及び肌形状計測装置 | |
CN116310189B (zh) | 地图模型构建方法及终端 | |
WO2020135325A1 (zh) | 移动设备定位方法、装置、系统及移动设备 | |
JP7204087B2 (ja) | 対象物認識装置 | |
CN117034579A (zh) | 点云数据生成方法、装置、设备及存储介质 | |
CN116805410A (zh) | 三维目标检测方法、系统及电子设备 | |
CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |