CN111694903B - 地图构建方法、装置、设备以及可读存储介质 - Google Patents
地图构建方法、装置、设备以及可读存储介质 Download PDFInfo
- Publication number
- CN111694903B CN111694903B CN201910182305.1A CN201910182305A CN111694903B CN 111694903 B CN111694903 B CN 111694903B CN 201910182305 A CN201910182305 A CN 201910182305A CN 111694903 B CN111694903 B CN 111694903B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- characteristic
- dimensional point
- cloud data
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
- G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
公开了一种地图构建方法、装置、设备以及可读存储介质。该地图构建方法包括:获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以根据所述特征参数以及经过调节后的三维点云数据构建地图。这样,可以实现数据的同质化处理,以使得所构建的地图能够不受限于传感器类别为不同传感器提供定位方案。
Description
技术领域
本申请涉及地图构建技术领域,具体涉及一种地图构建方法、装置、设备以及可读存储介质。
背景技术
随着科学技术的发展,具有自主导航能力的可移动设备如自动驾驶汽车、机器人等成为了研究热点。这些可移动设备在进入未知工作环境时,能够基于设备上安装的传感器采集到的环境数据,对周围环境构建地图,进而得到该设备在空间中的位置。因此,构建地图对于实现自主导航至关重要。然而,现有的地图构建方法需要根据传感器的种类定制,即仅适用于特定类别的传感器,适用性较低。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种地图构建方法、装置、设备以及可读存储介质,其通过提取特征物体的特征参数以及调节非特征物体的点云密度,实现数据的同质化处理,使得所构建的地图能够不受限于传感器类别,为不同传感器提供定位方案。
根据本申请的一个方面,提供了一种地图构建方法,包括:获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以根据所述特征参数以及经过调节后的三维点云数据构建地图。
根据本申请的另一方面,提供了一种地图构建装置,包括:获取模块,用于获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;参数确定模块,用于基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;调节模块,用于将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以根据所述特征参数以及经过调节后的三维点云数据构建地图。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的地图构建方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的地图构建方法。
与现有技术相比,根据本申请的地图构建方法、装置、电子设备及可读存储介质可以获取当前目标帧数据中特征物体和非特征物体对应的三维点云数据,然后基于特征物体对应的三维点云数据,得到特征物体对应的特征参数,接着将非特征物体对应的三维点云数据的点云密度调节至预设值,以根据特征参数以及经过调节后的三维点云数据构建地图。
这样,本申请的地图构建方法、装置、电子设备及可读存储介质通过特征参数以及统一密度的三维点云数据来实现数据的同质化处理,根据同质化处理后的数据所构建的地图能够不受限于传感器类别,为不同传感器提供定位方案。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了本申请一示例性实施例提供的地图构建方法的流程图;
图2示出了本申请一示例性实施例提供的特征参数获取过程的示意性流程图;
图3示出了本申请一示例性实施例提供的地图构建装置的框图;
图4示出了本申请实施例提供的地图构建装置的参数确定模块的一个示例框图;
图5示出了本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,在地图构建方法中,需要基于具有自主导航能力的可移动设备如自动驾驶汽车、机器人等上安装的传感器采集到的环境数据来构建周围环境的地图。
现有的地图构建方案主要分为两种:一种是vSLAM(Visual SimultaneousLocalization and Mapping,基于视觉的同步定位与建图),即利用视觉传感器如摄像头采集到的环境数据来构建地图;另一种是基于雷达的SLAM,即利用激光雷达采集到的环境数据来构建地图。由于所使用的传感器的不同,其获得的原始数据不同,因此所构建的地图很难可以相互使用,仅适用于特定类别的传感器,适用性较低。
基于上述技术问题,本申请的基本构思是通过对传感器采集到的目标帧数据做预处理,一方面通过提取特征物体的特征参数来更高层次地表达目标帧数据中的特征物体,另一方面,将无法进行特征参数表达的非特征物体对应的三维点云数据的点云密度进行统一,实现不同来源数据的同质化。
具体地,本申请提供的地图构建方法、装置、设备以及可读存储介质首先获取当前目标帧数据中观测物体对应的三维点云数据,其中,观测物体包括特征物体和非特征物体,然后基于特征物体对应的三维点云数据,得到特征物体对应的特征参数,其中,特征参数用于表征所述特征物体的位置及尺寸,最后将非特征物体对应的三维点云数据的点云密度调节至预设值。
这样,通过提取特征物体的特征参数以及调节非特征物体的点云数据的点云密度,实现了对不同种类传感器采集到的异质数据的同质化,使得本方法能不受限于传感器类别,适用于不同传感器的建图和定位。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1是本申请一示例性实施例提供的地图构建方法的流程示意图。本实施例可应用在可移动设备上,如图1所示,包括如下步骤:
步骤S101,获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体。
可移动设备如自动驾驶汽车、机器人等设置有感知传感器如激光雷达、毫米波雷达或摄像头等,以采集用于构建地图的感知数据。在可移动设备移动过程中,感知传感器会持续采集感知数据。本实施例中,从感知传感器采集到的感知数据中提取目标帧数据,并将先后提取的目标帧数据依次作为当前目标帧数据,对当前目标帧数据执行步骤S101至步骤S103的处理,以构建环境地图。
本实施例中,目标帧数据可以根据实际需求提取。例如,可以在感知传感器持续采集到的感知数据中,每间隔预设数量帧选取一帧作为目标帧数据,其中,间隔的预设数量帧可以根据实际需求设置。或者,也可以将感知传感器采集到的每一帧数据均作为目标帧数据。
可以理解的是,当前目标帧数据的数据源类型由实际应用场景中可移动设备采用的感知传感器决定。例如,若可移动设备上用于建图和定位的感知传感器采用摄像头,则依次将摄像头当前采集到的目标图像帧数据作为当前目标帧数据;若可移动设备上用于建图和定位的感知传感器采用激光雷达,则依次将激光雷达当前采集到的目标帧激光点云数据作为当前目标帧数据;若可移动设备上用于建图和定位的感知传感器采用摄像头和激光雷达,则将摄像头当前采集到的目标图像帧数据,以及激光雷达当前采集到的目标帧激光点云数据一同作为当前目标帧数据。
当前目标帧数据中包含有可移动设备中感知传感器在周围环境中观测到的物体的信息。本实施例中,将环境中可能观测到的物体即观测物体可以划分为特征物体和非特征物体,其中,特征物体为在环境中形状规则、且能够结构化的物体如车道线、柱子、形状规则的路标等,非特征物体为形状多样化、不规则以致不能结构化的物体,如高楼、树木、行人等。
步骤S102,基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸。
不同于三维点云数据,特征参数是对特征物体的位置以及结构的更高维度上的表达,通过特征参数可以还原特征物体在环境中的位置以及结构尺寸。例如,特征物体为圆柱状物体如柱子,可以将该圆柱状物体的特征点坐标如起始点坐标、底面半径和高度作为该圆柱状物体的特征参数,其中,特征点坐标用于限定该特征物体的位置,底面半径和高度用于限定该特征物体的尺寸;又例如,特征物体为方形物体如方形的信号指示牌,可以将该方形物体的顶点坐标作为该方形物体的特征参数。
本实施例中,将当前目标帧数据中的特征物体通过特征参数表达,不仅能够实现对不同种类传感器采集到的异质数据的同质化,还能够有效地压缩建图数据的数据量。
步骤S103,将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以根据所述特征参数以及经过调节后的三维点云数据构建地图。
可以理解的是,当前目标帧数据中,除了形状规则、能够用特征参数表达的特征物体以外,还可能存在无法用特征参数表达的非特征物体如花、房屋等。考虑到不同感知传感器获取的数据的稠密程度不一致,如图像数据最为密集,激光点云数据根据其线数的不同,获取到的点云的密集程度也不一样。因此,本实施例还对当前目标帧数据中的非特征物体对应的三维点云数据的点云密度进行了调节即将非特征物体对应的三维点云数据的点云密度调节至预设值,使得无论当前目标帧数据来源于哪种感知传感器,均可以保证非特征物体对应的三维点云数据的点云密度尽可能一致,实现这部分数据的同质化,这样有利于使得所构建的地图适用的定位方案不受感知传感器类型的限制。
具体来讲,上述步骤S103中,预设值可以根据实际应用中各种类型的感知传感器采集的数据对应的三维点云数据的点云密度设置,例如可以设置为三维空间下1cm3/点、3cm3/点或5cm3/点等。本实施例中,可以通过对当前目标帧数据中非特征物体对应的三维点云数据进行降采样处理,将非特征物体对应的三维点云数据的点云密度调节至预设值。
作为一种可选的实施方式,本实施例中,在进行降采样处理之前,可以先对三维点云数据进行去噪,去除点云数据中夹杂的噪声点和离群点,以提高处理结果的可靠性。
对于当前目标帧数据,执行完上述步骤S101至S103后,就可以得到当前目标帧数据中,特征物体对应的特征参数以及非特征物体对应的统一分辨率后的三维点云数据,此后,就可以利用所得到的这些特征参数以及三维点云数据构建地图。可以理解的是,基于当前目标帧数据对应的特征参数以及统一分辨率后的三维点云数据可以构建当前目标帧数据对应的局部地图,要构建可移动设备的整个移动过程对应的整体地图,需要进一步将可移动设备移动过程中感知传感器采集到的所有目标帧数据对应的特征参数以及统一分辨率后的三维点云数据进行拼接。
具体来讲,在上述图1所示实施例的基础上,获取当前目标帧数据中观测物体对应的三维点云数据的方式可以根据当前目标帧数据的数据类型设置。举例来讲,对于图像数据,可以通过深度估计或立体匹配等方式,得到图像对应的具有真实尺度的三维点云数据。进一步地,为了区分图像中每个物体对应的三维点云数据,需要得到每个点对应的标签信息即每个点对应的物体类型如车道线、柱子。作为一种实施方式,可以对图像进行语义分割,得到每个像素点对应的标签信息,并将所得到的标签信息映射到三维点云中。这样就可以得到图像数据对应的带有标签信息的三维点云数据。对于激光雷达数据,可以通过随机森林分类器对点云进行分类,或者,在当前目标帧数据既包括图像数据又包括激光雷达数据时,可以将激光点云投影到获得语义信息的图像上,从而对激光雷达数据对应的三维点云数据打上标签信息。
在此基础上,根据三维点云数据中每个点对应的标签信息对三维点云数据进行分类,得到不同种类的物体对应的点云集,如分别得到车道线对应的点云集、树木对应的点云集以及柱子对应的点云集等。由于同一类物体对应的点云集中可能包含了多个物体,例如类别为柱子的点云集可能包含了多个柱子的点云集。因此,还需要再针对同一类物体对应的点云集进行聚类分析,得到单个物体对应的点云集。例如,可以采用通过欧式距离进行聚类的方式,根据同一类物体对应的点云集中每个点的三维坐标信息,对同一类物体对应的点云集进行聚类,得到该种类下单个物体对应的点云集。这样完成对每一类物体对应的点云集的聚类处理后,就可以得到当前帧目标数据中每个物体的类别以及对应的点云集。进而,就可以基于当前帧目标数据中每个物体的类别识别当前帧目标数据中的特征物体以及非特征物体。
具体来讲,识别当前帧目标数据中的特征物体以及非特征物体的过程可以包括:确定当前目标帧数据中每个物体的类别;将所述物体的类别与预设的类别信息库中的物体类别进行匹配,将匹配成功的物体确定为特征物体,将匹配失败的物体确定为非特征物体。其中,类别信息库存储有多种物体类别,具体可以根据环境中已有的能够结构化的物体设置。也就是说,对于当前帧目标数据中的每个物体,若该物体所属类别为类别信息库中存储有的类别,则表示该物体为特征物体,若该物体所属类别不属于类别信息库中存储有的类别,则表示该物体为非特征物体。
或者,可以预先设置一个类别表,类别表中包括环境中常见的物体类别,如车道线、柱子、标识牌、高楼、树木、行人等类别,预先对类别表中能够结构化的物体如对车道线、柱子、标识牌等进行标记,在确定当前目标帧数据中每个物体的类别后,可以在类别表中查找该类别是否被标记,若是,则判断该物体为特征物体,若在类别表中未查找到该类别或是查找到该类别且该类别未被标记,则判定该物体为非特征物体。当然,除了上述实施方式外,还可以采用其他方式识别当前帧目标数据中的特征物体以及非特征物体,此处不作限制。
识别出当前目标帧数据对应的特征物体和非特征物体后,就可以基于特征物体对于的三维点云数据进行特征参数提取,并对非特征物体对应的三维点云数据进行点云密度调节。
如图2所示,在上述图1所示实施例的基础上,作为本实施例一种可选的实施方式,上述步骤S102可包括如下步骤:
步骤S201,基于预设的规则信息库,确定所述特征物体对应的参数提取规则,其中,所述规则信息库中存储有多种特征物体与相应参数提取规则的映射关系信息;
具体来讲,不同种类的特征物体所对应的参数提取规则可以不同。参数提取规则用于基于特征物体对应的三维点云数据,获取该特征物体对应的特征参数。预先基于环境中可能存在的特征物体,针对已有特征物体建立参数提取规则,并将特征物体的类别标识、所建立的参数提取规则以及特征物体的类别标识与相应参数提取规则之间的映射关系信息存储在预设设置的规则信息库中。具体地,特征物体的类别标识可以是特征物体的名称或者预先定义的用于表征特征物体类别的唯一标识码。
步骤S202,基于所述特征物体对应的三维点云数据以及参数提取规则,得到所述特征物体对应的特征参数。
作为一种可选的实施方式,对于点云排布具有特定规律的特征物体,可以通过相应的结构化表达式来表达,其对应的参数提取规则可以包括:确定该特征物体对应的结构化表达式;基于该特征物体对应的三维点云数据,对该特征物体对应的结构化表达式进行参数拟合,得到该特征物体对应的结构化参数,进而基于所得到的结构化参数,得到该特征物体对应的特征参数。当然,点云排布遵循不同规律的特征物体对应的结构化表达式不同,因此,可以基于特征物体的类型确定该特征物体对应的结构化表达式。
具体来讲,基于所得到的结构化参数,得到该特征物体对应的特征参数可以包括:根据特征物体对应的三维点云数据,得到特征物体的位置参数,位置参数用于表征该特征物体的位置;以及将结构化参数以及位置参数作为该特征物体对应的特征参数。
以车道线为例,可以通过三次曲线方程来表达,假设车道线对应的点云集中,起始点为:P1(x1,y1,z1),终止点为:P2(x2,y2,z2)。若P(x,y,z)为P1P2之间的任意一点,令P到P1的弧长为arc,有x=fx1(arc),y=fx2(arc),z=fx3(arc)。其中,fxi(arc)的表达式为:Aiarc3+Biarc2+Ciarc+Di,基于车道线对应的三维点云数据,对该表达式进行参数拟合,即可得到车道线对应的结构化参数Ai、Bi、Ci和Di,其中,i取1、2和3。为了表征车道线的位置和结构,可以将车道线的起始点坐标、终止点坐标以及结构化参数即{x1,y1,z1,x2,y2,z2,Ai,Bi,Ci,Di}一起作为该车道线对应的特征参数。
作为一种可选的实施方式,对于形状规则的特征物体,可以通过特定结构来表达,其对应的参数提取规则可以包括:确定用于表征该特征物体的结构类型,例如,结构类型可以包括但不限于圆柱体、球体、长方体、正方形等;基于该特征物体对应的三维点云数据以及结构类型,得到该特征物体对应的结构特征值,如用圆柱体表征的特征物体对应的结构特征值可以为圆柱体的底面半径和高,用球体表征的特征物体对应的结构特征值可以为球体半径;基于该特征物体对应的结构特征值,得到该特征物体对应的特征参数。
例如,以柱子为例,可以用圆柱体来表达,可以基于柱子对应的三维点云数据得到柱子的起始点的六个自由度坐标(x0,y0,z0,r,p,q),来表达其位置和方向朝向,将起始点的六个自由度坐标作为该柱子对应的位置参数。此外,基于柱子对应的三维点云数据得到用于表征该柱子的圆柱体的结构特征值即该圆柱体的高度h以及底面半径r,进而通过起始点坐标以及结构特征值即(x0,y0,z0,r,p,q,h,r)一起作为该柱子对应的特征参数。
在上述图1所示实施例的基础上,上述将所述当前目标帧数据中非特征物体对应的三维点云数据的点云密度调节至预设值可以包括:通过预设的体素栅格对所述当前目标帧数据中非特征物体对应的三维点云数据进行降采样处理,将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以统一非特征物体对应的三维点云数据的分辨率。通过体素栅格的方式能够使得调整后的三维点云数据的分布较均衡,有利于得到更精确的建图结果。
具体来讲,可以根据点云数据创建一个三维体素栅格,然后根据预设的需要划分的小立体栅格的边长l的大小将三维体素栅格分解成m×n×l个小栅格,栅格划分完毕后将点云数据放到相应的小栅格中,删除不包含数据点的小栅格,对点云数据在小栅格中的分布进行统计,并得到每个小栅格中的数据点与相应小栅格的重心之间的位置关系,然后基于该位置关系筛选需要保留的数据点。例如,可以用小栅格中所有数据点的重心来近似表示小栅格中的其他数据点,即将该小栅格内所有点用一个重心点表示,对所有小栅格进行该处理后就可以得到降采样后的点云数据,或者,可以将每个小栅格中距离重心最近的数据点保留下来,删除其余的数据点。在上述过程中,小立体栅格的边长l可以根据实际需要设置,小立体栅格的边长l与降采样后得到的点云数据的点云密度成反比,边长l越大,降采样后得到的点云数据的点云密度越小。
需要说明的是,本实施例中,除了采用体素栅格以外,还可以采用其他降采样方式对非特征物体对应的三维点云数据进行降采样处理,此处不作限制。
可以理解的是,本实施例中,当前目标帧数据可以包括一个或两个以上目标帧数据,且不同目标帧数据来源于不同类别的感知传感器。例如,在一种具体应用场景中,当前目标帧数据可以包括两个目标帧数据,其中一个目标帧数据来源于图像采集传感器如摄像头,另一个目标帧数据来源于激光雷达。
具体来讲,在上述图1所示实施例的基础上,若当前目标帧数据包括两个以上目标帧数据,且两个以上目标帧数据来源于不同类别的感知传感器,作为一种实施方式,可以对两个以上目标帧数据进行合并,以结合多种传感器的优势共同构建高精度地图。此时,上述基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数的过程可以包括:将两个以上目标帧数据中同一特征物体对应的三维点云数据进行合并;根据合并后两个以上目标帧数据中每个特征物体对应的三维点云数据,得到该特征物体对应的特征参数。
举例来讲,当前目标帧数据包括图像数据和激光雷达数据时,图像数据对应的物体A与激光雷达数据对应的物体A′为环境中的同一物体,若该物体属于特征物体,则先将基于图像数据得到的物体A对应的三维点云数据与基于激光雷达数据得到的物体A′对应的三维点云数据进行合并,将合并后的三维点云数据作为该物体对应的三维点云数据。同理,当前目标帧数据包括来源于三种不同感知传感器的目标帧数据时,若其中任意两个目标帧数据中或三个目标帧数据中对应有同一物体时,则将合并后的三维点云数据作为该物体对应的三维点云数据。
需要说明的是,对于上述两个以上目标帧数据中,只有其中一个目标帧数据中存在而在其他目标帧数据中均不存在的物体,则在对两个以上目标帧数据进行合并后,该物体对应的三维点云数据不会发生变化。
当然,作为另一种实施方式,也可以分别基于每个目标帧数据,得到每个目标帧数据中特征物体对应的特征参数;然后再对不同目标帧数据中同一特征物体对应的特征参数进行融合,得到该特征物体的优化后的特征参数。需要说明的是,由于同一特征物体对应的参数提取规则相同,不同目标帧数据中同一特征物体对应的特征参数的类型相同,值可能存在偏差。
在一种实施方式中,对不同目标帧数据中同一特征物体对应的特征参数进行融合的方式可以为:获取不同目标帧数据中同一特征物体对应的特征参数的平均值,将平均值作为该特征物体的优化后的特征参数。当然,除了取平均值的方式外,也可以基于其他特征参数融合方式得到优化后的特征参数,此处不作限定,例如,也可以预先根据实际应用设置每个目标帧数据对应的权重系数,且每个目标帧数据对应的权重系数之和为1,针对同一特征物体,将基于相应目标帧数据得到的特征参数与对应的权重系数的乘积进行累加,将累加结果作为优化后的特征参数。
相应地,上述将当前目标帧数据中非特征物体对应的三维点云数据的点云密度调节至预设值可以包括:将两个以上目标帧数据中非特征物体对应的三维点云数据的点云密度调节至预设值,并将所述两个以上目标帧数据中同一非特征物体对应的三维点云数据进行合并。当然,在本申请的其他实施例中,也可以先对两个以上目标帧数据中同一非特征物体对应的三维点云数据进行合并,然后再将合并后的三维点云数据的点云密度调节至预设值。
对多种传感器采集到的数据进行融合,能够结合多种传感器的优势共同构建高精度地图,使得地图信息更丰富冗余,进而使得定位功能也更具有鲁棒性。
在上述图1所示实施例的基础上,本申请一实施例提供的地图构建方法还可以包括:存储所述特征物体对应的特征参数以及经过调节后的所述非特征物体对应的三维点云数据,以便根据所存储的特征参数以及三维点云数据构建地图。举例来讲,可以预先构建地图数据库,以存储用于拼接地图的数据,在得到当前目标帧数据对应的地图数据即特征参数以及经过调节后的非特征物体对应的三维点云数据后,则将当前目标帧数据对应的地图数据添加到该地图数据库中,以便于后续根据地图数据库中存储的地图数据构建地图。
本实施例中,拼接地图的方式可以采用实时拼接的方式,或者,也可以采用整体拼接的方式,具体根据实际需要设置。
实时拼接的方式即为在得到当前目标帧数据对应的地图数据即特征参数以及统一分辨率后的三维点云数据后,就将当前目标帧数据对应的地图数据与对当前目标帧数据之前的目标帧数据对应地图数据进行拼接,得到目标地图,直至拼接完可移动设备整个移动过程中最后获取的目标帧数据作为当前目标帧数据得到的地图数据,即可得到整个移动过程对应的整体地图。
此时,在上述图1所示实施例的基础上,本申请一实施例提供的地图构建方法还可以包括:将当前目标帧数据对应的特征参数以及三维点云数据与在先获取的数据进行拼接,得到目标地图,其中,在先获取的数据为在目标时间段内得到的特征参数以及三维点云数据,目标时间段为工作起始时刻与当前目标帧数据的获取时刻之间的时间段。可以理解的是,工作启示时刻即为可移动设备移动过程中感知传感器开始采集感知数据的时刻,在先获取的数据包括本次建图过程中,当前目标帧数据之前的所有目标帧数据对应地图数据。
整体拼接的方式即为先对可移动设备的整个移动过程中感知传感器采集到的每个目标帧数据进行处理,得到每个目标帧数据对应的地图数据后,再对每个目标帧数据对应的地图数据进行拼接,得到整个移动过程对应的整体地图。例如,在一具体应用场景中,可移动设备需要针对一目标区域进行建图,目标区域包括多个路段,则需要可移动设备经过目标区域的所有路段,得到这个过程中感知传感器采集到的每个目标帧数据对应的地图数据后,再对这些地图数据进行拼接,得到目标区域的地图。
需要说明的是,在拼接地图的过程中,为了进一步提高地图构建精度,可以对不同时刻、不同感知传感器观测到的同一物体对应的特征参数或调整后的三维点云数据,进行BA(Bundle Adjustment)优化,以最小化重投影误差。
为了更清楚地说明本申请实施例提供的技术方案,下面以一具体应用场景为例进行说明。
在一种具体应用场景中,可移动设备如自动驾驶汽车、机器人等上的传感器从功能上划分主要可以分为尺度传感器以及感知传感器。其中,尺度传感器包括:RTK(Real-time kinematic,实时动态)、GPS(Global Positioning System,全球定位系统)、IMU(Inertial Measurement Unit,惯性测量单元)、轮速计这类传感器,其中GPS、RTK用于帮助可移动设备获得绝对的位置信息,IMU、轮速计则是获取相对的位置信息以矫正位姿信息。而感知传感器则有如激光雷达、毫米波雷达或摄像头等。当然,为了提高系统的稳健性,可以采取多感知传感器融合的方案。需要说明的是,多传感器的融合需要对不同传感器进行时间同步和空间同步,即需要预先对这些传感器进行标定以及硬件同步。
在对可移动设备的各传感器进行标定以及硬件同步后,可以通过获取的绝对位置信息以及相对位置信息,得到感知传感器在采集每个目标帧数据时,预先设定的基准点对应在世界坐标系下的位置即坐标信息。其中,相对位置信息可以由激光雷达得到,也可以由视觉VO得到,或者由激光雷达融合IMU或轮速计通过EKF(卡尔曼滤波)得到,具体获取方式不限。基准点根据实际场景设置,例如,对于自动驾驶汽车,可以将预先设置的车体中心点作为基准点。
在获取到当前目标帧数据中观测物体对应的三维点云数据后,为了方便后续构建地图,需要将当前目标帧数据对应的三维点云数据均统一到基准点坐标系下,也就需要基于当前目标帧数据对应的感知传感器的标定参数对当前目标帧数据对应的三维点云数据进行坐标转换。
可以理解的是,经过标定可以得到不同传感器间的相对位置T_sensorm_sensorn即标定参数以及各个传感器距离基准点(base)的外参T_base_sensorm。其中,base用于让所有的感知传感器获取的感知数据均可以统一到一个相对坐标系下。可以通过外参或者是将标定参数与外参结合,将各路感知传感器获取的感知数据通过旋转平移变化,统一到基准点坐标系下。例如,对于激光雷达传感器获取的点云数据,可以通过进行如下转换:pointcloud_base=T_base_lidar*pointcloud_lidar,将激光雷达得到的点云数据变换到基准点坐标系下。其中,T_base_lidar表示激光雷达传感器距离基准点的外参,pointcloud_lidar表示激光雷达传感器获取的点云数据。又例如,对于摄像头获取的点云数据,可以通过进行如下转换:pointcloud_base=T_base_camera*pointcloud_camera,将摄像头采集的图像数据对应的点云数据变换到基准点坐标系下。其中,T_base_camera表示摄像头距离基准点的外参,pointcloud_camera表示摄像头采集的图像数据对应的点云数据。这样,便能将各路感知传感器采集到的数据都统一到基准点坐标系下。
此后,根据当前目标帧数据对应的基准点坐标系在世界坐标系下的位置pose,将当前目标帧数据对应的三维点云数据,乘上当前目标帧数据对应的基准点坐标系在世界坐标系下的位置pose,即可得到当前目标帧数据对应的三维点云数据在世界坐标系下的坐标信息。
进而,就可以基于当前目标帧数据中特征物体对应的三维点云数据在世界坐标系下的坐标信息,得到特征物体对应的特征参数,并将当前目标帧数据中非特征物体对应的三维点云数据的点云密度调整至预设值,得到调整后的三维点云数据在世界坐标系下的坐标信息;进而基于当前目标帧数据中特征物体对应的特征参数以及上述调整点云密度后的三维点云数据在世界坐标系下的坐标信息,构建地图。
综上所述,本申请实施例提供的地图构建方法,通过提取特征物体的特征参数以及调节非特征物体的点云数据的点云密度,实现了对不同种类传感器采集到的异质数据的同质化,使得本方法能不受限于传感器类别,适用于不同传感器的建图和定位。
示例性装置
图3图示了根据本申请实施例的地图构建装置的框图。
如图3所示,本申请实施例的地图构建装置300包括:获取模块310,用于获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;参数确定模块320,用于基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;调节模块330,用于将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以根据所述特征参数以及经过调节后的三维点云数据构建地图。
图4图示了本申请实施例的地图构建装置的参数确定模块的一个示例框图。如图4所示,在一个示例中,上述参数确定模块320可以包括:规则确定单元410,用于基于预设的规则信息库,确定所述特征物体对应的参数提取规则,其中,所述规则信息库中存储有多种特征物体与相应参数提取规则的映射关系信息;提取单元420,用于基于所述特征物体对应的三维点云数据以及参数提取规则,得到所述特征物体对应的特征参数。
在一个示例中,提取单元420包括:表达式确定子单元,用于确定所述特征物体对应的结构化表达式;参数拟合子单元,用于基于所述特征物体对应的三维点云数据,对所述特征物体对应的结构化表达式进行参数拟合,得到所述特征物体对应的结构化参数;参数获取子单元,用于基于所述结构化参数,得到所述特征物体对应的特征参数。
在一个示例中,参数获取子单元用于根据所述特征物体对应的三维点云数据,得到所述特征物体的位置参数,所述位置参数用于表征所述特征物体的位置;将所述结构化参数以及所述位置参数作为所述特征物体对应的特征参数。
在一个示例中,当前目标帧数据包括两个以上目标帧数据,所述两个以上目标帧数据来源于不同类别的感知传感器。此时,上述参数确定模块320用于:将所述两个以上目标帧数据中同一特征物体对应的三维点云数据进行合并;根据合并后所述两个以上目标帧数据中每个特征物体对应的三维点云数据,得到所述特征物体对应的特征参数。
相应地,上述参数确定模块320用于:将所述两个以上目标帧数据中非特征物体对应的三维点云数据的点云密度调节至预设值,并将所述两个以上目标帧数据中同一非特征物体对应的三维点云数据进行合并。
在一个示例中,本申请实施例的地图构建装置300还包括:类别确定模块,用于确定所述当前目标帧数据中每个物体的类别;识别模块,用于将所述物体的类别与预设的类别信息库中的物体类别进行匹配,将匹配成功的物体确定为特征物体,将匹配失败的物体确定为非特征物体,其中,所述类别信息库中存储有多种物体类别。
在一个示例中,上述调节模块330用于通过预设的体素栅格对所述当前目标帧数据中非特征物体对应的三维点云数据进行降采样处理,将所述非特征物体对应的三维点云数据的点云密度调节至预设值。
在一个示例中,本申请实施例的地图构建装置300还包括:存储模块,用于存储所述特征物体对应的特征参数以及经过调节后的所述非特征物体对应的三维点云数据,以便根据所存储的特征参数以及三维点云数据构建地图。
在一个示例中,本申请实施例的地图构建装置300还包括:地图拼接模块,用于将当前目标帧数据对应的特征参数以及三维点云数据与在先获取的数据进行拼接,得到目标地图,其中,所述在先获取的数据为在目标时间段内得到的特征参数以及三维点云数据,所述目标时间段为工作起始时刻与所述当前目标帧数据的获取时刻之间的时间段。
这里,本领域技术人员可以理解,上述地图构建装置300中的各个模块的具体功能和操作已经在上面参考图1到图2的地图构建方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的地图构建装置300可以实现在各种可移动设备的设备终端中,例如用于自动驾驶汽车、机器人等中的计算机或者微处理器中。在一个示例中,根据本申请实施例的地图构建装置300可以作为一个软件模块和/或硬件模块而集成到可移动设备的设备终端中。例如,该地图构建装置300可以是该设备终端的操作系统中的一个软件模块,或者可以是针对于该设备终端所开发的一个应用程序;当然,该地图构建装置300同样可以是该设备终端的众多硬件模块之一。
替换地,在另一示例中,该地图构建装置300与可移动设备的设备终端也可以是分立的设备,并且该地图构建装置300可以通过有线和/或无线网络连接到该设备终端,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图5来描述根据本申请实施例的电子设备。
图5图示了根据本申请实施例的电子设备的框图。
如图5所示,电子设备500包括一个或多个处理器501和存储器502。
处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备500中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器501可以运行所述程序指令,以实现上文所述的本申请的各个实施例的地图构建方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备500还可以包括:输入装置503和输出装置504,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置503还可以包括例如键盘、鼠标等等。
该输出装置504可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备500中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备500还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的地图构建方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的地图构建方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (13)
1.一种地图构建方法,包括:
获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;
基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;
将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以对先后获取的各个目标帧数据对应的地图数据进行拼接,得到目标地图,所述地图数据包括:所述特征参数以及经过调节后的三维点云数据,所述预设值根据各种类型的感知传感器采集的数据对应的三维点云数据的点云密度设置,所述各种类型的感知传感器对应的所述预设值相同。
2.根据权利要求1所述的方法,其中,所述基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,包括:
基于预设的规则信息库,确定所述特征物体对应的参数提取规则,其中,所述规则信息库中存储有多种特征物体与相应参数提取规则的映射关系信息;
基于所述特征物体对应的三维点云数据以及参数提取规则,得到所述特征物体对应的特征参数。
3.根据权利要求2所述的方法,其中,所述基于所述特征物体对应的三维点云数据以及参数提取规则,得到所述特征物体对应的特征参数,包括:
确定所述特征物体对应的结构化表达式;
基于所述特征物体对应的三维点云数据,对所述特征物体对应的结构化表达式进行参数拟合,得到所述特征物体对应的结构化参数;
基于所述结构化参数,得到所述特征物体对应的特征参数。
4.根据权利要求3所述的方法,其中,所述基于所述结构化参数,得到所述特征物体对应的特征参数,包括:
根据所述特征物体对应的三维点云数据,得到所述特征物体的位置参数,所述位置参数用于表征所述特征物体的位置;
将所述结构化参数以及所述位置参数作为所述特征物体对应的特征参数。
5.根据权利要求1所述的方法,所述当前目标帧数据包括两个以上目标帧数据,所述两个以上目标帧数据来源于不同类别的感知传感器,
其中,所述基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,包括:
将所述两个以上目标帧数据中同一特征物体对应的三维点云数据进行合并;
根据合并后所述两个以上目标帧数据中每个特征物体对应的三维点云数据,得到所述特征物体对应的特征参数。
6.根据权利要求5所述的方法,其中,所述将所述非特征物体对应的三维点云数据的点云密度调节至预设值,包括:
将所述两个以上目标帧数据中非特征物体对应的三维点云数据的点云密度调节至预设值,并将所述两个以上目标帧数据中同一非特征物体对应的三维点云数据进行合并。
7.根据权利要求1所述的方法,其中,所述基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数之前,还包括:
确定所述当前目标帧数据中每个物体的类别;
将所述物体的类别与预设的类别信息库中的物体类别进行匹配,将匹配成功的物体确定为特征物体,将匹配失败的物体确定为非特征物体,其中,所述类别信息库中存储有多种物体类别。
8.根据权利要求1所述的方法,其中,所述将所述非特征物体对应的三维点云数据的点云密度调节至预设值,包括:
通过预设的体素栅格对所述当前目标帧数据中非特征物体对应的三维点云数据进行降采样处理,将所述非特征物体对应的三维点云数据的点云密度调节至预设值。
9.根据权利要求1所述的方法,其中,所述将所述非特征物体对应的三维点云数据的点云密度调节至预设值之后,还包括:
存储所述特征物体对应的特征参数以及经过调节后的所述非特征物体对应的三维点云数据,以便根据所存储的特征参数以及三维点云数据构建地图。
10.根据权利要求1所述的方法,其中,所述将所述非特征物体对应的三维点云数据的点云密度调节至预设值之后,还包括:
将当前目标帧数据对应的特征参数以及三维点云数据与在先获取的数据进行拼接,得到目标地图,其中,所述在先获取的数据为在目标时间段内得到的特征参数以及三维点云数据,所述目标时间段为工作起始时刻与所述当前目标帧数据的获取时刻之间的时间段。
11.一种地图构建装置,包括:
获取模块,用于获取当前目标帧数据中观测物体对应的三维点云数据,其中,所述观测物体包括特征物体和非特征物体;
参数确定模块,用于基于所述特征物体对应的三维点云数据,得到所述特征物体对应的特征参数,所述特征参数用于表征所述特征物体的位置及尺寸;
调节模块,用于将所述非特征物体对应的三维点云数据的点云密度调节至预设值,以对先后获取的各个目标帧数据对应的地图数据进行拼接,得到目标地图,所述地图数据包括:所述特征参数以及经过调节后的三维点云数据,所述预设值根据各种类型的感知传感器采集的数据对应的三维点云数据的点云密度设置,所述各种类型的感知传感器对应的所述预设值相同。
12.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的地图构建方法。
13.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-10中任一所述的地图构建方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910182305.1A CN111694903B (zh) | 2019-03-11 | 2019-03-11 | 地图构建方法、装置、设备以及可读存储介质 |
US16/808,780 US11328521B2 (en) | 2019-03-11 | 2020-03-04 | Map construction method, electronic device and readable storage medium |
KR1020200029275A KR102314228B1 (ko) | 2019-03-11 | 2020-03-09 | 지도 구축 방법, 장치, 기기 및 판독가능 저장 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910182305.1A CN111694903B (zh) | 2019-03-11 | 2019-03-11 | 地图构建方法、装置、设备以及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111694903A CN111694903A (zh) | 2020-09-22 |
CN111694903B true CN111694903B (zh) | 2023-09-12 |
Family
ID=69784111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910182305.1A Active CN111694903B (zh) | 2019-03-11 | 2019-03-11 | 地图构建方法、装置、设备以及可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11328521B2 (zh) |
KR (1) | KR102314228B1 (zh) |
CN (1) | CN111694903B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK201970115A1 (en) | 2018-11-08 | 2020-06-09 | Aptiv Technologies Limited | DEEP LEARNING FOR OBJECT DETECTION USING PILLARS |
CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
GB2621701A (en) * | 2019-11-14 | 2024-02-21 | Motional Ad Llc | Sequential fusion for 3D object detection |
US11698458B2 (en) * | 2020-02-04 | 2023-07-11 | Caterpillar Inc. | Method and system for performing dynamic LIDAR scanning |
WO2022089723A1 (en) * | 2020-10-27 | 2022-05-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Mapping server and device communicating with mapping server |
CN112598780B (zh) * | 2020-12-04 | 2024-04-05 | Oppo广东移动通信有限公司 | 实例对象模型构建方法及装置、可读介质和电子设备 |
CN114556445B (zh) * | 2020-12-17 | 2025-02-25 | 深圳市卓驭科技有限公司 | 物体识别方法、装置、可移动平台以及存储介质 |
CN112964263B (zh) * | 2021-02-01 | 2022-11-01 | 杭州荷尖科技合伙企业(有限合伙) | 自动建图方法、装置、移动机器人及可读存储介质 |
CN112837410B (zh) * | 2021-02-19 | 2023-07-18 | 北京三快在线科技有限公司 | 一种训练模型和点云的处理方法及装置 |
CN112733817B (zh) * | 2021-03-30 | 2021-06-04 | 湖北亿咖通科技有限公司 | 一种高精度地图中点云图层精度的测量方法及电子设备 |
CN113269874A (zh) * | 2021-04-20 | 2021-08-17 | 达闼机器人有限公司 | 一种三维地图的建立方法及装置 |
CN115546237A (zh) * | 2021-06-29 | 2022-12-30 | 富泰华工业(深圳)有限公司 | 点云密度调整方法、电子设备及存储介质 |
CN113671460B (zh) * | 2021-08-20 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 一种地图生成方法、装置、计算机设备及存储介质 |
CN114331977A (zh) * | 2021-12-16 | 2022-04-12 | 深圳市鹰眼在线电子科技有限公司 | 多阵列三维测量系统的拼接标定系统、方法及装置 |
CN114419250B (zh) * | 2021-12-27 | 2023-03-10 | 广州极飞科技股份有限公司 | 点云数据矢量化方法及装置、矢量地图生成方法及装置 |
CN114494629A (zh) * | 2022-01-27 | 2022-05-13 | 广东电网有限责任公司 | 一种三维地图的构建方法、装置、设备及存储介质 |
CN114581621B (zh) * | 2022-03-07 | 2024-10-01 | 北京百度网讯科技有限公司 | 地图数据处理方法、装置、电子设备和介质 |
CN115164918B (zh) * | 2022-09-06 | 2023-02-03 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
KR102540636B1 (ko) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
CN116358439B (zh) * | 2023-06-02 | 2023-08-25 | 山东省地质科学研究院 | 一种岩石有限应变测量方法、系统、电子设备及存储介质 |
CN117523021B (zh) * | 2023-11-20 | 2024-05-28 | 友上智能科技(苏州)有限公司 | 基于agv控制系统的快速扫描地图方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1473673A2 (en) * | 2003-04-30 | 2004-11-03 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
US9383753B1 (en) * | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
WO2016138567A1 (en) * | 2015-03-05 | 2016-09-09 | Commonwealth Scientific And Industrial Research Organisation | Structure modelling |
CN107301654A (zh) * | 2017-06-12 | 2017-10-27 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
WO2018090250A1 (zh) * | 2016-11-16 | 2018-05-24 | 深圳市大疆创新科技有限公司 | 生成三维点云的方法、装置、计算机系统和移动设备 |
CN108171780A (zh) * | 2017-12-28 | 2018-06-15 | 电子科技大学 | 一种基于激光雷达构建室内真实三维地图的方法 |
WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
CN108955679A (zh) * | 2018-08-16 | 2018-12-07 | 电子科技大学 | 一种变电站智能巡检机器人高精度定位方法 |
CN109064506A (zh) * | 2018-07-04 | 2018-12-21 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置及存储介质 |
CN109084786A (zh) * | 2018-08-09 | 2018-12-25 | 北京智行者科技有限公司 | 一种地图数据的处理方法 |
CN109285220A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8737720B2 (en) * | 2003-04-30 | 2014-05-27 | Deere & Company | System and method for detecting and analyzing features in an agricultural field |
KR101085390B1 (ko) * | 2008-04-30 | 2011-11-21 | 주식회사 코아로직 | 3d 네비게이션을 위한 영상표현 방법, 장치 및 그 장치를포함한 모바일 장치 |
GB2489179B (en) * | 2010-02-05 | 2017-08-02 | Trimble Navigation Ltd | Systems and methods for processing mapping and modeling data |
JP5206752B2 (ja) * | 2010-08-30 | 2013-06-12 | 株式会社デンソー | 走行環境認識装置 |
JP5766936B2 (ja) | 2010-11-11 | 2015-08-19 | 国立大学法人 東京大学 | 3次元環境復元装置、3次元環境復元方法、及びロボット |
CN105184852B (zh) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
CN105260988B (zh) | 2015-09-09 | 2019-04-05 | 百度在线网络技术(北京)有限公司 | 一种高精地图数据的处理方法和装置 |
WO2018086130A1 (zh) * | 2016-11-14 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
US10223829B2 (en) * | 2016-12-01 | 2019-03-05 | Here Global B.V. | Method and apparatus for generating a cleaned object model for an object in a mapping database |
JP6793055B2 (ja) * | 2017-02-15 | 2020-12-02 | 東洋電機製造株式会社 | フィルタ処理装置及びプログラム |
CN108225348B (zh) * | 2017-12-29 | 2021-08-24 | 百度在线网络技术(北京)有限公司 | 地图创建以及运动实体定位的方法和装置 |
US10854011B2 (en) * | 2018-04-09 | 2020-12-01 | Direct Current Capital LLC | Method for rendering 2D and 3D data within a 3D virtual environment |
WO2020009826A1 (en) * | 2018-07-05 | 2020-01-09 | Kaarta, Inc. | Methods and systems for auto-leveling of point clouds and 3d models |
CN109146938B (zh) * | 2018-08-30 | 2020-09-15 | 百度在线网络技术(北京)有限公司 | 动态障碍物的位置校准方法、装置、设备及存储介质 |
CN109190573B (zh) * | 2018-09-12 | 2021-11-12 | 阿波罗智能技术(北京)有限公司 | 应用于无人驾驶车辆的地面检测方法、电子设备、车辆 |
US10809073B2 (en) * | 2018-12-05 | 2020-10-20 | Here Global B.V. | Local window-based 2D occupancy grids for localization of autonomous vehicles |
CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
-
2019
- 2019-03-11 CN CN201910182305.1A patent/CN111694903B/zh active Active
-
2020
- 2020-03-04 US US16/808,780 patent/US11328521B2/en active Active
- 2020-03-09 KR KR1020200029275A patent/KR102314228B1/ko active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1473673A2 (en) * | 2003-04-30 | 2004-11-03 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
US9383753B1 (en) * | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
WO2016138567A1 (en) * | 2015-03-05 | 2016-09-09 | Commonwealth Scientific And Industrial Research Organisation | Structure modelling |
CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
WO2018090250A1 (zh) * | 2016-11-16 | 2018-05-24 | 深圳市大疆创新科技有限公司 | 生成三维点云的方法、装置、计算机系统和移动设备 |
WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
CN107301654A (zh) * | 2017-06-12 | 2017-10-27 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
CN108171780A (zh) * | 2017-12-28 | 2018-06-15 | 电子科技大学 | 一种基于激光雷达构建室内真实三维地图的方法 |
CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
CN109064506A (zh) * | 2018-07-04 | 2018-12-21 | 百度在线网络技术(北京)有限公司 | 高精度地图生成方法、装置及存储介质 |
CN109084786A (zh) * | 2018-08-09 | 2018-12-25 | 北京智行者科技有限公司 | 一种地图数据的处理方法 |
CN108955679A (zh) * | 2018-08-16 | 2018-12-07 | 电子科技大学 | 一种变电站智能巡检机器人高精度定位方法 |
CN109285220A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于体素格尺度不变特征变换的快速点云配准方法;郭杭;漆钰晖;裴凌;陈春旭;朱一帆;;中国惯性技术学报(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
US11328521B2 (en) | 2022-05-10 |
CN111694903A (zh) | 2020-09-22 |
KR102314228B1 (ko) | 2021-10-19 |
US20200293751A1 (en) | 2020-09-17 |
KR20200109260A (ko) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111694903B (zh) | 地图构建方法、装置、设备以及可读存储介质 | |
CN109461211B (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
CN109297510B (zh) | 相对位姿标定方法、装置、设备及介质 | |
CN112146682B (zh) | 智能汽车的传感器标定方法、装置、电子设备及介质 | |
CN110470333B (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
CN111982133B (zh) | 基于高精地图对车辆进行定位的方法、装置及电子设备 | |
CN110501036A (zh) | 传感器参数的标定检查方法及装置 | |
CN114459471B (zh) | 定位信息确定方法、装置、电子设备及存储介质 | |
CN111862215B (zh) | 一种计算机设备定位方法、装置、计算机设备和存储介质 | |
CN110766793A (zh) | 一种基于语义点云的地图构建方法及装置 | |
CN112528918A (zh) | 道路元素识别方法、地图标注方法及装置、车辆 | |
CN117213515A (zh) | 视觉slam路径规划方法、装置、电子设备及存储介质 | |
CN112651991B (zh) | 视觉定位方法、装置及计算机系统 | |
CN112381873A (zh) | 一种数据标注方法及装置 | |
CN113218392A (zh) | 室内定位导航方法及导航装置 | |
CN116429112A (zh) | 多机器人协同定位方法和装置、设备及存储介质 | |
EP4281729A1 (en) | Device and method for navigation | |
CN113284224B (zh) | 基于单纯码的自动建图方法和装置、定位方法及设备 | |
CN111060114A (zh) | 用于生成高精度地图的特征图的方法和装置 | |
CN112435293B (zh) | 一种车道线的结构化参数表示确定方法及装置 | |
CN111935642B (zh) | 一种可移动设备的定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |