CN110163900B - 用于调整点云数据方法和装置 - Google Patents
用于调整点云数据方法和装置 Download PDFInfo
- Publication number
- CN110163900B CN110163900B CN201910470467.5A CN201910470467A CN110163900B CN 110163900 B CN110163900 B CN 110163900B CN 201910470467 A CN201910470467 A CN 201910470467A CN 110163900 B CN110163900 B CN 110163900B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- bridge
- plane
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开的实施例公开了用于调整点云数据的方法和装置。该方法的一具体实施方式包括:获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;基于所拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。该实施方式实现了桥面点云数据和桥底面点云数据在高度方向的匹配。进而可以为立交桥附近的高精地图的制作提供准确可靠的数据基础。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于调整点云数据方法和装置。
背景技术
随着计算机和互联网技术的飞速发展,自动驾驶技术也日趋进步。为了保证自动驾驶的安全性,高精地图的准确性则显得越来越重要。通常,高精地图依赖点云数据的采集和分析处理。在某些特殊地点(例如立交桥、高架桥等),由于建筑物的遮蔽影响GPS(GlobalPositioning System,全球定位系统)的信号传输,进而造成数据的精度不够。从而导致在上述特殊地点附近采集的点云数据进行拼合之后产生严重的上下分层现象。
相关的方式通常有两种:其一是仍然采用常规的ICP(Iterative Closest Point,迭代最近点)算法进行点云配准;其二是采用性能更好的硬件设备进行数据采集。
发明内容
本公开的实施例提出了用于调整点云数据的方法和装置。
第一方面,本公开的实施例提供了一种用于调整点云数据的方法,该方法包括:获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;基于所拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
在一些实施例中,上述对第二点云数据中的数据点进行平面拟合,确定所拟合的平面,包括:从第二点云数据中提取目标数据点,生成目标点云数据,其中,目标数据点所指示的高度超过预设阈值;根据平面拟合和区域增长算法,对目标点云数据中属于同一所拟合的平面的点云数据进行聚类;确定所拟合的平面的数目。
在一些实施例中,上述基于所拟合的平面确定桥面对应的桥的截面类型,包括:响应于确定平面的数目大于1且平面之间的高度差大于预设高度差阈值,确定桥面对应的桥的截面类型为表征桥底面为凹的截面类型。
在一些实施例中,上述基于所拟合的平面确定桥面对应的桥的截面类型,包括:响应于确定平面的数目为1,确定桥面对应的桥的截面类型为表征桥底面为平面的截面类型。
在一些实施例中,上述从第二点云数据中提取目标数据点,生成目标点云数据,包括:从第二点云数据中提取所指示的高度超过预设阈值的数据点,生成准目标点云数据;对准目标点云数据进行抽稀,生成目标点云数据。
第二方面,本公开的实施例提供了一种用于调整点云数据的装置,该装置包括:获取单元,被配置成获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;平面拟合单元,被配置成对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;截面确定单元,被配置成基于所拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;调整单元,被配置成根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
在一些实施例中,上述平面拟合单元包括:提取模块,被配置成从第二点云数据中提取目标数据点,生成目标点云数据,其中,目标数据点所指示的高度超过预设阈值;聚类模块,被配置成根据平面拟合和区域增长算法,对目标点云数据中属于同一所拟合的平面的点云数据进行聚类;确定模块,被配置成确定所拟合的平面的数目。
在一些实施例中,上述截面确定单元进一步被配置成:响应于确定平面的数目大于1且平面之间的高度差大于预设高度差阈值,确定桥面对应的桥的截面类型为表征桥底面为凹的截面类型。
在一些实施例中,上述截面确定单元进一步被配置成:响应于确定平面的数目为1,确定桥面对应的桥的截面类型为表征桥底面为平面的截面类型。
在一些实施例中,上述提取模块包括:第一生成子模块,被配置成从第二点云数据中提取所指示的高度超过预设阈值的数据点,生成准目标点云数据;第二生成子模块,被配置成对准目标点云数据进行抽稀,生成目标点云数据。
第三方面,本公开的实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的实施例提供的用于调整点云数据的方法和装置,首先获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;而后,对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;之后,基于拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;最后,根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。从而实现了桥面点云数据和桥底面点云数据在高度方向的匹配。进而可以为立交桥附近的高精地图的制作提供准确可靠的数据基础。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的用于调整点云数据的方法的一个实施例的流程图;
图3a和图3b是根据本公开的用于调整点云数据的方法的一个实施例中的桥的截面的示意图;
图4是根据本公开的实施例的用于调整点云数据的方法的一个应用场景的示意图;
图5是根据本公开的用于调整点云数据的方法的又一个实施例的流程图;
图6是根据本公开的用于调整点云数据的装置的一个实施例的结构示意图;
图7是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于调整点云数据的方法或用于调整点云数据的装置的示例性架构100。
如图1所示,系统架构100可以包括终端设备101,网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如搜索类应用、即时通信工具、地图类应用等。
终端设备101可以是硬件,也可以是软件。当终端设备101为硬件时,可以是安装有点云数据采集设备1011的车辆。上述点云数据采集设备1011可以包括但不限于以下至少一项:LiDAR(Light Detection And Ranging,激光雷达),双目摄像头。当终端设备101为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器,例如对终端设备101上的点云数据采集设备所采集的数据进行处理的后台服务器。后台服务器可以对终端设备101所获取的点云数据进行分析处理,并生成处理结果(如拼合后的点云数据)。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本公开的实施例所提供的用于调整点云数据的方法一般由服务器103执行,相应地,用于调整点云数据的装置一般设置于服务器103中。可选地,本公开的实施例所提供的用于调整点云数据的方法也可以由终端设备101执行,相应地,用于调整点云数据的装置也可以设置于终端设备101中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的用于调整点云数据的方法的一个实施例的流程200。该用于调整点云数据的方法包括以下步骤:
步骤201,获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据。
在本实施例中,用于调整点云数据的方法的执行主体(如图1所示的服务器103)可以通过有线连接方式或者无线连接方式获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据。其中,上述第一点云数据和第二数据点云可以是分别针对同一桥梁的桥面和桥底面所采集的数据。上述点云数据中的每个数据点通常可以具有位置信息(例如三维坐标)。作为示例,上述数据点中可以包括指示位置的分量,例如X、Y、Z坐标。上述X、Y坐标可以用于指示在X-O-Y平面的位置。上述Z坐标可以用于指示高度。可选地,上述数据点还可以具有颜色信息(例如RGB)或反射强度信息(Intensity)。上述桥梁通常可以是立交桥。作为示例,可以由安装有激光雷达的地图数据采集车沿着一致的路线在同一立交桥上和上述立交桥下行驶并采集点云数据。从而可以将在上述立交桥上行驶过程中所采集的点云数据确定为第一点云数据。还可以将在上述立交桥下行驶过程中所采集的点云数据确定为第二点云数据。作为示例,上述执行主体可以直接从采集点云数据的设备(例如安装在图1所示的终端设备上的激光雷达)获取上述第一点云数据和第二点云数据。作为又一示例,上述执行主体也可以从通信连接的数据库服务器获取上述第一点云数据和第二点云数据。其中,上述数据库服务器可以存储有采集点云数据的设备(例如安装在图1所示的终端设备上的激光雷达)预先存储的所采集的第一点云数据和第二点云数据。
步骤202,对第二点云数据中的数据点进行平面拟合,确定所拟合的平面。
在本实施例中,上述执行主体可以利用各种方法对从步骤201所获取的第二点云数据中的数据点进行平面拟合。作为示例,上述对点云数据进行平面拟合的方法可以是RANSAC(Random sample consensus,随机抽样一致性)算法。具体地,上述执行主体可以首先从上述第二点云数据中随机选取三个数据点。然后,上述执行主体可以利用上述所选取的三个数据点确定一个平面。之后,上述执行主体可以计算上述第二点云数据中的其他点云数据对应的数据点到上述所确定的平面的距离。而后,将在上述所确定的距离中小于预设值的距离所对应的数据点确定为属于所确定的平面。接下来,响应于确定属于上述所确定的平面的数据点超过数据点数目阈值,上述执行主体可以将上述所确定的平面确定为所拟合的平面。可以理解,上述所拟合的平面是数目可以是1,也可以大于1。
需要说明的是,实践中,上述所拟合的平面通常与水平面之间的夹角小于预设夹角阈值。即,上述所拟合的平面的方向也几乎是水平方向。
步骤203,基于所拟合的平面确定桥面对应的桥的截面类型。
在本实施例中,上述执行主体可以根据步骤202所确定的所拟合的平面确定桥面对应的桥的截面类型。其中,上述桥的截面类型可以用于指示桥面与桥底面之间的高度关联关系。其中,上述桥面与桥底面之间的高度关联关系可以根据桥的截面的几何特征而确定。响应于确定所拟合的平面之间的位置关系符合“高-低-高”(例如图3a中的平面312、313、314),且位置较高的平面(例如图3a中的平面312、313)之间的高度差值小于预设的高度差阈值,上述执行主体可以确定与上述桥面对应的桥的截面类型与图3a中示出的桥的截面形状一致。
步骤204,根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
在本实施例中,上述执行主体可以根据步骤202所确定的所拟合的平面与上述步骤203所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系之间的匹配,对上述第一点云数据和第二点云数据中指示高度的分量进行调整。之后,上述执行主体可以将调整后的第一点云数据和第二点云数据进行拼合,生成调整后的匹配点云数据。可以理解,上述调整后的匹配点云数据通常可以是相对于世界坐标系而言的。
在本实施例中,上述执行主体可以利用各种点云分割的方法从上述第一点云数据中分离出与桥面匹配的地面点云。其中,上述点云分割的方法可以包括但不限于以下至少一项:水平面校准法,法向量法,栅格高度差法,平均高度法。进而,上述执行主体可以对第一点云数据中属于上述分离出的地面点云的数据点进行调整。作为示例,上述桥的截面类型可以与上述图3a中的下底面形状一致。首先,上述执行主体可以在上述第二点云数据抽取特征点。可选地,上述特征点可以是属于所拟合的平面中位置较高的平面(例如图3a中所示的平面312)的数据点。之后,上述执行主体可以从第一点云数据中确定出与上述抽取的特征点对应的数据点。而后,确定所抽取的特征点与对应的数据点在竖直方向上的高度差。之后,根据上述所确定的高度差与预设第一阈值的比较,上述执行主体可以对上述第一点云数据和第二点云数据中指示高度的分量进行调整。上述调整的方法可以根据实际应用情况而具体确定。例如,上述第一预设阈值通常可以参考桥的截面类型所指示的桥面(例如图3a中的平面311)与较高的桥底面(例如图3a中的平面312、平面313)之间的距离。上述第一预设阈值例如可以设置为0.2米。当上述所确定的高度差大于或不大于上述第一预设阈值,上述第一点云数据和第二点云数据中指示高度的分量之差可以分别依据以下公式(1)、(2)进行调整:
其中,可以指第一点云数据中的数据点的指示高度的分量。可以指第二点云数据中的数据点的指示高度的分量。可以指所抽取的数据点的指示高度的分量。可以指第一点云数据中与所抽取的数据点对应的数据点的指示高度的分量。
在本实施例的一些可选的实现方式中,根据步骤201所获取的第一点云数据和第二点云数据,上述执行主体还可以确定采集设备(例如安装在数据采集车上的激光雷达)的移动轨迹。之后,根据所确定的移动轨迹,上述执行主体还可以根据预先建立的残差方程,进一步对上述第一点云数据和第二点云数据中指示高度的分量进行调整。其中,上述预先建立的残差方程可以用于表征桥面的坡度(例如引桥部分的坡度)。从而可以通过对第一点云数据与第二点云数据进行全局调整,实现了点云数据的平滑处理。
继续参见图4,图4是根据本公开的实施例的用于调整点云数据的方法的应用场景的一个示意图。在图4的应用场景中,安装有激光雷达的数据采集车401、402可以分别采集针对立交桥404的桥面4041的第一点云数据和针对桥底面4042的第二点云数据。之后,后台服务器403可以从上述数据采集车401、402获取上述所采集的第一点云数据和第二点云数据。而后,后台服务器403可以对上述第二点云数据中的数据点进行平面拟合,确定拟合后的平面。响应于确定所拟合的平面之间的位置关系符合“高-低-高”(例如图3a中的平面312、313、314),且位置处于“高”和“低”的平面之间的高度差值小于预设的高度差阈值(例如为1米),后台服务器403可以确定桥404的截面类型为“凹截面”。根据上述“凹截面”所指示的桥面4041与桥底面4042之间的高度关联关系,后台服务器403可以对第一点云数据和第二点云数据中指示高度的分量进行调整,以使第一点云数据和第二点云数据之间的对应点的高度差满足上述高度关联关系。而后,后台服务器403还可以将调整后的第一点云数据和第二点云数据进行拼合,生成调整后的匹配点云数据。从而,上述调整后的匹配点云数据可以用于表征桥404的三维结构。
目前,现有技术之一通常是仍然采用常规的ICP。但是由于在桥上和桥下分别采集数据,导致点云数据中重合的部分较少,而且重合的部分(往往是桥上的牌杆等)通常点云密度也较小。因此,在点云数据重合部分的数据点有限的情况下,ICP并不能实现较好的点云数据拼合效果。而本公开的上述实施例提供的方法,通过对桥底面的点云数据进行平面拟合以及根据所拟合的平面确定桥的截面类型,从而实现了桥面点云数据和桥底面点云数据在高度方向的匹配,解决了点云数据拼合过程中由于高度不匹配而产生的上下分层的现象。进而可以为立交桥附近的高精地图的制作提供准确可靠的数据基础。而且,本公开的上述实施例提供的方法由于不要求点云数据之间具有较高密度的重合部分,因而可以几乎不受采集范围和点云密度的影响,节约了高精度硬件采集设备的购买和使用成本。
进一步参考图5,其示出了用于调整点云数据的方法的又一个实施例的流程500。该用于调整点云数据的方法的流程500,包括以下步骤:
步骤501,获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据。
上述步骤501与前述实施例中的步骤201一致,上文针对步骤201的描述也适用于步骤501,此处不再赘述。
步骤502,从第二点云数据中提取目标数据点,生成目标点云数据。
在本实施例中,用于调整点云数据的方法的执行主体可以从步骤201获取的第二点云数据中提取目标数据点。其中,上述目标数据点可以是所指示的高度超过预设阈值的数据点。上述预设阈值可以根据实际应用场景而设定。例如,可以设定为2.3米。从而,可以对桥下路面上的大部分行人、机动车等移动实体进行过滤,简化后续点云数据处理的过程。
在本实施例的一些可选的实现方式中,上述执行主体还可以通过如下步骤生成目标点云数据:
第一步,从第二点云数据中提取所指示的高度超过预设阈值的数据点,生成准目标点云数据;
第二步,对准目标点云数据进行抽稀,生成目标点云数据。
在这些实现方式中,上述执行主体可以利用各种抽稀算法来对上述准目标点云数据进行抽稀。上述抽稀的方法可以包括但不限于以下至少一项:步长法,线段过滤法,道格拉斯-普克(Douglas-Peuker)算法,垂距限值法。从而,上述目标点云数据既可以保留上述第二点云数据的几何特征,又能够节省数据处理和存储的时间和空间。
步骤503,根据平面拟合和区域增长算法,对目标点云数据中属于同一所拟合的平面的点云数据进行聚类。
在本实施例中,上述执行主体可以首先从步骤502生成的目标点云数据中提取特征点。上述目标数据点的提取方法可以包括但不限于以下至少一项:点特征直方图(PointFeature Histogram,PFH),3D形状内容描述子(3D shape contexts)。然后,上述执行主体可以从所提取的特征点中选取种子点。其中,上述种子点可以是曲率最小的特征点。之后,上述执行主体可以根据所选取的种子点寻找其邻域点。最后,结合点云平面拟合方法,将属于同一所拟合的平面的上述特征点进行聚类。可选地,上述执行主体还可以进一步确定目标点云中的其他数据点是否属于所拟合的平面。
步骤504,确定所拟合的平面的数目。
在本实施例中,上述执行主体可以根据步骤503所得到的拟合的平面,确定所拟合的平面的数目
步骤505,基于所拟合的平面确定桥面对应的桥的截面类型。
在本实施例的一些可选的实现方式中,响应于确定平面的数目大于1且平面之间的高度差大于预设高度差阈值,上述执行主体可以确定桥面对应的桥的截面类型为表征桥底面为凹的截面类型(例如图3a所示)。其中,上述高度差阈值可以参考桥的截面类型对应的桥底面之间(例如图3a中的312和314)的高度关联关系而预先设定。
在本实施例的一些可选的实现方式中,响应于确定平面的数目为1,确定桥面对应的桥的截面类型为表征桥底面为平面的截面类型(例如图3b所示)。
步骤506,根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
上述步骤505、步骤506分别与前述实施例中的步骤203、步骤204一致,上文针对步骤203和步骤204的描述也适用于步骤505和步骤506,此处不再赘述。
在本实施例的一些可选的实现方式中,上述桥的截面类型可以与上述图3b中的桥的截面的形状一致。上述执行主体还可以按照如下步骤对第一点云数据和第二点云数据中指示高度的分量进行调整:
第一步,在上述第二点云数据中抽取特征点。之后,上述执行主体从第一点云数据中确定出与上述抽取的特征点对应的数据点。而后,确定所抽取的特征点与对应的数据点在竖直方向上的高度差。
第二步,根据上述所确定的高度差与预设第二阈值的比较,对上述第一点云数据和第二点云数据中指示高度的分量进行调整。其中,上述调整的方法可以根据实际应用情况而具体确定。例如,上述第二预设阈值通常可以参考桥的截面类型所指示的桥面(例如图3b中的平面321)与桥底面(例如图3b中的平面322)之间的距离。上述第二预设阈值例如可以设置为1.2米。当上述所确定的高度差大于或不大于上述第二预设阈值,上述第一点云数据和第二点云数据中指示高度的分量之差可以分别依据以下公式(3)、(4)进行调整:
其中,可以指第一点云数据中的数据点的指示高度的分量。可以指第二点云数据中的数据点的指示高度的分量。可以指所抽取的数据点的指示高度的分量。可以指第一点云数据中与所抽取的数据点对应的数据点的指示高度的分量。
从图5中可以看出,与图2对应的实施例相比,本实施例中的用于调整点云数据的方法的流程500体现了从第二点云数据中提取目标数据点的步骤,以及根据平面拟合和区域增长算法对目标点云数据中属于同一所拟合的平面的点云数据进行聚类的步骤。由此,本实施例描述的方案不仅可以从数据源处减少车辆、行人等对数据点云的干扰,而且还可以通过平面拟合和区域增长算法减少高楼、交通龙门架等高大建筑物对桥底面点云数据的分割造成的影响。从而实现了提升桥底面点云数据的分割的速度和准确性,节省了计算资源。
进一步参考图6,作为对上述各图所示方法的实现,本公开提供了用于调整点云数据的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例提供的用于调整点云数据的装置600包括获取单元601、平面拟合单元602、截面确定单元603和调整单元604。其中,获取单元601,被配置成获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;平面拟合单元602,被配置成对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;截面确定单元603,被配置成基于所拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;调整单元604,被配置成根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
在本实施例中,用于调整点云数据的装置600中:获取单元601、平面拟合单元602、截面确定单元603和调整单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述平面拟合单元602可以包括:提取模块(图中未示出)、聚类模块(图中未示出)、确定模块(图中未示出)。其中,上述提取模块,可以被配置成从第二点云数据中提取目标数据点,生成目标点云数据。其中,上述目标数据点可以包括指示的高度超过预设阈值的数据点。上述聚类模块,可以被配置成根据平面拟合和区域增长算法,对目标点云数据中属于同一所拟合的平面的点云数据进行聚类。上述确定模块,可以被配置成确定所拟合的平面的数目。
在本实施例的一些可选的实现方式中,上述截面确定单元603可以进一步被配置成:响应于确定平面的数目大于1且平面之间的高度差大于预设高度差阈值,确定桥面对应的桥的截面类型为表征桥底面为凹的截面类型。
在本实施例的一些可选的实现方式中,上述截面确定单元603进一步被配置成:响应于确定平面的数目为1,确定桥面对应的桥的截面类型为表征桥底面为平面的截面类型。
在本实施例的一些可选的实现方式中,上述提取模块可以包括:第一生成子模块(图中未示出)、第二生成子模块(图中未示出)。其中,上述第一生成子模块可以被配置成从第二点云数据中提取所指示的高度超过预设阈值的数据点,生成准目标点云数据。上述第二生成子模块可以被配置成对准目标点云数据进行抽稀,生成目标点云数据。
本公开的上述实施例提供的装置,通过获取单元601获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据。而后,平面拟合单元602对第二点云数据中的数据点进行平面拟合,确定所拟合的平面。之后,截面确定单元603基于所拟合的平面确定桥面对应的桥的截面类型。其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系。最后,调整单元604根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。从而实现了桥面点云数据和桥底面点云数据在高度方向的匹配。进而可以为立交桥附近的高精地图的制作提供准确可靠的数据基础。
下面参考图7,下面参考图7,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)700的结构示意图。图7示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如键盘、鼠标、摄像头、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD,Liquid Crystal Display)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的实施例的方法中限定的上述功能。
需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(Radio Frequency,射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据;对第二点云数据中的数据点进行平面拟合,确定所拟合的平面;基于所拟合的平面确定桥面对应的桥的截面类型,其中,桥的截面类型用于指示桥面与桥底面之间的高度关联关系;根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所拟合的平面,对第一点云数据和第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器,包括获取单元、平面拟合单元、截面确定单元和调整单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取针对桥面采集的第一点云数据和针对与桥面对应的桥底面采集的第二点云数据的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种用于调整点云数据的方法,包括:
获取针对桥面采集的第一点云数据和针对与所述桥面对应的桥底面采集的第二点云数据;
对所述第二点云数据中的数据点进行平面拟合,确定所拟合的平面;
基于所述所拟合的平面确定所述桥面对应的桥的截面类型,其中,所述桥的截面类型用于指示桥面与桥底面之间的高度关联关系;
根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所述所拟合的平面,对所述第一点云数据和所述第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
2.根据权利要求1所述的方法,其中,所述对所述第二点云数据中的数据点进行平面拟合,确定所拟合的平面,包括:
从所述第二点云数据中提取目标数据点,生成目标点云数据,其中,所述目标数据点所指示的高度超过预设阈值;
根据平面拟合和区域增长算法,对所述目标点云数据中属于同一所拟合的平面的点云数据进行聚类;
确定所述所拟合的平面的数目。
3.根据权利要求2所述的方法,其中,所述基于所述所拟合的平面确定所述桥面对应的桥的截面类型,包括:
响应于确定所述平面的数目大于1且平面之间的高度差大于预设高度差阈值,确定所述桥面对应的桥的截面类型为表征桥底面为凹的截面类型。
4.根据权利要求2所述的方法,其中,所述基于所述所拟合的平面确定所述桥面对应的桥的截面类型,包括:
响应于确定所述平面的数目为1,确定所述桥面对应的桥的截面类型为表征桥底面为平面的截面类型。
5.根据权利要求2-4之一所述的方法,其中,所述从所述第二点云数据中提取目标数据点,生成目标点云数据,包括:
从所述第二点云数据中提取所指示的高度超过所述预设阈值的数据点,生成准目标点云数据;
对所述准目标点云数据进行抽稀,生成所述目标点云数据。
6.一种用于调整点云数据的装置,包括:
获取单元,被配置成获取针对桥面采集的第一点云数据和针对与所述桥面对应的桥底面采集的第二点云数据;
平面拟合单元,被配置成对所述第二点云数据中的数据点进行平面拟合,确定所拟合的平面;
截面确定单元,被配置成基于所述所拟合的平面确定所述桥面对应的桥的截面类型,其中,所述桥的截面类型用于指示桥面与桥底面之间的高度关联关系;
调整单元,被配置成根据所确定的桥的截面类型所指示的桥面与桥底面之间的高度关联关系和所述所拟合的平面,对所述第一点云数据和所述第二点云数据中指示高度的分量进行调整,生成调整后的匹配点云数据。
7.根据权利要求6所述的装置,其中,所述平面拟合单元包括:
提取模块,被配置成从所述第二点云数据中提取目标数据点,生成目标点云数据,其中,所述目标数据点所指示的高度超过预设阈值;
聚类模块,被配置成根据平面拟合和区域增长算法,对所述目标点云数据中属于同一所拟合的平面的点云数据进行聚类;
确定模块,被配置成确定所述所拟合的平面的数目。
8.根据权利要求7所述的装置,其中,所述截面确定单元进一步被配置成:
响应于确定所述平面的数目大于1且平面之间的高度差大于预设高度差阈值,确定所述桥面对应的桥的截面类型为表征桥底面为凹的截面类型。
9.根据权利要求7所述的装置,其中,所述截面确定单元进一步被配置成:
响应于确定所述平面的数目为1,确定所述桥面对应的桥的截面类型为表征桥底面为平面的截面类型。
10.根据权利要求7-9之一所述的装置,其中,所述提取模块包括:
第一生成子模块,被配置成从所述第二点云数据中提取所指示的高度超过所述预设阈值的数据点,生成准目标点云数据;
第二生成子模块,被配置成对所述准目标点云数据进行抽稀,生成所述目标点云数据。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910470467.5A CN110163900B (zh) | 2019-05-31 | 2019-05-31 | 用于调整点云数据方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910470467.5A CN110163900B (zh) | 2019-05-31 | 2019-05-31 | 用于调整点云数据方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110163900A CN110163900A (zh) | 2019-08-23 |
CN110163900B true CN110163900B (zh) | 2021-04-20 |
Family
ID=67630945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910470467.5A Active CN110163900B (zh) | 2019-05-31 | 2019-05-31 | 用于调整点云数据方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163900B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179274B (zh) * | 2019-12-30 | 2023-07-14 | 深圳一清创新科技有限公司 | 地图地面分割方法、装置、计算机设备和存储介质 |
CN111882598A (zh) * | 2020-06-11 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于逐点生长的点云法矢一致性校准方法 |
CN114120795B (zh) * | 2020-09-01 | 2023-03-10 | 华为技术有限公司 | 一种地图绘制方法及装置 |
CN113432600B (zh) * | 2021-06-09 | 2022-08-16 | 北京科技大学 | 基于多信息源的机器人即时定位与地图构建方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110027522A (ko) * | 2009-09-10 | 2011-03-16 | 서울시립대학교 산학협력단 | 영상데이터와 라이다데이터의 기하학적 정합방법 및 그 장치 |
CN104952107A (zh) * | 2015-05-18 | 2015-09-30 | 湖南桥康智能科技有限公司 | 基于车载LiDAR点云数据的桥梁三维重建方法 |
CN106651752A (zh) * | 2016-09-27 | 2017-05-10 | 深圳市速腾聚创科技有限公司 | 三维点云数据配准方法及拼接方法 |
CN108228798A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术(北京)有限公司 | 确定点云数据之间的匹配关系的方法和装置 |
CN108364257A (zh) * | 2018-02-06 | 2018-08-03 | 深圳市菲森科技有限公司 | 三维扫描点云数据的拼接方法及系统 |
CN109345617A (zh) * | 2018-09-15 | 2019-02-15 | 武汉智觉空间信息技术有限公司 | 一种基于长条带多站点云的链式高精度拼接与平差方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105571571B (zh) * | 2016-01-26 | 2017-11-17 | 中国科学院水利部成都山地灾害与环境研究所 | 基于三维激光扫描的堆积剖面空间结构信息分析方法 |
CN107918753B (zh) * | 2016-10-10 | 2019-02-22 | 腾讯科技(深圳)有限公司 | 点云数据处理方法及装置 |
CN109685898B (zh) * | 2018-12-25 | 2023-07-04 | 广州文远知行科技有限公司 | 点云数据的分层方法、装置、计算机设备和存储介质 |
-
2019
- 2019-05-31 CN CN201910470467.5A patent/CN110163900B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110027522A (ko) * | 2009-09-10 | 2011-03-16 | 서울시립대학교 산학협력단 | 영상데이터와 라이다데이터의 기하학적 정합방법 및 그 장치 |
CN104952107A (zh) * | 2015-05-18 | 2015-09-30 | 湖南桥康智能科技有限公司 | 基于车载LiDAR点云数据的桥梁三维重建方法 |
CN106651752A (zh) * | 2016-09-27 | 2017-05-10 | 深圳市速腾聚创科技有限公司 | 三维点云数据配准方法及拼接方法 |
CN108228798A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术(北京)有限公司 | 确定点云数据之间的匹配关系的方法和装置 |
CN108364257A (zh) * | 2018-02-06 | 2018-08-03 | 深圳市菲森科技有限公司 | 三维扫描点云数据的拼接方法及系统 |
CN109345617A (zh) * | 2018-09-15 | 2019-02-15 | 武汉智觉空间信息技术有限公司 | 一种基于长条带多站点云的链式高精度拼接与平差方法 |
Non-Patent Citations (3)
Title |
---|
A multi-level 3D data registration approach for supporting reliable spatial change classification of single-pier bridges;Vamsi Sai Kalasapudi et al.;《Advanced Engineering Informatics》;20180702;全文 * |
基于点云模型的桥梁构件形态变化趋势识别与分析;熊文等;《桥梁建设》;20181228;第48卷(第6期);全文 * |
增广扩展卡尔曼滤波的全局拼接方法研究;陈金磊等;《测绘科学》;20150731;第40卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110163900A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3505869B1 (en) | Method, apparatus, and computer readable storage medium for updating electronic map | |
JP6952165B2 (ja) | 障害物検出方法および装置 | |
CN110163900B (zh) | 用于调整点云数据方法和装置 | |
CN111462275B (zh) | 一种基于激光点云的地图生产方法和装置 | |
CN109285220B (zh) | 一种三维场景地图的生成方法、装置、设备及存储介质 | |
CN109459734B (zh) | 一种激光雷达定位效果评估方法、装置、设备及存储介质 | |
CN112634181B (zh) | 用于检测地面点云点的方法和装置 | |
CN111461981B (zh) | 点云拼接算法的误差估计方法和装置 | |
CN109407073B (zh) | 反射值地图构建方法和装置 | |
CN108279670B (zh) | 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质 | |
CN114387319A (zh) | 点云配准方法、装置、设备以及存储介质 | |
CN110231832B (zh) | 用于无人机的避障方法和避障装置 | |
CN114092660A (zh) | 高精地图生成方法、装置及用于生成地图的车辆 | |
CN112258568B (zh) | 一种高精度地图要素的提取方法及装置 | |
CN113758492A (zh) | 地图检测方法和装置 | |
CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
CN112630798B (zh) | 用于估计地面的方法和装置 | |
CN112558035B (zh) | 用于估计地面的方法和装置 | |
US10591300B2 (en) | Fixing magnetometer based azimuth according to sun positioning | |
CN115468578B (zh) | 路径规划方法、装置、电子设备和计算机可读介质 | |
CN111383337B (zh) | 用于识别对象的方法和装置 | |
CN116229256A (zh) | 一种点云地图动态目标、地面和杆状物分割方法及装置 | |
CN113269827B (zh) | 一种实现自动化标定的方法和计算装置 | |
CN114136327A (zh) | 一种虚线段的查全率的自动化检查方法及系统 | |
CN110120075B (zh) | 用于处理信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |