[go: up one dir, main page]

CN109255302A - 目标物识别方法及终端、移动装置控制方法及终端 - Google Patents

目标物识别方法及终端、移动装置控制方法及终端 Download PDF

Info

Publication number
CN109255302A
CN109255302A CN201810929766.6A CN201810929766A CN109255302A CN 109255302 A CN109255302 A CN 109255302A CN 201810929766 A CN201810929766 A CN 201810929766A CN 109255302 A CN109255302 A CN 109255302A
Authority
CN
China
Prior art keywords
grid
point cloud
height above
sea level
above sea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810929766.6A
Other languages
English (en)
Inventor
郑立强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN201810929766.6A priority Critical patent/CN109255302A/zh
Publication of CN109255302A publication Critical patent/CN109255302A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标物识别方法,包括:获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。对点云图进行栅格化处理,进而实现对点云进行栅格化分区,通过栅格分区和点云的数据实现精准地确定结构特征,基于结构特征之间的关系,实现精准地确定移动装置移动前方的目标物,如地面,进而能够根据识别结果精准地区分出地面和障碍物,特别是作业过程中的斜坡,避免无人机将斜坡识别为障碍物。

Description

目标物识别方法及终端、移动装置控制方法及终端
技术领域
本发明涉及图像处理、地块分割、地图构建、控制及飞行器技术领域,具体而言,本发明涉及一种目标物识别方法及终端、移动装置控制方法及终端。
背景技术
无人驾驶飞机简称无人机,能够完成航拍或侦查等事务。在农业植保方面,无人机相对于其他农用机有着巨大的优势,近年来得到了广泛的应用。但在实际应用中,无人机存在一些迫切需要解决的问题。但是,田地地面并非平整的,有斜坡或者小土包的存在。现有的无人机安装有对地测距装置,可以对离地的高度进行测量,却不能对前方的地面状况进行预测和分析,而为了实现无人机能够对有障碍物的地面进行有效地作业,现有的植保无人机上安装有避障模块,该模块主要通测量距离的测距传感器获取无人机与障碍物之间的距离,能够有效地避开无人机飞行过程中的障碍物,测距传感器,例如,激光雷达、视觉传感器、超声波雷达以及毫米波雷达等。对于斜坡,并不需要当成障碍物处理,而现有避障算法,不能够精准地区别斜坡与真实障碍物能力,例如容易将斜坡识别为障碍物,使得无人机在遇到斜坡时无法识别斜坡而将斜坡当做障碍物处理,总的来说,现有的无人机、拖拉机、地面机器人等移动装置缺少识别前方的斜坡、湖面、山丘等的能力,容易诱发飞行故障,或者作业效率不高。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一,特别是现有避障算法,不能够识别斜坡的问题。
本发明实施例提供了一种目标物识别方法,包括:
获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;
根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;
根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。
进一步地,在所述根据所述结构特征确定移动装置移动方向的前方的目标物的步骤中,包括:
对所述结构特征进行分类,确定移动装置移动方向前方的目标物。
优选地,所述结构特征包括栅格海拔、栅格梯度、栅格海拔差中的任意多项。
进一步地,在所述根据所述栅格区域的点云数据确定所述栅格区域的结构特征的步骤中,具体包括:
依据同一栅格内点云高度的均值确定所述栅格海拔;
和/或,依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;
和/或,依据同一栅格内点云之间的差值确定所述栅格海拔差。
进一步地,在所述依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度的步骤中,包括:
依据所述当前栅格的所述栅格海拔和每一个所述相邻栅格的所述栅格海拔确定栅格差值绝对值;
对比所述当前栅格和每一个所述相邻栅格之间的所述栅格差值绝对值确定最大的所述栅格差值绝对值;
将最大的所述栅格差值绝对值确定为所述栅格梯度。
进一步地,在所述依据同一栅格内点云之间的差值确定所述栅格海拔差的步骤中,具体包括:
获取同一栅格内中点云海拔的最大值和最小值;
依据所述最大值和所述最小值的差值作为所述栅格海拔差。
进一步地,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,具体包括:
将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格。
进一步地,在所述将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格的步骤中,具体包括:
当所述栅格海拔差大于预设栅格海拔差阈值时,所述栅格确定为所述非目标物栅格;
当所述栅格海拔差小于预设栅格海拔差阈值时,所述栅格确定为目标物栅格,所述目标物栅格为对应的目标物。
进一步地,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,还包括:
将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格。
进一步地,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤中,具体包括:
当所述当前栅格的所述栅格梯度以及所述相邻栅格的所述栅格梯度均小于预设栅格梯度阈值时,将所述栅格和与所述栅格相邻的所有栅格确定为连通栅格,且确定所述连通栅格为目标物栅格;
将所述目标物栅格所在区域确定为所述栅格连通片区,将不能确定为所述连通栅格的所述栅格确定为待定栅格。
进一步地,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤之后,包括:
依据栅格分辨率确定所述栅格连通片区的面积;
将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;
当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格。
进一步地,在所述将所述栅格连通片区的栅格确定为基准目标物栅格的步骤之后,包括:
依据确定为所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,所述海拔均值为目标物海拔;
依据所述待定栅格的所述栅格海拔和所述目标物海拔获得待定栅格海拔差;
将所述待定栅格海拔差与预设目标物海拔差阈值进行对比;
当所述待定栅格海拔差小于预设目标物海拔差阈值时,所述待定栅格确定为目标物栅格;
当所述待定栅格海拔差大于或者等于预设目标物海拔差阈值时,所述待定栅格确定为非目标物栅格。
进一步地,在所述待定栅格确定为非目标物栅格的步骤之后,包括:
对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格;
依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;
将所述点云海拔差与所述预设目标物海拔差阈值进行对比;
当所述点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云。
进一步地,在所述将所述栅格连通片区确定为基准目标物栅格的步骤之后,还包括:
将所述基准目标物栅格中的点云确定为目标物点云。
进一步地,在所述获取移动装置移动方向前方的点云图的步骤中,包括:
获取摄像装置拍摄的实时图像;
对所述实时图像进行处理,获得所述实时图像的深度图像;
基于所述深度图像确定所述点云图。
进一步地,在所述基于所述深度图像确定所述点云图的步骤中,还包括:
依据坐标系转换规则和所述深度图像确定所述点云图。
进一步地,在所述对所述点云图做栅格处理的步骤之后,包括:
获取所述点云图中点云坐标;
依据所述点云坐标、预设栅格分辨率确定所述点云在栅格中的坐标。
本发明实施例还提供了一种目标物识别装置,包括:
栅格化模块,用于获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;
结构特征获取模块,用于根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;
目标物确定模块,用于根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。
进一步地,在所述目标物确定模块中,包括:
分类单元,用于对所述结构特征进行分类,确定所述待识别物中的目标物。
优选地,所述结构特征包括栅格海拔、栅格梯度、栅格海拔差中的任意多项。
进一步地,在所述目标物确定模块中,具体包括:
栅格海拔确定单元,用于依据同一栅格内点云高度的均值确定所述栅格海拔;
第一栅格梯度确定单元,用于和/或,依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;
第一栅格海拔差确定单元,用于和/或,依据同一栅格内点云之间的差值确定所述栅格海拔差。
进一步地,在所述栅格梯度确定单元中,包括:
栅格差值绝对值确定单元,用于依据所述当前栅格的所述栅格海拔和每一个所述相邻栅格的所述栅格海拔确定栅格差值绝对值;
最大栅格差值绝对值确定单元,用于对比所述当前栅格和每一个所述相邻栅格之间的所述栅格差值绝对值确定最大的所述栅格差值绝对值;
第二栅格梯度确定单元,用于将最大的所述栅格差值绝对值确定为所述栅格梯度。
进一步地,在所述栅格海拔差确定单元中,具体包括:
点云海拔最值获取单元,用于获取同一栅格内中点云海拔的最大值和最小值;
第二栅格海拔差确定单元,用于依据所述最大值和所述最小值的差值作为所述栅格海拔差。
进一步地,在所述目标物确定模块中,具体包括:
确定非目标物栅格和目标物栅格确定单元,用于将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格。
进一步地,还包括:
第一非目标物栅格确定单元,用于当所述栅格海拔差大于预设栅格海拔差阈值时,所述栅格确定为所述非目标物栅格;
第一目标物栅格确定单元,用于当所述栅格海拔差小于预设栅格海拔差阈值时,所述栅格确定为目标物栅格,所述目标物栅格为对应的目标物。
进一步地,在所述目标物确定模块中,还包括:
栅格连通片区和待定栅格确定单元,用于将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格。
进一步地,在所述栅格连通片区和待定栅格确定单元中,具体包括:
连通栅格确定单元,用于当所述当前栅格的所述栅格梯度以及所述相邻栅格的所述栅格梯度均小于预设栅格梯度阈值时,将所述栅格和与所述栅格相邻的所有栅格确定为连通栅格,且确定所述连通栅格为目标物栅格;
待定栅格确定单元,用于将所述目标物栅格所在区域确定为所述栅格连通片区,将不能确定为所述连通栅格的所述栅格确定为待定栅格。
进一步地,还包括:
栅格连通片区面积确定单元,用于依据栅格分辨率确定所述栅格连通片区的面积;
面积对比单元,用于将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;
基准目标物栅格确定单元,用于当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格。
进一步地,还包括:
目标物海拔确定单元,用于依据确定为所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,所述海拔均值为目标物海拔;
待定栅格海拔差确定单元,用于依据所述待定栅格的所述栅格海拔和所述目标物海拔获得待定栅格海拔差;
海拔差对比单元,用于将所述待定栅格海拔差与预设目标物海拔差阈值进行对比;
第二目标物栅格确定单元,用于当所述待定栅格海拔差小于预设目标物海拔差阈值时,所述待定栅格确定为目标物栅格;
第二非目标物栅格确定单元,用于当所述待定栅格海拔差大于或者等于预设目标物海拔差阈值时,所述待定栅格确定为非目标物栅格。
进一步地,还包括:
距离获取单元,用于对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格;
点云海拔差确定单元,用于依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;
点云海拔差对比单元,用于将所述点云海拔差与所述预设目标物海拔差阈值进行对比;
第一目标物点云确定单元,用于当所述点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云。
进一步地,还包括:
第二目标物点云确定单元,用于将所述基准目标物栅格中的点云确定为目标物点云。
进一步地,在所述获取移动装置移动方向前方的点云图的步骤中,包括:
实时图像获取单元,用于获取摄像装置拍摄的实时图像;
深度图像获取单元,用于对所述实时图像进行处理,获得所述实时图像的深度图像;
第一点云图确定单元,用于基于所述深度图像确定所述点云图。
进一步地,还包括:
第二点云图确定单元,用于依据坐标系转换规则和所述深度图像确定所述点云图。
进一步地,还包括:
点云坐标获取单元,用于获取所述点云图中点云坐标;
点云栅格坐标确定单元,用于依据所述点云坐标、预设栅格分辨率确定所述点云在栅格中的坐标。
本发明实施例还提供了一种地图更新方法,包括:
依据任一技术方案所述的目标物识别方法确定当前点云图中的所述目标物;
获取历史点云图,将所述历史点云图和所述当前点云图进行对比确定在所述历史点云图和所述当前点云图中相同的所述目标物;
依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图。
进一步地,在所述依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图的步骤中,包括:
获取所述历史点云图的栅格海拔和所述当前点云图的栅格海拔;
将所述历史点云图和所述当前点云图中相同的所述目标物的所述栅格海拔叠加确定新的地形图;
基于所述地形图更新地图。
本发明实施例还提供了一种地图更新装置,包括:
点云图目标物确定模块,用于依据任一技术方案所述的目标物识别方法确定当前点云图中的所述目标物;
历史点云图获取模块,用于获取历史点云图,将所述历史点云图和当前点云图进行对比确定在所述历史点云图和所述当前点云图中相同的所述目标物;
地图更新模块,用于依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图。
进一步地,在所述地图更新模块中,包括:
栅格海拔获取单元,用于获取所述历史点云图的栅格海拔和所述当前点云图的栅格海拔;
栅格海拔叠加单元,用于将所述历史点云图和所述当前点云图中相同的所述目标物的所述栅格海拔叠加确定新的地形图;
地图更新单元,用于基于所述地形图更新地图。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现任一技术方案所述的目标物识别方法的步骤。
本发明实施例还提供了一种目标物识别终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现任一技术方案所述的目标物识别方法的步骤。
本发明实施例还提供了一种移动装置控制方法,包括:
依据任一技术方案所述地图,确定移动装置航线中目标物位置信息;
依据所述目标物位置信息,控制所述移动装置对目标物作业。
本发明实施例还提供了一种移动装置控制装置,包括:
目标物位置信息确定模块,用于依据任一技术方案所述地图,确定移动装置航线中目标物位置信息;
作业模块,用于依据所述目标物位置信息,控制所述移动装置对目标物作业。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现所述的移动装置控制方法的步骤。
本发明实施例还提供了一种移动装置控制终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现所述的移动装置控制方法的步骤。
本发明实施例还提供了一种移动装置,包括:所述计算机可读存储介质或所述的移动装置控制终端。
与现有技术相比,本发明具有以下有益效果:
1、通过本发明提供的实施例实现了获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。通过测距装置获得移动装置与移动方向前方待识别物的之间距离以便于确定点云图,其中待识别物是移动方向前方的所有物体,包括:地面、障碍物、农作物等中的一种或者多种,具体如通过摄像装置拍摄的实时图像,对实时图像进一步进行处理获得深度图像,其中深度图像上每一个像素点与空间中的点相对应,且该像素点具有空间坐标,因此在摄像装置内部参数和外部参数固定时,通过图像坐标系与世界坐标系之间的转换关系确定深度图像上像素点在世界坐标中的坐标值,将深度图像上的所有像素点转换到实际世界空间中,得到在空间坐标中的多个点,且多个点共同称为点云,其构成的图像称为点云图,由于不同点其坐标值不同。在此基础上,对所述点云图栅格化;基于栅格化后的所述点云图获得所述结构特征,通过对点云图的栅格化,进而能够在大量的点云中更为精准地获得结构特征,以便于基于该结构特征能够更为精准地确定划分点云,尽可能地使得同一物体或者同一类型物体的的结构特征相同,实现精准地识别目标物(如地面),并将实时图像中的其他物体能够划分出来(如障碍物),以便于无人机能够根据识别结果进行高效地作业,避免无人机将作业地带内的斜坡、山丘、沟槽等作为障碍物不对其进行作业,使得无人机在遇到斜坡时能够识别斜坡,而非将斜坡当做障碍物处理。
2、通过本发明提供的实施例实现了依据同一栅格内点云高度的均值确定所述栅格海拔;依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;依据同一栅格内点云之间的差值确定所述栅格海拔差。依据不同物体之间结构特征不一致的特性,能够依据结构特征的栅格海拔、栅格梯度、栅格海拔差实现对点云中不同物体的精准区分。
3、通过本发明提供的实施例实现了依据任一技术方案所述的目标物识别方法确定当前点云图中的所述目标物;获取历史点云图,将所述历史点云图和当前点云图进行对比确定在所述历史点云图和点云图中相同的所述目标物;依据所述历史点云图和当前点云图中相同的所述目标物更新地图。将当前实时图像中区分出的目标物和其他物体与历史图像中区分出的目标物和其他物体进行对比,确定两者之间共同的部分,基于共同部分的物体更新地图,使得地图更为准确,方便后续作业的无人机能够根据该地图进行作业,提高无人机的作业效率。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一种目标物识别方法的典型实施例中一种实施方式的流程图;
图2为本发明一种目标物识别方法的典型实施例中又一种实施方式的流程图;
图3为本发明一种目标物识别方法的典型实施例中又一种实施方式的流程图;
图4为本发明一种目标物识别方法的典型实施例中又一种实施方式的流程图;
图5为本发明一种目标物识别方法的典型实施例中又一种实施方式的流程图;
图6为本发明一种目标物识别装置的典型实施例中一种实施方式的结构示意图;
图7为本发明一种目标物识别装置的典型实施例又一种实施方式的结构示意图;
图8为本发明一种目标物识别装置的典型实施例又一种实施方式的结构示意图;
图9为本发明一种目标物识别装置的典型实施例又一种实施方式的结构示意图;
图10为本发明一种目标物识别装置的典型实施例又一种实施方式的结构示意图;
图11为本发明一种地图更新方法的典型实施例中一种实施方式的结构示意图;
图12为本发明一种地图更新装置的典型实施例中一种实施方式的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
随着科技和农业的发展,无人机在农业植保方面有着巨大的优势,近年来得到了广泛的应用。但在实际应用中,无人机存在一些迫切需要解决的问题。目前植保无人机广泛应用于新疆等地块比较大的城市,然而,为了使得无人机在农业植保上更好的发展,必不可免地需要将无人机应用于丘陵地带上。常规的无人机上安装有避障模块,该模块主要测量距离的测距传感器获取无人机与障碍物之间的距离,能够有效地避开无人机飞行过程中的障碍物,测距传感器,例如,激光雷达、视觉传感器、超声波雷达以及毫米波雷达等。但是,田地地面并非平整的,但是,田地地面并非平整的,有斜坡或者小土包的存在。现有的无人机安装有对地测距装置,可以对离地的高度进行测量,却不能对前方的地面状况进行预测和分析,有斜坡或者小土包的存在。对于斜坡,并不需要当成障碍物处理,可以使用植保无人机具备的仿地功能进行翻越。而现有避障算法,不能够精准地区别斜坡或者真实障碍物能力,使得无人机不能够对斜坡上的地块进行作业,导致田地的部分区域不能够被无人机有效地作业,现有的无人机、拖拉机、地面机器人等移动装置缺少识别前方的斜坡、湖面、山丘等的能力,容易诱发飞行故障,或者作业效率不高。
需要说明的是,本发明实施例中的目标物识别方法主要用于有斜坡的地块,当然也可以用于湖面、山丘等地理环境,避免将斜坡、湖面、山丘等识别为障碍物导致无人机不能对斜坡地块进行作业的问题,进而实现高精度地面识别,以便于在此基础上实现对地面农作物的高效作业。
进一步地,本发明实施例中的目标物识别方法还可以应用于建筑作业、物流行业包裹的运输分拣或者对仓库中物品的查询、监控等技术领域。
本发明实施例提供了一种目标物识别方法,在其中一种实施方式中,如图1所示,包括:S100、S200、S300。
S100:获取移动装置移动方向前方的点云图,对所述点云图做栅格处理。需要说明的是本发明实施例中的移动装置上可安装有至少一个能够确定点云的测距装置,测距装置可以安装于与移动装置移动方向相同的一端,或者安装于移动装置移动方向的两侧,在移动装置是无人机时,测距装置安装于无人机面向地面的一侧;在移动装置是车辆时,测距装置可以安装于车辆的前端或者后端,或者旋转式的安装于车辆顶端,其中,测距装置还包括摄像装置,且摄像装置可以拍摄车辆周围包括车辆顶端的图像,所述的测距装置例如摄像机、激光雷达传感器、测距传感器等。
所述的对点云图进行栅格处理,例如对点云图进行均匀的划分,横向和纵向等距离的将栅格划分成多个矩形区域,又可以根据点云距离测距装置的远近而不等距的划分栅格,所述栅格可以为矩形,也可以为扇形、六边形、三角形等形状。优选地,所述栅格相等大小,且均匀划分。
具体地,在所述获取移动装置移动方向前方的点云图的步骤中,包括:
获取摄像装置拍摄的实时图像;
对所述实时图像进行处理,获得所述实时图像的深度图;
基于所述深度图像确定所述点云图。
具体的,所述用于确定点云的测距装置可以为摄像装置,在移动过程中可以实时的获取移动方向前方的图像信息,本领域内技术人员可以理解,通过双目视觉,或者通过图像在同一方位的叠加图可以形成点云图。
本发明另外一个实施例采用激光雷达获取点云图数据。
进一步地,在所述依据所述深度图像确定所述点云图的步骤中,还包括:
依据坐标系转换规则和所述深度图确定所述点云图。
本发明的实施例主要对摄像装置拍摄的图像进行处理,并通过转换关系(基于摄像装置的图像坐标系、摄像装置坐标系以及世界坐标系之间的转换关系),确定图像中对应在空间中目标物的位置。需要说明的是,虽然未直接示出摄像装置的图像坐标系、摄像装置坐标系以及世界坐标系之间的转换关系,本领域人员应该是可以理解和实施的。如前文所述,获取摄像装置的拍摄的实时图像,即该实时图像为移动装置在移动过程中拍摄的图像,该实时图像可以为深度图像也可以为RGB图像。在该图像为RGB图像时,对该实时图像进行初步处理,将其转换为深度图像,深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,深度图像类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图像是配准的,因而像素点之间具有一对一的对应关系。由于深度图像上每一像素点的像素值为摄像装置与实际点之间的距离(即深度信息),因此,深度图像的基础上,通过前述的坐标系之间的转换关系,可以确定每一个像素点对应空间点的坐标值,即每一个像素点在世界坐标系中的坐标值,由于摄像装置内部参数和外部参数固定,进而每一个像素点转换后的世界坐标系为同一坐标系,基于每个像素点的深度信息和前述的坐标系之间的转换关系,可以确定每个像素点在世界坐标系上的位置,将同一帧图像上的所有像素点均转换到世界坐标系中,得到点在世界坐标系中的集合,其为点云,在图像上表示为点云图,点云中的每一个点均具有在世界坐标系中的坐标值。需要说明的是,在其他的实时方式中,由于是通过测距装置(如激光雷达扫描传感器)获取的移动装置与待识别物之间的距离,则对获取的距离进行处理,以获得点云图。如采用包含了高斯核函数曲线的曲率表达式建立相关数学模型,选用了合适的离散尺度因子。根据离散曲率曲线的局部极值点,确定出截面线特征点集,并进行特征点的融合,进而准确地获取激光扫描点云图;或者基于离散点梯度法和极值法获得点云图。
S200:根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域。
具体地,可以根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域。如根据相邻栅格的点云海拔平均值划分区域,例如在水平方向的第一栅格、第二栅格、第三栅格、第四栅格的点云海拔平均值分别为3、4、5、12,则第一栅格、第二栅格、第三栅格满足线性关系,其可以被分类成一个栅格区域,而第四栅格不满足线性关系,则不被分类到与第一栅格、第二栅格、第三栅格同一个栅格区域中。又如在临近栅格的海拔与当前栅格的海拔值小于等于1时,则确认临近栅格与当前栅格属于同一连通区域,如在某平面上的某一栅格的海拔值为5,其八邻域临近栅格分别为4、4、6、5、5、4、6、10,则海拔值为4、4、6、5、5、4、6与当前栅格属于同一栅格区域,则海拔值为10的相邻与当前栅格不属于同一栅格区域,又如还可以采用四邻域栅格确定栅格区域,具体分类方法本发明不做限定。
进一步地,在所述对所述点云图做栅格处理的步骤之后,包括:
获取所述点云图中点云坐标;
依据所述点云坐标、预设栅格分辨率确定所述点云在栅格中的坐标。
在前述点云图的基础上,为了能够更为快速精准地获取结构特征,通过对所述点云图进行栅格化,使得点云能够分布在不同的栅格中,且点云图被栅格分类成一个或者多个栅格区域。因为点云数目众多,进而不便于后文中点云的分类,特别是单个的点云类别是所以先对点云进行栅格化,以栅格为单位进行分类,栅格区域依据栅格分辨率确定,分辨率越大,栅格区域越多,即栅格的数量越多;分辨率越低,栅格区域越少,即栅格的数量越少。结合前文的描述可知,点云图即为世界坐标系下各点的分布图,点云中的各个点为空间中的点具有坐标值,通过前述的方法就可以获取到点云在世界坐标系下的坐标值,点云坐标即为点云中的各个点在世界坐标系下的坐标值,因此在获取到点云坐标后,基于点云坐标和后文的预设栅格分辨率确定所述点云在栅格中的坐标。
使用二维数组对栅格进行存储,设定栅格分辨率为resolution_,则点云的栅格坐标可以用以下式子进行计算:
index_x=floor(x/resolution_);
index_y=floor(y/resolution_);
其中,(index_x,index_y)代表的是栅格的二维编号,(x,y)代表点云的水平坐标,floor()函数代表取整运算。
S300:根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。优选地,所述结构特征包括:栅格海拔、栅格梯度、栅格海拔差中的任意多项。
对点云进行栅格化之后,每个栅格单元里面存放的是落在该栅格区域内的点云。所述结构特征的对象为栅格单元,因此所述结构特征包括:栅格海拔、栅格梯度、栅格海拔差中的任意多项,在具体的实施例中,结构特征分别表示为:栅格海拔mean_、栅格梯度gradient_以及栅格海拔差error_。
进一步地,在其中一种实施方式中,如图2所示,在所述根据所述栅格区域的点云数据确定所述栅格区域的结构特征的步骤中,具体包括:
S310:依据同一栅格内点云高度的均值确定所述栅格海拔;
S320:和/或,依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;
S330:和/或,依据同一栅格内点云之间的差值确定所述栅格海拔差。
进一步地,在所述依据当前栅格和与所述当前栅格相邻栅格的所述栅格海拔确定所述栅格梯度的步骤中,包括:
依据所述当前栅格的所述栅格海拔和每一个所述相邻栅格的所述栅格海拔确定栅格差值绝对值;
对比所述当前栅格和每一个所述相邻栅格之间的所述栅格差值绝对值确定最大的所述栅格差值绝对值;
将最大的所述栅格差值绝对值确定为所述栅格梯度。
进一步地,在所述依据同一栅格内点云之间的差值确定所述栅格海拔差的步骤中,具体包括:
获取同一栅格内中点云海拔的最大值和最小值;
依据所述最大值和所述最小值的差值确定所述栅格海拔差。
结合前文的描述,由于栅格以二维数组的形式进行的存储,因此,栅格在点云所在的坐标系中,以平面二维的形式表现。具体如,以摄像装置拍摄的方向对点云划分栅格。进而在该平面内,每一个栅格中点云都具有摄像装置拍摄方向的坐标值,即栅格即有其自身的位置坐标,也具有一定的高度。需要说明的是,在本发明的实施例中,该高度称为点云的海拔。进而栅格的结构特征均以点云在该方向上的高度作为计算的基准。具体的,栅格海拔mean_:通过计算栅格单元内部点云的海拔均值,以此均值作为栅格海拔mean_的值。栅格梯度gradient_:在上一步mean_值计算出来之后,将每一个栅格的mean_值与其邻接的所有栅格mean_值做差,得到的最大差值绝对值作为栅格梯度gradient_。栅格海拔差error_:通过计算栅格内部点云中海拔最大值与最小值的差,作为栅格海拔差error_。
进一步地,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,具体包括:
对所述结构特征进行分类,确定移动装置移动方向前方的目标物。
所述目标物例如斜坡、丘陵、小山包、湖面、雪山、沙漠等,在作物比较浓密时,所述目标物栅格还可以包括农作物如小麦。
在前述的基础上,对结构特征中的栅格海拔mean_、栅格梯度gradient_以及栅格海拔差error_进行分类,并将栅格的结构特征与预设的阈值进行对比,确定属于目标物的栅格,进而能够确定栅格内的点云为目标物,结合前文的说明和后续的算法过程,确定点云图中的目标物。需要说明的是,结合后续的算法过程可知,在本发明的实施例中,不仅仅是确定目标物,也可以通过设定具体的阈值确定非目标物,或者确定一种或者多种目标物,通过后续的分类算法,将多种目标物进行分类,进而确定实时图像中的各个物体。
进一步地,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,具体包括:
将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格。
进一步地,在其中一种实施方式中,如图3所示,在所述将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格的步骤,具体包括:S331、S332。
S331:当所述栅格海拔差大于预设栅格海拔差阈值时,所述栅格确定为所述非目标物栅格;
S332:当所述栅格海拔差小于预设栅格海拔差阈值时,所述栅格确定为目标物栅格,所述目标物栅格为对应的目标物。
进一步地,在所述根据结构特征确定移动装置移动方向的前方待识别物中的目标物的步骤中,还包括:
将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格。
进一步地,在其中一种实施方式中,如图4所示,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤中,具体包括:S321、S322。
S321:当所述当前栅格的所述栅格梯度以及所述相邻栅格的所述栅格梯度均小于预设栅格梯度阈值时,将所述栅格和与所述栅格相邻的所有栅格确定为连通栅格;
S322:将所述连通栅格所在区域确定为所述栅格连通片区,将不能确定为所述连通栅格的所述栅格确定为待定栅格。
在本发明的实施例中,在实现本发明的具体算法中,所述预设栅格海拔差阈值为ERR_THRESHOLD,所述预设栅格梯度阈值为GRA_THRESHOLD。结合前文描述的内容,在将所述栅格海拔差与预设栅格海拔差阈值进行对比,主要为确定非目标物栅格的过程,且在确定栅格连通片区和待定栅格的过程中包括确定栅格连通片区和待定栅格两个过程。在本发明的实施过程中,由于障碍物的面积相对目标物的面积较小,因此,先确定障碍物的障碍栅格部分,进而减少目标物确定过程的计算量,特别在地面和障碍物分割过程中,可以提高计算效率。具体的,首先,将海拔差error_值大于阈值ERR_THRESHOLD的栅格归类为障碍栅格;然后,将梯度gradient_小于阈值GRA_THRESHOLD的栅格归类为连通栅格,在区分地面和障碍物时,由于当目标物为地面时,一般地面较为平整,该连通栅格则可确定为地面栅格,地面栅格所在区域确定为不同的地面栅格连通片区,即前述的栅格连通片区。具体的,在其中一种实施方式中,在农作物较为茂密时,此时障碍物包括地面,茂密的农作物为目标物时,此时连通栅格可以为茂密农作物生成的栅格,此时茂密农作物栅格所在的栅格连通片区则为目标农作物栅格连通片区,地面则为前述的障碍物栅格,则在喷洒作业时,便于移动装置对目标物的农作物进行喷洒作业,对非目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率;在又一种实施方式中,在农作物较为稀疏时,由于农作物之间能够连通的栅格较少,导致不能够形成栅格连通片区时,目标物则为地面,非目标物则为农作物,连通栅格则为地面栅格,且基于其确定的栅格连通片区为地面栅格连通片区,前述的非目标物栅格则可以确定基于农作物确定的栅格,进而便于移动装置对非目标物的农作物进行喷洒作业,对目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率。将梯度gradient_大于或者等于阈值GRA_THRESHOLD的栅格归类为不连通栅格,即最后将余下的不连通的栅格归类为未知栅格。
进一步地,在其中一种实施方式中,如图5所示,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤之后,还包括:S323、S324、S325。
S323:依据栅格分辨率确定所述栅格连通片区的面积;
S324:将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;
S325:当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格。
进一步地,在所述将所述栅格连通片区的栅格确定为基准目标物栅格的步骤之后,还包括:
将所述基准目标物栅格中的点云确定为目标物点云。
在该步骤中,由于栅格的分辨率不同,导致相同的物体在不同的分辨率下具有不同的面积,使得栅格连通片区的面积也就不同,因此,在栅格分辨率确定后,每一个栅格的大小便确定了,即确定了单个栅格的面积,而在同一分辨率下,每一个栅格的面积都是相等的,因此,基于单个栅格的面积和栅格连通片区内栅格的数量得到栅格连通片区的面积。具体为,将单个栅格的面积乘以栅格连通片区内栅格的数量得到栅格连通片区的面积。结合前文说明,通过当前栅格和与其相邻的多个相邻栅格的梯度便能够栅格连通片区,且该连通片区为目标物的栅格连通片区(如地面栅格连通片区),为了确定余下栅格连通片区的属性,以及障碍物和目标物本身面积的不同,将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格,如基准地面栅格。预设目标物连通片区面积阈值可以通过研发人员根据作业经验设置,非目标物/障碍物栅格可以为无人爬坡飞行过程中遇到的树木或者电线杆等,或者为无人机喷洒作业过程中的底面,该目标物连通片区如山地中的地面斜坡对应的栅格连通片区,以便于无人机能够结合检测坡度的模块进行仿地斜坡飞行,或者目标物连通片区为无人机飞行过程中的农作物对应的栅格连通片区,以便于无人机对农作物进行喷洒作业而不对地面进行喷洒作业。由于目标物的栅格连通片区的面积相对非目标物/障碍物对应的面积较大,且目标物中的主要部分面积也较大,如包括斜坡的地面,其中连续的平地面积大于斜坡地面面积。因此,当栅格连通片区的面积大于预设目标物连通片区面积阈值时,将该栅格连通片区的栅格确定为基准目标物栅格,如前述的平地地面作为基准地面。结合前述的点云栅格化可知,基准目标物栅格中的点云对应的是目标物上的点形成的点云,因此基准目标物栅格中的点云则可以确定为目标物点云。
进一步地,在所述将所述栅格连通片区的栅格确定为基准目标物栅格的步骤之后,包括:
依据确定为所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,所述海拔均值为目标物海拔;
依据所述待定栅格的所述栅格海拔和所述目标物海拔获得待定栅格海拔差;
将所述待定栅格海拔差与预设目标物海拔差阈值进行对比;
当所述待定栅格海拔差小于预设目标物海拔差阈值时,所述待定栅格确定为目标物栅格;
当所述待定栅格海拔差大于或者等于预设目标物海拔差阈值时,所述待定栅格确定为非目标物栅格。
为了能够确定待定栅格具体的类型,结合前文所述的计算方法获得所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,且该海拔均值确定为目标物海拔,如在目标物是地面时,在该海拔均值为地面海拔,在目标物是农作物时,该海拔均值为农作物海拔。将待定栅格的栅格海拔依次与目标物海拔做差获得待定栅格与目标物海拔之间的海拔差,该海拔差如前文的待定栅格海拔差,将待定栅格海拔差与预设目标物海拔差阈值进行对比,其中,在具体的实施方式中,当目标物为地面时,所述预设目标物海拔差阈值为GROUND_THRESHOLD,当所述待定栅格海拔差小于GROUND_THRESHOLD时,所述待定栅格确定为目标物栅格(即地面栅格);当所述待定栅格海拔差大于或者等于GROUND_THRESHOLD时,所述待定栅格确定为非目标物栅格(如前述的障碍物栅格)。具体的,该方法可以用于无人机分割斜坡和障碍物,使得无人机可以依据分割出来的地面栅格和障碍物栅格进行仿地飞行,进而避免无人机将斜坡当做障碍物,使得无人机不会对障碍物飞行或者作业。需要说明的是,在目标物是农作物时,GROUND_THRESHOLD值可以替换为由研发人员设置的农作物的值。在其中一种实施方式中,对应的非目标物/障碍物可以为地面或者与目标农作物高度不一致的其他农作物,进而在无人机基于该方法进行喷洒作业时,可以对斜坡上的农作物进行统一作业,避免无人机对没有作物地面进行喷洒作业,或者避免无人机对不是目标农作物的农作物进行作业,节约被喷洒的水量、药量或者颗粒物等。前述过程主要包括农作物较为茂密的情况,此时非目标物/障碍物包括地面,茂密的农作物为目标物时,此时连通栅格可以为茂密农作物生成的目标物栅格,对应的栅格连通片区则为目标农作物的栅格连通片区,地面则为前述的非目标物/障碍物栅格,则在喷洒作业时,便于移动装置对目标物栅格对应的农作物进行喷洒作业,对非目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率;在又一种实施方式中,在农作物较为稀疏时,由于农作物之间能够连通的栅格较少,导致不能够形成栅格连通片区时,目标物则为地面,非目标物则为农作物,连通栅格则为地面栅格,且基于其确定的栅格连通片区为地面栅格连通片区,前述的非目标物栅格则可以确定基于农作物确定的栅格,进而便于移动装置对非目标物的农作物进行喷洒作业,对目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率。
在本发明另外一个实施例中,同样为连通片区的目标栅格,可以根据其海拔平均值确定为地面和浓密的农作物,例如小麦的海拔平均值为1米,地面的海拔为0。
进一步地,在所述待定栅格确定为非目标物栅格的步骤之后,包括:
对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格;
依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;
将所述点云海拔差与所述预设目标物海拔差阈值进行对比;
当所述点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云。
由于在前述的计算过程中,都是以栅格进行计算的,并没有完全落实到点云上,而点云中的点代表的是空间中物体上一点的,具有基于移动装置所在世界坐标系中的实际坐标,因此,需要明确点云的具体类别,以便于确定空间中点对应的物体是目标物或者非目标物。然后,通过前文算法确定了栅格为目标物栅格时,则该栅格类的点云则确定为目标物的点云。然后为了更精确地确定障碍物是否是目标物,通过前述的连通片区的栅格可知,与目标物栅格最近的非目标物栅格最优可能为目标物栅格,因此,对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格,对比非目标物栅格内和目标物栅格内点云的海拔差,该海拔为点云垂直于栅格二维平面的距离。在对比之前,还需要依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;即依次将障碍物栅格内的点云海拔与目标物栅格海拔做差获得点云海拔差,然后将该点云海拔差与将所述点云海拔差与所述预设目标物海拔差阈值进行对比;具体的,在分割地面和障碍物时,所述预设目标物海拔差阈值可以为前述的GROUND_THRESHOLD,所述地面包括了斜坡;如前文所述在目标物为目标农作物时,所述预设目标物海拔差阈值为由研发人员设置的农作物的值。当点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云,如可以确定为地面点云,在喷洒作业中,目标物点云确定为目标农作物点云。结合前述点云与世界坐标系的关系以及实时图像与点云的关系可知,在分类出点云中各点的类别后,可知道世界坐标系中,点云对应物体的类别,又由于点云是通过实时图像确定,因此在确定了点云之后,便可再依据坐标系中的关系可以确定实时图像的目标物,进而实现精准分割地面和障碍物(或者分割目标农作物和非目标农作物和/或地面),以使得无人机可以实现在有斜坡的地方仿地飞行和/或对农作物进行精准的喷洒作业。
本发明实施例还提供了一种目标物识别装置,在其中一种实施方式中,如图6所示,包括:栅格化模块100、结构特征获取模块200、目标物确定模块300。
栅格化模块100,用于获取移动装置移动方向前方的点云图,对所述点云图做栅格处理。需要说明的是本发明实施例中的移动装置上可安装有至少一个能够确定点云的测距装置,测距装置可以安装于与移动装置移动方向相同的一端,或者安装于移动装置移动方向的两侧,在移动装置是无人机时,测距装置安装于无人机面向地面的一侧;在移动装置是车辆时,测距装置可以安装于车辆的前端或者后端,或者旋转式的安装于车辆顶端,其中,测距装置还包括摄像装置,且摄像装置可以拍摄车辆周围包括车辆顶端的图像,所述的测距装置例如摄像机、激光雷达传感器、测距传感器等。
所述的对点云图进行栅格处理,例如对点云图进行均匀的划分,横向和纵向等距离的将栅格划分成多个矩形区域,又可以根据点云距离测距装置的远近而不等距的划分栅格,所述栅格可以为矩形,也可以为扇形、六边形、三角形等形状。优选地,所述栅格相等大小,且均匀划分。
具体地,在所述获取移动装置移动方向前方的点云图的步骤中,包括:
实时图像获取单元,用于获取摄像装置拍摄的实时图像;
深度图像获取单元,用于对所述实时图像进行处理,获得所述实时图像的深度图像;
第一点云图确定单元,用于基于所述深度图像确定所述点云图。
具体的,所述用于确定点云的测距装置可以为摄像装置,在移动过程中可以实时的获取移动方向前方的图像信息,本领域内技术人员可以理解,通过双目视觉,或者通过图像在同一方位的叠加图可以形成点云图。
本发明另外一个实施例采用激光雷达获取点云图数据。
进一步地,还包括:
第二点云图确定单元,用于依据坐标系转换规则和所述深度图像确定所述点云图。
本发明的实施例主要对摄像装置拍摄的图像进行处理,并通过转换关系(基于摄像装置的图像坐标系、摄像装置坐标系以及世界坐标系之间的转换关系),确定图像中对应在空间中目标物的位置。需要说明的是,虽然未直接示出摄像装置的图像坐标系、摄像装置坐标系以及世界坐标系之间的转换关系,本领域人员应该是可以理解和实施的。如前文所述,获取摄像装置的拍摄的实时图像,即该实时图像为移动装置在移动过程中拍摄的图像,该实时图像可以为深度图像也可以为RGB图像。在该图像为RGB图像时,对该实时图像进行初步处理,将其转换为深度图像,深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,深度图像类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图像是配准的,因而像素点之间具有一对一的对应关系。由于深度图像上每一像素点的像素值为摄像装置与实际点之间的距离(即深度信息),因此,深度图像的基础上,通过前述的坐标系之间的转换关系,可以确定每一个像素点对应空间点的坐标值,即每一个像素点在世界坐标系中的坐标值,由于摄像装置内部参数和外部参数固定,进而每一个像素点转换后的世界坐标系为同一坐标系,基于每个像素点的深度信息和前述的坐标系之间的转换关系,可以确定每个像素点在世界坐标系上的位置,将同一帧图像上的所有像素点均转换到世界坐标系中,得到点在世界坐标系中的集合,其为点云,在图像上表示为点云图,点云中的每一个点均具有在世界坐标系中的坐标值。需要说明的是,在其他的实时方式中,由于是通过测距装置(如激光雷达扫描传感器)获取的移动装置与待识别物之间的距离,则对获取的距离进行处理,以获得点云图。如采用包含了高斯核函数曲线的曲率表达式建立相关数学模型,选用了合适的离散尺度因子。根据离散曲率曲线的局部极值点,确定出截面线特征点集,并进行特征点的融合,进而准确地获取激光扫描点云图;或者基于离散点梯度法和极值法获得点云图。
结构特征获取模块200,用于根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域。
具体地,可以根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域。如根据相邻栅格的点云海拔平均值划分区域,例如在水平方向的第一栅格、第二栅格、第三栅格、第四栅格的点云海拔平均值分别为3、4、5、12,则第一栅格、第二栅格、第三栅格满足线性关系,其可以被分类成一个栅格区域,而第四栅格不满足线性关系,则不被分类到与第一栅格、第二栅格、第三栅格同一个栅格区域中。又如在临近栅格的海拔与当前栅格的海拔值小于等于1时,则确认临近栅格与当前栅格属于同一连通区域,如在某平面上的某一栅格的海拔值为5,其八邻域临近栅格分别为4、4、6、5、5、4、6、10,则海拔值为4、4、6、5、5、4、6与当前栅格属于同一栅格区域,则海拔值为10的相邻与当前栅格不属于同一栅格区域,又如还可以采用四邻域栅格确定栅格区域,具体分类方法本发明不做限定。
进一步地,还包括:
点云坐标获取单元,用于获取所述点云图中点云坐标;
点云栅格坐标确定单元,用于依据所述点云坐标、预设栅格分辨率确定所述点云在栅格中的坐标。
在前述点云图的基础上,为了能够更为快速精准地获取结构特征,通过对所述点云图进行栅格化,使得点云能够分布在不同的栅格中。因为点云数目众多,进而不便于后文中点云的分类,特别是单个的点云类别是所以先对点云进行栅格化,以栅格为单位进行分类。结合前文的描述可知,点云图即为世界坐标系下各点的分布图,点云中的各个点为空间中的点具有坐标值,通过前述的方法就可以获取到点云在世界坐标系下的坐标值,点云坐标即为点云中的各个点在世界坐标系下的坐标值,因此在获取到点云坐标后,基于点云坐标和后文的预设栅格分辨率确定所述点云在栅格中的坐标。
使用二维数组对栅格进行存储,设定栅格分辨率为resolution_,则点云的栅格坐标可以用以下式子进行计算:
index_x=floor(x/resolution_);
index_y=floor(y/resolution_);
其中,(index_x,index_y)代表的是栅格的二维编号,(x,y)代表点云的水平坐标,floor()函数代表取整运算。
目标物确定模块300,用于根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。
优选地,所述结构特征包括:栅格海拔、栅格梯度、栅格海拔差中的任意多项。
对点云进行栅格化之后,每个栅格单元里面存放的是落在该栅格区域内的点云。所述结构特征的对象为栅格单元,因此所述结构特征包括:栅格海拔、栅格梯度、栅格海拔差中的任意多项,在具体的实施例中,结构特征分别表示为:栅格海拔mean_、栅格梯度gradient_以及栅格海拔差error_。
进一步地,在其中一种实施方式中,如图7所示,在所述目标物确定模块中,具体包括:栅格海拔确定单元310、第一栅格梯度确定单元320、第一栅格海拔差确定单元330。
栅格海拔确定单元310,用于依据同一栅格内点云高度的均值确定所述栅格海拔;
第一栅格梯度确定单元320,用于和/或,依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;
第一栅格海拔差确定单元330,用于和/或,依据同一栅格内点云之间的差值确定所述栅格海拔差。
进一步地,在所述栅格梯度确定单元中,包括:
栅格差值绝对值确定单元,用于依据所述当前栅格的所述栅格海拔和每一个所述相邻栅格的所述栅格海拔确定栅格差值绝对值;
最大栅格差值绝对值确定单元,用于对比所述当前栅格和每一个所述相邻栅格之间的所述栅格差值绝对值确定最大的所述栅格差值绝对值;
第二栅格梯度确定单元,用于将最大的所述栅格差值绝对值确定为所述栅格梯度。
进一步地,在所述栅格海拔差确定单元中,具体包括:
点云海拔最值获取单元,用于获取同一栅格内中点云海拔的最大值和最小值;
第二栅格海拔差确定单元,用于依据所述最大值和所述最小值的差值作为所述栅格海拔差。
结合前文的描述,由于栅格以二维数组的形式进行的存储,因此,栅格在点云所在的坐标系中,以平面二维的形式表现。具体如,以摄像装置拍摄的方向对点云划分栅格。进而在该平面内,每一个栅格中点云都具有摄像装置拍摄方向的坐标值,即栅格既有其自身的位置坐标,也具有一定的高度。需要说明的是,在本发明的实施例中,该高度称为点云的海拔。进而栅格的结构特征均以点云在该方向上的高度作为计算的基准。具体的,栅格海拔mean_:通过计算栅格单元内部点云的海拔均值,以此均值作为栅格海拔mean_的值。栅格梯度gradient_:在上一步mean_值计算出来之后,将每一个栅格的mean_值与其邻接的所有栅格mean_值做差,得到的最大差值绝对值作为栅格梯度gradient_。栅格海拔差error_:通过计算栅格内部点云中海拔最大值与最小值的差,作为栅格海拔差error_。
进一步地,在所述目标物确定模块中,包括:
分类单元,用于对所述结构特征进行分类,确定移动装置移动方向前方的目标物。
所述目标物例如斜坡、丘陵、小山包、湖面、雪山、沙漠等,在作物比较浓密时,所述目标物栅格还可以包括农作物如小麦。
在前述的基础上,对结构特征中的栅格海拔mean_、栅格梯度gradient_以及栅格海拔差error_进行分类,并将栅格的结构特征与预设的阈值进行对比,确定属于目标物的栅格,进而能够确定栅格内的点云为目标物,结合前文的说明和后续的算法过程,确定实时图像中的目标物。需要说明的是,结合后续的算法过程可知,在本发明的实施例中,不仅仅是确定目标物,也可以通过设定具体的阈值确定非目标物,或者确定一种或者多种目标物,通过后续的分类算法,将多种目标物进行分类,进而确定实时图像中的各个物体。
进一步地,在所述目标物确定模块中,具体包括:
确定非目标物栅格和目标物栅格确定单元,用于将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格。
进一步地,在其中一种实施方式中,如图8所示,还包括:第一非目标物栅格确定单元331、第一目标物栅格确定单元332。
第一非目标物栅格确定单元331,用于当所述栅格海拔差大于预设栅格海拔差阈值时,所述栅格确定为所述非目标物栅格;
第一目标物栅格确定单元332,用于当所述栅格海拔差小于预设栅格海拔差阈值时,所述栅格确定为目标物栅格,所述目标物栅格为对应的目标物。
进一步地,在所述目标物确定模块中,还包括:
栅格连通片区和待定栅格确定单元,用于将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格。
进一步地,在其中一种实施方式中,如图9所示,在所述栅格连通片区和待定栅格确定单元中,具体包括:连通栅格确定单元321、待定栅格确定单元322。
连通栅格确定单元321,用于当所述当前栅格的所述栅格梯度以及所述相邻栅格的所述栅格梯度均小于预设栅格梯度阈值时,将所述栅格和与所述栅格相邻的所有栅格确定为连通栅格,且确定所述连通栅格为目标物栅格;
待定栅格确定单元322,用于将所述目标物栅格所在区域确定为所述栅格连通片区,将不能确定为所述连通栅格的所述栅格确定为待定栅格。
在本发明的实施例中,在实现本发明的具体算法中,所述预设栅格海拔差阈值为ERR_THRESHOLD,所述预设栅格梯度阈值为GRA_THRESHOLD。结合前文描述的内容,在将所述栅格海拔差与预设栅格海拔差阈值进行对比,主要为确定非目标物栅格的过程,且在确定栅格连通片区和待定栅格的过程中包括确定栅格连通片区和待定栅格两个过程。在本发明的实施过程中,由于障碍物的面积相对目标物的面积较小,因此,先确定障碍物的障碍栅格部分,进而减少目标物确定过程的计算量,特别在地面和障碍物分割过程中,可以提高计算效率。具体的,首先,将海拔差error_值大于阈值ERR_THRESHOLD的栅格归类为障碍栅格;然后,将梯度gradient_小于阈值GRA_THRESHOLD的栅格归类为连通栅格,在区分地面和障碍物时,由于当目标物为地面时,一般地面较为平整,该连通栅格则可确定为地面栅格,地面栅格所在区域确定为不同的地面栅格连通片区,即前述的栅格连通片区。具体的,在其中一种实施方式中,在农作物较为茂密时,此时障碍物包括地面,茂密的农作物为目标物时,此时连通栅格可以为茂密农作物生成的栅格,此时茂密农作物栅格所在的栅格连通片区则为目标农作物栅格连通片区,地面则为前述的障碍物栅格,则在喷洒作业时,便于移动装置对目标物的农作物进行喷洒作业,对非目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率;在又一种实施方式中,在农作物较为稀疏时,由于农作物之间能够连通的栅格较少,导致不能够形成栅格连通片区时,目标物则为地面,非目标物则为农作物,连通栅格则为地面栅格,且基于其确定的栅格连通片区为地面栅格连通片区,前述的非目标物栅格则可以确定基于农作物确定的栅格,进而便于移动装置对非目标物的农作物进行喷洒作业,对目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率。将梯度gradient_大于或者等于阈值GRA_THRESHOLD的栅格归类为不连通栅格,即最后将余下的不连通的栅格归类为未知栅格。
进一步地,在其中一种实施方式中,如图10所示,还包括:栅格连通片区面积确定单元323、面积对比单元324、基准目标物栅格确定单元325。
栅格连通片区面积确定单元323,用于依据栅格分辨率确定所述栅格连通片区的面积;
面积对比单元324,用于将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;
基准目标物栅格确定单元325,用于当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格。
进一步地,还包括:
第二目标物点云确定单元,用于将所述基准目标物栅格中的点云确定为目标物点云。
由于栅格的分辨率不同,导致相同的物体在不同的分辨率下具有不同的面积,使得栅格连通片区的面积也就不同,因此,在栅格分辨率确定后,每一个栅格的大小便确定了,即确定了单个栅格的面积,而在同一分辨率下,每一个栅格的面积都是相等的,因此,基于单个栅格的面积和栅格连通片区内栅格的数量得到栅格连通片区的面积。具体为,将单个栅格的面积乘以栅格连通片区内栅格的数量得到栅格连通片区的面积。结合前文说明,通过当前栅格和与其相邻的多个相邻栅格的梯度便能够栅格连通片区,且该连通片区为目标物的栅格连通片区(如地面栅格连通片区),为了确定余下栅格连通片区的属性,以及障碍物和目标物本身面积的不同,将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格,如基准地面栅格。预设目标物连通片区面积阈值可以通过研发人员根据作业经验设置,非目标物/障碍物栅格可以为无人爬坡飞行过程中遇到的树木或者电线杆等,或者为无人机喷洒作业过程中的底面,该目标物连通片区如山地中的地面斜坡对应的栅格连通片区,以便于无人机能够结合检测坡度的模块进行仿地斜坡飞行,或者目标物连通片区为无人机飞行过程中的农作物对应的栅格连通片区,以便于无人机对农作物进行喷洒作业而不对地面进行喷洒作业。由于目标物的栅格连通片区的面积相对非目标物/障碍物对应的面积较大,且目标物中的主要部分面积也较大,如包括斜坡的地面,其中连续的平地面积大于斜坡地面面积。因此,当栅格连通片区的面积大于预设目标物连通片区面积阈值时,将该栅格连通片区的栅格确定为基准目标物栅格,如前述的平地地面作为基准地面。结合前述的点云栅格化可知,基准目标物栅格中的点云对应的是目标物上的点形成的点云,因此基准目标物栅格中的点云则可以确定为目标物点云。
进一步地,在其中一种实施方式中,还包括:
目标物海拔确定单元,用于依据确定为所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,所述海拔均值为目标物海拔;
待定栅格海拔差确定单元,用于依据所述待定栅格的所述栅格海拔和所述目标物海拔获得待定栅格海拔差;
海拔差对比单元,用于将所述待定栅格海拔差与预设目标物海拔差阈值进行对比;
第二目标物栅格确定单元,用于当所述待定栅格海拔差小于预设目标物海拔差阈值时,所述待定栅格确定为目标物栅格;
第二非目标物栅格确定单元,用于当所述待定栅格海拔差大于或者等于预设目标物海拔差阈值时,所述待定栅格确定为非目标物栅格。
为了能够确定待定栅格具体的类型,结合前文所述的计算方法获得所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,且该海拔均值确定为目标物海拔,如在目标物是地面时,在该海拔均值为地面海拔,在目标物是农作物时,该海拔均值为农作物海拔。将待定栅格的栅格海拔依次与目标物海拔做差获得待定栅格与目标物海拔之间的海拔差,该海拔差如前文的待定栅格海拔差,将待定栅格海拔差与预设目标物海拔差阈值进行对比,其中,在具体的实施方式中,当目标物为地面时,所述预设目标物海拔差阈值为GROUND_THRESHOLD,当所述待定栅格海拔差小于GROUND_THRESHOLD时,所述待定栅格确定为目标物栅格(即地面栅格);当所述待定栅格海拔差大于或者等于GROUND_THRESHOLD时,所述待定栅格确定为非目标物栅格(如前述的障碍物栅格)。具体的,该方法可以用于无人机分割斜坡和障碍物,使得无人机可以依据分割出来的地面栅格和障碍物栅格进行仿地飞行,进而避免无人机将斜坡当做障碍物,使得无人机不会对障碍物飞行或者作业。需要说明的是,在目标物是农作物时,GROUND_THRESHOLD值可以替换为由研发人员设置的农作物的值。在其中一种实施方式中,对应的非目标物/障碍物可以为地面或者与目标农作物高度不一致的其他农作物,进而在无人机基于该方法进行喷洒作业时,可以对斜坡上的农作物进行统一作业,避免无人机对没有作物地面进行喷洒作业,或者避免无人机对不是目标农作物的农作物进行作业,节约被喷洒的水量、药量或者颗粒物等。前述过程主要包括农作物较为茂密的情况,此时非目标物/障碍物包括地面,茂密的农作物为目标物时,此时连通栅格可以为茂密农作物生成的目标物栅格,对应的栅格连通片区则为目标农作物的栅格连通片区,地面则为前述的非目标物/障碍物栅格,则在喷洒作业时,便于移动装置对目标物栅格对应的农作物进行喷洒作业,对非目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率;在又一种实施方式中,在农作物较为稀疏时,由于农作物之间能够连通的栅格较少,导致不能够形成栅格连通片区时,目标物则为地面,非目标物则为农作物,连通栅格则为地面栅格,且基于其确定的栅格连通片区为地面栅格连通片区,前述的非目标物栅格则可以确定基于农作物确定的栅格,进而便于移动装置对非目标物的农作物进行喷洒作业,对目标物的地面栅格不进行喷洒作业,避免浪费被喷洒物,提高被喷洒物的利用率。
在本发明另外一个实施例中,同样为连通片区的目标栅格,可以根据其海拔平均值确定为地面和浓密的农作物,例如小麦的海拔平均值为1米,地面的海拔为0。
进一步地,还包括:
距离获取单元,用于对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格;
点云海拔差确定单元,用于依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;
点云海拔差对比单元,用于将所述点云海拔差与所述预设目标物海拔差阈值进行对比;
第一目标物点云确定单元,用于当所述点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云。
由于在前述的计算过程中,都是以栅格进行计算的,并没有完全落实到点云上,而点云中的点代表的是空间中物体上一点的,具有基于移动装置所在世界坐标系中的实际坐标,因此,需要明确点云的具体类别,以便于确定空间中点对应的物体是目标物或者非目标物。然后,通过前文算法确定了栅格为目标物栅格时,则该栅格类的点云则确定为目标物的点云。然后为了更精确地确定障碍物是否是目标物,通过前述的连通片区的栅格可知,与目标物栅格最近的非目标物栅格最优可能为目标物栅格,因此,对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格,对比非目标物栅格内和目标物栅格内点云的海拔差,该海拔为点云垂直于栅格二维平面的距离。在对比之前,还需要依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;即依次将障碍物栅格内的点云海拔与目标物栅格海拔做差获得点云海拔差,然后将该点云海拔差与将所述点云海拔差与所述预设目标物海拔差阈值进行对比;具体的,在分割地面和障碍物时,所述预设目标物海拔差阈值可以为前述的GROUND_THRESHOLD,所述地面包括了斜坡;如前文所述在目标物为目标农作物时,所述预设目标物海拔差阈值为由研发人员设置的农作物的值。当点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云,如可以确定为地面点云,在喷洒作业中,目标物点云确定为目标农作物点云。结合前述点云与世界坐标系的关系以及实时图像与点云的关系可知,在分类出点云中各点的类别后,可知道世界坐标系中,点云对应物体的类别,又由于点云是通过实时图像确定,因此在确定了点云之后,便可再依据坐标系中的关系可以确定实时图像的目标物,进而实现精准分割地面和障碍物(或者分割目标农作物和非目标农作物和/或地面),以使得无人机可以实现在有斜坡的地方仿地飞行和/或对农作物进行精准的喷洒作业。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现任一技术方案所述的目标物识别方法的步骤。
本发明实施例还提供了一种目标物识别终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现任一技术方案所述的目标物识别方法的步骤。
本发明实施例中提供的一种地图更新方法,在其中一种实施方式中,如图11所示,包括:S400、S500、S600.
S400:依据任一技术方案所述的目标物识别方法确定当前点云图中的所述目标物;
S500:获取历史点云图,将所述历史点云图和当前点云图进行对比确定在所述历史点云图和当前点云图中相同的所述目标物;
S600:依据所述历史点云图和当前点云图中相同的所述目标物更新地图。
进一步地,在所述依据所述历史点云图和当前点云图中相同的所述目标物更新地图的步骤中,包括:
获取历史点云图的栅格海拔和当前点云图的栅格海拔;
将所述历史点云图和当前点云图中相同的所述目标物的所述栅格海拔叠加确定新的地形图;
基于所述地形图更新地图。
在本发明的实施例中,结合前文的目标物识别方法,可以精准地区分出目标物和障碍物,由于移动装置在为连续采集图像的,在此基础上,为了能够使得后续移动装置更好地作业,将当前实时图像的点云图和历史图像的点云图进行对比确定在历史点云图和当前点云图中相同的所述目标物,即在前述的过程中,由于世界坐标系相同,使得历史图像和当前实时图像具有相同的基准,在点云栅格化时,也采用了相同栅格分辨率。因此可以将历史点云图和当前点云图进行对比,即将基于相同的世界坐标系和点云海拔,确定历史点云图和当前点云图中的目标物,特别是相同的目标物,在前述基础上,在点云的坐标值重叠时,可以确定历史点云图中和当前点云图中点云坐标值重叠部分的目标物为相同的目标物,进而将两者图像组合在一起;然后,依次将历史点云图中和当前点云图中的障碍物栅格内的点云海拔与目标物栅格海拔做差获得点云海拔差,然后将该点云海拔差与将所述点云海拔差与所述预设目标物海拔差阈值进行对比;当点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云,进而更精细的划分了历史点云图和当前点云图中的障碍物和目标物。在此基础上,即可通过前文确定实时图像中目标物的方法更进一步地确定历史图像和当前图像拼接在一起后的图像中障碍物和目标物,在此之后,将历史点云图和当前点云图划分栅格后的图像进行栅格海拔进行加权,以获得新的包括历史点云图和当前点云图的新点云图,该新点云图即为新的地形图,基于新的地形图更新地图,获得更为全方位的精准的地图,将其进行保存,以使得后续移动装置可以接收更新后的地图进行作业或者仿地飞行。
本发明实施例还提供了一种地图更新装置,如图12所示,包括:点云图目标物确定模块400、历史点云图获取模块500、地图更新模块600。
点云图目标物确定模块400,用于依据任一技术方案所述的目标物识别方法确定当前点云图中的所述目标物;
历史点云图获取模块500,用于获取历史点云图,将所述历史点云图和当前点云图进行对比确定在所述历史点云图和所述当前点云图中相同的所述目标物;
地图更新模块600,用于依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图。
进一步地,在所述地图更新模块中,包括:
栅格海拔获取单元,用于获取所述历史点云图的栅格海拔和所述当前点云图的栅格海拔;
栅格海拔叠加单元,用于将所述历史点云图和所述当前点云图中相同的所述目标物的所述栅格海拔叠加确定新的地形图;
地图更新单元,用于基于所述地形图更新地图。在本发明的实施例中,结合前文的目标物识别方法,可以精准地区分出目标物和障碍物,由于移动装置在为连续采集图像的,在此基础上,为了能够使得后续移动装置更好地作业,将当前实时图像的点云图和历史图像的点云图进行对比确定在历史点云图和当前点云图中相同的所述目标物,即在前述的过程中,由于世界坐标系相同,使得历史图像和当前实时图像具有相同的基准,在点云栅格化时,也采用了相同栅格分辨率。因此可以将历史点云图和当前点云图进行对比,即将基于相同的世界坐标系和点云海拔,确定历史点云图和当前点云图中的目标物,特别是相同的目标物,在前述基础上,在点云的坐标值重叠时,可以确定历史点云图中和当前点云图中点云坐标值重叠部分的目标物为相同的目标物,进而将两者图像组合在一起;然后,依次将历史点云图中和当前点云图中的障碍物栅格内的点云海拔与目标物栅格海拔做差获得点云海拔差,然后将该点云海拔差与将所述点云海拔差与所述预设目标物海拔差阈值进行对比;当点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云,进而更精细的划分了历史点云图和当前点云图中的障碍物和目标物。在此基础上,即可通过前文确定实时图像中目标物的方法更进一步地确定历史图像和当前图像拼接在一起后的图像中障碍物和目标物,在此之后,将历史点云图和当前点云图划分栅格后的图像进行栅格海拔进行加权,以获得新的包括历史点云图和当前点云图的新点云图,该新点云图即为新的地形图,基于新的地形图更新地图,获得更为全方位的精准的地图,将其进行保存,以使得后续移动装置可以接收更新后的地图进行作业或者仿地飞行。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现任一技术方案所述的地图更新方法的步骤。
本发明实施例还提供了一种目标物识别终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现任一技术方案所述的地图更新方法的步骤。
本发明实施例还提供了一种移动装置控制方法,包括:
依据任一技术方案所述地图,确定移动装置航线中目标物位置信息;
依据所述目标物位置信息,控制所述移动装置对目标物作业。
在前述技术方案的基础上,基于新的地图规划移动装置的航线,基于该航线可以确定移动装置航线中目标物的位置信息,在确定目标物位置信息后,控制移动装置飞行到目标物所在位置对目标物进行作业。该移动装置可以是人为控制过程,也可以是自动控制过程。
本发明实施例还提供了一种移动装置控制装置,包括:
目标物位置信息确定模块,用于依据任一技术方案所述地图,确定移动装置航线中目标物位置信息;
作业模块,用于依据所述目标物位置信息,控制所述移动装置对目标物作业。
在前述技术方案的基础上,基于新的地图规划移动装置的航线,基于该航线可以确定移动装置航线中目标物的位置信息,在确定目标物位置信息后,控制移动装置飞行到目标物所在位置对目标物进行作业。该移动装置可以是人为控制过程,也可以是自动控制过程。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现所述的移动装置控制方法的步骤。
本发明实施例还提供了一种移动装置控制终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现所述的移动装置控制方法的步骤。
本发明实施例还提供了一种移动装置,包括:所述计算机可读存储介质或所述的移动装置控制终端。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (28)

1.一种目标物识别方法,其特征在于,包括:
获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;
根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;
根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。
2.根据权利要求1所述的目标物识别方法,其特征在于,在所述根据所述结构特征确定移动装置移动方向的前方的目标物的步骤中,包括:
对所述结构特征进行分类,确定移动装置移动方向前方的目标物。
3.根据权利要求2所述的目标物识别方法,其特征在于,所述结构特征包括栅格海拔、栅格梯度、栅格海拔差中的任意多项。
4.根据权利要求3所述的目标物识别方法,其特征在于,在所述根据所述栅格区域的点云数据确定所述栅格区域的结构特征的步骤中,具体包括:
依据同一栅格内点云高度的均值确定所述栅格海拔;
和/或,依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度;
和/或,依据同一栅格内点云之间的差值确定所述栅格海拔差。
5.根据权利要求4所述的目标物识别方法,其特征在于,在所述依据当前栅格和与所述当前栅格相邻的相邻栅格的所述栅格海拔确定所述栅格梯度的步骤中,包括:
依据所述当前栅格的所述栅格海拔和每一个所述相邻栅格的所述栅格海拔确定栅格差值绝对值;
对比所述当前栅格和每一个所述相邻栅格之间的所述栅格差值绝对值确定最大的所述栅格差值绝对值;
将最大的所述栅格差值绝对值确定为所述栅格梯度。
6.根据权利要求4所述的目标物识别方法,其特征在于,在所述依据同一栅格内点云之间的差值确定所述栅格海拔差的步骤中,具体包括:
获取同一栅格内中点云海拔的最大值和最小值;
依据所述最大值和所述最小值的差值作为所述栅格海拔差。
7.根据权利要求4所述的目标物识别方法,其特征在于,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,具体包括:
将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格。
8.根据权利要求7所述的目标物识别方法,其特征在于,在所述将所述栅格海拔差与预设栅格海拔差阈值进行对比,确定非目标物栅格和目标物栅格的步骤中,具体包括:
当所述栅格海拔差大于预设栅格海拔差阈值时,所述栅格确定为所述非目标物栅格;
当所述栅格海拔差小于预设栅格海拔差阈值时,所述栅格确定为目标物栅格,所述目标物栅格为对应的目标物。
9.根据权利要求4、7、8中任一项所述的目标物识别方法,其特征在于,在所述根据所述结构特征确定移动装置移动方向前方的目标物的步骤中,还包括:
将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格。
10.根据权利要求9所述的目标物识别方法,其特征在于,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤中,具体包括:
当所述当前栅格的所述栅格梯度以及所述相邻栅格的所述栅格梯度均小于预设栅格梯度阈值时,将所述栅格和与所述栅格相邻的所有栅格确定为连通栅格,且确定所述连通栅格为目标物栅格;
将所述目标物栅格所在区域确定为所述栅格连通片区,将不能确定为所述连通栅格的所述栅格确定为待定栅格。
11.根据权利要求10所述的目标物识别方法,其特征在于,在所述将所述栅格梯度与预设栅格梯度阈值进行对比,确定栅格连通片区和待定栅格的步骤之后,包括:
依据栅格分辨率确定所述栅格连通片区的面积;
将所述栅格连通片区的面积与预设目标物连通片区面积阈值进行对比;
当所述栅格连通片区的面积大于预设目标物连通片区面积阈值时,将所述栅格连通片区的栅格确定为基准目标物栅格。
12.根据权利要求11所述的目标物识别方法,其特征在于,在所述将所述栅格连通片区的栅格确定为基准目标物栅格的步骤之后,包括:
依据确定为所述基准目标物栅格的所述栅格连通片区的栅格海拔获得海拔均值,所述海拔均值为目标物海拔;
依据所述待定栅格的所述栅格海拔和所述目标物海拔获得待定栅格海拔差;
将所述待定栅格海拔差与预设目标物海拔差阈值进行对比;
当所述待定栅格海拔差小于预设目标物海拔差阈值时,所述待定栅格确定为目标物栅格;
当所述待定栅格海拔差大于或者等于预设目标物海拔差阈值时,所述待定栅格确定为非目标物栅格。
13.根据权利要求12所述的目标物识别方法,其特征在于,在所述待定栅格确定为非目标物栅格的步骤之后,包括:
对每一个所述非目标物栅格,依次获取距离所述非目标物栅格最近的所述目标物栅格;
依据所述非目标物栅格中的点云海拔和所述目标物栅格的所述栅格海拔确定点云海拔差;
将所述点云海拔差与所述预设目标物海拔差阈值进行对比;
当所述点云海拔差小于所述预设目标物海拔差阈值时,所述点云确定为目标物点云。
14.根据权利要求11所述的目标物识别方法,其特征在于,在所述将所述栅格连通片区确定为基准目标物栅格的步骤之后,还包括:
将所述基准目标物栅格中的点云确定为目标物点云。
15.根据权利要求1所述的目标物识别方法,其特征在于,在所述获取移动装置移动方向前方的点云图的步骤中,包括:
获取摄像装置拍摄的实时图像;
对所述实时图像进行处理,获得所述实时图像的深度图像;
基于所述深度图像确定所述点云图。
16.根据权利要求15所述的目标物识别方法,其特征在于,在所述基于所述深度图像确定所述点云图的步骤中,还包括:
依据坐标系转换规则和所述深度图像确定所述点云图。
17.根据权利要求16所述的目标物识别方法,其特征在于,在所述对所述点云图做栅格处理的步骤之后,包括:
获取所述点云图中点云坐标;
依据所述点云坐标、预设栅格分辨率确定所述点云在栅格中的坐标。
18.一种目标物识别装置,其特征在于,包括:
栅格化模块,用于获取移动装置移动方向前方的点云图,对所述点云图做栅格处理;
结构特征获取模块,用于根据栅格中的点云数据将栅格化后所述点云图中的栅格分类成一个或多个栅格区域;
目标物确定模块,用于根据所述栅格区域的点云数据确定所述栅格区域的结构特征,根据所述结构特征确定移动装置移动方向前方的目标物。
19.一种地图更新方法,其特征在于,包括:
依据权利要求1至17任意一项所述的目标物识别方法确定当前点云图中的所述目标物;
获取历史点云图,将所述历史点云图和所述当前点云图进行对比确定在所述历史点云图和所述当前点云图中相同的所述目标物;
依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图。
20.根据权利要求19所述的地图更新方法,其特征在于,在所述依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图的步骤中,包括:
获取所述历史点云图的栅格海拔和所述当前点云图的栅格海拔;
将所述历史点云图和所述当前点云图中相同的所述目标物的所述栅格海拔叠加确定新的地形图;
基于所述地形图更新地图。
21.一种地图更新装置,其特征在于,包括:
点云图目标物确定模块,用于依据权利要求1至17任意一项所述的目标物识别方法确定当前点云图中的所述目标物;
历史点云图获取模块,用于获取历史点云图,将所述历史点云图和当前点云图进行对比确定在所述历史点云图和所述当前点云图中相同的所述目标物;
地图更新模块,用于依据所述历史点云图和所述当前点云图中相同的所述目标物更新地图。
22.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序执行时实现权利要求1至17任意一项所述的目标物识别方法的步骤。
23.一种目标物识别终端,其特征在于,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现权利要求1至17任意一项所述的目标物识别方法的步骤。
24.一种移动装置控制方法,其特征在于,包括:
依据权利要求19或20所述地图,确定移动装置航线中目标物位置信息;
依据所述目标物位置信息,控制所述移动装置对目标物作业。
25.一种移动装置控制装置,其特征在于,包括:
目标物位置信息确定模块,用于依据权利要求19或20所述地图,确定移动装置航线中目标物位置信息;
作业模块,用于依据所述目标物位置信息,控制所述移动装置对目标物作业。
26.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序执行时实现权利要求24所述的移动装置控制方法的步骤。
27.一种移动装置控制终端,其特征在于,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现权利要求24所述的移动装置控制方法的步骤。
28.一种移动装置,其特征在于,包括:权利要求26所述计算机可读存储介质或权利要求27所述的移动装置控制终端。
CN201810929766.6A 2018-08-15 2018-08-15 目标物识别方法及终端、移动装置控制方法及终端 Pending CN109255302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810929766.6A CN109255302A (zh) 2018-08-15 2018-08-15 目标物识别方法及终端、移动装置控制方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810929766.6A CN109255302A (zh) 2018-08-15 2018-08-15 目标物识别方法及终端、移动装置控制方法及终端

Publications (1)

Publication Number Publication Date
CN109255302A true CN109255302A (zh) 2019-01-22

Family

ID=65049398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810929766.6A Pending CN109255302A (zh) 2018-08-15 2018-08-15 目标物识别方法及终端、移动装置控制方法及终端

Country Status (1)

Country Link
CN (1) CN109255302A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045376A (zh) * 2019-04-28 2019-07-23 森思泰克河北科技有限公司 可行驶区域获取方法、计算机可读存储介质及终端设备
CN110118973A (zh) * 2019-05-27 2019-08-13 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN111292292A (zh) * 2020-01-16 2020-06-16 深圳市施罗德工业集团有限公司 管道障碍物检测方法、装置、管道机器人和可读存储介质
CN111609836A (zh) * 2019-02-26 2020-09-01 上海太昂科技有限公司 基于深度视觉的坡度识别方法、系统、介质、终端、及装置
CN112329946A (zh) * 2020-11-10 2021-02-05 广州极飞科技有限公司 地面分割学习模型训练方法、地平面确定方法及相关装置
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机
WO2021077315A1 (en) * 2019-10-23 2021-04-29 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN112859893A (zh) * 2021-01-08 2021-05-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行器避障方法、装置
CN112907445A (zh) * 2021-02-08 2021-06-04 杭州海康威视数字技术股份有限公司 天空云图的拼接方法、装置及设备
CN113077473A (zh) * 2020-01-03 2021-07-06 广州汽车集团股份有限公司 三维激光点云路面分割方法、系统、计算机设备及介质
CN113137919A (zh) * 2021-04-29 2021-07-20 中国工程物理研究院应用电子学研究所 一种激光点云栅格化方法
CN113205536A (zh) * 2021-05-28 2021-08-03 湖北工业大学 骨料密集度云图的绘制方法
WO2021168854A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 可行驶区域检测的方法和装置
CN114387585A (zh) * 2022-03-22 2022-04-22 新石器慧通(北京)科技有限公司 障碍物检测方法、检测装置及行驶装置
WO2022116657A1 (zh) * 2020-12-01 2022-06-09 珠海一微半导体股份有限公司 一种融合定位方法及移动机器人
CN118053153A (zh) * 2024-04-16 2024-05-17 之江实验室 一种点云数据的识别方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110282581A1 (en) * 2010-05-12 2011-11-17 Gm Global Technology Operations, Inc. Object and vehicle detection and tracking using 3-d laser rangefinder
CN103123727A (zh) * 2011-11-21 2013-05-29 联想(北京)有限公司 即时定位与地图构建方法和设备
CN104298828A (zh) * 2014-10-13 2015-01-21 河海大学 一种城市绿地格局对热环境影响的模拟方法
CN106774306A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 应用于无人驾驶车辆的启动检测方法、装置和系统
CN107491070A (zh) * 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置
CN108286976A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种点云数据的融合方法和装置、以及混合导航系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110282581A1 (en) * 2010-05-12 2011-11-17 Gm Global Technology Operations, Inc. Object and vehicle detection and tracking using 3-d laser rangefinder
CN103123727A (zh) * 2011-11-21 2013-05-29 联想(北京)有限公司 即时定位与地图构建方法和设备
CN104298828A (zh) * 2014-10-13 2015-01-21 河海大学 一种城市绿地格局对热环境影响的模拟方法
CN106774306A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 应用于无人驾驶车辆的启动检测方法、装置和系统
CN108286976A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种点云数据的融合方法和装置、以及混合导航系统
CN107491070A (zh) * 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
B. DOUILLARD, J. UNDERWOOD: "Hybrid Elevation Maps: 3D Surface Models for Segmentation", 《2010 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111609836A (zh) * 2019-02-26 2020-09-01 上海太昂科技有限公司 基于深度视觉的坡度识别方法、系统、介质、终端、及装置
CN110045376A (zh) * 2019-04-28 2019-07-23 森思泰克河北科技有限公司 可行驶区域获取方法、计算机可读存储介质及终端设备
CN110118973A (zh) * 2019-05-27 2019-08-13 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN110118973B (zh) * 2019-05-27 2020-12-18 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
WO2021077315A1 (en) * 2019-10-23 2021-04-29 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN113077473A (zh) * 2020-01-03 2021-07-06 广州汽车集团股份有限公司 三维激光点云路面分割方法、系统、计算机设备及介质
CN111292292A (zh) * 2020-01-16 2020-06-16 深圳市施罗德工业集团有限公司 管道障碍物检测方法、装置、管道机器人和可读存储介质
CN111292292B (zh) * 2020-01-16 2023-09-26 深圳市施罗德工业集团有限公司 管道障碍物检测方法、装置、管道机器人和可读存储介质
WO2021168854A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 可行驶区域检测的方法和装置
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机
CN112329946A (zh) * 2020-11-10 2021-02-05 广州极飞科技有限公司 地面分割学习模型训练方法、地平面确定方法及相关装置
WO2022116657A1 (zh) * 2020-12-01 2022-06-09 珠海一微半导体股份有限公司 一种融合定位方法及移动机器人
CN112859893A (zh) * 2021-01-08 2021-05-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行器避障方法、装置
CN112907445A (zh) * 2021-02-08 2021-06-04 杭州海康威视数字技术股份有限公司 天空云图的拼接方法、装置及设备
CN113137919A (zh) * 2021-04-29 2021-07-20 中国工程物理研究院应用电子学研究所 一种激光点云栅格化方法
CN113137919B (zh) * 2021-04-29 2022-10-28 中国工程物理研究院应用电子学研究所 一种激光点云栅格化方法
CN113205536A (zh) * 2021-05-28 2021-08-03 湖北工业大学 骨料密集度云图的绘制方法
CN113205536B (zh) * 2021-05-28 2022-04-29 湖北工业大学 骨料密集度云图的绘制方法
CN114387585A (zh) * 2022-03-22 2022-04-22 新石器慧通(北京)科技有限公司 障碍物检测方法、检测装置及行驶装置
CN114387585B (zh) * 2022-03-22 2022-07-05 新石器慧通(北京)科技有限公司 障碍物检测方法、检测装置及行驶装置
CN118053153A (zh) * 2024-04-16 2024-05-17 之江实验室 一种点云数据的识别方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109255302A (zh) 目标物识别方法及终端、移动装置控制方法及终端
Vandapel et al. Natural terrain classification using 3-d ladar data
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及系统
Rong et al. A peduncle detection method of tomato for autonomous harvesting
CN105825173B (zh) 通用道路和车道检测系统与方法
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
CN113345018A (zh) 一种动态场景下的激光单目视觉融合定位建图方法
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
CN109271862A (zh) 基于移动装置的喷洒控制方法及终端、移动装置
CN113112504A (zh) 一种植物点云数据分割方法及系统
CN115049700A (zh) 一种目标检测方法及装置
Menon et al. NBV-SC: Next best view planning based on shape completion for fruit mapping and reconstruction
CN109283936A (zh) 移动装置控制方法、装置及终端
CN113932712B (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
Magistri et al. Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss
CN113807309A (zh) 一种基于深度学习的果园机械行走路线规划方法
CN115294562B (zh) 一种植保机器人作业环境智能感知方法
Liu et al. Comparison of 2D image models in segmentation performance for 3D laser point clouds
Zhao et al. Rapid development methodology of agricultural robot navigation system working in GNSS-denied environment
CN111783726A (zh) 基于人工智能和bim的放牧牲畜离群视频采集方法
CN118397483A (zh) 基于yolo网络的果树靶标定位和导航线区域分割方法
Pan et al. Pheno-robot: An auto-digital modelling system for in-situ phenotyping in the field
Li et al. Visual navigation and crop mapping of a phenotyping robot MARS-PhenoBot in simulation
CN116660916A (zh) 一种用于果园移动机器人的定位方法、建图方法及电子设备
CN115439535A (zh) 一种快速目标检测定位方法、装置及无人机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: XAG Co., Ltd.

Address before: 510000, No. 1, Cheng Cheng Road, Gaotang Software Park, Guangzhou, Guangdong, Tianhe District, 3A01

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122

RJ01 Rejection of invention patent application after publication