CN112837241B - 建图重影去除方法、设备及存储介质 - Google Patents

Abstract

本申请提供一种建图重影去除方法、设备及存储介质，应用于数据处理领域。此方法包括：显示包含重影区域的目标轨迹；响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息；根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；根据相对位姿对目标轨迹进行重影优化。通过本申请可以有效去除建图重影。

Description

建图重影去除方法、设备及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种建图重影去除方法、设备及存储介质。

背景技术

自动驾驶技术，具体是指在行驶过程中，基于高精度地图为自动驾驶车辆提供先验地图，进行实时感知、定位和路线规划。基于自动驾驶过程中所采集的数据进行同步定位与建图(Simultaneous Localization and Mapping，简称SLAM)是一种低成本获取高精度地图的方式。具体地，自动驾驶车辆通过激光雷达设备等设备扫描道路及周边环境采集得到点云数据，为同步定位与建图提供高质量点云数据；另外，自动驾驶车辆还通过轮速计、组合惯导等设备采集的数据进行同步定位与建图生成位姿。

在实现本申请过程中，发明人发现上述技术至少存在如下问题：使用点云数据进行同步定位与建图过程中，随着建图进行，会产生累积误差，虽然目前可通过闭环检测来去除大部分累积误差，但是不能保证百分百地成功闭环；另外，在进行推位匹配时也会存在匹配误差较大情况，如急转弯处等，而累积误差和匹配误差均会导致重影现象。

发明内容

本申请实施例提供一种建图重影去除方法、设备及存储介质，以提升重影去除效果。

第一方面，本申请实施例提供一种建图重影去除方法，包括：显示包含重影区域的目标轨迹；响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息；根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；根据相对位姿对目标轨迹进行重影优化。

第二方面，本申请实施例提供一种建图重影去除装置，包括：

显示模块，用于显示包含重影区域的目标轨迹；以及，响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息；

处理模块，用于根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；及，根据相对位姿对目标轨迹进行重影优化。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序在电子设备上运行时，使得电子设备执行如第一方面所述的方法。

本申请提供的建图重影去除方法、设备及存储介质，此方法包括显示包含重影区域的目标轨迹；响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息；根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；根据相对位姿对目标轨迹进行重影优化。通过将待矫正帧对应的点云对齐至参考帧对应的点云得到相对位姿，并根据相对位姿对目标轨迹进行重影优化来有效去除建图重影。

本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请提供的建图重影去除方法的应用场景示意图；

图2为本申请一实施例提供的建图重影去除方法的流程示意图；

图3为一目标轨迹示意图；

图4为本申请实施例提供的建图重影去除的一界面示意图；

图5为图4所示界面的局部放大示意图；

图6为本申请实施例提供的重影去除工具的操作面板的一界面示意图；

图7为本申请实施例提供的重影去除工具的操作面板的另一界面示意图；

图8为本申请实施例提供的建图重影去除的另一界面示意图；

图9为本申请实施例提供的一对关联帧在点云对齐前的点云示意图；

图10为图9所示关联帧在点云对齐后的点云示意图；

图11为本申请一实施例提供的建图重影去除装置的结构示意图；

图12为本申请一实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先，为便于理解，对本申请部分术语进行解释说明：

重影，属于点云地图中表现出来的非正常建图效果，具体表现为现实中的一个物体，在基于激光雷达、相机等设备采集该物体的信息得到的数据进行建图时，得到的地图中包含多个该物体，也就是说本应该表现为一个的物体，表现为多个，此时即出现重影现象。例如，一个电线杆对应的点云地图表现为两个电线杆，是一种误差。

高精度地图，相比于普通的电子地图而言，高精度地图的精度更高，包含的目标地物较为丰富。

点云(Point Cloud)数据，是通过测量仪器得到的物体表面每个采样点的点数据集合。具体地，根据激光测量原理得到的点云数据，包括三维坐标(XYZ)和激光反射强度(Intensity)；根据摄影测量原理得到的点云数据，包括三维坐标(XYZ)和颜色信息(RGB)；结合激光测量和摄影测量原理得到点云数据，包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。示例地，对于根据激光测量原理得到的点云数据，当激光束照射到物体表面时，该物体所反射的激光会携带方位、距离等信息；若将激光束按照某种轨迹进行扫描，便会边扫描边记录反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而形成点数量较大且比较密集的点云数据。

闭环检测，又称回环检测，指自动驾驶车辆识别曾到达某场景，使得地图闭环的能力。

配准，两个有交叉场景对应的点云集合，进行匹配、坐标变换等，将一个场景与另外一个场景对齐，也可以理解为消除重影。

位姿文件，包含各帧点云数据对应的位姿，每一帧点云数据对应一个位姿，所有位姿对应的点云数据叠加起来就是整个点云地图。位姿文件的格式表现为每个位姿占用一行，例如：

1589443722.909254,-0.005656,-0.000536,0.010376,0.999930,0.013034,1.739831,0.300687

其中，“1589443722.909254”为时间信息，用于查找位姿；“-0.005656,-0.000536,0.010376”分别为x,y,z三维坐标；“0.999930,0.013034,1.739831,0.300687”为采用四元数表示的旋转角信息。

闭环检测，随着相机等测量仪器的运动，计算的位姿以及三角化得到的点云位置等都是有误差的。而去除累积误差最有效的办法是发现闭环，并根据闭环对所有结果进行优化。

目前，为降低匹配误差，在同步定位与建图过程中，建图采用的匹配方法主要有迭代最近点(Iterative Closest Point，简称ICP)、正态分布变换(Normal DistributionTransformation，简称NDT)和提取特征等方式。由于在采集过程中有转弯急、场景特征少等特点，这些对建图推位匹配造成很大困难，从而在单趟建图结果中会有重影现象，用来修正单趟重影现象通常是通过提高算法鲁棒性来解决，但是不能保证百分百去除重影。

另外，闭环检测很难保证百分百检测正确，随着建图进行累积误差不断变大，给闭环带来了比较大的困难。针对闭环问题，目前主流的方式有迭代最近点、正态分布变换、基于语义信息、借助全球定位系统(Global Positioning System，简称GPS)信息、通过采集后人工检查数据标注(但没有高效率的开源软件可用)等进行闭环检测。其中：

迭代最近点和正态分布变换，都是通过搜索一定距离半径R范围内，计算点距离匹配分值，匹配计算分析是否检测到闭环。这两种方式中，距离半径R不太好设置固定值，有时累积误差大，需要把距离半径R放大，但放大后计算量会变大很多；而且，即使匹配计算到了对应关系，距离半径R比较大且场景是重复单一的，可能有多处匹配分值较高，其根据点距离的匹配分值阈值来区分是否检测到闭环也是不可靠的。

基于语义信息，如结合马路牙、车道线、建筑物、标志牌等信息辅助闭环检测。这种方式比较强依赖于识别结果的准确度，而且场景特征明显时才会发挥作用，因此存在局限性。

借助全球定位系统信息是辅助闭环检测的一种常用方式，但城市里高楼大厦多一些，如果在行驶过程中存在全球定位系统信号不好的情况，则不能保证借助全球定位系统信息能用来辅助闭环检测。

通过采集后人工检查数据标注来让程序找到对应闭环检测信息，相比于以上三种方式，虽能检测到闭环，但效率较低。

再者，目前存在的重影去除软件，其操作比较繁琐，不够友好；而且这些软件都是来修复闭环检测问题，无法去除单趟内部的重影。

综上，同步定位与建图技术在进行推位匹配过程中，不能保证百分百匹配正确，在挑战性场景中通常会出现较大匹配误差；针对闭环检测，目前的主流方式很难保证百分百检测正确或者耗时费力。

针对上述问题，本申请提供一种建图重影去除方法、设备及存储介质，通过人机交互来修正同步定位与建图中的重影。本申请可应用于与重影去除相关的各项业务。

示例性地，图1为本申请提供的建图重影去除方法的应用场景示意图。如图1所示，实际应用中，在客户端11基于点云数据等进行同步定位与建图后，得到的目标轨迹对应的点云地图中包含重影，此时需要用户通过客户端11修正重影。用户在客户端11显示的目标轨迹中确定重影区域，并通过鼠标、键盘等输入设备或触摸方式在重影区域上进行连接关联帧的操作，其中关联帧包含参考帧与待矫正帧；响应于用户的这一操作，客户端11显示该关联帧的时间点信息，并根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿，之后根据相对位姿对目标轨迹进行重影优化，以去除重影。之后，客户端11基于去除重影后的点云数据和位姿数据生成高精度地图，并通过网络发送给服务器12，由自动驾驶车辆13从服务器12调用高精度地图，以辅助自动驾驶。

需要说明的是，附图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。例如，在图1所示的应用场景中，是由客户端11进行同步定位与建图、去除重影和生成高精度地图为例进行说明，还可以通过不同的客户端执行上述操作。例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对客户端11和服务器12可以是外部存储器，也可以是集成在客户端11或服务器12中的内部存储器。另外，服务器12可以是独立的服务器，或者，也可以是服务集群等。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请一实施例提供的建图重影去除方法的流程示意图。本申请实施例提供一种建图重影去除方法，应用于建图重影去除装置，该装置可以通过软件和/或硬件的方式实现。可选地，在图1所示场景中，该建图重影去除装置可以集成于客户端中，例如建图重影去除装置为客户端中的芯片或电路；或者，该建图重影去除装置为客户端。接下来，以客户端作为执行主体进行示例说明。客户端作诸如为膝上型计算机、台式计算机、工作台、个人数字助理(Personal Digital Assistant，简称PDA，又可以称为“掌上电脑”)、大型计算机、和其它适合的计算机。

如图2所示，该建图重影去除方法包括如下步骤：

S201、显示包含重影区域的目标轨迹。

示例地，包含重影区域的目标轨迹如图3所示。其中，图3示出的目标轨迹是同步定位与建图的结果，是自动驾驶车辆行驶轨迹，该目标轨迹往返大致有4米(图3中显示为3.970381)的重影，即闭环重影。参考图3，重影区域包含参考轨迹和待矫正轨迹，本申请实施例要达到的效果是以参考轨迹为基准，将待矫正轨迹矫正至于参考轨迹重合，以去除重影。其中，参考轨迹对应的帧为参考帧，待矫正轨迹对应的帧为待矫正帧。其中，△X-0.337700表示X坐标的差；△Y-3.955700表示Y坐标的差；△Z-0.048200表示Z坐标的差；△XY 3.970088表示XY平面上的差；△XZ 0.341122表示XZ平面上的差；△ZY 3.955994表示ZY平面上的差。

在数据输入要求方面，本申请实施例需要的数据包括同步定位和建图后得到的点云数据和位姿数据，其中，点云数据存储于点云文件中，位姿数据存储于位姿文件中。

该步骤通过加载点云数据，显示点云数据对应的目标轨迹，以供用户查看重影区域。示例地，三维点云处理软件CloudCompare有基础的打开点云数据和显示功能，但本申请不以此为限制。

S202、响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息。

用户在已知目标轨迹的重影区域后，可在重影区域上进行连接一对关联帧中参考帧和待矫正帧的操作，即将参考帧与待矫正帧进行关联，以针对性地进行点云对齐。对于连接关联帧的操作，本申请实施例不予限制，以下进行示例说明：

一种示例中，用户通过鼠标将光标定位在参考轨迹上一点，通过点击鼠标左键等类似操作，选中该点对应的帧为进行关联的参考帧；之后，用户再通过鼠标将光标定位在待矫正轨迹上一点，通过点击鼠标左键等类似操作，选中该点对应的帧为进行关联的待矫正帧，从而实现一对关联帧的连接。

另一种示例中，用户通过鼠标将光标定位在参考轨迹上一点，通过点击鼠标左键等类似操作，选中该点对应的帧为进行关联的参考帧；之后，用户再通过鼠标连续拖动光标至待矫正轨迹上一点，通过点击鼠标左键等类似操作，选中该点对应的帧为进行关联的待矫正帧，从而实现一对关联帧的连接。

在用户执行上述操作后，客户端响应于上述操作，显示关联帧的时间点信息，即参考帧的时间点信息与待矫正帧的时间点信息。由于目标轨迹上每一帧发生的时间不同，因此通过时间点信息可区分参考帧和/或待矫正帧。

可选地，该方法还可以包括：响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，在屏幕中显示该关联帧对应的优化边，如图4所示。进一步地，在显示关联帧的时间点信息之后，还可以包括：响应于用户选中关联帧的操作，在屏幕中心显示关联帧所在的区域，如图5所示。

S203、根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿。

其中，预设点云对齐信息可以包括以下信息中的至少一种：三维坐标中的X、三维坐标中的Y、三维坐标中的Z、激光反射强度(Intensity)、颜色信息(RGB)中的R、颜色信息(RGB)中的G、颜色信息(RGB)中的B。示例地，若待矫正帧对应的点云数据与参考帧对应的点云数据中只有X坐标值不同，则预设点云对齐信息仅包括该X坐标值。另外，由于对于用户来说该X坐标值是未知的，因此，可以在开始的时候将预设点云对齐信息设置的小一些，后期通过调整预设点云对齐信息的大小，达到将待矫正帧对应的点云对齐至参考帧对应的点云的目的，从而得到该对关联帧中待矫正帧相对参考帧的相对位姿。

一种可能的实现方式中，参考帧对应的点云与待矫正帧对应的点云可通过不同颜色进行区分显示。示例地，待矫正帧对应的点云采用红色表示，参考帧对应的点云采用绿色表示，此时，客户端根据预设点云对齐信息调整红色点云直到与绿色点云对齐，客户端会自动计算出红色点云与绿色点云对应的两帧之间的相对位姿。可选地，这些相对位姿作为闭环矫正或者前后配准误差矫正的修正信息，可存储到本地相对目录下面的矫正信息文件，例如fixfile.txt，以便于查找。

S204、根据相对位姿对目标轨迹进行重影优化。

根据点云对齐得到的相对位姿对目标轨迹进行重影优化，这样即可实现重影的消除。之后，再基于重影优化后的数据进行同步定位和建图，得到的高精度地图，以辅助自动驾驶。

本申请实施例提供的建图重影去除方法，首先显示包含重影区域的目标轨迹，响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息；之后，根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；最后，根据相对位姿对目标轨迹进行重影优化。通过将待矫正帧对应的点云对齐至参考帧对应的点云得到相对位姿，并根据相对位姿对目标轨迹进行重影优化来有效去除建图重影，包括由于单趟匹配错误导致的重影、闭环检测难导致的重影。

在上述基础上，作为一种可能的实施例，本申请提供的建图重影去除方法可以基于CloudCompare开源软件实现。在CloudCompare开源软件现有功能的基础上，设计重影去除工具的插件，为用来进行闭环矫正而且可以修正前后配准误差。示例性地，重影去除工具的操作面板如图6所示。参考图6，操作面板中包含有三个区域，分别标识为：选取矫正点、点云对齐和重影去除，其中：

一、选取矫正点

该区域中包含合并控件、添加控件、删除控件、数据裁剪控件以及面板列表。具体地，合并控件用于合并点云轨迹；添加控件用于添加新的关联帧，其中，关联帧所包含的参考帧与待矫正帧之间的连线即优化边，也就是点云对齐时的约束边信息；删除控件用于删除关联帧；数据裁剪控件用于对点云数据进行按对应时间点信息剪裁，以保留关联帧对应的点云数据。通过添加控件添加的一对关联帧的时间点信息显示在面板列表中；通过删除控件删除面板列表中被选中的关联帧。面板列表包含三列数据，具体为：关联帧对应的序号，关联帧包含的参考帧以及待矫正帧。因此，上述显示关联帧的时间点信息，可以包括：在重影去除工具的操作面板中，显示关联帧的时间点信息，如图7所示例。

二、点云对齐

这一区域中包含对待矫正帧进行旋转和/或平移操作的控件，并且可以设置旋转及平移的步长信息。

如上所述预设点云对齐信息包含用户在该区域中实时设置的位姿信息。在用户选中关联帧后，在该区域设置预设点云对齐信息。之后，客户端根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿。具体地，客户端执行以下步骤，直至待矫正帧的点云与参考帧对应的点云对齐，并确定此时的矫正旋转矩阵为所述相对位姿：

根据预设点云对齐信息，得到矫正旋转矩阵；

将待矫正帧对应的点云与矫正旋转矩阵相乘，得到矫正后的点云；

显示矫正后的点云；

若矫正后的点云与参考帧对应的点云未对齐，则响应于用户更新点云对齐信息的操作，将更新后的点云对齐信息作为新的预设点云对齐信息。

三、重影去除

该区域中包含有用于重影优化的重影优化及输出控件、用于平面优化的虚拟控件，当虚拟控件为选中属性时，对重影优化后的各帧数据进行平面约束优化。可选地，预先设置重影优化后数据的保存地址，以便后续查找查看或应用。示例地，该保存地址可以是客户端内部的存储介质，或者，还可以是位于客户端之外的存储介质，例如云端服务器等等。

另外，操作面板中还包含用于关闭重影去除工具的关闭控件，如图7右上角所示。

该重影去除工具操作简单、易于理解，人工交互过程效率较高，且基于开源软件CloudCompare进行开发的插件，使用庞大的开源功能的同时，可以更便捷的进行同步定位和建图的重影去除。

接下来，结合重影去除工具的应用说明本申请所提供的建图重影去除方法的具体实现。

一些实施例中，S201、显示包含重影区域的目标轨迹，可以包括：当检测到用户点击合并控件的指令时，显示候选点云文件；当检测到用户选中候选点云文件中目标点云文件的指令时，获取多个目标点云文件，目标点云文件包含目标轨迹中部分轨迹对应的数据；对多个目标点云文件进行轨迹合并，显示目标轨迹。具体地，当用户点击合并控件时，客户端显示文件目录；在用户找到点云文件所在的目录后，选择点云文件进行合并。由于处理数据量较大，通常操作的数据输入是很多点云文件，所以要进行一次轨迹合并，方便后续关联帧的选取。

在用户选取关联帧(矫正点)时，先选待矫正帧，再选参考帧。示例地，用户点击添加控件，然后根据重影区域对应的轨迹点，如图3，添加5对关联帧，如图4所示。进一步地，S202、响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息，可以包括：在检测到用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作时，显示是否确认加载的信息；若检测到用户确认加载的指令，则显示关联帧的时间点信息。示例地，在用户选择第二个轨迹点时，客户端会提示是否确认加载，如图8所示，在用户确认加载后，客户端在面板列表中显示关联帧的时间点信息，同时会有优化边显示在重影区域。

可选地，若用户双击序号中的某一项，客户端响应该操作，将该序号对应的优化边自动定位到屏幕中心。

在用户点击数据裁剪控件，客户端根据已选取的关联帧进行数据裁剪，保留关联帧以及与关联帧邻近的帧对应的点云数据。因此，一些实施例中，在根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿之前，该方法还可以包括：响应于用户作用在重影去除工具的操作面板上的数据裁剪操作，对目标轨迹对应的点云数据进行数据裁剪，保留关联帧及与关联帧前后邻近的N帧对应的点云数据，并在屏幕中显示一对关联帧对应的点云，如图9所示。其中，N的取值是根据实际需求或历史经验确定的。

若包含多对关联帧，则上述在屏幕中显示一对关联帧对应的点云，包括：在屏幕中显示第一对关联帧对应的点云。此时，该方法还可以包括：在将第一对关联帧中的待矫正帧对应的点云对齐至第一对关联帧中的参考帧对应的点云(如图10所示)后，响应于用户作用在操作面板上的对下一组关联帧进行点云对齐的操作，保存第一对关联帧对应的相对位姿，并在屏幕中显示第二对关联帧对应的点云，针对第二对关联帧对应的点云执行所述根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿的步骤，直至完成对多对关联帧的点云对齐。可选地，在完成对多对关联帧的点云对齐后，客户端可以弹框提示已经全部对齐完毕。

可选地，该方法还可以包括：通过进度条程序加载多对关联帧对应的点云，多对关联帧对应的点云的加载顺序是根据关联帧的关联时间点确定的。可以理解，关联时间点可表现为面板列表中序号，先建立关联的关联帧的序号排在前边，序号较小；后建立关联的关联帧的序号排在后边，序号较大。

一些实施例中，S204、根据相对位姿对目标轨迹进行重影优化，可以包括：获取位姿文件，该位姿文件包含目标轨迹对应的各帧的位姿；根据各帧的位姿，得到相邻帧之间的位姿变化；根据相对位姿、各帧的位姿及位姿变化，对目标轨迹进行重影优化。其中，重影优化包括闭环优化和前后匹配优化。

可选地，获取位姿文件，可以包括：响应于用户作用在重影去除工具的操作面板上的重影优化操作，显示候选位姿文件；响应于用户选中候选位姿文件中位姿文件的选中操作，获取位姿文件。例如，用户点击标识有“重影优化及输出”的虚拟控件，此时，重影优化操作即点击操作，客户端响应于该操作，弹框显示候选位姿文件，待用户选择后，客户端获取位姿文件。

其中，根据相对位姿、各帧的位姿及位姿变化，对目标轨迹进行重影优化，包括：将位姿变化作为优化边，优化边的权值设置为预设值，各帧的位姿作为G2O优化节点，对各帧的位姿进行非线性优化；根据优化后位姿，输出重影去除后的点云地图数据。这里使用G2O库进行非线性优化，每个位姿是G2O优化节点，相邻位姿之间的位姿变换是优化边，在进行优化时，优化边的权值都赋值为预设值，例如1，即可完成非线性优化。

一些实施例中，在S204、根据相对位姿对目标轨迹进行重影优化之后，该方法还可以包括：对重影优化后的各帧数据进行平面约束优化。可选地，该步骤可以包括：相对重影优化后的各帧数据提取地面；计算各帧数据垂直于地面的法线向量，使用(0,0,1)向量与每个法向向量之间构成约束边，以对重影优化后的各帧数据通过约束地面进行水平优化。

也就是说，本申请实施例提供的建图重影去除方法支持进行平面约束优化，如果此点云区域预先知道是接近平面的，则可以勾选平面约束进行优化，将所有点云数据变成同一个高度，防止地面起伏漂移。该方法是参考hdl_graph_slam开源框架的平面约束方法，通过对每帧点云提取地面，计算垂直于地面的法线向量，使用(0,0,1)向量与每个地面法向量之间构成约束边，从而约束了地面进行水平优化。

补充说明的是，在上述每一操作进行时，会有相应日志信息打印到日志栏，以便于后续查看等。

针对上述前端操作逻辑和介绍，下面说明一下客户端的计算处理逻辑：

1)选取矫正点。在这个过程中，客户端读取所有选取的点云文件，将这些点云文件合并为一个大的轨迹文件，并将轨迹加载显示到当前界面。通过前端点击选择的关联帧，客户端获取关联帧的时间点信息，并显示到面板列表中。进行数据裁剪操作时，每对关联帧对应的点云数据会记录到客户端内存，并显示第一对关联帧对应的点云数据在屏幕中。

2)点云对齐。用户在前端进行旋转平移点云数据的过程中，客户端是通过将点云乘以矫正旋转矩阵达到点云旋转效果，加减x、y、z坐标并更新计算结果到显示界面，最终达到旋转平移效果。最终前端对齐两份点云数据时，客户端会累积计算出对齐前后的位姿差别得到相对位姿，并记录相对位姿。

3)重影去除。该操作是通过非线性优化算法G2O库实现的。将相邻位姿之间的位姿变换作为优化边，优化边的权值设置默认为预设值，位姿作为G2O优化节点，最终对位姿进行后端非线性优化，优化后根据新的位姿输出校正后的点云地图数据。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图11为本申请一实施例提供的建图重影去除装置的结构示意图。本申请实施例提供一种建图重影去除装置，该装置可以集成在客户端中。如图11所示，建图重影去除装置110包括：显示模块111和处理模块112。其中：

显示模块111，用于显示包含重影区域的目标轨迹；以及，响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示关联帧的时间点信息。

处理模块112，用于根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿；及，根据相对位姿对目标轨迹进行重影优化。

本申请实施例提供的装置，可用于执行图2所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

可选地，预设点云对齐信息包含用户在重影去除工具的操作面板上实时设置的位姿信息。

可选地，显示模块111在用于显示关联帧的时间点信息时，具体用于：在重影去除工具的操作面板中，显示关联帧的时间点信息。

一些实施例中，处理模块112在用于根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿时，具体用于：

执行以下步骤，直至待矫正帧的点云与参考帧对应的点云对齐，并确定点云对齐时的矫正旋转矩阵为相对位姿：

根据预设点云对齐信息，得到矫正旋转矩阵；

将待矫正帧对应的点云与矫正旋转矩阵相乘，得到矫正后的点云；

显示矫正后的点云；

若矫正后的点云与参考帧对应的点云未对齐，则响应于用户更新点云对齐信息的操作，将更新后的点云对齐信息作为新的预设点云对齐信息。

一些实施例中，处理模块112在用于根据相对位姿对目标轨迹进行重影优化时，具体用于：获取位姿文件，位姿文件包含目标轨迹对应的各帧的位姿；根据各帧的位姿，得到相邻帧之间的位姿变化；根据相对位姿、各帧的位姿及位姿变化，对目标轨迹进行重影优化。

一些实施例中，处理模块112在用于获取位姿文件时，具体用于：响应于用户作用在重影去除工具的操作面板上的重影优化操作，显示候选位姿文件；响应于用户选中候选位姿文件中位姿文件的选中操作，获取位姿文件。

一些实施例中，处理模块112在用于根据所述相对位姿、所述各帧的位姿及所述位姿变化，对所述目标轨迹进行重影优化时，具体用于：将位姿变化作为优化边，优化边的权值设置为预设值，各帧的位姿作为G2O优化节点，对各帧的位姿进行非线性优化；根据优化后位姿，输出重影去除后的点云地图数据。

一些实施例中，处理模块112还可以用于：在根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿之前，响应于用户作用在重影去除工具的操作面板上的数据裁剪操作，对目标轨迹对应的点云数据进行数据裁剪，保留关联帧及与关联帧前后邻近的N帧对应的点云数据，并触发显示模块111在屏幕中显示一对关联帧对应的点云。

一些实施例中，若包含多对关联帧，则显示模块111在用于在屏幕中显示一对关联帧对应的点云时，具体用于：在屏幕中显示第一对关联帧对应的点云。处理模块112还用于：在将第一对关联帧中的待矫正帧对应的点云对齐至第一对关联帧中的参考帧对应的点云后，响应于用户作用在操作面板上的对下一组关联帧进行点云对齐的操作，保存第一对关联帧对应的相对位姿，并在屏幕中显示第二对关联帧对应的点云，针对第二对关联帧对应的点云执行所述根据预设点云对齐信息，将待矫正帧对应的点云对齐至参考帧对应的点云，得到相对位姿的步骤，直至完成对多对关联帧的点云对齐。

一些实施例中，处理模块112还可以用于：通过进度条程序加载多对关联帧对应的点云，多对关联帧对应的点云的加载顺序是根据关联帧的关联时间点确定的。

一些实施例中，显示模块111还可以用于：响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，在屏幕中显示该关联帧对应的优化边。

一些实施例中，显示模块111还可以用于：在显示关联帧的时间点信息之后，响应于用户选中关联帧的操作，在屏幕中心显示关联帧所在的区域。

一些实施例中，显示模块111在用于响应于用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示所述关联帧的时间点信息时，具体为：在检测到用户在重影区域上的连接一对关联帧中参考帧和待矫正帧的操作时，显示是否确认加载的信息；若检测到用户确认加载的指令，则显示关联帧的时间点信息。

可选地，重影去除工具的操作面板中包含用于合并轨迹的合并控件。此时，显示模块在用于显示包含重影区域的目标轨迹时，具体用于：当检测到用户点击合并控件的指令时，显示候选点云文件；当检测到用户选中候选点云文件中目标点云文件的指令时，获取多个目标点云文件，目标点云文件包含目标轨迹中部分轨迹对应的数据；对多个目标点云文件进行轨迹合并，显示目标轨迹。

进一步地，处理模块112还可以用于：在根据相对位姿对目标轨迹进行重影优化之后，对重影优化后的各帧数据进行平面约束优化。

更进一步地，处理模块112在用于对重影优化后的各帧数据进行平面约束优化时，具体用于：相对重影优化后的各帧数据提取地面；计算各帧数据垂直于地面的法线向量，使用(0,0,1)向量与每个法向向量之间构成约束边，以对重影优化后的各帧数据通过约束地面进行水平优化。

可选地，重影去除工具的操作面板中包含用于平面优化的虚拟控件，当该虚拟控件为选中属性时，对重影优化后的各帧数据进行平面约束优化。

可选地，重影去除工具的操作面板中包含用于删除关联帧的删除控件，和/或，用于添加新的关联帧的添加控件。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，简称SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图12为本申请一实施例提供的电子设备的结构示意图。该电子设备例如为如前所述的客户端。如图12所示，该电子设备可以包括：处理器81、存储器82、通信接口83和系统总线84。其中，存储器82和通信接口83通过系统总线84与处理器81连接并完成相互间的通信，存储器82用于存储计算机程序，通信接口83用于和其他设备进行通信，处理器81用于调用存储器中的计算机程序以执行如上述建图重影去除方法实施例所述的方案。

该图12中提到的系统总线84可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线84可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口83用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。

存储器82可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器81可以是通用处理器，包括中央处理器、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如上任一方法实施例所述的建图重影去除方法。

本申请实施例还提供一种运行指令的芯片，芯片用于执行如上任一方法实施例所述的建图重影去除方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取计算机程序，该至少一个处理器执行所述计算机程序时可实现如上任一方法实施例所述的建图重影去除方法。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

1.一种建图重影去除方法，其特征在于，包括：

显示包含重影区域的目标轨迹，其中，所述重影区域的目标轨迹包含参考轨迹和待矫正轨迹，所述参考轨迹对应的帧为参考帧，所述待矫正轨迹对应的帧为待矫正帧；

响应于用户在所述重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示所述关联帧的时间点信息；

根据预设点云对齐信息，将所述待矫正帧对应的点云对齐至所述参考帧对应的点云，得到相对位姿；

获取位姿文件，所述位姿文件包含所述目标轨迹对应的各帧的位姿；

根据所述各帧的位姿，得到相邻帧之间的位姿变化；

根据所述相对位姿、所述各帧的位姿及所述位姿变化，对所述目标轨迹进行重影优化，其中，重影优化包括闭环优化和前后匹配优化；

所述根据所述相对位姿、所述各帧的位姿及所述位姿变化，对所述目标轨迹进行重影优化，包括：

将所述相对位姿作为闭环优化或者前后匹配优化的修正信息，将所述位姿变化作为优化边，所述优化边的权值设置为预设值，所述各帧的位姿作为G2O优化节点，对所述各帧的位姿进行非线性优化；根据优化后位姿，输出重影去除后的点云地图数据。

2.根据权利要求1所述的方法，其特征在于，所述预设点云对齐信息包含用户在重影去除工具的操作面板上实时设置的位姿信息。

3.根据权利要求1所述的方法，其特征在于，所述显示所述关联帧的时间点信息，包括：在重影去除工具的操作面板中，显示所述关联帧的时间点信息。

4.根据权利要求1所述的方法，其特征在于，所述根据预设点云对齐信息，将所述待矫正帧对应的点云对齐至所述参考帧对应的点云，得到相对位姿，包括：

执行以下步骤，直至所述待矫正帧的点云与所述参考帧对应的点云对齐，并确定点云对齐时的矫正旋转矩阵为所述相对位姿：

根据所述预设点云对齐信息，得到矫正旋转矩阵；

将所述待矫正帧对应的点云与所述矫正旋转矩阵相乘，得到矫正后的点云；

显示所述矫正后的点云；

若所述矫正后的点云与所述参考帧对应的点云未对齐，则响应于用户更新点云对齐信息的操作，将更新后的点云对齐信息作为新的预设点云对齐信息。

5.根据权利要求1所述的方法，其特征在于，所述获取位姿文件，包括：

响应于用户作用在重影去除工具的操作面板上的重影优化操作，显示候选位姿文件；

响应于用户选中所述候选位姿文件中所述位姿文件的选中操作，获取所述位姿文件。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据预设点云对齐信息，将所述待矫正帧对应的点云对齐至所述参考帧对应的点云，得到相对位姿之前，还包括：

响应于用户作用在重影去除工具的操作面板上的数据裁剪操作，对所述目标轨迹对应的点云数据进行数据裁剪，保留所述关联帧及与所述关联帧前后邻近的N帧对应的点云数据，并在屏幕中显示一对关联帧对应的点云。

7.根据权利要求6所述的方法，其特征在于，若包含多对关联帧，则所述在屏幕中显示一对关联帧对应的点云，包括：在屏幕中显示第一对关联帧对应的点云；

所述方法还包括：在将所述第一对关联帧中的待矫正帧对应的点云对齐至所述第一对关联帧中的参考帧对应的点云后，响应于用户作用在所述操作面板上的对下一组关联帧进行点云对齐的操作，保存所述第一对关联帧对应的相对位姿，并在屏幕中显示第二对关联帧对应的点云，针对所述第二对关联帧对应的点云执行所述根据预设点云对齐信息，将所述待矫正帧对应的点云对齐至所述参考帧对应的点云，得到相对位姿的步骤，直至完成对所述多对关联帧的点云对齐。

8.根据权利要求7所述的方法，其特征在于，还包括：

通过进度条程序加载所述多对关联帧对应的点云，所述多对关联帧对应的点云的加载顺序是根据所述关联帧的关联时间点确定的。

9.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：

响应于用户在所述重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，在屏幕中显示所述关联帧对应的优化边。

10.根据权利要求9所述的方法，其特征在于，所述显示所述关联帧的时间点信息之后，还包括：

响应于用户选中所述关联帧的操作，在屏幕中心显示所述关联帧所在的区域。

11.根据权利要求1至5中任一项所述的方法，其特征在于，所述响应于用户在所述重影区域上的连接一对关联帧中参考帧和待矫正帧的操作，显示所述关联帧的时间点信息，包括：

在检测到用户在所述重影区域上的连接一对关联帧中参考帧和待矫正帧的操作时，显示是否确认加载的信息；

若检测到用户确认加载的指令，则显示所述关联帧的时间点信息。

12.根据权利要求1至5中任一项所述的方法，其特征在于，重影去除工具的操作面板中包含用于合并轨迹的合并控件，所述显示包含重影区域的目标轨迹，包括：

当检测到用户点击所述合并控件的指令时，显示候选点云文件；

当检测到用户选中所述候选点云文件中目标点云文件的指令时，获取多个所述目标点云文件，所述目标点云文件包含所述目标轨迹中部分轨迹对应的数据；

对所述多个目标点云文件进行轨迹合并，显示所述目标轨迹。

13.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述相对位姿对所述目标轨迹进行重影优化之后，还包括：

对重影优化后的各帧数据进行平面约束优化。

14.根据权利要求13所述的方法，其特征在于，所述对重影优化后的各帧数据进行平面约束优化，包括：

相对重影优化后的各帧数据提取地面；

计算所述各帧数据垂直于地面的法线向量，使用（0,0,1）向量与每个法向向量之间构成约束边，以对重影优化后的各帧数据通过约束地面进行水平优化。

15.根据权利要求13所述的方法，其特征在于，重影去除工具的操作面板中包含用于平面优化的虚拟控件，当所述虚拟控件为选中属性时，对重影优化后的各帧数据进行平面约束优化。

16.根据权利要求1至5中任一项所述的方法，其特征在于，重影去除工具的操作面板中包含用于删除所述关联帧的删除控件，以及用于添加新的关联帧的添加控件。

17.一种建图重影去除装置，其特征在于，包括：

显示模块，用于显示包含重影区域的目标轨迹，其中，所述重影区域的目标轨迹包含参考轨迹和待矫正轨迹，所述参考轨迹对应的帧为参考帧，所述待矫正轨迹对应的帧为待矫正帧；以及，响应于用户在所述重影区域上的连接一对关联帧中参考帧与待矫正帧的操作，显示所述关联帧的时间点信息；

处理模块，用于根据预设点云对齐信息，将所述待矫正帧对应的点云对齐至所述参考帧对应的点云，得到相对位姿；及，获取位姿文件，所述位姿文件包含所述目标轨迹对应的各帧的位姿；根据所述各帧的位姿，得到相邻帧之间的位姿变化；根据所述相对位姿、所述各帧的位姿及所述位姿变化，对所述目标轨迹进行重影优化，其中，重影优化包括闭环优化和前后匹配优化；所述处理模块在用于根据所述相对位姿、所述各帧的位姿及所述位姿变化，对所述目标轨迹进行重影优化时，将所述相对位姿作为闭环优化或者前后匹配优化的修正信息，将所述位姿变化作为优化边，所述优化边的权值设置为预设值，所述各帧的位姿作为G2O优化节点，对所述各帧的位姿进行非线性优化；根据优化后位姿，输出重影去除后的点云地图数据。

18.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至16中任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至16中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至16中任一项所述的方法。