CN115861423A - 实景监测方法、装置及其系统 - Google Patents

Abstract

本申请提出了一种实景监测方法及其装置，涉及数据处理技术领域。该方法包括：对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据；针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵；根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。本申请可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

Description

实景监测方法、装置及其系统

技术领域

本申请涉及数据处理技术领域，尤其涉及一种实景监测方法、装置及其系统。

背景技术

实景监测是指使用传感器获得三维的空间信息与二维的图像信息，达到将现实中场景复制为数字场景的目的。在一定的实时性要求下，可以对现实场景进行监测，为定位、追踪等高级功能的基础。

实现中，在复杂、狭长场景下，不同时间获得的点云坐标转换的过程中需要场景中具有稳定的参照物，导致实景监测可能出现输出信息单调不直观、无图像信息可供识别的问题。因此，如何在动态变化或复杂环境中实时输出全景点云数据，提高实景监测的灵活性以及准确性，已经成为重要研究方向之一。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种实景监测方法。

本申请的第二个目的在于提出一种实景监测装置。

本申请的第三个目的在于提出一种实景监测系统。

本申请的第四个目的在于提出一种电子设备。

本申请的第五个目的在于提出一种非瞬时计算机可读存储介质。

本申请的第六个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种实景监测方法，包括：

对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，M个数据采集设备中包括基准数据采集设备和除基准数据采集设备之外的M-1个候选数据采集设备，M为大于2的整数；

针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；

根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵；

根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。

本申请实施例中，可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

为达上述目的，本申请第二方面实施例提出了一种实景监测装置，包括：

第一获取模块，用于对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，M个数据采集设备中包括基准数据采集设备和除基准数据采集设备之外的M-1个候选数据采集设备，M为大于2的整数；

第二获取模块，用于针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；

第三获取模块，用于根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵；

第四获取模块，用于根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。

为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请第一方面实施例中提供的实景监测方法。

为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机指令，其中，计算机指令用于使计算机执行根据本申请第一方面实施例中提供的实景监测方法。

为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请第一方面实施例中提供的实景监测方法。

附图说明

图1是本申请一个实施例的实景监测系统的示意图；

图2是本申请一个实施例的实景监测方法的流程图；

图3是本申请一个实施例的实景监测方法的示意图；

图4是本申请一个实施例的实景监测方法的流程图；

图5是本申请一个实施例的实景监测方法的流程图；

图6是本申请一个实施例的实景监测方法的示意图；

图7是本申请一个实施例的实景监测方法的流程图；

图8是本申请一个实施例的实景监测方法的示意图；

图9是本申请一个实施例的实景监测方法的流程图；

图10是本申请一个实施例的实景监测装置的结构框图；

图11是本申请一个实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面结合附图来描述本申请实施例的实景监测方法及其装置。

图1是本申请一个实施例的实景监测系统的示意图，如图1所示，实景监测系统，包括M个数据采集设备，N个服务器和X个终端设备，其中，M、N、X均为正整数，M<N，每个服务器连接一个或多个数据采集设备，每个终端设备连接一个或多个服务器。M个数据采集设备中包括基准数据采集设备和除基准数据采集设备之外的M-1个候选数据采集设备。

数据采集设备，用于采集点云与图像数据，并发送给连接的服务器。

服务器，用于对数据采集设备进行时间同步处理和空间同步处理，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵，并接收连接的数据采集设备发送的点云与图像数据，根据相对坐标转换矩阵、点云与图像数据获取全景点云数据，并将全景点云数据发送给终端设备。

可选地，为了提高数据处理效率，在一些实现中，N个服务器之间具有层级关系，第一级服务器将其获取的点云与图像数据发送给其连接的第二级服务器，第二级服务器对接收的一个或多个第一级服务器发送的点云与图像数据进行整合，并发送给下一级服务器，以此类推，直至最高级服务器整合所有点云与图像数据，并生成点云数据发送给终端设备。

终端设备，用于接收连接的服务器发送的全景点云数据，并进行展示。

可选地，服务器可以通过预设接口或无线网络将所述全景点云数据发送给终端设备，可供后续开发的数据处理软件实现对图像、点云数据的进一步分析处理以及实际应用。

图2是本申请一个实施例的实景监测方法的流程图，如图2所示，该方法包括：

S201，对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据。

本申请实施例中，对于单个数据采集设备，因扫描范围有限，无法适应大场景、复杂场景。因而本申请实施例提出同时使用多个数据采集设备、使用空间、时间同步其产生数据，达到对全场景进行实景监测的方案。

需要说明的是，M个数据采集设备中包括基准数据采集设备和除基准数据采集设备之外的M-1个候选数据采集设备，M为大于2的整数。其中，M个数据采集设备可以根据应用环境灵活布置，使其覆盖所有需进行实景监测的面积，针对每个单独的数据采集设备，保证其与其他数据采集设备具有重合采集区域，便于后续进行数据处理。

本申请实施例中，各数据采集设备向服务器请求当前的时间，根据获得结果矫正自己的时钟。也就是说，数据采集设备需获得数据采集设备与同步控制设备之间的时钟偏差，根据时钟偏差进行时间同步处理，实现服务器与数据采集设备的时间同步。

可选地，服务器可以是同步控制设备，例如计算机、平板电脑等可以具有数据处理功能的电子设备。

本申请实施例中，数据采集设备可以是由多个设备构成的组件，可选地，数据采集设备可以包括多种传感器，如距离传感器等，还可以包括激光雷达、惯性测量单元IMU、相机等数据采集设备。

在一些实现中，如环境相对静止，可以利用场景中明显的标志物，通过使用图像信息识别标志物，通过点云信息找到标志物对应坐标信息，获取任一数据采集设备的位姿数据。

S202，针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据。

如图3所示，以数据采集设备310为例进行说明，调用数据采集设备310对当前环境进行数据采集，获取当前环境的点云与图像数据，其中阴影区域320为数据采集设备310的数据采集范围。

可选地，本申请实施例中，点云与图像数据包括点云数据以及图像数据。

S203，根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

本申请实施例中，根据任一数据采集设备的位姿数据进行空间同步处理，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

在一些实现中，数据采集设备的相对位姿未发生变化，当前环境为静态环境，可以使用静态特征识别方法获得任一候选数据采集设备与基准数据采集设备的点云与图像数据中，针对同一标志物的不同坐标信息，进而根据同一标志物的不同坐标信息获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

在一些实现中，数据采集设备的相对位姿发生变化，或当前环境为动态环境，可以使用视觉惯性里程计(visual-inertial odometry，VIO)方法，即先获取任一候选数据采集设备与基准数据采集设备之间的相对初始位姿，在运动过程中，使用VIO技术，集合IMU惯性测量单元与图像，获得任一数据采集设备的移动前后的相对位姿，结合初始位姿，即可获得当前时刻不同数据采集设备之间的相对位姿，进而根据当前时刻不同数据采集设备之间的相对位姿获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

S204，根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。

针对任一候选数据采集设备，根据相对坐标转换矩阵将候选设备的点云与图像数据拼接至基准数据采集设备的点云与图像数据上，生成全景点云数据。

需要说明的是，任一数据采集设备所采集的点云与图像数据都是在自身坐标系下的点云与图像数据，本申请实施例中，根据相对坐标转换矩阵，将每个候选数据采集设备采集的点云与图像数据，转化为以基准数据采集设备对应坐标系下的点云与图像数据，举例说明，可以采用以下公式进行转化：

其中，

为第n个候选数据采集设备的点云与图像数据，

为第n个候选数据采集设备对应的相对坐标转换矩阵，/>

为转化后的基准数据采集设备对应坐标系下的点云与图像数据。n取值1至M-1。

最后，对转换后的点云与图像数据进行拼接，获取全景点云数据。

本申请获取多个数据采集设备的位姿数据，针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵；根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。本申请实施例中，可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

图4是本申请一个实施例的实景监测方法的流程图，如图4所示，对M个数据采集设备进行时间同步处理，包括：

S401，针对任一数据采集设备，接收数据采集设备发送的第一时间同步请求，并向数据采集设备发送第二时间同步请求。

各数据采集设备向服务器请求当前的时间，根据获得结果矫正自己的时钟。需获得数据采集设备与同步控制设备之间的时钟偏差。

任一数据采集设备首先向服务器发送第一时间同步请求，其中包含了第一时间同步请求离开数据采集设备的第一时间戳T₁，当服务器接收到第一时间同步请求时，依次填入第一时间同步请求到达的第二时间戳T₂、离开的第三时间戳T₃，然后立即向数据采集设备发送第二时间同步请求。数据采集设备在接收到第二时间同步请求时，记录第二时间同步请求返回的第四时间戳T₄。

S402，获取接收/发送第一时间同步请求和第二时间同步请求的多个时间戳。

获取数据采集设备发送第一时间同步请求的第一时间戳T₁、接收第一时间同步请求的第二时间戳T₂，向数据采集设备发送第二时间同步请求的第三时间戳T₃和数据采集设备接收第二时间同步请求的第四时间戳T₄。

S403，根据多个时间戳和预设的数据传送延时值获取时钟偏差值，并根据时钟偏差值对数据采集设备进行时间同步。

设置d₁为请求数据(第一时间同步请求)传送延时，d₂为回复数据(第二时间同步请求)传送延时；数据采集设备用上述参数就能够计算出数据的往返延迟d、数据采集设备与同步控制设备时钟偏差t，其中：

因d₁请求数据传送延时与d₂回复数据传送延时相等，可得：

服务器调用数据采集设备根据时钟偏差值t进行时间同步。

本申请实施例中，根据多个时间戳和预设的数据传送延时值获取时钟偏差值，并根据时钟偏差值对数据采集设备进行时间同步。本申请实施例可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性。

图5是本申请一个实施例的实景监测方法的流程图，如图5所示，根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵，包括：

S501，获取第一数据采集设备在当前第一位姿下的第一点云与图像数据，第二数据采集设备在当前第二位姿下的第二点云与图像数据。

关于步骤S501的内容可以参见上述实施例中的相关介绍，需要说明的是，本申请实施例中，第一数据采集设备和第二数据采集设备为不同的数据采集设备，针对任一第一数据采集设备，第一数据采集设备在当前第一位姿下采集的点云与图像数据，为第一数据采集设备对应坐标系下的第一点云与图像数据，第二数据采集设备在当前第二位姿下采集的点云与图像数据，为第二数据采集设备对应坐标系下的的第二点云与图像数据。

S502，根据第一点云与图像数据和第二点云与图像数据确定同一场景下的目标标志物。

如图6所示，如环境相对静止，可以利用场景中明显的标志物，通过使用点云数据或图像数据进行特征识别，确认第一数据采集设备(数据采集设备1)和第二数据采集设备(数据采集设备2)在同一场景下的目标标志物。

S503，根据第一点云与图像数据确定目标标志物的第一坐标信息，并根据第二点云与图像数据确定目标标志物的第二坐标信息。

如图6所示，两个设备同一标志物的坐标信息(x₁，y₁，z₁)与(x₂，y₂，z₂)，其中，(x₁，y₁，z₁)为根据第一点云与图像数据确定目标标志物的第一坐标信息，(x₂，y₂，z₂)为根据第二点云与图像数据确定目标标志物的第二坐标信息。

S504，根据第一坐标信息和第二坐标信息获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

可选地，根据第一坐标信息和第二坐标信息获取第一数据采集设备与第二数据采集设备之间的相对坐标转换矩阵可以是：

需要说明的是，相对坐标转换矩阵与第一坐标信息的乘积可以获取第二坐标信息，也就是说，相对坐标转换矩阵满足以下条件：

对比所有数据采集设备两两之间的相对坐标转换矩阵，可以计算得出任一候选数据采集设备与特定一个基准数据采集设备之间的相对坐标转换矩阵。

本申请实施例中，根据第一点云与图像数据和第二点云与图像数据确定同一场景下的目标标志物，根据第一点云与图像数据确定目标标志物的第一坐标信息，并根据第二点云与图像数据确定目标标志物的第二坐标信息，根据第一坐标信息和第二坐标信息获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。本申请可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

图7是本申请一个实施例的实景监测方法的流程图，如图6所示，位姿数据为上一时刻的初始位姿数据，根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵，包括：

S701，针对任一数据采集设备，获取数据采集设备的视觉惯性里程计。

S702，根据视觉惯性里程计和初始位姿数据获取数据采集设备在当前时刻的目标位姿数据。

如环境相对动态，在运动过程中，使用VIO技术，集合IMU惯性测量单元与图像，获得数据采集设备在当前时刻的目标位姿数据。

S703，根据任一候选数据采集设备在当前时刻的第一目标位姿数据和基准数据采集设备在当前时刻的第二目标位姿数据，获取候选数据采集设备与基准数据采集设备在当前时刻的相对位姿数据。

如图8所示，实现中，以候选数据采集设备为数据采集设备1，基准采集设备为数据采集设备n为例进行说明，候选数据采集设备的第一目标位姿数据经旋转和/或平移以后将会得到基准数据采集设备的第二目标位姿数据，因此，可以根据第一目标位姿数据和第二目标位姿数据获取相对位姿数据。相对位姿数据可以是第一目标位姿数据变换至第二目标位姿数据所需要的透视变换矩阵。相对坐标转换矩阵可以用以下矩阵表示：

S704，根据相对位姿数据获取候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

第一目标位姿数据变换至第二目标位姿数据所需要的透视变换矩阵确定为候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

本申请实施例中，根据视觉惯性里程计和初始位姿数据获取数据采集设备在当前时刻的目标位姿数据，进而获取候选数据采集设备与基准数据采集设备在当前时刻的相对位姿数据，根据相对位姿数据获取候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。本申请可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

图9是本申请一个实施例的实景监测方法的流程图，如图9所示，本申请实施例中，对多个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；若满足预设环境选择条件，根据同一场景下的目标标志物，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。若未满足预设环境选择条件，根据视觉惯性里程计和初始位姿数据获取数据采集设备在当前时刻的目标位姿数据，进而获取候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。进而根据相对坐标转换矩阵将候选设备的点云与图像数据拼接至基准数据采集设备的点云与图像数据上，生成全景点云数据。

可选地，环境选择条件可以是，上次通过VIO技术获取数据采集设备位姿数据变化的时间超过预设时间阈值，且当前时刻下数据采集设备的位置数据发生变化。

本申请可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

基于同一申请构思，本申请实施例还提供了一种实景监测装置。

图10是本申请一个实施例的实景监测装置的结构框图，如图9所示，本申请实施例的实景监测装置1000，包括：

第一获取模块1010，用于对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，M个数据采集设备中包括基准数据采集设备和除基准数据采集设备之外的M-1个候选数据采集设备，M为大于2的整数；

第二获取模块1020，用于针对任一数据采集设备，调用数据采集设备对当前环境进行数据采集，获取点云与图像数据；

第三获取模块1030，用于根据任一数据采集设备的位姿数据，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵；

第四获取模块1040，用于根据相对坐标转换矩阵、点云与图像数据获取全景点云数据。

在一些实现中，第一获取模块1010，还用于：

针对任一数据采集设备，接收数据采集设备发送的第一时间同步请求，并向数据采集设备发送第二时间同步请求；

获取接收/发送第一时间同步请求和第二时间同步请求的多个时间戳；

根据多个时间戳和预设的数据传送延时值获取时钟偏差值，并根据时钟偏差值对数据采集设备进行时间同步。

在一些实现中，第一获取模块1010，还用于：

获取数据采集设备发送第一时间同步请求的第一时间戳、接收第一时间同步请求的第二时间戳，向数据采集设备发送第二时间同步请求的第三时间戳和数据采集设备接收第二时间同步请求的第四时间戳。

在一些实现中，第三获取模块1030，还用于：

获取第一数据采集设备在当前第一位姿下的第一点云与图像数据，第二数据采集设备在当前第二位姿下的第二点云与图像数据；

根据第一点云与图像数据和第二点云与图像数据确定同一场景下的目标标志物；

根据第一点云与图像数据确定目标标志物的第一坐标信息，并根据第二点云与图像数据确定目标标志物的第二坐标信息；

根据第一坐标信息和第二坐标信息获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

在一些实现中，位姿数据为上一时刻的初始位姿数据，第三获取模块1030，还用于：

针对任一数据采集设备，获取数据采集设备的视觉惯性里程计；

根据视觉惯性里程计和初始位姿数据获取数据采集设备在当前时刻的目标位姿数据；

根据任一候选数据采集设备在当前时刻的第一目标位姿数据和基准数据采集设备在当前时刻的第二目标位姿数据，获取候选数据采集设备与基准数据采集设备在当前时刻的相对位姿数据；

根据相对位姿数据获取候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵。

在一些实现中，第四获取模块1040，还用于：

针对任一候选数据采集设备，根据相对坐标转换矩阵将候选设备的点云与图像数据拼接至基准数据采集设备的点云与图像数据上，生成全景点云数据。

在一些实现中，实景监测装置还包括发送模块1050，用于：

通过预设接口或无线网络将全景点云数据发送给终端设备。

本申请可以在动态变化或复杂环境中实时输出全景点云数据，对复杂大范围室内和室外场景进行高精度三维重建、定位，提高实景监测的灵活性以及准确性，场景直观，可供智能分析使用。

基于同一申请构思，本申请实施例还提供了一种电子设备。

图11为本申请实施例提供的电子设备的结构示意图。如图11所示，该电子设备1100，包括存储器1101、处理器1102及存储在存储器1101上并可在处理器1102上运行的计算机程序产品，处理器执行计算机程序时，实现前述的实景监测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令用于使计算机执行上述实施例中的实景监测方法。

基于同一申请构思，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时上述实施例中的实景监测方法。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种实景监测方法，其特征在于，由目标服务器执行，包括：

对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，所述M个数据采集设备中包括基准数据采集设备和除所述基准数据采集设备之外的M-1个候选数据采集设备，所述M为大于2的整数；

针对任一数据采集设备，调用所述数据采集设备对当前环境进行数据采集，获取点云与图像数据；

根据所述任一数据采集设备的位姿数据，获取任一候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵；

根据所述相对坐标转换矩阵、所述点云与图像数据获取全景点云数据。

2.根据权利要求1所述的方法，其特征在于，所述对M个数据采集设备进行时间同步处理，包括：

针对所述任一数据采集设备，接收所述数据采集设备发送的第一时间同步请求，并向所述数据采集设备发送第二时间同步请求；

获取接收/发送所述第一时间同步请求和所述第二时间同步请求的多个时间戳；

根据所述多个时间戳和预设的数据传送延时值获取时钟偏差值，并根据所述时钟偏差值对所述数据采集设备进行时间同步。

3.根据权利要求2所述的方法，其特征在于，所述获取接收/发送所述第一时间同步请求和所述第二时间同步请求的多个时间戳，包括：

获取所述数据采集设备发送所述第一时间同步请求的第一时间戳、接收所述第一时间同步请求的第二时间戳，向所述数据采集设备发送第二时间同步请求的第三时间戳和所述数据采集设备接收所述第二时间同步请求的第四时间戳。

4.根据权利要求1所述的方法，其特征在于，所述根据所述任一数据采集设备的位姿数据，获取任一候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵，包括：

获取第一数据采集设备在当前第一位姿下的第一点云与图像数据，第二数据采集设备在当前第二位姿下的第二点云与图像数据；

根据所述第一点云与图像数据和所述第二点云与图像数据确定同一场景下的目标标志物；

根据所述第一点云与图像数据确定所述目标标志物的第一坐标信息，并根据所述第二点云与图像数据确定所述目标标志物的第二坐标信息；

根据所述第一坐标信息和所述第二坐标信息获取所述任一候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵。

5.根据权利要求1所述的方法，其特征在于，所述位姿数据为上一时刻的初始位姿数据，所述根据所述任一数据采集设备的位姿数据，获取任一候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵，包括：

针对任一数据采集设备，获取所述数据采集设备的视觉惯性里程计；

根据所述视觉惯性里程计和所述初始位姿数据获取所述数据采集设备在当前时刻的目标位姿数据；

根据所述任一候选数据采集设备在当前时刻的第一目标位姿数据和所述基准数据采集设备在当前时刻的第二目标位姿数据，获取所述候选数据采集设备与所述基准数据采集设备在当前时刻的相对位姿数据；

根据所述相对位姿数据获取所述候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述相对坐标转换矩阵、所述点云与图像数据获取全景点云数据，包括：

针对任一候选数据采集设备，根据所述相对坐标转换矩阵将所述候选设备的点云与图像数据拼接至所述基准数据采集设备的点云与图像数据上，生成所述全景点云数据。

7.根据权利要求6所述的方法，其特征在于，还包括：

通过预设接口或无线网络将所述全景点云数据发送给终端设备。

8.一种实景监测装置，其特征在于，包括：

第一获取模块，用于对M个数据采集设备进行时间同步处理，并获取任一数据采集设备的位姿数据，所述M个数据采集设备中包括基准数据采集设备和除所述基准数据采集设备之外的M-1个候选数据采集设备，所述M为大于2的整数；

第二获取模块，用于针对任一数据采集设备，调用所述数据采集设备对当前环境进行数据采集，获取点云与图像数据；

第三获取模块，用于根据所述任一数据采集设备的位姿数据，获取任一候选数据采集设备与所述基准数据采集设备之间的相对坐标转换矩阵；

第四获取模块，用于根据所述相对坐标转换矩阵、所述点云与图像数据获取全景点云数据。

9.一种实景监测系统，其特征在于，包括M个数据采集设备，N个服务器和X个终端设备，其中，M、N、X均为正整数，M<N，每个服务器连接一个或多个数据采集设备，每个终端设备连接一个或多个服务器；

所述数据采集设备，用于采集点云与图像数据，并发送给连接的服务器；

所述服务器，用于对所述数据采集设备进行时间同步处理和空间同步处理，获取任一候选数据采集设备与基准数据采集设备之间的相对坐标转换矩阵，并接收连接的所述数据采集设备发送的点云与图像数据，根据所述相对坐标转换矩阵、所述点云与图像数据获取全景点云数据，并将所述全景点云数据发送给所述终端设备；

所述终端设备，用于接收连接的服务器发送的所述全景点云数据，并进行展示。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

Images