CN113048878A - 光学定位系统、方法以及多视图三维重建系统、方法 - Google Patents

Abstract

本发明实施例公开了一种光学定位系统、方法以及多视图三维重建系统、方法。所述光学定位系统包括：所述光学定位系统的探测范围，覆盖所述多视图重建系统中包括的全部空间探测器，每个所述空间探测器上设置有光学标志物，其中：所述光学定位系统，用于根据对探测范围内的光学标志物的检测结果，对各所述空间探测器进行光学定位，得到各所述空间探测器的定位信息；其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。本发明实施例可以提高空间探测器的外部参数计算的效率，降低三维重建的运算量，增加三维重建的应用场景。

Description

光学定位系统、方法以及多视图三维重建系统、方法

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种光学定位系统、方法以及多视图三维重建系统、方法。

背景技术

目前三维重建技术在各应用领域中有着广泛的应用。三维重建实际是基于获取一个目标场景的多个不同视角的图像，恢复出该目标场景的三维信息。

在三维重建过程中，不同空间探测器获取的设定场景的场景视图是分别以各自的相机坐标系为准，在根据上述获取的场景视图进行三维重建时，需要将场景视图的坐标系均转换到统一坐标系中，确定各场景视图包括的场景在一个坐标系中对应的空间信息，从而在该坐标系中进行该场景的三维建模。其中，可以通过空间探测器的外部参数(包括空间探测器的空间位置和姿势参数)实现将场景视图的坐标系均转换到统一坐标系中。

目前在传统的多视图重建方法中，通过依靠所获取的多视图图像(也即，多个不同视角的图像)本身的信息，对空间探测器进行外部校准，获取空间探测器的外部参数(包括空间探测器的空间位置和姿势参数)，但这种方法的计算量庞大，导致空间探测器的外部参数计算的速度低。

发明内容

本发明实施例提供了一种光学定位系统、方法以及多视图三维重建系统、方法，可以提高空间探测器的外部参数计算的效率，降低三维重建的运算量，增加三维重建的应用场景。

第一方面，本发明实施例提供了一种多视图重建系统的光学定位系统，所述光学定位系统的探测范围，覆盖所述多视图重建系统中包括的全部空间探测器，每个所述空间探测器上设置有光学标志物，其中：

所述光学定位系统，用于根据对探测范围内的光学标志物的检测结果，对各所述空间探测器进行光学定位，得到各所述空间探测器的定位信息；

其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

第二方面，本发明实施例提供了一种多视图重建系统的光学定位方法，应用于本发明实施例任一项所述的系统中，包括：

对探测范围内的光学标志物进行检测，所述探测范围覆盖多视图重建系统的全部空间探测器；

根据检测结果，对所述全部空间探测器进行光学定位，得到各所述空间探测器的定位信息；

其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

第三方面，本发明实施例提供了一种视图三维重建系统，包括：如本发明实施例任一项所述的光学定位系统，和多视图重建系统；

所述光学定位系统，用于获取所述多视图重建系统中的全部空间探测器的定位信息；

所述多视图重建系统，用于获取设定场景的场景视图；

其中，所述各所述空间探测器的定位信息，用于所述多视图三维重建系统结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

第四方面，本发明实施例提供了一种多视图三维重建方法，应用于本发明实施例任一项所述的多视图三维重建系统中，包括：

通过光学定位系统对探测范围内的光学标志物进行检测，获取多个空间探测器的定位信息，所述探测范围覆盖多视图重建系统的全部空间探测器；

通过多视图重建系统的空间探测器对探测范围内的设定场景进行探测，获取所述场景的场景视图；

根据各所述定位信息的获取时刻、各所述定位信息的所属空间探测器的标识信息、各所述场景视图的获取时刻、获取各所述场景视图的空间探测器的标识信息，从各所述定位信息中查询与各所述场景视图对应的定位信息；

根据各所述场景视图以及对应的定位信息，对所述场景进行三维场景重建。

本发明实施例通过在光学定位系统的探测范围覆盖多视图重建系统中的全部空间探测器的情况下，采用光学定位系统对空间探测器上的光学标志物进行检测，得到对应空间探测器的定位信息，替代仅通过场景视图获取各空间探测器的定位信息，也即通过直接对空间探测器进行检测，得到定位信息，替代从空间探测器得到的场景视图进行数据处理间接得到定位信息，实现减少间接定位方式的数据处理的计算量，解决了现有技术中依靠空间探测器获取的场景视图确定空间探测器的定位信息的计算量大，效率低的问题，减少空间探测器的定位信息的计算量，以及提高定位信息的计算效率，从而，提高多视图重建系统的三维场景重建的效率。

附图说明

图1a是本发明实施例一中的一种多视图重建系统的光学定位系统的结构示意图；

图1b是本发明实施例一中的一种空间探测器的结构示意图；

图1c是本发明实施例一中的一种多视图重建系统的光学定位系统的结构示意图；

图1d是本发明实施例一中的一种线形光束的示意图；

图2是本发明实施例二中的一种多视图重建系统的光学定位方法的流程图；

图3a是本发明实施例三中的一种多视图三维重建系统的结构示意图；

图3b是本发明实施例三中的一种运动空间探测器应用场景的示意图；

图4是本发明实施例四中的一种多视图三维重建方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a是本发明实施例一所适用的一种多视图重建系统的光学定位系统的结构示意图。该光学定位系统110的探测范围，覆盖多视图重建系统120中包括的全部空间探测器，每个空间探测器上设置有光学标志物，其中：

光学定位系统110，用于根据对探测范围内的光学标志物的检测结果，对各空间探测器进行光学定位，得到各空间探测器的定位信息。

在本发明实施例中，光学定位系统110是应用在三维场景重建的应用场景中，用于对多视图重建系统120进行定位。多视图重建系统包括多个空间探测器，而空间探测器用于探测设定场景130的空间信息，并形成场景视图，其中，场景视图用于结合空间探测器的定位信息，进行三维场景重建。

具体的，三维场景重建是指，通过空间探测器获取设定场景中的全部物体的数据视图，并对该视图进行分析处理，得到现实环境中物体的三维信息，并根据三维信息构造出设定场景中各物体的空间信息。其中，空间信息包括物体表面信息和/或物体内部的透视信息。

设定场景可以是指被检测的现实环境，设定场景可以是静止的环境，也可以是运动的环境。其中，设定场景可以包括运动的物体和静止的物体。示例性的，设定场景为公园，包括静止的树木、静止的座椅和运动的人们等。示例性的，设定场景为正在行驶的车厢内，行驶的车厢内包括与车厢相对静止的货物和与车厢相对运动的货物等。设定场景根据需要确定，对此，本发明实施例不作具体限制。

可以理解的是，处于不同位置的空间探测器获取的场景视图是分别基于自身的坐标系形成的视图，需要获取空间探测器的定位信息将场景视图的坐标系均统一到同一坐标系中，此时各场景视图中的信息均是以相同坐标系表示，便于信息融合，从而准确确定场景视图包括的物体的三维信息，以进行三维重建。

光学定位系统的探测范围用于表示光学定位系统可以探测到的范围。具体的，光学定位系统的探测范围可以是光学定位系统中每个光学定位单元的探测范围的叠加区域(如取并集)或者重叠区域(如取交集)。光学定位系统的探测范围可以是固定的，也可以是变化的，光学定位系统可以包括用于跟随运动物体运动的光学定位单元，运动的光学定位单元的探测范围是变化的，由此，光学定位系统根据全部光学定位单元的探测范围确定的总探测范围也是变化的。

其中，空间探测器可以是指具备空间位置探测功能的传感器，例如，可以包括光学类传感器或声学类传感器。示例性的，光学类传感器可以包括摄像机(如单目摄像机、双目摄像机或多目摄像机等)或深度传感器(如飞行时间(Time of Flight，TOF)传感器、基于结构光的深度传感器、主动双目传感器或激光雷达等)。声学类传感器可以包括声学雷达、声纳传感器或超声成像设备等。此外，空间探测器还可以是工作在其他波长的电磁波的传感器，如无线电雷达、X射线成像或电子计算机断层扫描成像(Computed Tomography，CT)、B超或核磁共振等，可以根据需要选择空间探测器，对此，本发明实施例不作具体限制。具体的，光学类传感器得到光学图像，声学类传感器得到声学图像，光学图像和声学图像均用于描述场景的空间信息。

此外，空间探测器可以相对场景静止，也可以是相对场景运动。通常，运动的空间探测器用于跟拍设定场景中运动的物体。可以根据需要配置相对静止的空间探测器和/或配置相对运动的空间探测器。

具体的，光学标志物用于标识空间探测器，其中，光学标志物可以根据需要进行设定，对此，本发明实施例不作具体限制。通常，空间探测器为具有一定体积的设备集合，从而可以在各空间探测器上设置易于检测到的光学标志物，用于代表各空间探测器的空间位置。光学标志物的检测结果用于表示光学标志物的空间位置信息和姿态(如倾斜角度或深度信息)。需要说明的是，光学标识物的检测结果实际是指光学标识物中的某个关键点的空间位置信息。通常，光学标识物并不是一个点，而是一个表面或者具有一定体积的设备。此时，可以从光学标识物上确定一个关键点用于表征该光学标识物的检测结果。

同一个空间探测器上可以配置有一个光学标志物，还可以配置有多个光学标志物，示例性的，光学标志物为不在同一条直线的三个发光物体(如荧光片)，此外，光学标志物的布置方法和数目还可以有其他形式，可以根据需要进行设定，对此，本发明实施例不作具体限制。示例性的，如图1b所示，空间探测器121上设置有四个光学标志物122。

各空间探测器的定位信息，用于结合各空间探测器获取的设定场景的场景视图，对场景进行三维场景重建。

空间探测器的定位信息包括空间探测器的空间位置和姿态。定位信息用于描述空间探测器的外部参数。具体的，外部参数包括空间探测器在空间的6个自由度，具体是沿x轴平移的移动自由度，沿y轴平移的移动自由度，沿z轴平移的移动自由度，绕x轴转动的转动自由度，绕y轴转动的转动自由度和绕z轴转动的转动自由度。其中，确定空间探测器的外部参数的过程为外部校准。

本发明实施例通过在光学定位系统的探测范围覆盖多视图重建系统中的全部空间探测器的情况下，采用光学定位系统对空间探测器上的光学标志物进行检测，得到对应空间探测器的定位信息，替代仅通过场景视图获取各空间探测器的定位信息；也即通过直接对空间探测器进行检测，得到定位信息，替代从空间探测器得到的场景视图进行数据处理间接得到定位信息，实现减少间接定位方式的数据处理的计算量，解决了现有技术中依靠空间探测器获取的场景视图确定空间探测器的定位信息的计算量大，效率低的问题，减少空间探测器的定位信息的计算量，以及提高定位信息的计算效率，从而，提高多视图重建系统的三维场景重建的效率。

可选的，如图1c所示，光学定位系统包括：控制器112，以及至少一个光学定位单元111，至少一个光学定位单元111的探测范围，覆盖多视图重建系统120中包括的全部空间探测器。其中，至少一个光学定位单元111，用于在探测范围内进行光学标志物的探测。控制器112，用于根据由至少一个光学定位单元的探测所得到的探测结果，得到各空间探测器的定位信息。

其中，光学定位单元111用于探测光学标志物。通常，不同光学定位单元111分别处于不同的空间位置处，用于以不同视角探测空间探测器，从而避免光学定位单元由于遮挡而无法探测到空间探测器的情况，并且增大光学定位系统的探测范围。控制器112用于接收光学定位单元111的探测数据，并进行数据处理，得到定位信息。

其中，光学定位单元111可以根据与该光学定位系统通信连接的外部设备或服务器端，或者是控制器112发出的工作控制指令，进行光学标识物探测。

此外，控制器112还用于控制光学定位单元111工作，以及基于定位信息结合多视图重建系统120发送的场景视图进行三维场景重建；或者用于将定位信息发送至其他设备，例如，发送至多视图重建系统120，以使控制器112、多视图重建系统120或其他设备结合各所述空间探测器获取的设定场景的场景视图进行三维场景重建。其中，其他设备可以是外部设备或服务器端，同时，计算机、移动终端或者其他终端设备等可以通过外部设备或服务器端直接获取重建后的三维场景模型。控制器112在得到定位信息之后的处理操作，可以根据需要进行配置，对此，本发明实施例不做具体限制。

控制器可以布置在至少一个光学定位单元中，与光学定位单元相连形成一个整体；也可以布置在各光学定位单元之外的独立设备中，分别与各光学定位单元通信连接。

通过配置控制器和光学定位单元，对空间探测器进行探测，并进行数据处理得到空间探测器的定位信息。

可选的，光学定位单元可以包括单目视觉系统、双目视觉系统或多目视觉系统(如三目视觉系统、四目视觉系统等)。此外，还可以根据需要选择其他视觉系统，对此，本发明实施例不作具体限制。

可选的，所述光学定位单元包括运动光学定位单元或固定光学定位单元，所述运动光学定位单元相对所述场景运动，所述固定光学定位单元相对所述场景静止。

具体的，光学定位单元可以是相对场景运动，也可以是相对场景静止。其中，固定光学定位单元和运动光学定位单元均用于探测空间探测器和/或其他光学定位单元。可以理解的是，空间探测器可以是相对场景运动的，运动的空间探测器可以运动到光学定位系统的探测范围以外的区域，而固定光学定位单元无法准确探测该空间探测器，此时，可以采用运动光学定位单元跟随运动的空间探测器，对该空间探测器进行探测。运动光学定位单元还用于跟随运动的空间探测器，保证运动的空间探测器实时位于运动光学定位单元的探测范围内，此外，运动光学定位单元还用于跟随运动的运动光学定位单元，保证运动的运动光学定位单元实时位于运动光学定位单元的探测范围内。其中，运动光学定位单元与跟随的设备的运动速度和方向可以不同，也可以相同。

实际上，光学定位单元获取的空间探测器的检测结果同样是分别基于自身的坐标系检测得到的结果，需要获取各光学定位单元的定位信息将检测结果的坐标系均统一到同一坐标系中，以实现各检测结果的均是以相同坐标系表示。由此，需要获取各固定光学定位单元的定位信息以及各运动光学定位单元的定位信息。

可选的，所述光学定位系统包括的光学定位单元的数量为至少两个，所述光学定位系统包括一个目标光学定位单元，以及至少一个参考光学定位单元，所述参考光学定位单元上设置有所述光学标志物，所述至少一个参考光学定位单元位于所述目标光学定位单元的探测范围内，所述目标光学定位单元用于通过定位各所述参考光学定位单元，获取各所述参考光学定位单元探测到的空间探测器的定位信息。

目标光学定位单元可以是运动光学定位单元或固定光学定位单元；参考光学定位单元可以是运动光学定位单元或固定光学定位单元。

参考光学定位单元上设置有光学标志物，用于被其他光学定位单元(目标光学定位单元或参考光学定位单元)探测到。可以理解的是，一个光学定位单元的探测范围是有限的，可以通过位于该光学定位单元的探测范围的其他光学定位单元，探测该光学定位单元的探测范围之外的空间探测器的定位信息，从而实现该光学定位单元间接探测属于其他光学定位单元的探测范围内的空间探测器的定位信息。

目标光学定位单元可以对至少一个参考光学定位单元定位，可以将参考光学定位单元的探测范围变换到目标光学定位单元的探测范围中，增加目标光学定位单元的探测范围，以使目标光学定位单元间接探测到位于参考光学定位单元的探测范围中的空间探测器。从而实现目标光学定位单元的探测范围与至少一个参考光学定位单元的探测范围叠加，形成光学定位系统的探测范围。

其中，目标光学定位单元的探测范围可以覆盖全部参考光学定位单元，或者目标光学定位单元的探测范围可以覆盖部分参考光学定位单元，另外部分参考光学定位单元可以位于其他参考光学定位单元中，也即通过级联覆盖的方式，实现目标光学定位单元可以直接或者间接探测到全部参考光学定位单元。通常，级联的级数小于等于2，由于级联的级数越大，探测精度越低。

在一个具体的例子中，目标光学定位单元覆盖全部N个参考光学定位单元。

又如，2级级联：目标光学定位单元覆盖N-M个参考光学定位单元，N-M个参考光学定位单元的累加探测范围覆盖M个参考光学定位单元。

又如，3级级联：目标光学定位单元覆盖N-M个参考光学定位单元，N-M个参考光学定位单元的累加探测范围覆盖M-K个参考光学定位单元；M-K个参考光学定位单元的累加探测范围覆盖K个参考光学定位单元。

此外，还有其他级联方式，对此，本发明实施例不作具体限制。

需要说明的是，每个光学定位单元可以探测至少一个空间探测器和/或至少一个光学定位单元。当场景的可移动范围较小时，可以仅选择一个光学定位单元即可实现该场景内的全部空间探测器的定位。

通过将光学定位单元配置为目标光学定位单元和位于目标光学定位单元探测范围中的至少一个参考光学定位单元，用于叠加多个光学定位单元的探测范围，可以避免单个光学定位单元在探测时出现遮挡而无法探测的情况，可以适用不同的应用场景，同时增大光学定位系统的探测范围，以及提高光学定位系统的探测范围的灵活性，从而，保证各空间探测器一定位于光学定位系统的探测范围内，实现光学定位系统准确检测空间探测器的定位信息。

光学标志物不同，相应的，光学定位单元的探测方法也不同。其中，光学标志物可以是平面物体，也可以是具有一定体积的物体，光学标志物的定位信息可以是指光学标志物上的几何中心的空间位置信息，也可以是指光学标志物上的若干个参考点的空间位置信息，对此，本发明实施例不作具体限制。

可选的，所述控制器与每个所述空间探测器上的光学标志物通信连接，其中：所述至少一个光学定位单元，具体用于在探测范围内发出光束扫描所述空间探测器上的光学标志物；所述空间探测器上的光学标志物，用于在接收到光束照射后，生成电信号发送至所述控制器；所述控制器，用于根据接收到的电信号，得到各所述空间探测器的定位信息。

其中，光学标识物用于将接收到的光转换为电，以及将电数据通信传输给控制器。示例性的，光学标志物为光电探测器。相应的，光学定位单元用于发光。具体的，光学定位单元采用光学扫描方式扫描各空间探测器上的光学标识物。光束可以是二维方向扫描的点光束，也可以是分别在不同的方向扫描的至少两个不平行的线形光束。此外，光束还有其他形式，对此，本发明实施例不作具体限制。示例性的，光学定位单元利用至少两束不平行的线形光束扫描各空间探测器上的光学标识物，具体如图1d所示，光学定位单元采用两个相互垂直的第一线形光束和第二线形光束进行扫描。当空间探测器上的光学标识物被扫描到时，光学标识物记录线形光束的瞬时定位信息(如角度)。当有线形光束按照一个方向扫描一个光学标识物，该光学标识物可以确定光学标识物相对于光学定位单元的一个维度的位置信息，例如，x方向的角度信息；当采用一个与前述线形光束不平行的线形光束按照扫描同一个光学标识物时，该光学标识物可以确定光学标识物相对于光学定位单元的另一个维度的位置信息，例如，y方向的角度信息。由此可以确定该光学标识物的x方向和y方向的两个维度的角度信息；由于光学标识物相对于自身所处的空间探测器的位置是固定和已知的，根据空间探测器上的若干个不在一条直线上的光学标识物的x方向和y方向的两个维度的角度信息，就能计算出空间探测器的定位信息。

可选的，所述控制器与每个所述光学定位单元通信连接，其中：所述至少一个光学定位单元，具体用于控制光源向探测范围内的所述空间探测器上的光学标志物发射光束，并接收经过所述光学标志物反射回来的光束，生成电信号发送至所述控制器；所述空间探测器上的光学标志物，用于反射所述光源发射的光束；所述控制器，用于根据接收到的电信号，得到各所述空间探测器的定位信息。

其中，光学标志物用于反射光学定位单元发射的光，反射光被光学定位单元采集。具体的，光学标志物为反射物体(如反射镜等具备高反射率的表面的物体)，示例性的，光学标志物为反射表面。相应的，光学定位单元用于发光，发射光束可以经过光学标志物反射，被光学定位单元采集；光学定位单元将采集到的反射光束转换为电信号。具体的，光学定位单元采用光学扫描方式扫描各空间探测器上的光学标识物。光束可以是二维方向扫描的点光束，也可以是分别在不同的方向扫描的至少两个不平行的线形光束。此外，光束还有其他形式，对此，本发明实施例不作具体限制。示例性的，光束可以是在二维方向，例如x角度和y角度方向，进行逐点扫描的点光束；光学定位单元接受到光学标识物的反射光束时，该光学标识物可以确定光学标识物相对于光学定位单元的至少两个自由度的位置信息，例如，x和y方向的角度信息。由于光学标识物相对于自身所处的空间探测器的位置是固定和已知的，根据空间探测器上的若干个不在一条直线上的光学标识物的至少两个自由度的位置信息，就能计算出空间探测器的定位信息。此外，有些光学扫描方式，例如激光雷达，可以探测到光学标识物的三个自由度的位置信息，如x、y和z方向的位置信息。对此，本发明实施例不做具体限制。

可选的，所述控制器与每个所述光学定位单元通信连接，其中：所述至少一个光学定位单元，具体用于在探测范围内拍摄所述空间探测器上的光学标志物的定位图像；所述空间探测器上的光学标志物，用于反射光，在所述定位图像中标识所述空间探测器；所述控制器，用于根据接收到的定位图像，得到各所述空间探测器的定位信息。

其中，光学标志物反射光源发射的光，反射光被光学定位单元采集。光源用于向空间探测器发射光束，这种情况下，光源既可以设置在光学定位单元上，也可以独立放置在光学定位单元之外。光学定位单元用于拍摄各空间探测器上的光学标识物，根据采集到的光学标识物的图像，确定各空间探测器关联的各光学标识物的空间位置信息，由此，计算出各空间探测器的定位信息。此时，光学定位单元可以是单目视觉系统、双目视觉系统或多目视觉系统，拍摄各空间探测器上的光学标识物，根据采集到的光学标识物的图像，确定各空间探测器关联的各光学标识物的空间位置信息，由此，计算出各空间探测器的定位信息。示例性的，当光学定位单元是单目视觉系统时，可拍摄属于空间探测器的光学标志物的定位图象，由此可以确定这些光学标识物相对于光学定位单元的x方向和y方向的两个维度的角度信息；根据空间探测器上的若干个不在一条直线上的光学标识物的x方向和y方向的两个维度的角度信息，就能计算出空间探测器的定位信息。又例如，当光学定位单元是双目视觉系统时，可以采用最小二乘法或视差测距法确定各光学标识物的空间位置信息坐标，从而，确定空间探测器的定位信息。此外，还可以通过其他方式确定各光学标识物的空间位置信息，对此，本发明实施例不做具体限制。

可选的，所述控制器与每个所述光学定位单元通信连接，其中：所述至少一个光学定位单元，具体用于在探测范围内拍摄所述空间探测器上的光学标志物的定位图像；所述空间探测器上的光学标志物，用于发光，在所述定位图像中标识所述空间探测器；所述控制器，用于根据接收到的定位图像，得到各所述空间探测器的定位信息。

其中，光学标志物用于发出光束，发射光被光学定位单元采集。具体的，光学标识物为光源，示例性的，光学标志物为灯泡。此时，光学定位单元可以是单目视觉系统、双目视觉系统或多目视觉系统，拍摄各空间探测器上的光学标识物，根据采集到的光学标识物的图像，确定各空间探测器关联的各光学标识物的空间位置信息，由此，计算出各空间探测器的定位信息。示例性的，当光学定位单元是单目视觉系统时，可拍摄属于空间探测器的光学标志物的定位图象，由此可以确定这些光学标识物相对于光学定位单元的x方向和y方向的两个维度的角度信息；根据空间探测器上的若干个不在一条直线上的光学标识物的x方向和y方向的两个维度的角度信息，就能计算出空间探测器的定位信息。又例如，当光学定位单元是双目视觉系统时，可以采用最小二乘法或视差测距法确定各光学标识物的空间位置信息坐标，从而，确定空间探测器的定位信息。此外，还可以通过其他方式确定各光学标识物的空间位置信息，对此，本发明实施例不做具体限制。

需要说明的是，光学定位系统可以包括多个光学定位单元，每个光学定位单元可以均采用前述的同一种定位方式进行定位，或者也可以采用不全相同的定位方式进行定位，甚至还可以采用全不相同的定位方式进行定位，对此可以根据需要进行设定，本发明实施例不做具体限制。

通过相应配置不同的光学定位单元，以及对应的光学标识物，可以根据需要采用不同的定位方式对空间探测器进行探测，增加光学定位单元的灵活性，提高光学定位单元的适用性。

实施例二

图2为本发明实施例二中的一种多视图重建系统的光学定位方法的流程图，本实施例可适用于在三维场景重建的过程中确定获取各场景视图的空间探测器的定位信息的情况，该方法基于多视图重建系统的光学定位系统，该方法可以由该系统中的控制器或者由与该系统通信连接的外部设备或服务器端执行，具体可以由本发明实施例提供的光学定位装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图2所示，本实施例的方法应用在上述实施例中任一所述的多视图重建系统的光学定位系统，具体包括：

S210，对探测范围内的光学标志物进行检测，所述探测范围覆盖多视图重建系统的全部空间探测器。

具体的，光学标识物、空间探测器、检测结果、定位信息、设定场景、场景视图和三维场景重建均可以参考前述实施例的描述。

S220，根据检测结果，对所述全部空间探测器进行光学定位，得到各所述空间探测器的定位信息；其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

本发明实施例通过在探测范围覆盖多视图重建系统中的全部空间探测器的情况下，对空间探测器上的光学标志物进行检测，得到所属空间探测器的定位信息，替代仅通过场景视图间接获取各空间探测器的定位信息，实现减少间接定位方式的数据处理的计算量，从而减少空间探测器的定位信息的计算量，以及提高定位信息的计算效率，最终实现提高多视图重建系统的三维场景重建的效率。

实施例三

图3a是本发明实施例三所适用的一种多视图三维重建系统的结构示意图。如图3a所示，多视图三维重建系统310包括：前述实施例任一项所述的光学定位系统320，和多视图重建系统330；

其中，光学定位系统320，用于获取多视图重建系统中的全部空间探测器的定位信息；多视图重建系统330，用于获取设定场景的场景视图；其中，所述各所述空间探测器的定位信息，用于所述多视图三维重建系统结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

本发明实施例中的该光学定位系统可以参考上述实施例中的描述。

其中，多视图三维重建系统310可以是独立于光学定位系统320和多视图重建系统330的外部设备或服务器，也可以是内置于光学定位系统320或内置于多视图重建系统330中的内部设备。具体的，多视图三维重建系统310可以是光学定位系统320和多视图重建系统330的控制终端设备，也可以是光学定位系统320或多视图重建系统330中的计算机设备。多视图三维重建系统310的位置可以是设置在光学定位系统320中的某个光学定位单元中(如某个摄像机上)，还可以是设置在多视图重建系统330中的某个空间探测器中，或者是设置在分别与光学定位系统320和多视图重建系统330通信连接(有线通信或无线通信)的独立计算机设备中。对此，可以根据需要进行设定，本发明实施例不作具体限制。

多视图重建系统330用于获取设定场景的场景视图。具体的，多视图重建系统330通过包含的各空间探测器获取设定场景的场景视图。示例性的，当空间探测器为深度传感器，场景视图为深度图像；当空间探测器为彩色摄像机时，场景视图为彩色图像；当空间探测器为超声成像设备时，场景视图为仅具有空间信息(物体表面信息或透视)的图像，不具有颜色信息。

实际上，多视图三维重建系统310用于结合场景视图以及空间探测器在获取该场景视图时的定位信息，对设定场景进行三维场景重建。

具体的，多视图三维重建系统310按照获取时刻将各场景视图进行分组，在每组中确定每个场景视图的关联定位信息，其中，关联定位信息是指空间探测器在获取该场景视图时的定位信息。由此，根据每个场景视图的关联定位信息，可以将每组中的场景视图的坐标系进行统一，也即将每组的场景视图的坐标均统一到一个坐标系中。同时，在每组中，可以将每两个场景视图进行比较，查找重合部分，并基于重合部分对这两个场景视图进行拼接，由此逐步将各场景视图拼接起来，最终形成三维场景模型。或者在每组中，直接从各场景视图中进行物体检测，并任选一个作为目标物体，分别从各场景视图中获取该目标物体的多个场景视图，由此建模形成，该目标物体的三维模型，由此逐步对检测到的各物体进行三维重建，最终形成三维场景模型。此外，还有其他方式实现三维重建，对此，本发明实施例不做具体限制。

可选的，所述多视图重建系统包括下述一项：至少两个固定空间探测器，所述固定空间探测器相对所述场景静止，且至少两个固定空间探测器的位置不同；至少一个运动空间探测器，所述运动空间探测器相对所述场景运动；或者至少两个空间探测器，所述至少两个空间探测器包括至少一个运动空间探测器。

当多视图重建系统仅包括固定空间探测器时，固定空间探测器的数量为至少两个，固定空间探测器可以围绕场景进行布置，具体的，固定空间探测器的数量和位置可以根据需要进行设定，对此，本发明实施例不做具体限制。示例性的，如图1a所示，多视图重建系统120包括三个固定空间探测器，并以场景130为中心，分散呈三角形布置在场景130周围，同时，三个固定空间探测器的探测范围覆盖场景130。此时，多个固定空间探测器可以在不同位置对场景进行拍摄，得到该场景的多个不同场景视图。

需要说明的是，固定空间探测器还可以直接通过人工预先外部校准，确定固定空间探测器的定位信息。

当多视图重建系统仅包括运动空间探测器时，运动空间探测器的数量为至少一个，同时，该运动空间探测器相对于场景的位置改变，具体的，运动空间探测器的数量、运动速度和运动方向可以根据需要进行设定，对此，本发明实施例不做具体限制。示例性的，如图3b所示，运动空间探测器331以场景301的中心为中心，以设定距离为半径，环绕场景301进行圆周运动。此时，一个运动空间探测器可以在不同位置对场景进行拍摄，得到该场景的多个不同场景视图。

可以理解的是，运动空间探测器还可以用于跟随运动物体运动，实时获取运动物体的场景视图。

当多视图重建系统同时包括运动空间探测器和固定空间探测器时，运动空间探测器或固定空间探测器的数量均为至少一个。固定空间探测器的相对于场景的分布位置以及运动空间探测器的运动速度和运动方向等均可以根据需要进行设定，对此，本发明实施例不做具体限制。

通过将多视图重建系统配置为运动空间探测器和/或固定空间探测器，增加多视图重建系统的使用场景，兼容动态场景或静态场景，增加三维重建的使用场景，降低三维重建的局限性。

本发明实施例通过多视图重建系统获取多场景视图，并通过光学定位系统对多视图重建系统中的各空间探测器进行定位，快速且准确得到多视图重建系统中的各空间探测器的定位信息，并通过定位信息结合多场景视图，对场景进行三维场景重建，提高三维场景重建的效率。

实施例四

图4为本发明实施例四中的一种多视图三维重建方法的流程图，本实施例可适用于结合获取各场景视图的空间探测器的定位信息与各场景视图对场景进行三维场景重建的情况，该方法基于多视图三维重建系统，该方法可以由本发明实施例提供的多视图三维重建装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，示例性的，计算机设备包括终端设备或服务器。如图4所示，本实施例的方法应用在上述实施例中任一所述的多视图三维重建系统，具体包括：

S410，通过光学定位系统对探测范围内的光学标志物进行检测，获取多个空间探测器的定位信息，所述探测范围覆盖多视图重建系统的全部空间探测器。

本发明实施例中的光学定位系统、探测范围、光学标志物、空间探测器、定位信息、多视图重建系统、设定场景、场景视图和三维场景重建均可以参考上述实施例的描述。

S420，通过多视图重建系统的空间探测器对探测范围内的设定场景进行探测，获取所述场景的场景视图。

S430，根据各所述定位信息的获取时刻、各所述定位信息的所属空间探测器的标识信息、各所述场景视图的获取时刻、获取各所述场景视图的空间探测器的标识信息，从各所述定位信息中查询与各所述场景视图对应的定位信息。

其中，标识信息用于标识空间探测器，示例性的，标识信息为空间探测器的编号(如ID)，其中，标识信息可以是用户自定义的。可以将定位信息的获取时刻与各场景视图的获取时刻进行对比，同时将定位信息的所属空间探测器的标识信息，与获取各场景视图的空间探测器的标识信息进行对比。将获取时刻相同，且空间探测器的标识信息相同的定位信息和场景视图建立对应关系。由此，确定场景视图对应的定位信息。

需要说明的是，针对多视图重建系统中的固定空间探测器，由于各固定空间探测器的定位信息不改变，可以在仅在每次多视图三维重建操作的开始时刻获取各固定空间探测器的定位信息，在该次多视图三维重建操作的后续时刻继续使用该定位信息，以减少空间探测器的定位信息的计算量，提高空间探测器的定位效率。

S440，根据各所述场景视图以及对应的定位信息，对所述场景进行三维场景重建。

本发明实施例通过多视图重建系统获取多场景视图，并通过光学定位系统对多视图重建系统中的各空间探测器进行定位，快速且准确得到多视图重建系统中的各空间探测器的定位信息，从定位信息中确定与各场景视图对应的定位信息，并根据各场景视图与对应的定位信息，实现对场景进行三维场景重建，实现精准建立三维场景，同时提高三维场景重建的效率。

可选的，所述从各所述空间探测器的定位信息中查询与各所述场景视图对应的定位信息，包括：获取目标获取时刻的至少一个所述空间探测器探测的场景视图，并分别修正与所述目标获取时刻对应的至少一个所述空间探测器的定位信息；根据修正后的各所述定位信息的获取时刻、修正后的各所述定位信息的所属空间探测器的标识信息、各所述场景视图的获取时刻、获取各所述场景视图的空间探测器的标识信息，从修正后的各所述定位信息中，查询与各所述场景视图对应的定位信息。

实际上，空间探测器的外部校准是指获取空间探测器的定位信息。空间探测器的定位信息可以等同于空间探测器的外部校准。

而场景视图自身可以直接用于实现空间探测器的外部校准。通常，基于场景视图的外部校准方法是一种基于算法空间的迭代算法，其中，迭代算法的初始值是算法空间中的某个值，此时，需要在算法空间中搜索，一步步缩小搜索范围确定最终结果，该过程计算量庞大。但在确定空间探测器的定位信息之后，可以将空间探测器的定位信息作为前述迭代算法的初始值，由此，极大的降低了算法空间的搜索范围，快速确定迭代算法的最终结果。也就是说，通过在确定空间探测器的定位信息的基础上，再次使用基于场景视图的迭代算法进行外部校准时，可以减少外部校准的计算量，加快外部校准的速度，同时迭代算法的精度高，从而提高外部校准的精确性。

通过在确定空间探测器的定位信息的基础上，再次使用基于场景视图的迭代算法进行外部校准，以修正空间探测器的定位信息，实现精准调整定位信息，同时，减少精准调整定位信息的计算量，加快精准调整定位信息的速度。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (18)

1.一种多视图重建系统的光学定位系统，其特征在于，所述光学定位系统的探测范围，覆盖所述多视图重建系统中包括的全部空间探测器，每个所述空间探测器上设置有光学标志物，其中：

所述光学定位系统，用于根据对探测范围内的光学标志物的检测结果，对各所述空间探测器进行光学定位，得到各所述空间探测器的定位信息；

其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

2.根据权利要求1所述的光学定位系统，其特征在于，所述光学定位系统包括：控制器，以及至少一个光学定位单元；

所述至少一个光学定位单元，用于在探测范围内进行光学标志物的探测；

所述控制器，用于根据由所述至少一个光学定位单元的探测所得到的探测结果，得到各所述空间探测器的定位信息。

3.根据权利要求2所述的光学定位系统，其特征在于，所述控制器与每个所述空间探测器上的光学标志物通信连接，其中：

所述至少一个光学定位单元，具体用于在探测范围内发出光束扫描所述空间探测器上的光学标志物；

所述空间探测器上的光学标志物，用于在接收到光束照射后，生成电信号发送至所述控制器；

所述控制器，用于根据接收到的电信号，得到各所述空间探测器的定位信息。

4.根据权利要求2所述的光学定位系统，其特征在于，所述控制器与每个所述光学定位单元通信连接，其中：

所述至少一个光学定位单元，具体用于控制光源向探测范围内的所述空间探测器上的光学标志物发射光束，并接收经过所述光学标志物反射回来的光束，生成电信号发送至所述控制器；

所述空间探测器上的光学标志物，用于反射所述光源发射的光束；

所述控制器，用于根据接收到的电信号，得到各所述空间探测器的定位信息。

5.根据权利要求2所述的光学定位系统，其特征在于，所述控制器与每个所述光学定位单元通信连接，其中：

所述至少一个光学定位单元，具体用于在探测范围内拍摄所述空间探测器上的光学标志物的定位图像；

所述空间探测器上的光学标志物，用于反射光，在所述定位图像中标识所述空间探测器；

所述控制器，用于根据接收到的定位图像，得到各所述空间探测器的定位信息。

6.根据权利要求2所述的光学定位系统，其特征在于，所述控制器与每个所述光学定位单元通信连接，其中：

所述至少一个光学定位单元，具体用于在探测范围内拍摄所述空间探测器上的光学标志物的定位图像；

所述空间探测器上的光学标志物，用于发光，在所述定位图像中标识所述空间探测器；

所述控制器，用于根据接收到的定位图像，得到各所述空间探测器的定位信息。

7.根据权利要求5-6任一项所述的光学定位系统，其特征在于，所述光学定位单元包括单目视觉系统、双目视觉系统或多目视觉系统。

8.根据权利要求2-6任一项所述的光学定位系统，其特征在于，所述光学定位单元包括运动光学定位单元和/或固定光学定位单元，所述运动光学定位单元相对所述场景运动，所述固定光学定位单元相对所述场景静止。

9.根据权利要求2-6任一项所述的光学定位系统，其特征在于，所述光学定位系统包括的光学定位单元的数量为至少两个，所述光学定位系统包括一个目标光学定位单元，以及至少一个参考光学定位单元，所述参考光学定位单元上设置有所述光学标志物，所述至少一个参考光学定位单元位于所述目标光学定位单元的探测范围内，所述目标光学定位单元用于通过定位各所述参考光学定位单元，获取各所述参考光学定位单元探测到的空间探测器的定位信息。

10.根据权利要求1所述的光学定位系统，其特征在于，所述空间探测器包括：单目摄像机、双目摄像机、多目摄像机、深度传感器、电磁波传感器、声学雷达、声纳传感器或超声成像设备。

11.根据权利要求3所述的光学定位系统，其特征在于，所述空间探测器上的光学标志物包括光电探测器。

12.根据权利要求4或5任一项所述的光学定位系统，其特征在于，所述空间探测器上的光学标志物包括反射物。

13.根据权利要求6所述的光学定位系统，其特征在于，所述空间探测器上的光学标志物包括光源。

14.一种多视图重建系统的光学定位方法，应用于如权利要求1-13任一项所述的光学定位系统中，其特征在于，包括：

对探测范围内的光学标志物进行检测，所述探测范围覆盖多视图重建系统的全部空间探测器；

根据检测结果，对所述全部空间探测器进行光学定位，得到各所述空间探测器的定位信息；

其中，所述各所述空间探测器的定位信息，用于结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

15.一种多视图三维重建系统，其特征在于，包括：如权利要求1-13任一项所述的光学定位系统，和多视图重建系统；

所述光学定位系统，用于获取所述多视图重建系统中的全部空间探测器的定位信息；

所述多视图重建系统，用于获取设定场景的场景视图；

其中，各所述空间探测器的定位信息，用于通过所述多视图三维重建系统结合各所述空间探测器获取的设定场景的场景视图，对所述场景进行三维场景重建。

16.根据权利要求15所述的多视图三维重建系统，其特征在于，所述多视图重建系统包括下述一项：

至少两个固定空间探测器，所述固定空间探测器相对所述场景静止，且至少两个固定空间探测器的位置不同；

至少一个运动空间探测器，所述运动空间探测器相对所述场景运动；或者

至少两个空间探测器，所述至少两个空间探测器包括至少一个运动空间探测器。

17.一种多视图三维重建方法，其特征在于，应用于如权利要求15或16任一项所述的多视图三维重建系统中，包括：

通过光学定位系统对探测范围内的光学标志物进行检测，获取多个空间探测器的定位信息，所述探测范围覆盖多视图重建系统的全部空间探测器；

通过多视图重建系统的空间探测器对探测范围内的设定场景进行探测，获取所述场景的场景视图；

根据各所述定位信息的获取时刻、各所述定位信息的所属空间探测器的标识信息、各所述场景视图的获取时刻、获取各所述场景视图的空间探测器的标识信息，从各所述定位信息中查询与各所述场景视图对应的定位信息；

根据各所述场景视图以及对应的定位信息，对所述场景进行三维场景重建。

18.根据权利要求17所述的多视图三维重建方法，其特征在于，所述从各所述空间探测器的定位信息中查询与各所述场景视图对应的定位信息，包括：

获取目标获取时刻的至少一个所述空间探测器探测的场景视图，并分别修正与所述目标获取时刻对应的至少一个所述空间探测器的定位信息；

根据修正后的各所述定位信息的获取时刻、修正后的各所述定位信息的所属空间探测器的标识信息、各所述场景视图的获取时刻、获取各所述场景视图的空间探测器的标识信息，从修正后的各所述定位信息中，查询与各所述场景视图对应的定位信息。

Images