CN102155923A - 基于立体靶标的拼接测量方法及系统 - Google Patents

Abstract

提供了一种基于立体靶标的拼接测量方法及系统。所述方法包括：a)将两台相机设置于能够观测到被测对象的位置，并标定两台相机的参数以及设置全局坐标系；b)确定固定于视觉传感器的立体靶标上的标志点在视觉传感器坐标系上的坐标值；c)将视觉传感器移动到能够测量被测对象的一待测区域的位置，通过视觉传感器对被测对象的该待测区域进行三维测量来获得该待测区域在视觉传感器坐标系下的三维数据；d)确定在所述位置处的视觉传感器坐标系与全局坐标系之间的转换关系；e)利用d)中确定的转换关系，将c)中获得的三维数据转换到全局坐标系；f)重复步骤c)、d)和e)，完成被测对象的三维测量数据在全局坐标系下的拼接。

Description

基于立体靶标的拼接测量方法及系统

技术领域

本发明涉及基于立体靶标的拼接测量方法及系统，属于视觉测量领域，适用于大型自由曲面的拼接测量。

背景技术

随着现代工业发展和科技的进步，被测物体外型日趋复杂，对于设计、生产周期要求越来越短，加工、装配精度要求越来越高，因而产生了对被测物体表面进行高精度三维形貌测量的需求。

近些年，在大型自由曲面的三维测量中，视觉方法以其非接触、速度快、精度高、易于自动化等优点，成为最重要的测量方法之一。但是在实际测量中，由于视觉传感器的视场范围有限或被测表面出现遮挡等原因，会产生视觉测量盲区，无法一次得到物体表面的全部信息。

因此，出现了多视点云数据拼接方法，又称多视点云数据配准方法，在该方法中，将大型被测物体划分成多个小区域，从不同角度、位置进行分块的测量，然后采用拼接技术，将所有分块的测量结果拼合在一起。多视点云数据拼接是大型三维形貌测量中不可或缺的重要环节，拼接精度直接影响三维重建的可行性与精度。因此多视点云数据的快速、高精度拼接，成为大型三维形貌测量中亟待解决的问题，也是国内外在该领域最为活跃的研究热点之一。

目前，常用的拼接方法有：基于精密旋转平台的拼接方法，其不仅要求设备精度较高，而且系统成本高，测量范围小，操作复杂；基于标志点的拼接方法，其要求往被测物体上粘贴许多标志点，不仅破坏了物体的原始表面数据，而且前期准备时间较长；基于迭代对应点的拼接方法，其计算量较大，耗费时间长，易出现累积误差。

本发明为了避免以上提到的各种问题，提出了一种基于立体靶标的大型自由曲面拼接测量方法，其利用视觉传感器定位测量系统上的立体靶标，从而将测量系统在不同位置处获取的局部点云统一到同一个坐标系下。该方法借助视觉定位跟踪技术，因此其具有操作过程简易，测量效率高的特点。同时，该方法借助立体靶标的功能，不仅提高了拼接的精度，而且扩大了测量系统测量的范围。

发明内容

为了解决现有技术中存在的上述问题，本发明提出了一种基于立体靶标的大型自由曲面拼接测量方法，其利用视觉传感器定位测量系统上的立体靶标，将测量系统在不同位置处获取的局部点云统一到同一个坐标系下。该方法借助视觉定位跟踪技术，因此其具有操作过程简易，测量效率高的特点。同时，该方法借助立体靶标的功能，不仅提高了拼接的精度，而且扩大了测量系统测量的范围。

根据本发明实施例，提供了一种基于立体靶标的拼接测量方法，所述方法包括步骤：a)将两台相机设置于能够观测到被测对象的位置，并标定两台相机的参数以及设置全局坐标系；b)确定固定于视觉传感器的立体靶标上的标志点在视觉传感器坐标系上的坐标值；c)将视觉传感器移动到能够测量被测对象的一待测区域的位置，通过视觉传感器对被测对象的该待测区域进行三维测量来获得该待测区域在视觉传感器坐标系下的三维数据；d)确定在所述位置处的视觉传感器坐标系与全局坐标系之间的转换关系；e)利用d)中确定的转换关系，将c)中获得的三维数据转换到全局坐标系；f)重复步骤c)、d)和e)，完成被测对象的三维测量数据在全局坐标系下的拼接。

另外，步骤b)包括：i)利用中介靶标的标志点在全局坐标系下的坐标值和在视觉传感器坐标系下的坐标值，确定全局坐标系与视觉传感器坐标系之间的转换关系；ii)通过两台相机获得立体靶标的标志点在全局坐标系下的坐标值；iii)利用i)中确定的转换关系和ii)中获得的坐标值，确定立体靶标的标志点在视觉传感器坐标系下的坐标值。

另外，根据本发明实施例，步骤d)包括：通过所述两台相机获得立体靶标的标志点在全局坐标系下的坐标值；通过立体靶标的标志点在视觉传感器坐标系下的坐标值和在全局坐标系下的坐标值来确定视觉传感器的坐标系与全局坐标系之间的转换关系。

根据本发明实施例，提供了一种基于立体靶标的拼接测量系统，包括：视觉传感器，用于测量被测对象的三维数据；立体靶标，固定于视觉传感器并具有多个标志点；视觉定位跟踪系统，测量立体靶标的标志点的三维数据；计算机，基于视觉定位跟踪系统测量的三维数据和立体靶标在视觉传感器坐标系下的坐标值来获得视觉定位跟踪系统坐标系与视觉传感器坐标系之间的转换关系，并基于该转换关系将视觉传感器测量的三维数据转换到视觉定位跟踪系统坐标系，完成对被测对象的三维数据的拼接。

另外，所述系统还包括具有多个标志点的中介靶标，其中，视觉传感器测量中介靶标的标志点的三维数据；视觉定位跟踪系统测量中介靶标的标志点的三维数据和立体靶标的标志点的三维数据；计算机，基于视觉传感器和视觉定位跟踪系统测量的中介靶标的标志点的三维数据获得视觉传感器坐标系与视觉定位跟踪系统坐标系之间的转换关系，并基于该转换关系和视觉定位跟踪系统测量的立体靶标的标志点的三维数据获得立体靶标的标志点在视觉传感器坐标系下的坐标值。

另外，所述标志点是LED或者反光标志点。

附图说明

通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：

图1是根据本发明实施例的基于立体靶标的拼接测量系统的示意图；

图2A是根据本发明实施例的立体靶标的结构的示意图；

图2B是根据本发明实施例的立体靶标的梯形块的示意图；

图3示出在四个方位能够被观察到的根据本发明实施例的立体靶标的标志点的示意图；

图4是根据本发明实施例的基于立体靶标的拼接测量方法的流程图；

图5是计算标志点在视觉传感器坐标系下的坐标值的示意图；

图6是根据本发明实施例的基于立体靶标的拼接测量系统在六个不同位置获取的局部数据和最终拼接结果示意图。

具体实施方式

现在对本发明实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明。

图1是根据本发明实施例的基于立体靶标的拼接测量系统100的示意图。根据本发明实施例的基于立体靶标的拼接测量系统100可包括三维测量系统110、视觉定位跟踪系统120、计算机130。

根据本发明实施例的三维测量系统110可包括立体靶标111和视觉传感器112。在此，立体靶标111固定于视觉传感器112的后方，因此在工作过程中与视觉传感器一起移动，即立体靶标111相对于视觉传感器112的位置不会发生改变。

立体靶标111上分布有多个的标志点。所述标志点可以是有源的LED或者是反光标志点。立体靶标111的作用是建立三维测量系统坐标(即，视觉传感器坐标系O_M-X_MY_MZ_M)系与视觉定位跟踪系统坐标系(即，全局坐标系O_T-X_TY_TZ_T)之间的转换关系。

以下参照图2A和图2B来说明根据本发明实施例的立体靶标111，其中，图2A是根据本发明实施例的立体靶标的结构的示意图；图2B是根据本发明实施例的立体靶标的梯形块的示意图。

如图2A所示，立体靶标111由9个梯形块组成。每一个梯形块如图2B所示，其表面安装有一些标志点。整个立体靶标111含有23个标志点。它的特点是：不论立体靶标111处于何种姿态，总能保证视觉定位跟踪系统120的两台数码相机120a和120b拍摄到至少5个标志点。例如，参照图3(a)至图3(d)，从不同的方位(例如，从四个不同的方位)观察立体靶标111时，在第一位置，如图3(a)所示，能检测到1、2、3、4、5、6号6个标志点；在第二位置，如图3(b)所示，能检测到7、8、9、10、11、12号6个标志点；在第三位置，如图3(b)所示，能检测到13、14、15、16、17号5个标志点；在第四位置，如图3(d)所示，能检测到18、19、20、21、22、23号6个标志点，因此总能保证至少5个公共的标志点被拍摄到。

视觉传感器112是一种将结构光与立体视觉测量技术相结合而构成的三维光学非接触式扫描系统。

由于立体靶标111固定在视觉传感器112的后方，在测量过程中立体标靶111与视觉传感器112一起移动，即，它们的相对位置不会发生改变。需要提前标定立体靶标的标志点在视觉传感器坐标系的坐标。

在被测对象200的测量过程中，三维测量系统110的位置可以任意摆放，以对一些隐藏点、遮挡区域实现三维测量，只要保证有至少3个非共线的标志点能够被视觉定位跟踪系统120检测识别。

在被测对象200和三维测量系统110后摆放两台相机120a和120b(例如，型号均为Nikon-D100单板数码像机)来构成双目立体视觉跟踪系统，即，立体视觉跟踪系统120。立体视觉跟踪系统120的作用是通过检测识别定位立体靶标111上的多个标志点，计算得到三维测量系统110的空间位置及姿态信息，以便完成局部三维测量数据的统一。

在本发明中，立体视觉跟踪系统120是用于检测立体靶标111上的标志点的空间三维坐标值，全局坐标系O_T-X_TY_TZ_T的建立也是根据张正友的相机标定方法来实现。全局坐标系O_T-X_TY_TZ_T建立之后，获取的立体靶标上的标志点三维数据均以此坐标系O_T-X_TY_TZ_T为基准。并且，拍摄对象的在视觉传感器坐标系O_M-X_MY_MZ_M下的三维数据最终将转换到该坐标系来完成拼接。

计算机130接收立体视觉跟踪系统120的两台相机120a和120b拍摄的图像以及视觉传感器112拍摄的图像，根据所接收到的图像完成各种计算，例如，立体靶标111上的标志点在视觉传感器坐标系O_M-X_MY_MZ_M上的坐标，视觉传感器坐标系O_M-X_MY_MZ_M与全局坐标系O_T-X_TY_TZ_T之间的转换关系以及图像的处理等。

以下参照图4至图6详细说明根据本发明实施例的基于立体靶标的大型自由曲面拼接测量方法的流程图。

在步骤S210，进行视觉跟踪系统120的标定。例如，将视觉跟踪系统120的两台高分辨率的数码相机120a和120b放置在适当的位置，使得相机视场的公共区域尽量覆盖整个被测物体；标定视觉定位跟踪系统120的两台数码相机120a和120b的内外参数。

复杂曲面的三维测量过程是，将曲面的点在相机所拍摄的图像坐标系(例如，图像像素坐标系)的坐标转换到三维的空间坐标系，例如，相机坐标系。因此，需要获得图像坐标系到三维的空间坐标系之间的转换关系，获得这种转换关系的过程称作相机内外参数标定。

假设，空间中的某点在全局坐标系下的坐标为M＝(X_W，Y_W，Z_W)^T，并在相机所拍摄到的图像坐标系下该点表示为m＝(u，v)^T。

相机标定中可使用如下数学模型

$s\stackrel{\‾}{m}=A\left[\begin{array}{cc}B& C\end{array}\right]\stackrel{\‾}{M}$

其中，

分别称为图像的齐次矩阵和空间点的世界齐次矩阵，其中，

和

分别为m＝(u，v)^T和M＝(X_W，Y_W，Z_W)^T的扩展矩阵；A为相机的内参数矩阵；[B C]为相机外参数矩阵，分别表示相机所拍摄到的图像坐标系到全局坐标系的旋转矩阵和平移矩阵；s为尺度因子，即，常数。其中，矩阵A可表示为：

$A=\left[\begin{array}{ccc}{f}_x& c& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$

相机标定的过程就是利用已知多个

和

来计算出相机的内外参数矩阵，具体的计算过程可参见参见Z.Y.Zhang文献AFlexible New Technique for Camera Calibration[J]IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334。如在所述文献中介绍的，可通过至少4个点，即，4组

和

可获得相机的内外参数矩阵。

根据空间点在相机所拍摄的图像中的坐标值和通过上述标定过程所获得的相机的内外参数，可求出空间点在全局坐标系下的坐标，从而完成复杂的曲面的三维测量。

上述是单个相机的内外参数标定方法，多个相机的内外参数标定方法与单个相机的内外参数标定方法相似。将相机120a和120b固定之后，在公共视场中放置一个平面的标定靶标，相机120a和120b同时采集标定图像，然后改变移动标定靶标的位姿，相机120a和120b同时采集另一组标定图像。重复上述步骤5次，便可以计算出相机的内外参数。

利用之前采集到的5幅标定图像和上述的标定方法分别标定两个相机，就可以得到两个相机各自的内外参数。获得的内外参数可如下表所示。

选择两个相机的内参数A₁、A₂以及任选一组外参数R_1i、T_1i、R_2i、T_2i，其中i＝1，2，...5，即组成了立体视觉相机的内外参数，从而完成了立体视觉的标定。

假设空间某点在坐标系(例如，全局坐标系)的坐标值为M＝(x，y，z，1)^T，该点在左右相机拍摄的图像中的坐标分别为m₁＝(u₁，v₁)^T和m₂＝(u₂，v₂)^T。并使用两台相机的内外参数A₁、A₂以及第i组外参数R_1i、T_1i、R_2i和R_2i，构成如下的方程组

$\left\{\begin{array}{c}{s}_1\stackrel{\‾}{m_1}=A_1\left[\begin{array}{cc}{B}_{1i}& C_{1i}\end{array}\right]\stackrel{\‾}{M}\\ s_2\stackrel{\‾}{m_2}=A_2\left[\begin{array}{cc}{B}_{2i}& C_{2i}\end{array}\right]\stackrel{\‾}{M}\end{array}\right.$

求出上述方程组的最小二乘解即为该点在全局坐标系下的坐标值M。

虽然在步骤S210中执行对相机120a和120b的标定，在步骤S210中还可对视觉传感器112进行标定，其标定方式与相机120a和120b的标定方式相同。

在步骤S220，进行立体靶标111的标定。在该步骤中，利用中介靶标140，计算立体靶标111上的标志点在视觉传感器坐标系O_M-X_MY_MZ_M下的坐标值。以下，参照图5，说明计算立体靶标111上的标志点在视觉传感器坐标系O_M-X_MY_MZ_M的坐标值的方法。

图5是根据本发明实施例的计算立体标靶的标志点在视觉传感器坐标系下的坐标值的方法的流程图。

如图5所示，视觉定位跟踪系统120的两台数码相机120a和120以及视觉传感器112拍摄到中介靶标140上的至少三个非公线的标志点。假设中介靶标140的标志点在全局坐标系O_T-X_TY_TZ_T和视觉传感器坐标系O_M-X_MY_MZ_M上的坐标值分别为P_T0、P_M0，其中，P_T0、P_M0为N×3的矩阵，并且N表示中介靶标140上的被拍摄到的标志点的数量，即，N≥3。由于可以根据空间中至少3个非共线的点分别处于两个坐标系下的坐标值能够计算出这两个坐标系之间的转换关系。因此，可以通过将P_T0和P_M0数据代入四元数法求的O_T-X_TY_TZ_T到O_M-X_MY_MZ_M的转换关系。

[R，T]＝Q(P_M0，P_T0)

其中，Q表示四元数法函数，R表示旋转矩阵，T表示平移矩阵。

在确定全局坐标系O_T-X_TY_TZ_T与视觉传感器坐标系O_M-X_MY_MZ_M的转换关系之后，视觉定位跟踪系统120的两台数码相机120a和120拍摄立体靶标111的标志点，获得标志点在全局坐标系O_T-X_TY_TZ_T的坐标值P_T1(其为M×3的矩阵，且M＝23)。将立体靶标111的标志点在全局坐标系O_T-X_TY_TZ_T下的坐标值P_T1转换到视觉传感器坐标系O_M-X_MY_MZ_M，具体的公式为：

Rot[P_M1(i)]＝R×Rot[P_T1(i)]+T

其中，P_T1(i)表示第i个标志点在全局坐标系下的坐标值，P_M1(i)表示第i个标志点在视觉传感器坐标系O_M-X_MY_MZ_M下的坐标值，二者均为1×3的矩阵，i＝1、2、...、M。Rot表示矩阵的转置。至此，就获得了立体靶标111的标志点在视觉传感器坐标系O_M-X_MY_MZ_M的坐标值P_M1(其为M×3的矩阵，M同上)。

在步骤S230，获取局部点云。将被测对象划分为多个待测区域，将三维测量系统110移动到第k个位置处，采集到的点云数据为D_k(其为n×3的矩阵，且n≥1)。同时，视觉定位跟踪系统120的两台数码相机120a和120b拍摄到立体靶标111上的L个非共线的标志点。

在步骤S240，计算在第k位置处的视觉传感器坐标系与全局坐标系之间的转换关系。立体靶标111上的标志点在全局坐标系下O_T-X_TY_TZ_T的坐标值为P_Lk(其为L×3的矩阵，且3≤L≤M)，将P_Lk和P_M1中对应的L个标志点坐标值代入四元数法，便可以求出第k个待测区域视觉传感器坐标系O_Mk-X_MkY_MkZ_Mk到全局坐标系的转换关系，该转换关系中包含有旋转矩阵R_k和平移矩阵T_k。

在步骤S250，利用转换矩阵Rk，Tk，将在步骤S230中获取的点云D_k转换到全局坐标系O_T-X_TY_TZ_T下：

Rot[D_TK(i)]＝R_k×Rot[D_k(i)]+T_k

其中，D_Tk表示在位置k处三维测量系统120获得的点云D_k转换到全局坐标系O_T-X_TY_TZ_T下的坐标值，其为n×3的矩阵，n同上。

重复S230、S240和S250的步骤，直到将所有局部测量的数据转换到全局坐标系O_T-X_TY_TZ_T下。

在步骤S260，通过局部点云在全局坐标系下的拼接来完成大型物体自由曲面的拼接测量。

此外，由于立体标靶111固定于视觉传感器112，因此立体标靶111的标志点在视觉传感器坐标系下的坐标值是固定的。换言之，立体标靶111的标志点在视觉传感器坐标系下的坐标值是已知的，因此根据本发明另一实施例的基于立体靶标的拼接测量方法，可不包括步骤S220，在步骤S240中使用已知的立体标靶111的标志点在视觉传感器坐标系下的坐标值。

图6是根据本发明实施例的基于立体靶标的拼接测量系统在六个不同位置获取的局部数据和最终拼接结果示意图。利用视觉传感器在6个不同的位置测量一个大小为300×300×500mm³的头像。同时，采用两台数码相机(例如，型号均为Nikon-D100)，在距离被测物体2.5m左右放置，并实时定位跟踪立体靶标，立体靶标支架的边长为300mm。图6表示6个局部的点云数据经过定位跟踪立体靶标最终统一到全局坐标系下，实现了大型自由曲面的测量。

综上所述，三维测量系统在任意的一个位置下获得的点云数据，通过上述的几个步骤都可以统一到全局坐标系O_T-X_TY_TZ_T下，这都归因于双目立体视觉定位跟踪系统120在整个测量过程中通过定位立体靶标111上的标志点，实时提供三维测量系统110位姿的信息，从而完成局部点云坐标的统一。

虽然已表示和描述了本发明的一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (6)

1.一种基于立体靶标的拼接测量方法，所述方法包括步骤：

a)将两台相机设置于能够观测到被测对象的位置，并标定两台相机的参数以及设置全局坐标系；

b)确定固定于视觉传感器的立体靶标上的标志点在视觉传感器坐标系下的坐标值；

c)将视觉传感器移动到能够测量被测对象的一待测区域的位置，通过视觉传感器对被测对象的该待测区域进行三维测量来获得该待测区域在视觉传感器坐标系下的三维数据；

d)确定在所述位置处的视觉传感器坐标系与全局坐标系之间的转换关系；

e)利用d)中确定的转换关系，将c)中获得的三维数据转换到全局坐标系；

f)重复步骤c)、d)和e)，完成被测对象的三维测量数据在全局坐标系下的拼接。

2.如权利要求1所述的基于立体靶标的拼接测量方法，其特征在于，步骤b)包括：

i)利用中介靶标的标志点在全局坐标系下的坐标值和在视觉传感器坐标系下的坐标值，确定全局坐标系与视觉传感器坐标系之间的转换关系；

ii)通过两台相机获得立体靶标的标志点在全局坐标系下的坐标值；

iii)利用i)中确定的转换关系和ii)中获得的坐标值，确定立体靶标的标志点在视觉传感器坐标系下的坐标值。

3.如权利要求2所述的基于立体靶标的拼接测量方法，其特征在于，步骤d)包括：

通过所述两台相机获得立体靶标的标志点在全局坐标系下的坐标值；

通过立体靶标的标志点在视觉传感器坐标系下的坐标值和在全局坐标系下的坐标值来确定视觉传感器的坐标系与全局坐标系之间的转换关系。

4.一种基于立体靶标的拼接测量系统，其特征在于，包括：

视觉传感器，用于测量被测对象的三维数据；

立体靶标，固定于视觉传感器并具有多个标志点；

视觉定位跟踪系统，测量立体靶标的标志点的三维数据；

计算机，基于视觉定位跟踪系统测量的三维数据和立体靶标在视觉传感器坐标系下的坐标值来获得视觉定位跟踪系统坐标系与视觉传感器坐标系之间的转换关系，并基于该转换关系将视觉传感器测量的三维数据转换到视觉定位跟踪系统坐标系，完成对被测对象的三维数据的拼接。

5.如权利要求4所述的基于立体靶标的拼接测量系统，其特征在于，所述系统还包括具有多个标志点的中介靶标，其中，

视觉传感器测量中介靶标的标志点的三维数据；

视觉定位跟踪系统测量中介靶标的标志点的三维数据和立体靶标的标志点的三维数据；

计算机，基于视觉传感器和视觉定位跟踪系统测量的中介靶标的标志点的三维数据获得视觉传感器坐标系与视觉定位跟踪系统坐标系之间的转换关系，并基于该转换关系和视觉定位跟踪系统测量的立体靶标的标志点的三维数据获得立体靶标的标志点在视觉传感器坐标系下的坐标值。

6.如权利要求4所述的基于立体靶标的拼接测量系统，其特征在于，所述标志点是LED或者反光标志点。

Images