CN107726975B - 一种基于视觉拼接测量的误差分析方法 - Google Patents

Abstract

本发明一种基于视觉拼接测量的误差分析方法属于计算机视觉测量技术领域，涉及一种基于视觉拼接测量的误差分析方法。该方法基于激光跟踪仪和双目视觉系统进行拼接测量，首先在其公共视场内布置多个公共点，双目相机采集图像并提取图像的像素坐标，激光跟踪仪同时采集各个公共点的坐标，此坐标值是在世界坐标系下。计算出点提取的像素误差对外参数矩阵的影响，再计算外参矩阵的误差对点在世界坐标系下的坐标值误差影响和点在视觉坐标系下的坐标对点在世界坐标系下的坐标值误差影响，最后求出待测点在世界坐标系下的综合误差。该方法分析过程简单，误差传递链清晰；根据该误差分析来优化公共点的布局，提高测量系统的整体精度。

Description

一种基于视觉拼接测量的误差分析方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于视觉拼接测量的误差分析方法

背景技术

随着航空航天领域、汽车工业等零部件制造水平的不断提高，人们对零部件的精度要求越来越高。对于这些零部件传统的测量方法包括三坐标机法、激光雷达法、室内GPS法等，近年来发展的机器视觉法由于具有非接触、测量速度快、精度高等优点，也被广泛应用于航空航天及汽车工业领域。该方法通过提取相机拍摄图像的像素坐标来求点在视觉坐标系下三维坐标，然后利用视觉坐标系到世界坐标系的转换矩阵将点在视觉坐标系下的三维坐标转换至世界坐标系下，完成数据测量拼接。由于点的像素坐标提取时存在误差，这个误差将直接影响最终点在世界坐标系下的坐标值，即影响点的测量精度，因此关于点的提取误差对于最终三维坐标影响的研究对于提高仪器测量精度和保证零部件的质量具有重要的意义。

经文献检索，中国发明专利号：CN 104729534 A，谭启蒙、李劲东、胡成威等人发明的“合作目标的单目视觉误差测量系统及误差限量化方法”发明专利提出了一种单目视觉误差测量系统，分析了相机内参数标定误差、视觉标记点三维空间坐标值获取误差及其在标记图像中二维坐标定位误差，能够全面概括测量误差的来源，对于误差溯源具有重要意义，但是该专利中并未说明这些误差对最终点的三维坐标误差的定量影响关系。中国发明专利号：CN 106323337 A，刘宗明、张宇、曹姝清等人发明的“一种立体视觉相对测量系统误差分析方法”的发明专利详细分析了图像特征提取精度、焦距标定精度、旋转和平移矩阵标定精度对空间三维目标点测量的综合误差，但是只分析了视觉测量系统本身的误差，无法用于大型零部件视觉拼接测量时，整个系统的误差分析。

发明内容

本发明为克服现有技术的缺陷，发明一种基于视觉拼接测量的误差分析方法，该方法通过点坐标的求解过程，详细说明了像素提取误差对各个计算环节误差的影响，定量的分析了像素提取误差对最终点在世界坐标系下三维坐标的精度影响，计算公式简单，易于实现，对于视觉拼接系统精度的分析及提高以及系统布局具有重要意义。

本发明采用的技术方案是一种基于视觉拼接测量的误差分析方法，其特征是，该方法基于激光跟踪仪和双目视觉系统进行拼接测量，在其公共视场内布置多个公共点，双目相机采集图像并提取图像的像素坐标，定量分析提取的像素误差对点在世界坐标系下坐标值误差的影响；首先根据视觉坐标点的三维重建公式和坐标转换公式计算出点提取的像素误差对外参数矩阵的影响，然后计算外参数矩阵的误差对点在世界坐标系下的坐标值误差影响和点在视觉坐标系下的坐标误差对点在世界坐标系下的坐标值误差影响，最后求出待测点在世界坐标系下的综合误差；该方法的的具体步骤如下：

第一步搭建基于激光跟踪仪的双目视觉拼接测量系统，建立坐标系；

首先，将左、右相机3、5分别固定在左、右相机支座2、4上，再分别将左、右相机支座固定在三脚架1的横梁左、右两侧上；以左相机3的光心作为局部坐标系的原点，相机成像平面的u方向为x方向，光轴方向为z轴方向，建立右手坐标系；连接安装在激光器转台上的激光跟踪仪测头8，建立激光跟踪仪坐标系作为全局坐标系；在公共视场内的被测物6上布置多个公共点7，由双目相机采集图像，并提取图像的像素坐标，通过双目视觉点的重建公式求得点在视觉坐标系下的坐标，激光跟踪仪同时采集各个公共点的坐标，此坐标值是在世界坐标系下，求取视觉坐标系到世界坐标系的转换矩阵；

第二步视觉坐标系到世界坐标系转换矩阵的随机误差计算

1)首先计算点的像素提取误差引起点在视觉坐标系下三维坐标的误差；

由已知的左右相机的像素坐标(u₁,v₁)及(u₂,v₂)和标定结果，计算得到点的三维坐标(x_v,y_v,z_v)：

其中(u₀₁,v₀₁)为左相机的主点坐标，(u₀₂,v₀₂)为右相机的主点坐标，f_x1、f_y1为左相机的等效焦距，f_x2、f_y2为右相机的等效焦距，为左相机到右相机的转换矩阵参数。根据上述三维重建公式，当在图像中提取像素存在误差时，这个像素误差将会通过公式(1)传递到点在视觉坐标系下的三维坐标上，设在u₁、v₁、u₂、v₂方向上的提取像素点的误差分别为且互不相关，则视觉坐标系下的坐标值关于提点像素误差的协方差矩阵C_xyz：

C_xyz＝J·D_uv·J^T (2)

其中，J为点在视觉坐标系下的坐标对像素误差的协方差矩阵，D_uv为像素误差自身的协方差矩阵，

2)计算视觉坐标系下的公共点坐标的误差对转换矩阵的影响

得到公共点在视觉坐标系的坐标后，需要利用三个或三个以上的点求得视觉坐标系到世界坐标系的转换矩阵，设取n(n≥3,n∈N)个公共点，公共点在视觉坐标系和世界坐标系下的坐标分别表示为和i＝1,2,…n，两坐标系的转换算法为:

其中为视觉坐标系到世界坐标系的旋转矩阵，ψ、θ和φ分别为绕x轴、y轴和z轴的旋转角，为视觉坐标系到世界坐标系的平移矩阵，两个矩阵共有6个未知参数。上述公式又可写成：

由于公共点的测量存在误差，因此为了求得最优的转换矩阵，应使每一个的值取最小，令表示转换矩阵参数向量，表示公共点在视觉坐标系下坐标参数向量，因此构建以下目标函数来求得转换矩阵：

为使上述公式成立，对f(RT,PC)进行关于转换参数的求导，其导数值应为0，即：

上述式子是关于RT和PC的隐函数，即RT和PC之间存在函数关系，RT＝f(PC)，根据隐函数求导法则有：

所以外参数RT关于提点误差的协方差矩阵表示为C_RT：

C_RT＝G·C_xyz·G^T (8)

其中G为参数RT对PC的偏导。

第三步待测点在世界坐标系下坐标值的误差计算

求得外参数矩阵后，可以通过下述公式求得视觉坐标系下待测点在世界坐标系的坐标值：

其中Pwm为待测点在世界坐标系下的三维坐标，Pwm＝[x_wm,y_wm,z_wm]^T，Pvm为待测点在视觉坐标系下的三维坐标，Pvm＝[x_vm,y_vm,z_vm]^T，但是由于待测点Pvm在视觉坐标系下的坐标和转换矩阵都存在误差，且相互独立，因此应分别求取其对待测点在世界坐标系下坐标值的误差；

1).外参数矩阵对待测点在世界坐标系下的坐标造成的误差

根据公式(9)对外参数矩阵的参数进行求导：

其中，H为待测点在世界坐标系下的坐标对外参数的偏导，则待测点在世界坐标系下的坐标对于外参数矩阵的协方差矩阵表示为：

CP_RT＝H·C_RT·H^T (11)

因此，待测点在世界坐标系下的坐标关于外参数的误差表示为：

E_RT＝trace(CP_RT) (12)

其中，trace(CP_RT)表示矩阵CP_RT的迹；

2)视觉坐标系下由于像素点提取造成的三维坐标误差对待测点在世界坐标系下的坐标造成的误差

根据公式(9)对待测点在视觉坐标系下的三维坐标Pvm＝[x_vm,y_vm,z_vm]^T进行求导：

则待测点在世界坐标系下的坐标对于待测点在视觉坐标系下的三维坐标的协方差矩阵表示为：

CP_vm＝L·C_xyz·L^T (14)

因此，待测点在世界坐标系下的坐标关于待测点在视觉坐标系下的坐标的误差表示为：

E_Pvm＝trace(CP_vm) (15)

综合误差EP为上述待测点在世界坐标系下的坐标关于外参数矩阵和待测点在视觉坐标系下的坐标的误差之和，即：

EP＝E_RT+E_Pvm。 (16)

本发明的有益效果是能够定量分析像素提取误差对点在视觉坐标系和世界坐标系下坐标值的影响以及对转换矩阵误差的影响，准确的表示不同位置点的精度；分析过程简单，误差传递链清晰；可根据该误差分析来优化公共点的布局，提高测量系统的整体精度。

附图说明

附图1为基于视觉拼接测量的系统原理图。其中，1-三脚架，2-左相机支座，3-左相机，4-右相机支座，5-右相机，6-被测物，7-公共点，8-激光跟踪仪测头；O_WX_WY_WZ_W-全局坐标系，O_VX_VY_VZ_V-局部坐标系，R_V ^W-视觉坐标系到世界坐标系旋转矩阵，T_V ^W-视觉坐标系到世界坐标系平移矩阵。

附图2为基于视觉拼接测量误差分析流程图。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施方式。

实施例1，首先搭建如附图1所示的基于激光跟踪仪的双目视觉拼接测量系统，激光跟踪仪测头8选用Leica AT960MR，测量范围为1-20m。左相机3和右相机5选用VC-12MC-M，分辨率3072*4096，最高帧频60Hz。并利用棋盘格对双目视觉系统进行标定，获取的相机标定参数如下：左相机主点坐标值u₀₁＝2140.397824，v₀₁＝1510.250152；等效焦距f_x1＝6447.987913，f_y1＝6454.015281；右相机主点坐标值u₀₂＝2124.090030，v₀₂＝1526.184441，等效焦距f_x2＝6417.044403，f_y2＝6420.363610，及左相机到右相机的转换矩阵在激光跟踪仪和视觉测量系统的公共视场内布置9个公共点，视觉测量系统采集公共点图像及任意点图像，激光跟踪仪测量公共点在世界坐标系下的坐标值，然后对任意一点的误差进行分析，方法的具体过程如下：

第一步视觉坐标系到世界坐标系转换矩阵的随机误差计算

1)首先计算点的像素提取误差引起点在视觉坐标系下三维坐标的误差

对相机拍摄得到的图像进行像素提取，获得所有点位的左右像素坐标 ，并利用公式(1)计算得到这些点在视觉坐标系下的坐标值根据实验条件设像素提取误差均相等且等于0.5，然后利用公式(2)求得每一个点在视觉坐标系下的协方差矩阵其中

2)计算视觉坐标系下公共点坐标的误差对转换矩阵的影响

取9个公共点，其在视觉坐标系和世界坐标系下的坐标分别表示为和i＝1,2,…n，根据公式(3)建立最小二乘目标函数f(RT,PC)，求解得ψ＝0.580206，θ＝0.306834，φ＝-2.343679，t₁＝2982.129371，t₂＝330.777454，t₃＝-1482.893136，根据公式(5)可知视觉坐标系到世界坐标系转换矩阵和保留公式(6)中的所有参数，建立关于函数RT＝f(PC)的隐函数，并根据隐函数求导法则即公式(7)获得RT对PC的导数，然后代入所有已知数值利用公式(8)计算得到外参数RT的协方差矩阵

第二步待测点在世界坐标系下坐标值误差计算

求得外参数协方差矩阵后，分别计算外参数矩阵和待测点在视觉坐标系下的坐标值对待测点在世界坐标系下的坐标值的影响。

1)外参数矩阵对待测点在世界坐标系下的坐标造成的误差

对待测点进行拍摄并提取其像素坐标，其像素坐标为(u₁,v₁)＝(3215.06,434.58)，(u₂,v₂)＝(2895.27,375.02)，并将其代入公式(11)，计算得到待测点在世界坐标系下的坐标对于外参数矩阵的协方差矩阵对CP_RT求迹，得到待测点在世界坐标系下的坐标对于外参数矩阵的误差E_RT＝0.1221。

2)视觉坐标系下由于像素点提取造成的三维坐标误差对待测点在世界坐标系下的坐标造成的误差

将该待测点的像素坐标代入公式(2)中计算其在视觉坐标系下坐标的误差矩阵代入公式(14)，并代入外参数矩阵求得待测点在世界坐标系下的坐标对于待测点在视觉坐标系下的三维坐标的协方差矩阵对CP_vm求迹，得到该点在世界坐标系下的坐标关于点在视觉坐标系下的坐标的误差E_Pvm＝0.0571。

最终将上述求得的待测点在世界坐标系下的坐标关于外参数矩阵和待测点在视觉坐标系下的坐标的误差根据公式(16)求和，得到待测点的误差为EP＝0.1792。

实施例可以求得任意待测点在世界坐标系下的坐标关于像素提取误差所引起的误差，能够定量的分析测量点的精度，对于公共点的布局、提高系统精度具有重要意义。

Claims (1)

1.一种基于视觉拼接测量的误差分析方法，其特征是，该方法基于激光跟踪仪和双目视觉系统进行拼接测量，首先搭建双目视觉系统，在其公共视场内布置多个公共点，双目相机采集图像并提取图像的像素坐标，定量分析提取的像素误差对点在世界坐标系下坐标值误差的影响；根据视觉坐标点的三维重建公式和坐标转换公式计算出点提取的像素误差对外参数矩阵的影响，再计算外参数矩阵的误差对点在世界坐标系下的坐标值误差影响和点在视觉坐标系下的坐标误差对点在世界坐标系下的坐标值误差影响，最后，求出待测点在世界坐标系下的综合误差；该方法的的具体步骤如下：

第一步搭建基于激光跟踪仪的双目视觉拼接测量系统，建立坐标系；

首先，将左、右相机(3、5)分别固定在左、右相机支座(2、4)上，再分别将左、右相机支座固定在三脚架(1)的横梁左、右两侧上；以左相机(3)的光心作为视觉坐标系的原点，相机成像平面的u方向为x方向，光轴方向为z轴方向，建立视觉坐标系O_VX_VY_VZ_V；连接安装在激光器转台上的激光跟踪仪测头(8)，建立激光跟踪仪坐标系作为世界坐标系O_WX_WY_WZ_W；在公共视场内的被测物(6)上布置多个公共点(7)，由双目相机采集图像，并提取图像的像素坐标，通过双目视觉点的重建公式求得点在视觉坐标系下的坐标，激光跟踪仪同时采集各个公共点的坐标，此坐标值是在世界坐标系下，利用最小二乘法求得视觉坐标系到世界坐标系的转换矩阵；

第二步视觉坐标系到世界坐标系转换矩阵的随机误差计算

1)首先计算点的像素提取误差引起点在视觉坐标系下三维坐标的误差；

由已知的左右相机的像素坐标(u₁,v₁)及(u₂,v₂)和标定结果，计算得到点的三维坐标(x_v,y_v,z_v)：

其中(u₀₁,v₀₁)为左相机的主点坐标，(u₀₂,v₀₂)为右相机的主点坐标，f_x1、f_y1为左相机的等效焦距，f_x2、f_y2为右相机的等效焦距，为左相机到右相机的转换矩阵参数；根据上述三维重建公式，当在图像中提取像素存在误差时，这个像素误差将会通过公式(1)传递到点在视觉坐标系下的三维坐标上，设在u₁、v₁、u₂、v₂方向上的提取像素点的误差分别为且互不相关，则视觉坐标系下的坐标值关于提点像素误差的协方差矩阵C_xyz：

C_xyz＝J·D_uv·J^T (2)

其中，J为点在视觉坐标系下的坐标对像素误差的协方差矩阵，D_uv为像素误差自身的协方差矩阵，

2)计算视觉坐标系下的公共点坐标的误差对转换矩阵的影响

得到公共点在视觉坐标系的坐标后，需要利用三个或三个以上的点求得视觉坐标系到世界坐标系的转换矩阵，设取n(n≥3,n∈N)个公共点，公共点在视觉坐标系和世界坐标系下的坐标分别表示为和两坐标系的转换算法为:

其中为视觉坐标系到世界坐标系的旋转矩阵，ψ、θ和φ分别为绕x轴、y轴和z轴的旋转角，为视觉坐标系到世界坐标系的平移矩阵，两个矩阵共有6个未知参数，上述公式又可写成：

由于公共点的测量存在误差，因此为了求得最优的转换矩阵，应使每一个的值取最小，令表示转换矩阵参数向量，表示公共点在视觉坐标系下坐标参数向量，因此构建以下目标函数来求得转换矩阵：

为使上述公式成立，对f(RT,PC)进行关于转换参数的求导，其导数值应为0，即：

上述式子是关于RT和PC的隐函数，即RT和PC之间存在函数关系，RT＝f(PC)，根据隐函数求导法则有：

所以外参数RT关于提点误差的协方差矩阵表示为C_RT：

C_RT＝G·C_xyz·G^T (8)

其中G为参数RT对PC的偏导；

第三步待测点在世界坐标系下坐标值的误差计算

求得外参数矩阵后，可以通过下述公式求得视觉坐标系下待测点在世界坐标系的坐标值：

其中Pwm为待测点在世界坐标系下的三维坐标，Pwm＝[x_wm,y_wm,z_wm]^T，Pvm为待测点在视觉坐标系下的三维坐标，Pvm＝[x_vm,y_vm,z_vm]^T，但是由于待测点Pvm在视觉坐标系下的坐标和转换矩阵都存在误差，且相互独立，因此应分别求取其对待测点在世界坐标系下坐标值的误差；

1).外参数矩阵对待测点在世界坐标系下的坐标造成的误差

根据公式(9)对外参数矩阵的参数进行求导：

其中，H为待测点在世界坐标系下的坐标对外参数的偏导，则待测点在世界坐标系下的坐标对于外参数矩阵的协方差矩阵表示为：

CP_RT＝H·C_RT·H^T (11)

因此，待测点在世界坐标系下的坐标关于外参数的误差表示为：

E_RT＝trace(CP_RT) (12)

其中，trace(CP_RT)表示矩阵CP_RT的迹；

2)视觉坐标系下由于像素点提取造成的三维坐标误差对待测点在世界坐标系下的坐标造成的误差

根据公式(9)对待测点在视觉坐标系下的三维坐标Pvm＝[x_vm,y_vm,z_vm]^T进行求导：

则待测点在世界坐标系下的坐标对于待测点在视觉坐标系下的三维坐标的协方差矩阵表示为：

CP_vm＝L·C_xyz·L^T (14)

因此，待测点在世界坐标系下的坐标关于待测点在视觉坐标系下的坐标的误差表示为：

E_Pvm＝trace(CP_vm) (15)

综合误差EP为上述待测点在世界坐标系下的坐标关于外参数矩阵和待测点在视觉坐标系下的坐标的误差之和，即：

EP＝E_RT+E_Pvm (16)。