CN108198219A - 用于摄影测量的相机标定参数的误差补偿方法 - Google Patents

Abstract

本发明公开了一种用于摄影测量的相机标定参数的误差补偿方法，包括：S1、测量并计算出所述平面靶标特征点的z轴方向的相对基准平面的偏移量；S2、标定出未加误差补偿下相机参数的初始值；S3、根据所述初始值，得出所述平面靶标特征点的z轴方向的相对基准平面的偏移量引起所述平面靶标对应图像上对应特征点像素坐标的偏移量；S4、通过偏移量校正过程校正所述平面靶标上的特征点对应图像上的像素坐标；S5、用所述校正后的图像坐标重新进行相机参数标定。本发明技术方案相比现有技术的优点在于，高精度靶标加工费用高昂，不平整平面靶标通过本方案推导出的像素坐标误差补偿方法可以在不提高成本的情况下提高标定结果的精度。

Description

用于摄影测量的相机标定参数的误差补偿方法

技术领域

本发明涉及摄影测量技术领域，具体涉及一种用于摄影测量的相机标定参数的误差补偿方法。可具体应用于对平面靶标应用的平面度误差导致的相机标定参数误差进行补偿。

背景技术

摄影测量技术广泛用于人工智能、视觉测量和机器人技术。相机标定是摄影测量的关键一步，标定结果的精度直接影响到测量结果的准确性。平面靶标因其加工简单标定算法稳定，应用广泛。为进一步提高标定结果的精度，考虑标定过程中各个环节存在的误差并进行误差补偿是一种提高标定结果精度的方法。其中平面标定靶标的加工精度对标定结果的影响尤为重要。因此提高靶标加工精度或者进行额外的靶标加工误差补偿是从两个角度分析提高标定结果精度的方法。

目前提高平面靶标标定精度主要从提高标定靶标制造精度和提高靶标特征点提取精度两个方面进行。例如，在吴宏杰等人提交的专利申请号为CN201310140445.5的专利中提出一种对多维特征相机标定误差补偿方法，主要是通过计算特征点x轴和y轴偏差补偿光靶中心误差。这一方案并不能针对z轴偏差做出补偿。

另外，在周富强等人提交的专利申请号为CN201210035098.5的专利中提出一种视觉测量相机参数优化方法。该方法对特征点的图像坐标进行畸变矫正，计算连接投影中心与无畸变图像特征点的投影射线方程；将特征点在摄像机坐标系下的三维坐标与投影射线与对应靶标平面的交点比较，以二者距离作为目标函数对摄像机参数进行优化搜索。该方案并不能针对平面靶标的不平整度引起的误差进行补偿。

再有，在赵俭提出的专利号为CN201510408436.9的专利中提出一种图像参数的补偿方法。该方法只针对平面棋盘格标定靶标，且该方法通过将格点之间的最小间距作为标准距离，计算标定图像的相邻特征点之间的三维距离与标准距离的均方根误差，再将每幅测试图像的图像特征点反投射到靶标平面形成交点，计算其与所有空间特征点之间的距离的均方根误差。该方案只能求出均方根误差，因此误差补偿并不精确。

又或者，在张福民等人提出的专利申请号为CN201610608257.4的专利中提出一种摄影系统的机器人在线误差补偿方法。该方法用二维倾角测量仪测量机器人末端两个方向角度姿态，结合机器人自身解算的精度较高的一个角度数据可实现机器人末端三维姿态的测量，并与摄影系统测量的姿态数据进行数据融合、比对后得到补偿值，控制工业机器人使误差得到补偿。该方案中直接标定出姿态数据和机器人自身解进行比较补偿，本质上也难于对平面靶标的不平整度引起的误差进行补偿。

由此可以看出，现有技术中仍然缺乏一种针对不平整靶标Z轴方向上的偏移量进行有效补偿的方法，亟待改进。

发明内容

鉴于现有技术存在的上述问题，本发明的目的在于提供一种能够进一步提高相机标定结果的精度的用于摄影测量的相机标定参数的误差补偿方法。

为了实现上述目的，本发明实施例提供的一种用于摄影测量的相机标定参数的误差补偿方法，包括：

S1、测量并计算出所述平面靶标特征点的z轴方向的相对基准平面的偏移量；

S2、标定出未加误差补偿下相机参数的初始值；

S3、根据所述初始值，得出所述平面靶标特征点的z轴方向的相对基准平面的偏移量引起所述平面靶标对应图像上对应特征点像素坐标的偏移量；

S4、通过偏移量校正过程校正所述平面靶标上的特征点对应图像上的像素坐标；

S5、用所述校正后的图像坐标重新进行相机参数标定。

作为优选，步骤S1，包括：首先设定所述平面靶标上任意一个所述特征点的z轴方向坐标为0，其次测量出所述平面靶标上其他所述特征点相对任意一个所述特征点的z轴方向坐标值，上述测量过程测量出的特征点坐标为(x_n,y_n,z_n)，用最小二乘法得出所述基准平面方程ax+by+z+c＝0，所述偏移量Δz_n＝z_n+(ax_n+by_n+c)。

作为优选，步骤S4中的所述偏移校正过程，包括：依据所述初始值和所述偏移量，得出单应性矩阵所述特征点对应的图像中的像素坐标为(u_n，v_n)，校正后的像素坐标为(u′_n，v′_n)，其中所述像素坐标补偿公式为u′_n＝u_n-h₃Δz_n和v′_n＝v_n-h₇Δz_n。

作为优选，步骤S5之后，再重复执行S4和S5步骤n次，所述n为大于0的整数。

本发明技术方案相比现有技术的优点在于，高精度靶标加工费用高昂，不平整平面靶标通过本方案推导出的像素坐标误差补偿方法可以在不提高成本的情况下提高标定结果的精度。本方案在求不平整靶标z轴方向的偏移量时，用到了最小二乘法，使得偏移量的结果更加可靠，提高了图像坐标补偿过程的计算精度。本方案优化过程需要迭代，有利于进一步提高标定结果的精度，且迭代过程次数可以根据测量精度要求自行设定，算法可实用性高。

附图说明

图1为本发明的用于摄影测量的相机标定参数的误差补偿方法的基本流程图；

图2为本发明的用于摄影测量的相机标定参数的误差补偿方法的一个实施例的算法流程图；

图3为本发明的用于摄影测量的相机标定参数的误差补偿方法的图像点和空间点呈现的数学模型；

图4为本发明的用于摄影测量的相机标定参数的误差补偿方法的初始参数标定过程。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

本发明主要目的是通过迭代的方法补偿平面靶标不平整引起对应图像上像素点的偏差来优化标定参数，首先需要标定出相机参数的初始值，然后测量出平面靶标特征点z轴方向的偏移量，用最小二乘法求出平面靶标特征点z轴方向的相对基准平面的偏移量，然后根据相机参数数学模型推导出图像上所述对应特征点像素坐标的偏移量计算公式，校正特征点像素坐标的偏移量后重新进行相机参数标定，得到新的标定结果作为初始值重重复上述步骤，n次迭代后的结果作为最终的标定结果。图1示出为本发明的基本流程图，如图所示，本发明提出的一种用于摄影测量的相机标定参数的误差补偿方法，包括：

S1、测量并计算出所述平面靶标特征点的z轴方向的相对基准平面的偏移量；

S2、标定出未加误差补偿下相机参数的初始值；

S3、根据所述初始值，得出所述平面靶标特征点的z轴方向的相对基准平面的偏移量引起所述平面靶标对应图像上对应特征点像素坐标的偏移量；

S4、通过偏移量校正过程校正所述平面靶标上的特征点对应图像上的像素坐标；

S5、用所述校正后的图像坐标重新进行相机参数标定。

在本发明实施例中，相机参数初始值包括：相机内参数、以及不同姿态下所述平面靶标分别相对两个相机坐标系统的旋转矩阵，平移向量和比例因子。用张正友标定方法求解出初始参数。

平面靶标特征点z轴方向的相对基准平面的偏移量求解方法为：首先假设平面靶标上任意点处为坐标圆点，测量出其他点处的z轴坐标值，根据所述靶标上所述测量出的特征点坐标为(x_n,y_n,z_n)用最小二乘法求出所述基准平面方程Ax+By+z+C＝0，所述偏移量Δz_n＝z_n+(Ax_n+By_n+C)。

本方案推导出的图像上所述对应特征点像素坐标的偏移量求解公式为：首先根据张正友标定方法求解出标定结果的初始值，根据初始值求解出单应性矩阵

特征点对应的图像中的像素坐标为(u_n，v_n)，校正后的像素坐标为(u′_n，v′_n)，其中所述u′_n＝u_n-h₃Δz_n，所述v′_n＝v_n-h₇Δz_n。

把上述求解出来误差补偿后的像素坐标值作为初始已知参数结合靶标上特征点的平面坐标，张正友标定公式中求解出补偿后的相机参数。

将次补偿后的相机参数作为初始值，计算出新的单应性矩阵，按照上述图像上所述对应特征点像素坐标的偏移量求解公式结合新的单应性矩阵值求解出图像上所述对应特征点像素坐标的偏移量补偿后的像素坐标，重新标定相机参数重复n次。

把n次优化后的得到的相机参数作为最终校正相机参数，一般重复4次以上。

本方案相比其他方法的优点在于，高精度靶标加工费用高昂，不平整平面靶标通过本方案推导出的像素坐标误差补偿方法可以在不提高成本的情况下提高标定结果的精度。本方案在求不平整靶标z轴方向的偏移量时，用到了最小二乘法，使得偏移量的结果更加可靠，提高了图像坐标补偿过程的计算精度。本方案优化过程需要迭代，有利于进一步提高标定结果的精度，且迭代过程次数可以根据测量精度要求自行设定，算法可实用性高。

另请参考图2，误差补偿算法流程图，每步具体实现方法如下。

步假设靶标上某一特征点为坐标原点，测量出其他点的z轴方向坐标值，特征点的x轴和y轴坐标是已知的。得到测量出的特征点坐标为(x_n,y_n,z_n)，代表第n个特征点的三维坐标，共有N个特征点。

步设其基准平面方程为Ax+By+z+C＝0，其中A、B、C为未知量，最小二乘法求解过程如下：

设ε＝Ax+By+z+C

使得残差最小：

∑ε²＝∑(Ax+By+z+C)² 1.1

1.4由1.2-1.4式可知：

把1.5式带入上1.2-1.4式可以得到：

N∑xz-∑x∑z＝-A(∑x²-∑x∑x)-B(N∑xy-∑x∑y) 1.6

z′₁＝N∑xz-∑x∑z 1.7

a₁＝∑x²-∑x∑x 1.8

b₁＝N∑xy-∑x∑y 1.9

N∑yz-∑y∑z＝-A(∑xy-∑x∑y)-B(N∑y²-∑y∑y) 1.10

z′₂＝N∑yz-∑y∑z 1.11

a₂＝∑xy-∑x∑y 1.12

b₂＝N∑y²-∑y∑y 1.13

-z′₁＝Aa₁+Bb₁ 1.14

-z′₂＝Aa₂+Bb₂ 1.15

第三步根据求解出的基准平面Ax+By+z+C＝0，计算平面靶标特征点z轴方向的偏移量Δz_n为：

Δz_n＝z_n+(Ax_n+By_n+C)。 1.19

第四步通过平面棋盘格标定靶标或者圆形标志点平面靶标根据张正友标定原理在OpenCV中编写出标定程序。初始参数标定过程如图2所示，用双目相机同时拍摄平面靶标图像多幅，从图像和标定靶标上特征点位置坐标关系求解出相机初始参数。张正友方案中的反应图像像素坐标和靶标上特征点坐标之间的关系的数学模型如下：

根据张正友平面靶标相机参数模型可知图像上像素点的坐标(u，v)和对应空间点的坐标(x,y,z)关系为：

其中s为比例因子，H为单应性矩阵，H＝A[R|T]其中R为旋转矩阵，T为平移向量，A为相机内参数。假设靶标上的点在一个平面内上述公式可以转化为：

第五步设置优化迭代次数为N(N>0)，N代表优化迭代的过程重复次数，用于优化程序最后判定是否完成优化输出结果。迭代次数标志位n，每进行一次迭代n自动加1，每次迭代完成后判断迭代标志位n和N的大小关系，当n大于等于初始用户设定的迭代次数N后输出迭代优化后的相机参数作为最终结果。

第六步根据相机参数数学模型推导出校正后的像素坐标，具体推导过程为：

另如图3所示，代表像素坐标和靶标坐标系之间的关系，张正友模型中假设靶标为平面靶标，但是实际靶标由于平面靶标不平整引起靶标z轴方向坐标值不为零，上述步骤计算出了靶标z轴方向相对基准面的偏移量。在图4中，假设平面靶标为三维坐标，靶标通过相机镜头成像投影在像平面上，根据成像模型，靶标上点和对应图像上点存在一定的数学关系。图中R、T分别代表靶标坐标系和像平面坐标系之间的旋转矩阵和平移向量。靶标上特征点A在像平面上的投影点为A′。

对于不平整的平面靶标，其上特征点的坐标(x，y，z)对应的带有误差的图像上像素点的坐标(u_e，v_e)之间的对应关系，可以表示为为：

其中单应性矩阵和比例因子是通过张正友标定方法，由不平整靶标标定出来的初始值。由上1.21和1.22式可以得到：

u＝h₁x+h₂y 1.23

v＝h₅x+h₆y 1.24

u_e＝h₁x+h₂y+h₃z 1.25

v_e＝h₅x+h₆y+h₇z 1.26

其中z为Δz_n，设第n个特征点对应的图像中的像素坐标为(u_n，v_n)，校正后的像素坐标为(u′_n，v′_n)，由1.23-1.26式可知：

u′_n＝u_n-h₃Δz_n 1.27

v′_n＝v_n-h₇Δz_n 1.28

代入1.19式到1.27和1.28式得：

u′_n＝u_n-h₃(z_n+(Ax_n+By_n+C)) 1.29

v′_n＝v_n-h₇(z_n+(Ax_n+By_n+C)) 1.30

第七步把校正后的像素坐标(u′_n，v′_n)和对应平面靶标上点的坐标(x，y)作为已知条件代入方程：

按照张正友平面靶标标定方法求解出相机的内外参数，其中s为比例因子，A为内参，R为旋转矩阵，T为平移向量。

第八步每优化求解完一次，迭代标志位n自动加一，n代表迭代优化进行了n次。

第九步判断迭代标志位n和设置优化迭代次数为N之间的关系，若n<N把第八步得到的第n次补偿后的相机参数作为初始值带回到第六步，再次重复计算从第六步到第八步。把通过误差补偿后求解出来的相机参数作为初始值，重新代入校正后的像素坐标(u′_n，v′_n)和对应平面靶标上点的坐标(x，y)到上述公式中，求解出新的相机参数。然后再进行判断。这个步骤重复n次优化结果的精度会提高。直到n大于等于N，把N次优化后的结果作为最终校正相机参数。即完成对平面靶标平面度误差导致的相机标定参数误差的补偿。

本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于摄影测量的相机标定参数的误差补偿方法，包括：

S1、测量并计算出所述平面靶标特征点的z轴方向的相对基准平面的偏移量；

S2、标定出未加误差补偿下相机参数的初始值；

S3、根据所述初始值，得出所述平面靶标特征点的z轴方向的相对基准平面的偏移量引起所述平面靶标对应图像上对应特征点像素坐标的偏移量；

S4、通过偏移量校正过程校正所述平面靶标上的特征点对应图像上的像素坐标；

S5、用所述校正后的图像坐标重新进行相机参数标定。

2.如权利要求1所述的用于摄影测量的相机标定参数的误差补偿方法，其特征在于，步骤S1，包括：首先设定所述平面靶标上任意一个所述特征点的z轴方向坐标为0，其次测量出所述平面靶标上其他所述特征点相对任意一个所述特征点的z轴方向坐标值，上述测量过程测量出的特征点坐标为(x_n,y_n,z_n)，用最小二乘法得出所述基准平面方程ax+by+z+c＝0，所述偏移量Δz_n＝z_n+(ax_n+by_n+c)。

3.如权利要求1所述的用于摄影测量的相机标定参数的误差补偿方法，其特征在于，步骤S4中的所述偏移校正过程，包括：依据所述初始值和所述偏移量，得出单应性矩阵所述特征点对应的图像中的像素坐标为(u_n，v_n)，校正后的像素坐标为(u′_n，v′_n)，其中所述像素坐标补偿公式为u′_n＝u_n-h₃Δz_n和v′_n＝v_n-h₇Δz_n。

4.如权利要求1所述的用于摄影测量的相机标定参数的误差补偿方法，其特征在于，步骤S5之后，再重复执行S4和S5步骤n次，所述n为大于0的整数。