CN113146633B - 一种基于自动贴盒系统的高精度手眼标定方法 - Google Patents

Abstract

本发明涉及工业机器人控制技术领域，具体是一种基于自动贴盒系统的高精度手眼标定方法，设计一个带有圆形mark点的工具标定板，将其固定于SCARA机械手的法兰末端，并使其紧贴于输送皮带表面；通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，并通过所述工具标定方法获取工具标定结果；结合相机的成像模型，让所述SCARA机械手平移运动采集多组数据进行手眼标定，获取手眼标定数据；设计误差矫正模型，对手眼标定数据进行误差矫正。本方法可有效解决传统手眼标定方法中标定过程繁琐、标定精度差和不适合现场快速标定的问题。

Description

一种基于自动贴盒系统的高精度手眼标定方法

技术领域

本发明涉及工业机器人控制技术领域，尤其涉及一种基于自动贴盒系统的高精度手眼标定方法。

背景技术

随着社会经济的发展，商品包装盒的需求量越来越大，同时对包装品质的要求也越来越高。当前自动化包装盒生产线如图1所示，主要包括四个部分：上胶、内盒成型、定位粘合和刷裱折入部分。其中定位粘合是指将上胶后的外包面纸同内盒对准粘合，传统的工艺是人工对准贴放，生产效率低下、产品质量参差不齐。利用机械手加机器视觉对定位粘合部分进行智能化改造，通过四轴机器人SCARA代替人工进行贴放，面纸定位则通过机器视觉来实现。智能定位贴盒系统如图2所示，系统主要由相机、SCARA机械手及工业控制器组成。SCARA(Selective Compliance Assembly Robot Arm)是一种平面装配用工业机器人，具有四个自由度，可以分别沿x、y轴方向平移，沿z轴上下移动和沿U轴自由旋转。

通过机器视觉对面纸进行定位，根据视觉与机械手之间的手眼关系，将定位得到的位置、角度等视觉信息转化为机械手的运动信息，并通过工业控制器传递给机械手完成最终的贴放。视觉与机械手之间手眼关系的确定过程称为手眼标定，标定结果的好坏直接影响最终贴放的精度。

传统的手眼标定方法通过对偶四元数解方程组AX＝XB来实现，该方法存在如下问题：

(1)需要机器人具有足够的可控自由度来计算机械手运动矩阵A和相机运动矩阵B。

(2)标定过程需要人工设定多个机器人姿态，标定精度较差，标定过程繁琐。

(3)需要制作高精度复杂的标定板，标定过程不适合现场快速标定。

因此，急需一种技术来解决该问题。

发明内容

本发明的目的在于克服上述现有技术的问题，提供了一种基于自动贴盒系统的高精度手眼标定方法，首先根据SCARA机械手的特性结合视觉圆定位设计了一个圆形mark点工具标定板以及一种高效的工具标定方法；然后据该工具标定方法得到的工具标定结果结合相机成像原理，让机械手平移运动采集多组数据进行手眼标定；最后分析主要误差来源，设计误差矫正模型对最终的手眼标定进行误差矫正。

上述目的是通过以下技术方案来实现：

一种基于自动贴盒系统的高精度手眼标定方法，包括如下步骤：

步骤(1)设计一个带有圆形mark点的工具标定板，将其固定于SCARA机械手的法兰末端，并使其紧贴于输送皮带表面；通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，并通过所述工具标定方法获取工具标定结果；

步骤(2)根据步骤(1)中所述工具标定结果，结合相机的成像模型，让所述SCARA机械手平移运动采集多组数据进行手眼标定，获取手眼标定数据；

步骤(3)设计误差矫正模型，对步骤(2)中所述手眼标定数据进行误差矫正。

进一步地，步骤(1)中，所述工具标定板的厚度为1mm；所述圆形mark点位于所述工具标定板的末端，且所述圆形mark点的直径为10mm。

进一步地，步骤(1)中所述通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，具体为：

设所述SCARA机械手的当前姿态为：

pose＝[x，y，U]

其中，x，y为平移量，U为旋转角度；则所述SCARA机械手的法兰末端坐标系与基坐标系之间的关系如式(1)所示：

设工具坐标原点位于所述圆形mark点的中心，则所述SCARA机械手的法兰末端坐标系与工具坐标系之间的关系如式(2)所示：

则，所述工具坐标系的原点P₀在基坐标系中的坐标p₀如式(3)所示：

进一步地，还包括确定参数向量f＝[f_x，f_y]^T，具体如下：

移动机械手的x轴和y轴使圆形mark点位于图像的中间位置，记录手臂当前姿态pose₀＝[x₀，y₀，U₀]和圆形mark点图像坐标point₀；

将U轴旋转一个角度并移动x轴和y轴，使圆形mark点图像坐标point₁与point₀对齐，并记录手臂姿态pose₁＝[x₁，y₁，U₁]；

对齐之后的工具坐标系原点处于同一个位置，因此可得到关于参数向量的两个方程，如式(4)所示：

为了降低计算误差，通过n次旋转和平移操作可以得到关于参数向量f的2n个方程组成的方程组，通过最小二乘法最终得到参数向量f，如式(5)所示：

f＝(AA)^-1A^Tb (5)

其中A为2n×2矩阵，b为2n×1矩阵。

进一步地，步骤(2)中所述相机的成像模型如式(6)所示：

其中，为机械手基坐标系中点的齐次坐标，/>为对应的图像点的齐次坐标，R和t分别为基坐标系与相机坐标系之间的旋转矩阵和平移向量，A为相机的内参矩阵，内参矩阵可以通过相机内参标定方法得到，机械手与相机之间的手眼关系为/>

所述让所述SCARA机械手平移运动采集多组数据进行手眼标定，具体为：

将机械手旋转到一个合适的角度，移动机械手的x轴和y轴使mark点出现在相机视野中的不同位置，记录每个位置的机械手姿态pose_i，i＝1，…，n和mark点图像坐标m_i，i＝1，…，n。根据公式(3)计算得到mark点在基坐标系下的坐标M_i，i＝1，…，n，通过最小化如下误差得到手眼关系如式(7)所示：

进一步地，所述步骤(3)具体为：

设理想的参数向量为f′，误差参数向量f＝f′+α＝[f_x+α_x，f_y+α_y]^T，其中α＝[α_x，α_y]^T为工具标定误差，则mark点在基坐标系下的误差ξ，如式(8)所示：

其中，误差ξ相当于对基坐标系进行了平移，成像模型中的平移向量变成t＝t+[ξ_x，ξ_y，0]^T，设由手眼标定得到的手眼关系如式(9)所示：

则误差校正之后的手眼关系如式(10)所示：

设xoy为基坐标系，实线矩形A为面纸的实际边界模型，模型的中心为Ac；虚线矩形B为面纸的误差边界模型，模型的中心为Bc＝Ac+ξ，面纸上一圆形mark点在基坐标系下的实际坐标为p；实际模型经过旋转位移变换(α，[t_x，t_y]^T)之后到达A′，其中α为旋转角度，[t_x，t_y]^T为位移量向量；对应的误差模型变换为(α，[t_x+ξ_x，t_y+ξ_y]^T)，点p经过模型变换之后分别为p_A和p_B，所述p_A和所述p_B如式(11)和式(12)所示：

则误差e如式(13)所示：

通过n次的旋转位移变换，可以得到关于ξ的2n个方程，通过最小二乘法可得式(14)：

ξ＝(A^TA)^-1A^Te (14)

其中A为2n×2矩阵，b为2n×1矩阵。

有益效果

本发明所提供的一种基于自动贴盒系统的高精度手眼标定方法，操作简单快速，避免了传统方案中需要求解繁琐的矩阵方程组AX＝XB；在完成工具标定之后可让机械手自动移动获取标定点完成手眼标定，该手眼标定过程不需要人工肉眼对点，标定精度高；此外，分析了主要的误差来源，设计了误差矫正方法，进行一步提高标定精度。本方法可有效解决传统手眼标定方法中标定过程繁琐、标定精度差和不适合现场快速标定的问题。

附图说明

图1为传统自动化包装盒生产线；

图2为智能定位贴盒系统；

图3为本发明所述一种基于自动贴盒系统的高精度手眼标定方法的步骤图；

图4为本发明所述一种基于自动贴盒系统的高精度手眼标定方法中的智能定位贴放系统模型；

图5为本发明所述一种基于自动贴盒系统的高精度手眼标定方法中工具标定板的结构示意图；

图6为本发明所述一种基于自动贴盒系统的高精度手眼标定方法中误差矫正示意图。

图示标记：

1-工具标定板、2-法兰连接座、3-圆形mark点。

具体实施方式

下面根据附图和实施例对本发明作进一步详细说明。

如图3所示，一种基于自动贴盒系统的高精度手眼标定方法，包括如下步骤：

步骤(1)设计一个带有圆形mark点的工具标定板，将其固定于SCARA机械手的法兰末端，并使其紧贴于输送皮带表面；通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，并通过所述工具标定方法获取工具标定结果；

步骤(2)根据步骤(1)中所述工具标定结果，结合相机的成像模型，让所述SCARA机械手平移运动采集多组数据进行手眼标定，获取手眼标定数据；

步骤(3)设计误差矫正模型，对步骤(2)中所述手眼标定数据进行误差矫正。

如图5所示，步骤(1)中，所述工具标定板1的厚度为1mm，材质为铁片或者菲林板；所述圆形mark点3位于所述工具标定板1的末端，且所述圆形mark点3的直径为10mm；所述工具标定板1的另一端安装有法兰连接座2，用于与SCARA机械手的法兰末端固定。

作为本实施例的优化，步骤(1)中所述通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，具体为：

如图4所示，机械手基坐标系xy平面与皮带平面平行，因此皮带工作平面等同于xy平面。面纸的定位贴放是一个二维平面作业问题，需要确定二维平面坐标系之间的转化关系；

设所述SCARA机械手的当前姿态为：

pose＝[x，y，U]

其中，x，y为平移量，U为旋转角度；则所述SCARA机械手的法兰末端坐标系与基坐标系之间的关系如式(1)所示：

设工具坐标系原点位于所述圆形mark点的中心，则所述SCARA机械手的法兰末端坐标系与工具坐标系之间的关系如式(2)所示：

则，所述工具坐标系的原点P₀在基坐标系中的坐标p₀如式(3)所示：

还包括确定参数向量f＝[f_x，f_y]^T，具体如下：

移动机械手的x轴和y轴使圆形mark点位于图像的中间位置，记录手臂当前姿态pose₀＝[x₀，y₀，U₀]和圆形mark点图像坐标point₀；

将U轴旋转一个角度并移动x轴和y轴，使圆形mark点图像坐标point₁与point₀对齐，并记录手臂姿态pose₁＝[x₁，y₁，U₁]；

对齐之后的工具坐标系原点处于同一个位置，因此可得到关于参数向量的两个方程，如式(4)所示：

为了降低计算误差，通过n次旋转和平移操作可以得到关于参数向量f的2n个方程组成的方程组，通过最小二乘法最终得到参数向量f，如式(5)所示：

f＝(AA)^-1A^Tb (5)

其中A为2n×2矩阵，b为2n×1矩阵。

步骤(2)中所述相机的成像模型如式(6)所示：

其中，为机械手基坐标系中点的齐次坐标，/>为对应的图像点的齐次坐标，R和t分别为基坐标系与相机坐标系之间的旋转矩阵和平移向量，A为相机的内参矩阵，内参矩阵可以通过相机内参标定方法得到，机械手与相机之间的手眼关系为/>

所述让所述SCARA机械手平移运动采集多组数据进行手眼标定，具体为：

将机械手旋转到一个合适的角度，移动机械手的x轴和y轴使mark点出现在相机视野中的不同位置，记录每个位置的机械手姿态pose_i，i＝1，…，n和mark点图像坐标mi，i＝1，…，n。根据公式(3)计算得到mark点在基坐标系下的坐标M_i，i＝1，…，n，通过最小化如下误差得到手眼关系如式(7)所示：

所述步骤(3)设计误差矫正模型，对步骤(2)中所述手眼标定数据进行误差矫正；具体为：

设理想的参数向量为f′，误差参数向量f＝f′+α＝[f_x+α_x，f_y+α_y]^T，其中α＝[α_x，α_y]^T为工具标定误差，则mark点在基坐标系下的误差ξ，如式(8)所示：

其中，误差ξ相当于对基坐标系进行了平移，成像模型中的平移向量变成t＝t+[ξ_x，ξ_y，0]^T，设由手眼标定得到的手眼关系如式(9)所示：

则误差校正之后的手眼关系如式(10)所示：

如图6所示，设xoy为基坐标系，实线矩形A为面纸的实际边界模型，模型的中心为Ac；虚线矩形B为面纸的误差边界模型，模型的中心为Bc＝Ac+ξ，面纸上一圆形mark点在基坐标系下的实际坐标为p；实际模型经过旋转位移变换(α，[t_x，t_y]^T)之后到达A′，其中α为旋转角度，[t_x，t_y]^T为位移量向量；对应的误差模型变换为(α，[t_x+ξ_x，t_y+ξ_y]^T)，点p经过模型变换之后分别为p_A和p_B，所述p_A和所述p_B如式(11)和式(12)所示：

则误差e如式(13)所示：

通过n次的旋转位移变换，可以得到关于ξ的2n个方程，通过最小二乘法可得式(14)：

ξ＝(A^TA)^-1A^Te (14)

其中A为2n×2矩阵，b为2n×1矩阵。

作为本发明所述一种基于自动贴盒系统的高精度手眼标定方法的一个实施例，如下：

首先进行工具标定，移动机械手使mark点出现在相机视野的中间位置，记录当前圆形mark点3的位置作为基准位置，将机械手旋转一个角度之后，平移机械手将圆形mark点3与基准位置对齐，当圆心像素坐标差＜0.2pixel时认为mark点对齐。进行4次旋转平移之后的机械手姿态如表1所示：

表1四次旋转平移机械手姿态

姿态	pose.x	pose.y	pose.U
				1	245.249	-45.964	89.715
2	255.248	-102.569	112.416
				3	253.803	1.194	70.3456
4	278.767	43.18	51.3992

根据式(4)得到工具标定结果为f＝[-2.533，-144.854]^T。

工具标定之后平移机械手使圆形mark点3出现在相机视野中的不同位置，记录每次平移之后的机械手姿态及圆形mark点坐标，进行9次平移之后的姿态及mark点像素坐标如表2所示：

表2九次平移手臂姿态及mark点像素坐标

姿态	pose.x	pose.y	pose.U	Image.x	Image.x
						1	278.767	43.18	51.3991	1341.84	908.616
2	354.048	43.1798	51.3991	1341.23	704.062
						3	197.264	43.2039	51.3991	1342.24	1130.16
4	197.264	192.928	51.3991	933.372	1130.83
						5	285.036	192.928	51.3991	933.037	891.406
6	356.922	192.928	51.3991	932.797	695.581
						7	287.676	-61.279	51.3991	1625.06	884.276
8	211.085	-61.281	51.3991	1625.79	1092.1
						9	224.764	119.873	51.3991	1133.06	1055.61

根据式(7)得到手眼标定结果

表3二次旋转位移变换

	a	T.x	T.y	e.x	e.y
						1	11.383	349.758	-54.073	-0.379	0.315
2	-12.625	340.614	-27.429	0.078	0.018

表3为目标的2次旋转位移变换，进行误差校正，最终得到误差矫正向量ξ＝[0.1289，1.6188]^T，误差矫正之后的手眼标定结果为：

以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于自动贴盒系统的高精度手眼标定方法，其特征在于，包括如下步骤：

步骤(1)设计一个带有圆形mark点的工具标定板，将其固定于SCARA机械手的法兰末端，并使其紧贴于输送皮带表面；通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，并通过所述工具标定方法获取工具标定结果；

步骤(2)根据步骤(1)中所述工具标定结果，结合相机的成像模型，让所述SCARA机械手平移运动采集多组数据进行手眼标定，获取手眼标定数据；

步骤(3)设计误差矫正模型，对步骤(2)中所述手眼标定数据进行误差矫正；

步骤(1)中所述通过所述圆形mark点在所述SCARA机械手的坐标系中的坐标及其在图像中的坐标建立工具标定方法，具体为：

设所述SCARA机械手的当前姿态为：

pose＝[x,y,U]

其中，x,y为平移量，U为旋转角度；则所述SCARA机械手的法兰末端坐标系与基坐标系之间的关系如式(1)所示：

设工具坐标系原点位于所述圆形mark点的中心，且mark点的中心在法兰末端坐标系中的坐标向量为f＝[f_x,f_y]^T，其中f_x表示mark点中心在法兰末端坐标系中的x轴坐标，f_y表示mark点中心在法兰末端坐标系中的y轴坐标；则所述SCARA机械手的法兰末端坐标系与工具坐标系之间的关系如式(2)所示：

则，所述工具坐标系的原点P₀在基坐标系中的坐标p₀如式(3)所示：

步骤(2)中所述相机的成像模型如式(6)所示：

其中，为机械手基坐标系中点的齐次坐标，/>为对应的图像点的齐次坐标，R和t分别为基坐标系与相机坐标系之间的旋转矩阵和平移向量，A为相机的内参矩阵，内参矩阵可以通过相机内参标定方法得到，机械手与相机之间的手眼关系为/>

所述让所述SCARA机械手平移运动采集多组数据进行手眼标定，具体为：

将机械手旋转到一个合适的角度，移动机械手的x轴和y轴使mark点出现在相机视野中的不同位置，记录每个位置的机械手姿态pose_i,i＝1,…,n和mark点图像坐标m_i,i＝1,…,n；根据公式(3)计算得到mark点在基坐标系下的坐标M_i,i＝1,…,n，通过最小化如下误差得到手眼关系如式(7)所示：

2.根据权利要求1所述的一种基于自动贴盒系统的高精度手眼标定方法，其特征在于，步骤(1)中，所述工具标定板的厚度为1mm；所述圆形mark点位于所述工具标定板的末端，且所述圆形mark点的直径为10mm。

3.根据权利要求1所述的一种基于自动贴盒系统的高精度手眼标定方法，其特征在于，还包括确定参数向量f＝[f_x,f_y]^T，具体如下：

移动机械手的x轴和y轴使圆形mark点位于图像的中间位置，记录手臂当前姿态pose₀＝[x₀,y₀,U₀]和圆形mark点图像坐标point₀；

将U轴旋转一个角度并移动x轴和y轴，使圆形mark点图像坐标point₁与point₀对齐，并记录手臂姿态pose₁＝[x₁,y₁,U₁]；

对齐之后的工具坐标系原点处于同一个位置，因此可得到关于参数向量的两个方程，如式(4)所示：

为了降低计算误差，通过n次旋转和平移操作可以得到关于参数向量f的2n个方程组成的方程组，通过最小二乘法最终得到参数向量f，如式(5)所示：

f＝(A^TA)^-1A^Tb (5)

其中A为2n×2矩阵，b为2n×1矩阵。

4.根据权利要求1所述的一种基于自动贴盒系统的高精度手眼标定方法，其特征在于，所述步骤(3)具体为：

设理想的参数向量为f′，误差参数向量f＝f′+α＝[f_x+α_x,f_y+α_y]^T，其中α＝[α_x,α_y]^T为工具标定误差，则mark点在基坐标系下的误差ξ，如式(8)所示：

其中，误差ξ相当于对基坐标系进行了平移，成像模型中的平移向量变成t＝t+[ξ_x,ξ_y,0]^T，设由手眼标定得到的手眼关系如式(9)所示：

则误差校正之后的手眼关系如式(10)所示：

设xoy为基坐标系，实线矩形A为面纸的实际边界模型，模型的中心为Ac；虚线矩形B为面纸的误差边界模型，模型的中心为Bc＝Ac+ξ，面纸上一圆形mark点在基坐标系下的实际坐标为p；实际模型经过旋转位移变换(α,[t_x,t_y]^T)之后到达A′，其中α为旋转角度，[t_x,t_y]^T为位移量向量；对应的误差模型变换为(α,[t_x+ξ_x,t_y+ξ_y]^T)，点p经过模型变换之后分别为p_A和p_B，所述p_A和所述p_B如式(11)和式(12)所示：

则误差e如式(13)所示：

通过n次的旋转位移变换，可以得到关于ξ的2n个方程，通过最小二乘法可得式(14)：

ξ＝(A^TA)^-1A^Te (14)

其中A为2n×2矩阵，b为2n×1矩阵。