CN111331592B

CN111331592B - 机械手臂工具中心点校正装置及其方法以及机械手臂系统

Info

Publication number: CN111331592B
Application number: CN201910037641.7A
Authority: CN
Inventors: 许胜杰; 杨皓翔; 黄甦; 杜彦颐
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2018-12-19
Filing date: 2019-01-10
Publication date: 2021-05-25
Anticipated expiration: 2039-01-10
Also published as: TW202023767A; CN111331592A; US11247340B2; TWI672206B; US20200198145A1

Abstract

本发明涉及一种机械手臂非接触式工具中心点(Tool Center Point，TCP)校正方法，包含：以手眼校正演算法求得机械手臂的法兰面与多个摄影机的坐标转换关系，以立体重建法根据坐标转换关系建立空间坐标系，以机械手臂致动固定于该法兰面上的替换件在该多个摄影机的联集视野范围内依序呈现多个姿态，并记录替换件的多个特征点的每一个在这些姿态下于该空间坐标系中的多个特征坐标，以及记录法兰面在这些姿态下于此空间坐标系中的多个法兰面坐标，根据这些特征坐标及这些法兰面坐标求得替换件的工具中心点与法兰面的转换关系式，以及将转换关系式更新至机械手臂的控制程序中。此外，本发明还包括实施上述方法的一校正装置，以及具有上述校正功能的机械手臂系统。

Description

机械手臂工具中心点校正装置及其方法以及机械手臂系统

技术领域

本发明涉及一种机械手臂校正装置及其方法，以及具有校正功能的机械手臂系统，特别是一种机械手臂非接触式工具中心点校正装置及其方法。

背景技术

由于在工业生产上，自动化是近年来的趋势，许多流水线生产工艺大量使用机械手臂取代人力生产。然而以机械手臂自动化生产，需要克服的困难点就是机械的动作误差与校正的问题。

传统的校正方法使用接触式校正，然而接触式校正由操作人员控制机械手臂以各种不同角度触碰一尖点，存在人为影响因素较高、耗时、误差较大且无法校正三维旋转等缺点。更且，通常发生撞机或更换工件的情况时，便须立即重新校正，而重校耗时的缺点也会进一步导致机具使用率降低。

发明内容

本发明为一种使用摄影机的非接触式校正方法，其特点为降低人为影响因素、省时且可以同时校正三维平移与三维旋转运作。

本发明涉及一种机械手臂非接触式工具中心点校正方法，包含：以一手眼校正演算法求得一机械手臂的一法兰面与多个摄影机的一坐标转换关系，以一立体重建法根据坐标转换关系建立一空间坐标系，以机械手臂致动固定于该法兰面上的一替换件在该多个摄影机的联集视野范围内依序呈现多个姿态，并记录替换件的多个特征点的每一个在这些姿态下于该空间坐标系中的多个特征坐标，以及记录法兰面在这些姿态下于此空间坐标系中的多个法兰面坐标，根据这些特征坐标及这些法兰面坐标求得替换件的一工具中心点与法兰面的一转换关系式，以及将转换关系式更新至机械手臂的一控制程序中。

本发明涉及一种机械手臂非接触式工具中心点校正装置，包含：多个摄影机及一运算主机，这些摄影机用于拍摄一机械手臂，运算主机电性连接该些摄影机，并用于电性连接该机械手臂的一控制中心。此运算主机执行一手眼校正演算法以求得机械手臂的法兰面与摄影机的坐标转换关系；运算主机以立体重建法根据坐标转换关系建立空间坐标系；运算主机驱动机械手臂以使固定于该法兰面上的替换件在摄影机的联集视野范围内依序呈现多个姿态，并驱动摄影机记录替换件的多个特征点的每一个在这些姿态下于空间坐标系中的多个特征坐标，以及记录法兰面在这些姿态下于空间坐标系中的多个法兰面坐标；运算主机根据这些特征坐标及这些法兰面坐标求得替换件的工具中心点与法兰面的转换关系式；且运算主机将转换关系式更新至控制中心的控制程序中。

本发明涉及一种具有校正功能的机械手臂系统，包含：一机械手臂、多个摄影机及一运算主机。机械手臂至少具有一控制中心及一法兰面，控制中心用于执行一控制程序，法兰面用于固定一替换件。这些摄影机用于拍摄机械手臂，运算主机电性连接这些摄影机及控制中心。此运算主机执行一手眼校正演算法以求得法兰面与摄影机的坐标转换关系；运算主机以立体重建法根据坐标转换关系建立空间坐标系；运算主机驱动机械手臂以使固定于法兰面上的替换件在摄影机的联集视野范围内依序呈现多个姿态，并驱动摄影机记录替换件的多个特征点的每一个在这些姿态下于空间坐标系中的多个特征坐标，以及记录法兰面在这些姿态下于空间坐标系中的多个法兰面坐标；运算主机根据这些特征坐标及这些法兰面坐标求得替换件的工具中心点与法兰面的转换关系式；且运算主机将转换关系式更新至控制程序中。

以上关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的权利要求更进一步的解释。

附图说明

图1为绘示根据本发明的校正方法所实施的系统架构范例，以及此校正方法的一实施例求出机械手臂相对于摄影机的坐标转换关系的示意图。

图2为绘示根据本发明的机械手臂非接触式工具中心点校正方法的流程图。

图3为绘示根据本发明的一实施例，以立体重建法通过机械手臂相对于摄影机的坐标转换关系建立空间坐标系的示意图。

图4为绘示根据本发明的一实施例，通过在多个摄影机的交集视野范围中移动替换件以得到TCP校正的平移坐标的示意图。

图5为绘示根据本发明的一实施例，通过在多个摄影机的交集视野范围中旋转替换件以得到TCP校正的旋转矩阵的示意图。

图6为绘示根据本发明的另一实施例，通过在单一摄影机的视野范围中移动替换件以得到TCP校正的平移坐标的示意图。

图7为绘示根据本发明的另一实施例，通过在单一摄影机的视野范围中旋转替换件以得到TCP校正的旋转矩阵的示意图。

图8为绘示根据本发明的以机械臂尖端绕着物件做圆周运动，以检验校正是否成功的示意图。

【符号说明】

110：机械手臂

111：基座

112、114：延伸臂

113：关节

115：自由端

115’：自由端

116：替换件

116’：替换件

120：标定板

130、140、150：摄影机

160：运算主机

330、340、350：影像

190：组合影像

810：锥形物件

811：尖端

F：法兰面

F’：法兰面

P1、P2、P3：特征点

Q1、Q2、Q3：特征坐标

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求及附图，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

请参阅图1，其绘示用于执行本发明的机械手臂非接触式工具中心点(ToolCenter Point，TCP)校正方法的一机械手臂110，本发明的机械手臂非接触式工具中心点校正方法并非仅限于实施在具有此种结构的机械手臂。机械手臂110包含一基座111、多个延伸臂112、114及多个关节113。基座111上设置所述的多个关节113及多个延伸臂112、114，且关节113连接于基座111及其中一延伸臂112之间，或连接于两相邻的延伸臂112、114之间。这些延伸臂112、114之一(即图1中所绘示的延伸臂114)具有一自由端115未连接关节113，且此延伸臂114的自由端115形成一法兰面F。此法兰面F用以固定一替换件116，其中此替换件116可以是一刀具、一夹爪，甚或一工件。此外，为实施上述校正方法，更以摄影机至少拍摄机械手臂110的具有自由端115的延伸臂114以及其法兰面F。于本实施例中，所述摄影机的数量举三个为例(即如图1所示的摄影机130、140、150)，但也可仅为两个摄影机或其他数量的摄影机，本发明并不以此为限。

请参阅图2，其绘示本发明的机械手臂非接触式工具中心点校正方法的流程图。请一并参阅图1及图2，所述方法的步骤S1为根据一手眼校正演算法，求得机械手臂110的法兰面F与摄影机130、140、150之间的坐标转换关系。详言之，如图1所示，首先以多个摄影机130、140、150取得法兰面F上固定的一标定板120影像，且在取像过程中，法兰面F上固定的标定板120会出现在这些摄影机130、140、150各自的视野范围中。详言之，如图1所示，可定义标定板120(坐标位置(x_w，y_w，z_w))与各自摄影机130、140、150(坐标位置(x_c，y_c，z_c))之间具有齐次坐标转换矩阵A，法兰面F(坐标位置(x_f，y_f，z_f))与基座111(坐标位置(x_b，y_b，z_b))之间具有齐次坐标转换矩阵B，法兰面F与固定的标定板120之间具有齐次坐标转换矩阵X，而基座111与各自摄影机130、140、150之间具有齐次坐标转换矩阵Y。上述的齐次坐标转换矩阵A、B虽然会随法兰面F的移动而改变，但由摄影机130、140、150所取得内含标定板120的影像可得知齐次坐标转换矩阵A，且由机械手臂110的内部参数可得知齐次坐标转换矩阵B(即齐次坐标转换矩阵A、B属于已知参数矩阵)。另一方面，纵使齐次坐标转换矩阵X、Y不随法兰面F的移动而改变，但由于摄影机130、140、150相对于基座111的设置位置，以及标定板120相对于法兰面F的设置位置，均非预先设定者(即齐次坐标转换矩阵X、Y属于未知参数矩阵)，因此必须通过取得多组的齐次坐标转换矩阵A、B并通过AX＝YB的矩阵关系式解得未知的齐次坐标转换矩阵X、Y，进而可求得机械手臂110的法兰面F与摄影机130、140、150之间的坐标转换关系(即前述的矩阵关系式的AX或YB)。上述方法即所谓的手眼校正演算法，其用于校正摄影机在空间中的位置相对于机械手臂基座在空间中的位置。

请同时参阅图2及图3，图2所述方法的步骤S2根据前述的坐标转换关系，以一立体重建法建立一空间坐标系。此立体重建法将摄影机130、140、150所拍摄的影像330、340、350相互组合并计算出组合影像190的三维结构，并根据步骤S1中以手眼校正演算法所求得的坐标转换信息在组合影像190内加入三维的坐标轴，因此则出现在组合影像190内的物件(包括机械手臂自由端115及法兰面F)，都可以被辨识出其在此空间坐标系中的立体坐标数值。在执行上述的立体重建法过程中，由于步骤S1以多个摄影机130、140、150取得包含机械手臂自由端115及法兰面F的影像，因此只要机械手臂自由端115及法兰面F在取像过程的至少一部分时间曾位于这些摄影机130、140、150的交集视野范围中，纵使在其他时间仅有一部份的影像取得包含机械手臂自由端115及法兰面F的影像，仍足以藉由立体重建法建立得该空间坐标系。换言之，在进行立体重建法时，可以使用法兰面F仅位在两个摄影机的交集视野范围的影像执行，甚至使用法兰面F仅位在单一摄影机的视野范围的影像执行。上述的交集视野范围系指所有的摄影机均能拍摄影像的视野，意即当法兰面F位于此交集视野范围中时，所有的摄影机所取得的影像均包含法兰面F。

请同时参阅图2和图4、5，图2中的步骤S3为：致动固定于法兰面F的替换件116在该多个摄影机130、140、150的联集视野范围内依序呈现多个姿态(如图4及图5所示)，并记录该替换件116的多个特征点在该些姿态下于前述的空间坐标系中的多个特征坐标，并记录法兰面F在该些姿态下于该空间坐标系中的多个法兰面坐标。意即，在法兰面F设有此替换件116的情况下，驱动机械手臂110改变法兰面F的位置及其所朝方向，以使替换件116依序呈现出多个姿态，并由摄影机130、140、150之中的至少一者记录下替换件116在这些姿态下的影像330、340、350，并通过步骤S2所建构出的空间坐标系取得多个特征点对应于各个姿态的多个特征坐标。其中，所谓的联集视野范围指摄影机130、140、150之中的至少一个能拍摄影像的视野，意即当替换件116位于此联集视野范围中时，至少有一摄影机所取得的影像会包含替换件116。上述的各种姿态之间的改变优选包含：致动机械手臂110使替换件116相对一原始位置(如图4中以虚线绘示的姿态)移动至与原姿态呈平行的一平移位置(如图4中以实线绘示的姿态)，以及致动机械手臂110使替换件116相对此原始位置(如图5中以虚线绘示的姿态)移动至与原姿态呈歪斜的一旋转位置(如图5中以实线绘示的姿态)。

详言之，如图4所示，辨识替换件116所呈现的姿态的实现方式，可为在该替换件116上选定特征点P1、特征点P2及特征点P3，其中特征点P1及特征点P2用于表示替换件116的延伸方向，而特征点P3则用于表示替换件116的末端位置，然而上述特征点的选取仅为示例，实际上仍应根据替换件116的结构形态决定。通过摄影机130、140、150的取像及前述的步骤S1、S2的运算，可获得组合影像190中对应于所述特征点P1、P2、P3的数个特征坐标Q1、Q2、Q3。优选地，为求能精确地针对机械手臂110在空间的三个相异轴向上的平移进行校正，上述由原始位置移动至平移位置的过程优选执行多次(例如至少四次)，以将替换件116移动至多个不同的平移位置，进而取得对应于这些平移位置的多组的特征坐标Q1、Q2、Q3。在实际执行上，可以在移动至平移位置之后，以此平移位置做为下一次移动的原始位置，并依此方式反复执行；然而，也可在欲移动至下一平移位置前，均先将替换件116复位至同一原始位置。同理，如图5所示，为求能精确地针对机械手臂110在空间的三个相异轴向上的旋转进行校正，上述由原始位置移动至旋转位置的过程优选执行多次(例如至少四次)，以将替换件116移动至多个不同的旋转位置，进而取得对应于这些旋转位置的多组的特征坐标Q1、Q2、Q3。在实际执行上，可以在移动至旋转位置之后，以此旋转位置做为下一次移动的原始位置，并依此方式反复执行；然而，也可在欲移动至下一旋转位置前，均先将替换件116复位至同一原始位置。

图2中的步骤S4为：根据前述的特征坐标Q1、Q2、Q3及法兰面坐标求得替换件116的一工具中心点(即如图4及图5中的特征点P3)与法兰面F的一转换关系式；而图2中的步骤S5为：将该转换关系式更新至机械手臂110的一控制程序中。通过上述的步骤S4及步骤S5，便可以在使用所述控制程序控制机械手臂110时，直接依据替换件116的一工具中心点的位置进行定位。其中，在步骤S4中，用于表示该工具中心点的坐标包含一工具中心点平移坐标与一工具中心点旋转矩阵，且此工具中心点旋转矩阵以一矩阵运算计算该工具中心点坐标相对于法兰面坐标旋转后的一对应关系。

通过上述的校正方法，可以快速且精准地将替换件116的工具中心点坐标系相对于法兰面坐标系的转换关系校正设定于机械手臂110的控制程序中，因此经过此校正之后，于控制程序中所下达的目标位置指令即已涵盖了替换件116的尺寸。因此，于每次变动了法兰面F上的替换件116之后，可由使用者自行指定影像特征点，并以上述的校正方法快速地完成所有校正步骤。

请参阅图6及图7，其用于说明：由于在步骤S1及步骤S2中已经利用手眼校正演算法及立体重建法建立出前述的空间坐标系，因此即使在步骤S3的执行过程中仅有单一摄影机130取得部分或全部的姿态，仍可在已建立完成的空间坐标系中标示出特征点P1、P2、P3在此摄影机130的影像330中的特征坐标Q1、Q2、Q3。因此，摄影机130、140、150的交集视野范围只要足以涵盖执行步骤S1的所需，则在摄影机130、140、150的联集视野范围足够取得执行步骤S3所需的影像的前提下，即可完成本发明所揭示的校正方法。

此外，针对前述的摄影机的数量与本发明的校正方法的精确度之间的关系，由于以三个摄影机拍摄替换件116的情况下，相较于以两个摄影机拍摄替换件116可以多取得一组关于替换件116的特征坐标Q1、Q2、Q3的影像，因此在求解替换件116的特征坐标Q1、Q2、Q3时，可通过矩阵扩阶的方式降低求解误差。因此，使用三个摄影机进行校正可获得更加准确的特征坐标Q1、Q2、Q3。

本发明的上述校正方法通过一机械手臂非接触式工具中心点校正装置实现，而此校正装置包含前述的多个摄影机130、140、150及一运算主机160。此运算主机160电性连接摄影机130、140、150及机械手臂110的控制中心，且此运算主机160甚至可以与机械手臂110的控制中心整合为单一的运算中心，本发明并不就其设置方式予以限制。在执行上述的校正方法时，运算主机160于步骤S1中取得摄影机130、140、150所拍摄包含标定板120的影像，并取得机械手臂110的参数值，以执行手眼校正演算法而求得前述的坐标转换关系。运算主机160更执行步骤S2以通过立体重建法建立前述的空间坐标系。运算主机160在建立出此空间坐标系之后，通过控制中心驱动机械手臂110执行替换件116的平移及旋转，且同时由摄影机130、140、150拍摄包含替换件116的影像(即步骤S3)。最后，运算主机160执行步骤S4及步骤S5，更新控制中心的控制程序，使此控制程序控制机械手臂110时，直接依据替换件116的工具中心点的位置进行定位。此外，上述的机械手臂非接触式工具中心点校正装置更可以与该机械手臂110共同构成具有校正功能的机械手臂系统。

请参阅图8，其绘示以经过校正之后的控制程序致动替换件116的工具中心点以一空间位置为中心进行绕锥运动的示意图。进行此绕锥运动的目的，在于进一步验证校正之后的机械手臂110的控制程序是否已可精准地在移动过程中控制替换件116的工具中心点的位置。详言之，针对上述的验证作业，能够以一锥形物件810的尖端811构成前述的空间位置，并致动机械手臂110连同替换件116进行绕锥运动。若替换件116的工具中心点(于此实施例中即为替换件116的尖端)可以维持精确地接触指向尖端811且不会碰触到锥形物件810的其他部位，即代表校正准确度高。

本发明通过使用多个工业用摄影机，必要时可用到三个以上的摄影机，以避免传统校正方式的缺点。由于立体重建会受影像干扰、手眼校正误差等影响，使用多个摄影机可以增加量测数据量，有效降低空间坐标计算误差。使用多个摄影机就意味立体重建的限制条件较多，可以避免解到方程式的奇异解。此外，在执行立体重建时，由于使用单个摄影机需要移动替换件到单一视野内的多个位置，故若替换件在过程中移出此视野外，立体重建就会失败。而在使用多个摄影机的情况下，则即使替换件移出交集视野外，只需要替换件仍位在这些摄影机的联集视野范围中，则立体重建仍可以成功。因此，本发明的校正方法不仅可降低人为影响因素、省时且可以同时校正三维平移与三维旋转运作。

Claims

1.一种机械手臂非接触式工具中心点校正方法，包含：

以一手眼校正演算法求得一机械手臂的一法兰面与多个摄影机的一坐标转换关系；

以一立体重建法根据该坐标转换关系建立一空间坐标系；

以该机械手臂致动固定于该法兰面上的一替换件在该多个摄影机的联集视野范围内依序呈现多个姿态，并记录该替换件的多个特征点的每一个在该些姿态下于该空间坐标系中的多个特征坐标，以及记录该法兰面在该些姿态下于该空间坐标系中的多个法兰面坐标；

根据该些特征坐标及该些法兰面坐标求得该替换件的一工具中心点与该法兰面的一转换关系式；以及

将该转换关系式更新至该机械手臂的一控制程序中。

2.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中以该手眼校正演算法求得该机械手臂的该法兰面与该些摄影机的该坐标转换关系包含：该些摄影机的数量至少为三个。

3.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中以该机械手臂致动固定于该法兰面上的该替换件在该多个摄影机的联集视野范围内依序呈现多个姿态包含：该些姿态的数量至少为四个。

4.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中记录该替换件的多个特征点的每一个在该些姿态下于该空间坐标系中的多个特征坐标包含：该些特征点的数量至少为三个。

5.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中以该手眼校正演算法求得该机械手臂的该法兰面与该些摄影机的该坐标转换关系包含：

以该些摄影机取得该法兰面的影像；以及

以该立体重建法根据该坐标转换关系建立该空间坐标系包含：当该法兰面位于该些摄影机中的至少两个的交集视野范围时，以该至少两个摄影机所取得的影像进行该立体重建法。

6.如权利要求5所述的机械手臂非接触式工具中心点校正方法，其中以该立体重建法根据该坐标转换关系建立该空间坐标系更包含：当该替换件位于该些摄影机的其中之一的视野范围，而不位于其它该些摄影机的视野范围时，仅以视野范围内具有该替换件的该摄影机所取得的影像进行该立体重建法。

7.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中在以该手眼校正演算法求得该机械手臂的该法兰面与该些摄影机的该坐标转换关系之前，更包含：将该法兰面移动至所有该些摄影机的交集视野范围内。

8.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中根据该些特征坐标及该些法兰面坐标求得该替换件的该工具中心点与该法兰面的该转换关系式包含：用于表示该工具中心点的坐标包含一工具中心点平移坐标与一工具中心点旋转矩阵。

9.如权利要求1所述的机械手臂非接触式工具中心点校正方法，其中根据该些特征坐标及该些法兰面坐标求得该替换件的该工具中心点与该法兰面的该转换关系式包含：以一矩阵运算计算该工具中心点坐标系相对于法兰面坐标系旋转后的一对应关系。

10.一种机械手臂非接触式工具中心点校正装置，包含：

多个摄影机，该些摄影机用于拍摄一机械手臂；以及

一运算主机，电性连接该些摄影机，并用于电性连接该机械手臂的一控制中心；

其中该运算主机执行一手眼校正演算法以求得该机械手臂的一法兰面与该些摄影机的一坐标转换关系；该运算主机以一立体重建法根据该坐标转换关系建立一空间坐标系；该运算主机驱动该机械手臂以使固定于该法兰面上的一替换件在该些摄影机的联集视野范围内依序呈现多个姿态，并驱动该些摄影机记录该替换件的多个特征点的每一个在该些姿态下于该空间坐标系中的多个特征坐标，以及记录该法兰面在该些姿态下于该空间坐标系中的多个法兰面坐标；该运算主机根据该些特征坐标及该些法兰面坐标求得该替换件的一工具中心点与该法兰面的一转换关系式；且该运算主机将该转换关系式更新至该控制中心的一控制程序中。

11.一种具有校正功能的机械手臂系统，包含：

一机械手臂，至少具有一控制中心及一法兰面，该控制中心用于执行一控制程序，该法兰面用于固定一替换件；

多个摄影机，该些摄影机用于拍摄该机械手臂；以及

一运算主机，电性连接该些摄影机及该控制中心；

其中该运算主机执行一手眼校正演算法以求得该法兰面与该些摄影机的一坐标转换关系；该运算主机以一立体重建法根据该坐标转换关系建立一空间坐标系；该运算主机驱动该机械手臂以使固定于该法兰面上的该替换件在该些摄影机的联集视野范围内依序呈现多个姿态，并驱动该些摄影机记录该替换件的多个特征点的每一个在该些姿态下于该空间坐标系中的多个特征坐标，以及记录该法兰面在该些姿态下于该空间坐标系中的多个法兰面坐标；该运算主机根据该些特征坐标及该些法兰面坐标求得该替换件的一工具中心点与该法兰面的一转换关系式；且该运算主机将该转换关系式更新至该控制程序中。