CN106994696B - 用于末端执行器的定向系统和坐标系变换方法 - Google Patents

Abstract

机器人臂末端执行器上的相机用于通过连续测量附连到工件的目标与其预期位置之间的偏移来定位相对于末端执行器坐标系的旋转和平移的工件坐标系变换。目标反射来自由光束源提供的光束的能量。分束器用于将光束与相机的视线对准。

Description

用于末端执行器的定向系统和坐标系变换方法

技术领域

本公开总体上涉及机器人制造操作，并且更具体地涉及在制造操作期间识别工件坐标系相对于机器人坐标系的旋转和平移的变换。

背景技术

飞行器制造过程依赖于机械固定装置来保持正在被组装的工件，并且依赖于技工来将在工件上执行制造操作的工具对准。逐渐地，带有工具的机器人用于执行先前需要这种手动对准操作的制造功能。然而，机器人工作操作的准确性依赖于知道工件相对于机器人及其相关联的一个或多个工具的放置。

可以由机器人操作者使用安装在工具上的相机定位特定特征部诸如孔或基准标记来对准工具。通常，在手动干预的帮助下，使用数控程序命令，使相机非常缓慢地靠近工件放置，以便相对于杂乱的背景准确地配准小特征部。然而，必须防止其上定位有相机的机器人臂意外地接触工件，或者对相机、机器人臂或工件中的任何一个或全部的损坏的风险。这种紧密接近放置可涉及机械探针或光学传感器的使用，以及操作者的耗时的视觉检查。当半自主地识别了足够的特征部以在三维旋转和平移中导出工件坐标系时，工件能够配准到机器人的坐标系，并且操作者能够开始完全自主的机器人组装操作，诸如切割、钻孔、紧固或焊接。上述半自主对准操作是劳动密集型的，并且能够给制造操作周期增加10分钟或更长时间。除了工件特征部的机器视觉测量通常所依赖的末端执行器相机之外，3D定位装置诸如激光测距设备或激光投影仪是大且昂贵的，并且引入它们自己的后校准残余偏移误差。

发明内容

在本公开的方面，相对于机器的末端执行器定位工件的方法包括利用反射元件识别工件上的点，在联接到末端执行器的相机的成像器处接收包括从反射元件接收的光的光束，以及识别在成像器处从反射元件接收的光的质心。该方法也包括确定质心距从反射元件接收的光的质心的预测位置的偏移，以及使用该偏移确定工件相对于末端执行器的实际位置。

在本公开的另一方面，一种用于相对于工件定向机器人臂的末端执行器的系统包括附接到末端执行器的相机。该相机具有在相机的透镜与相机中的成像器之间形成的视线。该系统也包括附接到末端执行器的光束源，该光束源投影光束；以及分束器，其将来自光束源的光束与相机的视线对准。该系统进一步包括控制器，其基于来自工件上的多个位置中的每一个的成像器上的返回光的相应质心，使用从所述多个位置反射的光束的返回光来计算从末端执行器坐标系到工件坐标系的变换。

在本公开的又一方面，一种适合用于确定工件的位置的末端执行器包括附接到机器人臂的框架、用在制造操作中联接到框架的作业工具以及联接到框架的相机，该相机具有沿相机的视线对准的透镜和成像器。末端执行器也包括产生光束的光束子组件以及具有至少一个反射器的分束器，所述至少一个反射器沿相机的视线对准光束，并且允许光束的反射的至少一部分传递到成像器。

已经讨论的特征、功能和优点能够在各种实施例中独立地实现或者可以在其他实施例中组合，其进一步的细节能够参考下面的描述和附图而见到。

附图说明

为了更完整地理解所公开的方法和设备，应当参考根据附图更详细地说明的实施例，在附图中：

图1是示出根据本公开的工件和机器人的透视图；

图2是图1的工件的进一步的图示；

图3是另一个工件和机器人的透视图；

图4是工作环境中的末端执行器的成像组件的图示；

图5是工件和机器人的替代实施例的图示；

图6是工作环境中的末端执行器的替代实施例；

图7是图4的成像组件的相机的成像器处的反射光的质心的图示；

图8是机器人臂和末端执行器相对于两个反射器的顶视图；以及

图9是根据本公开的由光学定位用于机器人操作的工件的一个实施例执行的操作的图示。

应当理解，附图不一定按比例绘制，并且所公开的实施例有时以图解的方式和以局部视图的方式进行说明。在某些情况下，可省略对于理解所公开的方法和设备不必要的或使得其他细节难以察觉的细节。当然，应当理解，本公开不限于本文所示的特定实施例。

具体实施方式

机器人制造操作的元素之一是机器人或更精确地机器人的末端执行器将以非常精确且可重复的方式沿着固定的空间轨迹操作。因此，工件在三维旋转和平移中相对于机器人的坐标系的位置对于成功的自主制造操作是重要的。在一些制造环境中，这种放置的误差容限会在三个维度中的每一个中均小于百分之一或甚至千分之一英寸。如上所述，工件坐标系相对于机器人的坐标系的确定可使用基准标记或其他参考点，诸如拐角，其能够使用末端执行器上的相机来识别。然而，通常这种相机在宏观水平上操作并且被放置得非常靠近基准标记或参考点，以便使用机器视觉检测和提取算法来针对杂乱的背景图像光学地辨别工件特征部。考虑到机器人与具有大的位置不确定性的工件的接近操作，通常需要手动操作者干预以防止意外的机器人与工件的碰撞。这经常需要操作者将相机移动到精确的特征部位置或使用机械探针(feeler)，以防止相机或末端执行器与工件无意的物理接触。一旦以合理的精度知道工件的主体姿态，机器人可以高精度高速地执行后续操作。

以下讨论公开了用于使用从与工件相关联的已知点反射的光来确定工件相对于末端执行器坐标系的坐标系的系统和方法。现在转到附图，图1是诸如可以在制造操作中采用的工件100的图示。工件100可以是单个元件，或者可以是如图1所示的子组件。工件100可包括设置在精确已知的位置处的孔106、108、110、112，例如作为先前制造操作的一部分。孔106、108、110、112可以在先前的制造操作步骤中产生，在所述步骤中，工件100已经处于已知的位置。机器人臂102可具有末端执行器104，并且在图1所示的应用中，可具有工具105。末端执行器104还可包括相机组件，下面参照图4更详细地讨论该相机组件。

图2示出一个或多个反射器120、122、124、126在工件100上的放置。反射器120、122、124、126中的每个可具有相应的安装柱121，其允许反射器120、122、124、126准确地但可移除地设置在工件100上。反射器120、122、124、126被设计成在被照射时提供漫射的高反射率、高对比度图像，如下面更详细讨论的。合适的反射器可商购自例如新罕布什尔州伦敦德里的激光投影技术公司(Laser Projection Technologies Inc.of Londonderry,NewHampshire)。

在图3中示出反射器120、122、124、126的使用的替代方案，其中，代替反射器120、122、124、126，由吸收环包围的反射涂料点130-138可以设置在工件100上的各个点处。反射涂料点130-138可提供漫反射表面。吸收环可以吸收与涂料点相邻的大多数入射光。反射点周围的吸收环产生高对比度辐射对象。反射涂料点130-138和吸收环也可以例如通过在先前的制造操作中的机器人准确地放置在工件100上。

图4示出用于光学定位用于机器人操作的工件的成像组件160的实施例。成像组件160可附连到末端执行器104，使得其在末端执行器104内并且相应地与工具105的物理关系被准确地知道。成像组件160可包括光束子组件162和成像器子组件164。

光束子组件162可包括光束源166、光束扩展器168和平面镜170。在一个实施例中，光束源166可以是产生窄带偏振光束186的激光器。光束扩展器168将光束源166的输出加宽到期望的直径187。例如，如果工件100的姿态的平均变化是1/2英寸，则光束的期望直径可以是1英寸，使得光束可能在瞄准特定反射器120的标称或预期位置时包绕该特定反射器120。光束源166和光束扩展器168是可商购的柜台可购(over-the-counter)产品。平面镜170简单地用于改变用于图4所示的物理配置的光束186的路径。基于空间要求，其他物理配置是可能的。例如，如果可以在末端执行器104中适应对成像组件160的占用空间(footprint)的所需改变，则光束源166和光束扩展器168可以旋转90°并且向上移动到平面镜170的大致位置。

成像器子组件164可具有包括透镜174和成像器176的相机172。成像器176可具有焦平面178，焦平面178的中心可以在反射器成像操作期间用作末端执行器104的旋转的参考点。这将在下面参考图8更详细地讨论。透镜174可以是适合在从几英寸到无限远的距离范围内使用的可变焦距宏透镜。透镜174和成像器176形成相机172的视线。

成像器子组件164还可包括分束器180，在一个实施例中，分束器180包括偏振涂覆的分束表面182。分束器180允许光束186与相机的视线对准，使得出程光和回程光可以是同轴的。窗口184可用于将光透射进并透射出成像组件160。

在操作中，成像组件160可以瞄准反射器120的预期位置，使得从成像组件160出来的光束186包绕反射器120。反射光束188可以被透射回成像器子组件164。在工件100在预期之外地不在适当的位置的情况下，可移动末端执行器104以致使光束186从预期位置以螺旋向外的模式移动，直到反射表面被包绕在光束186中并且在相机172处捕获反射光束188，从而指示已经定位了反射器。如果没有发现反射器，或者如果发现的反射器距预期位置超出了阈值极限，则会出现误差并且可通知操作者。

虽然在一些情况下反射光束188可以被容易地识别，但是其他因素可以组合以使得反射光束188更加难以清楚地识别。这些条件可包括到反射器120的距离、非常明亮的宽带架空灯、来自焊接操作的迷雾、高湿度、围绕反射器的工件的图像等。可以采取步骤来改善反射光束188的信噪比。

一种信噪比改善技术使用偏振涂覆的分束表面182。出程光束186可以是S偏振的并且从表面182完全反射。然而，反射光束188可包括S偏振光和P偏振光两者，使得S偏振光190被反射，并且P偏振光穿过分束表面182到达相机172。入射到表面182的其他光的透射或反射将取决于表面182涂层的宽带光学性质。另一个有利的实施例可采用圆偏振来代替线偏振光源166和分束表面182。

另一种信噪比改善可利用成像器176的性质。大多数像素化成像器176包含滤色器马赛克，其中在像素上的每个马赛克元件/元素对窄带色光诸如三原色是能透射的。当计算反射器图像的质心时，仅选择光束源166所处的成像器176原色将允许忽略在其他2个原色带内的进入相机172的所有环境(白色)光。也就是说，光束源166可以被选择为呈现在滤色器马赛克元件/元素中的一个内的光束颜色。这有效地在反射器图像和图像中的一切别的东西之间产生更清晰的对比度，从而导致对反射器图像质心的更准确的计算。

图5示出光学定位用于机器人操作的工件的替代实施例。在图5的实施例中，使用例如发光二极管(LED)的有源光源125代替图2的反射器120。有源光源125可输出随机偏振的光束，或者优选地包括滤波以输出线偏振光束或圆偏振光束。如上所述，可以选择有源光源的LED的颜色以呈现在相机172的滤色器马赛克元件中的一个内的颜色。

图6示出适于与图5的实施例一起使用的示例性成像组件250。成像组件250可包括与图4的成像组件160中使用的相机相同或相似的相机172。相机172接收在有源光源125处产生的光束256。成像组件250可包括分束器180以提供如上所述的环境光噪声降低。当使用时，偏振涂覆的分束表面可以仅使具有包括线性或圆形的单个偏振的光束258通过。然而，因为有源光源125可以是随机偏振的，所以由分束器180提供的附加噪声降低可能不可实现或不必要。

转向图7，来自相机172的成像器176被示出为显示了假设工件100完美地处于其预期位置时反射光束188的预期位置194。也就是说，成像组件160瞄准反射器120的预期位置，使得如果工件被正确定位，则反射光束188的质心将落在成像器176的正中心。该点在该图示中被指定为位置cx,cy。反射光束188的实际图像196也在图7中示出。反射光束188的二维质心198被指定为u,v。使用这两个维度测量、它们对应的标称三维位置以及关于相机的已知信息诸如焦距和透镜特性，能够使用方程和方法来重建旋转矩阵R和平移向量t，其将标称设定姿态的工件变换为实际设定姿态的工件——期望的目标。一个这样的方程和方法是在公共领域中找到的solvepnp()函数。solvepnp()函数的一个表达式是：

m'＝A[R|t]M' 方程式1

其中：

[X Y Z 1]’是反射器120、122、124、126等的标称位置的已知3D坐标的列矩阵M’；

[u v]’是来自反射器120、122、124、126等的反射光束188的以像素为单位的对应测量质心的坐标的列矩阵m’；

A是相机特定参数的矩阵；

(c_x,c_y)是反射光束188的预期位置；

f_x和f_y是以像素为单位的焦距；

[R|t]是描述从标称3D坐标到所测量的2D坐标的变换的未知组合旋转-平移矩阵。

给定测量的2D质心[u v]’、标称3D位置[X Y Z 1]’和相机矩阵A，未知旋转矩阵R和平移矢量t能够通过各种方法诸如在solvepnp()中公开的方法中的一个来求解。

方程式2假设所有已知输入来自单个相机和姿态。由于相机视野不可能大到足以包含来自单个相机姿态的所有期望的反射器位置，因此机器人将需要在反射器测量之间重新定向相机姿态。如图8所示，在焦平面质心179必须在反射器测量之间旋转和/或平移的情况下，在末端执行器坐标系中准确地知道从一个测量姿态到另一个测量姿态的旋转和平移的实际变换。控制器199能够通过将每个反射器测量变换到公共末端执行器坐标系来使这些测量对准。除了计算坐标系变换之外，控制器199可控制机器人臂102和/或作业工具105。

在图9的流程图中示出相对于机器的末端执行器定位工件的方法200。在方框202处，可以用反射器120识别工件100上的点。在一个实施例中，可以用反射涂料点130和吸收环或其他高对比度发光或反射元件来识别工件100上的点。

在方框204处，可以在相机172的成像器176处接收包括从反射器120反射的光的光束192。在方框206处继续，在成像器176处接收的光的质心198可以通过例如仅包括在质量中心计算中高于指定阈值的像素测量来确定，或者在另一示例中，通过成像器176上的各个位置处的叉积图像强度来确定。一旦已经定位了质心198，在方框208处就可确定从质心198到质心的预期位置194的偏移。

可以在方框210处进行测试以确定用反射器120、122、124、126识别的每个点是否已经在其确定的相应质心中被测量。如果不是，可采用从方框210到方框212的“否”分支，相机172可瞄准另一个反射元件。处理可在方框204处继续，直到已经识别所有的点，可以采用从方框210到方框214的“是”分支。在方框214处，使用偏移，可以计算工件100相对于末端执行器104的实际位置。使用该实际位置，工件100可以相对于机器人臂102的坐标空间定向，使得可以使用工具105在工件100上执行制造操作。

在一些实施例中，相机172已经在末端执行器104中的适当位置用于宏操作，诸如关闭基准标记识别、使用工具105的位置验证、完成的制造操作的质量验证或者这些项的某个组合以及其他可能的用途。

在一定距离处相对于机器人臂102的坐标系定位工件100的能力具有若干益处。对于制造商来说，一个优点是在定位工件姿态时减少多达10分钟。由于在有限的机器人工作包络内多次重新定位大工件是很常见的，所以大量的重新定位事件表示机器人执行的制造操作的时间的显著减少，以及因此表示机器人执行的制造操作的成本的显著降低。进一步地，通过允许机器人在一定距离处执行工件定位，通过例如使用测隙规消除了对将末端执行器104驱动到极端近距离的需要，减少了操作者的压力。消除关闭操作还有助于当现有技术方法由于部件之间的无意接触而导致对末端执行器104、机器人臂102或工件100的损坏时避免昂贵的停机时间。

进一步地，本公开包括根据以下条款的实施例：

条款1.一种确定从机器的末端执行器的末端执行器坐标系到工件的坐标系的坐标系变换的方法，该方法包括：

识别工件上的点；

在联接到末端执行器的相机的成像器处接收包括从所识别的点接收的光的光束；

识别在成像器处从所识别的点中的每一个接收的光的相应质心；

确定每个相应质心与从所识别的点中的每一个接收的光的相应质心的预测位置的偏移；以及

使用该偏移，确定工件坐标系相对于末端执行器坐标系的旋转和平移的坐标系变换。

条款2.根据条款1所述的方法，其中在相机的成像器处接收包括从所识别的点接收的光的光束进一步包括在成像器的焦平面处接收光束，其中该方法进一步包括：

围绕成像器的焦平面的质心旋转末端执行器，以从工件上的所识别的点中的每一个接收光束。

条款3.根据条款1所述的方法，其中识别工件上的点包括利用相应反射元件识别工件上的点中的每一个。

条款4.根据条款3所述的方法，进一步包括利用偏振光照亮相应反射元件中的每一个。

条款5.根据条款4所述的方法，其中利用偏振光照亮相应反射元件包括使用在安装在末端执行器上的相机附近安装的光束源照亮反射元件。

条款6.根据条款1所述的方法，其中识别工件上的点包括将有源光源附接到工件上的每一个相应点。

条款7.根据条款1所述的方法，其中确定从末端执行器坐标系到工件坐标系的坐标系变换包括使用二维至三维重建算法。

条款8.一种用于相对于工件定向机器人臂的末端执行器的系统，该系统包括：

相机，其附接到末端执行器，所述相机具有在相机的透镜和相机中的成像器之间形成的视线；

以及

控制器，其基于来自多个位置中的每一个的成像器上的光束的相应质心，使用从工件上的多个位置接收的光束来计算从末端执行器坐标系到工件坐标系的变换。

条款9.根据条款8所述的系统，进一步包括：

光束源，其附接到末端执行器，所述光束源将光束投影到工件上的多个位置中的每一个；

分束器，其将来自光束源的光束与相机的视线对准。

条款10.根据条款9所述的系统，进一步包括在工件上的多个位置中的每一个处的漫反射器。

条款11.根据条款10所述的系统，其中漫反射器是涂料标记和回归反射目标中的一个。

条款12.根据条款9所述的系统，其中光束源包括光束扩展器，该光束扩展器将光束的直径增大到大约多个位置处的目标的尺寸加上初始位置容差。

条款13.根据条款9所述的系统，其中分束器包括滤波分束器，其选择性地使从多个位置中的每一个接收的光束的一部分通过。

条款14.根据条款8所述的系统，进一步包括产生光束的有源光源。

条款15.根据条款14所述的系统，其中有源光源是偏振光源。

条款16.一种适合用于确定工件位置的机器人臂的末端执行器，该末端执行器包括：

作业工具，其用在制造操作中；

相机，其以与作业工具已知的关系安装，所述相机具有沿相机的视线对准的透镜和成像器；

光束子组件，其产生光束；以及

分束器，其具有至少一个反射器，所述至少一个反射器沿相机的视线对准光束，并且允许光束的反射的至少一部分传递到成像器。

条款17.根据条款16所述的末端执行器，其中光束子组件包括光束扩展器。

条款18.根据条款16所述的末端执行器，其中分束器中的至少一个反射器是滤波分束器。

条款19.根据条款16所述的末端执行器，其中光束子组件经调谐以提供与成像器的滤色器马赛克元件的颜色匹配的光束颜色。

条款20.根据条款16所述的末端执行器，其中透镜是适合宏焦点和距离焦点之间的调节的可变焦透镜。

尽管仅阐述了某些实施例，但是对于本领域技术人员来说，从上述描述中，替代和修改将是显而易见的。这些和其他替代被认为是等同的并且在本公开和所附权利要求的精神和范围内。

Claims (5)

1.一种确定从机器的末端执行器(104)的末端执行器坐标系到工件(100)的坐标系的坐标系变换的方法，所述方法包括：

利用相应反射元件识别所述工件上的点中的每一个，其中所述反射元件是在被照射时提供漫射的高反射率、高对比度图像的反射器，或者是由吸收环包围的反射涂料点，所述吸收环吸收与所述涂料点相邻的大多数入射光；

使用安装在相机(172)附近的光束源、利用偏振光照亮所述相应反射元件，所述相机(172)安装在所述末端执行器上，其中所述光束源投影光束，所述光束通过分束器与所述相机(172)的视线对准，所述视线形成在所述相机(172)的透镜与所述相机(172)中的成像器(176)之间；

在联接到所述末端执行器的所述相机(172)的所述成像器(176)处接收包括接收自所识别的点的反射光的光束(192)；

识别在所述成像器处接收自所述所识别的点中的每一个的所述反射光的相应质心(198)；

确定每个相应质心距接收自所述所识别的点中的所述每一个的所述光的所述相应质心的预测位置(194)的偏移；以及

使用所述偏移，确定所述工件的所述坐标系相对于所述末端执行器坐标系的旋转和平移的所述坐标系变换。

2.根据权利要求1所述的方法，其中在所述相机(172)的所述成像器(176)处接收包括接收自所述所识别的点的所述光的所述光束(192)进一步包括在所述成像器的焦平面(178)处接收所述光束，其中所述方法进一步包括：

围绕所述成像器的所述焦平面的质心(198)旋转所述末端执行器(104)，以接收来自所述工件(100)上的所述所识别的点中的每一个的所述光束。

3.根据权利要求1所述的方法，其中识别所述工件(100)上的所述点包括将有源光源(125)附接到所述工件上的每一个相应点。

4.一种用于相对于工件(100)定向机器人臂(102)的末端执行器(104)的系统，所述系统包括：

相机(172)，其附接到所述末端执行器，所述相机具有在所述相机的透镜(174)和所述相机中的成像器(176)之间形成的视线；

光束源(166)，其附接到所述末端执行器(104)，所述光束源将光束(186)投影到所述工件(100)上的多个位置中的每一个；

分束器(180)，其将来自所述光束源的所述光束与所述相机(172)的所述视线对准；

在所述工件(100)上的所述多个位置中的每一个位置处的漫反射器，其中所述漫反射器是反射器或反射涂料点(130-138)中的一个，其中所述反射器被设计为在被照射时提供漫射的高反射率、高对比度图像，所述反射涂料点(130-138)由吸收环包围，所述吸收环适于吸收与所述涂料点相邻的大多数入射光；以及

控制器(199)，其基于来自所述多个位置中的每一个的所述成像器上的所述光束的相应质心(198)，使用接收自所述工件上的多个位置的反射光束(188)来计算从末端执行器坐标系到工件坐标系的变换。

5.根据权利要求4所述的系统，其中所述光束源(166)包括光束扩展器(168)，所述光束扩展器(168)将所述光束(186)的直径增大到所述多个位置处的目标(120)的尺寸加上初始位置容差。

Images