CN112638593B - 用于机器人拾取系统的增强现实可视化技术 - Google Patents

Abstract

一种增强现实(AR)系统，该系统用于对视觉跟踪机器人拾取系统的参数进行生产调整。所述机器人拾取系统包括一个或多个机器人，所述机器人被配置为从传送带上拾取随机放置和随机定向的零件，并将所述零件放置在第二移动传送带上或诸如托盘的静止装置上的可用位置中。视觉跟踪系统识别供应传送机上的零件的位置和定向。所述AR系统允许包括上游边界位置、放弃边界位置和下游边界位置的拾取系统调整参数被可视化并被控制，允许在虚拟边界的情况下查看实时机器人拾取/放置操作以及允许查看系统性能参数，诸如零件吞吐率和由机器人进行的零件分配。所述AR系统还允许在模拟中使用虚拟零件替代真实零件或除了真实零件之外另外使用虚拟零件。

Description

用于机器人拾取系统的增强现实可视化技术

相关申请的引用

本申请要求于2018年6月26日提交的名称为“用于机器人拾取系统的增强现实可视化技术”的第62/690,141序列号的美国临时专利申请的优先权日的权益。

背景

技术领域

本发明涉及自动机器人拾取系统的领域，更具体地，涉及一种这样的系统，该系统使用增强现实显示装置来实现视觉跟踪系统，该视觉跟踪系统包括准备好生产的一个或多个机器人，其中，所述系统为机器人拾取系统参数提供直观的生产调整，并且在构成系统的零件、传送机、机器人和传感器上覆盖诊断和生产数据(包括边界)，从而缩短调试时间。

相关技术

工业零件拾取和放置机器人是非常复杂的机器，其包括视觉系统，所述视觉系统使机器人能够从传送机上拾取随机放置且随机定向的零件，并将零件放置在特定的位置和定向中，以用于另一传送机或机器操作或包装。然而，实现准备好生产的多机器人视觉跟踪系统是困难且耗时的。

用于调试视觉跟踪机器人拾取系统的常用的前置时间是系统中每个机器人为约1-1.5个月。就零件和劳动量而言，调整系统以实现期望的零件吞吐率而没有错误也是昂贵的。前置时间长的主要原因是，当零件在传送机上移动时，很难对系统进行调整以实现零未拾取零件的理想拾取速率。在验证视觉结果、机器人之间的负载平衡、运动调整和诊断问题方面存在挑战。实施这些视觉跟踪机器人拾取系统的客户需要一些手段来优化零件吞吐量，同时使调试系统的前置时间最小化。

鉴于上面描述的情况，期望提供一种用于对视觉跟踪机器人拾取系统的参数进行生产调整的交互式增强现实(AR)工具。

发明内容

根据本公开的教导，公开一种增强现实(AR)系统，该增强现实系统用于对视觉跟踪机器人拾取系统的参数的生产调整。所述机器人拾取系统包括一个或多个机器人，所述机器人被配置为从传送带上拾取随机放置和随机定向的零件，并将所述零件放置在第二移动传送带上或诸如托盘的静止装置上的可用位置中。诸如相机或光电眼的传感器识别在供应传送机上零件的位置和定向。所述AR系统允许包括上游/放弃/下游边界位置的拾取系统调整参数被可视化并被控制，允许在边界的虚拟显示的情况下查看实时机器人拾取/放置操作以及允许查看系统性能参数，诸如零件吞吐率和由机器人进行的零件分配。所述AR系统还允许在模拟中使用虚拟零件替代真实零件或除了真实零件另外使用虚拟零件。

结合附图，通过以下描述和所附权利要求，本公开的装置和方法的附加特征将变得显而易见。

附图说明

图1是根据本公开的实施方式的用于视觉跟踪机器人拾取系统的参数的生产调整的系统的示图；

图2是根据本公开的实施方式的两机器人拾取系统的增强现实(AR)显示的示图，该增强现实显示包括边界和零件的虚拟显示；

图3是根据本公开的实施方式的机器人拾取系统的示图，其中，AR平板装置通过对工作单元中的视觉标记成像来校准其相对于工作单元的位置和定向；

图4是根据本公开的实施方式的图3的系统的示图，其中，AR平板装置通过对机器人的可识别部分成像来校准其相对于工作单元的位置和定向；

图5是根据本公开的实施方式的机器人拾取系统的AR显示的示图，该AR显示包括入站传送机和出站传送机二者上的边界的虚拟显示；

图6是根据本公开的实施方式的图5的机器人拾取系统的AR显示的示图，该AR显示包括由机器人拾取和放置的真实物理零件；

图7是根据本公开的实施方式的机器人拾取系统的AR显示的示图，该AR显示包括由机器人拾取和放置的虚拟零件，其中，次佳边界布置导致遗漏的零件。

图8是根据本公开的实施方式的图7的机器人拾取系统的AR显示的示图，该AR显示包括由机器人拾取和放置的虚拟零件，其中，通过AR装置来实现改进的边界布置，从而消除遗漏的零件；

图9是根据本公开的实施方式的机器人拾取系统的AR显示的示图，包括边界和性能参数的AR显示；以及

图10是根据本公开的实施方式的用于视觉跟踪机器人拾取系统的增强现实配置的方法的流程图。

具体实施方式

本公开的以下针对用于视觉跟踪机器人拾取系统的增强现实配置的方法和系统的实施方式的讨论本质上仅是示例性的，绝不意在限制所公开的装置和技术或它们的应用或使用。

在许多行业中，已知机器人拾取系统是非常有价值的生产工具。机器人拾取系统可以从传送带上拾取零件(诸如，刚刚完成模制或机加工的零件，或诸如松饼或糖果的食品，并且这些零件在传送机上具有随机的放置和定向)，并且将零件放置在包装容器中或在第二传送机上的特定的定向和位置中。可以沿着传送带连续地放置若干机器人，以处理所需量的零件。

尽管这些系统是多产的，但是用于调试视觉跟踪机器人拾取系统的常用的前置时间为系统中每个机器人约1-1.5个月。就零件和劳动量而言，调整系统以而在没有误差的情况下达到期望的零件速率也是昂贵的。前置时间长的主要原因是当零件在传送机上移动时很难为了达到零未拾取零件的期望拾取速率而对系统进行调整，尤其是当涉及多于一个机器人时。挑战包括验证视觉系统找到的零件、通过针对每个机器人的放置边界来平衡负载、运动调整和诊断问题。

认识到上述需求，已经开发了一种改进的系统，以用于提供视觉跟踪机器人拾取系统的快速且有效的生产调整。所公开的系统使用增强现实(AR)应用程序，该应用程序在AR装置上运行，所述AR装置可以是平板计算装置或AR头戴式设备。AR应用程序与机器人拾取系统的机器人控制器进行实时通信，并且提供实时机器人拾取和放置操作的可视化，这包括虚拟显示限制机器人拾取区域的区域边界和性能参数。虚拟零件可以除了真实零件之外另外地使用，或代替真实零件使用。在下面讨论系统的细节。

图1是根据本公开的实施方式的系统100的示意图，该系统用于对视觉跟踪机器人拾取系统的参数进行生产调整。系统100包括由控制器112控制的机器人110、由控制器122控制的机器人120和由控制器132控制的机器人130。图1的机器人110、120和130是专用于拾取和放置应用的并行连杆机器人；然而，如稍后所讨论的，其他类型的机器人也可以在系统100中使用。机器人110、120和130可以经由有线电缆连接与其控制器通信或无线地与其控制器通信。

机器人110、120和130被编程为用于这样的任务：从传送机140拾取零件并将零件放置在包装容器中或另一传送机上。为了简单起见，在图1中未示出零件和放置位置。脉冲编码器150跟踪传送机140的位置。传送机140仅在一个方向上移动，并且其纵向或轴向位置由脉冲编码器150跟踪。相机160拍摄传送机140上的传入零件的照片，并且照片图像用于确定传入零件相对于传送机140的位置和定向。相机160可以由传感器代替，诸如检测零件的存在的接近感测装置。然而，由于许多应用涉及随机定位和定向的传入零件，因此，不仅能够检测存在而且能够检测位置和定向的相机或其他成像传感器是优选的。

机器人控制器112、122和132经由网络170与脉冲编码器150和相机160通信。如本领域技术人员将理解的，网络170可以是有线的或无线的局域网(LAN)或者其他类型的网络。唯一的要求是控制器112、122和132可以相互通信，并且可以与脉冲编码器150和相机160通信，使得控制器112、122和132始终知晓传送机140上的传入零件的位置和定向以及传送机140的轴向位置。此信息用于确定哪个机器人拾取和放置哪个零件。

上面讨论的元件包括本领域中已知的常见的视觉跟踪机器人拾取系统。除了这些元件之外，系统100还包括AR装置180或182。AR装置180是由用户190持有的平板装置。AR装置182是由用户190所佩戴的AR头戴式设备。如下面讨论的，AR装置180或182可以与AR可视化应用程序一起使用。AR装置180(平板)可以是具有处理器和存储器的自包含式单元，并且能够在与网络170上的其他装置无线通信的同时运行AR可视化应用程序。AR装置182(头戴式)可以包括单独的具有处理器和存储器的控制器184，并且能够在与网络170上的其他装置通信的同时运行AR可视化应用程序，其中，AR控制器184与网络170进行有线或无线通信，并且AR控制器184与AR装置182(头戴式)进行无线通信。在以下大部分讨论中，AR装置180被用作自身或AR装置182以及关联的AR控制器184的代理服务器。

在AR装置180或182上运行的AR可视化应用程序(与图1的其他元件进行通信)使机器人拾取系统的性能调整能够在比以前的系统和方法少得多的时间内实现期望的性能水平。AR可视化应用程序提供以下特征和功能：

·虚拟AR显示对于每个机器人而言的边界(上游、放弃和下游)——包括拾取传送机和放置传送机上的边界

·操纵边界位置并与机器人控制器通信，以确定对零件拾取性能的影响

·使用虚拟零件(代替真实物理零件，或除了真实物理零件之外还使用虚拟零件)，以用于更快、更容易地模拟零件拾取性能

·在AR装置和机器人控制器之间进行双向通信；AR装置向控制器提供边界信息，并且控制器实时向AR装置提供零件分配和拾取/放

置信息

·AR显示诊断和性能数据(诸如遗漏的零件、分配给每个机器人的零件、整体零件速率等)，以用于即时了解改变参数的影响

·颜色编码和其他零件增强数据，以有助于由机器人来进行零件分配的视觉识别

·使用图像识别容易地将AR装置的位置/定向相对于工作单元坐标系配准/校准

·使用视觉和惯性测程法来连续跟踪AR装置的位置/定向。

将在下面的讨论中详细说明这些和其他特征和功能。

图2是根据本公开的实施方式的两机器人拾取系统的增强现实(AR)显示的示意图，该增强现实显示包括边界和零件的虚拟显示。图2是来自AR可视化应用程序的图像，该图像包括真实物品的相机图像和虚拟物品的计算图形，如AR装置180或182上显示的。机器人210和机器人220正执行从入站传送机230拾取零件并将零件放置在出站传送机240上的任务。与图1的并行连杆拾取和放置机器人不同，机器人210和220是传统的多连杆铰接式机器人。如先前提到的，任意类型的机器人可以与AR可视化应用程序一起使用。

机器人210和220各自与专用的机器人控制器通信，这些机器人控制器与脉冲编码器(为每个传送机设置一个脉冲编码器)和零件成像相机通信，并且这些元件(未示出)以前面参考图1讨论的方式全部与AR装置180通信。

由于入站传送机230上的零件可能是在先前的制造操作之后掉落到入站传送机230上的，因此它们具有随机的位置和定向。零件必须在可用位置中(诸如，可能以每隔200mm来定位)并以统一规定的定向放置到出站传送机240上。如图2所见，入站传送机230和出站传送机240二者的运动方向向左。

机器人210和220以及传送机230和240是真实的物理物品，它们位于工厂的工作单元中。它们在作为来自AR装置180的相机的图像的图2中是可见的。视觉标记232和234也是真实的物理物品。这些是已知尺寸、形状和图形设计的图形标记，其放置在工作单元中的已知位置处。视觉标记232和234在图2中示出为附接到入站传送机230，这是方便的位置。然而，视觉标记232和234可以位于工作单元内的任何地方。如下面参考图3所讨论的，标记232和234将用于AR装置180在工作单元坐标系中的空间配准/校准。

图2还示出限定机器人210和220的操作区域的边界。边界被表示为垂直于传送机230和240的运动方向的竖直平面。上游边界250限定机器人210可以从入站传送机230拾取零件的最远上游位置。放弃边界252限定这样的位置：在该位置处如果零件尚未分配给机器人210(指派给该机器人拾取)，则机器人210将不再尝试拾取零件。换句话说，如果零件尚未分配，则机器人210当零件到达放弃边界252后会忽略该零件。下游边界254限定机器人210可以从入站传送机230拾取零件的最远下游位置。上游边界256和放弃边界258以与上述类似边界相同的方式应用于机器人220。机器人220的下游边界位于场景的左侧，因此不可见。

当机器人拾取系统将零件放置到静止托盘或其他包装上时，零件必须放置到包装中的可用点中(例如，箱子内部可具有10×10的网格，其中，零件需要放置到每个单元中)。当机器人拾取系统包括如图2中的出站传送机时，出站传送机240也需要具有限定的边界。上游边界260限定机器人210可以将零件放置到出站传送机240上的最远上游位置。放弃边界262限定这样的位置：在该位置处如果可用槽尚未分配给机器人210(指派给该机器人使用)，则机器人210将不再尝试将该零件放置到该槽中。下游边界264限定机器人210可以将零件放置到出站传送机240上的最远下游位置。上游边界266、放弃边界268和下游边界270以与上述类似边界相同的方式应用于机器人220。

示出了零件280在入站传送机230上的多个位置和定向。图2中所示的零件280是通过AR可视化应用程序显示的虚拟零件，并且就如同它们已通过相机检测到的那样通过机器人控制器处理，从而机器人控制器可以在实景模拟过程中拾取和放置虚拟零件。这将在下面进一步讨论。

图2中还示出了性能指示器290。性能指示器290是许多不同类型的性能指示器(这些性能指示器是通过AR可视化应用程序计算和显示的虚拟物品)中的一种。

在AR装置180上运行的用于机器人拾取系统的AR可视化应用程序与机器人控制器进行双向实时通信。当用户修改边界位置时，AR可视化应用程序将修改后的边界位置传送到机器人控制器，并且机器人控制器立即开始在其拾取/放置计算中使用修改后的边界位置。因此，用户可以立即观察到边界变化的影响。继而，机器人控制器将每个零件的分配、拾取和放置操作传送到AR装置180，以用于在AR可视化应用程序中显示。这是一种高速、实时的通信，并且包括真实零件和虚拟零件。AR可视化应用程序提供叠加在真实场景(机器人、传送机和真实零件)的相机图像上的所有零件运动的实时虚拟显示。AR可视化应用程序还基于从机器人控制器接收的实时零件分配和拾取/放置操作数据来计算性能参数。

图2的先前讨论提供了用于机器人拾取系统的AR可视化应用程序以及其中显示的物品的概述。在下面讨论进一步的细节。

图3是根据本公开的实施方式的机器人拾取系统的示意图，其中，AR平板装置通过对工作单元中的视觉标记成像来校准其相对于工作单元的位置和定向。机器人300被指派从传送机310拾取零件并将零件放置在传送机312上的任务。如先前所讨论的，用户190将在AR装置180上使用用于机器人拾取系统的AR可视化应用程序。为了使任意AR系统正确显示覆盖在真实世界的零件的相机图像上的虚拟物品(诸如边界和虚拟零件)，AR装置必须始终知晓其相对于工作单元的位置和定向。为此目的，工作单元坐标系被限定成在工作单元内具有已知原点和定向，并且AR装置180的位置和定向相对于固定的工作单元坐标系来确定。此外，还限定各种其他坐标系——诸如针对每个机器人的坐标系、针对传送机的坐标系、甚至针对每个零件的坐标系。

为了初始确定AR装置180相对于固定的工作单元坐标系的位置和定向，可以分析视觉标记的相机图像。在图3中，视觉标记320和330被固定到传送机310。视觉标记320和330相对于工作单元坐标系的尺寸、形状和位置对于AR可视化应用程序是已知的。用于初始确定AR装置180的位置和定向的一种技术是在AR装置180的显示中找到任意两个可视标记(在此情况下，为标记320和330)；通过分析相机图像中的标记320和330的尺寸、形状和位置，AR装置180可以计算其相对于标记320和330在空间中的位置和定向，并且因此计算其相对于工作单元坐标系在空间中的位置和定向。

图4是根据本公开的实施方式的图3的系统的示意图，其中，AR平板装置180正在通过对机器人的可识别部分成像来校准其相对于工作单元的位置和定向。用于确定AR装置180的位置和定向的另一技术是在AR装置180的显示中找到可识别部分，诸如机器人300的一部分。在图4中，在AR装置180的显示中找到机器人臂302的“叉形”部分。虚拟图像302a通过AR可视化应用程序显示，从而向用户190指示已经识别出该部分(机器人臂302)。因为机器人控制器始终知晓机器人300的构造，所以对于控制器和AR装置180而言，机器人臂302的位置和定向是已知的。根据该信息，AR装置180可以计算其相对于工作单元坐标系在空间中的位置和定向。

如AR技术领域的技术人员将理解的，一旦被初始建立，所述AR装置180的位置和定向可以通过视觉和/或惯性测程技术的组合来连续地跟踪。AR装置180(或182)包含惯性传感器，这些惯性传感器包括一个或多个陀螺仪和一个或多个加速度计，其中，惯性传感器向AR装置中的处理器提供信号，从而能够通过惯性测程法连续计算AR装置的位置和定向的变化。AR装置180(或182)对工作单元中的场景的图像的连续分析还提供视觉测程信息，所述视觉测程信息可以用于根据惯性测程法来细化和校准位置数据。

图5是根据本公开的实施方式的机器人拾取系统500的AR显示的示意图，该AR显示包括入站传送机和出站传送机二者上的边界的虚拟显示。图5是来自AR可视化应用程序的图像，其包括真实物品的相机图像和虚拟物品的计算图形二者，如在AR装置180上显示的。机器人510被分配从具有箭头所指示的运动方向的入站传送机520拾取零件并且将零件放置到在相同方向上移动的传送机530上的任务。

上游边界540(在边缘视图中)、放弃边界542和下游边界544被限定以用于由机器人510从入站传送机520拾取零件。上游边界550、放弃边界552和下游边界554被限定以用于由机器人510将零件放置到出站传送机530上。图5中还示出了视觉标记560，其中，如先前所讨论的，视觉标记560用于校准AR装置180的位置和定向。

图5没有示出任何零件——真实的或虚拟的零件。相反，图5示出了机器人拾取系统500，这是因为所述机器人拾取系统将在模拟和性能调整开始之前在AR可视化应用程序中被查看。

图6是根据本公开的实施方式的图5的机器人拾取系统500的AR显示的示意图，该AR显示包括由机器人拾取和放置的真实物理零件。图6是来自AR可视化应用程序的图像，其包括真实物品的相机图像和虚拟物品的计算图形二者，如在AR装置180上显示的。图6中还示出了覆盖在真实零件上的虚拟零件块，其确认视觉系统找到了真实零件。

先前在图5中示出的用于入站传送机520的边界540、542和544以及用于出站传送机530的边界550、552和554在图6中也可见。这些边界约束如先前所讨论的机器人510的行为。在图6中，真实零件被供应到入站传送机520上。要清楚的是，当用户使用用于机器人拾取系统的AR可视化应用程序来调整系统500的配置参数时，机器人510实际上正在操作——从入站传送机520拾取真实零件并将其放置在出站传送机530上。零件、传送机520和530以及机器人510全部作为AR装置180上的相机图像被看到。

真实零件560在入站传送机530上移动。零件560已通过上游边界540，因此可用来被机器人510拾取。AR可视化应用程序通过在真实零件560上覆盖虚拟零件块562来指示零件560已被视觉系统(诸如图1的相机160)识别。虚拟零件块562可以被颜色编码，以指示其状态——诸如，其被分配给哪个机器人(如果存在多于一个的机器人的话)，或者其是否未被分配。虚拟零件块562还包括信息标志旗564，所述信息标志旗可以包括以颜色和/或文本符号编码的其他信息(例如，零件或型号)。

真实零件570刚刚被机器人510放置在出站传送机530上。为了清楚起见，图6中未示出与零件570相关联的虚拟零件块和信息标志旗，但是与零件相关联的虚拟零件块和信息标志旗可以可选地跟随零件到出站传送机530上，这里，编码信息可以被改变，以反映状态的变化(已被拾取和放置；编码信息示出由哪个机器人执行)。真实零件572位于出站传送机530上的更下游，这些零件572更早些被机器人510拾取并放置。

入站传送机530上还存在其他零件580。对于机器人拾取系统500来说，这些零件580不是有效零件，这些零件是颠倒的，或者零件类型错误，或者是因其他方式无效。因为零件580是无效的，所以视觉系统不会将它们排队，以供机器人510拾取和放置。

图7是根据本公开的实施方式的机器人拾取系统700的AR显示的示意图，该AR显示包括由机器人拾取和放置的虚拟零件，其中，未达最佳标准的边界布置导致遗漏的零件。图7是来自AR可视化应用程序的图像，其包括真实物品的相机图像和虚拟物品的计算图形二者，如在AR装置180上显示的。

机器人710和机器人720二者从入站传送机730拾取零件并将它们放置在出站传送机740上。上游边界750、放弃边界752和下游边界754被限定以用于由机器人710从入站传送机730拾取零件。上游边界760、放弃边界762和下游边界764被限定以用于由机器人720从入站传送机730拾取零件。用于将零件放置在出站传送机740上的边界在图7中示出，但是因为它们与该图的讨论无关，所以没有被编号。

在图7的机器人拾取系统700中，没有真实零件被供应到入站传送机730上。相反，诸如零件770的虚拟零件通过机器人控制器基于AR可视化应用程序提供的参数而产生。虚拟零件770以用户定义的零件供应速率创建，并具有随机分配的或基于定义的统计分布而分配的位置和定向。虚拟零件770可以除了真实零件之外另外地，或者替代真实零件地，用于机器人拾取系统模拟和参数的生产调整。

在图7中，拾取边界位置尚未被优化。可以看出，放弃边界752非常靠近上游边界750。该边界布置不利于机器人710的效率，结果是，机器人无法拾取和放置非常多的零件。对系统700的实际效果是，许多零件770仍然存在于机器人710下游的入站传送机730上，以及入站传送机730上的某些零件780已经超过了机器人720的下游边界764。这些零件780是遗漏的零件，现在已没有机会被拾取。遗漏的零件是不希望的，因此需要改善机器人拾取系统700的参数调整。

在图7中的AR装置180的显示中还示出了菜单窗口790。如本领域技术人员将理解的，菜单窗口790是虚拟显示，其基于情况而变化，从而提供了用于命令和控制供机器人拾取系统使用的AR可视化应用程序的不同选项。

图8是根据本公开的实施方式的图7的机器人拾取系统700的AR显示的示意图，该AR显示包括由机器人拾取和放置的虚拟零件，其中，改进的边界布置消除了遗漏的零件。图8是来自AR可视化应用程序的图像，其包括真实物品的相机图像和虚拟物品的计算图形二者，如在AR装置180上显示的。

在图8中，拾取边界位置已经通过AR可视化应用程序提供的交互式模拟和可视化特征被微调。可以看出，放弃边界752现在比图7中距上游边界750更远。这种边界布置提高了机器人710的效率，结果是，机器人拾取并放置约一半的传入零件770。对系统700的实际效果是机器人710下游的入站传送机730上仍存在少得多的零件770，并且没有零件780已经经过机器人720的下游边界764。也就是说，在图8的边界位置的情况下不存在遗漏的零件。

前面的附图和讨论对于每个机器人的三个边界的位置对机器人拾取系统的性能如何至关重要提供了充分说明。用于机器人拾取系统的AR可视化应用程序使用户能够移动边界，以提高系统性能。因为边界仅在一个方向(传送机的轴向或纵向方向)上具有位置含义，所以边界仅可以在该方向上移动。在一个实施方式中，AR手势(通过用户的手)允许选择边界、将边界向上游或向下游移动以及接受新的位置。在另一实施方式中，手势或菜单命令(虚拟地显示)用于选择边界，然后菜单命令用于移动边界(例如，向上游移动50mm)。也可以提供其他边界编辑范例。

就关注初始边界布置而言(在上述编辑的讨论之前)，可以以至少两个不同方式来处理该初始边界布置。在一个实施方式中，可以使用另一机器人拾取系统配置系统来初始地创建和定位每个机器人的三个边界。这样的配置系统存在于工业中(诸如这样的系统，其中，用户操作与机器人控制器通信的示教器)，尽管现有的系统不提供当前AR可视化应用程序的交互式可视化和性能调整，但是现有的系统也允许边界创建。因此，边界初始位置可以从现有的系统或从机器人控制器本身导入到AR可视化应用程序中。

在另一实施方式中，AR可视化应用程序可以具有其自身的边界创建能力：其中，边界可以初始地创建在某些默认位置(例如，上游边界位于相关机器人上游的默认距离处、放弃边界直接邻近相关机器人，而下游边界位于相关机器人下游的默认距离处)，或者AR可视化应用程序可以提示用户在初始创建每个边界时对其进行定位。不管如何在AR可视化应用程序中初始创建或导入边界，用户都可以如上所讨论地使用应用程序的边界查看和移动特征来微调性能。

通过AR可视化应用程序的可视化和修改特征来微调的边界位置必须被传输回机器人控制器。每个边界位置变化都传送到机器人控制器，所述机器人控制器在其拾取/放置计算中使用新的位置。然后，用户可以观察边界变化对机器人拾取系统的性能的影响。当用户对机器人拾取系统已被调整以达到期望的性能感到满意时，用户简单地选择菜单命令来确认边界位置并将边界位置提交回机器人控制器，该机器人控制器与AR装置通信，如先前讨论的。然后，可以使用如在AR可视化应用程序中修改的边界进行机器人拾取系统的生产操作，但无需AR可视化应用程序或AR装置的进一步参与。

还提供用于机器人拾取系统的AR可视化应用程序的其他特征，并在此进行讨论。用户可以根据需要启用或禁用各种虚拟特征和菜单的显示。例如，在用户正在优化入站传送机上的边界的位置时，可以禁用出站传送机上的边界，反之亦然。同样，菜单和性能参数显示可以开启(使其可见)或关闭，并且它们的位置(在平板型AR装置的屏幕上，或者在使用AR头戴装置时在空间中的位置)可以根据需要进行变化。

还提供现实世界工作单元对象的AR显示和相机图像的记录。记录会话允许将机器人拾取系统的性能方便地传送到与不具有该会话的其他方，以用于与客户和供应商共享，以由其他工程师和技术人员进行故障排除等。

用户输入以及与AR可视化应用程序和/或与其他(非AR)边界限定系统的交互以方便和直接的方式提供。例如，当启动AR可视化应用程序时，用户可以选择一个或多个机器人以(经由其控制器)连接到AR可视化应用程序、选择工作单元对象(诸如传送机)以及选择要修改的边界，如上面所讨论的。

虚拟零件的生成可以由用户根据需要启动和停止。在一个实施方式中，机器人控制器实际上生成虚拟零件，并且由机器人控制器进行生成是以控制参数为基础的，所述控制参数包括零件的类型、它们在入站传送机上的位置和定向的分布以及零件供应速率。这些相对于虚拟零件的参数可经由AR可视化应用程序中的菜单命令来控制，并且传送到机器人控制器。用户也能控制虚拟零件的显示参数(颜色编码和信息标志旗)以及标记到真实零件上的显示图像的显示参数。信息标志旗和颜色编码可以被定义以用于真实或虚拟零件的许多不同属性。例如，所有传入零件可以用一个颜色显示，然后当每个零件被分配给机器人时改变颜色(不同的机器人使用不同的颜色)。颜色编码和信息标志旗还可以标识零件何时被特定机器人实际拾取、零件何时被特定机器人放置、遗漏的零件、掉落的零件(用于真实零件)等。

虚拟元件(边界、虚拟零件、零件信息标志旗、菜单显示和性能参数显示等)的显示可以被控制，以供用户最佳地查看。这包括为边界设置透明度百分比、为零件信息设置颜色编码(如上面所讨论的)、为任意文本设置字体大小和颜色、定义所显示的任意三轴坐标系的尺寸和颜色、以及定义位置(在平板屏幕上或在AR空间中)以用于文本和菜单显示。

图9是根据本公开的实施方式的机器人拾取系统900的AR显示的示意图，包括边界和性能参数的AR显示。图9是来自AR可视化应用程序的图像，其包括真实物品的相机图像和虚拟物品的计算图形二者，如在AR装置180上显示的。

机器人910和第二机器人(未示出)被分配以先前讨论的方式从入站传送机920拾取零件940并将零件940放置在出站传送机930上的任务。除了显示虚拟边界(上游、放弃和下游)之外，图9还示出了性能参数的显示。如增强现实系统领域的技术人员所知，可以以任何适合的方式来布置和格式化性能参数的显示。例如，性能参数显示可以放置在AR观看区域中的特定位置，或者性能参数显示可以在工作单元的3D体积中“停在空间中”。

在图9的示例中，示出了若干性能参数，所述性能参数表征机器人拾取系统900的效率和有效性。对于入站传送机920，参数包括传送机速度、在传送机上的零件引入速率以及在模拟时间段期间遗漏的零件总数量。参数还包括每个机器人的零件拾取速率。这些参数为用户或操作者提供确定机器人拾取系统900是否满足性能要求所需的信息——诸如，对于所需的零件速率具有零遗漏零件，以及两个机器人之间具有大致相等的拾取速率。用于机器人拾取系统的AR可视化应用程序还给予用户调节系统以改善性能参数所需的工具——特别是调节每个机器人的三个边界位置的能力。

其他性能参数也可以在AR可视化应用程序中显示给用户。性能参数、菜单和其他物品的显示是可由用户配置的，并且可以随时在显示中打开或关闭。在一个实施方式中，可以由用户在AR空间中“轻敲”传送机或机器人来显示特定传送机或机器人的性能统计。在另一实施方式中，简单地查看AR装置中的机器人使得机器人的状态和统计信息被显示。这可包括以下指示：机器人是否发生故障、机器人在没有发生故障的情况下不移动的原因以及机器人的拾取/放置性能的统计信息。特定传送机的性能数据可以类似地通过在AR显示中查看传送机来显示。提供许多其他显示控制，包括打开所有性能参数的显示、关闭所有显示等。

根据AR装置是平板计算装置(其中，性能统计信息可以显示在屏幕上的特定位置处)还是AR头戴式装置(其中，性能统计信息可以显示为在工作单元中的特定位置处“停在空间中”的虚拟屏幕，以供用户查看和交互)，可以提供略有不同的用户体验。菜单显示和交互的处理方式类似。贯穿本公开，通常以平板AR装置180作为参考。应当理解，相同的概念适用于头戴式AR装置182。

在先前图3和图4的讨论中，描述了AR装置相对于工作单元坐标系(固定的“全局”坐标系)的位置/定向的配准或校准。各种其他坐标系和工作单元坐标系之间的数学转换在AR可视化应用程序中以本领域技术人员可以理解的方式进行处理。可以相对于固定的工作单元坐标系建立传送机跟踪系，该传送机跟踪系具有位置和速度，传送机跟踪系通过来自图1中所示的脉冲编码器150的数据信号确定。通过相机160识别的零件被分配单独的零件跟踪系的位置和定向，然后当零件位于入站传送机(或出站传送机)上时，零件跟踪系随传送机跟踪系一起移动。在由机器人拾取并放置零件之后，零件跟踪系同样地与出站传送机跟踪系一起移动。虚拟零件和用于真实零件的虚拟标记也具有与相应的传送机和工具中心点一起移动的零件跟踪系。

机器人拾取系统中的每个机器人还具有相关联的坐标系——包括在机器人的基座位置处的固定坐标系、在机器人上的一个或多个关节位置处的移动坐标系以及在工具中心位置(例如，拾取零件的吸盘的中心)处的移动坐标系。当机器人部署其吸盘或其他工具来拾取零件时，零件跟踪系则随工具中心位置跟踪系一起移动，直到零件被放置在出站传送机上或运输容器中。

AR装置180还具有其自身的坐标系。先前已经讨论了相对于工作单元坐标系建立和连续更新AR装置坐标系的技术。通过适当地定义和连续跟踪相对于工作单元坐标系的所有坐标系，可以计算所有零件、机器人工具和AR装置的实时运动。这使机器人控制器能够计算它们的拾取策略和运动，并使AR装置能够相对于真实世界的物品的相机图像以适当的尺寸和定向来适当地显示所有虚拟物品。

坐标系显示是可由用户控制的。例如，用户可以打开某些坐标系(诸如，零件跟踪系和工具中心位置跟踪系)的显示，而关闭其他坐标系(诸如，基于传送机的或工作单元坐标系)的显示。在启用显示时，三轴坐标系的长度、粗细和颜色也是可由用户控制的。

图10是根据本公开的实施方式的用于视觉跟踪机器人拾取系统的增强现实配置的方法的流程图1000。在框1002处，AR装置(180或182)经由无线通信与一个或多个机器人控制器建立通信，如先前所讨论的。机器人控制器可以经由有线或无线LAN相互通信并且与相机和脉冲编码器通信，并且与AR装置的通信优选地是无线的。每个机器人的初始边界位置可以已经存在于机器人控制器中。如果存在任何这样的边界，则在框1004处，它们从机器人控制器或非AR机器人拾取系统配置程序下载到AR装置。如果没有可用的预先存在的操作区域，则用户可以在AR可视化应用程序中进行创建、修改和可视化边界的过程。

在框1006处，将AR装置相对于一个或多个机器人校准。AR装置的位置和定向通过“世界坐标系”配准，所述世界坐标系是机器人拾取系统的工作单元中的固定坐标系。通过将AR装置中的相机指向一个或多个视觉标记来执行将AR装置相对于工作单元坐标系配准，从而通过AR装置来捕获标记的多个图像。在将AR装置的位置和定向与工作单元坐标系配准后，AR可视化应用程序使用惯性和视觉测程法来连续跟踪AR装置相对于工作单元坐标系的位置和定向。在该技术中，AR装置中的处理器从AR装置上的加速度计和陀螺仪接收信号，并基于加速度和横摆角速度信号(yaw rate signal)的积分连续计算AR装置的更新位置和定向。基于来自装置上的相机的图像(诸如视觉标记或存在于已知位置处的其他可识别物品的图像)来检查和校正位置和定向。基于AR装置的位置和定向，计算所有虚拟物品的显示，以匹配真实世界的物品的相机图像。同样在框1006处，AR可视化应用程序开始显示用于机器人拾取系统的虚拟边界。

在框1008处，启动机器人拾取系统的操作，包括入站传送机和出站传送机的运动(或出站包装容器的放置)。在框1010处，启动向入站传送机的零件流。在框1010处，引入的零件可以包括真实零件、虚拟零件或二者。可以包括一个或多个零件模型。可以以由AR可视化应用程序用户选择的零件流速和零件位置/定向分布来引入虚拟零件。当在框1010处引入真实和/或虚拟零件时，AR可视化应用程序利用虚拟零件框、标识标志旗或二者来标识零件，并且机器人拾取系统开始从入站传送机拾取零件并将零件放置在出站传送机或包装上。随着在框1008处启动的机器人拾取系统的操作，一个或多个机器人控制器将每个零件的分配和拾取/放置操作实时地传送到AR可视化应用程序。

在框1012处，用户根据需要修改机器人拾取/放置区域的边界，修改后的边界被传送到机器人控制器，并且用户观察对机器人拾取系统性能的影响。常见的目的是实现期望的零件流速：其中实现零遗漏零件以及在机器人拾取系统中由每个机器人处理的零件相当均衡。在框1012处的交互和迭代期间，用户使用手势或其他命令来修改边界，通过在工作单元周围来回移动而从任何期望的视角来查看机器人拾取系统的操作，并且评估在AR可视化应用程序中显示的性能参数。当用户在AR可视化应用程序中修改边界位置时，修改后的位置被传送到相应的机器人控制器并通过控制器来使用，以计算其机器人的拾取/放置操作。当用户观察AR场景时，机器人实际上正在移动——拾取和放置真实零件，并基于其各自的控制器使用如在AR可视化应用程序中修改的边界进行的实时计算来模拟虚拟零件的拾取和放置。

在整个机器人拾取系统操作和AR可视化应用程序模拟中，应当理解，AR装置与机器人控制器之间的通信和数据流动本质上是双向的。当用户在AR可视化应用程序中移动边界时，AR装置立即将修改后的边界位置传送到机器人控制器，以用于计算机器人的拾取和放置操作。这是AR可视化应用程序的关键属性——边界可以被用户可视、修改，并且在机器人拾取系统的实时性能中能立即且直接地观察到修改后的边界位置的影响。同时，机器人控制器将每个零件的分配(由机器人选择)和与单个零件一致的拾取和放置操作实时传送到AR装置。这允许AR装置更新AR显示，以显示零件状态变化，显示在拾取时的零件运动，并且计算包括遗漏的零件和由每个机器人处理的零件的性能统计信息。

在框1014处，当机器人拾取系统的边界可视化和修改已经完成并且用户对系统性能感到满意时，最终的边界被上传到机器人控制器并确认/提交以用于生产操作。在生产操作期间，由机器人控制器使用最终的边界来实时计算拾取/放置操作。

在整个前面的讨论中，描述并隐含了各种控制器——用于控制机器人的运动和任务，以用于在AR装置上运行AR可视化应用程序等。应当理解，这些控制器的软件应用程序和模块在具有处理器和存储器模块的一个或多个计算装置上执行，其中存储器模块包括在非易失性存储器中配置的算法。具体地，这包括上面讨论的机器人控制器112/122/132以及AR装置180/182和AR控制器184中的处理器。机器人、其控制器和移动装置之间的通信可以通过有线网络进行，或可以使用任何适合的无线技术——诸如蜂窝电话/数据网络、Wi-Fi、蓝牙、宽带Internet等。

如上所述，所公开的用于机器人拾取系统的增强现实可视化技术相对于现有技术提供了若干优点。使用户容易地且直观地调节机器人拾取和放置边界、引入虚拟零件以及实时查看系统性能的能力远远优于现有技术。

尽管上面已经讨论了用于机器人拾取系统的增强现实可视化的方法和系统的多个示例性方面和实施方式，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，意在于将所附权利要求书和此后引入的权利要求解释为包括在其真实精神和范围内的所有这样的修改、置换、添加和子组合。

Claims (23)

1.一种使用增强现实技术来配置视觉跟踪机器人拾取系统的系统，所述系统包括：

工作单元中的一个或多个机器人，每个机器人具有与该机器人通信的机器人控制器，所述控制器包括处理器和存储器并且被配置有用于控制所述机器人的操作的机器人控制软件；

增强现实装置，所述增强现实装置由用户操作和定位并且与所述一个或多个机器人控制器通信，所述增强现实装置具有一个或多个相机、多个位置跟踪传感器并具有显示器，所述增强现实装置还包括被配置为运行机器人拾取系统可视化AR软件应用程序的处理器和存储器；

其中，所述机器人拾取系统可视化AR软件应用程序提供的特征包括：

为所述一个或多个机器人中的每个提供初始边界，所述初始边界限制机器人拾取和放置操作空间；

建立并连续跟踪所述增强现实装置相对于工作单元坐标系的位置和定向；

提供叠加在所述工作单元中的真实物品的相机图像上的所述初始边界和其他虚拟物品的AR显示；

指示所述一个或多个机器人控制器模拟基于传送机的虚拟零件流以供所述机器人拾取系统处理，其中，虚拟零件、真实零件或二者均能由所述机器人拾取系统处理；

接收来自使用所述增强现实装置的所述用户的初始边界位置修改；

将所述初始边界位置修改传送到所述一个或多个机器人控制器；

从所述机器人控制器接收零件分配以及零件拾取和放置信息；以及

在所述AR显示中显示拾取系统性能参数。

2.根据权利要求1所述的系统，其中，所述增强现实装置是用户佩戴的头戴式设备或者用户持有的移动装置。

3.根据权利要求1所述的系统，还包括：脉冲编码器装置，配置为跟踪所述机器人拾取系统中的每个传送机的位置；以及相机或其他传感器，配置为检测每个传送机上的所述真实零件的存在以及位置和定向。

4.根据权利要求1所述的系统，其中，为所述一个或多个机器人中的每个提供初始边界包括从单独的机器人拾取系统设置应用程序下载所述初始边界或在所述机器人拾取系统可视化AR软件应用程序内的默认位置处建立所述初始边界。

5.根据权利要求1所述的系统，其中，建立所述增强现实装置相对于所述工作单元坐标系的位置和定向包括分析一个或多个视觉标记的图像，所述一个或多个视觉标记具有已知设计并放置在所述工作单元坐标系中的已知位置处。

6.根据权利要求1所述的系统，其中，所述位置跟踪传感器包括一个或多个陀螺仪和一个或多个加速度计，其中，所述位置跟踪传感器向所述增强现实装置中的所述处理器提供信号，从而能够连续计算所述增强现实装置的位置和定向中的变化。

7.根据权利要求1所述的系统，其中，提供AR显示包括：当所述增强现实装置在所述工作单元周围移动时，相对于所述真实物品的相机图像以适当的尺寸、形状和位置来显示所述初始边界和所述其他虚拟物品。

8.根据权利要求1所述的系统，其中，所述其他虚拟物品包括所述虚拟零件、所述真实零件上的零件标识符块、真实零件上和虚拟零件上的零件信息标志旗、三轴坐标系以及相机位置和视场，所述其他虚拟物品的显示基于从所述机器人控制器接收的零件分配以及零件拾取和放置信息而连续更新。

9.根据权利要求1所述的系统，其中，指示所述一个或多个机器人控制器模拟虚拟零件包括由用户选择虚拟零件供应速率和在入站传送机上供应到所述机器人拾取系统的所述虚拟零件的位置和定向的统计分布。

10.根据权利要求1所述的系统，其中，接收来自用户的初始边界位置修改包括：选择要修改的初始边界；使所述初始边界在上游或下游方向上移动用户指定的距离；以及接受所述初始边界位置修改，其中，选择初始边界、使所述初始边界移动和接收所述修改由用户经由基于AR的手势、菜单命令或二者来执行。

11.根据权利要求1所述的系统，其中，将所述初始边界位置修改传送到所述一个或多个机器人控制器包括由所述机器人控制器在计算机器人拾取和放置操作中使用所述初始边界的修改位置。

12.根据权利要求1所述的系统，其中，在所述AR显示中显示拾取系统性能参数包括显示关于在给定时间下在所述AR显示中能观察到的任何一个或多个机器人或传送机的性能参数和诊断信息。

13.根据权利要求1所述的系统，其中，所述性能参数包括传送机速度、真实零件速率、虚拟零件速率、总零件速率、遗漏的零件数量、每个机器人的零件拾取速率和每个机器人的零件拾取百分比，并且能够按照用户选择来显示所述性能参数的任意组合。

14.根据权利要求1所述的系统，其中，所述初始边界包括每个机器人对于每个传送机而言的上游边界、放弃边界和下游边界。

15.一种用于配置视觉跟踪机器人拾取系统的设备，所述设备包括增强现实装置，所述增强现实装置由用户操作和定位并且与一个或多个机器人控制器通信，所述增强现实装置具有一个或多个相机、多个位置跟踪传感器并具有显示器，所述增强现实装置还包括被配置为运行机器人拾取系统可视化AR软件应用程序的处理器和存储器，其中，所述软件应用程序被配置为：与所述机器人拾取系统中的所述一个或多个机器人控制器进行互操作、指示所述一个或多个机器人控制器模拟由所述机器人拾取系统处理的基于传送机的虚拟零件流、在所述增强现实装置上的AR显示中显示初始边界和其他虚拟物品、允许由使用所述增强现实装置的所述用户进行初始边界修改并将所述初始边界修改传送到所述一个或多个机器人控制器、以及在所述AR显示中显示实时零件运动和拾取系统性能参数。

16.一种使用增强现实技术来配置视觉跟踪机器人拾取系统的方法，所述方法包括：

提供具有一个或多个机器人的机器人拾取系统，所述一个或多个机器人具有与所述一个或多个机器人中的每个进行通信的机器人控制器，

提供增强现实装置，所述增强现实装置由用户操作和定位并且与所述一个或多个机器人控制器通信，所述增强现实装置具有一个或多个相机、多个位置跟踪传感器并具有显示器，所述增强现实装置还包括被配置为运行机器人拾取系统可视化AR软件应用程序的处理器和存储器；

提供初始边界位置；

校准并连续跟踪所述增强现实装置相对于工作单元坐标系的位置和定向；

启动所述机器人拾取系统的操作，包括在入站传送机上启动零件流，其中，所述零件流包括真实零件、由所述一个或多个机器人控制器模拟的虚拟零件流或二者；

在所述增强现实装置上提供AR显示，其中，所述AR显示包括初始边界和其他虚拟物品，该初始边界和其他虚拟物品叠加在所述机器人拾取系统的工作单元中的真实物品的相机图像上；

由所述增强现实装置上的所述AR软件应用程序的所述用户修改所述初始边界位置；

将所述初始边界位置从所述AR软件应用程序传送到所述一个或多个机器人控制器；

将零件分配以及零件拾取和放置信息从所述机器人控制器实时传送到所述AR软件应用程序；以及

在所述AR显示中显示拾取系统性能参数。

17.根据权利要求16所述的方法，其中，所述其他虚拟物品包括所述虚拟零件、所述真实零件上的零件标识符块、真实零件上和虚拟零件上的零件信息标志旗、以及三轴坐标系，所述其他虚拟物品的显示基于从所述机器人控制器接收的零件分配以及零件拾取和放置信息而连续更新。

18.根据权利要求16所述的方法，其中，由所述一个或多个机器人控制器模拟的所述虚拟零件是以由所述AR软件应用程序提供的参数为基础的，这些参数包括由用户定义的如下这些值：虚拟零件供应速率以及在所述入站传送机上所述虚拟零件的位置和定向的统计分布。

19.根据权利要求16所述的方法，其中，由用户修改所述初始边界位置包括：由用户选择要修改的初始边界；使该初始边界在上游或下游方向上移动用户指定的距离；以及由用户接受所述初始边界位置的修改，其中，选择初始边界、使该初始边界移动和接收该修改由用户经由基于AR的手势、菜单命令或二者来执行。

20.根据权利要求16所述的方法，其中，将所述初始边界位置传送到所述一个或多个机器人控制器包括：由所述机器人控制器在计算机器人拾取和放置操作中使用所述初始边界的修改位置。

21.根据权利要求16所述的方法，其中，在所述AR显示中显示拾取系统性能参数包括显示关于在给定时间下在所述AR显示中能观察到的任何一个或多个机器人或传送机的性能参数和诊断信息。

22.根据权利要求16所述的方法，其中，所述性能参数包括传送机速度、真实零件速率、虚拟零件速率、总零件速率、遗漏的零件数量、每个机器人的零件拾取速率和每个机器人的零件拾取百分比，并且能够按照用户选择而在所述AR显示中显示所述性能参数的任意组合。

23.根据权利要求16所述的方法，其中，所述机器人拾取系统包括：所述入站传送机，运送将要由所述一个或多个机器人拾取的零件；以及出站传送机或固定包装，用于接收由所述一个或多个机器人放置的零件，并且所述初始边界包括每个机器人对于每个传送机而言的上游边界、放弃边界和下游边界。