[go: up one dir, main page]

CN113597362B - 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 - Google Patents

用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 Download PDF

Info

Publication number
CN113597362B
CN113597362B CN201980094277.6A CN201980094277A CN113597362B CN 113597362 B CN113597362 B CN 113597362B CN 201980094277 A CN201980094277 A CN 201980094277A CN 113597362 B CN113597362 B CN 113597362B
Authority
CN
China
Prior art keywords
coordinate system
robot
sensor
relationship
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980094277.6A
Other languages
English (en)
Other versions
CN113597362A (zh
Inventor
迈克尔·斯滕巴卡
米格尔·费尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN113597362A publication Critical patent/CN113597362A/zh
Application granted granted Critical
Publication of CN113597362B publication Critical patent/CN113597362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于确定机器人(10)的机器人坐标系(R)与可移动装置(20)的MA坐标系(MA)之间的关系的方法和控制装置，可移动装置(20)包括传感器设备(22)和定位机构(26)，定位机构(26)被配置为在MA坐标系(MA)中定位传感器设备(22)的传感器坐标系(C)，其中标记(16)被布置成与机器人(10)上的参考位置(14)成固定关系。方法包括：相对于机器人坐标系(R)在多个不同姿态中定位(S10)标记(16)。针对多个不同姿态中的每个姿态，方法包括：在传感器信息的基础上，确定(S12)传感器坐标系(C)与标记坐标系(M)之间的关系确定(S13)MA坐标系(MA)与传感器坐标系(C)之间的关系确定(S14)机器人坐标系(R)与参考位置坐标系(E)之间的关系该方法还包括在多个不同姿态中，使用关系关系以及关系确定(S20)关系

Description

用于确定机器人坐标系与可移动装置坐标系之间的关系的方 法和控制装置
技术领域
本公开涉及与校准相关的技术，特别涉及与机器人坐标系和可移动装置坐标系相关技术。
背景技术
机器人历来在工业中用于执行相同类型的任务。然而，随着新的应用，对用于编程和控制机器人的简化用户界面的需求已成为用于提高可用性的问题。
增强现实(AR)为控制机器人提供一种简化、直观的框架。AR是一个术语，用于通过显示器或视频流，将计算机生成的图形、文本和三维(3D)模型叠加在现实世界的对象上。虚拟信息被嵌入到现实世界的图像或显示上，从而利用附加的信息增加图像或显示。通过AR，用户可以要求机器人执行操作，并且作为响应而获取机器人的、用于执行操作的模拟计划，参考例如“Augmented Reality Meets Industry:Interactive Robot Programming”，A.Ameri E等，马拉达伦大学，瑞典，SISGRAD 2010。
一种AR装置可能包括相机，显示器，定位机构和处理器。为了与机器人一起使用AR装置，它们需要被一起校准。该校准通常通过在三维空间视觉上手动调整坐标系来进行。然而，采用手动方法来获取足够的准确性是困难的。
US20180144503 A1公开了一种使用AR系统和多个光学标记来校准机器人系统的方法。光学标记的坐标以已知的位置被布置在机器人环境中，机器人的工具中心点(TCP)被移动到标记。可见标记被分配到光学标记，该可见标记的位置通过将光学标记的位置变换到相机坐标系而被获取。如果光学标记和所分配的可见标记相互重叠，则执行检查。如果不是，则校准是不正确的，机器人需要被再次校准到光学标记。该方法要求熟练的用户，其能够评估机器人是否被正确校准，并且采用这种方法也很难获取足够的准确性。
发明内容
本公开的目的是缓解现有技术的缺点的至少一部分。进一步的目的是提供一种可靠的、并且容易使用的方法，将机器人坐标系与可移动装置MA(例如可移动AR装置)坐标系彼此相关联。
根据第一方面，本公开涉及一种方法，用于确定在机器人的机器人坐标系与可移动装置MA坐标系MA之间的关系可移动装置包括传感器和定位机构，该定位机构被配置为将传感器的传感坐标系定位到MA坐标系。标记被布置成与机器人上的参考位置成固定关系。该方法包括相对于机器人坐标系在多个不同姿态中定位标记。对于多个不同姿态中的每个姿态，该方法包括在传感器信息的基础上确定传感器坐标系与标记坐标系之间的关系确定在MA坐标系与传感器坐标系之间的关系以及确定机器人坐标系与参考位置坐标系之间的关系方法还包括在多个不同姿态中使用关系关系以及关系确定关系
使用该方法，机器人和可移动装置能够被一起校准，而不需要手动步骤或人工交互。该方法能够被执行而不需要特殊训练的机器人技术人员，并且因此提供用户友好的校准方法。与依赖人工交互的方法相比，校准的稳健性和准确性可以得到增强。
根据一些实施例，确定关系包括：通过使用关系和关系获得MA坐标系与标记坐标系之间的关系因此，问题可以以AX＝YB形式的等式来公式化。
根据一些实施例，在参考位置坐标系与标记坐标系之间的关系在方法的开始时是未知的。因此，不需要在机器人上有预先确定的标记的位置。
根据一些实施例，标记坐标系相对于参考位置坐标系是不可移动的。
根据一些实施例，方法包括自动执行该方法的步骤。因此，这里不需要人工交互以执行校准。
根据一些实施例，可移动装置是可移动增强现实AR设备。因此，MA坐标系是增强现实设备的坐标系，即增强现实(AR)坐标系。
根据一些实施例，传感器是相机传感器，并且其中方法包括：捕获标记的图像，其中传感器信息包括来自所捕获图像的图像信息。因此，图像分析可以被用于识别图像中的参考位置。
根据一些实施例，可移动装置包括显示器，并且其中方法包括使用确定的关系来将与机器人相关的增强信息投影到显示器上。因此，一旦关系已知，可移动装置和机器人能够被一起使用。方法能够有效开始创建基于增强现实内容和应用的机器人。
根据一些实施例，多个不同姿态包括对于在这些姿态之间移动的至少三个不同的姿态，其中每个移动的旋转轴线与前一个移动的旋转轴线不平行。因此，能够收集用于确定关系的充分数据，因为彼此定向不同。
根据第二方面，本公开涉及控制装置，用于确定在机器人的机器人坐标系与可移动装置的MA坐标系之间的关系可移动装置包括传感器和定位机构，该定位机构被配置为将传感器的传感器坐标系定位到MA坐标系。标记被布置为与机器人上的参考位置成固定关系。控制装置被配置为相对于机器人坐标系在多个不同姿态中定位标记。控制装置被配置为，针对多个不同姿态的每个姿态：在传感器信息的基础上，确定传感器坐标系与标记坐标系之间的关系确定在MA坐标系MA与传感器坐标系之间的关系以及确定在机器人坐标系和参考位置坐标系之间的关系控制装置还被配置为在多个不同姿态中，，使用关系关系和关系确定关系
根据第三方面，本发明涉及一种可移动装置，用于确定在机器人的机器人坐标系与可移动装置的MA坐标系之间的关系该可移动装置包括传感器和定位机构，定位机构被配置为在MA坐标系中定位传感器的传感器坐标系。标记被布置为与机器人上的参考位置成固定关系，并且该可移动装置还包括根据第二方面的控制装置。因此，该可移动装置可以独立确定关系
根据一些实施例，可移动装置被配置为从机器人的机器人控制器获取关系
根据第四方面，本公开涉及一种系统，用于确定机器人的机器人坐标系与可移动装置的MA坐标系之间的关系系统包括机器人，其具有布置为与机器人上的参考位置成固定关系的标记。该系统也包括可移动装置，该可移动装置包括传感器和定位机构，该定位机构被配置为在MA坐标系中定位传感器的传感器坐标系。该系统还包括根据第二方面的控制装置。
根据第五方面，本公开涉及一种计算机程序，包括指令，该指令使得根据第二方面的控制装置执行第一方面。
根据第六方面，本公开涉及一种计算机可读介质，其具有存储在其上的、第五方面所述的计算机程序。
附图说明
图1示出了包括标记的机器人，以及穿戴AR头盔的人。
图2示出了根据一些实施例的控制装置。
图3-5示出了坐标系之间的关系，用于建模问题以确定机器人坐标系与可移动装置坐标系之间的关系。
图6示出了根据一些实施例的方法流程图。
具体实施方式
机器人使用相机视野来定位对象，例如取放操作。然后机器人和相机需要被一起校准，以使得机器人知道被相机定位的对象在机器人的坐标系中的位置。因此，机器人和相机需要空间同步。相机可以被安装在机器人手上，或可以是被附接到环境中的相机。确定机器人与相机之间的关系的问题被称为手眼(hand-eye)校准问题。对该问题的大部分解决措施尝试解决形式为AX＝YB(或A’Y＝YB’或A”X＝XB”)的等式。然而，如果相机可移动并且相对机器人是独立式的，它会使得机器人和相机的自动校准更有问题。
接下来的公开提出了一种解决方案，用于确定机器人坐标系与MA坐标系之间的关系，使得校准能够被自动地执行。解决方案利用可移动装置的定位机构，其使得可移动装置在现实世界中定位其自身。因此，可移动装置在现实世界不必具有固定位置，相反，穿戴可移动装置的用户可以当校准被执行时来回走动，放下可移动装置再捡起来，所有这些都在同一校准期间。因此，未被训练的用户也可以轻松将可移动装置关联到机器人上。
图1示出了系统40，其中用于确定关系的方法被执行。系统40包括机器人10，可移动装置20(这里被设置在人50的头部)，以及控制装置30。
机器人10是可编程机器人，包括机器人控制器11和机器人臂12。该机器人10是六轴机器人，但方法可以采用具有至少有五个轴的任何可编程类型机器人来实施。例如，机器人可以是七轴机器人。机器人10可以是工业机器人。本文的工业机器人被定义为在三个或更多的轴中可编程的、能够自动控制的、可重复编程的、多用途的操纵器。机器人臂12包括运动链，运动链包括多个连杆和关节。机器人10的最后连杆或手腕具有机械接口，其中末端执行器可以附接到其上。末端执行器的工作点代表了工具中心点(TCP)。TCP是与机器人的定位典型地被限定的位置相关的点。因此，TCP坐标系通常相对于机器人坐标系R而被设置。TCP可以被轻推或移动到被编程的目标位置，例如多个姿态，包括TCP的位置和定向。TCP通常相对于机器人10的机械接口的转盘被限定。在图1，标记被附接到机械接口。机器人控制器11被配置为通过控制在机器人臂上的多个电机来控制机器人臂12的移动。机器人控制器被配置为执行在机器人控制器11上运行的计算机程序的指令，或执行外面接收的指令，其中机器人臂被移动到多个不同姿态。驱动单元(未示出)被配置为依赖于被执行的指令来控制机器人臂12的电机。机器人控制器在机器人坐标系R中操作。机器人控制器11还被配置为使用机器人臂12的关节的角度位置测量和机器人10的运动模型来测量或确定参考位置坐标系E的机器人坐标系R中的姿态，参考位置坐标系E可以是任何通过机器人臂12的连杆限定的坐标系E。
可移动装置20在图1中被描绘为头部安装的显示器或被配置成增强现实(AR)的头盔。头部安装的显示器例如，来自微软的HoloLens、Magic Leap goggles、来自Meta公司的Meta 2、Mira Prism仅举几例。AR也可以被称为混合现实。备选地，可移动装置20可以是智能电话，平板电脑或其他种类电脑，或它们的组合。在可移动装置20中，3D计算机生成被叠加到现实世界对象上的假想。因此，在一些实施例中，可移动装置20是可移动AR装置。可移动装置20包括传感器设备22，显示器23，和定位机构26，以及控制电路装置27。传感器设备22典型地包括传感器序列和一些控制电路装置。传感器设备22是电子设备，其例如将从可移动装置20接收的光(例如，通过透镜，未示出)转换为包括传感器信息的电子信号。电子信号使用控制电路装置而被转换为数字图像例如该控制电路装置被包括在传感器设备22中。传感器设备22例如是电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、或其他类型的二维(2D)或三维(3D)相机的相机传感器。传感器设备22备选地可以是激光雷达传感器设备、雷达传感器设备、或包括阵列或多个超声传感器的超声传感器设备。因此，任何类型能够检测传感器信息的传感器设备22可以被用于确定标记的、相对于传感器设备22的传感器的姿态。控制电路装置27被配置为处理电子信号或数字图像，例如，包括标记16的传感器信息，使得标记16被识别。这例如使用对象或图像识别技术而被实现。在备选的传感器技术中，传感器设备22可以是电子设备，其检测声音或磁性区域等等。控制电路装置27也被配置为确定标记16在传感器设备22的传感器坐标系C中的姿态。例如使用姿态估计算法根据平面目标检测标记16在传感器坐标系C中的姿态。例如，解决视野n点问题为本领域技术人员已知。换言之，基于一个或多个2D图像计算标记16在3D平面的姿态。备选地，标记16的传感器信息被与标记16的被保存的备份比较。期望获取足够的信息来估计标记16的姿态，包括定向和位置。可以假设传感器坐标系C已经被内在校准，并且因此传感器设备22的内在参数(例如以像素为单位的焦距、比例因素等等)是已知的。内在参数允许在数字图像或电子信号中的在射线与像素之间的映射。在传感器设备中有数个传感器的情况下，内在参数也包括透镜之间的关系。如果传感器设备22是3D相机，标记16的姿态可以根据三到四个3D点确定。如果激光雷达或雷达被使用，标记16可以是能够被激光雷达或雷达容易检测的材料，标记16的姿态根据反射的光或其他辐射被确定。
可移动装置20限定可移动装置MA坐标系MA，例如通过使用定位机构26来构建环境的地图。即，MA坐标系MA不应被混淆为相对于可移动装置20(像传感器坐标系C)被固定，但MA坐标系MA能够仅被认为是相对于由可移动装置20感知的周围环境而固定的坐标系。可移动装置20可以使用基于同时定位和映射(SLAM)的方法用于构建环境地图，其定义MA坐标系MA，并且也用于在MA坐标系MA中定位其本身。可移动装置20可以包括一个或多个其他光学传感器，例如一维(1D)或二维(2D)测距仪、3D高清激光雷达、3D闪光激光雷达、2D或3D声纳传感器和/或一个或多个2D相机。SLAM典型地利用多个这样的传感器。商业可用AR装置包括定位机构26，该定位机构26被配置为在MA坐标系MA中定位传感器坐标系C，即使这些定位机构26如何推断信息的细节对于用户来说是不必要的。为了本发明的目的，因此可以假设在MA坐标系MA与传感器坐标系C之间的关系是已知的。
图1也示出了控制装置30，该控制装置用于控制系统40的不同部分。控制装置30包括在可移动装置20上的一个或多个控制电路装置27、机器人控制器11、或外部计算机(未示出)，该计算机被连接到机器人控制器11或可移动装置20上。
根据一些实施例，图2更详细地示出了可移动装置20的机器人控制器11和控制电路装置27。机器人控制器11包括处理器17、存储器18和通信接口19。控制电路装置27包括处理器24、存储器28和通信接口29。处理器包括例如一个或多个中央处理单元。存储器包括例如一个或多个存储单元。通信接口被配置为无线地或通过有线来发送或接收信息。
机器人10有能力在围绕机器人的3D空间执行工作，该3D空间被称为机器人10的工作空间。工作空间被定义为当机器人10执行全部可能的动作时而被末端执行器扫过的总体积。
接下来将介绍用于确定机器人10的机器人坐标系R与可移动装置20的MA坐标系MA之间的关系的方法。方法例如作为计算机程序被实施，该计算机程序包括指令，其使得系统40的一个或多个部分根据指令动作，以当执行计算机程序时实现方法。计算机程序可以是例如被载入到可移动装置20的存储器28中、和/或机器人控制器11的存储器18中和/或连接到可移动装置20和机器人控制器11的外部计算机的存储器中。再备选地，计算机程序可以在数个可移动装置20、机器人控制器11和可移动装置20之间被分配。机器人控制器和可移动装置20(和可选的外部计算机)通信以使得完成该方法，即通信例如关系，姿态等的数据和信息。
为了执行方法，可移动装置20的传感器设备22应当被放置为使得它可以捕获或记录标记16的信息，例如，标记16应当在传感器设备22的视野的区域内可见。可移动装置20通常被人携带，例如，在一个人头部，或被拿在用户的手中。借助可移动装置20的显示器来观察机器人10，并且确定标记16能够被看到，可以执行方法。备选地，它被包括在方法内，以确定机器人10的适合的标记16。然后可以通过对象识别算法将机器人10的细节选择为适合作为标记16。合适的标记是可以检测到姿势的标记。因此，标记16的位置和取向应当是可检测的。通常，标记16应允许标记16的四个不同点由传感器设备22区分。然而，不同点本身不必是点，例如，线可以给出两个不同的点。因此，标记16应具有可区分特征，例如点、线、圆或其它几何图元和/或可区分图案。
参考图6的流程图以及参考图3-5来介绍该方法。图3-5示出了系统40的不同部分的坐标系以及这些坐标系之间的关系。这些坐标系，或它们中一部分，和它们之间的关系，这里被使用用于建模确定关系的问题。如图中示出的，机器人10基底是连杆零并且代表机器人坐标系R采用坐标轴XR，YR，ZR和原点OR。因此，机器人坐标系R通常是机器人的基底坐标系。典型地，机器人坐标系R被限定为与世界坐标系W重叠。世界坐标W系例如是被用户定义的，并且Z轴与重力加速度向量共线但与重力加速度向量相反的方向。机器人坐标系R通常被机器人生产者定义。机器人10被设置有至少一个参考位置14。参考位置14是例如机器人的TCP，并且然后参考位置坐标系E是TCP坐标系。然而，参考位置14可以备选地是另一参考位置，其具有已知的与机器人坐标系R的关系。参考位置14可以被放置在机器人10上的连杆上，以给予足够的自由度以执行校准，例如，轴6或7(如果存在)的连杆，其对应的坐标系在机器人坐标系R中是已知的。参考位置14代表在机器人10上的具有轴XE，YE，ZE和原点OE的参考位置坐标系E。
标记16被布置与机器人10上的参考位置14成固定关系。因此，在机器人10上的标记与机器人10的参考位置14之间关系的没有改变。标记16不需要被恰好附接到机器人10上，例如，被附接到末端执行器上。唯一的要求是在校准阶段期间标记16与该标记所连接的连杆之间有恒定的关系(距离和方向)。然而，固定关系可以是未知的。标记16代表标记坐标系M，具有轴XM，YM，ZM和原点OM。标记坐标系M相对于参考位置坐标系E不可移动。如果参考位置坐标系E是TCP坐标系，标记坐标系M相对于机器人10的TCP不可移动。换而言之，标记坐标系M与连续地与参考坐标系E成固定关系，当机器人10的姿态被改变时，该固定关系不会发生变化。标记16可以是附接到机器人10、工具(未示出)的细节或机器人10本身的细节(尤其是机器人10的端部的细节)的专用标记。标记16例如是将出现在标记16的产生的图像中，并且可以用作参考的基准标记。例如，标记16是ArUco标记(由宽的黑色边框和确定其标识符id的内部二进制矩阵组成的合成方形标记)、Cybercode标记(基于二维码技术的视觉标签)、ARTag标记等。标记16可以特别设计或选择为易于被可移动装置20的传感器设备22和控制电路装置27读取或检测。
该可移动装置20的传感器设备22限定了具有轴XC，YC，ZC以及原点OC的传感器坐标系C。可移动装置20的定位机构26被配置为在MA坐标系MA中定位传感器坐标系C。可移动装置20例如通过使用定位机构26构建环境地图来定义MA坐标系MA，如先前所解释的。MA坐标系MA具有轴XMA，YMA，ZMA。MA坐标系MA通常相对于所述真实环境或现实世界不移动并且可以因此被看作是被附接或被固定在现实世界中。然而，MA坐标系MA与现实世界之间的关系可以随着从该关系中获得更多信息而不断地被调整。现实世界可以由具有轴线XW，YW，ZW与原点OW的世界坐标系W来定义。MA坐标系MA是例如增强现实(AR)的坐标系。通常，机器人坐标系R相对于现实世界也不移动。因此，MA坐标系MA与机器人坐标系R(随时间)具有固定关系。
所描述的坐标系可以是用正交右手定则定义的笛卡尔坐标系。备选地，所描述的坐标系可以用正交左手规则来定义。旋转在坐标系可以由三个独立的参数表示，两个角度u和v定义旋转轴k，以及角度θ来指定旋转量。例如，角度u例如在X-Y平面中，角度v是与Z轴的倾角。参考位置(例如TCP)的位置和旋转通过坐标系之间的适当变换而典型地被定义在机器人坐标系R中。
在图3-5中，问题的建模被可视化。通过沿着在图中的坐标系之间的箭头，我们建立了主要的手眼等式。在图3-4中，RξE是指从R到E的变换；EξM是指从E到M的变换；CξM是指从C到M的变换；MAξC是指从MA到C的变换；以及RξMA是指从R到MA的变换。在图3中，通过按照箭头，我们得到关系：
RξE EξM＝RξMA MAξC CξM (1)
通过将MAξC和CξM变换到MAξM，基于形式为AX＝YB等式的问题可以被解决，其中A和B是相对于多个不同坐标系的相对变换。这在图4中进行了说明，其中在MA和C之间添加了箭头。因此，等式(1)可以改写为：
RξE EξM＝RξMA MAξM (2)
因此，在等式AX＝YB，A代表RξE，和B表示MAξM。X表示变换EξM并且Y表示变换RξMA，两者都是未知的。然而，这些变换(即关系)随着时间恒定，因为假设机器人坐标系R相对于MA坐标系MA是固定的。X可以从等式被消除，然后只有Y将存在以被解决，因此，A’Y＝YB’。为了消除X，需要另一个姿态(即包括前面介绍的另一个移动)，因此：
A2X＝YB2 (4)
等式(3)和(4)给出：
并且通过交换和则得到形式为A'Y＝YB'的等式，其中X被消去。然而，带有X的等式被认为更稳健，因为它给出了更准确的结果，例如参见“Continuoushand-eye calibration using 3D points”，Bjarne Grossmann等人，2017年，IEEE第15届工业信息学国际会议。因此还带有X的等式是优选的。
为了求解等式，机器人10必须在多个不同姿态中定位自身，如图5中用E1、E2…示出，以获得用于求解等式的数据。可移动装置20也改变了自身的位置，然而这不是该方法所要求的。因此，等式AX＝YB中的A和B将发生变化。当机器人10被定位时，它也同时定位标记16，即使标记16在参考位置坐标系E中的姿态可能是未知的(然而，它是固定的)。换言之，该方法包括相对于机器人坐标系R在多个不同姿态中定位S10标记16。这通常通过将在多个不同姿态中定位参考位置E而被执行。参考位置坐标系E和标记坐标系M之间的关系通常在该方法的开始是未知的。在一些实施例中，没有必要使机器人10以不同姿态站立。因此，定位S10可以包括连续地或持续地重新定位标记16。在这种情况下，来自从机器人10与可移动装置20的数据流可以被同步。
对于标记16的多个不同姿态中的每个姿态，多个步骤被执行。
这些步骤包括，在传感器信息基础上，确定S12传感器坐标系C与标记坐标系M之间的关系传感器信息通过在可移动装置20的传感器设备22被捕获或记录并且该传感器信息包括标记16的信息。在一些实施例中，传感器设备22是相机传感器设备，并且该方法包括：捕获S11标记16的一个或多个图像，其中传感器信息包括来自一个或多个所捕获图像的图像信息。根据图像信息，标记16通过图像处理而被检测。标记在传感器坐标系C的姿态是例如使用如本领域技术人员知晓的视野n点问题，或者使用任何其他姿态估计方法被确定。检测到的(即测量的)姿态具有平移分量，例如x、y和z偏移(即标记的位置)，以及定向分量，例如三个欧拉角(以指示标记的定向)。因此，当标记16的姿态在传感器坐标系C是已知的，则传感器坐标系C与所述标记坐标系M之间的关系C→M也可以被确定，被称为变换C1ξM1，C2ξM2...然后在步骤S12之前执行步骤S11。图像处理还可以包括滤波步骤，例如使用卡尔曼滤波器，以去除抖动对传感器设备22的影响，或者捕获多个图像并且使用多个图像的平均值的信息。
该方法还包括确定S13中的MA坐标系MA与传感器坐标系C之间关系该步骤被执行以知道可移动装置20相对于MA坐标系MA的位置。关系通过定位机构26被提供。定位机构26典型地提供了传感器坐标系C在MA坐标系MA的姿态，因而关系MA→C，在图5中被称为变换MAξC1，MAξC2...。S12和S13为计算B提供信息或数据。
针对标记16的每个姿态执行的步骤还包括确定S14机器人坐标系R与参考位置坐标系E之间的关系该步骤包括，例如，从机器人控制器11获得参考位置14在机器人坐标系R中的姿态，即关系R→E。该步骤在图5中也被称为RξE1，RξE2…，并且因此给出了针对A的信息或数据。因此，在标记16的被检测到的每个姿态上，来自机器人10的参考位置坐标系E的姿态的数据被收集。当步骤S12-S14(和可选地S11)已经针对多个不同姿态而被执行，存在从机器人10和传感器设备22两者取回的与标记16相关的信息。根据一些实施例，多个不同姿态包括对于在姿态之间移动的至少三个不同的姿态，其中每个移动的旋转轴与前一个移动的旋转轴不平行。针对三个不同的姿态，应当理解的是两个移动被使用，因此，一个移动在两个不同的姿态之间。然而，“一个移动”不应该被理解为限制于连续的移动，相反，移动可以被停顿打断或包括一个或多个子姿态等。这些子姿态仅被使用作为两个不同的有效姿态之间的路点，并且移动在两个不同的有效姿态之间。换而言之，不同姿态中的旋转轴在每个旋转轴不平行于不同姿态中的任何其他旋转轴的意义上是不同的。为此，根据该方法将会有足够的信息或数据以获得可靠的结果。通过使用多于三个的姿态，例如四个、五个、六个、七个、八个、九个、十个、二十个或更多个不同姿态，该方法的准确性被增强。求解手眼等式的不同方法也可能需要不同的最小姿态量。在一个示例中，使用双四元求解器用于求解手眼等式，使用三个不同姿态，在该三个不同姿态中具有在其间的、具有非平行的旋转轴的两个移动。在其他示例中使用克罗内克积(Kronecker product)用于解决手眼等式，五个或更多个姿态与姿势之间的对应的移动一起使用。在一些实施例中，多个不同姿态包括至少三个不同姿态，其中在至少三个不同姿态中的每个姿态，机器人坐标系R和参考位置坐标系E之间的相对定向不同。
对于用双箭头“”表示的关系，这里表示任一方式的关系。例如，关系可以指传感器坐标系C的姿态到MA坐标系MA，因而是关系MA→C(因此带来MA至C的变换)，或者的MA坐标系的姿态到传感器坐标系C，因此关系MA←C(因此带来C至MA的变换)。
在步骤S12-S14，以及可选地步骤S11通常时间同步，以从机器人10和从可移动装置20两者取回标记16的相同的姿态的信息。例如，当标记16处于预定姿态时，机器人控制器11可以与可移动装置20通信。姿态可以由可移动装置20规定。然而，可能难以完全同步来自不同来源的数据流。之后同步方法可以被使用来同步数据流，例如“CHESS–Calibratingthe Hand-Eye Matrix With Screw Constraints and Synchronization”，KrittinPachtrachai等人，IEEE Robotics and Automation Letters，vol.3no.3，2018年7月。在步骤S14之后，该方法可以检查S15是否有更多的姿态要完成。如果是，则该方法再次返回到步骤S10。如果不是，则该方法继续到步骤S20。然而，该方法可以使用其他标准来决定何时停止返回到S10。在一些实施例中，当已经达到预定精度、或当没有更多的精度改善效果(在一定范围内)、或已经达到预定的最大精度，该方法不返回到S10。当已经执行了步骤S20并且因此存在校准结果时，该检查可以被执行。该精度可以使用最小二乘拟合的残差而被确定，如本领域技术人员已知。如果准确度不够，则方法返回步骤S10以获取更多数据。在确定校准的准确性一个实例中，在机器人坐标系R的坐标轴被投影到在MA坐标系MA的可移动装置的屏幕上。然后，操作员可以通过将坐标轴的位置与机器人的定位进行比较来直观地确定校准的准确性。当然，也可以将机器人的任何其他坐标系的坐标轴投影到屏幕上，与真实机器人进行比较。
在一个示例场景中，可移动装置20命令机器人控制器11将机器人的参考位置坐标系E移动到新的有效姿态。当参考位置坐标系E已经到达这个新的有效姿态时，机器人控制器11将通过向可移动装置20发送所有必要的姿态数据来通知可移动装置。这些步骤对应于该方法的步骤S10和S14。可移动装置20此时将开始捕获图像信息，直至可移动装置20成功识别出标记16。当可移动装置20被确定为成功影像时，将会停止图像捕获过程。这些步骤对应于该方法的步骤S12。根据需要对于许多新的有效姿态重复该过程，以获得足够的有效数据。机器人控制器11与可移动装置20之间的数据和命令可以在无线链路上通信，例如使用连接到机器人控制器11的路由器。数据和命令可以使用Web套接字和由机器人控制器11支持的数字I/O来通信。
因此，在针对多个姿态重复步骤S12至S15，步骤S11也是可选的，该方法包括在多个不同姿态中，使用关系关系和关系确定S20关系如前所述，该确定可以使用手眼等式来对问题建模。为了做到这一点，在一些实施例中，确定S20关系包括通过使用关系和关系来获得MA坐标系MA与标记坐标系M之间的关系获取可以包括取决于关系如何被表达而组成关系(变换)的不同的方法。例如，获得可以包括在关系和关系被表示为矩阵时使用矩阵乘法组成关系
用于建模的问题的手眼等式例如是AiX＝YBi等式，其中不同的指数i代表不同的姿态。为了求解等式，可以使用不同方法。手眼等式可以例如使用四元数表示或克罗内克积而被表示。在一个示例中，为求解针对Y的等式，等式AiX＝YBi被分成两个部分(6)、(7)其中关系以它们的矩阵变换形式而被表示：
RARX＝RYRB (6)
RAtx+tA＝RYtB+tY (7)
等式(6)是旋转等式，以及等式(7)是平移等式。RA是A的旋转矩阵，RX是X的旋转矩阵，RY是Y的旋转矩阵，并且RB是B的旋转矩阵，tx是X的平移向量，tA是A的平移向量，tB是B的平移向量，并且tY是为Y平移向量。这些等式可以一起求解，旋转等式(6)可以首先被解决，或者当只有RY和tY必须被确定时，仅平移等式(7)可以被解决，参见例如“Continuous hand-eye calibration using 3D points”，Bjarne Grossmann等人，2017年，IEEE第15届工业信息学国际会议。该等式也可以被近似地使用优化而得到最小解。
该方法可以被自动执行，因此不需要任何人工干预。因此，在一些实施例中，该方法包括自动执行该方法的步骤。然后，根据计算机程序，机器人10可以被编程为移动到多个姿态，或者被可移动装置20指令来移动到多个姿态。标记16的图像或信息然后可以被自动收集或捕获，与机器人10的定位同步。
该方法的结果是关系机器人10和可移动装置20现在被一起校准并且可以一起被用于不同目的。机器人与可移动装置20之间的变换现在是已知的并且被校准。来自可移动装置20的位置和定向数据现在可以被变换到机器人坐标系R中，反之亦然。
关系可以被用于多种目的。例如，该方法包括使用S30确定的关系用于在显示器23上投影与机器人10相关的增强信息。例如，在显示器23上投影机器人10的安全区域。
本公开还涉及一种控制装置30，用于确定机器人10的机器人坐标系R与可移动装置20的MA坐标系MA之间的关系控制装置30被配置为执行本文描述的方法的任何步骤。因此，控制装置被配置为以相对于机器人坐标系C在多个不同姿态中定位标记16。对于多个不同姿态中的每个姿态，控制装置30被配置为在传感器信息的基础上确定传感器坐标系C与标记坐标系M之间的关系确定MA坐标系MA与传感器坐标系C之间的关系以及确定机器人坐标系R与参考位置坐标系E之间的关系控制装置30也被配置为在多个不同姿态中，使用关系关系以及关系确定所述关系
本公开还涉及可移动装置20，可移动装置20用于确定关系可移动装置包括如前所述的控制装置30。在一些实施例中，可移动装置20被配置为从机器人10的机器人控制器11获得关系
本公开还涉及一种系统40，用于确定关系系统40包括本文所描述的机器人10、可移动装置20以及控制装置30。

Claims (13)

1.一种用于确定机器人(10)的机器人坐标系(R)与可移动装置(20)的MA坐标系(MA)之间的关系的方法，所述可移动装置(20)包括传感器设备(22)和定位机构(26)，所述定位机构(26)被配置为在所述MA坐标系(MA)中定位所述传感器设备(22)的传感器坐标系(C)，其中标记(16)被布置成与所述机器人(10)上的参考位置(14)成固定关系，所述方法包括：
相对于所述机器人坐标系(R)在多个不同姿态中定位所述标记(16)，并且针对所述多个不同姿态中的每个姿态：
在传感器信息的基础上，确定所述传感器坐标系(C)与标记坐标系(M)之间的关系
使用所述定位机构(26)确定所述MA坐标系(MA)与所述传感器坐标系(C)之间的关系
确定所述机器人坐标系(R)与所述参考位置(14)的参考位置坐标系(E)之间的关系
针对所述多个不同姿态，使用所述关系所述关系以及所述关系确定所述关系
2.根据权利要求1所述的方法，其中，确定所述关系包括：通过使用所述关系和所述关系获得所述MA坐标系(MA)与所述标记坐标系(M)之间关系
3.根据权利要求1或2所述的方法，其中，所述参考位置坐标系(E)与所述标记坐标系(M)之间的关系在所述方法的开始时是未知的。
4.根据权利要求1-2中任一项所述的方法，其中，所述标记坐标系(M)相对于所述参考位置坐标系(E)是不可移动的。
5.根据权利要求1-2中任一项所述的方法，包括自动执行所述方法的步骤。
6.根据权利要求1-2中任一项所述的方法，其中，所述可移动装置(20)是可移动的增强现实AR装置。
7.根据权利要求1-2中任一项所述的方法，其中，所述传感器设备(22)是相机传感器设备，并且其中针对所述多个不同姿态中的每个姿态，所述方法包括：
捕获所述标记(16)的图像，其中所述传感器信息包括来自所捕获的图像的图像信息。
8.根据权利要求1-2中任一项所述的方法，其中，所述可移动装置(20)包括显示器(23)，并且其中所述方法包括：使用所确定的关系来将与所述机器人(10)有关的增强信息投影到显示器(23)上。
9.根据权利要求1-2中任一项所述的方法，其中，所述多个不同姿态包括对于在所述姿态之间移动的至少三个不同姿态，其中每个移动的旋转轴线与前一个移动的旋转轴线不平行。
10.一种控制装置(30)，用于确定机器人(10)的机器人坐标系(R)与可移动装置(20)的MA坐标系(MA)之间的关系所述可移动装置(20)包括传感器设备(22)和定位机构(26)，所述定位机构(26)被配置为在所述MA坐标系(MA)中定位所述传感器设备(22)的传感器坐标系(C)，其中标记(16)被布置为与所述机器人(10)上的参考位置(14)成固定关系，并且所述控制装置(30)被配置为：
使得所述机器人(10)以相对于所述机器人坐标系(R)在多个不同姿态中定位所述标记(16)，并且针对所述多个不同姿态中的每个姿态：
在从所述传感器设备(22)接收的传感器信息的基础上，确定所述传感器坐标系(C)与标记坐标系(M)之间的关系
确定从所述定位机构(26)接收的所述MA坐标系(MA)与所述传感器坐标系(C)之间的关系
确定所述机器人坐标系(R)与所述参考位置(14)的参考位置坐标系(E)之间的关系
针对所述多个不同姿态，使用所述关系所述关系和所述关系确定所述关系
11.一种可移动装置(20)，用于确定机器人(10)的机器人坐标系(R)与可移动装置(20)的MA坐标系(MA)之间关系其中所述可移动装置(20)包括传感器设备(22)和定位机构(26)，所述定位机构(26)被配置为在所述MA坐标系(MA)中定位所述传感器设备(22)的传感器坐标系(C)，其中标记(16)被布置为与所述机器人(10)上的参考位置(14)成固定关系，并且所述可移动装置(20)还包括根据权利要求10所述的控制装置(30)。
12.根据权利要求11所述的可移动装置(20)，被配置为从所述机器人(10)的机器人控制器(11)获得所述关系
13.一种用于确定机器人(10)的机器人坐标系(R)与可移动装置(20)的MA坐标系(MA)之间关系的系统(40)，所述系统(40)包括：
机器人(10)，具有布置为与所述机器人(10)上的参考位置(14)成固定关系的标记(16)；
可移动装置(20)，包括传感器设备(22)和定位机构(26)，所述定位机构(26)被配置为所述MA坐标系(MA)中定位所述传感器设备(22)的传感器坐标系(C)，以及
根据权利要求10所述的控制装置(30)。
CN201980094277.6A 2019-03-25 2019-03-25 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 Active CN113597362B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/057393 WO2020192882A1 (en) 2019-03-25 2019-03-25 Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system

Publications (2)

Publication Number Publication Date
CN113597362A CN113597362A (zh) 2021-11-02
CN113597362B true CN113597362B (zh) 2024-05-24

Family

ID=65991784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094277.6A Active CN113597362B (zh) 2019-03-25 2019-03-25 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置

Country Status (4)

Country Link
US (1) US12036663B2 (zh)
EP (1) EP3946825A1 (zh)
CN (1) CN113597362B (zh)
WO (1) WO2020192882A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113787541B (zh) * 2021-11-17 2022-03-04 杭州灵西机器人智能科技有限公司 一种机器人位置校正的方法和机器人定位系统
JP7340069B1 (ja) * 2022-06-09 2023-09-06 株式会社ダイヘン マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
CN117207209A (zh) * 2023-09-11 2023-12-12 东南大学 基于融合预测方程的软体机器人优化建模及鲁棒控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259119A (ja) * 1993-03-04 1994-09-16 Daihen Corp 産業用ロボットの制御装置
US6236896B1 (en) * 1994-05-19 2001-05-22 Fanuc Ltd. Coordinate system setting method using visual sensor
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人系统的自动标定方法
CN106182018A (zh) * 2016-07-30 2016-12-07 福州大学 一种基于工件三维图形的磨抛工业机器人离线编程方法
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
EP3428760A1 (en) * 2017-07-12 2019-01-16 PerceptIn, Inc. Mapping optimization in autonomous and non-autonomous platforms
CN109298629A (zh) * 2017-07-24 2019-02-01 来福机器人 用于为自主和非自主位置意识提供鲁棒跟踪的容错
CN109313417A (zh) * 2015-11-16 2019-02-05 Abb瑞士股份有限公司 帮助机器人定位

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4017721A (en) * 1974-05-16 1977-04-12 The Bendix Corporation Method and apparatus for determining the position of a body
JPS60177888A (ja) * 1984-02-22 1985-09-11 フアナツク株式会社 視覚センサ処理装置とロボツト制御装置との結合方式
JPS60263681A (ja) * 1984-06-08 1985-12-27 株式会社日立製作所 ロボツトの教示方法
US5267143A (en) * 1984-10-12 1993-11-30 Sensor Adaptive Machines, Incorporated Vision assisted fixture construction
JPS61244444A (ja) * 1985-04-19 1986-10-30 Hitachi Seiki Co Ltd 工作機械のワ−ク座標系設定装置
US4879664A (en) * 1985-05-23 1989-11-07 Kabushiki Kaisha Toshiba Three-dimensional position sensor and three-dimensional position setting system
EP0261106B1 (en) * 1986-02-25 1989-11-02 Trallfa Robot A/S Method and robot installation for programmed control of a working tool
SE464855B (sv) * 1986-09-29 1991-06-24 Asea Ab Foerfarande vid en industrirobot foer kalibrering av en sensor
US4835710A (en) * 1987-07-17 1989-05-30 Cincinnati Milacron Inc. Method of moving and orienting a tool along a curved path
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
JPH0213804A (ja) * 1988-07-01 1990-01-18 Fanuc Ltd 視覚センサにおけるノミナル設定方式
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
JP2786225B2 (ja) * 1989-02-01 1998-08-13 株式会社日立製作所 工業用ロボットの制御方法及び装置
JP2666512B2 (ja) * 1990-03-30 1997-10-22 トヨタ自動車株式会社 機械座標系補正装置
US5208763A (en) * 1990-09-14 1993-05-04 New York University Method and apparatus for determining position and orientation of mechanical objects
US5083073A (en) * 1990-09-20 1992-01-21 Mazada Motor Manufacturing U.S.A. Corp. Method and apparatus for calibrating a vision guided robot
JP2702320B2 (ja) * 1991-07-26 1998-01-21 川崎重工業株式会社 ロボットの制御装置
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JP2840801B2 (ja) * 1992-12-01 1998-12-24 セイコーインスツルメンツ株式会社 座標変換係数の自動設定方法
JP3394278B2 (ja) * 1992-12-03 2003-04-07 ファナック株式会社 視覚センサ座標系設定治具及び設定方法
US5835693A (en) * 1994-07-22 1998-11-10 Lynch; James D. Interactive system for simulation and display of multi-body systems in three dimensions
US5802201A (en) * 1996-02-09 1998-09-01 The Trustees Of Columbia University In The City Of New York Robot system with vision apparatus and transparent grippers
JPH09319425A (ja) * 1996-05-29 1997-12-12 Kobe Steel Ltd 部品の組立方法及び組立装置
US6004016A (en) * 1996-08-06 1999-12-21 Trw Inc. Motion planning and control for systems with multiple mobile objects
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5974169A (en) * 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US6044308A (en) * 1997-06-13 2000-03-28 Huissoon; Jan Paul Method and device for robot tool frame calibration
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
FR2770317B1 (fr) * 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6157873A (en) * 1998-04-09 2000-12-05 Motoman, Inc. Robot programming system and method
US6615112B1 (en) * 1999-06-26 2003-09-02 Kuka Schweissanlagen Gmbh Method and device for calibrating robot measuring stations, manipulators and associated optical measuring devices
SE515374C2 (sv) * 1999-10-29 2001-07-23 Abb Flexible Automation As Förfarande och anordning för bestämning av ett objekts koordinater och orientering i ett referenskoordinatsystem
WO2002029700A2 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
DE10106023A1 (de) * 2001-02-09 2002-08-29 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Kollisionserkennung von Objekten
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
JP2005515910A (ja) * 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
NO317898B1 (no) * 2002-05-24 2004-12-27 Abb Research Ltd Fremgangsmate og system for a programmere en industrirobot
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US6836702B1 (en) * 2003-06-11 2004-12-28 Abb Ab Method for fine tuning of a robot program
EP1658579B1 (en) * 2003-08-15 2016-09-28 Scape A/S Method for for classification and spatial localization of bounded 3d-objects
EP1683063A1 (de) * 2003-11-10 2006-07-26 Siemens Aktiengesellschaft System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
DE102004026814A1 (de) * 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
DE102005022344B4 (de) * 2005-05-13 2008-06-19 Siemens Ag Vorrichtung und Verfahren zur Werkstückeinmessung
EP1927038A2 (en) * 2005-09-23 2008-06-04 Braintech Canada, Inc. System and method of visual tracking
EP1946243A2 (en) * 2005-10-04 2008-07-23 Intersense, Inc. Tracking objects with markers
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
DE102009007477A1 (de) * 2009-01-30 2010-08-05 Siemens Aktiengesellschaft Modellaufbau einer Fertigungsstätte mit maßstabsgerechten Modellen von Fertigungseinrichtungen sowie Verfahren zur Eingabe eines räumlichen Aufbaus von Fertigungseinrichtungen in ein rechnergestütztes Planungsprogramm
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
JP4991023B2 (ja) * 2010-11-12 2012-08-01 パナソニック株式会社 移動経路探索装置および移動経路探索方法
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US10556356B2 (en) * 2012-04-26 2020-02-11 Sharper Tools, Inc. Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
WO2014110502A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
EP3078214B1 (de) * 2013-12-02 2019-06-26 Alfred Kärcher SE & Co. KG Verfahren zur überwachung eines einsatzortes einer flächenbearbeitungsvorrichtung und überwachungssystem
EP3146729B1 (en) * 2014-05-21 2024-10-16 Millennium Three Technologies Inc. System comprising a helmet, a multi-camera array and an ad hoc arrangement of fiducial marker patterns and their automatic detection in images
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
JP6126183B2 (ja) * 2015-10-05 2017-05-10 ファナック株式会社 ターゲットマークを撮像するカメラを備えたロボットシステム
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
EP3189947A1 (de) * 2016-01-07 2017-07-12 Sick Ag Verfahren zum konfigurieren und zum betreiben einer überwachten automatisierten arbeitszelle und konfigurationsvorrichtung
US11004213B2 (en) * 2016-01-25 2021-05-11 KoreoGRFX, Inc. Methods and systems for determining motion of a device
US9744665B1 (en) * 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
US11353326B2 (en) * 2016-03-06 2022-06-07 Arizona Board Of Regents On Behalf Of The University Of Arizona Traverse and trajectory optimization and multi-purpose tracking
US10078916B2 (en) * 2016-07-01 2018-09-18 Invia Robotics, Inc. Pick to augmented reality
US9898833B1 (en) * 2016-07-15 2018-02-20 Northrop Grumman Systems Corporation Apparatus and method for determining the dimensions of a package while in motion
US10177183B2 (en) * 2016-09-08 2019-01-08 Sensors Unlimited, Inc. Embedded orientation markers for imaging sensors
EP3323565B1 (de) * 2016-11-21 2021-06-30 Siemens Aktiengesellschaft Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
EP3324362B1 (de) * 2016-11-21 2019-07-03 Siemens Aktiengesellschaft Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
EP3630417A1 (en) * 2017-05-22 2020-04-08 ABB Schweiz AG Robot-conveyor calibration method, robot system and control system
US10671240B2 (en) * 2017-06-05 2020-06-02 Kindred Systems Inc. Systems, devices, articles, and methods for creating and using trained robots with augmented reality
JP6879464B2 (ja) * 2017-08-02 2021-06-02 オムロン株式会社 干渉判定方法、干渉判定システム及びコンピュータプログラム
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
EP3737537A4 (en) * 2017-11-20 2022-05-04 Kindred Systems Inc. SYSTEMS, DEVICES, ARTICLES AND METHODS FOR CALIBRATION OF RANGEFINDERS AND ROBOTS
US10676022B2 (en) * 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
CN112313046B (zh) * 2018-06-26 2024-08-27 发纳科美国公司 使用增强现实可视化和修改操作界定区域
JP6856583B2 (ja) * 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
WO2020101635A1 (en) * 2018-11-12 2020-05-22 Hewlett-Packard Development Company, L.P. Multiple-pattern fiducial for heterogeneous imaging sensor systems
KR102619004B1 (ko) * 2018-12-14 2023-12-29 삼성전자 주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
JP7260428B2 (ja) * 2019-07-18 2023-04-18 ファナック株式会社 拡張現実グラス装置及び表示プログラム
US11478936B2 (en) * 2019-10-09 2022-10-25 Canon Kabushiki Kaisha Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
EP3808511B1 (de) * 2019-10-15 2024-07-31 Siemens Aktiengesellschaft Verfahren zum überwachen einer arbeitsumgebung und überwachungseinrichtung
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム
US11691280B2 (en) * 2020-01-24 2023-07-04 The Cleveland Clinic Foundation Hybrid control of a robotic system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259119A (ja) * 1993-03-04 1994-09-16 Daihen Corp 産業用ロボットの制御装置
US6236896B1 (en) * 1994-05-19 2001-05-22 Fanuc Ltd. Coordinate system setting method using visual sensor
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人系统的自动标定方法
CN109313417A (zh) * 2015-11-16 2019-02-05 Abb瑞士股份有限公司 帮助机器人定位
CN106182018A (zh) * 2016-07-30 2016-12-07 福州大学 一种基于工件三维图形的磨抛工业机器人离线编程方法
EP3428760A1 (en) * 2017-07-12 2019-01-16 PerceptIn, Inc. Mapping optimization in autonomous and non-autonomous platforms
CN109298629A (zh) * 2017-07-24 2019-02-01 来福机器人 用于为自主和非自主位置意识提供鲁棒跟踪的容错
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Augmented Reality for Digital Manufracturing;BLAGA ANDREEA等;2018 26th MEDITERRANEAN CONFERENCE ON CONTROL AND AUTOMATION(MED));全文 *
基于光刀旋转扫描法的三维传感技术;黄宇豪;麦家全;易映萍;;电子测量技术(第11期);全文 *

Also Published As

Publication number Publication date
US20220168902A1 (en) 2022-06-02
WO2020192882A1 (en) 2020-10-01
CN113597362A (zh) 2021-11-02
US12036663B2 (en) 2024-07-16
EP3946825A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US11813749B2 (en) Robot teaching by human demonstration
CN112091970B (zh) 具有增强的扫描机制的机器人系统
JP5904676B2 (ja) マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
Ferreira et al. Stereo-based real-time 6-DoF work tool tracking for robot programing by demonstration
US20200368918A1 (en) Robot system
CN108422435A (zh) 一种基于增强现实的远程监测及控制系统
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP2013043271A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN109648568B (zh) 机器人控制方法、系统及存储介质
CN110405775A (zh) 一种基于增强现实技术的机器人示教系统及方法
CN108089553A (zh) 用于启动多轴系统的方法和装置
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2019120481A1 (en) System and method for determining a transformation representation
JP2020142323A (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
KR20180017074A (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
CN108081267A (zh) 用于启动多轴系统的方法和装置
Thompson et al. Providing synthetic views for teleoperation using visual pose tracking in multiple cameras
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム
JP2021010994A (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
JP7533265B2 (ja) 支援システム、画像処理装置、支援方法およびプログラム
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
Fiala A robot control and augmented reality interface for multiple robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant