[go: up one dir, main page]

CN110238831B - 基于rgb-d图像及示教器的机器人示教系统及方法 - Google Patents

基于rgb-d图像及示教器的机器人示教系统及方法 Download PDF

Info

Publication number
CN110238831B
CN110238831B CN201910665326.9A CN201910665326A CN110238831B CN 110238831 B CN110238831 B CN 110238831B CN 201910665326 A CN201910665326 A CN 201910665326A CN 110238831 B CN110238831 B CN 110238831B
Authority
CN
China
Prior art keywords
teaching
coordinate system
rgb
robot
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910665326.9A
Other languages
English (en)
Other versions
CN110238831A (zh
Inventor
陈成军
潘勇
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201910665326.9A priority Critical patent/CN110238831B/zh
Publication of CN110238831A publication Critical patent/CN110238831A/zh
Priority to US16/804,888 priority patent/US11440179B2/en
Priority to AU2020201554A priority patent/AU2020201554B2/en
Application granted granted Critical
Publication of CN110238831B publication Critical patent/CN110238831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with leader teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B25J9/026—Gantry-type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36492—Record position and orientation, posture of probe, tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37388—Acceleration or deceleration, inertial measurement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39435—Free movable unit has push buttons for other than position, orientation control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40129—Virtual graphic 3-D pointer, manipulator commands real manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及基于RGB‑D图像及示教器的机器人示教系统，包括RGB‑D相机、上位机、姿态示教器和AR示教系统，AR示教系统包括AR注册卡和增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元，RGB‑D相机实时采集物理工作环境的RGB图像和深度图像，在路径规划单元中选择机器人末端执行器的路径点，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；姿态示教单元将接收到的姿态数据作为当前运动所在路径点的姿态，并根据路径点的位置和姿态驱动虚拟机器人模型运动，完成示教。本发明不需复杂的位姿跟踪系统，且物理机器人不参与示教，通过增强现实仿真完成示教编程。

Description

基于RGB-D图像及示教器的机器人示教系统及方法
技术领域
本发明涉及基于RGB-D图像及示教器的机器人示教系统及方法和方法，属于智能制造领域。
背景技术
当前工业机器人在焊接、打磨、装配、喷涂等领域中广泛用，机器人编程是发挥机器人的功能，完成复杂任务的关键。工业机器人编程方式主要分为在线示教编程、离线示教编程和自主编程三类。在线示教编程过程是通过示教编程人员手动拖拽机器人末端执行器或者操作示教盒驱动机器人末端到达目标路径点，存储该路径点作为机器人的编程轨迹。该方法仅能完成简单的点位编程和简单轨迹的路径编程，但精度难以保证，且编程过程繁琐，效率低，存在安全隐患。离线示教编程过程是：首先在虚拟环境中建立物理机器人模型和实际作业环境的3D模型，通过计算机操作驱动虚拟机器人运动，模拟物理机器人的工作过程，生成物理机器人的路径规划。但是离线示教需要专业的技术人员才能建立实际作业环境的虚拟模型，且建模工作量大、操作难度大、编程效率低、不适用于动态变化的工作场景，并且要求编程人员不仅具备专业技能，还要具备较高的计算机建模和操作能力。自主编程过程是：机器人利用视觉传感器检测物理工作环境、实时获取现场的几何信息，在线自主规划机器人路径。该类方法在无外界控制的条件下，机器人可以独立完成一定的任务，但环境适应能力和抗干扰能力差，视觉伺服成本高。
随着产品个性化定制、混流生产的发展，机器人编程成为影响生产效率的关键因素之一。公开号CN107309882A的《一种机器人示教编程系统及方法》，该技术方案通过一线工人在线示教，位姿跟踪系统和示教系统跟踪一线工人的手持示教器的位置和姿态，同时采集相对应的工艺参数，将示教数据发送至计算机系统进行增强现实示教仿真，然后将示教数据处理和编译，生成机器人程序。该技术方案采用一种和谐的人机交互方式，使一线工人能够在一个虚实融合的环境中生成机器人程序，替代现有的机器人示教器，革新在线示教编程和离线示教编程方式，但是此技术方案需要高精度、大范围的位姿跟踪系统，成本高、集成难度大。
发明内容
为了解决上述技术问题，本发明提供基于RGB-D图像及示教器的机器人示教系统，不需复杂的位姿跟踪系统，且物理机器人不参与示教，通过增强现实仿真完成示教编程。
本发明的技术方案一如下：
基于RGB-D图像及示教器的机器人示教系统，包括RGB-D相机、上位机、姿态示教器和AR示教系统，所述RGB-D相机、姿态示教器与所述上位机进行通信连接，所述RGB-D相机设于物理工作环境中，所述AR示教系统包括位于物理工作环境中的AR注册卡和运行于上位机中的增强现实模块、包含机器人末端执行器的虚拟机器人模型、路径规划单元和姿态示教单元，所述RGB-D相机实时采集物理工作环境的RGB图像和深度图像至所述上位机，所述增强现实模块设置虚拟场景中虚拟相机位置，并将虚拟机器人模型叠加在RGB图像上，完成增强现实注册；所述路径规划单元显示所述RGB图像和深度图像，示教编程人员在RGB图像上交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器由示教编程人员操作示教并生成姿态数据，上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，使虚拟机器人模型按照示教位姿运动，完成示教
更优地，所述AR示教系统还包括运行于上位机中的虚实碰撞检测模块，所述虚拟机器人模型按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员控制姿态示教器及时调整示教位姿直至满足要求；示教完成后，对所述路径点进行编辑形成路径轨迹，上位机根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，并将程序代码传递至物理机器人控制器，控制物理机器人在物理工作环境中工作。
更优地，所述姿态示教器包括信号处理单元以及与所述信号处理单元连接的惯性测量单元、开关按钮输入单元、无线通信单元和界面显示单元；所述惯性测量单元内置的惯性传感器测量出姿态示教器在东北天坐标系下的姿态数据；示教编程人员通过所述开关按钮输入单元设置机器人末端执行器的参数系信息，所述开关按钮输入单元将按钮设定的参数信息传送给信号处理单元；参数信息和姿态数据经所述信号处理单元处理后由无线通信单元发送至上位机，上位机接收到后驱动虚拟机器人模型；所述界面显示单元实时显示姿态示教器的工作状态及工作数据。
更优地，所述上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据和参数信息，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据和参数信息记录当前运动所在路径点的三维坐标对应的的姿态数据和参数，使虚拟机器人模型按照示教位姿运动，完成示教。
更优地，在上位机中建立虚拟机器人模型，具体地，在上位机中按照比例绘制与物理机器人相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人和物理机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，建立了虚拟机器人模型。
更优地，在上位机创建虚拟机器人模型并完成所述增强现实注册后，所述上位机还执行如下步骤：
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；并将物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合；
S320、在路径规划单元中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。
S330、在姿态示教单元中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
Figure BDA0002139903360000041
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
Figure BDA0002139903360000042
将姿态示教器在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
更优地，所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机标定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure BDA0002139903360000051
通过增强现实注册算法识别RGB图像中的AR注册卡，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000052
通过
Figure BDA0002139903360000053
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
Figure BDA0002139903360000054
本发明还提供一种基于RGB-D图像及示教器的机器人示教方法。
本发明的技术方案二如下：
基于RGB-D图像及示教器的机器人示教方法，包括交互示教编程步骤：
S40、路径轨迹示教：位于物理工作环境中的RGB-D相机实时采集物理工作环境的RGB图像和深度图像至所述上位机，在上位机中显示所述RGB图像和深度图像，示教编程人员在RGB图像上通过交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；
S50、姿态示教：姿态示教器与上位机通信连接；所述姿态示教器由示教编程人员操作示教并生成姿态数据，然后实时发送姿态数据至上位机，上位机按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示教器的姿态数据，然后虚拟机器人模型根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，根据路径点的位置和姿态数据，利用物理机器人逆运动学模型计算虚拟机器人模型各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型各关节运动，模拟物理机器人的工作过程的运动位置及姿态，完成示教。
更优地，所述S50步骤中，所述虚拟机器人模型按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员控制姿态示教器及时调整示教位姿直至满足要求；
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机对记录的示教路径点轨迹和示教姿态进行编辑处理，上位机根据编辑处理后的数据利用物理机器人逆运动学模型计算物理机器人各关节的旋转角度，驱动虚拟机器人模型运动，在增强现实注册的环境中模拟物理机器人的工作过程。
更优地，所述步骤S40中，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机标定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure BDA0002139903360000071
通过增强现实注册算法识别RGB图像中的AR注册卡()，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000072
通过
Figure BDA0002139903360000073
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
Figure BDA0002139903360000074
本发明具有如下有益效果：
本发明基于RGB-D图像及示教器的机器人示教系统及方法，使用RGB-D相机及姿态示教器进行示教，不需复杂的位姿跟踪系统；通过增强现实仿真进行示教编程，物理机器人不参与示教，虚实碰撞检测模块可以进一步发现示教编程中的不足，根据虚拟机器人运动状态可以随时调整示教姿态，避免了物理机器人发生碰撞等危险、编程方便、效率高。同时，本发明能够结合一线工人的宝贵经验，大大提高机器人示教编程的质量。
附图说明
图1为本发明示教系统的结构示意图；
图2为本发明示教系统的示教流程框图；
图3为本发明示教系统中姿态示教器的示意图；
图4为本发明示教方法的流程图；
图5为本发明示教系统中关联记录路径点三维坐标与姿态数据的示意图。
图6为本发明示教系统中在上位机中建立虚拟机器人模型示意图；
图7为本发明示教系统的具体应用实例的物理工作环境示意图；
图8为本发明示教系统的具体应用实例中将虚拟机器人模型放置于AR注册卡上的示意图。
图中附图标记表示为：
10、RGB-D相机；20、上位机；30、姿态示教器；31、信号处理单元；32、惯性测量单元；33、开关按钮输入单元；34、无线通信单元；35、界面显示单元；40、AR示教系统；41、AR注册卡；42、增强现实模块；43、虚拟机器人模型；44、路径规划单元；45、姿态示教单元；46、虚实碰撞检测单元；50、物理机器人；60、物理机器人控制器；70、示教编程人员。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1和图2，基于RGB-D图像及示教器的机器人示教系统，包括RGB-D相机10、上位机20、姿态示教器30和AR示教系统40，所述RGB-D相机10、姿态示教器30与所述上位机20进行通信连接，所述RGB-D相机10包括RGB相机和深度相机，所述AR示教系统40包括位于物理工作环境中的AR注册卡41和运行于上位机20中的增强现实模块42、包含机器人末端执行器的虚拟机器人模型43(如图6所示)、路径规划单元44和姿态示教单元45，所述RGB-D相机10实时采集物理工作环境的RGB图像(如图7所示)和深度图像至所述上位机20，所述增强现实模块42根据RGB图像计算AR注册卡41相对于RGB-D相机10中RGB相机的转换矩阵
Figure BDA0002139903360000091
所述转换矩阵
Figure BDA0002139903360000092
是AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000093
的逆矩阵，以该转换矩阵
Figure BDA0002139903360000094
设置虚拟世界中虚拟相机位置，并将虚拟机器人模型43叠加在RGB图像上AR注册卡的位置(如图8所示)，完成增强现实注册；所述路径规划单元44显示所述RGB图像和深度图像，示教编程人员70在RGB图像上交互选择所述机器人末端执行器的路径点。所述交互方式可以采用鼠标或者在触摸屏上点触选择，根据深度图像和RGB图像之间的变换关系，计算出RGB图像上机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器30由示教编程人员70操作示教并生成姿态数据，上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45实时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据(如图5所示)，使虚拟机器人模型43在物理工作环境(即通过RGB-D相机10获取到的RGB图像所显示的物理工作环境)中按照示教位姿(位姿是指位置和姿态)运动，完成示教。示教完成后，对所述路径点进行编辑形成路径轨迹，上位机20根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。
所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure BDA0002139903360000101
(所述标定方式可使用张正友标定方法，使用棋盘格标定板，不断改变标定板与相机的相对位置，同时用RGB-D相机10拍摄棋盘格的RGB图像和红外图像(因为深度图像对于棋盘格上的方格不可见，所以采用红外图像来代替，因为两种数据源都是深度相机获取的，所以通过红外图像标定的外参就是深度相机的外参)，计算出根据棋盘格建立世界坐标系得到的RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
Figure BDA0002139903360000102
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000106
该RGB相机位姿矩阵
Figure BDA0002139903360000104
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
Figure BDA0002139903360000105
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
Figure BDA0002139903360000111
Figure BDA0002139903360000112
请参阅图3，所述姿态示教器30包括信号处理单元31以及与所述信号处理单元31连接的惯性测量单元32、开关按钮输入单元33、无线通信单元34和界面显示单元35。所述惯性测量单元32内置的惯性传感器测量出姿态示教器30在东北天坐标系下的姿态数据；示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度和工艺参数、工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。所述界面显示单元35实时显示姿态示教器30的工作状态及工作数据，如通信连接状态、开关状态等。所述上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45实时接收姿态示教器30的姿态数据和参数信息，所述姿态示教单元45将接收到的参数信息和姿态数据记录为当前运动所在路径点的姿态和参数，并根据路径点的位置、姿态以及参数(例如运动速度)驱动虚拟机器人模型43运动，使虚拟机器人模型43在物理工作环境中按照示教位姿运动，完成示教。示教完成后，对所述路径点进行编辑形成路径轨迹，上位机20根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。
更优地，所述AR示教系统40还包括运行于上位机20中的虚实碰撞检测模块，所述虚拟机器人模型43按照示教位姿运动时，通过虚实碰撞检测模块检测虚拟机器人模型43是否与物理工作环境(即通过RGB-D相机10获取到的RGB图像所显示的物理工作环境)发生干涉，若存在，则发出提示，示教编程人员70控制姿态示教器30及时调整示教位姿直至满足要求。所述虚实碰撞检测模块可采用公开号为CN108898676A的《一种虚实物体之间碰撞及遮挡检测方法及系统》所公开的检测方法。
请参阅图4，所述示教系统的操作过程如下：
系统初始化步骤：
S10、在上位机20中建立虚拟机器人模型43：如图6所示，在上位机20中按照比例绘制与物理机器人50相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人50和机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，从而建立了虚拟机器人模型43。
S20、增强现实注册：AR示教系统40中的增强现实注册模块在RGB图像中读取AR注册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册卡41的转换矩阵
Figure BDA0002139903360000121
上位机20以该转换矩阵
Figure BDA0002139903360000122
设置虚拟世界中虚拟相机位置，将虚拟机器人模型43准确地放置在RGB图像中AR注册卡41的位置上，如图8所示，实现虚拟环境与物理工作环境的融合统一，在本实施例中，增强现实注册可以使用artookit，通过它可以计算出AR注册卡坐标系到相机机坐标系的变换矩阵，将其转换为齐次坐标矩阵后，便得到了RGB相机相对于AR注册卡41的转换矩阵
Figure BDA0002139903360000131
用来设置虚拟相机的位置，进行增强现实注册
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；为了求得物理机器人基础坐标系到世界坐标系(即虚拟机器人模型基础坐标系)的变换矩阵，获取物理机器人基础坐标系和世界坐标系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分别对应的坐标，例如，在世界坐标系下选取四个点ABCD，并记录该四个点对应的在世界坐标系下的坐标，然后将物理机器人末端执行器分别放在在四个点上，获取该四个点在物理机器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵
Figure BDA0002139903360000132
使用此变换矩阵
Figure BDA0002139903360000133
将物理机器人基础坐标系转换到世界坐标系，也就实现了物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合。
S320、在路径规划单元44中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过程：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定出RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
Figure BDA0002139903360000141
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000142
该RGB相机位姿矩阵
Figure BDA0002139903360000143
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
Figure BDA0002139903360000144
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
Figure BDA0002139903360000145
S330、在姿态示教单元45中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
Figure BDA0002139903360000146
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
Figure BDA0002139903360000147
将姿态示教器30在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
交互示教编程步骤如下：
S40、路径轨迹示教：上位机20中的路径规划单元44显示RGB-D相机10实时采集的物理工作环境的RGB图像和深度图像，示教编程人员70使用鼠标或其他交互设备在RGB图像上选取规划机器人末端执行器工作路径上的一系列路径点，经过坐标变换得到机器人末端执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；
S50、姿态及工艺参数示教：姿态示教器30通过无线通信单元34与上位机20连接。上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，如图5所示，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据，根据路径点的位置和姿态，利用物理机器人逆运动学模型计算虚拟机器人模型43各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型43各关节运动，模拟物理机器人50的工作过程的运动位置及姿态。与此同时虚实碰撞检测模块检测虚拟机器人模型43与物理工作环境是否发生干涉。若示教位姿合理且未发生干涉，则上位机20储存该点示教信息，否则示教编程人员70更改示教位姿直至满足要求。更优地，示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。在上述示教过程中，示教编程人员70还可以通过操作姿态示教器30的开关按钮输入单元33的状态定义虚拟机器人模型43末端执行器的运动速度和其他参数，然后将工艺参数传送给上位机20。上位机20记录实时的位置和姿态以及对应的参数。
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机20对记录的示教路径点轨迹、示教姿态、运动速度、工艺参数进行编辑处理，例如路径点平滑处理等形成最终路径等，然后上位机20根据处理后的数据利用所述物理机器人逆运动学模型计算物理机器人50各关节的旋转角度，驱动虚拟机器人模型43运动，在增强现实注册的环境中模拟物理机器人50的工作过程。
S70、物理机器人50控制：所述物理机器人50连接所述物理机器人控制器60，所述物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、姿态和工艺参数处理进行机器人编程，并将程序传递至物理机器人控制器60，控制物理机器人50真实工作，从而实现示教编程功能。所述物理机器人50在交互示教过程中不工作。
本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度及工艺参数，上位机20处理示教数据，生成路径轨迹、姿态、运动速度、工作模式等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
实施例二
请参阅图1至图4，基于RGB-D图像及示教器的机器人示教方法，包括系统初始化步骤和交互示教编程步骤：
所述系统初始化步骤包括步骤S10至步骤S330：
系统初始化步骤：
S10、在上位机20中建立虚拟机器人模型43：如图6所示，在上位机20中按照比例绘制与物理机器人50相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人50和机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，从而建立了虚拟机器人模型43。
S20、增强现实注册：AR示教系统40中的增强现实注册模块在RGB图像中读取AR注册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册卡41的转换矩阵
Figure BDA0002139903360000171
上位机20以该转换矩阵
Figure BDA0002139903360000172
设置虚拟世界中虚拟相机位置，将虚拟机器人模型43准确地放置在RGB图像中AR注册卡41的位置上，如图8所示，实现虚拟环境与物理工作环境的融合统一，在本实施例中，增强现实注册可以使用artookit，通过它可以计算出AR注册卡坐标系到相机机坐标系的变换矩阵，将其转换为齐次坐标矩阵后，便得到了RGB相机相对于AR注册卡41的转换矩阵
Figure BDA0002139903360000173
用来设置虚拟相机的位置，进行增强现实注册。
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；为了求得物理机器人基础坐标系到世界坐标系(即虚拟机器人模型基础坐标系)的变换矩阵，获取物理机器人基础坐标系和世界坐标系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分别对应的坐标，例如，在世界坐标系下选取四个点ABCD，并记录该四个点对应的在世界坐标系下的坐标，然后将物理机器人末端执行器分别放在在四个点上，获取该四个点在物理机器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵
Figure BDA0002139903360000181
使用此变换矩阵
Figure BDA0002139903360000182
将物理机器人基础坐标系转换到世界坐标系，也就实现了物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合。
S320、在路径规划单元44中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过程：示教编程人员70在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点信息(坐标为(ud,vd)，深度值z)在深度相机坐标系下的位置(x,y,z)。标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure BDA0002139903360000183
计算出RGB相机和深度相机的外参矩阵，通过两个外参矩阵便可求得深度相机与RGB相机的转换矩阵
Figure BDA0002139903360000191
)，通过增强现实注册算法识别RGB图像中的AR注册卡41，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure BDA0002139903360000192
该RGB相机位姿矩阵
Figure BDA0002139903360000193
即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过
Figure BDA0002139903360000194
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：
Figure BDA0002139903360000195
S330、在姿态示教单元45中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
Figure BDA0002139903360000196
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵。那么
Figure BDA0002139903360000197
将姿态示教器30在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
交互示教编程步骤如下：
S40、路径轨迹示教：上位机20中的路径规划单元44显示RGB-D相机10实时采集的物理工作环境的RGB图像和深度图像，示教编程人员70使用鼠标或其他交互设备在RGB图像上选取规划机器人末端执行器工作路径上的一系列路径点，经过坐标变换得到机器人末端执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；
S50、姿态及工艺参数示教：姿态示教器30通过无线通信单元34与上位机20连接。上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45时接收姿态示教器30的姿态数据，然后虚拟机器人模型43根据所述路径点的三维坐标运动，运动的过程中将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据(如图5所示)，根据路径点的位置和姿态，利用物理机器人逆运动学模型计算虚拟机器人模型43各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型43各关节运动，模拟物理机器人50的工作过程的运动位置及姿态。与此同时虚实碰撞检测模块检测虚拟机器人模型43与物理工作环境是否发生干涉。若示教位姿合理且未发生干涉，则上位机20储存该点示教信息，否则示教编程人员70更改示教位姿直至满足要求。更优地，示教编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、工作模式及工艺参数，例如进行焊接示教编程时，焊接工艺参数包括：焊接电压、焊接电流、焊枪开关信号、焊丝喂料速度、保护气开关信号等。所述工作模式是指设定工业机器人在进行不同作业时(如焊接、打磨、喷涂等)，机器人末端执行器与被操作工件之间的距离不同，例如在进行焊接时要与工件表面接触，在喷涂时要与工件表面有一定距离。所述开关按钮输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单元31处理后由无线通信单元34发送至上位机20，上位机20接收到上述信息后驱动虚拟机器人模型43。在上述示教过程中，示教编程人员70还可以通过操作姿态示教器30的开关按钮输入单元33的状态定义虚拟机器人模型43末端执行器的运动速度和其他参数，然后将工艺参数传送给上位机20。上位机20记录实时的位置和姿态以及对应的参数。
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机20对记录的示教路径点轨迹、示教姿态、运动速度、工艺参数进行编辑处理，例如路径点平滑处理等形成最终路径等，然后上位机20根据处理后的数据利用所述物理机器人逆运动学模型计算物理机器人50各关节的旋转角度，驱动虚拟机器人模型43运动，在增强现实注册的环境中模拟物理机器人50的工作过程。
S70、物理机器人50控制：所述物理机器人50连接所述物理机器人控制器60，所述物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、姿态和工艺参数处理进行机器人编程，并将程序传递至物理机器人控制器60，控制物理机器人50真实工作，从而实现示教编程功能。所述物理机器人50在交互示教过程中不工作。
本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度、工作模式及工艺参数，上位机20处理示教数据，生成路径轨迹、姿态、运动速度、工作模式等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
本发明一种基于RGB-D图像及示教器的机器人示教方法，通过示教编程人员70在上位机20中的路径规划单元44完成路径轨迹示教，在姿态示教单元45中完成姿态示教，并可进一步设置机器人运动速度、工作模式以及工艺参数等，上位机20处理示教数据，生成路径轨迹、姿态、运动速度等。通过AR示教系统40，实现增强现实仿真，模拟物理机器人50的工作过程。在示教过程不需物理机器人50参与，通过虚实碰撞检测模块及时发现虚拟机器人与工作场景的干涉，检查机器人位姿是否符合要求。然后计算机根据仿真编辑验证后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功能。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于RGB-D图像及示教器的机器人示教系统，其特征在于：包括RGB-D相机(10)、上位机(20)、姿态示教器(30)和AR示教系统(40)，所述RGB-D相机(10)、姿态示教器(30)与所述上位机(20)进行通信连接，所述RGB-D相机(10)设于物理工作环境中，所述AR示教系统(40)包括位于物理工作环境中的AR注册卡(41)和运行于上位机(20)中的增强现实模块(42)、包含机器人末端执行器的虚拟机器人模型(43)、路径规划单元(44)和姿态示教单元(45)，所述RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20)，所述增强现实模块(42)设置虚拟场景中虚拟相机位置，并将虚拟机器人模型(43)叠加在RGB图像上，完成增强现实注册；所述路径规划单元(44)显示所述RGB图像和深度图像，示教编程人员(70)在RGB图像上交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据，上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录为当前运动所在路径点的三维坐标对应的姿态数据，使虚拟机器人模型(43)按照示教位姿运动，完成示教。
2.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述AR示教系统(40)还包括运行于上位机(20)中的虚实碰撞检测模块(46)，所述虚拟机器人模型(43)按照示教位姿运动时，通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求；
示教完成后，对所述路径点进行编辑形成路径轨迹，上位机(20)根据编辑后的路径轨迹，按照物理机器人编程系统的指令格式生成程序代码，并将程序代码传递至物理机器人控制器(60)，控制物理机器人(50)在物理工作环境中工作。
3.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述姿态示教器(30)包括信号处理单元(31)以及与所述信号处理单元(31)连接的惯性测量单元(32)、开关按钮输入单元(33)、无线通信单元(34)和界面显示单元(35)；所述惯性测量单元(32)内置的惯性传感器测量出姿态示教器(30)在东北天坐标系下的姿态数据；示教编程人员(70)通过所述开关按钮输入单元(33)设置机器人末端执行器的参数信息，所述开关按钮输入单元(33)将按钮设定的参数信息传送给信号处理单元(31)；参数信息和姿态数据经所述信号处理单元(31)处理后由无线通信单元(34)发送至上位机(20)，上位机(20)接收到后驱动虚拟机器人模型(43)；所述界面显示单元(35)实时显示姿态示教器(30)的工作状态及工作数据。
4.根据权利要求3所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据和参数信息，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据和参数信息记录当前运动所在路径点的三维坐标对应的姿态数据和参数信息，使虚拟机器人模型(43)按照示教位姿运动，完成示教。
5.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：在上位机(20)中建立虚拟机器人模型(43)，具体地，在上位机(20)中按照比例绘制与物理机器人(50)相同的物理机器人三维模型和机器人末端执行器的三维模型，然后根据物理机器人(50)和物理机器人末端执行器的结构和参数建立正运动学模型和逆运动学模型，建立了所述虚拟机器人模型(43)。
6.根据权利要求5所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：在上位机(20)创建虚拟机器人模型(43)并完成所述增强现实注册后，所述上位机(20)还执行如下步骤：
S30、建立坐标系并标定映射关系：
S310、将AR注册卡坐标系设置为虚拟场景和物理场景的世界坐标系，同时将AR注册卡坐标系设置为虚拟机器人模型基础坐标系；并将物理机器人基础坐标系与虚拟机器人基模型础坐标系的重合；
S320、在路径规划单元(44)中：建立RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系、深度相机坐标系，并建立所述RGB图像像素坐标系、深度图像像素坐标系、RGB相机坐标系和深度相机坐标系间的映射关系；
S330、在姿态示教单元(45)中，通过标定或设置，得到虚拟机器人模型基础坐标系与东北天坐标系之间的齐次变换矩阵
Figure FDA0002549835330000041
姿态示教器的基础坐标系为东北天坐标系，设Q表示姿态示教器在东北天坐标系下的姿态齐次坐标矩阵，QV表示姿态示教器在虚拟机器人模型基础坐标系下的姿态齐次坐标矩阵，
Figure FDA0002549835330000042
将姿态示教器(30)在东北天坐标系下的姿态数据转换到虚拟机器人模型基础坐标系下。
7.根据权利要求1所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于：所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员(70)在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure FDA0002549835330000043
通过增强现实注册算法识别RGB图像中的AR注册卡(41)，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure FDA0002549835330000044
通过
Figure FDA0002549835330000045
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
Figure FDA0002549835330000051
8.基于RGB-D图像及示教器的机器人示教方法，该方法采用权利要求1至7中任意一项所述的基于RGB-D图像及示教器的机器人示教系统，其特征在于，交互示教编程步骤：
S40、路径轨迹示教：位于物理工作环境中的RGB-D相机(10)实时采集物理工作环境的RGB图像和深度图像至所述上位机(20)，在上位机(20)中显示所述RGB图像和深度图像，示教编程人员(70)在RGB图像上通过交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标；
S50、姿态示教：姿态示教器(30)与上位机(20)通信连接；所述姿态示教器(30)由示教编程人员(70)操作示教并生成姿态数据，然后实时发送姿态数据至上位机(20)，上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元(45)实时接收姿态示教器(30)的姿态数据，然后虚拟机器人模型(43)根据所述三维坐标运动，运动的过程中将接收到的姿态数据记录为当前运动所在路径点的三维坐标对应的姿态数据，根据路径点的位置和姿态数据，利用物理机器人逆运动学模型计算虚拟机器人模型(43)各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型(43)各关节运动，模拟物理机器人(50)的工作过程的运动位置及姿态，完成示教。
9.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法，其特征在于：所述S50步骤中，所述虚拟机器人模型(43)按照示教位姿运动时，通过虚实碰撞检测模块(46)检测虚拟机器人模型(43)是否与物理工作环境发生干涉，若存在，则发出提示，示教编程人员(70)控制姿态示教器(30)及时调整示教位姿直至满足要求；
S60、示教数据后处理及增强现实仿真：在示教完成后，上位机(20)对记录的示教路径点轨迹和示教姿态进行编辑处理，上位机(20)根据编辑处理后的数据利用物理机器人逆运动学模型计算物理机器人(50)各关节的旋转角度，驱动虚拟机器人模型(43)运动，在增强现实注册的环境中模拟物理机器人(50)的工作过程。
10.根据权利要求8所述的基于RGB-D图像及示教器的机器人示教方法，其特征在于：所述步骤S40中，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐标系中的三维坐标，具体为：示教编程人员(70)在RGB图像上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机(10)标定计算或者RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，然后读取对应的深度值z；标定深度相机的内参矩阵M，通过该内参矩阵M求得深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系到RGB相机坐标系的转换矩阵
Figure FDA0002549835330000071
通过增强现实注册算法识别RGB图像中的AR注册卡(41)，计算出在AR注册卡坐标系下的RGB相机位姿矩阵
Figure FDA0002549835330000072
通过
Figure FDA0002549835330000073
将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,vd)，然后读取对应的深度值z后依次经过深度相机坐标系、彩色相机坐标系、虚拟机器人模型基础坐标系转换，得到路径点在虚拟机器人模型基础坐标系下的三维坐标(X,Y,Z)；所述转换关系为：
Figure FDA0002549835330000074
CN201910665326.9A 2019-07-23 2019-07-23 基于rgb-d图像及示教器的机器人示教系统及方法 Active CN110238831B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910665326.9A CN110238831B (zh) 2019-07-23 2019-07-23 基于rgb-d图像及示教器的机器人示教系统及方法
US16/804,888 US11440179B2 (en) 2019-07-23 2020-02-28 System and method for robot teaching based on RGB-D images and teach pendant
AU2020201554A AU2020201554B2 (en) 2019-07-23 2020-03-03 System and method for robot teaching based on RGB-D images and teach pendant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910665326.9A CN110238831B (zh) 2019-07-23 2019-07-23 基于rgb-d图像及示教器的机器人示教系统及方法

Publications (2)

Publication Number Publication Date
CN110238831A CN110238831A (zh) 2019-09-17
CN110238831B true CN110238831B (zh) 2020-09-18

Family

ID=67893213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910665326.9A Active CN110238831B (zh) 2019-07-23 2019-07-23 基于rgb-d图像及示教器的机器人示教系统及方法

Country Status (3)

Country Link
US (1) US11440179B2 (zh)
CN (1) CN110238831B (zh)
AU (1) AU2020201554B2 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP2021058972A (ja) * 2019-10-08 2021-04-15 ファナック株式会社 ロボットシステム
JP7396872B2 (ja) * 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
CN110978064B (zh) * 2019-12-11 2022-06-24 山东大学 人机协作中人体安全评估方法及系统
CN112985372B (zh) * 2019-12-13 2024-06-14 南宁富联富桂精密工业有限公司 路径规划系统及其方法
CN113074751B (zh) * 2019-12-17 2023-02-07 杭州海康威视数字技术股份有限公司 一种视觉定位误差检测方法及装置
CN111062937B (zh) * 2019-12-27 2023-04-18 南京航空航天大学 一种基于rgb-d相机的数控nc代码虚实验证方法
CN111251277B (zh) * 2020-01-31 2021-09-03 武汉大学 一种基于示教学习的人机协作工具递交系统及方法
CN111300416B (zh) * 2020-03-10 2021-07-13 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN111300384B (zh) * 2020-03-24 2022-11-15 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN111267073B (zh) * 2020-03-24 2022-11-15 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法
WO2021189223A1 (zh) * 2020-03-24 2021-09-30 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN111283664B (zh) * 2020-03-24 2023-03-28 青岛理工大学 一种面向机器人增强现实示教的注册系统和方法
CA3124850A1 (en) 2020-03-24 2021-09-24 Cheng Jun Chen Registration system and method for robot-oriented augmented reality teching system
CN111445519A (zh) * 2020-03-27 2020-07-24 武汉工程大学 一种工业机器人三维姿态估计方法、装置及存储介质
CN115397629A (zh) * 2020-03-30 2022-11-25 发那科株式会社 离线模拟系统
US12070861B2 (en) * 2020-04-14 2024-08-27 3Deo, Inc. Robotics for three-dimensional printing
CN115427201A (zh) * 2020-04-27 2022-12-02 发那科株式会社 工业机械的显示装置
CN111882590A (zh) * 2020-06-24 2020-11-03 广州万维创新科技有限公司 一种基于单张图片定位的ar场景应用方法
US11554482B2 (en) * 2020-07-16 2023-01-17 Hitachi, Ltd. Self-learning industrial robotic system
CN111843997A (zh) * 2020-07-29 2020-10-30 上海大学 一种机械臂手持通用示教系统及其操作方法
CN114186373A (zh) * 2020-09-14 2022-03-15 广东博智林机器人有限公司 预制构件安装系统、方法、计算机设备和存储设备
CN112207836A (zh) * 2020-10-30 2021-01-12 通道鹏达炭业有限责任公司 基于三维扫描识别的投影示教枪
CN112484722B (zh) * 2020-11-19 2023-06-06 易思维（杭州）科技有限公司 结合惯性导航系统的视觉传感器全局定位方法
CN112454363A (zh) * 2020-11-25 2021-03-09 马鞍山学院 一种用于焊接操作的ar辅助机器人的控制方法
CN112518756B (zh) * 2020-12-10 2022-08-05 深圳市优必选科技股份有限公司 机械臂的运动轨迹规划方法及装置、机械臂及存储介质
US11967111B2 (en) * 2020-12-15 2024-04-23 Kwangwoon University Industry-Academic Collaboration Foundation Multi-view camera-based iterative calibration method for generation of 3D volume model
CN112847301B (zh) * 2020-12-21 2023-05-19 山东华数智能科技有限公司 基于便携终端的机器人增强现实示教编程方法
JP7276359B2 (ja) * 2021-01-07 2023-05-18 株式会社安川電機 動作指令生成装置、機構制御システム、コンピュータプログラム、動作指令生成方法及び機構制御方法
CN112917457A (zh) * 2021-01-27 2021-06-08 南京航空航天大学 一种基于增强现实技术的工业机器人快速精准示教系统及方法
CN112936348B (zh) * 2021-03-04 2022-11-18 哈尔滨工业大学 一种用于智能机器人rgb-d-t信息感知的传感器集成装置
CN112936282B (zh) * 2021-03-08 2022-01-07 常州刘国钧高等职业技术学校 一种提高工业机器人体感控制精确度的方法及系统
CN113126568B (zh) * 2021-03-10 2022-08-09 上海乾庾智能科技有限公司 一种基于增强现实技术的工业机器人操作和演示系统
CN112967559B (zh) * 2021-03-29 2021-12-28 北京航空航天大学 一种基于虚拟装配环境的装配技能直接生成方法
CN113093549B (zh) * 2021-04-07 2022-10-28 中国科学院宁波材料技术与工程研究所 一种多轴数控装备的复合控制方法
JP7658148B2 (ja) * 2021-04-15 2025-04-08 セイコーエプソン株式会社 ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
CN113220121B (zh) * 2021-05-04 2023-05-09 西北工业大学 一种基于投影显示的ar紧固件辅助装配系统及方法
CN113269729B (zh) * 2021-05-10 2022-10-11 青岛理工大学 一种基于深度图像对比的装配体多视角检测方法和系统
CN113319859B (zh) * 2021-05-31 2022-06-28 上海节卡机器人科技有限公司 一种机器人示教方法、系统、装置及电子设备
CN113319854B (zh) * 2021-06-25 2023-01-20 河北工业大学 一种洗浴机器人的视觉示教方法及系统
CN113781558B (zh) * 2021-08-31 2024-03-19 华中科技大学 一种姿态与位置解耦的机器人视觉寻位方法
CN113771042B (zh) * 2021-09-30 2023-03-24 杭州景吾智能科技有限公司 基于视觉的移动机器人夹取工具的方法及系统
IT202100027485A1 (it) 2021-10-26 2023-04-26 Glance Vision Tech S R L Apparato e procedimento per la programmazione di robot per mezzo di dimostrazione
CN114029950B (zh) * 2021-11-08 2023-05-05 北京华航唯实机器人科技股份有限公司 机器人的坐标系分析方法及装置、机器人设备、存储介质
CN114115277B (zh) * 2021-11-26 2024-08-13 中国建设银行股份有限公司 一种基于巡检机器人的巡检管理方法及相关设备
CN114129263B (zh) * 2021-11-29 2023-07-25 武汉联影智融医疗科技有限公司 手术机器人路径规划方法、系统、设备及存储介质
CN114227681A (zh) * 2021-12-17 2022-03-25 苏州东控自动化科技有限公司 一种基于红外扫描跟踪的机器人离线虚拟示教编程的方法
CN114327073B (zh) * 2021-12-28 2024-09-20 成都天翼空间科技有限公司 一种基于ar技术辅助射击的方法
CN114851179A (zh) * 2021-12-29 2022-08-05 奥视纵横(北京)科技有限公司 一种基于vr空间定位技术的空间坐标转换系统及方法
CN114535738B (zh) * 2022-02-23 2023-11-07 大连爱智控制系统有限公司 一种基于模型及数控钻孔文件的自动焊锡机示教编程方法
CN114648580A (zh) * 2022-03-23 2022-06-21 歌尔科技有限公司 误差检测方法、系统、检测设备及存储介质
KR102763610B1 (ko) * 2022-04-04 2025-02-05 두산로보틱스 주식회사 로봇의 기능 모듈의 개발 환경 제공 장치 및 방법
CN114799638A (zh) * 2022-05-16 2022-07-29 广州东焊智能装备有限公司 一种基于虚拟现实的人机协作焊接系统
CN114917975B (zh) * 2022-05-17 2023-06-27 中国科学院沈阳自动化研究所 一种机器人末端移液装置及机器人移液控制方法
CN115179256B (zh) * 2022-06-09 2024-04-26 鹏城实验室 远程示教方法及系统
CN114932537A (zh) * 2022-06-27 2022-08-23 重庆大学 一种机器人轨迹规划方法及装置
CN115229814B (zh) * 2022-07-25 2024-07-12 江苏科技大学 潜水器收放系统中机械手仿真系统的设计方法及控制方法
CN115319308A (zh) * 2022-09-20 2022-11-11 重庆元韩汽车技术设计研究院有限公司 三维激光切割机器人编程平台及方法
CN115946109B (zh) * 2022-10-12 2024-09-03 北京航天飞行控制中心 空间机械臂运动过程监视方法及装置
CN115922725B (zh) * 2022-12-28 2024-03-22 山东大学 一种咽拭子采样机器人定位系统
CN116382320B (zh) * 2023-05-26 2023-09-01 深圳市景创科技电子股份有限公司 水下机器人姿态控制方法及装置
DE102023118992B3 (de) 2023-07-18 2024-08-29 Hochschule Bielefeld, Körperschaft des Öffentlichen Rechts System und Verfahren zur Eingabe von virtuellen Objekten in drei Dimensionen mittels Augmented Reality zum Ermitteln des Bewegungsraums für Roboter
CN116872216B (zh) * 2023-08-28 2023-12-08 安徽工业大学 一种基于有限时间控制的机器人视觉伺服作业方法
CN116852382A (zh) * 2023-09-04 2023-10-10 青岛理工大学 一种轴孔装配机器人末端姿态快速调整系统和方法
CN118046399B (zh) * 2024-03-06 2024-10-11 沈阳工业大学 一种多模态理疗机器人及方法
CN119238618A (zh) * 2024-12-05 2025-01-03 杭州乔戈里科技有限公司 数据采集系统及其数据采集方法
CN119418258B (zh) * 2025-01-07 2025-03-28 湖南大学 焊缝关键点识别方法、装置、设备、介质及程序产品

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10642046B2 (en) * 2018-03-28 2020-05-05 Cloud Dx, Inc. Augmented reality systems for time critical biomedical applications
KR101490055B1 (ko) * 2013-10-30 2015-02-06 한국과학기술원 이동 로봇의 위치와 지도를 추정하는 방법 및 이를 수행하는 장치들
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3615281B1 (en) * 2017-04-28 2025-02-12 Southie Autonomy Works, Inc. Automated personalized feedback for interactive learning applications
CN107351058A (zh) * 2017-06-08 2017-11-17 华南理工大学 基于增强现实的机器人示教方法
CN107309882B (zh) * 2017-08-14 2019-08-06 青岛理工大学 一种机器人示教编程系统及方法
CN108161904B (zh) * 2018-01-09 2019-12-03 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
US10643375B2 (en) * 2018-02-26 2020-05-05 Qualcomm Incorporated Dynamic lighting for objects in images
CN108422435B (zh) * 2018-03-21 2020-05-12 烟台朗文汽车零部件有限公司 一种基于增强现实的远程监测及控制系统
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN108994832B (zh) * 2018-07-20 2021-03-02 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN108908298B (zh) * 2018-07-23 2021-08-10 合肥工业大学 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN109664271A (zh) * 2018-12-21 2019-04-23 江苏集萃智能制造技术研究所有限公司 一种基于虚拟现实的远程机器人示教系统
CN109648558B (zh) * 2018-12-26 2020-08-18 清华大学 机器人曲面运动定位方法及其运动定位系统
JP7359577B2 (ja) * 2019-06-21 2023-10-11 ファナック株式会社 ロボット教示装置及びロボットシステム

Also Published As

Publication number Publication date
US20210023694A1 (en) 2021-01-28
US11440179B2 (en) 2022-09-13
CN110238831A (zh) 2019-09-17
AU2020201554A1 (en) 2021-02-11
AU2020201554B2 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN110238831B (zh) 基于rgb-d图像及示教器的机器人示教系统及方法
Ong et al. Augmented reality-assisted robot programming system for industrial applications
CN107309882B (zh) 一种机器人示教编程系统及方法
CN108161904B (zh) 基于增强现实的机器人在线示教装置、系统、方法、设备
CN111267073B (zh) 一种基于增强现实技术的工业机器人示教系统及方法
CN100484726C (zh) 基于虚拟现实机器人灵巧手遥操作平台
CN110385694B (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
CN206326605U (zh) 一种基于机器视觉的智能示教系统
JP2020055075A (ja) 拡張現実と複合現実を用いたロボット制御装置及び表示装置
CN106514667B (zh) 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统
CN110405775A (zh) 一种基于增强现实技术的机器人示教系统及方法
Fang et al. Robot path and end-effector orientation planning using augmented reality
CN110815189A (zh) 基于混合现实的机器人快速示教系统及方法
CN114536346B (zh) 一种基于人机协作和视觉检测的机械臂精确路径规划方法
CN110142770A (zh) 一种基于头戴显示装置的机器人示教系统及方法
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN111113414B (zh) 一种基于屏幕标识的机器人三维空间尺度提示方法及系统
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN107214679A (zh) 基于体感传感器的机械臂人机交互系统
CN111843997A (zh) 一种机械臂手持通用示教系统及其操作方法
Thoo et al. Online and offline robot programming via augmented reality workspaces
CN112847300A (zh) 一种基于移动工业机器人示教器的示教系统及其示教方法
CN205353759U (zh) 一种机器人三维路径智能识别跟踪系统
JPS60195613A (ja) 検証機能付ロボツト教示装置
CN112454363A (zh) 一种用于焊接操作的ar辅助机器人的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Yuyi (Shenyang) Digital Technology Development Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980045813

Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices

Granted publication date: 20200918

License type: Common License

Record date: 20231103

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Hubei kunpengxin Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023420000308

Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices

Granted publication date: 20200918

License type: Common License

Record date: 20231108

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Hefei Shupei Information Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980052644

Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices

Granted publication date: 20200918

License type: Common License

Record date: 20231215

Application publication date: 20190917

Assignee: Hefei Zhice Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980052493

Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices

Granted publication date: 20200918

License type: Common License

Record date: 20231215

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Hefei Hongduo Electronics Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980053512

Denomination of invention: Robot Teaching System and Method Based on RGB-D Images and Teaching Devices

Granted publication date: 20200918

License type: Common License

Record date: 20231222

EE01 Entry into force of recordation of patent licensing contract