[go: up one dir, main page]

CN107225569B - 定位装置 - Google Patents

定位装置 Download PDF

Info

Publication number
CN107225569B
CN107225569B CN201710183424.XA CN201710183424A CN107225569B CN 107225569 B CN107225569 B CN 107225569B CN 201710183424 A CN201710183424 A CN 201710183424A CN 107225569 B CN107225569 B CN 107225569B
Authority
CN
China
Prior art keywords
robot
movement amount
feature
command
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710183424.XA
Other languages
English (en)
Other versions
CN107225569A (zh
Inventor
高桥悠太郎
泷泽象太
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN107225569A publication Critical patent/CN107225569A/zh
Application granted granted Critical
Publication of CN107225569B publication Critical patent/CN107225569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1641—Programme controls characterised by the control loop compensation for backlash, friction, compliance, elasticity in the joints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39039—Two cameras detect same reference on workpiece to define its position in space
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39192—Compensate thermal effects, expansion of links

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种能够排除热变形、间隙等机器人的误差因素来以比机器人本来所具备的定位精度更高的精度进行定位的定位装置。定位装置具有：机器人，其具备可动的臂；视觉上的特征部位，其设置于手部；以及多个视觉传感器，其设置于机器人的外部的固定位置，用于拍摄特征部位。手部构成为把持形成有多个特征部位的对象物，视觉传感器配置/构成为拍摄各个特征部位。

Description

定位装置
技术领域
本发明涉及一种使用了机器人的定位装置，特别是涉及一种利用使用视觉传感器的视觉反馈来将机器人作为高精度的定位装置使用的技术。
背景技术
一般的产业用机器人基于被称为示教再现(Teaching playback)的方式，能够准确地反复进行被教导的动作。因此，在设为使用机器人把持对象物并将对象物供给到规定的位置这种使用方法的情况下，能够将机器人视作一种定位装置。
作为与此相关的现有技术，例如专利第3702257号公报中记载了一种机器人手部连接装置，该机器人手部连接装置具有如下功能：在将机器人作为定位装置使用时，即使机器人手部把持的把持位置相对于对象物偏移，也能够通过使用视觉传感器测量/校正把持偏移来准确地对对象物进行定位。
另外，日本特开2015-150636号公报中记载了一种机器人系统，该机器人系统具备：机器人，其通过进行规定的作业的程序来对被放置于平面上的第一对象物位置的对象物进行控制；第一机器人位置存储部，其存储相对于第一对象物位置处于规定的相对的位置关系的臂前端部的位置；目标到达状态数据存储部，其存储照相机的图像上的对象物的特征量；机器人移动量计算部，其求出用于使被放置于第二对象物位置的对象物的特征量与目标到达状态数据的特征量一致的、相对于任意的初始位置的移动量；以及校正数据计算部，其基于第一机器人位置与基于移动量使臂前端部移动后的第二机器人位置之间的差异来计算程序的校正数据。
一般地，机器人是由金属等构成的构造物，因此会由于环境温度变化而臂、减速机发生热膨胀/收缩，从而尺寸发生变化。另外，减速机存在间隙，因此有可能由于到目标位置为止的路径的不同而停止位置发生误差。并且，间隙量由于磨损等经年变化而不固定。另外，在使用机器人来一边使弹性体变形一边对该弹性体进行定位的情况下，有可能由于从作为弹性体的对象物受到外力而定位的位置与本来意图的位置不同。
在以往的定位装置或定位方法中，多数情况下没有考虑因上述这种热变形、间隙、经年变化、外力等产生的误差。另一方面，难以制作不存在这种误差的机器人，也难以解析并且完全校正这种误差。
例如在专利第3702257号公报中，虽然将机器人作为定位治具使用，但是并没有意图到排除热变形等误差因素后的高精度的定位的程度。另一方面，在日本特开2015-150636号公报中，目的在于作业人员即使不考虑/识别机器人的坐标系也能够利用视觉反馈来简单地执行复杂路径的作业，而没有将机器人作为定位治具使用。
发明内容
因此，本发明的目的在于提供一种能够排除热变形、间隙等机器人的误差因素来以比机器人本来所具备的定位精度更高的精度进行机器人的定位的定位装置。
为了实现上述目的，本申请发明提供一种定位装置，具备：机器人，其具备可动的臂；视觉上的特征部位，其设置于所述臂的前端部和所述机器人的外部的固定位置中的一方；多个视觉传感器，其设置于所述臂的所述前端部和所述机器人的外部的所述固定位置中的另一方，用于拍摄所述特征部位；特征量检测部，其检测由所述多个视觉传感器进行拍摄所得到的图像上的特征量，该特征量包含所述特征部位的位置、姿势以及大小中的至少一个；目标数据存储部，其将在所述臂的所述前端部定位于规定的指令位置的状态下由所述特征量检测部检测出的特征量作为第一特征量来进行存储；机器人移动量计算部，其基于第二特征量与存储于所述目标数据存储部中的所述第一特征量之间的差异，来计算用于在所述多个视觉传感器的所有视觉传感器中使所述第二特征量与所述第一特征量一致的机器人的第一指令移动量，该第二特征量是在与检测出所述第一特征量时不同的时刻，在所述臂的所述前端部定位于所述规定的指令位置或该指令位置的附近的状态下利用所述多个视觉传感器拍摄所述特征部位，并由所述特征量检测部检测出的特征量；指令移动量调整部，其基于所述第一指令移动量以及由所述机器人的机械特性决定的参数来计算第二指令移动量；以及移动指令部，其基于该第二指令移动量来使所述臂的所述前端部移动，其中，所述指令移动量调整部以及所述移动指令部构成为，重复进行所述第二指令移动量的计算以及所述臂的所述前端部基于所述第二指令移动量的移动，直到所述第一指令移动量为规定的阈值以下为止。
在优选的实施方式中，在所述第一指令移动量为由所述机器人的机械特性决定的参数以上的情况下，所述指令移动量调整部将所述第一指令移动量直接设为所述第二指令移动量，在所述第一指令移动量小于由所述机器人的机械特性决定的参数的情况下，所述指令移动量调整部将对所述第一指令移动量乘以小于1的系数所得到的值设为所述第二指令移动量。
在其它优选的实施方式中，所述指令移动量调整部计算通过基于所述第一指令移动量移动所述机器人而产生的所述机器人的各可动部的动作量，基于该各可动部的动作量来计算所述第二指令移动量。
另外，在其它优选的实施方式中，所述指令移动量调整部根据所述机器人的工作状况来估计因经年变化引起的性能降低，基于该估计来修正由所述机器人的机械特性决定的参数，基于所述第一指令移动量以及修正后的该参数来计算所述第二指令移动量。
定位装置能够具备一个所述特征部位以及多个所述视觉传感器，在该情况下，所述多个视觉传感器拍摄所述一个特征部位。
定位装置能够具备多个所述特征部位以及多个所述视觉传感器，在该情况下，所述多个视觉传感器分别拍摄所述多个特征部位。
附图说明
通过参照附图说明以下优选的实施方式，进一步明确可知本发明的上述或其它目的、特征以及优点。
图1是本发明的第一实施方式所涉及的定位装置的概要结构图。
图2是例示图1的定位装置中包含的机器人的手部以及被该手部把持的对象物的图。
图3是图1的定位装置的功能框图。
图4是示出图1的定位装置中的系统启动时的处理的一例的流程图。
图5是示出图1的定位装置中的系统工作时的处理的一例的流程图。
图6是示出针对同一特征部位使用虚线表示目标数据存储时的图像、使用实线表示当前的图像的例子的图。
图7是说明在存在基于间隙的误差范围的情况下计算指令移动量的例子的图。
图8是示出本发明的第二实施方式所涉及的定位装置的概要结构的图。
具体实施方式
图1是示出本发明的第一实施方式所涉及的定位装置(机器人系统)5的概要结构的图。定位装置5具有：机器人10，其具备可动的臂6；视觉上的特征部位，其设置于臂6的前端部(在图示例中为手部11)；以及多个(在图示例中为两个)视觉传感器12a、12b，其设置于机器人10的外部的固定位置，用于拍摄特征部位。机器人10例如是6轴多关节机器人，机器人10自身可以是公知的机器人。
另外，如图2所示，机器人10的手部11被构成为把持形成有特征部位13a、13b的对象物13，第一视觉传感器12a被配置/构成为拍摄特征部位13a，第二视觉传感器12b被配置/构成为拍摄特征部位13b。但是这只是一例，例如也可以在手部11直接形成特征部位13a、13b。另外，特征部位的形状只要是适于对由视觉传感器拍摄到的特征部位的图像进行图像处理的形状即可，可以是任意形状，但是优选的是图示例那样的内部具有十字线的圆形等能够通过图像处理检测位置、姿势(旋转角度)以及大小(与视觉传感器同特征部位之间的距离成反比例)的形状。
机器人10与用于控制机器人10的机器人控制装置15连接，能够进行数值控制，以向由机器人控制装置15指示的任意的位置进行动作。另外，视觉传感器12a、12b例如是具有拍摄图像(上述的特征部位)的功能的受光设备，视觉传感器12a、12b拍摄到的图像被发送到与视觉传感器12a、12b相连接的图像处理装置14。
图3是定位装置5的功能框图。图像处理装置14具有特征量检测部16，该特征量检测部16从由视觉传感器12a、12b拍摄到的各个图像中检测特征部位13a、13b，并检测各个图像上的、包含特征部位13a、13b的位置、姿势以及大小中的至少一个的特征量。另外，图像处理装置14通过通信线缆或无线通信等与机器人控制装置15连接，能够从机器人控制装置15接收指令，或向机器人控制装置15发送图像处理的结果。此外，在图1和图3中，图像处理装置14被记载为与机器人控制装置15不同的装置(例如个人计算机)，但是图像处理装置14也可以作为处理器等而被内置于机器人控制装置15中。
此外，在本实施方式中，视觉传感器12a、12b在进行后述的处理之前可以不进行自身的坐标系(传感器坐标系)与机器人10的坐标系(机器人坐标系)之间的位置对准、即校准。不言而喻的是，也可以进行校准，但是在该情况下，是只明确机器人坐标系相对于传感器坐标系的方向和比例尺那样的简易的校准即可。
如图3所示，机器人控制装置15具备：目标数据存储部17，其将在手部11被定位于规定的指令位置的状态下由特征量检测部16检测出的特征量作为第一特征量(目标数据)来进行存储；机器人移动量计算部18，其基于第二特征量与存储于目标数据存储部17中的第一特征量(目标数据)之间的差异，来计算用于在多个视觉传感器的所有视觉传感器中使第二特征量与第一特征量一致的机器人10的第一指令移动量，该第二特征量是在与检测出所述第一特征量时不同的时刻，在将手部11定位于上述规定的指令位置或该指令位置的附近的状态下，利用视觉传感器12a、12b分别拍摄特征部位13a、13b并由特征量检测部16检测出的特征量；指令移动量调整部19，其基于第一指令移动量以及由机器人10的机械特性决定的参数(后述)来计算第二指令移动量；以及移动指令部20，其基于该第二指令移动量来使机器人10(手部11)移动。另外，指令移动量调整部19和移动指令部20构成为重复进行第二指令移动量的计算以及手部11基于第二指令移动量的移动，直到第一指令移动量为规定的阈值以下为止。
以下，参照图4和图5的流程图来说明定位装置5中的处理的过程。
图4是说明包含定位装置5的机器人系统启动时的过程的流程图。首先，将机器人10移动到规定的指令位置(定位位置)(S101)。接着，设置视觉传感器12a、12b，以使设置于手部11或被手部11把持的对象物13的特征部位13a、13b分别在视觉传感器12a、12b的视野中显现(S102)。在此，各视觉传感器优选被配置为该视觉传感器的光轴相对于摄像对象的特征部位的面大致垂直那样的位置/姿势，但是并不限定于此。另外，特征部位13a、13b优选设为分别在视觉传感器12a、12b的视野的大致中心显现的位置，但是并不限定于此。
接着，由视觉传感器12a、12b分别拍摄特征部位13a、13b的图像，将特征部位13a、13b的图像作为模型数据来进行教导(S103)。在此，将何种信息作为模型数据来进行存储依赖于在从图像中检测特征部位13a、13b时使用的图像处理的算法。在本实施方式中，可以使用任何图像处理算法，例如能够使用利用归一化相关的模板匹配、利用边缘信息的一般化Hough变换等公知的方法。在基于归一化相关的模板匹配的情况下，模板相当于模型数据。
最后，使用所教导的模型数据来从图像中检测特征部位13a、13b，将图像上的包含检测出的各个特征部位的位置、姿势以及大小中的至少一个的第一特征量作为目标数据存储到目标数据存储部17中(S104)。例如，在采用模板匹配来作为图像处理算法的情况下，将一致度最高的模板的中心位置、旋转角度、放大/缩小后的比例作为目标数据来进行存储。这样，目标数据存储部17针对特征部位13a、13b双方存储第一特征量。另外，机器人控制装置15将该目标数据存储时的机器人10的控制上的位置作为指令位置1存储到适当的存储器等中。
接着，图5是说明包含定位装置5的机器人系统工作时的过程的流程图。首先，使机器人10在与图4的S104中存储目标数据时(检测出第一特征量时)不同的时刻向与上述的指令位置1相同的位置或指令位置1的附近移动(S201)。在此，“指令位置1的附近”是指严格地说与指令位置1不同但是使特征部位13a、13b分别进入视觉传感器12a、12b的视野且使机器人10的姿势与目标数据存储时的机器人的姿势相同的指令位置。
在此，即使在控制上机器人10准确地移动到存储目标数据时的指令位置1或该指令位置1的附近，也有时由于机器人10的各部的因气温变化引起的热变形、间隙的影响、因磨损产生的经年变化、因外力的影响(在一边使弹性体的对象物变形一边对弹性体的对象物进行定位的情况下，从该对象物受到外力)等误差因素，而机器人10实际上没能准确地移动到与指令位置1对应的位置(定位位置1)。
接着，分别由视觉传感器12a、12b拍摄特征部位13a、13b的图像，从所得到的图像中检测特征部位13a、13b(S202)。在图像处理算法上使用与上述的S104相同的方法，计算图像上的包含各特征部位的位置、姿势以及大小中的至少一个的第二特征量(当前的特征量)。
接着，计算用于使机器人10向使S202中计算出的第二(当前的)特征量与被作为目标数据存储的第一特征量一致的位置移动的、机器人的第一指令移动量(S203)。在后面叙述步骤S203中的处理的具体例。
接着，判断当前的机器人位置是否已到达规定的定位位置1(S204)。具体地说，对S203中计算出的第一指令移动量的大小与预先设定的阈值进行比较，如果第一指令移动量为该阈值以下，则能够判断为机器人10已到达定位位置1。例如在阈值被设定为0.5mm的情况下，如果计算出的机器人的指令移动量小于0.5mm，则能够判断为机器人10已到达规定的定位位置1。此外，阈值优选被设定为能够以比机器人本来所具备的定位精度更高的精度将机器人定位于目标位置这种程度的值。
在机器人10没有到达规定的定位位置1的情况下，对S203中计算出的机器人的第一指令移动量进行调整来计算第二指令移动量(S205)，基于第二指令移动量使机器人10移动(S206)。之后，返回步骤S202，再次进行相同的处理。此外，步骤S206中的处理的具体例也在后面叙述。
另一方面，在步骤S204中判断为机器人10已到达规定的定位位置1的情况下，能够判断为机器人10已被准确地定位，因此结束一系列的处理/动作。
以下，说明两个在上述的步骤S203中基于从图像中得到的当前的(第二)特征量以及被作为目标数据而存储于目标位置存储部17中的第一特征量来计算用于使机器人10与规定的定位位置1一致的第一指令移动量的计算方法的具体例。此外，此处对视觉传感器12a进行说明，但是视觉传感器12b也与视觉传感器12a相同，因此省略说明。
第一个具体例是进行机器人坐标系与视觉传感器坐标系之间的位置对准(校准)的方法。作为记载有视觉传感器的校准方法的详细内容的文献的例子，能够例举“RogerY.Tsai，“An efficient and accurate camera calibration technique for 3d machinevision”，Proc.Computer Vision and Pattern Recognition’86，pp.368-374，1986”。
图6是示出在步骤S203中使用虚线21表示目标数据存储时(步骤S104)的特征部位13a的像、使用实线22表示当前(步骤S202)的特征部位13a的像的例子的图。在此，当使用(u，v)表示在视觉传感器坐标系中的位置时，Δu为在图像的纵方向上的位置的差，Δv为在图像的横方向上的位置的差。通过利用上述文献所记载的那样的方法进行视觉传感器12a的校准，能够将在视觉传感器12a的坐标系中的位置(u，v)变换为在机器人10的坐标系中的位置(x，y，z)。
详细地说，将当前的特征部位13a的在图像上的位置(u，v)和作为目标数据存储的特征部位13a的在图像上的位置(u0，v0)变换为在机器人10的坐标系中的位置(x，y，z)和(x0，y0，z0)。在此，当将要求解的机器人的指令移动量设为(Δx，Δy，Δz)时，分别使用式(1)～(3)定义Δx、Δy以及Δz。
Δx＝x0-x…(1)
Δy＝y0-y…(2)
Δz＝z0-z…(3)
通过上式(1)～(3)，能够求出用于使机器人10与规定的定位位置1一致的机器人的指令移动量(Δx，Δy，Δz)。
第二个具体例是使用雅可比(Jacobian)矩阵的方法。在此，基于所检测出的特征部位13a的第二特征量与被作为目标数据存储的第一特征量之差来计算用于使机器人与规定的定位位置1一致的机器人的指令移动量。例如在图6中，如上述的那样，当使用(u，v)表示在视觉传感器的坐标系中的位置时，Δu为在图像的纵方向上的位置的差，Δv为在图像的横方向上的位置的差。
在此，将与在图像上的外观的大小有关的特征量设为s。例如在模板匹配的情况下，将模板的大小设为100％(＝1.0)，如果看上去大于模板，则能够将s设为大于1.0的值，如果看上去小于模板，则能够使用小于1.0的值来表现s。
接着，当将作为目标数据存储的第一特征量设为(u0，v0，s0)并且将步骤S202中得到的第二特征量设为(u1，v1，s1)时，能够使用下面的式(4)～(6)表示特征量的差。此外，与在图像上的外观的大小有关的特征量s与从设置有特征部位13a的对象物13的上表面到视觉传感器12a的距离成反比，因此不是直接使用比率，而是使用倒数，以使特征量s为与距离成比例的值。
Δu＝u1-u0…(4)
Δv＝v1-v0…(5)
Figure BDA0001254186940000091
接着，当将要求解的机器人的指令移动量设为(Δx，Δy，Δz)时，使用下面的式(7)定义雅可比矩阵J。
Figure BDA0001254186940000101
接着，对求解雅可比矩阵J的方法进行说明。首先，将特征部位13a在图像中心附近显现的状态设为机器人的原位置，在机器人10被定位于原位置的状态下，从由视觉传感器12a拍摄到的图像中检测特征部位13a，将所得到的特征量设为(u0，v0，s0)。接着，使机器人10从原位置沿图1所示那样的正交坐标系的X轴方向移动距离m，从在该位置由视觉传感器12a拍摄到的图像中检测特征部位13a，将所得到的特征量设为(uX，vX，sX)。同样地，分别在使机器人从原位置沿该正交坐标系的Y轴方向(与图纸垂直的方向)移动距离m后的位置以及沿Z轴方向移动距离m后的位置检测特征部位13a，将各个特征量设为(uY，vY，sY)、(uZ，vZ，sZ)。但是，表示机器人的指令移动量的坐标系并不限定于图1中记载的坐标系，还能够使用其它坐标系。
如上述那样，基于使机器人沿X轴、Y轴、Z轴方向移动时的特征部位13a的检测结果以及在原位置的特征部位13a的检测结果，能够使用以下的式(8)～(16)来求出Δu、Δv、Δs。
Δux＝ux-u0…(8)
Δvx＝vx-v0…(9)
Figure BDA0001254186940000102
Δuy＝uy-u0…(11)
Δvy＝vy-v0…(12)
Figure BDA0001254186940000111
Δuz＝uz-u0…(14)
Δvz＝vz-v0…(15)
Figure BDA0001254186940000112
通过将式(8)～(16)代入到式(7)，能够得到用于求解雅可比矩阵J的式(17)、(18)。
Figure BDA0001254186940000113
Figure BDA0001254186940000114
如果求出雅可比矩阵J，则针对任意特征部位13a的特征量(u，v，s)，能够通过将该雅可比矩阵J代入到式(7)来求出用于使机器人10与规定的定位位置1一致的机器人的指令移动量(Δx，Δy，Δz)。此外，机器人10逐渐地向规定的定位位置1靠近，因此计算的指令移动量也可以不是严密的值。因而，对于本实施例而言，能够适当地使用利用雅可比矩阵J的方法。
接着，以下说明在图5所示的步骤S205中基于由机器人10的机械特性决定的参数来调整步骤S203中得到的第一指令移动量从而计算第二指令移动量的方法的一例。此外，在此，对以间隙为机器人10的机械特性的情况进行说明。
间隙存在于机器人10的各可动部并且还由于施加于机器人10的重力而发生变化，因此难以通过几何学的计算来求出间隙最终对机器人10的臂前端部(手部11)施加的误差。因此，考虑机器人10的各可动部各自的状态以及机器人10本身的姿势，首先，综合地基于间隙求出机器人10的臂前端部的位置的误差范围。此处求出的误差范围正是由机器人的机械特性决定的参数。在此，将该参数称为第一参数。
接着，指令移动量调整部19基于上述的第一参数和步骤S203中求出的第一指令移动量来计算第二指令移动量(步骤S205)。具体地说，在第一指令移动量为臂前端部的误差范围以上的情况下，将第一指令移动量直接设为所述第二指令移动量。另一方面，在第一指令移动量小于臂前端部的误差范围的情况下，将对第一指令移动量乘以小于1的系数所得到的值设为第二指令移动量，一边限制机器人10的臂前端部的移动量一边使机器人10的臂前端部移动。以下，参照图7来说明其具体例。
图7是说明在存在基于间隙的误差范围的情况下计算第二指令移动量的例子的图。一般地，使机器人10移动意味着使设置于各可动部的多个齿轮啮合并使齿轮旋转相当于指定移动量的量(角度)。例如，考虑如下情况：如图7所示那样，在机器人10的某个可动部中，齿轮A与齿轮B彼此啮合，通过使齿轮A沿顺时针方向旋转(驱动)，来使齿轮B沿逆时针方向旋转(从动)。
在此，在第一指令移动量大于第一参数的情况下(例如在第一指令移动量是使齿轮B从当前位置B1旋转至位置B3的指令移动量的情况下)，使齿轮A与齿轮B完全啮合后旋转与指令移动量相应的量即可，能够将第一指令移动量直接设为第二指令移动量。
另一方面，在第一指令移动量小于第一参数的情况下(例如在第一指令移动量是使齿轮B从当前位置B1旋转至距B1比较近的位置B2的指令移动量的情况下)，当使齿轮A与齿轮B完全啮合后旋转与指令移动量相应的量时，会导致过冲而超过位置B2，从而不能准确地约束在规定的定位位置1。因此，在这种情况下，通过将对第一指令移动量乘以小于1的系数所得到的值设为第二指令移动量，能够使齿轮B每次移动更少量而不会发生过冲地从位置B1旋转移动至位置B2。
在这种方法中，通过使机器人10的臂前端部移动，能够有效地使机器人位置约束在规定的定位位置1。
另外，在参照图7说明的例子中对间隙进行了处理，但是并不是必须对间隙进行处理。例如，对于校正空程等机械的余隙的系统，能够同样地应用本实施方式所涉及的定位装置。
此外，作为步骤S205中的其它处理，指令移动量调整部19也可以是，计算通过基于第一指令移动量使机器人10移动而产生的机器人10的各可动部的动作量，基于该各可动部的动作量来计算第二指令移动量。更具体地说，也可以是，根据在机器人10的臂前端部的差异(步骤S202)求出各可动部的动作量(旋转量)，并在对该动作量的值乘以必要的系数之后进行逆变换，由此计算臂前端部的第二指令移动量。
或者，作为步骤S205中的进一步其它的处理，指令移动量调整部19也可以是，根据机器人10的工作状况来估计因经年变化引起的性能降低，基于该估计来修正由机器人10的机械特性决定的参数，基于第一指令移动量以及该修正后的参数来计算第二指令移动量。更具体地说，也可以是，根据定期地记录的数据等来估计因经年劣化而产生的间隙的增加量，根据该估计值变更第一参数，基于第一指令移动量以及变更后的第一参数来计算第二指令移动量。
在本实施方式中，定位的对象根据将什么用作特征部位13a的特征量而不同。如果使用图像上的位置，则能够确定特征部位13a在所设置的平面上的位置。如果将图像上的姿势作为特征量使用，则能够确定在该平面上的旋转位置。另外，如果将图像上的大小作为特征量使用，则能够确定从该平面起的法线方向上的高度。
上述那样的步骤S203和S205中的处理在视觉传感器12b中也能够以与视觉传感器12a同样的方式进行。而且，分别对存储于目标数据存储部17中的特征部位13a、13b的两组(第一)特征量与特征部位13a、13b的两组当前的(第二)特征量进行比较，基于这些特征量之间的差异来计算机器人10的第一指令移动量。
当将使用上述的计算方法等计算出的基于特征部位13a的特征量求出的第一指令移动量设为(Δxa，Δya，Δza)并且将基于特征部位13b的特征量求出的第一指令移动量设为(Δxb，Δyb，Δzb)时，机器人10的第一指令移动量(Δx，Δy，Δz)如式(19)～(21)那样求出。
Δx＝Δxa…(19)
Δy＝Δya…(20)
Δz＝Δzb…(21)
上式(19)～(21)是与如图1那样设置有视觉传感器12a、12b的情况下的第一指令移动量的计算方法对应的式子，即，意味着使用视觉传感器12a和特征部位13a来进行机器人10的XY方向的定位、使用视觉传感器12b和特征部位13b来进行机器人10的Z方向的定位。
在图1的例子中，视觉传感器12a与正交坐标系的XY平面垂直，因此能够在X方向和Y方向上进行高灵敏度的测量。另外，视觉传感器12b与YZ平面垂直，因此能够在Y方向和Z方向上进行高灵敏度的测量。这样，通过利用多个视觉传感器，能够在XYZ的所有方向上进行高灵敏度的测定。但是，这只是一例，还能够将多个视觉传感器配置为其它朝向、位置来在所有方向上进行高灵敏度的测定。
图8是示出本发明的第二实施方式中的定位装置(机器人系统)的整体结构的图。在第二实施方式中，基本结构与第一实施方式相同，但是在视觉传感器12a、12b被设置于机器人10的手部11并且特征部位13a、13b被设置于机器人10的外部的固定位置这一点上不同。
在第二实施方式中，以下点与第一实施方式不同：在机器人系统启动时的处理(图4)的步骤S102中，不设置视觉传感器12a、12b，而是将特征部位13a、13b设置于视觉传感器12a、12b所能够拍摄到的位置。关于其它处理，第二实施方式与第一实施方式相同，因此省略详细的说明。
此外，在上述实施方式中也分别由多个视觉传感器拍摄多个特征部位，但是还能够由多个视觉传感器针对一个特征部位从不同的位置或角度进行拍摄。具体地说，能够例举将两个视觉传感器作为立体照相机使用来测量一个特征部位的情况。
在上述实施方式中，在机器人的臂前端部设置视觉上的特征部位，利用设置于机器人的外部的固定位置的多个视觉传感器测量该特征部位。或者，在机器人的臂前端部设置多个视觉传感器，利用该视觉传感器测量设置于机器人的外部的固定位置的视觉上的特征部位。接着，在机器人被定位于规定的位置的状态下，将视觉传感器的各个图像中显现的特征部位的在图像上的位置作为目标数据存储。如果在当前的视觉传感器的图像中显现的特征部位的在图像上的位置与被作为目标数据存储的位置相同，则可以说机器人物理上被定位于规定的位置。因而，通过对机器人进行控制以使在视觉传感器的图像中显现的特征部位的在图像上的位置与被作为目标数据存储的位置相同，能够将机器人的臂前端部定位于规定的位置。
机器人的臂经由减速机等而被驱动，但是由于减速机存在间隙，因此即使计算出使在视觉传感器的图像中显现的特征部位的在图像上的位置与被作为目标数据存储的位置相同的准确的机器人的指令移动量，机器人的臂前端部物理上也未必移动遵照指令的量。因此，不使臂前端部直接以该遵照指令的移动量移动，而是例如基于间隙的宽度等由机器人的机械特性决定的参数来进行指令移动量的调整，由此能够精度更加良好地将臂前端部定位于规定的位置。
另外，计算机器人的臂前端部的移动量，以使由视觉传感器检测出的当前的特征部位的在图像上的位置与作为目标数据存储的位置相同，基于由机器人的机械特性决定的参数调整该机器人的臂前端部的移动量来实际地使该机器人的臂前端部移动，通过反复进行以上控制直到计算出的指令移动量为规定的阈值以下为止，能够使机器人的臂前端部逐渐接近规定的位置。机器人逐渐接近规定的位置，因此计算的指令移动量即使不是高精度的值也可以。这意味着，即使视觉传感器没有被严密地校准，也能够以机器人本来所具有的定位精度以上的精度定位于规定的位置，并且意味着能够与自身的各种误差因素无关地将机器人作为高精度的定位装置使用。
根据本发明，通过利用视觉反馈并且基于由机器人的机械特性决定的参数调整机器人移动量，无论有无校准，作业员都无需意识到校正这样的概念就能够排除因气温变化引起的热变形、间隙的影响、因外力产生的位置偏移、以及因磨损产生的经年变化等机器人的误差因素，从而能够将机器人作为具有机器人本来所具备的定位精度以上的精度的定位装置使用。

Claims (5)

1.一种定位装置，其特征在于，具备：
机器人，其具备可动的臂；
视觉上的特征部位，其设置于所述臂的前端部和所述机器人的外部的固定位置中的一方；
多个视觉传感器，其设置于所述臂的所述前端部和所述机器人的外部的所述固定位置中的另一方，用于拍摄所述特征部位；
特征量检测部，其检测由所述多个视觉传感器进行拍摄所得到的图像上的特征量，该特征量包含所述特征部位的位置、姿势以及大小中的至少一个；
目标数据存储部，其将在所述臂的所述前端部定位于规定的指令位置的状态下由所述特征量检测部检测出的特征量作为第一特征量来进行存储；
机器人移动量计算部，其基于第二特征量与存储于所述目标数据存储部中的所述第一特征量之间的差异，来计算用于在所述多个视觉传感器的所有视觉传感器中使所述第二特征量与所述第一特征量一致的机器人的第一指令移动量，该第二特征量是在与检测出所述第一特征量时不同的时刻，在所述臂的所述前端部定位于所述规定的指令位置或该指令位置的附近的状态下利用所述多个视觉传感器拍摄所述特征部位，并由所述特征量检测部检测出的特征量；
指令移动量调整部，其基于所述第一指令移动量以及由所述机器人的机械特性决定的参数来计算第二指令移动量；以及
移动指令部，其基于该第二指令移动量来使所述臂的所述前端部移动，
其中，所述指令移动量调整部以及所述移动指令部构成为，重复进行所述第二指令移动量的计算以及所述臂的所述前端部基于所述第二指令移动量的移动，直到所述第一指令移动量为规定的阈值以下为止，
在所述第一指令移动量为由所述机器人的机械特性决定的参数以上的情况下，所述指令移动量调整部将所述第一指令移动量直接设为所述第二指令移动量，在所述第一指令移动量小于由所述机器人的机械特性决定的参数的情况下，所述指令移动量调整部将对所述第一指令移动量乘以小于1的系数所得到的值设为所述第二指令移动量。
2.根据权利要求1所述的定位装置，其特征在于，
所述指令移动量调整部计算通过基于所述第一指令移动量移动所述机器人而产生的所述机器人的各可动部的动作量，基于该各可动部的动作量来计算所述第二指令移动量。
3.根据权利要求1所述的定位装置，其特征在于，
所述指令移动量调整部根据所述机器人的工作状况来估计因经年变化引起的性能降低，基于该估计来修正由所述机器人的机械特性决定的参数，基于所述第一指令移动量以及修正后的该参数来计算所述第二指令移动量。
4.根据权利要求1～3中的任一项所述的定位装置，其特征在于，
具备一个所述特征部位以及多个所述视觉传感器，所述多个视觉传感器拍摄一个所述特征部位。
5.根据权利要求1～3中的任一项所述的定位装置，其特征在于，
具备多个所述特征部位以及多个所述视觉传感器，所述多个视觉传感器分别拍摄多个所述特征部位。
CN201710183424.XA 2016-03-25 2017-03-24 定位装置 Active CN107225569B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016062884A JP6430986B2 (ja) 2016-03-25 2016-03-25 ロボットを用いた位置決め装置
JP2016-062884 2016-03-25

Publications (2)

Publication Number Publication Date
CN107225569A CN107225569A (zh) 2017-10-03
CN107225569B true CN107225569B (zh) 2020-04-10

Family

ID=59814602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710183424.XA Active CN107225569B (zh) 2016-03-25 2017-03-24 定位装置

Country Status (4)

Country Link
US (1) US10525598B2 (zh)
JP (1) JP6430986B2 (zh)
CN (1) CN107225569B (zh)
DE (1) DE102017002608B4 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6755724B2 (ja) * 2016-06-20 2020-09-16 キヤノン株式会社 制御方法、ロボットシステム、および物品の製造方法
CN108972572B (zh) * 2017-05-31 2022-10-28 精工爱普生株式会社 控制装置、机器人以及控制方法
KR20200064095A (ko) * 2017-10-06 2020-06-05 어드밴스드 솔루션즈 라이프 사이언스, 엘엘씨 엔드 이펙터 보정 조립체들, 시스템들, 및 방법들
JP6734253B2 (ja) * 2017-12-20 2020-08-05 ファナック株式会社 ワークを撮像する視覚センサを備える撮像装置
JP6608977B2 (ja) 2018-01-25 2019-11-20 ファナック株式会社 物品搬送システム
JP6933167B2 (ja) * 2018-03-14 2021-09-08 オムロン株式会社 ロボットの制御装置
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
CN109176505B (zh) * 2018-08-10 2021-06-11 厦门大学 一种基于球杆仪的六轴关节工业机器人空间误差标定方法
JP7431216B2 (ja) * 2018-08-16 2024-02-14 株式会社ミツトヨ ロボットと共に使用される位置合わせセンサを含む補足計測位置座標決定システム
US10871366B2 (en) * 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
JP7000361B2 (ja) 2019-01-24 2022-01-19 ファナック株式会社 追随ロボットおよび作業ロボットシステム
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP7249221B2 (ja) * 2019-07-09 2023-03-30 株式会社日立製作所 センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
US11679508B2 (en) 2019-08-01 2023-06-20 Fanuc Corporation Robot device controller for controlling position of robot
JP7306937B2 (ja) 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
JP7520608B2 (ja) 2020-07-08 2024-07-23 株式会社Subaru ロボットハンド位置検出システム
JP7671574B2 (ja) * 2020-10-02 2025-05-02 ニデックインスツルメンツ株式会社 産業用ロボット
CN115266723A (zh) * 2021-04-30 2022-11-01 泰科电子(上海)有限公司 自校正式检查系统和使用其对物品进行检查的方法
JP7624893B2 (ja) 2021-07-14 2025-01-31 東京エレクトロン株式会社 基板搬送方法および基板搬送システム
CN115847492B (zh) * 2023-02-16 2024-04-26 三维信技测量技术(苏州)有限公司 一种工业机器人视觉传感器测量装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN1667362A (zh) * 2004-03-08 2005-09-14 发那科株式会社 计量系统
DE102008019435A1 (de) * 2008-04-17 2009-10-29 Aicon Metrology Gmbh Verfahren zum berührungslosen Vermessen dreidimensionaler, komplex geformter Bauteile
CN102773524A (zh) * 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51121722A (en) * 1975-04-18 1976-10-25 Fujitsu Ltd Control system for motor stop position
US6317953B1 (en) * 1981-05-11 2001-11-20 Lmi-Diffracto Vision target based assembly
EP0114505B1 (en) * 1982-12-28 1987-05-13 Diffracto Ltd. Apparatus and method for robot calibration
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
JPS6212483A (ja) * 1985-05-30 1987-01-21 Nachi Fujikoshi Corp 自動車窓ガラスの自動取付装置
JPH0785202B2 (ja) * 1986-07-14 1995-09-13 株式会社杉山電機製作所 回転位置検出制御装置
JPH0285709A (ja) * 1988-09-22 1990-03-27 Hitachi Ltd 多関節ロボットを用いた物体計測方法と計測装置
JPH02110489U (zh) * 1989-02-17 1990-09-04
JP2919135B2 (ja) * 1991-10-09 1999-07-12 川崎重工業株式会社 ロボットの位置補正方法
JPH05233065A (ja) * 1992-02-20 1993-09-10 Matsushita Electric Ind Co Ltd 精密位置決め装置
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
DE19826395A1 (de) * 1998-06-12 1999-12-23 Amatec Gmbh Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
JP2000052178A (ja) * 1998-08-10 2000-02-22 Amada Eng Center Co Ltd 駆動装置のガタ防止方法および装置
JP4090666B2 (ja) * 1999-10-05 2008-05-28 三菱電機株式会社 数値制御システムおよびそれに用いられる位置指令値補正装置
DE10197041T1 (de) 2000-12-15 2003-12-11 Cyberoptics Corp Leiterplattenausrichtungsbildaufnahmevorrichtung mit verbesserter Schnittstelle
JP3702257B2 (ja) * 2002-08-23 2005-10-05 ファナック株式会社 ロボットハンドリング装置
DE10242710A1 (de) 2002-09-13 2004-04-08 Daimlerchrysler Ag Verfahren zum Herstellen eines Verbindungsbereiches auf einem Werkstück
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102004024378B4 (de) 2004-05-17 2009-05-20 Kuka Roboter Gmbh Verfahren zur robotergestützten Vermessung von Objekten
US9492927B2 (en) * 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9457473B2 (en) * 2012-06-20 2016-10-04 Irobot Corporation Suspended robot systems and methods for using same
JP6164970B2 (ja) * 2013-08-07 2017-07-19 キヤノン株式会社 ロボット制御方法、ロボットシステム、プログラム、記録媒体及び部品の製造方法
JP5850962B2 (ja) * 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN1667362A (zh) * 2004-03-08 2005-09-14 发那科株式会社 计量系统
DE102008019435A1 (de) * 2008-04-17 2009-10-29 Aicon Metrology Gmbh Verfahren zum berührungslosen Vermessen dreidimensionaler, komplex geformter Bauteile
CN102773524A (zh) * 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法

Also Published As

Publication number Publication date
US10525598B2 (en) 2020-01-07
DE102017002608A1 (de) 2017-09-28
CN107225569A (zh) 2017-10-03
JP2017170599A (ja) 2017-09-28
DE102017002608B4 (de) 2020-10-29
JP6430986B2 (ja) 2018-11-28
US20170274534A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
CN107225569B (zh) 定位装置
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
CN107708937B (zh) 校准装置以及使用该校准装置的机器人系统
JP7314475B2 (ja) ロボット制御装置、及び、ロボット制御方法
US9517563B2 (en) Robot system using visual feedback
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
US9517560B2 (en) Robot system and calibration method of the robot system
EP3157715B1 (en) Method for calibrating a robot and a robot system
JP6572262B2 (ja) 教示位置修正装置および教示位置修正方法
JP4202365B2 (ja) 力制御装置
US9563601B2 (en) Force sensor correcting method
US20170072566A1 (en) Measurement system used for calibrating mechanical parameters of robot
CN111482959A (zh) 机器人运动视觉系统的自动手眼标定系统与方法
US20180161984A1 (en) Control device, robot, and robot system
US20160184996A1 (en) Robot, robot system, control apparatus, and control method
US20160279800A1 (en) Robot, robot control device, and robotic system
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
CN105313127A (zh) 机器人、机器人的控制方法以及机器人的控制装置
KR20080088165A (ko) 로봇 캘리브레이션 방법
JP5618770B2 (ja) ロボットの校正装置および校正方法
US20180161983A1 (en) Control device, robot, and robot system
US20200262080A1 (en) Comprehensive model-based method for gantry robot calibration via a dual camera vision system
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
US20220134550A1 (en) Control system for hand and control method for hand
WO2020255229A1 (ja) 計測装置、計測方法、及び計測プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant