CN113015604A - 机器人控制系统及机器人控制方法 - Google Patents

Abstract

从预定的高度位置利用二维的相机(40)拍摄被供给到作业区(38)的高度尺寸已知的工件(30)，对该图像进行处理，通过以该图像的基准点为原点的二维坐标系(以下称作“视觉坐标系”)的坐标值来识别该工件的位置。将该视觉坐标系的坐标值变换为机器人(11)的三维坐标系即世界坐标系的坐标值，基于变换后的工件的位置，以世界坐标系的坐标值设定机器人的臂的目标位置，并以上述世界坐标系的坐标值控制该臂的位置。此时，考虑到由相机拍摄到的图像内的工件的尺寸根据该工件的高度尺寸而变化的情况，根据该工件的高度尺寸而修正在图像处理中作为工件的位置识别出的视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为世界坐标系的坐标值。

Description

机器人控制系统及机器人控制方法

技术领域

本说明书公开了与具备从上方拍摄由供给装置供给的工件的相机的机器人控制系统及机器人控制方法相关的技术。

背景技术

近年来，在机器人控制系统中，如专利文献1(日本特开2015-182144号公报)记载的那样，存在如下的机器人控制系统：在位于机器人的臂可动范围的上方的固定构造物朝下地固定相机，使机器人的臂前端的手把持校正用的标记(校正用基准物)，利用相机拍摄校正用的标记，基于对该拍摄图像进行处理的结果来校正机器人坐标系与视觉坐标系(相机的坐标系)的对应关系。

现有技术文献

专利文献1：日本特开2015-182144号公报

发明内容

发明所要解决的课题

然而，在以工件的把持、输送、作业为目的的机器人控制系统中，存在特别要求100μm单位的高精度的定位的情况。在这样的用途中，使用如下的系统：使用安装于机器人的臂前端部的相机或如上述专利文献1那样固定配置于机器人的臂可动范围的上方的相机，检测工件的位置坐标或作业对象部的位置坐标，自动地修正工件的把持位置或作业对象部的位置。

在这样的相机中，经常使用从价格、尺寸、重量等情况来看流通性较高的CCTV镜头，拍摄到的工件图像有时因视差而在中央部和周边部中视觉效果或形状不同。该视差在是立体的形状、且高度较大的工件中更显著，对象工件的检测率及位置坐标的检测精度存在随着靠近视差的影响变大的图像周边而恶化的倾向。

尤其是，在固定配置于机器人的臂可动范围的上方的相机中，视野更宽，能够拍摄较大的工件，因此上述的位置坐标的检测精度的恶化成为使机器人的作业精度恶化的要因，有时难以确保作为系统而要求的作业精度。尤其是，在设置有多个工件供给装置的情况或在工件的安装时也进行图像处理的情况等图像处理的对象区域存在多个且各自的高度不一致的情况下，进一步难以确保精度。

用于解决课题的手段

为了解决上述课题，具备：供给装置，将高度尺寸已知的工件向恒定的高度位置的作业区供给；机器人，对被供给到上述作业区的工件进行预定的作业；二维的相机，从预定的高度位置拍摄被供给到上述作业区的工件；图像处理部，对由上述二维的相机拍摄到的二维的图像进行处理，而通过以该图像的基准点为原点的二维坐标系即视觉坐标系的坐标值来识别上述工件的位置；坐标变换部，将在上述图像处理部的图像处理中作为上述工件的位置而识别出的上述视觉坐标系的坐标值变换为上述机器人的三维坐标系即世界坐标系的坐标值；及控制部，基于由上述坐标变换部变换为上述世界坐标系的坐标值后的上述工件的位置，以上述世界坐标系的坐标值设定上述机器人的臂的目标位置，并以上述世界坐标系的坐标值控制该臂的位置，上述坐标变换部考虑到由上述二维的相机拍摄到的图像内的上述工件的尺寸根据该工件的高度尺寸而变化的情况，根据上述工件的高度尺寸而修正在上述图像处理部的图像处理中作为该工件的位置识别出的上述视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为上述世界坐标系的坐标值。

在该结构中，利用二维的相机来拍摄成为机器人的作业对象的工件，但即使对由二维的相机拍摄到的二维的图像进行处理，也不知道工件的高度尺寸等三维形状。一般来说，在生产工场中使用的机器人处理由供给装置供给的许多同一形状的工件，因此工件的高度尺寸等三维形状能够作为已知的数据来处理。不过，由于由二维的相机拍摄到的图像内的工件的尺寸根据二维的相机与该工件的上端面之间的距离(工作距离)而变化，所以图像内的工件的尺寸根据该工件的高度尺寸而变化。例如，工件的高度尺寸越高，则该工件的上端面与相机之间的距离越短而图像内的工件的尺寸越大。

考虑到这样的特性，根据工件的高度尺寸而修正在图像处理部的图像处理中作为该工件的位置识别出的二维的视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为控制机器人的臂的位置的三维的世界坐标系的坐标值。这样一来，能够将对由二维的相机拍摄到的图像进行处理而作为工件的位置识别出的二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值，能够利用一台二维的相机廉价地构成求出视觉坐标系的坐标值的图像识别系统，并且能够减轻图像处理的运算负荷。

在该情况下，若被供给工件的作业区的高度位置(Z坐标值)始终是恒定的高度位置，则能够作为已知的数据(作业区的Z坐标值已知)来处理，因此通过对该作业区的高度位置加上工件的已知的高度尺寸，该工件的上端面的高度位置也能够作为已知的数据来处理。由此，能够将二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值。

另一方面，例如，在被供给工件的作业区处于多处而各作业区的高度位置在每个作业区稍微不同的情况下，从预定的高度位置利用二维的相机拍摄到的图像内的工件的尺寸根据该工件的高度尺寸及作业区的高度位置而变化。在该情况下，根据工件的高度尺寸及上述作业区的高度位置而修正在图像处理部的图像处理中作为工件的位置识别出的视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为世界坐标系的坐标值即可。

附图说明

图1是示出实施例1的机器人控制系统的外观的主视图。

图2是说明实施例1的拍摄时的手持相机的高度位置、作业区的工件载置面的高度位置及工件的高度尺寸之间的关系的图。

图3是示出实施例1的机器人控制系统的电气结构的框图。

图4是示出GUI的显示例的图。

图5是示出不可拾取条件“重叠”的一例的图。

图6是示出不可拾取条件“相邻”的一例的图。

图7是示出不可拾取条件“异常姿势”的一例的图。

图8是示出实施例2的机器人控制系统的外观的主视图。

图9是示出实施例3的机器人控制系统的主要部的结构的图。

具体实施方式

以下，说明在本说明书中公开的三个实施例1～3。

实施例1

基于图1至图7来说明实施例1。

首先，基于图1来说明机器人11的结构。

机器人11是例如5轴垂直多关节机器人，由设置于工场地板12的固定基体13、以能够以第一关节轴14(J1)为中心进行旋转的方式设于该固定基体13上的第一臂15、以能够通过第二关节轴16(J2)而回旋的方式设于该第一臂15的前端的第二臂17、以能够通过第三关节轴18(J3)而回旋的方式设于该第二臂17的前端的第三臂19、以能够通过第四关节轴20(J4)而回旋的方式设于该第三臂19的前端的手腕部21及以能够以第五关节轴22(J5)为中心进行旋转且能够更换的方式安装于该手腕部21的末端执行器23构成。由此，安装于手腕部21的末端执行器23通过该手腕部21的关节轴即第四关节轴20而进行回旋动作。

在该情况下，末端执行器23可以是例如吸嘴、手、抓爪、焊接机等中的任一个。机器人11的第一～第五的各关节轴14、16、18、20、22分别由伺服电机25～29(参照图3)驱动。如图3所示，在各伺服电机25～29分别设有检测旋转角的编码器31～35，由各编码器31～35检测到的旋转角的信息经由伺服放大器36而向控制部37反馈。由此，控制部37通过以使由各编码器31～35检测到的各伺服电机25～29的旋转角与各自的目标旋转角一致的方式经由伺服放大器36而对各伺服电机25～29进行反馈控制，来将机器人11的各臂15、17、19、手腕部21及末端执行器23的位置反馈控制成各自的目标位置。

在图3的结构例中，伺服放大器36是对多个伺服电机25～29进行反馈控制的多轴放大器，但也可以对伺服电机25～29各利用一台伺服放大器进行反馈控制。

在机器人11的臂可动区域(手腕部21前端侧的末端执行器23能够移动的区域)中的预定位置设置有将作为作业对象的工件30向恒定的高度位置的作业区38供给的供给装置39。该供给装置39可以由输送机构成，也可以使用振动式零件供料器等任意的结构的零件供料器，总之，只要作业区38的高度位置是已知的恒定的高度位置即可。

设置于作业区38的上方的固定构造物50(例如机器人防护栏的顶棚)以朝向铅垂下方的方式安装有二维的相机即固定相机51，利用该固定相机51来拍摄作业区38上的工件30。

如图3所示，控制如以上这样构成的机器人11的动作的机器人控制单元42成为具备参数输入部46、参数保存部47、图像处理部43、坐标变换部44、控制部37及伺服放大器36等的结构。

参数输入部46将作业者操作输入装置45而输入的图像处理的参数值变换为适合于内部处理的数值信息。输入装置45是鼠标、键盘等，也可以是LCD上的触摸面板。作业者按照在作为机器人控制单元42的周边设备的LCD监视器等显示装置48上显示的GUI(图形用户界面)的指示，操作输入装置45而将工件30的高度尺寸等参数值向参数输入部46输入。如图4所示，在作为机器人控制单元42的周边设备的显示装置48上，通过GUI而显示作业者应该输入的图像处理的参数值的输入栏。

由参数输入部46变换为数值信息后的参数值向由ROM或HDD等存储器构成的参数保存部47保存。各参数值作为作业对象的工件30的每个种类所固有的值而向参数保存部47保存。由此，在其他供给装置、其他机器人中使用相同种类的工件30的情况下，也能够使用相同的参数值来进行图像处理，因此能够不依赖于环境而始终保持相同的精度。

图像处理部43具有将事先登记的工件的轮廓形状作为模板来进行图案匹配从而检测把持对象的工件30的位置坐标和角度的功能。另外，末端执行器23能够把持的工件30的形状(大小、角度、姿势)被限定，根据该能够把持的工件30的姿势下的工件30的高度尺寸已知的系统要件，图像处理部43具有识别把持对象的工件30是否处于能够把持的条件下的功能。在此，能够把持的条件是指满足以下的三个条件(1)～(3)。

[能够把持的条件(1)]

能够把持的条件(1)是没有如图5所示那样的工件A彼此的重叠。图5所示的工件A是垫圈。这是因为：若工件A重叠，则在图像处理中识别的工件A的高度从已知的值变动，因此成为无法利用末端执行器23把持的姿势。

[能够把持的条件(2)]

能够把持的条件(2)是没有如图6所示那样的工件B彼此的相邻。图6所示的工件B是螺钉。这是因为：若工件B相邻，则末端执行器23会与相邻的把持对象外的工件B产生干涉。

[能够把持的条件(3)]

能够把持的条件(3)是未成为如图7所示那样的工件B异常的姿势。图7所示的工件B是螺钉。若工件B成为异常的姿势，则在图像处理中识别的工件B的高度从已知的值变动，因此成为无法利用末端执行器23把持的姿势。

图像处理部43对由固定相机51拍摄到的二维的图像进行处理，将作业区38上的工件30的位置通过以该图像的基准点(例如图像的中心)为原点的二维的正交坐标系(以下称作“视觉坐标系”)的坐标值来识别(图像处理工序)。该视觉坐标系的坐标轴是在图像上正交的Xv轴和Yv轴。拍摄作业区38上的工件30的固定相机51使光轴朝向铅垂下方地拍摄，因此拍摄到的图像成为水平面的图像，Xv轴和Yv轴成为水平面上的正交坐标轴。图像处理部43通过图像处理而在视觉坐标系中以像素单位的坐标值识别工件30的位置。

另一方面，坐标变换部44将在图像处理部43的图像处理中作为工件30的位置识别出的二维的视觉坐标系的坐标值变换为用于控制机器人11的各臂15、17、19、手腕部21及末端执行器23的位置的世界坐标系的坐标值(坐标变换工序)。该世界坐标系是以基准点为原点的三维的正交坐标系，世界坐标系的坐标轴是水平面上的正交坐标轴(X轴和Y轴)和铅垂朝上的坐标轴(Z轴)。该世界坐标系的坐标值的单位是长度的单位(例如μm单位)。该世界坐标系的原点(基准点)是例如机器人11的臂可动区域(手腕部21前端侧的末端执行器23能够移动的区域)的中心。

控制部37基于由坐标变换部44变换为三维的世界坐标系的坐标值后的工件30的位置，以世界坐标系的坐标值设定机器人11的各臂15、17、19、手腕部21及末端执行器23的目标位置，并以世界坐标系的坐标值控制该臂15、17、19、手腕部21及末端执行器23的位置(控制工序)。

在本实施例1中，利用二维的固定相机51拍摄作为机器人11的作业对象的作业区38上的工件30，但即使对由该固定相机51拍摄到的二维的图像进行处理，也不知道工件30的高度尺寸等三维形状。一般来说，在生产工场中使用的机器人11对由供给装置39供给的许多同一形状的工件30进行处理，因此工件30的高度尺寸等三次元形状能够作为已知的数据来处理。不过，由固定相机51拍摄到的图像内的工件30的尺寸根据固定相机51与该工件30的上端面之间的距离(工作距离)而变化，因此图像内的工件30的尺寸根据该工件30的高度尺寸而变化。例如，工件30的高度尺寸越高，则该工件30的上端面与固定相机51之间的距离越短而图像内的工件30的尺寸越大。

考虑到这样的特性，在本实施例1中，坐标变换部44根据该工件30的高度尺寸而修正在图像处理部43的图像处理中作为工件30的位置识别出的二维的视觉坐标系的坐标值，将修正后的视觉坐标系的坐标值变换为控制机器人11的臂位置的三维的世界坐标系的坐标值(坐标变换工序)。以下，对根据工件30的高度尺寸而修正视觉坐标系的坐标值的处理进行详细说明。

图像处理部43在视觉坐标系中以像素单位识别作业区38上的工件30的位置的坐标值(Xv，Yv)，与此相对，世界坐标系的坐标值(X，Y，Z)的单位是长度的单位(例如[μm]的单位)。因此，需要将视觉坐标系的像素单位的坐标值变换为与世界坐标系的坐标值相同的长度的单位(例如[μm]的单位)的坐标值。

于是，在本实施例1中，根据工件30的高度尺寸H而修正在将视觉坐标系的像素单位的坐标值变换为与世界坐标系的坐标值相同的长度的单位的坐标值的处理中使用的分辨率，使用修正后的分辨率Rh将视觉坐标系的像素单位的坐标值变换为与世界坐标系的坐标值相同的长度的单位的坐标值。在该情况下，工件30的高度尺寸H需要为固定相机51的镜头52的景深的范围内。在此，分辨率是每1像素的长度，例如由[μm/像素]的单位表示。具体而言，分辨率能够以固定相机51的视野/像素数来算出。固定相机51的像素数是固定值，但视野(在图像中拍到的区域的实际的长度)与固定相机51的镜头52与拍摄对象的工件30的上端面之间的距离即工作距离WD成比例地变化，因此分辨率也与工作距离WD成比例地变化。

在本实施例1中，如图2所示，将作业区38的工件载置面的高度位置设为基准高度位置而算出该基准高度位置处的分辨率作为基准分辨率Ro。换言之，将该基准高度位置与固定相机51的镜头52之间的距离设为基准工作距离WDstd而算出该基准工作距离WDstd下的分辨率作为基准分辨率Ro。该基准工作距离WDstd是在能够利用固定相机51拍摄作业区38上的工件30的范围内事先决定的恒定的值。

另一方面，如图2所示，控制部37算出比基准高度位置(作业区38的工件载置面的高度位置)高预定高度Tcp的位置处的分辨率R1，使用以下的(1)式来算出每单位高度尺寸的分辨率变化量作为单位分辨率Runi。

Runi＝(Ro－R1)/Tcp…(1)

在此，在将单位分辨率Runi设为例如每1mm的分辨率变化量的情况下，预定高度Tcp的单位也设为[mm]的单位，而使两者的单位一致。

此外，使用以下的(2)式，从基准分辨率Ro减去单位分辨率Runi与工件30的高度尺寸H的相乘值来求出修正后的分辨率Rh。

Rh＝Ro－Runi×H…(2)

通过将该修正后的分辨率Rh向以下的(3)式和(4)式代入并计算，从而将视觉坐标系的像素单位的坐标值(Xv，Yv)变换为与世界坐标系的坐标值相同的长度的单位的坐标值(X，Y)。

X＝Xv×Rh…(3)

Y＝Yv×Rh…(4)

将该二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值。

在本实施例1中，作业区38的高度位置(Z坐标值)始终是恒定的高度位置，因此能够作为已知的数据(作业区38的Z坐标值已知)来处理。此外，通过对该作业区38的高度位置加上工件30的已知的高度尺寸H，该工件30的上端面的高度位置也能够作为已知的数据来处理。由此，能够将二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值。

如前所述，分辨率与工作距离WD成比例地变化，以下详细说明其理由。

分辨率表示图像中的每1像素的大小，由以下的(5)式算出。

分辨率＝视野/像素数…(5)

另外，视野在工作距离WD确定的情况下，由以下的(6)式导出。

视野＝(H/焦距)×WD…(6)

在此，H是固定相机51的图像传感器的尺寸。

若将上述(6)式向(5)式代入并进行变形，则由以下的(7)式求出分辨率。

分辨率＝{(H/焦距)×WD}/像素数

＝{(H/焦距)/像素数}×WD

＝α×WD……(7)

在此，α是工作距离WD的每单位长度的分辨率(单位分辨率)，通过α＝(H/焦距)/像素数而求出。该单位分辨率α是由固定相机51的图像传感器的规格(像素数、单元尺寸)、镜头52的焦距及倍率决定的常数。

因此，从上述(7)式明显可知，分辨率与工作距离WD成比例。

根据以上说明的本实施例1，由于根据该工件30的高度尺寸而修正在图像处理部43的图像处理中作为作业区38上的工件30的位置识别出的二维的视觉坐标系的坐标值，将修正后的视觉坐标系的坐标值变换为控制机器人11的臂位置的三维的世界坐标系的坐标值，所以能够将对由二维的固定相机51拍摄到的图像进行处理而作为工件30的位置识别出的二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值。由此，能够由一台二维的固定相机51廉价地构成求出视觉坐标系的坐标值的图像识别系统，能够满足低成本化的要求。而且，由于是二维的图像处理，所以与以往的三维的图像处理相比，能够减轻图像处理的运算负荷，能够以低成本应对图像处理的高速化的要求。

此外，在本实施例1中，由于利用固定相机51拍摄作业区38上的工件30，所以无需在生产中利用机器人11使固定相机51的位置移动，相应地，能够缩短工件30的拍摄所需的时间，能够提高生产性，并且机器人11的控制也变得简单。

实施例2

接着，使用图8来说明实施例2。不过，关于与上述实施例1实质上相同的部分，标注同一附图标记而省略或简化说明，主要对不同的部分进行说明。

在上述实施例1中，将以朝向铅垂下方的方式安装于设置于作业区38的上方的固定构造物50(例如机器人防护栏的顶棚)的固定相机51作为拍摄作业区38上的工件30的二维的相机来使用，但在图8所示的实施例2中，作为拍摄作业区38上的工件30的二维的相机，使用安装于机器人11的手腕部21的手持相机40。

在本实施例2中，在机器人11的作业期间(生产期间)利用手持相机40拍摄作业区38上的工件30并以视觉坐标系的坐标值识别该工件30的位置的情况下，使手持相机40朝向铅垂下方而使作业区38上的工件30处于手持相机40的视野内，并且以使手持相机40的镜头41与基准高度位置(作业区38的工件载置面的高度位置)之间的距离成为事前决定的基准工作距离WDstd的方式控制机器人11，而将手持相机40的高度位置控制成恒定的高度位置。需要说明的是，基准高度位置不限定于作业区38的工件载置面的高度位置，也可以是其他高度位置，总之，只要在能够利用手持相机40拍摄作业区38上的工件30的高度位置的范围内适当设定基准高度位置即可。其他事项与上述实施例1相同。

在如以上这样构成的实施例2中，也与所述实施例1相同地，能够将对由二维的手持相机40拍摄到的图像进行处理而作为工件30的位置识别出的二维的视觉坐标系的坐标值高精度地变换为三维的世界坐标系的坐标值。

实施例3

接着，使用图9来说明实施例3。不过，关于与上述实施例1、2实质上相同的部分，标注同一附图标记而省略或简化说明，主要对不同的部分进行说明。

在上述实施例1、2中，作业区38为一处(供给装置39为一台)，但在图9所示的实施例3中，在机器人11的臂可动区域内并列设置有多台供给装置39的作业区38。在本实施例3中，不管使用手持相机40和固定相机51的哪一个都行，但在图8中示出了使用固定相机51的结构例。固定相机51以使多个作业区38上的工件30处于视野内的方式设置。需要说明的是，在使用手持相机40的情况下，以使多个作业区38上的工件30处于手持相机40的视野内的方式控制手持相机40的高度位置即可。

在如本实施例3这样在机器人11的臂可动区域内并列设置有多个作业区38的情况下，有时因组装误差等而多个作业区38的高度位置在每个作业区38稍微不同。在该情况下，从预定的高度位置利用固定相机51拍摄到的图像内的工件30的尺寸根据该工件30的高度尺寸及作业区38的高度位置而变化。

于是，在本实施例3中，坐标变换部44根据该工件30的高度尺寸及作业区38的高度位置而修正在图像处理部43的图像处理中作为工件30的位置识别出的视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为世界坐标系的坐标值(坐标变换工序)。

在该情况下，关于基准高度位置，可以将多个作业区38中的任一个作业区38的工件载置面的高度位置设为基准高度位置，或者，也可以将位于固定相机51的正下方的中央的作业区38的工件载置面的高度位置设为基准高度位置。基准高度位置不限定于作业区38的工件载置面的高度位置，也可以是其他高度位置，总之，只要在能够利用固定相机51拍摄作业区38上的工件30的高度位置的范围内适当设定基准高度位置即可。

利用与所述实施例1相同的方法来算出该基准高度位置处的分辨率(基准工作距离WDstd下的分辨率)即基准分辨率Ro，并且算出比该基准高度位置高预定高度Tcp的位置处的分辨率R1，使用以下的(8)式来算出每单位高度尺寸的分辨率变化量作为单位分辨率Runi。

Runi＝(Ro－R1)/Tcp…(8)

此外，使用以下的(9)式，通过从上述基准分辨率Ro减去对从基准高度位置到作业区38的工件载置面的高度位置为止的高度尺寸ΔWD与工件30的高度尺寸H之和乘以上述单位分辨率Runi而求出的值，来求出修正后的分辨率Rh。

Rh＝Ro－Runi×(H+ΔWD)…(9)

通过将该修正后的分辨率Rh向以下的(10)式和(11)式并计算，将视觉坐标系的像素单位的坐标值(Xv，Yv)变换为与世界坐标系的坐标值相同的长度的单位的坐标值(X，Y)。

X＝Xv×Rh…(10)

Y＝Yv×Rh…(11)

将该二维的视觉坐标系的坐标值变换为三维的世界坐标系的坐标值。

在以上说明的实施例3中，即使在并列设置于机器人11的臂可动区域内的多个作业区38的高度位置在每个作业区38稍微不同的情况下，也能够将作为各作业区38上的工件30的位置识别出的二维的视觉坐标系的坐标值高精度地变换为三维的世界坐标系的坐标值。

[其他实施例]

需要说明的是，不限定于上述各实施例1～3，也可以设置手持相机40和固定相机51这两方，并根据要求的分辨率和机器人11的臂可动区域内的作业区38的位置而分开使用手持相机40和固定相机51。例如，在工件30的尺寸较小而要求较高的分辨率的情况下，使用手持相机40，另外，关于设置于偏离固定相机51的视野的位置的作业区38，使用手持相机40即可。另外，在多个作业区38处于固定相机51的视野内的情况下，若使多个作业区38处于固定相机51的视野内而进行拍摄，则能够高效地进行多个作业区38上的工件30的图像处理。或者，在存在多个作业区38的情况下，也可以针对每个作业区38使手持相机40移动并拍摄工件30。

除此之外，本发明也可以适当变更机器人11的结构等，能够在不脱离主旨的范围内各种变更而实施，这是不言而喻的。

附图标记说明

11…机器人，14…第一关节轴，15…第一臂，16…第二关节轴，17…第二臂，18…第三关节轴，19…第三臂，20…第四关节轴，21…手腕部(臂前端部)，22…第五关节轴，23…末端执行器，25～29…伺服电机，30…工件，31～35…编码器，36…伺服放大器，37…控制部，38…作业区，39…供给装置，40…手持相机(二维的相机)，41…镜头，42…机器人控制单元，43…图像处理部，44…坐标变换部，50…固定构造物，51…固定相机(二维的相机)，52…镜头。

Claims (12)

1.一种机器人控制系统，具备：

供给装置，将高度尺寸已知的工件向固定的高度位置的作业区供给；

机器人，对被供给到所述作业区的工件进行预定的作业；

二维的相机，从预定的高度位置拍摄被供给到所述作业区的工件；

图像处理部，对由所述二维的相机拍摄到的二维的图像进行处理，而通过以该图像的基准点为原点的二维坐标系即视觉坐标系的坐标值来识别所述工件的位置；

坐标变换部，将在所述图像处理部的图像处理中作为所述工件的位置所识别出的所述视觉坐标系的坐标值变换为所述机器人的三维坐标系即世界坐标系的坐标值；及

控制部，基于由所述坐标变换部变换为所述世界坐标系的坐标值后的所述工件的位置，以所述世界坐标系的坐标值设定所述机器人的臂的目标位置，并以所述世界坐标系的坐标值控制该臂的位置，

所述坐标变换部考虑到由所述二维的相机拍摄到的图像内的所述工件的尺寸根据该工件的高度尺寸而变化这一情况，根据所述工件的高度尺寸而修正在所述图像处理部的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为所述世界坐标系的坐标值。

2.根据权利要求1所述的机器人控制系统，其中，

所述图像处理部在所述视觉坐标系中以像素单位识别所述工件的位置的坐标值，

所述坐标变换部在根据所述工件的高度尺寸而修正在所述图像处理部的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值时，根据所述工件的高度尺寸而修正在将所述视觉坐标系的像素单位的坐标值变换为与所述世界坐标系的坐标值相同的长度单位的坐标值的处理中使用的分辨率，并使用修正后的分辨率将所述视觉坐标系的像素单位的坐标值变换为与所述世界坐标系的坐标值相同的长度单位的坐标值，其中，所述分辨率是每1像素的长度。

3.根据权利要求2所述的机器人控制系统，其中，

所述坐标变换部将所述作业区的工件载置面的高度位置设为基准高度位置而算出该基准高度位置处的分辨率作为基准分辨率Ro，并且算出比该基准高度位置高预定高度Tcp的位置处的分辨率R1，使用如下的(1)式算出每单位高度尺寸的分辨率变化量作为单位分辨率Runi，使用如下的(2)式从所述基准分辨率Ro减去所述单位分辨率Runi与所述工件的高度尺寸H的相乘值，从而求出所述修正后的分辨率Rh，

Runi＝(Ro－R1)/Tcp…(1)

Rh＝Ro－Runi×H…(2)。

4.一种机器人控制系统，具备：

供给装置，将高度尺寸已知的工件向作业区供给；

机器人，对被供给到所述作业区的工件进行预定的作业；

二维的相机，从预定的高度位置拍摄被供给到所述作业区的工件；

图像处理部，对由所述二维的相机拍摄到的二维的图像进行处理，而通过以该图像的基准点为原点的二维坐标系即视觉坐标系的坐标值来识别所述工件的位置；

坐标变换部，将在所述图像处理部的图像处理中作为所述工件的位置所识别出的所述视觉坐标系的坐标值变换为所述机器人的三维坐标系即世界坐标系的坐标值；及

控制部，基于由所述坐标变换部变换为所述世界坐标系的坐标值后的所述工件的位置，以所述世界坐标系的坐标值设定所述机器人的臂的目标位置，并以所述世界坐标系的坐标值控制该臂的位置，

所述坐标变换部考虑到由所述二维的相机拍摄到的图像内的所述工件的尺寸根据该工件的高度尺寸及所述作业区的工件载置面的高度位置而变化这一情况，根据所述工件的高度尺寸及所述作业区的工件载置面的高度位置而修正在所述图像处理部的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为所述世界坐标系的坐标值。

5.根据权利要求4所述的机器人控制系统，其中，

所述图像处理部在所述视觉坐标系中以像素单位识别所述工件的位置的坐标值，

所述坐标变换部在根据所述工件的高度尺寸及所述作业区的工件载置面的高度位置而修正在所述图像处理部的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值时，根据所述工件的高度尺寸及所述作业区的工件载置面的高度位置而修正在将所述视觉坐标系的像素单位的坐标值变换为与所述世界坐标系的坐标值相同的长度单位的坐标值的处理中使用的分辨率，并使用修正后的分辨率将所述视觉坐标系的像素单位的坐标值变换为与所述世界坐标系的坐标值相同的长度单位的坐标值，其中，所述分辨率是每1像素的长度。

6.根据权利要求5所述的机器人控制系统，其中，

所述坐标变换部算出在能够利用所述二维的相机拍摄所述作业区上的工件的高度位置的范围内设定的基准高度位置处的分辨率作为基准分辨率Ro，并且算出比该基准高度位置高预定高度Tcp的位置处的分辨率R1，使用如下的(3)式算出每单位高度尺寸的分辨率变化量作为单位分辨率Runi，使用如下的(4)式从所述基准分辨率Ro减去对从所述基准高度位置到所述作业区的工件载置面的高度位置为止的高度尺寸ΔWD与所述工件的高度尺寸H之和乘以所述单位分辨率Runi而求出的值，从而求出所述修正后的分辨率Rh，

Runi＝(Ro－R1)/Tcp…(3)

Rh＝Ro－Runi×(H+ΔWD)…(4)。

7.根据权利要求1～6中任一项所述的机器人控制系统，其中，

所述二维的相机安装于所述机器人的臂前端部，

所述控制部在利用所述二维的相机拍摄被供给到所述作业区的工件时，以使该二维的相机的高度位置在所述世界坐标系的坐标值下成为所述预定的高度位置的方式控制所述机器人的臂的位置。

8.根据权利要求1～6中任一项所述的机器人控制系统，其中，

所述二维的相机固定于在所述世界坐标系的坐标值下成为所述预定的高度位置的场所。

9.根据权利要求1～8中任一项所述的机器人控制系统，其中，

所述图像处理部构成为能够从GUI即图形用户界面上登记至少包含所述工件的高度尺寸的信息和图像处理参数。

10.根据权利要求1～9中任一项所述的机器人控制系统，其中，

所述图像处理部具有识别所述工件的姿势及多个工件彼此之间的重叠的功能。

11.一种机器人控制方法，具备：

供给装置，将高度尺寸已知的工件向固定的高度位置的作业区供给；

机器人，对被供给到所述作业区的工件进行预定的作业；及

二维的相机，从预定的高度位置拍摄被供给到所述作业区的工件而取得二维的图像，

所述机器人控制方法包含如下的工序：

图像处理工序，对由所述二维的相机拍摄到的二维的图像进行处理，而通过以该图像的基准点为原点的二维坐标系即视觉坐标系的坐标值来识别所述工件的位置；

坐标变换工序，将在所述图像处理工序的图像处理中作为所述工件的位置所识别出的所述视觉坐标系的坐标值变换为所述机器人的三维坐标系即世界坐标系的坐标值；及

控制工序，基于在所述坐标变换工序中变换为所述世界坐标系的坐标值后的所述工件的位置，以所述世界坐标系的坐标值设定所述机器人的臂的目标位置，并以所述世界坐标系的坐标值控制该臂的位置，

其中，

在所述坐标变换工序中，考虑到由所述二维的相机拍摄到的图像内的所述工件的尺寸根据该工件的高度尺寸而变化这一情况，根据所述工件的高度尺寸而修正在所述图像处理工序的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为所述世界坐标系的坐标值。

12.一种机器人控制方法，具备：

供给装置，将高度尺寸已知的工件向作业区供给；

机器人，对被供给到所述作业区的工件进行预定的作业；及

二维的相机，从预定的高度位置拍摄被供给到所述作业区的工件而取得二维的图像，

所述机器人控制方法包含如下的工序：

图像处理工序，对由所述二维的相机拍摄到的二维的图像进行处理，通过以该图像的基准点为原点的二维坐标系即视觉坐标系的坐标值来识别所述工件的位置；

坐标变换工序，将在所述图像处理工序的图像处理中作为所述工件的位置所识别出的所述视觉坐标系的坐标值变换为所述机器人的三维坐标系即世界坐标系的坐标值；及

控制工序，基于在所述坐标变换工序中变换为所述世界坐标系的坐标值后的所述工件的位置，以所述世界坐标系的坐标值设定所述机器人的臂的目标位置，并以所述世界坐标系的坐标值控制该臂的位置，

其中，

在所述坐标变换工序中，考虑到由所述二维的相机拍摄到的图像内的所述工件的尺寸根据该工件的高度尺寸及所述作业区的高度位置而变化这一情况，根据所述工件的高度尺寸及所述作业区的高度位置而修正在所述图像处理工序的图像处理中作为该工件的位置所识别出的所述视觉坐标系的坐标值，并将修正后的视觉坐标系的坐标值变换为所述世界坐标系的坐标值。

Images