CN101396829A - 机器人装置的控制方法以及机器人装置 - Google Patents

Abstract

本发明提供一种在控制机器人装置的机械手时，不必准备很多的基准图像，计算负担较轻，可进行迅速的控制，并且能够在三维空间内控制机械手对对象物的位置及姿势的机器人装置的控制方法。从事先获得的对象物(101)的平均图像(3a)和在机械手(1)的动作过程中由摄像单元(6)获得的对象物(101)的图像的差分，通过由图像处理部(3b)进行主成分分析算出特征量，将该特征量输入到动作指令产生部(3c)中，将由该动作指令产生部(3c)所控制的中枢网络(3d)的输出作为指令信号，基于该指令信号，使机械手(1)的前端(5)向对对象物(101)的所希望的位置姿势动作。

Description

机器人装置的控制方法以及机器人装置

技术领域

本发明涉及在机械手的前端具备摄像机的机器人装置中，以使事先从目标状态算出并存储的目标特征量与从通过摄像机获得的图像所得到的特征量一致的方式，使机械手动作的机器人装置的控制方法以及机器人控制装置。

背景技术

以往，提出有具备机械手的机器人装置，另外，提出有用于控制这种机器人装置的机械手动作的机器人装置的控制方法。并且，作为机器人装置的控制方法，提出有各种用于将利用机械手进行夹持的对象物作为目标而使机械手的手头移动的控制方法。

例如，在专利文献1(日本特开2003-231078号公报)中，记载了以下机器人装置：预先准备多个对象物的基准图像和拍摄该图像时的摄像机位置与姿势，并且，获得通过安装在机械手的手头上的摄像机的图像信息，并通过检索图像信息中的接近对象物的形状的基准图像，以算出对象物和机械手的手头的位置关系。

另外，在专利文献2(日本特开2000-263482号公报)中，记载了以下机器人装置：预先准备对象物的基准图像，在由安装在机械手的手头上的摄像机拍摄图像的同时，使机械手移动一定量，直到得到接近基准图像的图像。

再有，在专利文献3(日本特开平07—080790号公报)中，记载了如下机器人装置：对于由机械手所夹持着的对象物，由外部的摄像机获取顶点位置等的特征量，以使中枢网络学习这些特征量。该机器人装置，在动作时将由外部摄像机所获取的特征量输入到中枢网络中，调节机械手的各关节的角度。另外，利用事先从对象物获得的重心等的局部特征量，以及此时的机械手的各关节的角度，进一步使中枢网络学习这些特征量，在动作过程中，基于利用中枢网络所获得的局部特征量，求得机械手各关节的角度。

然而，专利文献1所记载的机器人装置，为了提高控制精度，需要准备大量的基准图像，机械手每进行一次动作，就需要进行全部基准图像的检索，因而计算负担很大，不能进行迅速的控制。

此外，专利文献2所记载的机器人装置，由于只能应对与二维平面内的机械手的位置及姿势一致，所以不能在三维空间内控制机械手对对象物的位置及姿势。还有，在这种机器人装置中，由于必须反复进行摄像、计测和机械手的动作，所以不能进行快速的控制。此外，在这种机器人装置中，还有必要进行摄像机镜头的校直或对正坐标系统等的摄像机校准工作，而且，机械手联杆长度的误差或坐标系统的错位所造成的误差会积累起来，从而会有动作精度变劣的危险。

并且，专利文献3所记载的机器人装置，由于图像处理的精度直接影响到机械手动作的精度，所以很难提高动作精度，另外，图像处理还需要很长的时间。另外，在这种机器人装置中，由于基于重心等的局部特征量来使机械手动作，所以还存在可靠性低的问题。

发明内容

于是，本发明是鉴于上述实情而提出的技术方案，其目的在于，提供一种在控制机器人装置的机械手时，不必准备很多的基准图像，计算负担较轻，可进行迅速的控制，并且能够在三维空间内控制机械手对对象物的位置及姿势的机器人装置的控制方法及机器人装置。

为了解决上述问题，实现上述目的，涉及本发明的机器人装置的控制方法具有以下结构的任意一种。

(结构1)

涉及本发明的机器人装置的控制方法，是具有六个自由度以上的机械手，在机械手手头位置上具有摄像单元的控制方法，其特征在于，从事先获得的对象物的平均图像和在机械手的动作过程中由摄像单元获得的对象物的图像的差分，通过主成分分析算出特征量，将该特征量输入到中枢网络控制器中，将由该中枢网络控制器所控制的中枢网络的输出作为指令信号，基于该指令信号，使机械手的前端向对对象物的所希望的位置姿势动作。

此外，作为中枢网络控制器，可以使用模糊中枢网络(具有模糊法则的结构的中枢网络)，或者高木·菅野式模糊中枢网络(在具有模糊法则的中枢网络中，由高木·菅野于1985年2月发表在IEEE Transactions on Systems，Man，andCybernetics，vol.SMC-15，no.1，pp.116-132中的题目为“Fuzzy Identification ofSystems and Its Applications to Modeling and control”的文章中的结构)。

(结构2)

涉及本发明的机器人装置，具备：六个自由度以上的机械手；设置在机械手手头位置上的摄像单元；存储事先获得的对象物的平均图像的存储单元；计算从机械手动作过程中由摄像单元获得的对象物的图像与平均图像的差分，从该差分通过主成分分析算出特征量的运算单元；以及在特征量输入后，控制中枢网络，使其输出指令信号的中枢网络控制器，其特征在于，基于指令信号控制机械手，使机械手的前端向对对象物的规定的位置姿势动作。

本发明具有以下效果。

涉及本发明的多个机器人装置的控制方法，由于具有结构1，从事先所获得的对象物的平均图像与机械手动作中由摄像单元所获得的对象物的图像的差分，通过主成分分析算出特征量，将该特征量输入到中枢网络控制器中，将由该中枢网络控制器所控制的中枢网络的输出信号作为指令信号而控制机械手，因此，由于不必准备很多的基准图像，从而计算负担较轻，可进行快速的控制。而且，该机器人装置的控制方法，由于从图像整体求得全局的特征量，所以，与使用某种形状的位置或大小等局部特征量的以往的机器人装置的控制方法相比，可靠性很高，另外，能在三维空间内控制机械手，因而能减少用于控制的计算量。

涉及本发明的多个机器人装置，由于具有结构2，算出事先所获得的存储在存储单元中的平均图像与机械手在动作中由摄像单元所获得的对象物的图像的差分，通过主成分分析算出特征量，将该特征量输入到中枢网络控制器中，控制中枢网络使其输出指令信号，并基于该指令信号控制机械手，因此，由于不必准备很多的基准图像，从而计算负担较轻，可进行快速的控制。该机器人装置，由于从图像的整体求出全局的特征量，所以，与使用某种形状的位置或大小等局部特征量的以往的机器人装置相比，可靠性很高，另外，能在三维空间内控制机械手，因而能减少用于控制的计算量。

即，本发明可提供一种在控制机器人装置的机械手时，不必准备很多的基准图像，计算负担较轻，可进行迅速的控制，并且能够在三维空间内控制机械手对对象物的位置及姿势的机器人装置的控制方法及机器人装置。

附图说明

图1是表示涉及本发明的机器人装置的结构的模式侧视图。

图2是表示在涉及本发明的机器人装置中，当使机械手接近目标位置及目标姿势附近时，所获得的多个图像的正视图。

图中：

1—机械手，1a—第一联杆，1b—第二联杆，1c—第三联杆，1d—第四联杆，1e—第五联杆，1f—第六联杆，2a—第一关节，2b—第二关节，2c—第三关节，2d—第四关节，2e—第五关节，2f—第六关节，3—计算机，3a—存储器，3b—图像处理部，3c—动作指令生成部，5—前端工具机构，6—摄像机，101—对象物。

具体实施方式

下面，参照附图说明用于实施本发明的优选实施方式。

(机器人装置的结构)

图1是表示涉及本发明的机器人装置的结构的模式侧视图。

如图1所示，涉及本发明的机器人装置具有六个自由度的机械手1，通过这种机械手1，可以夹持或者搬运对象物101，或者把它组装到其它的部件上。

机械手1是由多个执行元件(驱动装置)和联杆(刚性的结构件)构成的，具有六个自由度。即，各联杆之间借助于能够转动(弯曲)或者可旋转的关节2a、2b、2c、2d、2e、2f连接，而且各自通过执行元件相对驱动。各执行元件由作为控制单元的计算机3所控制。

在该机械手1中，第一联杆(基端部的联杆)1a设置成通过第一关节2a将基端一侧连接在基台部分4上。第一关节2a是可绕垂直轴(z轴)旋转的关节。第二联杆1b的基端一侧通过第二关节2b连接在该第一联杆1a的前端一侧。第二关节2b是可使第二联杆1b绕水平轴转动的关节。第三联杆1c的基端一侧通过第三关节2c连接在第二联杆1b的前端一侧。第三关节2c是可使第三联杆1c绕水平轴转动的关节。

并且，第四联杆1d的基端一侧通过第四关节2d连接在第三联杆1c的前端一侧。第四关节2d是可使第四联杆1d绕第三联杆1c的轴旋转的关节。第五联杆1e的基端一侧通过第五关节2e连接在第四联杆1d的前端一侧。第五关节2e是可使第五联杆1e绕与第四联杆1d的轴垂直相交的轴转动的关节。第六联杆1f的基端一侧通过第六关节2f连接在第五联杆1e的前端一侧。第六关节2f是可使第六联杆1f绕第五联杆1e的轴旋转的关节。

这样，在机械手1中，由于交替地设置了共计六个可转动的关节和可旋转的关节，从而确保了六个自由度。

在第六联杆1f的前端一侧(下文中称为“手头”)上，设有夹持或者加工对象物101的前端工作机构5。该前端工作机构5，由计算机3或者图中未表示的其它控制装置所控制。另外，在手头附近，安装有构成为由摄像镜头及CCD或CMOS之类的固体摄像元件组成的摄像单元的摄相机6。

计算机3具有成为存储了平均图像固有值矩阵的存储单元的存储器3a。该存储器3a，将事先所获得的对象物的平均图像作为平均图像固有值矩阵存储。存储在存储器3a中的平均图像固有值矩阵，发送到成为运算单元的图像处理部3b中。该图像处理部3b算出在机械手1的动作过程中通过摄像机6获得的对象物101的图像与平均图像固有值矩阵的差分，并从该差分通过主成分分析算出特征量。

而且，该特征量被发送到中枢网络控制器即动作指令产生部(中枢网络控制器)3c中。该动作指令产生部分3c，控制已学习的中枢网络3d，输出与输入的特征量相应的指令信号。该指令信号发送到机械手1中。

并且，基于指令信号控制机械手1，使前端工具机构5向对对象物101的规定的位置姿势动作。即，在机械手1中，通过以第二联杆1b对第一联杆1a的位置、第三联杆1c对第二联杆1b的位置、第四联杆1d对第三联杆1c的位置的顺序依次控制前端一侧的联杆位置来控制手头的位置，通过该手头上的前端工具机构5，能够将所夹持的工件运送到规定的位置上。

(机器人装置的控制方法)

并且，在该机器人装置中，通过执行以下所示的涉及本发明的机器人装置的控制方法，可自动控制机械手1。即，在该机器人装置中，以使事先学习到的平均图像与通过摄像机6获得的图像一致的方式，使机械手1动作。

该机器人装置中的机械手1的控制，大致由“预处理”和“联机在线处理”两个步骤组成。

(1)预处理

在预处理中，使机械手1处于接近目标位置和目标姿势的状态，每次稍微改变位置及姿势，通过摄像机6拍摄几张对象物101的照片，求出这些照片的平均图像。并且，对所拍摄的各图像和平均图像的差乘以排列了特征值矢量的矩阵，算出特征量。将该特征量作为输入中枢网络3d的信息，将获得各图像时的前端工具机构5的位置及姿势作为输出的信息，以使中枢网络3d学习。

(2)联机在线处理

在联机在线处理中，由图像处理部3b对通过摄像机6获得的图像与平均图像的差乘以排列了特征值矢量的矩阵，求出特征量。将所求得的特征量输入到中枢网络3d中，获得机械手1动作所需的关节角度、手头位置、姿势。

在本发明中，无论是在预处理中还是联机在线处理中，都使用“对所获得图像与平均图像的差乘以排列了特征值矢量的矩阵的特征量”。使用这种特征量是本发明的特征。下面将进一步说明该特征量及各种处理。该特征量是从图像的整体求出的全局的特征量，与使用对象物101中的特定形状的位置、大小等的局部特征量的现有技术相比，具有可靠性高，能应对三维空间中的控制，而且，能够减少联机在线处理中的计算量。

(关于特征量算出)

本发明中的特征量的计算，利用称之为主成分分析(PCA)的方式进行。首先，准备P张相同析像度的，例如，纵向q1个像素，横向q2个像素的灰色标度的图像。将第p张图像的亮度作为沿纵向排成一列的纵向矢量Ip，将该图像的X坐标x，Y坐标的y的像素的亮度作为Ipxy。即，在Ip中并排地排列Ip11、Ip12、Ip13、......Ip1q1、Ip21、Ip22、......和像素的亮度。该像素的平均亮度Iaxy如下式所示。

Iaxy＝(I1xy+I2xy+......+IPxy)/P

若对全部像素都进行这种计算，则能获得平均图像Ia。此外，虽然原来的图像是将q1×q2的像素排列起来的，但是，在Ia中，在不是灰色标度的图像而是彩色图像的场合，对每一个色通道，即，在RGB图像的场合，通过对红、蓝、绿各色通道求出平均亮度，获得平均图像。

该平均图像Ia与第p个图像Ip的差ΔIp的定义如下。

ΔIp＝Ip-Ia

ΔIp与Ip相同地都是大小为q1×q2的纵向矢量。分别对P张图像求出ΔIp，将这些沿着横向排列所得到的矩阵作为A。

A＝(ΔI1、ΔI2、......、ΔIp)

并且，求出如下相关矩阵C。

C＝A’A/P

这里的A’指A的转置矩阵。由于该矩阵的大小为P×P的实对称矩阵，所以能求出P个特征值。在这P个特征值中，将数值较大的M个特征值设为λi(其中，i＝1～M，M是调节值)，与其相对应的固定矢量设为ei(其中，i＝1～M)，并定义将特征矢量ei沿横向排列的矩阵U。

U＝(e1、e2、......、eM)

并且，全局的特征量y以下式定义。

y＝U’(I-Ia)

这里，I是将形状整成与Ia同样大小的任意的图像。对任意图像和平均图像的亮度差乘以变换矩阵U’后的特征量y是大小为M的矢量。由于图像具有q1×q2的信息，所以能大幅度地压缩信息量。例如，若使q1＝64、q2＝48，则虽然成为像素数为3072个的信息，但能将处理的信息量压缩到M＝6。这种特征量y，可以称之为全局特征量。

(预处理)

如上所述，预处理是使中枢网络3d学习的处理。首先，使机械手1处于接近目标位置和目标姿势的状态，获取P张图像Ip(p＝1～P)，并从这些获得平均图像。另外，同时也获得对获取了各自的图像时的机械手1的位置及姿势的六个自由度的相对手头位置及姿势xp(p＝1～6，大小为6的矢量)。

图2是表示在目标位置和目标姿势的附近所获得的多个图像的正视图。

例如，如图2所示，假设在使机械手1处于接近目标位置及目标姿势的状态下，获取了9张图像I1、I2、......Ip。在这些各图像中，对于目标位置，所观察的对象物101的外观(全局特征量)各不相同。使中枢网络3d学习这种所观察的对象物101的外观之差与机械手1的位置及姿势之差的关系。

即，如上所述，若对各图像求得全局的特征量yp(p＝1～P)，则能够得到获得了各全局特征量时的机械手1的位置及姿势信息。而且，将全局特征量yp对中枢网络3d输入，进行中枢网络3d的学习，以便获得相对手头位置及姿势xp。

此外，由于使用了中枢网络，因此，没有必要对机械手1的全部位置及姿势保存全局特征量。对于实际上没有获取的图像的全局特征量，由中枢网络的学习插入。对于这种中枢网络的结构或使之学习的方法、用于使之学习的输入输出的数据的处理，可以使用公知技术。

(联机在线处理)

联机在线处理是一边使机械手1动作一边基于通过摄像机6获取的图像实时控制机械手1的动作的处理。首先，在机械手1的动作过程中，通过摄像机获取图像。并且，如上所述，从所获取的图像与平均图像之差，求得全局特征量y。若将全局特征量y作为对已学习的中枢网络3d的输入信息，则可获得来自全局特征量y时的机械手1的目标位置及姿势的相对位置及姿势x。

即，通过中枢网络3d如上述学习，能够从所观察的对象物101的外观(全局特征量)之差推定机械手1的位置及姿势。

并且，通过使机械手1从当前的机械手1的位置及姿势仅以所获得的相对位置及姿势x动作，能够使机械手1实现目标位置及姿势地进行控制。

(本发明的特征)

如上所述，本发明与单纯地存储目标位置及姿势的绝对值的控制方法不同，由于本发明是基于从通过摄像机6所获取的图像与平均图像之差获得的全局特征量，推定机械手1所应该动作的相对位置及姿势的，所以，无论机械手1的初始位置及姿势如何，都能使机械手1以与任意位置上的对象物101相对应的目标位置及姿势动作。

以往，从所获取的图像中提取特征量，都是以圆形或多边形(线段)为轮廓提取后进行形状识别，并由此求出面积或重心位置、中心位置、大小等，而且将这些作为特征量的情况较多。在这种情况下，只要有微小的干扰或照明状态的变化等，识别结果就会受到影响，另外，识别误差会对机械手1的动作产生很大的影响。再有，图像处理需要很长的时间。

与此相反，由于本发明基于包含在作为电子数据的图像中的数值信息进行处理，所以抗干扰较强，非常可靠。另外，如上所述，由于在调节所使用的特征量的数量M方面，在快速计算特征量方面下了很多功夫，所以能缩短计算时间。

Claims (2)

1.一种机器人装置的控制方法，具有六个自由度以上的机械手，在机械手手头的位置上具有摄像单元，其特征在于，

从事先获得的对象物的平均图像和在上述机械手的动作过程中由上述摄像单元获得的上述对象物的图像的差分，通过主成分分析算出特征量，将该特征量输入到中枢网络控制器中，将由该中枢网络控制器所控制的中枢网络的输出作为指令信号，基于该指令信号，使上述机械手的前端向对上述对象物的所希望的位置姿势动作。

2.一种机器人装置，具备：

六个自由度以上的机械手；

设置在上述机械手的手头位置上的摄像单元；

存储事先获得的对象物的平均图像的存储单元；

计算从上述机械手动作过程中由上述摄像单元获得的上述对象物的图像与上述平均图像的差分，从该差分通过主成分分析算出特征量的运算单元；以及

在上述特征量输入后，控制中枢网络，使其输出指令信号的中枢网络控制器，其特征在于，

基于上述指令信号控制上述机械手，使上述机械手的前端向对上述对象物的规定的位置姿势动作。