CN107471218A

CN107471218A - 一种基于多目视觉的双臂机器人手眼协调方法

Info

Publication number: CN107471218A
Application number: CN201710802484.5A
Authority: CN
Inventors: 罗雨龙; 崔宪阳; 虞文杰; 吴巍; 郭毓; 黄颖; 苏鹏飞; 郭飞; 陈宝存; 肖潇
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2017-12-15
Anticipated expiration: 2037-09-07
Also published as: CN107471218B

Abstract

本发明公开了一种基于多目视觉的双臂机器人手眼协调方法，属于机器人视觉领域，利用两个多目摄像头进行目标定位，选取离目标物体较近的机械臂进行抓取，并同时进行对目标物体的重新定位，从而将目标物体抓取送至固定区域。本发明的基于多目视觉的双臂机器人手眼协调方法，解决了现有方案中双目摄像头中仅有单个摄像头拍摄到物体，无法实现双目测距定位的问题，提高了机械臂抓取目标物体的精度。

Description

一种基于多目视觉的双臂机器人手眼协调方法

技术领域

本发明涉及机器人视觉领域，具体涉及一种基于多目视觉的双臂机器人手眼协调方法。

背景技术

计算机视觉是指用摄像头代替人眼对目标进行识别、跟踪和测量，作为目前最为前沿的研究热点，基于计算机视觉的机器人技术被广泛应用于机器人控制领域。双目立体视觉是利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。视觉能为机器人提供丰富的环境和目标信息，为机器人的判断决策提供依据。

在实际操作过程中，采用平行固定双目立体视觉的测距以及机械手的抓取存在各种各样的问题，其中常见的情况有目标物体被遮挡或者其存在于视野之外导致拍摄不到或不全，而无法准确定位和抓取。如在专利“双目测距方法、装置和全景图像拼接方法及其系统”中，其详细地介绍了双目测距的原理。但是在实际的测距过程中，往往存在对目标物体捕捉的视觉盲区问题，即双目摄像头不能同时捕捉到目标物体，从而机械臂抓取失败。

发明内容

本发明提出了一种基于多目视觉的双臂机器人手眼协调方法。

实现本发明的技术解决方案为：一种基于多目视觉的双臂机器人手眼协调方法，具体步骤为：

步骤1、将两个双目摄像头分别安装至双臂机器人的机械臂上，并分别标定出摄像头到装有该摄像头的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵以及两个机械臂基座之间的变换矩阵；

步骤2、控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻；

步骤3、上位机提取并处理扫描终止时具有目标特征的两幅图像，获得目标物体的三维坐标信息，完成对目标物体的定位；

步骤4、基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取；

步骤5、将目标物体移至固定区域，机械臂返回初始状态，完成抓取任务。

本发明与现有技术相比，其显著优点为：

本发明采用两个多目摄像头进行拍摄，能够解决现有的双目摄像头以及单目摄像头的视觉盲区问题，大大提高摄像头成功捕捉目标的几率，而且在机械臂抓取的过程中，双目摄像头还对目标进行实时拍摄，不断获取目标的位置，持续更新目标的三维坐标，同时也相应的提高了机械臂抓取的精度。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为本发明的二维坐标转换示意图。

图2为本发明图像坐标系与灰度坐标系的转换示意图。

图3为本发明摄像机坐标系、世界坐标系、图像坐标系的关系示意图。

图4为本发明目标物体定位示意图。

图5为本发明一实施例的流程图。

具体实施方式

一种基于多目视觉的双臂机器人手眼协调方法，具体步骤为：

步骤2、控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻，具体步骤为：

步骤2-1、控制任意一条机械臂基座舵机缓慢旋转，带动双目摄像头对目标物体进行扫描和检测；

步骤2-2、保存目标物体的特征；

步骤2-3、控制基座舵机保持原有扫描方向继续转动30°，当可转动角度不足30°时，按可转动角度进行转动；

步骤2-4、判断该机械臂上的两个摄像头是否都拍摄到目标物体，若该机械臂上的两个摄像头都拍摄到目标物体，则停止扫描；若该机械臂上的两个摄像头中只有一个摄像头拍摄到目标物体，则控制另一条机械臂带动双目摄像头对目标物体进行扫描和检测，重复步骤2-2、步骤2-3，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻。

步骤3、上位机提取并处理扫描终止时具有目标特征的两幅图像，获得目标物体的三维坐标信息，完成对目标物体的定位，，具体步骤为：

步骤3-1、提取两幅具有目标特征的图像，得到目标物体分别在两幅图的图像坐标系中的像素坐标(u,v)；

步骤3-2、根据坐标系中长度与像素的关系，得到目标物体分别在两幅图的图像坐标系中的长度坐标(x,y)，具体为：

式中，d_x,d_y分别表示一个像素的长度和高度，u₀,v₀表示目标物体的图像投影点坐标；

步骤3-3、根据图像坐标系与摄像机坐标系的关系，得到目标物体分别在拍摄两幅图的摄像机坐标系中的三维坐标x_c,y_c,z_c，具体为：

步骤3-4、根据目标物体在拍摄到两个摄像机坐标系中的三维坐标x_c,y_c,z_c，得到目标物体在世界坐标系中的三维坐标x_w,y_w,z_w，具体为：

式中，矩阵M表示摄像头到世界坐标系原点的转移矩阵。

步骤4、基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取，具体步骤为：

步骤4-1、根据获取的目标物体的三维坐标信息，控制到目标物体距离最小的机械臂进行抓取；

步骤4-2、双目摄像头实时拍摄目标物体，获取目标物体新的三维坐标信息；

步骤4-3、重复步骤4-1、步骤4-2，直至机械臂抓取到目标物体，进行步骤5。

双目立体视觉是用两台摄像机在不同的位置进行拍摄，获取四周景物，分析两个摄像机视觉的公共部分，通过几何上的原理和视差原理就推导出公共部分的三维信息。

为了定量描述摄像机成像过程，需要用到坐标系转换的相关知识以及三种坐标系：图像坐标系，摄像机坐标系和世界坐标系。

1、二维坐标系的转换

如图1所示，新的坐标系O-X′Y′由原始坐标系O-XY坐标系旋转加上平移得到，旋转的角度为θ，以原始二维坐标系O-XY中的任意一点(x₀,y₀)作为新坐标系O-X′Y′的原点，可以得到不同坐标系任意坐标变换关系：

2、三维坐标系的转换

与二维类似，将三维坐标系的xyz三个坐标轴旋转的角度分别记为αβγ。

经过化简，可以得到转移矩阵：

无论是二维还是三维，在知道两个坐标系之间关系的时候，同一个物体在两个坐标系中的坐标都是可以相互转换的。

3、图像坐标系

结合图2所示，摄像机拍的图像按照数字形式传输到上位机，以m×n的数组的形式存在，数组中的每个元素值为像素，即图像的灰度，将该数组记为灰度坐标系O-UV，(u,v)表示该坐标系中的任意一点，但是该坐标系的坐标单位是像素。为了方便计算，以目标物体的图像投影点O₁(u₀,v₀)上建立坐标轴平行于u，v的图像坐标系O₁-XY，该坐标系中任意一点的坐标为(x,y)，其单位是mm。

此时，一个像素点在图像坐标系O₁-XY坐标系中的长度记为dx，dy，则任一点的坐标(u,v)在坐标系O₁-XY下的坐标为：

4、摄像机坐标系

如图3所示，O-X_cY_cZ_c坐标系为摄像机坐标系，即用摄像机光心O_c所在的位置为原点建立的坐标系。

5、世界坐标系

如图4所示，世界坐标系是客观世界的绝对坐标，是为了描述摄像机具体的位置而引入的，空间中的任何的物体的位置都可以世界坐标系来表示，世界坐标系用O-X_wY_wZ_w表示，在本发明中世界坐标系的原点为机械臂的末端。

目标物体p在摄像机拍摄到的图像的灰度坐标系中的坐标为(u,v)，则该点在图像坐标系中的坐标为：

目标物体p在两个摄像机坐标系下的坐标为(x_c,y_c,z_c)^T，目标物体p在图像坐标系和在摄像机坐标系之间的关系为：

式中，f表示摄像机的焦距。

设p在世界坐标系下的绝对坐标为(x_w,y_w,z_w)^T，则有坐标变换：

式中，矩阵M表示摄像头到世界坐标系原点的转移矩阵。但仅由一幅图片的数值并不能确定具体的坐标值，至少要用两个摄像头拍到的两幅图像才能实现。此时有两种情况，一种情况是两幅图像由位于同一机械臂上的两个单目摄像头拍摄，还有一种情况是两幅图像分别由位于两条机械臂上的一个单目摄像头拍摄。

当两幅图像由位于同一机械臂上的两个单目摄像头拍摄时，以该机械臂末端作为世界坐标系的原点，矩阵M即为摄像头到该机械臂末端的转移矩阵M₁，可由安装机械臂及摄像机时标定得到。

当两幅图像分别由位于两条机械臂上的一个单目摄像头拍摄时，以任意一条机械臂末端作为世界坐标系的原点，其中一幅图像由建立世界坐标系的机械臂上的摄像头拍摄，矩阵M即为摄像头到该机械臂末端的转移矩阵M₁；另外一幅图像由另一条机械臂上的摄像头拍摄，则矩阵M＝M₂T₁T₂T₃，其中，T₁表示另一-条机械手臂末端到该基座的变换矩阵，T₂表示两个机械臂基座之间的变换矩阵，T₃表示建立世界坐标系的机械手基座到该机械手末端的变换矩阵，M₂表示建立世界坐标系的机械臂上的摄像头到机械臂末端的转移矩阵，T₁、T₂、T₃以及M₂都可由标定得到。

从而，本发明公开的一种基于多目视觉的双臂机器人手眼协调方法，综合运用多目信息、双目测距原理及机械臂控制的手眼协调方法，对物体进行抓取。该方法克服了单条机械臂对目标物体进行测距时存在视觉盲区从而导致无法进行准确抓取的情况，提高了机械臂的抓取效率。

下面结合实施例进行更详细的描述。

实施例1

如图4所示，建立位置随机的两个摄像头的立体视觉的模型，两个单摄像头随机摆放。传统的双目系统中，将世界坐标系定在一个摄像机坐标系上，以减少计算量，但在本发明中采集到图像的摄像头未知，所以将世界坐标系原点定在摄像机坐标系上没有意义，因而本发明以任意一机械臂的末端作为原点建立世界坐标系。

本实施例中使用的具有目标特征的两幅图像由同一机械臂上的两个摄像头拍摄，以该机械臂末端作为世界坐标系的原点，则根据目标物体p分别在两幅图像的图像坐标系中的坐标(x,y)，分别得到目标物体p在两个摄像机坐标系中的坐标(x_c,y_c,z_c)^T，此时，摄像头到世界坐标系原点的转移矩阵M即为机械臂上的摄像头到该机械臂末端的转移矩阵M₁，从而根据摄像机坐标系与世界坐标系的关系：

得到到目标物体在世界坐标系中的绝对坐标(x_w,y_w,z_w)^T。

实施例2

本实施例中使用的具有目标特征的两幅图像分别由两个机械臂上的摄像头拍摄得到，其中一幅图像由建立世界坐标系的机械臂上的摄像机拍摄，则目标物体在该摄像机坐标系中的坐标与世界坐标系中的坐标系的关系为：

另外一幅图来自于另一条机械臂，此时矩阵M＝M₂T₁T₂T₃，式中，T₁表示另一条机械手臂末端到该基座的变换矩阵，T₂表示两个机械臂基座之间的变换矩阵，T₃表示建立世界坐标系的机械手基座到该机械手末端的变换矩阵，M₂表示建立世界坐标系的机械臂上的摄像头到机械臂末端的转移矩阵，则目标物体在该摄像机坐标系中的坐标与世界坐标系中的坐标系的关系为：

结合两个关系式，便能得到目标物体在世界坐标系中的三维坐标信息(x_w,y_w,z_w)^T。

Claims

1.一种基于多目视觉的双臂机器人手眼协调方法，其特征在于，具体步骤为：

2.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤2中控制机械臂移动，通过双目摄像头搜寻目标物体，并保存目标物体的特征，直到至少有两个单目摄像头拍摄到目标物体，完成对目标物体的搜寻，具体步骤为：

步骤2-2、保存目标物体的特征；

步骤2-3、控制基座舵机保持原有扫描方向继续转动30°，当可转动角度不足30时，按可转动角度进行转动；

3.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤3中上位机提取并处理扫描终止时具有目标特征的两幅图像，提取并处理具有目标特征的前两幅图像。

4.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤3中上位机提取并处理扫描终止时具有目标特征的图像，获得目标物体在世界坐标系中的三维坐标，完成对目标物体的定位，具体步骤为：

式中，矩阵M表示摄像头到世界坐标系原点的转移矩阵。

5.根据权利要求1所述的基于多目视觉的双臂机器人手眼协调方法，其特征在于，步骤4中基于目标物体的三维信息，控制机械臂进行抓取，完成对目标物体的抓取具体步骤为：