CN115194774A - 一种基于多目视觉的双机械臂抓握系统控制方法 - Google Patents

Abstract

本发明涉及一种基于多目视觉的双机械臂抓握系统控制方法，包括：搭建拟人型双机械臂，拟人型双机械臂设置有多个关节舵机以及用于控制各关节舵机工作状态的开发板；构建三目视觉识别分析系统，三目视觉识别分析系统包括用于采集目标物不同视觉图像的三目视觉相机，三目视觉相机连接至处理器，处理器用于进行图像识别分析，以及计算输出双机械臂各关节舵机的控制指令；处理器将控制指令传输给开发板，进而相应控制双机械臂完成对目标物的抓握操作。与现有技术相比，本发明能够实现对目标物的精准定位及识别，能够控制双机械臂针对不同目标物进行高效准确的单臂抓握操作或双臂协同抓握操作。

Description

一种基于多目视觉的双机械臂抓握系统控制方法

技术领域

本发明涉及双机械臂控制技术领域，尤其是涉及一种基于多目视觉的双机械臂抓握系统控制方法。

背景技术

随着工业自动化的快速发展，机械臂目前已被广泛应用于工业领域，主要通过3-4个自由度的机械臂完成一些简单的装配制造工作，工业机械臂大多用于流水线作业，其工作过程是基于既定的程序完成单调重复的操作，较为缺乏自主性与决策性。

因此，工业机械臂难以适用于复杂的日常生活场景，比如应用于家政服务机器人。现有技术中，有通过激光测距定位的方式，以实现对目标物的定位，再结合对机械臂的控制，从而使机械臂能够移动至目标物位置并进行相应操作。然而激光测距雷达的成本较高，线束越多、价格也相应越高，比如64线束的激光雷达，其价格高达几十万元；且激光测距雷达的测距空间范围有限，在动态变化大的环境中，容易发生定位丢失、错误的情况；此外，机械臂难以针对不同目标物进行相应操作，导致操作效率和操作准确度较低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多目视觉的双机械臂抓握系统控制方法，以实现对目标物的精准定位及识别，能够使双机械臂对目标物进行高效准确的操作。

本发明的目的可以通过以下技术方案来实现：一种基于多目视觉的双机械臂抓握系统控制方法，包括以下步骤：

S1、搭建拟人型双机械臂，所述拟人型双机械臂设置有多个关节舵机以及用于控制各关节舵机工作状态的开发板；

S2、构建三目视觉识别分析系统，所述三目视觉识别分析系统包括用于采集目标物不同视觉图像的三目视觉相机，所述三目视觉相机连接至处理器，所述处理器用于进行图像识别分析，以及计算输出双机械臂各关节舵机的控制指令；

S3、处理器将控制指令传输给开发板，进而相应控制双机械臂完成对目标物的抓握操作。

进一步地，所述步骤S1具体包括以下步骤：

S11、根据人体关节划分，将机械臂的设计分为肩关节、肘关节和腕关节；

为模仿人体手臂的运动，在每个关节设置2个关节舵机用来分摊2个自由度；

S12、根据扭矩计算公式以及测量的关节长度，计算出每个关节舵机对应的扭力数值，以完成关节舵机的选型；

S13、将各关节舵机对应连接至开发板，以从开发板接收相应控制指令。

进一步地，所述关节舵机具体采用磁编码纵向舵机。

进一步地，所述开发板具体为URT-1开发板。

进一步地，所述步骤S2中处理器的具体工作过程包括：

S21、对三目视觉相机采集的图像进行实例分割，以实现对图像中目标物的识别以及提取出待抓取目标的掩膜；

S22、针对提取出的掩膜，利用图像一阶矩计算出目标物质心像素坐标；

利用图像二阶矩计算出目标物的主轴与主轴方向角；

S23、利用三目立体视觉的空间坐标转换关系，将目标物质心的像素坐标转换为空间坐标，同时根据主轴方向角计算出需要双机械臂协同抓握的抓握点位置；

S24、构建逆向运动学表，结合主从控制原理，计算得到双机械臂各关节舵机的控制指令。

进一步地，所述步骤S21具体是采用Mask-RCNN算法对三目视觉相机采集的图像进行实例分割：

经过Mask-RCNN算法处理后的图像，图像中显示有目标物体的置信框以及Mask-RCNN中的mask分支、有覆盖目标的mask；

导出mask分支中覆盖目标物体的掩膜，修改mask矩阵颜色为白色255，非目标物体设置为黑色0；

将mask矩阵导出为jpg格式；

利用Open-cv内置库对处理后的jpg图片进行图像预处理操作；

对预处理后的图片进行灰度处理，之后对灰度图像进行二值化处理，通过设置阈值，使得图像mask部分为完整的连通状态，同时使得图像中目标物与背景之间存在明显分割。

进一步地，所述步骤S22具体包括以下步骤：

S221、利用图像矩，根据包裹目标物体的掩膜，求取二维平面下目标的质心：

其中，x_i为掩膜上第i个点，n为掩膜上总的点数；

S222、将二值图像像素综合表示为m₀0，计算目标掩模图像的一阶矩m₁0和m₀1，以确定灰度图像的灰度中心：

m₀0＝∑_x∑_yf(x,y)m₁0＝∑_x∑_yxf(x,y)，m₀1＝∑_x∑_yyf(x,y)

S223、对于躺倒放置的目标物体，在进行抓取时，利用图像二阶矩计算目标物体的主轴以及主轴方向角：

m₂0＝∑_x∑_yx²f(x,y),m₀2＝∑_x∑_yy²f(x,y),m₁1＝∑_x∑_yxyf(x,y)

利用目标物体的主轴以及主轴方向角，即可确定出双机械臂的末端作用器旋转角度。

进一步地，所述步骤S23具体包括以下步骤：

S231、求取相机内参数：

采集标定图像，通过调节相机的角度，使得相机的视野能够覆盖整个待抓取的区域方位，之后调节相机的焦距以及亮度；

从三个视角的相机各拍摄多张标定板的图像，同时保证每张图像中的标定板相差设定的位姿；

根据真实标定板的尺寸数值，求得相机的内参矩阵；

S232、在标记完相机内参后，利用三目立体视觉进行坐标转换：

三目立体视觉模型由三台摄像机组成，这三台摄像机的光轴分别成设定角度，利用C₁、C₂、C₃三台摄像机在成像平面上投影；

理想情况下，C₁和C₂组成的双目系统的测量值、C₁和C₃组成的双目系统的测量值以及C₂和C₃组成的双目系统的测量值，都应该与被测点P的实际坐标重合，即O₁P₁、O₂P₂、O₃P₃交于空间中的点P也就是被测点P，但在真实场景下，双目系统存在一定误差，测量值P₁、P₂、P₃与被测点P的实际坐标并不是完全重合，而是相交于空间三个不同的点，即O₁P₁、O₂P₂、O₃P₃两两相交的点，因此真实被测点P需通过双目视觉的定位算法求出；

基于双目视觉测量系统的误差，利用三目视觉融合求解被测物空间三维坐标，坐标转换表达式变为齐次变换形式：

假设P点的测量坐标为P＝(X_w,Y_w,Z_w)，其最优估计值满足目标函数：

F＝min(‖P-P₁‖+‖P-P₂‖+‖P‖)

由此确定的P点坐标即为P点真实坐标的最优估计。

进一步地，所述步骤S24中逆运动学表具体是采用Craig表达法，结合双机械臂的数学模型，以得到D-H参数表，利用D-H参数表即可解算出目标点每个关节需要旋转的角度。

进一步地，所述步骤S24具体包括以下步骤：

S241、将一条机械臂设置为主臂，另一条机械臂设为从臂，根据控制目标，预先规划主臂的运动轨迹，从臂跟随主臂运动，主、从臂之间满足闭链约束关系，根据运动约束关系推导从臂运动轨迹；

S242、根据坐标系关系，将目标物体设为Master，双臂设为Slaver，采用主从规划的方式，根据双臂末端和目标物体之间的约束关系，双臂跟随目标物体运动：首先规划物体轨迹，根据约束方程，分别求得双机械臂的末端轨迹，并在关节空间进行平滑处理，最后将轨迹控制指令发送给机械臂去执行。

与现有技术相比，本发明提出一种基于多目视觉的双机械臂抓握系统及其控制方法，通过搭建拟人型双机械臂、构建三目视觉识别分析系统，利用三目视觉识别分析系统采集目标物不同视觉图像，通过对图像进行识别分析，一方面能够识别出目标物并进行精准定位，另一方面能够计算输出对应于拟人型双机械臂的控制指令，从而使得双机械臂能够高效、准确实现对目标物的抓握操作，由此可将机械臂的应用领域扩展至更为复杂的日常生活服务场景。

本发明针对采集的图像，首先利用实例分割算法Mask-RCNN实现目标的识别与目标物掩膜的覆盖；之后通过图像一阶矩计算出目标物质心的像素坐标、二阶矩计算出目标物的主轴以及主轴方向角；再利用三目视觉空间坐标转换关系，将目标物的像素坐标转换为空间中的世界坐标；在得到目标物的世界坐标后，利用逆向运动学以及闭链运动学完成单臂抓握以及双臂协同抓握目标物的控制指令设计。由此使得双机械臂更具有自主性与决策性，能够针对识别出的目标物进行相应操作，比如若识别出单臂可以直接抓握的目标物，则控制采用单臂进行抓握；若识别出需要双臂协同进行抓握的目标物，则控制采用双臂协同进行抓握。

本发明基于视觉进行定位，即外部传感器仅仅为三个成本低廉的相机，相比于激光雷达的方式，大大降低了成本；相较于目前常见的双目视觉定位，本发明采用三个摄像头、利用三目视觉空间转换关系进行目标物的定位，相较于双目视觉拥有更广泛的视角，此外，在其中一个摄像机损坏的情况下，其余两台相机仍可组成双目视觉系统完成定位，更具有可靠性。

附图说明

图1为本发明的方法流程示意图；

图2a为人体手臂关节示意图；

图2b为实施例中搭建的拟人型机械臂示意图；

图3为实施例中拟人型双机械臂示意图；

图4为实施例中实例分割检测效果示意图；

图5为实施例中质心提取示意图；

图6为实施例中主轴以及主轴方向角示意图；

图7a为实施例中标定板图像示意图；

图7b为实施例中相机标定效果示意图；

图8为实施例中相机内参标定过程中旋转矩阵R的示意图；

图9为三目立体视觉示意图；

图10为双臂协作闭链运动学模型示意图；

图11a为实施例中单机械臂进行躺倒放置塑料瓶抓握的效果示意图；

图11b为实施例中单机械臂进行直立放置塑料瓶抓握的效果示意图；

图12a和图12b为实施例中双机械臂进行雨伞抓握的效果示意图；

图13a和图13b为实施例中单机械臂进行鸡蛋抓握的效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于多目视觉的双机械臂抓握系统控制方法，包括以下步骤：

S1、搭建拟人型双机械臂，其中，拟人型双机械臂设置有多个关节舵机以及用于控制各关节舵机工作状态的开发板；

S2、构建三目视觉识别分析系统，其中，三目视觉识别分析系统包括用于采集目标物不同视觉图像的三目视觉相机，三目视觉相机连接至处理器，处理器用于进行图像识别分析，以及计算输出双机械臂各关节舵机的控制指令；

S3、处理器将控制指令传输给开发板，进而相应控制双机械臂完成对目标物的抓握操作。

本实施例应用上述技术方案，主要包括：

一、搭建拟人型双机械臂，本实施例采用磁编码总线舵机作为机械臂的关节舵机，并根据扭矩计算公式计算出每个关节舵机的扭力数值，以对关节舵机进行选型；本实施例采用URT-1开发板实现对机械臂整条手臂的控制。

二、搭建三目视觉系统，本实施例采用实例分割算法(Mask-RCNN)实现对目标的识别以及掩膜的覆盖；

针对提取出的掩膜，利用图像一阶矩计算出目标物质心像素坐标，利用图像二阶矩计算出目标物的主轴与主轴方向角；

利用三目立体视觉的空间坐标转换关系，将目标物质心的像素坐标转换为空间坐标，同时根据计算出的主轴方向角，进一步计算出需要双臂协同抓握的抓握点，实现双臂协同抓握。

三、根据搭建出的机械臂，构建出机械臂的D-H参数表，利用逆向运动学实现对目标物抓取，同时利用双臂闭链运动学完成对目标物的双臂协同抓握。

具体的，本实施例在搭建拟人型双机械臂时，完全模仿人体手臂(如图2a所示)进行设计。人体双臂除去手掌部分还有6个自由度，本技术方案中，机械臂根据人体手臂的关节划分，如2b所示，将机械臂的设计分为肩关节、肘关节、腕关节。此外，为了精准模仿人手臂的运动，每个关节放置2个舵机用来分摊2个自由度；并且根据扭矩计算公式，对不同关节的舵机进行选型，以确保在极限扭力承载的情况下，仍可以抓取起目标物品。其中，扭矩计算公式为：

T＝F*D(即扭矩＝力*力矩长度)

根据关节长度的测量以及扭矩计算，即可得到不同关节舵机对应扭矩的选型结果。本实施例中目标物体不超过1kg，需确保在机械臂极限承载情况下仍可以抓握起500g的目标物体，本实施例搭建的双机械臂实物如图3所示。

本实施例在求取目标质心以及主轴方向角时，主要包括以下内容：

针对三目视觉相机采集的图片，利用Mask-RCNN进行实例分割。根据识别出的类别提取出待抓取目标的掩膜，将提取出的掩膜利用Open-cv进行二值化灰度化操作等图像预处理操作。处理后目标图像中白色为连通部分，提取目标物的质心(利用数字处理中的图像矩进行目标物质心的提取)，也就是提取连通图部分的质心。

(1)如图4所示，经过Mask-RCNN算法处理后的图像，会显示出目标物体的置信框以及Mask-RCNN中的mask分支、有覆盖目标的mask。导出mask分支中覆盖目标物体的掩膜，修改mask矩阵颜色为白色255、非目标物体设置为黑色0。将mask矩阵导出为jpg格式，以用于后期的处理。

(2)对应处理后的jpg图片，利用Open-cv内置库进行图像预处理操作。利用medianBlur()函数实现，将预处理后的图片进行灰度处理，然后对图像进行二值化处理。设置阈值，使得图像mask部分为完整的连通状态，同时使得图像中目标物与背景有明显的分割。

(3)连通部分质心的提取主要用到了数字图像处理，计算机视觉相关领域中图像矩的应用。图像矩是指图像的某些特定像素灰度的加权平均值(矩)，或者是图像具有类似功能或意义的属性。图像矩通常用来描述分割后的图像对象，可以通过图像矩来获得图像的部分性质，包括面积(总体亮度)，以及有关几何中心和方向的信息。

本技术方案利用图像矩，根据包裹目标物体的掩膜，求取二维平面下目标的质心。假设经过处理的掩膜由n个点x_i组成，那么目标物的质心由下式给出：

二值图像像素综合表示为m₀0，计算目标掩模图像的一阶矩m₁0和m₀1用来确定灰度图像的灰度中心：

m₀0＝∑_x∑_yf(x,y)m₁0＝∑_x∑_yxf(x,y),m₀1＝∑_x∑_yyf(x,y) (2)

求取出目标二维图像坐标为

对于躺倒放置的目标物体，利用二指夹爪进行抓取时，需要求得目标物体的主轴以及主轴方向角，以用来计算末端作用器的旋转角度。本技术方案利用图像二阶矩计算目标物体的主轴以及主轴方向角：

m₂0＝∑_x∑_yx²f(x,y),m₀2＝∑_x∑_yy²f(x,y),m₁1＝∑_x∑_yxyf(x,y) (4)

计算出目标物体的倾斜角(即主轴方向角)为：

求取出的质心以及方向角结果如图5和图6所示。

对于需要双臂抓握的目标物体，则根据质心以及主轴方向角，计算抓握点的像素坐标，再通过空间坐标转换关系将像素坐标转换为世界坐标进行抓握。

本实施例在进行空间坐标转换时，考虑到机械臂抓取操作过程中，相机的作用在于完成对目标的识别和定位。本技术方案利用三目视觉，即通过相机标定以及三目立体视觉计算抓握点的世界坐标。具体流程如下：

本实施例选用MATLAB工具包对相机内参进行标定，相机标定采用张正友标定法，使用calibrateCamera()函数开始相机标定。第一步求取相机内参数：采集标定图像，首先手动调节相机的角度，使得相机的视野能够覆盖整个待抓取的桌面，然后调节相机的焦距以及亮度，使得图像达到较好的质量。如图7a和图7b所示，从三个视角的相机各拍摄20张标定板的照片，同时每张图片中的标定板应相差尽量大的位姿，然后根据真实标定板的尺寸数值，求得相机的内参矩阵。

导出相机内参：

三台相机的内参分别为：

外参矩阵通过PNP算法求得相机的外参矩阵，包括旋转矩阵R(如图8所示)与平移矩阵T。

三目相机相较于双目相机具有更大的视野，同时可以确保在其中一个相机损坏的情况下，利用另外两个相机组成双目视觉仍可进行空间定位。

在标记完相机内参后，利用三目立体视觉进行坐标转换。如图9所示，三目立体视觉模型是由三台摄像机组成，这三台摄像机的光轴分别成一定角度，三目相机立体视觉也可以看作是三个视觉模型。利用C₁、C₂、C₃三台摄像机在成像平面上投影。在理想情况下，C₁和C₂组成的双目系统的测量值、C₁和C₃组成的双目系统的测量值以及C₂和C₃组成的双目系统的测量值，都应该与被测点P的实际坐标重合，即O₁P₁、O₂P₂、O₃P₃交于空间中的点P，也就是被测点P。但在真实场景下，双目系统存在一定误差，测量值P₁、P₂、P₃与被测点P的实际坐标并不是完全重合，而是相交于空间三个不同的点，即O₁P₁、O₂P₂、O₃P₃两两相交的点，其中真实被测点P可以通过双目视觉的定位算法求出。

基于双目视觉测量系统的误差，本技术方案利用三目视觉融合求解被测物空间三维坐标。坐标转换表达式变为齐次变换形式：

假设P点的测量坐标为P＝(X_w,Y_w,Z_w)，其最优估计值满足目标函数：

F＝min(‖P-P₁‖+‖P-P₂‖+‖P‖) (11)

由上式确定的P点的坐标即认为是P点的真实坐标的最优估计。

本实施例在构建逆向运动学表时，考虑到逆向运动学是决定要达成所需要姿势而设置关节可活动对象的参数的过程。机械臂是由关节连接的物体、由一组通过关节连接的刚性片段组成。变换关节的角度可以产生无穷的形状，正向运动学问题的解，是给定这些角度时物体的姿势，而逆向运动学问题相对难度较高，主要在于解释给定物体的姿势，给定终端效果作用器在空间中的三维坐标时，需要找到每个关节需要运动的角度。

本实施例根据机械臂抽象的数学模型，采用Craig表达法构建的D-H参数如下表所示。

根据构建好的D-H参数表，可以解算出到达目标点每个关节需要旋转的角度：(θ₁，θ₂，θ₃，θ₄，θ₅，θ₆)。

本实施例在进行双臂协同控制时，对于双臂协调操作，常用方法是主从控制方法，这种方法的原理是将一条机械臂设置为主臂(Master)，另一条机械臂设为从臂(Slaver)，再根据控制目标预先规划主臂的运动轨迹，从臂跟随主臂运动、主从臂满足闭链约束关系，根据运动约束关系推导从臂运动轨迹。

根据坐标系关系，本实施例将物体设为Master，双臂设为slaver。采用主从规划的方式，根据双臂末端和物体间的约束关系，双臂跟随物体运动。首先规划物体轨迹，根据约束方程，分别求得左臂和右臂的末端轨迹。并在关节空间进行平滑处理，最后将轨迹发送给机械臂去执行。

如图10所示，双臂协作操作主要基于紧配合操作的类型，即双臂在抓住某一刚体运动时，两个末端抓手与被抓物体不发生相对运动。双臂与被抓物体之间会形成一个闭式运动链，双臂的运动也要受到相应的约束，并保持一定的运动关系。

根据坐标转换关系，可得双臂末端执行器和操作目标物质心相对于坐标原点的变换矩阵为：

式中，

及

均为常数矩阵，可得两个末端执行器之间得到位姿约束关系：

式中，

及

为两臂末端相对于坐标原点的位置矩阵；

及

为两臂末端相对于坐标原点的旋转矩阵。

由于不考虑两臂之间的相对运动，双臂末端速度相等，可以的到两臂末端的速度约束关系：

式中，J(q_L),J(q_R)分别表示左臂和右臂的雅克比矩阵，J_v(q),J_w(q)分别表示机械臂的位置雅克比矩阵和姿态雅克比矩阵。保持双臂系统的协调操作中的一种常用方法是相对雅克比矩阵，该方法允许将双臂系统考虑为唯一的冗余机械手，其关节数量等于每个机械手相对关节的综合。此外，用相对雅克比矩阵建模的双臂系统可以用与单臂系统相同的算法进行控制。然后，将相对雅克比矩阵推广到雅克比零空间保护中，以实现协同任务。

基于以上求解出的雅可比矩阵，即可求解出对应于各关机舵机的转动角度、速度以及加速度相关控制指令。处理器将以上控制指令通过开发板传输给各关节舵机，即可控制双机械臂完成对目标物的抓握操作。

本实施例中，分别针对躺倒放置的塑料瓶、直立放置的塑料瓶、雨伞以及鸡蛋进行抓握试验。如图11a和图11b所示，标定后的三目相机，利用Mask-RCNN进行实例分割，抓握目标是塑料瓶，采用单机械臂，将塑料瓶摆放在双臂可触及范围内的任意位置，在计算出质心转换为空间坐标后，根据逆向运动学，机械臂移动到目标物体位置实现抓取动作。

在日常生活中，存在一些单手抓握吃力、或者无法抓握的物体，比如雨伞、大包纸巾。单臂无法完成抓握，需要利用双臂去完成对目标物的抓握。首先依然是Mask-RCNN进行实例分割，以检测出雨伞、大包纸巾，之后获取雨伞的质心三维坐标，机械臂选取双臂抓握点，双臂跟随目标物移动，双臂协同将雨伞抓握，效果如图12a和图12b所示。

对于一些需要控制夹爪扭矩易碎的物品，比如鸡蛋。本实施例根据夹爪扭矩反馈，尝试采用单臂对鸡蛋进行抓握，识别出鸡蛋的空间位姿，控制夹爪的扭力，对生鸡蛋进行抓握，根据实验尝试与对抓握鸡蛋的扭矩把握，最终成功对鸡蛋进行了抓取(如图13a和图13b所示)，同时保证鸡蛋不会因扭力过大而夹碎。

综上可知，本技术方案基于多目视觉双机械臂抓握系统，通过构建拟人手6自由度机械臂，将机械臂与计算机视觉算法相结合，利用实例分割算法识别出目标物，利用三目立体视觉进行定位，针对不同目标物体采用把不同的抓握方式，单臂抓握以及双臂协同抓握。本技术方案突破了传统机械臂仅能完成单一重复操作的问题，同时采用拟人型机械手臂的设计，能够帮助用户完成一些人体手臂完成的日常操作。利用视觉算法以及机械臂运动学结合的方式，使得机械臂针对不同目标采用不同的抓握方式。本技术方案中机械臂设计贴近真实人体手臂，也是未来拟人型服务机器人的初步雏形。

本技术方案能够应用于服务机器人中，场景包括帮助人类完成简单目标物的抓取以及搬运动作。通过对机器人下达抓握指令，抓握一瓶饮料到指定位置，或者抓握一把雨伞到指定位置。机械臂根据识别算法识别出目标物的种类以及位置，自主进行决策实现单臂以及双臂抓握。

Claims (10)

1.一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，包括以下步骤：

S1、搭建拟人型双机械臂，所述拟人型双机械臂设置有多个关节舵机以及用于控制各关节舵机工作状态的开发板；

S2、构建三目视觉识别分析系统，所述三目视觉识别分析系统包括用于采集目标物不同视觉图像的三目视觉相机，所述三目视觉相机连接至处理器，所述处理器用于进行图像识别分析，以及计算输出双机械臂各关节舵机的控制指令；

S3、处理器将控制指令传输给开发板，进而相应控制双机械臂完成对目标物的抓握操作。

2.根据权利要求1所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、根据人体关节划分，将机械臂的设计分为肩关节、肘关节和腕关节；

为模仿人体手臂的运动，在每个关节设置2个关节舵机用来分摊2个自由度；

S12、根据扭矩计算公式以及测量的关节长度，计算出每个关节舵机对应的扭力数值，以完成关节舵机的选型；

S13、将各关节舵机对应连接至开发板，以从开发板接收相应控制指令。

3.根据权利要求1～2任一所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述关节舵机具体采用磁编码纵向舵机。

4.根据权利要求1～2任一所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述开发板具体为URT-1开发板。

5.根据权利要求1所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S2中处理器的具体工作过程包括：

S21、对三目视觉相机采集的图像进行实例分割，以实现对图像中目标物的识别以及提取出待抓取目标的掩膜；

S22、针对提取出的掩膜，利用图像一阶矩计算出目标物质心像素坐标；

利用图像二阶矩计算出目标物的主轴与主轴方向角；

S23、利用三目立体视觉的空间坐标转换关系，将目标物质心的像素坐标转换为空间坐标，同时根据主轴方向角计算出需要双机械臂协同抓握的抓握点位置；

S24、构建逆向运动学表，结合主从控制原理，计算得到双机械臂各关节舵机的控制指令。

6.根据权利要求5所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S21具体是采用Mask-RCNN算法对三目视觉相机采集的图像进行实例分割：

经过Mask-RCNN算法处理后的图像，图像中显示有目标物体的置信框以及Mask-RCNN中的mask分支、有覆盖目标的mask；

导出mask分支中覆盖目标物体的掩膜，修改mask矩阵颜色为白色255，非目标物体设置为黑色0；

将mask矩阵导出为jpg格式；

利用Open-cv内置库对处理后的jpg图片进行图像预处理操作；

对预处理后的图片进行灰度处理，之后对灰度图像进行二值化处理，通过设置阈值，使得图像mask部分为完整的连通状态，同时使得图像中目标物与背景之间存在明显分割。

7.根据权利要求6所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S22具体包括以下步骤：

S221、利用图像矩，根据包裹目标物体的掩膜，求取二维平面下目标的质心：

其中，x_i为掩膜上第i个点，n为掩膜上总的点数；

S222、将二值图像像素综合表示为m₀0，计算目标掩模图像的一阶矩m₁0和m₀1，以确定灰度图像的灰度中心：

S223、对于躺倒放置的目标物体，在进行抓取时，利用图像二阶矩计算目标物体的主轴以及主轴方向角：

利用目标物体的主轴以及主轴方向角，即可确定出双机械臂的末端作用器旋转角度。

8.根据权利要求7所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S23具体包括以下步骤：

S231、求取相机内参数：

采集标定图像，通过调节相机的角度，使得相机的视野能够覆盖整个待抓取的区域方位，之后调节相机的焦距以及亮度；

从三个视角的相机各拍摄多张标定板的图像，同时保证每张图像中的标定板相差设定的位姿；

根据真实标定板的尺寸数值，求得相机的内参矩阵；

S232、在标记完相机内参后，利用三目立体视觉进行坐标转换：

三目立体视觉模型由三台摄像机组成，这三台摄像机的光轴分别成设定角度，利用C₁、C₂、C₃三台摄像机在成像平面上投影；

理想情况下，C₁和C₂组成的双目系统的测量值、C₁和C₃组成的双目系统的测量值以及C₂和C₃组成的双目系统的测量值，都应该与被测点P的实际坐标重合，即O₁P₁、O₂P₂、O₃P₃交于空间中的点P也就是被测点P，但在真实场景下，双目系统存在一定误差，测量值P₁、P₂、P₃与被测点P的实际坐标并不是完全重合，而是相交于空间三个不同的点，即O₁P₁、O₂P₂、O₃P₃两两相交的点，因此真实被测点P需通过双目视觉的定位算法求出；

基于双目视觉测量系统的误差，利用三目视觉融合求解被测物空间三维坐标，坐标转换表达式变为齐次变换形式：

假设P点的测量坐标为P＝(X_w,Y_w,Z_w)，其最优估计值满足目标函数：

F＝min(‖P-P₁‖+‖P-P₂‖+‖P‖)

由此确定的P点坐标即为P点真实坐标的最优估计。

9.根据权利要求5所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S24中逆运动学表具体是采用Craig表达法，结合双机械臂的数学模型，以得到D-H参数表，利用D-H参数表即可解算出目标点每个关节需要旋转的角度。

10.根据权利要求5所述的一种基于多目视觉的双机械臂抓握系统控制方法，其特征在于，所述步骤S24具体包括以下步骤：

S241、将一条机械臂设置为主臂，另一条机械臂设为从臂，根据控制目标，预先规划主臂的运动轨迹，从臂跟随主臂运动，主、从臂之间满足闭链约束关系，根据运动约束关系推导从臂运动轨迹；

S242、根据坐标系关系，将目标物体设为Master，双臂设为Slaver，采用主从规划的方式，根据双臂末端和目标物体之间的约束关系，双臂跟随目标物体运动：首先规划物体轨迹，根据约束方程，分别求得双机械臂的末端轨迹，并在关节空间进行平滑处理，最后将轨迹控制指令发送给机械臂去执行。

Images