CN111695562A - 一种基于卷积神经网络的机器人自主抓取方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的机器人自主抓取方法，包括：首先构建抓取检测模型，通过大量的数据集训练得到鲁棒性更强泛化能力更好的特征提取器；采集包含待抓取物体的场景图像送入到抓取检测模型中，得到待抓取物体在图像空间下的抓取框；根据机器人抓取过程中各坐标系之间的转换关系得到最终抓取位姿，控制机械臂到达指定位姿完成自主抓取操作。本发明将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率，有效的改善了机器人在非结构化环境中自主抓取的性能。

Description

一种基于卷积神经网络的机器人自主抓取方法

技术领域

本发明属于机器人智能控制与计算机视觉领域，具体涉及一种基于卷积神经网络的机器人自主抓取方法。

背景技术

随着科技的发展以及社会的进步，人们不仅仅希望从简单重复的工作中解脱出来，而且更加盼望机器人能够在生产生活中满足人们各方面的需求。提升机器人智能化的同时也面临着许多技术难题，其中之一就是机器人在非结构环境下自主抓取问题，因为抓取是机器人与外界交互的主要方式之一。

传统的工业机器人往往工作在结构化环境中，其依靠目标物体的三维模型进行抓取规划。而非结构化环境下预先知道目标物体的三维模型往往是不现实的，因为非结构化环境中包含大量未知物体，且待抓取物体的尺度存在变化以及物体间存在重叠遮挡等诸多因素。针对此问题，常用的方法是利用卷积神经网络来学习待抓取物体的特征信息，得到待抓取物体与机器人之间位姿映射关系从而实现自主抓取。相比人工设计得到的特征或根据待抓取物体的三维特征建立数据库保存抓取经验等方法，卷积神经网络通过大量的训练数据集得到鲁棒性更强泛化能力更好的特征提取器，能够进一步的将抓取经验迁移到未曾见过的物体上。为了提高抓取检测算法的整体性能，算法的网络结构往往比较复杂，但随着网络深度的加深计算的复杂程度也随之加大，同时也更加需要依赖硬件资源。因此，利用卷积神经网络、计算机视觉以及机器人运动学等相关技术，兼顾算法的准确率以及实时性，如何研发一套基于卷积神经网络的机器人自主抓取算法是亟待解决的问题。

发明内容

针对目前存在的问题，本发明提供了一种基于卷积神经网络的机器人自主抓取算法,能够同时在多个尺度下对目标物体进行检测，提高算法的准确率。同时在抓取检测过程中能满足实时性的要求，保证机器人能够在非结构化环境以及一些复杂场景下的自主抓取。

为达到上述目的，本发明采用的技术方案为，一种基于卷积神经网络的机器人自主抓取方法，包括以下步骤：

S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计，具体包括：

S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准。将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中。

S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测。抓取检测模型以五维向量抓取框的形式进行输出，抓取框定义为：

G＝{x,y,h,w,θ} (1)

其中，(x,y)表示抓取框的中心点；(h,w)表示抓取框的长度和宽度；θ表示抓取框的方位角，本发明将方向角的预测转化为分类与回归组合的问题，定义为：

θ＝θ_cls+θ_reg (2)

其中，θ_cls表示方向角的类别，θ_cls∈{0°,10°，…,170°}，将方向角从0°～180°依次划分成18个类别。θ_reg表示方向角回归部分的具体角度，θ_reg∈[0°,10°)。

S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失(L_reg)、分类损失(L_cls)和置信度损失(L_conf)。回归损失包含抓取框的定位损失以及方向角的回归部分的损失。其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好。方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好。回归部分的损失函数定义为：

其中S×S表示每张图片预测的栅格数；B表示每个栅格预测抓取框的数目；

表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；k表示抓取框的预测值，k′表示抓取框的真实值；θ_reg表示方向角回归部分的预测值，θ′_reg表示方向角回归部分的真实值。

分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss,当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确。分类部分的损失函数定义为：

其中θ_cls表示方向角分类部分的预测值，θ′_cls表示方角分类部分的真实值。

置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域。置信度部损失函数定义为：

其中c表示预测出的置信度，c′表示真实的置信度。

总的损失函数(Loss)为回归损失、分类损失以及置信度损失的加权和，定义为：

Loss＝αL_reg+βL_cls+L_conf (6)

其中α为回归损失部分的加权系数；β为分类损失部分的加权系数。

S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集。同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型。

S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求。最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿。预测的过程可以表示为：

F(img_RGB)→G_obj(x,y,w,h,θ) (7)

其中,F表示抓取检测模型；img_RGB表示包含RGB信息的输入图片；G_obj表示待抓取物体在像素坐标系下的抓取位姿。

S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取。

实现从待抓取物体的像素坐标到机器人关节坐标的转化，需要经过3次坐标变换和1次运动学求逆计算，假设将其统称为4次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数可以表示为：

其中，

代表像素坐标系到相机坐标系的变换矩阵；

代表相机坐标系到机器人基坐标系的变换矩阵；

代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；

代表机器人末端执行器位姿到关节坐标的变换矩阵。

与现有技术相比，本发明具有以下优点：

1.本发明为解决机器人在非结构环境下以及复杂场景中的自主抓取问题，提出了一种基于卷积神经网络的机器人自主抓取方法。使用卷积神经网络通过大量的预训练数据得可以到鲁棒性更强泛化能力更好的特征提取器，能够进一步的将抓取经验迁移到未曾见过的物体上。

2.本发明将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率。

附图说明

图1为本发明方法整体流程图。

图2为本发明方法中抓取检测模型结构示意图。

图3为本发明方法中抓取检测模型抓取检的定义图。

图4为本发明方法中某些实例物体的抓取框预测结果示意图。

图5为本发明方法中机器人抓取过程坐标系之间转化的关系图。

具体实施方式

为了能更好的理解本发明，下面结合附图和实施例对本发明进行详细描述。

本发明方法的流程图如图1所示，包括以下步骤：

S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计。抓取检测模型结构示意图如图2所示。

在步骤S1中，包括如下子步骤。

S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准。将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中。

S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测。假设输入图像的尺度为(w,h)，那么对应的三个尺度特征图的尺寸依次为

分别针对小中大物体进行检测。抓取检测模型以五维向量抓取框的形式进行输出，如图3所示，抓取框定义为：

G＝{x,y,h,w,θ} (9)

其中，(x,y)表示抓取框的中心点；(h,w)表示抓取框的长度和宽度；θ表示抓取框的方位角，本发明将方向角的预测转化为分类与回归组合的问题，定义为：

θ＝θ_cls+θ_reg (10)

其中，θ_cls表示方向角的类别，θ_cls∈{0°,10°，…,170°}，将方向角从0°～180°依次划分成18个类别。θ_reg表示方向角回归部分的具体角度，θ_reg∈[0°,10°)。

S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失(L_reg)、分类损失(L_cls)和置信度损失(L_conf)。回归损失包含抓取框的定位损失以及方向角的回归部分的损失。其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好。方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好。回归部分的损失函数定义为：

其中S×S表示每张图片预测的栅格数；B表示每个栅格预测抓取框的数目；

表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；k表示抓取框的预测值，k′表示抓取框的真实值；θ_reg表示方向角回归部分的预测值，θ′_reg表示方向角回归部分的真实值。

分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss,当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确。分类部分的损失函数定义为：

其中θ_cls表示方向角分类部分的预测值，θ′_cls表示方角分类部分的真实值。

置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域。置信度部损失函数定义为：

其中c表示预测出的置信度，c′表示真实的置信度。

总的损失函数(Loss)为回归损失、分类损失以及置信度损失的加权和，定义为：

Loss＝αL_reg+βL_cls+L_conf (14)

其中α为回归损失部分的加权系数；β为分类损失部分的加权系数。

S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集。同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型。

S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求。最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿。预测的过程可以表示为：

F(img_RGB)→G_obj(x,y,w,h,θ) (15)

其中,F表示抓取检测模型；img_RGB表示包含RGB信息的输入图片；G_obj表示待抓取物体在像素坐标系下的抓取位姿。

如图4所示第一行为包含待抓取物体的原始图片。第二行为单一尺度下的检测结果，图中方框为G_obj(x,y,w,h,θ)可视化后的结果，可以看出预测出来的抓取框基本能满足真实抓取，但部分抓取框偏大。第三行表示的是多尺度下的检测结果，可以明显看出检测更加符合实际抓取需求。

S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取。

实现从待抓取物体的像素坐标到机器人关节坐标的转化，转化过程如图5所示，需要经过3次坐标变换和1次运动学求逆计算，假设将其统称为4次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数可以表示为：

其中，

代表像素坐标系到相机坐标系的变换矩阵；

代表相机坐标系到机器人基坐标系的变换矩阵；

代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；

代表机器人末端执行器位姿到关节坐标的变换矩阵。

总之本发明为解决机器人在非结构环境下以及复杂场景中的自主抓取问题，提出了一种基于卷积神经网络的机器人自主抓取方法。使用卷积神经网络通过大量的预训练数据得可以到鲁棒性更强泛化能力更好的特征信息，能够进一步的将抓取经验迁移到未曾见过的物体上。同时将跨尺度检测的思想带入到抓取框的识别中，提高了不同尺度下的检测效果。同时将抓取框方向角的预测转化为分类与回归的组合，改善了多角度抓取的性能，提高了算法的准确率。

尽管以上结合附图对本发明的具体实施过程进行了描述，但本发明并不局限于上述的具体实施方案，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于卷积神经网络的机器人自主抓取方法，其特征在于：包含以下步骤：

S1：构建基于多尺度特征的抓取检测模型，实现对抓取位姿的估计，具体包括：

S11：抓取检测模型特征提取部分的设计：特征提取部分以Darknet-53网络为基础，将SE模块嵌入到Darknet-53网络中的前四组残差结构中，使网络能够感知不同特征通道的重要程度，实现通道的自适应校准；将末端残差结构中的3×3的卷积替换为可变形卷积，使卷积核可以根据待抓取物体轮廓作为边界，而不是将感受眼局限于规则的矩形之中；

S12：抓取检测模型输出检测部分的设计：输出检测部分采用跨尺度预测的思想，抓取检测模型依次在三个尺度的特征图上进行抓取框的预测；抓取检测模型以五维向量抓取框的形式进行输出，抓取框定义为：

G＝{x,y,h,w,θ} (1)

其中，(x,y)表示抓取框的中心点；(h,w)表示抓取框的长度和宽度；θ表示抓取框的方位角，本发明将方向角的预测转化为分类与回归组合的问题，定义为：

θ＝θ_cls+θ_reg (2)

其中，θ_cls表示方向角的类别，θ_cls∈{0°,10°，…,170°}，将方向角从0°～180°依次划分成18个类别；θ_reg表示方向角回归部分的具体角度，θ_reg∈[0°,10°)；

S13：抓取检测模型损失函数的设计：损失函数主要分为回归损失(L_reg)、分类损失(L_cls)和置信度损失(L_conf)；回归损失包含抓取框的定位损失以及方向角的回归部分的损失；其中抓取框的定位损失采用DIoU，当预测的抓取框与真值框的DIoU值越高时，表明两个边界框重叠和对齐的越好；方向角回归部分的损失采用smoothL1，当预测的抓取框与真值框的smoothL1值越小时，表明方向角回归的越好；回归部分的损失函数定义为：

其中S×S表示每张图片预测的栅格数；B表示每个栅格预测抓取框的数目；

表示第i个栅格中第j个抓取框是否包含待抓取物体，有为1没有为0；k表示抓取框的预测值，k′表示抓取框的真实值；θ_reg表示方向角回归部分的预测值，θ_r′_eg表示方向角回归部分的真实值；

分类损失部分主要为方向角分类部分的损失，其损失函数采用FocalLoss,当预测的抓取框与真值框的FocalLoss值越小时，表明方向角分到类别的越正确；分类部分的损失函数定义为：

其中θ_cls表示方向角分类部分的预测值，θ_c′_ls表示方角分类部分的真实值；

置信度为判断某个栅格内是否包含待抓取物体，同时也更好的让模型去区分前景区域与背景区域；置信度部损失函数定义为：

其中c表示预测出的置信度，c′表示真实的置信度；

总的损失函数(Loss)为回归损失、分类损失以及置信度损失的加权和，定义为：

Loss＝αL_reg+βL_cls+L_conf (6)

其中α为回归损失部分的加权系数；β为分类损失部分的加权系数；

S2：通过视觉传感器采集大量包含待抓取物体的场景信息，并作为训练的数据集；同时为了防止抓取检测模型过拟合借助迁移学习的思想对抓取检测模型进行训练，最终得到鲁棒性更强泛化能力更好的抓取检测模型；

S3：将抓取检测模型运用到实际检测过程中，将包含待抓取物体的场景图片输入到抓取检测模型中，并对输入图像进行预处理，使其符合抓取检测模型的输入要求；最终抓取检测模型预测得到待抓取物体在像素坐标系下的抓取位姿；预测的过程表示为：

F(img_RGB)→G_obj(x,y,w,h,θ) (7)

其中,F表示抓取检测模型；img_RGB表示包含RGB信息的输入图片；G_obj表示待抓取物体在像素坐标系下的抓取位姿；

S4：根据相机内参将像素坐标系下的抓取位姿转化到相机坐标系下，根据手眼参数将相机坐标系下的抓取位姿转化到机器人基坐标下，通过与末端执行器之间的坐标变化关系进一步得到末端执行器的抓取位姿，最后根据建立的机器人运动学模型，通过计算机器人逆运动学求解得到机器人各个关节的坐标，驱动各关节到达指定位置完成对物体的抓取；

实现从待抓取物体的像素坐标到机器人关节坐标的转化，需要经过3次坐标变换和1次运动学求逆计算，假设将其统称为4次变换，那么待抓取物体在像素坐标系下的抓取位姿到机器人关节坐标的映射函数可以表示为：

其中，

代表像素坐标系到相机坐标系的变换矩阵；

代表相机坐标系到机器人基坐标系的变换矩阵；

代表机器人基坐标系到机器人末端执行器位姿的变换矩阵；

代表机器人末端执行器位姿到关节坐标的变换矩阵。

Images