CN107883929B - 基于多关节机械臂的单目视觉定位装置及方法 - Google Patents

Abstract

本发明提供一种基于多关节机械臂的单目视觉定位装置及方法，该方法包括：采集包含待定位目标的图像信息；识别所述图像信息内的目标；控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合，分别记录重合状态下所述单目摄像机的位姿坐标；根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标。在目标对准光轴的条件下采用空间几何运算获取目标位置，不涉及复杂的处理算法与相机内部参数标定，高效实用。不需要专门的测距仪，也无需双目摄像机，具有设备成本低廉，操作简单的优点。

Description

基于多关节机械臂的单目视觉定位装置及方法

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种基于多关节机械臂的单目视觉定位装置及方法。

背景技术

随着智能化水平的提高与机器人使用的普及，基于机器视觉的机械臂移动控制已广受关注。即通过机器视觉获取目标定位，然后，控制机械臂末端移动到目标点执行抓取等相关操作。

视觉引导过程中，目前普遍采用的视觉定位方法有：专用测距+单目视觉、双目立体视觉、单目视觉等。其中专用测距+单目视觉方法中，通过专用测距仪(超声波测距仪、激光测距仪等)获取目标的Z向距离坐标，通过二维图像处理获取X、Y向坐标。双目立体视觉定位方法中，利用两个距离一定的单目摄像机采集图像，通过图像处理手段获取两单目摄像机图像中匹配点对之间的距离，即视差，结合视差与深度信息之间的对应关系，可获取目标点距离信息，结合所得距离与焦距，进一步可获取X、Y方向的坐标信息。

单目视觉方法中，主要分为单帧图像视觉定位与多帧图像视觉定位：单帧图像视觉定位中，采集单帧目标图像，并在目标上设定相对位置已知的多个标志点，结合相机内部参数与焦距，基于针孔模型求解目标三维位置；多帧图像视觉定位中，单目摄像机于不同位姿采集多帧目标图像，基于相机内部参数、图像特征点匹配、基本矩阵、本质矩阵、相机转移矩阵、目标像素坐标求出目标三维位置，并通过多点位置信息建立目标坐标系，推出位姿信息。相对专用测距+单目视觉与双目视觉定位而言，单目视觉定位具有系统简单，成本较低且定位空间广等优点。

发明专利201710209981.4公开了一种伺服随动视觉装置及动态跟踪测距方法，方法中通过伺服驱动两台相距一定距离的摄像机使目标趋近光轴，然后，通过伺服电机编码器测量光轴与基线夹角，经过几何运算获取目标位置。

发明专利201210203745.9公开了一种基于机械臂与单目视觉的喷雾定位方法，方法中将单目摄像机光轴对准目标形心，并沿光轴移动，在两个不同距离条件下采集图像并基于相机内部参数计算目标图像的特征尺寸，结合移动距离差，通过比例运算获取目标到摄像机的距离值；然后，根据所得距离、目标图像尺寸及单目摄像机焦距，可获取目标在单目摄像机坐标系下的位置与尺寸信息；最后，通过坐标系转换，获取目标在世界坐标系下位置信息。

发明专利201410016272.0公开了一种基于机械臂与单目视觉的目标位姿测量方法，该方法首先进行相机内部参数标定，机械臂手眼标定，并基于对极几何法获取两不同拍摄位姿条件下目标图像的基础矩阵；然后结合基础矩阵、内参矩阵、本质矩阵、手眼标定矩阵，获取两拍摄位置的单目摄像机旋转矩阵与位移变换矩阵；之后基于这两个单目摄像机变换矩阵、目标像素坐标、目标上标记点实际物理距离，获取目标上标定点相对于单目摄像机的三维坐标；最终根据多标记点空间位置建立目标坐标系，获取目标相对单目摄像机坐标系与世界坐标系的整体位姿状态。

然而，上述视觉定位方法虽然在精度方面可取得较好效果，但存在系统成本高、相机内参标定繁琐、处理算法复杂等缺点，因此，如何提出一种成本低、操作及计算简单的单目视觉定位装置及方法是本发明亟需解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多关节机械臂的单目视觉定位装置及方法，用于解决现有技术中机器臂单目视觉定位系统成本高、相机内参标定繁琐、处理算法复杂的问题。

为实现上述目的及其他相关目的，本发明提供一种基于多关节机械臂的单目视觉定位装置，包括：

机械臂基座、多关节机械臂、单目摄像机与控制设备；

所述多关节机械臂安装于所述机械臂基座上，所述单目摄像机安装在机械臂上，用于实时采集图像信息；且所述图像信息包含多种位姿状态下的待定位目标的图像；

所述控制设备分别与多关节机械臂、单目摄像机相连；所述控制设备包括存储器与处理器，所述存储器用于存储程序和图像信息，所述处理器用于运行该程序，其中，所述程序进一步包括：

识别程序，其配置为识别所述图像信息内的待定位目标；

控制程序，其配置为控制所述多关节机械臂处于不同的位姿状态，其中，所述单目摄像机在该种位姿状态下所对应的光轴点与待定位目标重合；

计算程序，其配置为根据接收到的所述图像信息获取所述单目摄像机的光轴点与目标重合下至少两个不同的摄像机位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

本发明的另一目的还在于提供一种基于多关节机械臂的单目视觉定位方法，包括：

采集包含待定位目标的图像信息；

识别所述图像信息内的目标；

控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合，分别记录重合状态下所述单目摄像机的位姿坐标；

根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

如上所述，本发明的基于多关节机械臂的单目视觉定位装置及方法，具有以下有益效果：

本发明提供的单目视觉定位方法在目标对准光轴的条件下采用空间几何运算获取目标距离，不涉及复杂的处理算法与相机内部参数标定，高效实用。不需要专门的测距仪，也无需双目单目摄像机，具有系统成本低，操作简单的优点。

附图说明

图1显示为本发明提供的一种基于多关节机械臂的单目视觉定位系统结构框图；

图2显示为本发明提供的一种基于多关节机械臂的单目视觉定位方法流程图；

图3显示为本发明提供的一种基于几何运算的目标位置求解结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

请参阅图1，本发明提供的一种基于多关节机械臂的单目视觉定位系统结构框图，包括：

机械臂基座、多关节机械臂、单目摄像机与控制设备；

所述多关节机械臂安装于所述机械臂基座上，所述单目摄像机安装在机械臂上，用于实时采集图像信息；且所述图像信息包含多种位姿状态下的待定位目标的图像；

所述控制设备分别与多关节机械臂、单目摄像机相连；所述控制设备包括存储器与处理器，所述存储器用于存储程序和图像信息，所述处理器用于运行该程序，其中，所述程序进一步包括：

识别程序，其配置为识别所述图像信息内的待定位目标；

控制程序，其配置为控制所述多关节机械臂处于不同的位姿状态，其中，所述单目摄像机在该种位姿状态下所对应的光轴点与待定位目标重合；

计算程序，其配置为根据接收到的所述图像信息获取所述单目摄像机的光轴点与目标重合下至少两个不同的摄像机位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

具体地，机械臂由多个旋转关节组成，在此优选为六个旋转关节，理论上可实现空间任意位姿状态的到达。因此所述机械臂带动安装在其上的单目摄像机，可以在任意位姿移动与旋转，获得更大的视觉空间，避免视觉遮挡，相对于单关节机械臂，可更自由地跟踪目标，避免目标溢出像面。

机械臂基座的基坐标系B设置于第一关节处，同时，该坐标系与大地坐标系保持固定。工具坐标系设置于机器臂末端单目摄像机安装位置，与摄像机坐标系重合，即单目摄像机的位姿坐标可视为工具坐标系T相对于基坐标系B的位姿坐标。工具坐标系[T]相对于基坐标系[B]之间位姿关系通过转换矩阵

获取，该转换矩阵与机械臂结构、各关节角度有关，可通过工具坐标系标定方法获取。

另外，为了方便控制，控制机械臂末端移动时可以选择以工具坐标系T为基准，在运动学/动力学模型的基础上实现摄像机位姿坐标的准确控制。所述单目摄像机可随意光学调焦或放大，以获取清晰的目标图像，提高跟踪测距精度。

在本实施例中，所述控制系统控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合，分别记录重合状态下所述单目摄像机的位姿坐标，根据所述单目摄像机不同的位姿坐标利用空间几何原理，计算待定位目标的空间坐标。相对于现有的视觉定位装置，不需要专门的测距仪，也无需双目摄像机，具有成本低的优点，同时，采用空间几何运算获取目标距离，不涉及复杂的处理算法与相机内部参数标定，方便高效。

请参阅图2，本发明提供一种基于多关节机械臂的单目视觉定位方法流程图，包括：

步骤S1，采集包含待定位目标的图像信息；

其中，利用单目摄像机安装于多关节机械臂上，使得待定位目标进入单目摄像机的视野范围内。

步骤S2，识别所述图像信息内的目标；

其中，图像预处理滤除噪声，利用存储的图像信息与当前获取的图像信息进行比较实现对待定位目标的图像定位，从而识别到图像信息内的待定位目标。

步骤S3，控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合，分别记录重合状态下所述单目摄像机的位姿坐标；

具体地，该步骤详述如下：

步骤S301，控制所述单目摄像机的位姿变化，使待定位目标进入单目摄像机的视野范围；

步骤S302，根据图像中待定位目标与单目摄像机的光轴点的距离差，控制单目摄像机的位姿使其光轴点与该目标重合，获取该状态下所述单目摄像机的位姿坐标；

步骤S303，重复上述步骤，获取至少两种不同位姿状态下所述单目摄像机光轴点与目标重合的单目摄像机位姿坐标。

以摄像机位姿坐标为控制对象，在待定位目标的定位过程中，控制机械臂末端移动至被定位目标的上方，使得该目标进入单目摄像机的视野范围内，同时采集该图像信息，并对图像信息的目标进行识别。

获取到该目标后，根据摄像机图像中轴心点与目标的距离差，基于工具坐标系[T]控制机械臂末端在工具坐标系[T]的XY平面内移动，使单目摄像机图像轴心点与目标点基本重合，并记录该重合状态下工具坐标系[T]相对于基坐标系[B]的位姿坐标为

获取P1点之后，控制机械臂末端使其工具坐标系[T]绕其X轴旋转角度J1，然后，在工具坐标系XY平面内移动末端位置，使图像轴心点与目标点再次重合，并记录该状态下工具坐标系[T]相对于基坐标系的姿态坐标为

步骤S4，根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

其中，在单目摄像机的光轴线的延长线相交于待定位目标时，步骤S4详述如下：

步骤S401，在至少两种不同摄像机位姿状态下所述单目摄像机光轴点与目标重合，所述单目摄像机的光轴线的延长线将相交于待定位目标；

步骤S402，根据至少两个所述位姿坐标得到至少两条光轴线的直线方程；

步骤S403，利用所述直线方程交点求解方式计算待定位目标的三维坐标。

或者，在采集图像过程中，由于平面坐标的测量误差、噪声以及单目摄像机的影响，两条直线可能不会存在相交点。而在单目摄像机的光轴线的延长线无法相交于待定位目标但非常接近于相交所述待定位目标时，步骤S4详述如下：

步骤S401，在至少两种不同摄像机位姿状态下所述单目摄像机光轴点与目标重合，所述单目摄像机的光轴线的延长线不相交于待定位目标且接近相交于待定位目标；

步骤S402，根据至少两个所述位姿坐标得到至少两条光轴线的直线方程；

步骤S403，利用所述直线方程的公垂线中点以计算该待定位目标的三维坐标。

具体地，请参阅图3，为本发明提供的一种基于几何运算的目标位置求解结构示意图，详述如下：

两种重合状态下的单目摄像机光轴延长线将交于目标P。结合两姿态坐标，两光轴线(工具坐标系Z轴线)的方程可分别表示为L1＝(x1、y1、z1、α1、β1、γ1)与L2＝(x2、y2、z2、α2、β2、γ2)，其中，(α1、β1、γ1)、(α2、β2、γ2)分别为两光轴线在基坐标系下的单位向量，可通过已获取的摄像机姿态坐标进行求取。

最后，通过直线方程交点求解方法，可得目标三维坐标为：(kα1+x1，kβ1+y1，kγ1+z1)

其中：

或者，当求解两光轴延长线交点可能并不存在时，可以求取两直线方程的公垂线中点来近似作为两直线交点，对应的公垂线中点三维坐标为：

其中：

N1＝(β1β2+γ1γ2)α1-(β1²+γ1²)α2

N2＝(β1β2+γ1γ2)α2-(β2²+γ2²)α1

Q1＝(α1α2+γ1γ2)β1-(α1²+γ1²)β2

Q2＝(α1α2+γ1γ2)β2-(α2²+γ2²)β1

M1＝(β1β2+α1α2)γ1-(β1²+α1²)γ2

M2＝(β1β2+α1α2)γ2-(β2²+α2²)γ1

综上所述，本发明提供的单目视觉定位方法在目标对准光轴的条件下采用空间几何运算获取目标坐标，不涉及复杂的处理算法与相机内部参数标定，高效实用。不需要专门的测距仪，也无需双目摄像机，具有系统成本低，操作简单的优点。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种基于多关节机械臂的单目视觉定位装置，其特征在于，包括：机械臂基座、多关节机械臂、单目摄像机与控制设备；

所述多关节机械臂安装于所述机械臂基座上，所述单目摄像机安装在机械臂上，用于实时采集图像信息；且所述图像信息包含多种位姿状态下的待定位目标的图像；

所述控制设备分别与多关节机械臂、单目摄像机相连；所述控制设备包括存储器与处理器，所述存储器用于存储程序与图像信息，所述处理器用于运行该程序，其中，所述程序进一步包括：

识别程序，其配置为识别所述图像信息内的待定位目标；

控制程序，其配置为控制所述多关节机械臂处于不同的位姿状态，其中，所述单目摄像机在该种位姿状态下所对应的光轴点与待定位目标重合；

计算程序，其配置为根据接收到的所述图像信息获取所述单目摄像机的光轴点与目标重合下至少两个不同的摄像机位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

2.一种基于多关节机械臂的单目视觉定位方法，其特征在于，包括：

采集包含待定位目标的图像信息；

识别所述图像信息内的目标；

控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合，分别记录重合状态下所述单目摄像机的位姿坐标；

根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标。

3.根据权利要求2所述的基于多关节机械臂的单目视觉定位方法，其特征在于，所述采集包含待定位目标的图像信息的步骤，包括：

将所述单目摄像机安装于多关节机械臂上，使得所述单目摄像机位于多种位姿状态皆可采集到待定位目标的图像信息。

4.根据权利要求2所述的基于多关节机械臂的单目视觉定位方法，其特征在于，所述目标为空间内任意一个点。

5.根据权利要求2所述的基于多关节机械臂的单目视觉定位方法，其特征在于，所述控制多关节机械臂位于至少两种不同位姿状态，使得单目摄像机的光轴点分别与该目标重合的步骤，包括：

控制所述单目摄像机的位姿变化，使待定位目标进入单目摄像机的视野范围；

根据图像中待定位目标与单目摄像机的光轴点的距离差，控制单目摄像机的位姿使其光轴点与该目标重合，获取该状态下所述单目摄像机的位姿坐标；

重复上述步骤，获取至少两种不同位姿状态下所述单目摄像机光轴点与目标重合的单目摄像机位姿坐标。

6.根据权利要求2所述的基于多关节机械臂的单目视觉定位方法，其特征在于，所述根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标的步骤，包括：

在至少两种不同摄像机位姿状态下所述单目摄像机光轴点与目标重合，所述单目摄像机的光轴线的延长线将相交于待定位目标；

根据至少两个所述位姿坐标得到至少两条光轴线的直线方程；

利用所述直线方程交点求解方式计算待定位目标的三维坐标。

7.根据权利要求2所述的基于多关节机械臂的单目视觉定位方法，其特征在于，所述根据所述单目摄像机不同的位姿坐标，利用空间几何原理计算待定位目标的空间坐标的步骤，包括：

在至少两种不同摄像机位姿状态下所述单目摄像机光轴点与目标重合，所述单目摄像机的光轴线的延长线不相交于待定位目标且接近相交于待定位目标；

根据至少两个所述位姿坐标得到至少两条光轴线的直线方程；

利用所述直线方程的公垂线中点以计算待定位目标的三维坐标。

Images