CN112184819B - 机器人的引导方法、装置、计算机设备和存储介质 - Google Patents
机器人的引导方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112184819B CN112184819B CN202011134308.7A CN202011134308A CN112184819B CN 112184819 B CN112184819 B CN 112184819B CN 202011134308 A CN202011134308 A CN 202011134308A CN 112184819 B CN112184819 B CN 112184819B
- Authority
- CN
- China
- Prior art keywords
- robot
- posture
- target
- relative
- guiding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 abstract 3
- 210000001503 joint Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 208000025962 Crush injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明实施例公开了一种机器人的引导方法、装置、计算机设备和存储介质。该方法包括:获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;根据所述相对位姿确定所述机器人的目标引导数据;基于所述目标引导数据引导所述机器人进行位姿变换。本发明实施例通过采用上述技术方案,根据机器人的相对位姿确定机器人的引导数据,无需采用标定板对机器人进行标定,能够降低机器人引导数据的确定难度,减少机器人引导所耗费的人力与物力。
Description
技术领域
本发明涉及机器人技术领域,尤其涉及一种机器人的引导方法、装置、计算机设备和存储介质。
背景技术
随着自动化技术的发展,越来越多的生产线上开始使用工业机器人进行作业。
在使用工业机器人进行作业时,需要确定工业机器人的引导数据,基于该引导数据引导工业机器人进行位姿变换。现有技术在确定工业机器人的引导数据时,需要使用标定板对机器人进行手眼标定。
然而,在使用标定板对机器人进行手眼标定时需要采集工业机器人大量的位姿信息,且受到设备操作空间或者治具的限制,很多时候无法顺利的放置或安装标定板,需要在设备前期设计一套完整的、涉及到机构、软件和视觉等各方面的标定方案,操作复杂,导致机器人引导需要耗费较多的人力与物力。
发明内容
有鉴于此,本发明实施例提供一种机器人的引导方法、装置、计算机设备和存储介质,以减少机器人引导所耗费的人力与物力。
第一方面,本发明实施例提供了一种机器人的引导方法,包括:
获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
根据所述相对位姿确定所述机器人的目标引导数据;
基于所述目标引导数据引导所述机器人进行位姿变换。
第二方面,本发明实施例提供了一种机器人的引导装置,包括:
位姿获取模块,用于获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
数据确定模块,用于根据所述相对位姿确定所述机器人的目标引导数据;
位姿变换模块,用于基于所述目标引导数据引导所述机器人进行位姿变换。
第三方面,本发明实施例提供了一种计算机设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例所述的机器人的引导方法。
第四方面,本发明实施例还提供了一种,包括计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所述的机器人的引导方法。
本发明实施例提供的机器人的引导方法、装置、计算机设备和存储介质,分别获取机器人位于参考位置与当前位置时的当前相对位姿和机器人位于目标位置与参考位置时的目标相对位姿,根据该当前相对位姿和该目标相对位姿确定机器人的目标引导数据,并基于该目标引导数据引导机器人进行位姿变换。本发明实施例通过采用上述技术方案,根据机器人的相对位姿确定机器人的引导数据,无需采用标定板对机器人进行标定,能够降低机器人引导数据的确定难度,减少机器人引导所耗费的人力与物力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一提供的一种机器人的引导方法的流程示意图;
图2为本发明实施例二提供的一种机器人的引导方法的流程示意图;
图3为本发明实施例三提供的一种机器人的引导装置的结构框图;
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例一提供一种机器人的引导方法。该方法可以由机器人的引导装置执行,其中,该装置可以由软件和/或硬件实现,一般可集成在能够引导机器人进行位姿变换的计算机设备中,适用于引导机器人进行作业的场景,尤其适用于引导工业机器人进行作业的场景。图1是本发明实施例一提供的一种机器人的引导方法的流程示意图。如图1所示,该方法包括:
S110、获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿。
其中,机器人可以理解为需要引导的机器人,如移动机器人或工业机器人等,以下以工业机器人(即机械手)为例进行说明。相应的,机器人的相对位姿可以理解为机器人的夹爪位于两不同位置时其位姿的变化情况,机器人的相对位姿可以包括机器人在参考位置时相对于其在当前位置时的当前相对位姿和机器人在目标位置时相对于其在参考位置时的目标相对位姿,该当前相对位姿和该目标相对位姿可以为机器人在图像坐标系中的相对位姿。当前位置可以理解为本次对工业机器人进行引导时工业机器人的夹爪所处的起始位置;目标位置可以理解为本次对工业机器人进行引导时工业机器人的夹爪所处的终点位置。
具体的,可以通过图像采集的方式确定机器人在图像坐标系中的当前位姿和目标位姿,进而根据该当前位姿和目标位姿,以及预先存储的机器人在参考位置的参考位姿,计算得到机器人的当前相对位姿和目标相对位姿,作为机器人的相对位姿。
在本实施例中,参考位置可以包括一个或两个机器人位姿已知的位置,只需用于采集图像以确定机器人的当前位姿的摄像机的拍摄范围内和用于采集图像以确定机器人的目标位姿的摄像机的拍摄范围均存在至少一个参考位置即可。例如,可以通过第一摄像头进行图像采集确定机器人的当前位姿,并通过第二摄像头进行图像采集确定机器人的目标位姿,当第一摄像头的拍摄范围和第二摄像头的拍摄范围存在交集时,参考位置可以包括一个或两个机器人位姿已知的位置;当第一摄像头的拍摄范围和第二摄像头的拍摄范围不存在交集时,参考位置可以包括两个机器人位姿已知的位置。以下以参考位置包括两个机器人位姿已知的位置为例进行说明,此时,优选的,所述参考位置包括第一参考位置和第二参考位置,所述当前相对位姿为机器人分别位于第一参考位置和当前位置时在第一摄像头的第一图像坐标系中的相对位姿,所述目标相对位姿为机器人分别位于目标位置和第二参考位置时在第二摄像头的第二图像坐标系中的相对位姿。其中,第一参考位置可以理解为第一摄像头的拍摄范围内的一个机器人位姿已知的位置,第二参考位置可以理解为第二摄像头的拍摄范围内的一个机器人位姿已知的位置。
S120、根据所述相对位姿确定所述机器人的目标引导数据。
其中,目标引导数据可以理解为用于引导机器人由当前位置移动到目标位置并在目标位置呈现相应的姿态的引导信息,当引导机器人在二维平面内进行位姿变换时,其可以包括机器人在该二维平面对应的空间坐标系的x轴方向和y轴方向需要移动的距离以及机器人需要旋转的角度;当引导机器人在三维空间进行位姿变换时,其可以包括机器人在三维空间对应的空间坐标系的x轴方向、y轴方向和z轴方向需要移动的距离以及机器人需要旋转的角度。
具体的,在获取到机器人在图像坐标系中的当前相对位姿和目标相对位姿之后,可以根据图像坐标系与空间坐标系(即机器人自身的坐标系)的夹角以及图像坐标系所对应摄像头的像素当量,将该当前相对位姿和目标相对位姿转换为空间坐标系中的相对位姿,进而确定机器人由当前位姿转换为目标位姿需要移动的距离和旋转的角度,得到机器人的目标引导数据。某一摄像头的像素当量为该摄像头所采集的图像中一个像素在空间坐标系中所对应的物理长度,单位为mm/pixel。
S130、基于所述目标引导数据引导所述机器人进行位姿变换。
在本实施例中,在基于目标引导数据引导机器人进行位姿变换时,机器人位置的移动和方向的旋转可以并行或串行进行,即可以控制机器人移动目标引导数据中其需要移动的距离,并在机器人移动的同时控制其旋转目标引导数据中其需要旋转的角度;也可以首先控制机器人移动其需要移动的距离,并在移动完成后再控制机器人旋转其需要旋转的角度,或者,首先控制机器人旋转其需要旋转的角度,并在旋转完成后再控制机器人移动其需要移动的距离,本实施例不对此进行限制。
本发明实施例一提供的机器人的引导方法,分别获取机器人位于参考位置与当前位置时的当前相对位姿和机器人位于目标位置与参考位置时的目标相对位姿,根据该当前相对位姿和该目标相对位姿确定机器人的目标引导数据,并基于该目标引导数据引导机器人进行位姿变换。本实施例通过采用上述技术方案,根据机器人的相对位姿确定机器人的引导数据,无需采用标定板对机器人进行标定,能够降低机器人引导数据的确定难度,减少机器人引导所耗费的人力与物力。
实施例二
图2为本发明实施例二提供的一种机器人的引导方法的流程示意图。本实施例在上述实施例的基础上,将“获取机器人的相对位姿”优化为:分别获取机器人位于当前位置时在第一摄像头的第一图像坐标系中的当前位姿以及机器人位于目标位置时在第二摄像头的第二图像坐标系中的目标位姿;根据所述当前位姿、所述目标位姿、所述机器人位于第一参考位置时的第一参考位姿和所述机器人位于第二参考位置时的第二参考位姿确定所述机器人的当前相对位姿和目标相对位姿,作为所述机器人的相对位姿。
进一步地,在所述获取机器人的相对位姿之前,还包括:通过第一摄像头采集机器人位于第一参考位置时的第一参考图像,并记录所述机器人在所述第一参考图像中的第一参考位姿;以及,通过第二摄像头采集机器人位于第二参考位置时的第二参考图像,并记录所述机器人在第二参考图像中的第二参考位姿。
进一步地,所述根据所述相对位姿确定所述机器人的目标引导数据,包括:根据所述相对位姿以及所述机器人的参考引导数据确定所述机器人的目标引导数据,所述参考引导数据用于引导所述机器人由所述第一参考位姿变换为所述第二参考位姿。
相应的,如图2所示,本实施例提供的机器人的引导方法可以包括:
S210、通过第一摄像头采集机器人位于第一参考位置时的第一参考图像,并记录所述机器人在所述第一参考图像中的第一参考位姿。
S220、通过第二摄像头采集机器人位于第二参考位置时的第二参考图像,并记录所述机器人在第二参考图像中的第二参考位姿。
其中,第一摄像头可以为用于对第一部件进行拍摄并采集第一部件的图像的摄像头,第二摄像头可以为用于对第二部件进行拍摄并采集第二部件的图像的摄像头。该第一部件和第二部件可以理解为需要通过引导机器人完成对接的两个部件,如当引导机器人拾取位置不确定(即位置未知)的部件时,第一部件可以为机器人的夹爪,第二部件可以为需要拾取的该部件;当引导机器人放置某一部件到指定位置时,第一部件可以为需要放置的该部件,第二部件可以为需要放置的该指定位置;当引导机器人将两个位置不确定的部件进行对接时,第一部件可以为需要对接的一个部件,第二部件可以为需要对接的另一个部件。此时,相应的,机器人在第一参考图像中的第一参考位姿可以为第一部件在位于第一参考位置时在第一参考图像中的位姿,机器人在第二参考图像中的第二参考位姿可以为第二部件在位于第二参考位置时在第二参考图像中的位姿。
示例性的,工作人员将第一摄像头固定安装(即不随机器人进行移动),并在第一摄像头安装完成后,将第一部件移动到第一摄像头的拍摄范围之内的合适位置(如使第一部件位于第一参考图像中心附近的位置),并执行用于触发本端进行第一参考位姿确定的第一触发操作;相应的,本端在监测到工作人员的第一触发操作时,控制第一摄像头进行图像采集,得到第一参考图像并采用设定算法识别确定第一部件在第一参考图像中的位姿(即位置坐标和角度),作为机器人在第一参考图像中的第一参考位姿。
工作人员将第二摄像头固定安装,并在第二摄像头安装完成后,将第二部件移动到第二摄像头的拍摄范围之内的合适位置,并执行用于触发本端进行第二参考位姿确定的第二触发操作;相应的,本端在监测到工作人员的第二触发操作时,控制第二摄像头进行图像采集,得到第二参考图像并采用设定算法识别确定第二部件在第二参考图像中的位姿(即位置坐标和角度),作为机器人在第二参考图像中的第二参考位姿。
可以理解的是,在一些应用场景中,也可以不采集第一参考位姿或第二参考位姿,如当引导机器人拾取位置不确定的部件时,第一部件(即机器人夹爪)的位姿一般是已知的,此时可以不采集第一参考位姿,即可以不安装第一摄像头;当引导机器人放置某一部件到指定位置时,第二部件(即需要放置的指定位置)是已知的,此时可以不采集第二参考位姿,即可以不安装第二摄像头。在实际应用时,机器人的引导过程可以包含多个场景的组合,如当引导机器人拾取一个位置不确定的部件并将其放置到指定位置时,机器人的引导过程包含拾取位置不确定的部件的场景和放置部件到指定位置的场景的组合;当引导机器人拾取一个位置不确定的部件并与另一个位置不确定的部件进行对接时,机器人的引导过程包含拾取位置不确定的部件的场景和将两个位置不确定的部件进行对接的场景的组合,此时,可以分别计算机器人的引导过程所包含的每个引导场景的子引导数据,并将各子引导数据进行组合得到机器人的目标引导数据。
S230、分别获取机器人位于当前位置时在第一摄像头的第一图像坐标系中的当前位姿以及机器人位于目标位置时在第二摄像头的第二图像坐标系中的目标位姿。
其中,机器人的当前位姿可以通过机器人当前需要对接的第一目标部件对接前在第一摄像头的第一图像坐标系中的位姿进行表示;机器人的目标位姿可以通过机器人当前需要对接的第二目标部件对接前在第二摄像头的第二图像坐标系中的位姿进行表示。在此,第一目标部件优选为与第一部件型号相同且位于第一摄像头的拍摄范围内的部件,第二部件优选为与第二部件型号相同且位于第二摄像头的拍摄范围内的部件。
具体的,在需要引导机器人完成第一目标部件与第二目标部件的对接时,可以分别控制第一摄像头和第二摄像头进行图像采集,得到包含第一目标部件的第一目标图像和包含第二目标部件的第二目标图像,采用设定算法确定第一目标部件在第一目标图像中位姿,作为机器人的当前位姿,并采用设定算法确定第二目标部件在第二目标图像中的位姿,作为机器人的目标位姿。
在本实施例中,在确定某一部件(如第一部件、第二部件、第一目标部件或第二目标部件等)在某一图像(如第一参考图像、第二参考图像、第一目标图像或第二目标图像等)中的位姿时,可以首先识别该部件在图像中的各特征点,基于各特征点确定该部件在图像中的位姿。识别某一部件在图像中的特征点所采用的算法可以根据需要设置,如可以采用Halcon机器视觉算法作为基础算法,在需要识别某一部件在图像中的特征点时,基于工作人员预先输入的信息(如获取该部件的特征点时需要调用的模板文件以及需要抓取其特征点的边缘信息),调用该部件对应的模板文件,即可识别得到该部件在图像中的各特征点。
其中,部件的特征点可以根据需要设置,当以部件上两条边缘的交点作为特征点,以其中一条边缘的方向作为部件的方向时,工作人员可以提供对应的模板文件和两个抓取边缘的感兴趣区域(Region Of Interest,ROI);当以部件上的一个圆的圆心作为特征点,一条边缘的方向作为部件的方向时,工作人员可以提供对应的模板文件和两个抓取边缘的ROI;当以部件上的一个十字标记的中心作为特征点的,以该十字标记与部件上的另外一个十字标记的中心连线形成的直线的方向作为部件的方向时,工作人员可以提供对应的模板文件和四个抓取边缘的ROI;当以部件上的一个圆的圆心作为特征点,以该圆心与部件上的另外一个圆的圆心连线形成的直线的方向作为部件的方向时,工作人员可以提供对应的模板文件和两个抓取边缘的ROI;当以部件上一对边缘的中线与另外一对边缘的中线的交点作为特征点,以第一对边缘的中线的方向作为部件的方向时,工作人员可以提供对应的模板文件和四个抓取边缘的ROI;当创建部件上的一个模型,并以模型的原点作为特征点,以模型的方向作为部件的方向时,工作人员可以提供对应的模板文件;当创建部件上的两个模型,以第一个模型的原点作为特征点,以两个模型原点连线的方向作为部件的方向时,需工作人员可以提供部件的两个模板文件。
S240、根据所述当前位姿、所述目标位姿、所述机器人位于第一参考位置时的第一参考位姿和所述机器人位于第二参考位置时的第二参考位姿确定所述机器人的当前相对位姿和目标相对位姿,作为所述机器人的相对位姿。
其中,所述当前相对位姿为机器人分别位于第一参考位置和当前位置时在第一摄像头的第一图像坐标系中的相对位姿,所述目标相对位姿为机器人分别位于目标位置和第二参考位置时在第二摄像头的第二图像坐标系中的相对位姿。
在本实施例中,位姿可以通过位置坐标和角度进行描述,相应的,可以通过计算机器人的第一参考位姿与当前位姿的位置坐标差和角度差确定机器人的当前相对位姿,并通过计算机器人的目标位姿与第二参考位姿的位置坐标差和角度差确定机器人的目标相对位姿。
S250、根据所述相对位姿以及所述机器人的参考引导数据确定所述机器人的目标引导数据,所述参考引导数据用于引导所述机器人由所述第一参考位姿变换为所述第二参考位姿。
其中,参考引导数据可以预先采集得到,如工作人员可以在第一摄像头和第二摄像头安装完成后,分别将第一部件设置为第一参考位姿并将第二部件设置为第二参考位姿,手动操作机器人,使机器人完成第一部件与第二部件的对接,记录机器人在空间坐标系中移动的距离和旋转的角度,作为机器人的参考引导数据。
在本步骤中,由于当前相对位姿基于第一参考位置和当前位姿计算得到,且第一参考位姿和当前位姿为机器人在同一图像坐标系中的位姿,故当前相对位姿与其空间坐标系中对应的实际距离和角度之间的对应关系是固定的,同理,目标相对位姿与其在空间直角坐标系中对应的实际距离和角度之间的关系也是固定的,因此,本实施例可以根据该当前相对位姿、参考引导数据和该目标相对位姿确定机器人的目标引导数据。
在一个优选实施方式中,可以根据所述相对位姿确定所述机器人的第一引导数据和第二引导数据,所述第一引导数据用于引导所述机器人由所述当前位姿变换为所述第一参考位姿,所述第二引导数据用于引导所述机器人由所述第二参考位姿变换为所述目标参考位姿;根据所述第一引导数据、所述参考引导数据和所述第二引导数据确定所述机器人的目标引导数据。其中,第一引导数据可以包括第一目标部件由当前位置移动到第一参考位置时机器人在空间坐标系x轴方向和y轴方向需要移动的距离和机器人需要旋转的角度,其可以通过计算当前相对位姿在控件坐标系中对应的实际距离和角度得到;第二引导数据可以包括第一目标部件由第二参考位置移动到目标位置时机器人在空间坐标系x轴方向和y轴方向需要移动的距离和机器人需要旋转的角度,其可以通过计算目标相对位姿在控件坐标系中对应的实际距离和角度得到。
S260、基于所述目标引导数据引导所述机器人进行位姿变换。
在一个实施方式中,所述机器人的引导方法还包括:采用预先设置的修正数据对所述目标引导数据进行修正;相应的,所述基于所述目标引导数据引导所述机器人进行位姿变换,包括:基于修正后的目标引导数据引导所述机器人进行位姿变换。
在上述实施方式中,由于在对机器人进行引导之前需要工作人员手动对接第一部件和第二部件确定机器人的第一参考位姿和第二参考位姿,作为后续对机器人进行引导的基础,因此,为了克服工作人员手动对接第一部件和第二部件并确定机器人的第一参考位姿和第二参考位姿时所出现的误差,本实施例可以通过相应的补偿值对所确定的目标引导数据中机器人需要移动的距离和机器人需要旋转的角度进行修正,并基于修改后的目标引导数据引导机器人进行位姿变换。
其中,补偿值的确定方法可以灵活选取,如可以拍摄第一部件和第二部件对接后的图像,根据第一部件在该图像中的位姿(即位置坐标和角度)以及第二部件在该图像中的位姿计算补偿值,如计算第二部件与第一部件在该图像中的坐标差和角度差,并将空间坐标系中某一坐标轴方向的补偿值设置为该坐标差在空间坐标系的相应坐标轴方向对应的距离值,将空间坐标系中旋转角度对应的补偿值设置为该角度差在空间坐标系中对应的角度值;当无法通过上述方法确定补偿值时,可以由工作人员通过判断第一部件和第二部件的对接后是否发生压伤变形等经验来确定误差的大小和方向,进而确定补偿值。
在一个示例性的应用场景中,以引导机器人在二维平面内将两个位置不确定的部件(第一目标部件和第二目标部件)进行对接为例,本实施例提供的机器人的以引导方法可通过下述步骤实现:
a、在引导机器人对接第一目标部件和第二目标部件之前,预先将第一摄像头与第二摄像头固定安装,假设固定安装后第一摄像头的第一图像坐标系x轴与机器人的空间坐标系x轴的夹角为AngleAxToRx,固定安装后第二摄像头的第二图像坐标系x轴与机器人的空间坐标系x轴之间的夹角为AngleBxToRx。
b、将第一部件移动到第一摄像头拍摄范围内的第一参考位置,将第二部件移动至第二摄像头的拍摄范围内的第二参考位置,分别控制第一摄像头和第二摄像头采集图像,并记录第一部件在第一摄像头所采集图像中的坐标(RefAx,RefAy)和方向RefAt(假设单位为弧度),作为第一参考位姿,以及,记录第二部件在第二摄像头所采集的图像中的位置坐标(RefBx,RefBy)和角度RefBt(假设单位为弧度),作为第二参考位姿。
c、记录机器人夹持的第一部件在第一参考位置时的第一位置坐标和第一角度,手动控制机器人夹持第一部件进行位姿变换,使第一部件和第二部件完全对接,并记录此时第一部件的第二位置坐标和第二角度,计算第二位置坐标与第一位置坐标在x轴方向的差值RefRbtDx、第二位置坐标与第二位置坐标在y轴方向的差值RefRbtDy以及第二角度与第一角度的差值RefRbtDt作为参考引导数据。
d、确定机器人在空间坐标系x轴方向的补偿值CompensatRx、机器人在空间坐标系y轴方向的补偿值CompensatRy以及机器人在控件坐标系角度上的补偿值CompensatRt。
e、确定第一摄像头的像素当量P2mmA和第二摄像头的像素当量P2mmB。以第一摄像头为例,当第一摄像头的镜头倍率为固定倍率时,可以根据其镜头的相关参数计算像素当量,即P2mmA=像元尺寸/镜头倍率;当第一摄像头的镜头倍率不为固定倍率时,可以通过控制第一摄像头拍摄固定长度的物体确定其像素当量,即P2mmA=物体长度/像素数,其中,物体长度为被拍摄的物体在空间坐标系中的实际长度;像素数为被拍摄的物体在所拍摄图像中该物体的长度方向上的像素数量。
f、在引导机器人对接第一目标部件和第二目标部件时,分别控制第一摄像头和第二摄像头分别采集图像,根据第一摄像头所采集的图像确定第一目标部件在该图像中的位置坐标(CurrentAx,CurrentAy)和角度CurrentAt,记为机器人的当前位姿;并根据第二摄像头所采集的图像确定第二目标部件在该图像中的位置坐标(CurrentBx,CurrentBy)和角度CurrentBt,记为机器人的目标位姿。
g、采用下述公式计算机器人在空间坐标系x轴方向需要移动的距离CurrentRbtDx、机器人在空间坐标系y轴方向需要移动的距离CurrentRbtDy和机器人需要旋转的角度CurrentRbtDt,作为目标引导数据。
CurrentRbtDx=ADx+RefRbtDx+BDx+CompensatRx;
CurrentRbtDy=ADy+RefRbtDy+BDy+CompensatRy;
CurrentRbtDt=(RefAt-CurrentAt)+RefRbtDt×π/180+(CurrentBt-RefBt)+CompensatRt×π/180其中,ADx为第一目标部件从当前位置移动到第一参考位置时机器人在空间坐标系x轴方向需要移动的距离;BDx为第一目标部件从第二参考位置移动到目标位置时机器人在空间坐标系x轴方向需要移动的距离;ADy为第一目标部件从当前位置移动到第一参考位置时机器人在空间坐标系y轴方向需要移动的距离;BDy为第一目标部件从第二参考位置移动到目标位置时机器人在空间坐标系y轴方向需要移动的距离,ADx、BDx、ADy和BDy可以采用下述公式计算得到:
ADx=[CurrentAdx×Cos(AngleAxToRx)-CurrentAdy×Sin(AngleAxToRx)]×P2mmA;
BDx=[CurrentBdx×Cos(AngleBxToRx)-CurrentBdy×Sin(AngleBxToRx)]×P2mmB;
ADy=[CurrentAdx×Sin(AngleAxToRx)+CurrentAdy×Cos(AngleAxToRx)]×P2mmA;
BDy=[CurrentBdx×Sin(AngleBxToRx)+CurrentBdy×Cos(AngleBxToRx)]×P2mmB
h、根据目标引导参数引导机器人进行位姿变换。
本发明实施例二提供的机器人的引导方法,通过图像采集的方式确定第一参考位姿和第二参考位姿,并以此为基础确定机器人的目标引导数据,而不再需要进行复杂的机器人手眼标定和多相机位置关系的标定,能够进一步简化机器人的引导过程,减少机器人引导所耗费的人力、物力和财力。
实施例三
本发明实施例三提供一种机器人的引导装置。该装置可以由软件和/或硬件实现,一般可集成在能够引导机器人进行位姿变换的计算机设备中,适用于引导机器人进行作业的场景,尤其适用于引导工业机器人进行作业的场景,可通过执行机器人的引导方法引导机器人进行位姿变换。图3为本发明实施例三提供的一种机器人的引导装置的结构框图。如图3所示,该装置包括:位姿获取模块301、数据确定模块302和位姿变换模块303,其中,
位姿获取模块301,用于获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
数据确定模块302,用于根据所述相对位姿确定所述机器人的目标引导数据;
位姿变换模块303,用于基于所述目标引导数据引导所述机器人进行位姿变换。
本发明实施例三提供的机器人的引导装置,通过位姿获取模块分别获取机器人位于参考位置与当前位置时的当前相对位姿和机器人位于目标位置与参考位置时的目标相对位姿,通过数据确定模块根据该当前相对位姿和该目标相对位姿确定机器人的目标引导数据,并通过位姿变换模块基于该目标引导数据引导机器人进行位姿变换。本实施例通过采用上述技术方案,根据机器人的相对位姿确定机器人的引导数据,无需采用标定板对机器人进行标定,能够降低机器人引导数据的确定难度,减少机器人引导所耗费的人力与物力。
在上述方案中,所述参考位置可以包括第一参考位置和第二参考位置,所述当前相对位姿可以为机器人分别位于第一参考位置和当前位置时在第一摄像头的第一图像坐标系中的相对位姿,所述目标相对位姿可以为机器人分别位于目标位置和第二参考位置时在第二摄像头的第二图像坐标系中的相对位姿。
在上述方案中,所述位姿获取模块301可以包括:位姿获取单元,用于分别获取机器人位于当前位置时在第一摄像头的第一图像坐标系中的当前位姿以及机器人位于目标位置时在第二摄像头的第二图像坐标系中的目标位姿;位姿确定单元,用于根据所述当前位姿、所述目标位姿、所述机器人位于第一参考位置时的第一参考位姿和所述机器人位于第二参考位置时的第二参考位姿确定所述机器人的当前相对位姿和目标相对位姿,作为所述机器人的相对位姿。
进一步地,本实施例提供的机器人的引导装置还可以包括:参考位姿确定模块,用于在所述获取机器人的相对位姿之前,过第一摄像头采集机器人位于第一参考位置时的第一参考图像,并记录所述机器人在所述第一参考图像中的第一参考位姿;以及,通过第二摄像头采集机器人位于第二参考位置时的第二参考图像,并记录所述机器人在第二参考图像中的第二参考位姿。
在上述方案中,所述数据确定模块302可以用于:根据所述相对位姿以及所述机器人的参考引导数据确定所述机器人的目标引导数据,所述参考引导数据用于引导所述机器人由所述第一参考位姿变换为所述第二参考位姿。
在上述方案中,所述数据确定模块302可以包括:第一数据确定单元,用于根据所述相对位姿确定所述机器人的第一引导数据和第二引导数据,所述第一引导数据用于引导所述机器人由所述当前位姿变换为所述第一参考位姿,所述第二引导数据用于引导所述机器人由所述第二参考位姿变换为所述目标参考位姿;第二数据确定单元,用于根据所述第一引导数据、所述参考引导数据和所述第二引导数据确定所述机器人的目标引导数据。
进一步地,本实施例提供的机器人的引导装置还可以包括:数据修正模块,用于采用预先设置的修正数据对所述目标引导数据进行修正;相应的,所述位姿变换模块303可以用于:基于修正后的目标引导数据引导所述机器人进行位姿变换。
本发明实施例三提供的机器人的引导装置可执行本发明任意实施例提供的机器人的引导方法,具备执行机器人的引导方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的机器人的引导方法。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图,如图4所示,该计算机设备包括处理器40和存储器41,还可以包括输入装置42和输出装置43;计算机设备中处理器40的数量可以是一个或多个,图4中以一个处理器40为例;计算机设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的机器人的引导方法对应的程序指令/模块(例如,机器人的引导装置中的位姿获取模块301、数据确定模块302和位姿变换模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的机器人的引导方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
本发明实施例四还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种机器人的引导方法,该方法包括:
获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
根据所述相对位姿确定所述机器人的目标引导数据;
基于所述目标引导数据引导所述机器人进行位姿变换。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的机器人的引导方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述机器人的引导装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种机器人的引导方法,其特征在于,包括:
获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
其中,所述参考位置包括第一参考位置和第二参考位置,所述当前相对位姿为机器人分别位于第一参考位置和当前位置时在第一摄像头的第一图像坐标系中的相对位姿,所述目标相对位姿为机器人分别位于目标位置和第二参考位置时在第二摄像头的第二图像坐标系中的相对位姿;
根据所述相对位姿确定所述机器人的目标引导数据;其中,所述目标引导数据为用于引导机器人由当前位置移动到目标位置并在目标位置呈现相应的姿态的引导信息;
基于所述目标引导数据引导所述机器人进行位姿变换;
所述获取机器人的相对位姿,包括:
分别获取机器人位于当前位置时在第一摄像头的第一图像坐标系中的当前位姿以及机器人位于目标位置时在第二摄像头的第二图像坐标系中的目标位姿;
根据所述当前位姿、所述目标位姿、所述机器人位于第一参考位置时的第一参考位姿和所述机器人位于第二参考位置时的第二参考位姿确定所述机器人的当前相对位姿和目标相对位姿,作为所述机器人的相对位姿。
2.根据权利要求1所述的方法,其特征在于,在所述获取机器人的相对位姿之前,还包括:
通过第一摄像头采集机器人位于第一参考位置时的第一参考图像,并记录所述机器人在所述第一参考图像中的第一参考位姿;以及,
通过第二摄像头采集机器人位于第二参考位置时的第二参考图像,并记录所述机器人在第二参考图像中的第二参考位姿。
3.根据权利要求1所述的方法,其特征在于,所述根据所述相对位姿确定所述机器人的目标引导数据,包括:
根据所述相对位姿以及所述机器人的参考引导数据确定所述机器人的目标引导数据,所述参考引导数据用于引导所述机器人由所述第一参考位姿变换为所述第二参考位姿。
4.根据权利要求3所述的方法,其特征在于,所述根据所述相对位姿以及所述机器人的参考引导数据确定所述机器人的目标引导数据,包括:
根据所述相对位姿确定所述机器人的第一引导数据和第二引导数据,所述第一引导数据用于引导所述机器人由所述当前位姿变换为所述第一参考位姿,所述第二引导数据用于引导所述机器人由所述第二参考位姿变换为目标参考位姿;
根据所述第一引导数据、所述参考引导数据和所述第二引导数据确定所述机器人的目标引导数据。
5.根据权利要求1-4任一所述的方法,其特征在于,还包括:
采用预先设置的修正数据对所述目标引导数据进行修正;
相应的,所述基于所述目标引导数据引导所述机器人进行位姿变换,包括:
基于修正后的目标引导数据引导所述机器人进行位姿变换。
6.一种机器人的引导装置,其特征在于,包括:
位姿获取模块,用于获取机器人的相对位姿,所述相对位姿包括所述机器人分别位于参考位置与当前位置时的当前相对位姿以及所述机器人分别位于目标位置与所述参考位置时的目标相对位姿;
其中,所述参考位置包括第一参考位置和第二参考位置,所述当前相对位姿为机器人分别位于第一参考位置和当前位置时在第一摄像头的第一图像坐标系中的相对位姿,所述目标相对位姿为机器人分别位于目标位置和第二参考位置时在第二摄像头的第二图像坐标系中的相对位姿;
数据确定模块,用于根据所述相对位姿确定所述机器人的目标引导数据;其中,所述目标引导数据为用于引导机器人由当前位置移动到目标位置并在目标位置呈现相应的姿态的引导信息;
位姿变换模块,用于基于所述目标引导数据引导所述机器人进行位姿变换;
所述位姿获取模块,包括:位姿获取单元和位姿确定单元;
所述位姿获取单元,用于分别获取机器人位于当前位置时在第一摄像头的第一图像坐标系中的当前位姿以及机器人位于目标位置时在第二摄像头的第二图像坐标系中的目标位姿;
所述位姿确定单元,用于根据所述当前位姿、所述目标位姿、所述机器人位于第一参考位置时的第一参考位姿和所述机器人位于第二参考位置时的第二参考位姿确定所述机器人的当前相对位姿和目标相对位姿,作为所述机器人的相对位姿。
7.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的机器人的引导方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的机器人的引导方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011134308.7A CN112184819B (zh) | 2020-10-21 | 2020-10-21 | 机器人的引导方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011134308.7A CN112184819B (zh) | 2020-10-21 | 2020-10-21 | 机器人的引导方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112184819A CN112184819A (zh) | 2021-01-05 |
CN112184819B true CN112184819B (zh) | 2024-12-24 |
Family
ID=73922451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011134308.7A Active CN112184819B (zh) | 2020-10-21 | 2020-10-21 | 机器人的引导方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184819B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111650936B (zh) * | 2020-06-03 | 2023-01-17 | 杭州迦智科技有限公司 | 一种伺服控制方法、处理器、存储介质和可移动平台 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 |
JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
CN106139564B (zh) * | 2016-08-01 | 2018-11-13 | 纳恩博(北京)科技有限公司 | 图像处理方法和装置 |
CN108036791B (zh) * | 2017-12-08 | 2021-04-13 | 中国人民解放军火箭军工程设计研究院 | 一种部件间高精度自动对接的位姿检测方法 |
WO2019227347A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳市大疆创新科技有限公司 | 云台的控制方法、云台、拍摄设备及可读存储介质 |
CN110355754B (zh) * | 2018-12-15 | 2023-09-22 | 深圳铭杰医疗科技有限公司 | 机器人手眼系统、控制方法、设备及存储介质 |
CN110473259A (zh) * | 2019-07-31 | 2019-11-19 | 深圳市商汤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
CN111240468B (zh) * | 2019-12-31 | 2023-04-25 | 北京诺亦腾科技有限公司 | 手部动作捕捉的校准方法、装置、电子设备及存储介质 |
CN111300422B (zh) * | 2020-03-17 | 2021-04-23 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
-
2020
- 2020-10-21 CN CN202011134308.7A patent/CN112184819B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN112184819A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6527178B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
US20200061837A1 (en) | Method for industrial robot commissioning, industrial robot system and control system using the same | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
CN111331592A (zh) | 机械手臂工具中心点校正装置及其方法以及机械手臂系统 | |
US11625842B2 (en) | Image processing apparatus and image processing method | |
JP2018111166A (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
CN102785249A (zh) | 机械手控制系统,机械手系统以及程序 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
CN107030699A (zh) | 位姿误差修正方法及装置、机器人及存储介质 | |
JP2017077614A (ja) | 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置 | |
US11989928B2 (en) | Image processing system | |
CN115091028B (zh) | 基于激光实时跟踪的焊接方法、装置、电子设备及介质 | |
JP6410411B2 (ja) | パターンマッチング装置及びパターンマッチング方法 | |
CN114080590B (zh) | 使用先进扫描技术的机器人料箱拾取系统和方法 | |
CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
JP7250489B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
CN112184819B (zh) | 机器人的引导方法、装置、计算机设备和存储介质 | |
JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
CN110853102A (zh) | 一种新的机器人视觉标定及引导方法、装置及计算机设备 | |
JP2019077026A (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
JPWO2018096669A1 (ja) | レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム | |
CN112643718B (zh) | 图像处理设备及其控制方法和存储其控制程序的存储介质 | |
CN113858214A (zh) | 一种用于机器人作业的定位方法与控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |