CN112276936A - 三维数据生成装置以及机器人控制系统 - Google Patents

Abstract

本发明提供一种三维数据生成装置以及机器人控制系统，三维数据生成装置具备：虚拟空间配置部，其将虚拟工件和虚拟视觉传感器配置在虚拟空间上，使得虚拟工件的一部分收敛于虚拟视觉传感器的拍摄范围内；配置关系计算部，其计算所配置的虚拟工件与虚拟视觉传感器之间的配置关系；局部三维数据生成部，其基于计算出的配置关系来生成表示收敛于拍摄范围内的工件的局部形状的局部三维数据。

Description

三维数据生成装置以及机器人控制系统

技术领域

本发明涉及三维数据生成装置以及机器人控制系统，特别涉及以离线方式生成工件的局部三维数据作为机器人视觉中的工件检测用主数据的三维数据生成装置以及机器人控制系统。

背景技术

在应用于工业用机器人的控制的机器人视觉中，通过从由视觉传感器取得的数据中检测工件来修正预先示教的机器人的位置以及姿势中的至少一方，或者直接示教机器人的位置以及姿势中的至少一方。作为工件检测方法，广泛采用图案匹配，在图案匹配中利用二维图案或三维图案作为工件检测用主数据。三维图案不仅对于工件的旋转、比例变化，而且对于亮度值的变化也能够稳健地检测工件，在这一点上比二维图案更优异。

作为三维图案，除了表示工件的整体形状的整体三维数据之外，还利用了表示工件的局部形状的局部三维数据。局部三维数据不仅能够进行高速的匹配处理，而且在近年来进行的散堆拣选那样的工件彼此重叠的情况下也实现高精度的匹配处理。作为与本申请相关的技术，公知有后述的文献。

在日本特开2004-295223号公报中记载了：通过使用对示教的模型图案实施了几何学变换的变换模型图案进行图案匹配，除了平行移动、旋转移动、放大缩小之外，还能够识别三维不同的相对姿势的对象物。

在日本特开2010-89238号公报中记载了如下技术：在用机器人从散装的多个工件中逐一取出工件的情况下，存储工件的代表性的局部形状和适合该局部形状的把持位置的优先顺序，由此在短时间内决定散装的工件的把持位置并迅速地进行工件的取出。另外，还记载了通过选择优先顺序高的把持位置来防止进行取出的工件与其他工件的钩挂。

在日本特开2010-184308号公报中记载了如下技术：不将工件整体作为形状模型进行登记，而将工件的一部分作为形状模型来检测工件，由此使检测的图像处理时间高速化，决定工件的位置姿势。

在日本特开2010-211746号公报中记载了：为了容易地确认立体摄像机等三维视觉传感器的设定内容是否适当，将由拍摄单元取得的识别对象物的至少一部分的边缘的三维信息和表示识别对象物的整体的三维模型透视变换到拍摄单元的坐标系中，以能够对照的方式显示透视变换后的识别对象物的边缘的投影像和三维模型的投影像。

在日本特开2016-179534号公报中记载了：取得针对堆积的多个物体的距离信息，基于距离信息和表示物体的局部形状的局部模型来导出计测对象物体的位置姿势，基于表示物体的整体形状的整体模型来判定在计测对象物体与容纳计测对象物体的容器之间是否产生干扰。

在日本特开2018-144167号公报中记载了：在使用了机器人视觉的散堆拣选中，进行使用了多个搜索模型的三维搜索，从输入图像中确定各工件的位置姿势，除了与三维搜索中成功的搜索模型对应的工件表面的位置姿势以外，还确定与三维搜索中失败的搜索模型或搜索的可靠性低的搜索模型对应的工件表面的位置姿势，能够作为把持候选位置来利用。

作为工件检测用主数据而登记的工件的三维数据以在线或者离线方式示教于机器人。在线示教的情况下，准备作为实机的实际机器人、实际视觉传感器、实际工件等，生成工件的三维数据，但有时由于工件的光泽、照明、外部光等的影响而无法高精度地生成工件的三维数据。因此，存在需要示教人员的试错，花费工时的问题。

另一方面，在离线示教的情况下，一般准备工件的CAD(computer-aided design：计算机辅助设计)数据，在软件上根据CAD数据生成工件检测用主数据，因此减轻示教人员的劳力和时间。然而，在表示工件的整体形状的整体三维数据中，不仅匹配处理变慢，而且有时无法应用于散堆拣选那样的一部分应用程序。另外，即使是表示工件的局部形状的局部三维数据，在视觉传感器的拍摄范围相对于局部三维数据的大小较宽的情况下，匹配处理也需要时间。

发明内容

因此，寻求一种减少工件检测用主数据的生成工时，并且提供实现高速的匹配处理的工件检测用主数据的技术。

本公开的一个方式提供一种三维数据生成装置，其具备：虚拟空间配置部，其将虚拟工件以及虚拟视觉传感器配置在虚拟空间上，使得虚拟工件的一部分收敛于虚拟视觉传感器的拍摄范围内；配置关系计算部，其计算所配置的虚拟工件与虚拟视觉传感器之间的配置关系；局部三维数据生成部，其基于计算出的配置关系，生成表示收敛于拍摄范围内的工件的局部形状的局部三维数据。

附图说明

图1是一实施方式中的三维数据生成装置的结构图。

图2A是表示虚拟工件、虚拟视觉传感器以及虚拟机器人的配置例的立体图。

图2B是表示虚拟工件、虚拟视觉传感器以及虚拟机器人的配置例的立体图。

图3是表示局部三维数据的生成例的立体图。

图4是表示局部三维数据的生成例的立体图。

图5是一个实施方式中的三维数据生成装置的流程图。

图6是表示预先设定的拍摄范围的一例的立体图。

图7A是表示根据视觉传感器的规格而变更后的拍摄范围的一例的立体图。

图7B是表示根据视觉传感器的规格而变更后的拍摄范围的一例的立体图。

图8A是表示向工件检出位置移动前以及移动后的机器人的一例的立体图。

图8B是表示向工件检出位置移动前以及移动后的机器人的一例的立体图。

具体实施方式

以下，参照附图对本公开的实施方式进行详细说明。在各图中对于同一或类似的构成要素赋予同一或类似的符号。此外，以下所记载的实施方式并非限定请求专利保护的范围所记载的发明的技术范围和用语的含义。在本说明书中，在简单标记为“工件”、“视觉传感器”以及“机器人”的情况下，请留意分别包含“虚拟工件”和“实际工件”、“虚拟视觉传感器”和“实际视觉传感器”、以及“虚拟机器人”和“虚拟工件”。另外，在本说明书中要注意的是，“三维模型”是指至少包含物体的面信息的三维数据，“三维边缘”是指不包含物体的面信息，而至少包含物体的边信息的三维数据，“三维点群数据”是指不包含物体的面信息以及边信息，而至少包含物体的点信息的数据。

图1表示本实施方式中的三维数据生成装置1的结构。三维数据生成装置1由具备CPU(Central Processing Unit)、FPGA(field-programmable gate array：现场可编程门阵列)等处理器的公知的计算机装置构成。三维数据生成装置1是与机器人控制装置(未图示。)不同的离线示教装置，但也可以与机器人控制装置一体化而构成。另外，三维数据生成装置1为了将生成的数据交给机器人控制装置，构成为能够经由有线或无线与机器人控制装置进行通信，但也可以经由外部存储器向机器人控制装置传递数据。请注意图1所示的三维数据生成装置1的构成要素“～部”表示功能块或功能部。

三维数据生成装置1具备虚拟空间配置部10、配置关系计算部11以及局部三维数据生成部12。虚拟空间配置部10从存储器中分别读出表示虚拟工件、虚拟视觉传感器、虚拟机器人等的整体形状的整体三维数据，并配置在虚拟空间上。作为整体三维数据，也可以是三维模型、三维边缘或三维点群数据。三维模型例如可以是CAD数据、多边形数据等，三维边缘例如可以是线框数据等，三维点群数据例如可以是用TOF(time of flight)摄像机、激光扫描仪等生成的点群数据等。

图2A、图2B表示虚拟工件21、虚拟视觉传感器22以及虚拟机器人23的配置例。虚拟空间配置部10将虚拟工件21及虚拟视觉传感器22配置在虚拟空间20上，使得虚拟工件21的一部分收敛于虚拟视觉传感器22的拍摄范围内。需要注意的是，在图2A所示的例子中，虚拟视觉传感器22配置于虚拟机器人23的末端执行器，例如手部24的附近，而在图2B所示的例子中，虚拟视觉传感器22固定于与虚拟机器人23不同的位置，例如固定构造体25。虚拟视觉传感器22可以是二维传感器或三维传感器。二维传感器例如可以是CCD(charge-coupleddevice：电荷耦合器件)摄像机、CMOS(complementary metal-oxide-semiconductor，互补金属氧化物半导体)摄像机等，三维传感器例如可以是立体摄像机、TOF摄像机、激光扫描仪等。在虚拟空间20上分别设定虚拟空间20的原点O1、虚拟工件21的原点O2、虚拟视觉传感器22的原点O3以及虚拟机器人23的原点O4，构成为能够在以原点O1-O4为中心的各正交坐标系之间对三维数据进行坐标变换。

再次参照图1，配置关系计算部11计算所配置的虚拟工件21与虚拟视觉传感器22之间的配置关系。配置关系例如可以是虚拟工件21相对于虚拟视觉传感器22的位置以及姿势中的至少一方的位置以及姿势中的至少一方，或者也可以是虚拟视觉传感器22相对于虚拟工件21的位置以及姿势中的至少一方的位置以及姿势中的至少一方。

局部三维数据生成部12基于计算出的配置关系，生成收敛于虚拟视觉传感器22的拍摄范围内的工件的局部三维数据。图3、图4表示局部三维数据28的生成例。拍摄范围26可以是预先准备的三维模型，在图3所示的例子中，拍摄范围26呈四棱锥的形状。在虚拟工件21例如是三维模型的情况下，分别求出拍摄范围26的三维模型的各面与虚拟工件21的三维模型的各面的交叉线，基于求出的交叉线切出虚拟工件21的局部三维模型27，求出从虚拟视觉传感器22的各像素延伸的视线(未图示。)与局部三维模型27的各面的交点，将所求出的交点的三维点群数据生成为工件的局部三维数据28。或者也可以将所切出的局部三维模型27本身生成为工件的局部三维数据。

另外，作为局部三维数据的生成方法的变形例，在虚拟工件21例如是三维边缘的情况下，可以分别求出拍摄范围26的三维模型的各面与虚拟工件21的三维边缘的各边的交叉点，基于求出的交叉点切出虚拟工件21的局部三维边缘，将切出的局部三维边缘本身生成为局部三维数据。

作为局部三维数据的生成方法的其他变形例，也能够不切出工件的局部三维模型或局部三维边缘，而求出从虚拟视觉传感器22的各像素延伸的视线(未图示。)与虚拟工件21的整体三维模型的各面的交点，将所求出的交点的三维点群数据直接生成为工件的局部三维数据28。

作为局部三维数据的生成方法的另一变形例，在虚拟工件21例如是三维点群数据的情况下，也可以将收敛于拍摄范围26内的三维模型的三维点群数据直接生成为工件的局部三维数据28。在虚拟工件21的三维点群数据的点间间距与从虚拟视觉传感器22的各像素延伸的视线间间距不一致的情况下，优选进行使虚拟工件21的点间间距与虚拟视觉传感器22的视线间间距一致的处理。

图5表示三维数据生成装置1的流程图。请注意，按照该流程图描述的程序由三维数据生成装置1的处理器执行。在步骤S10中，将表示虚拟工件21、虚拟视觉传感器22及虚拟机器人23等的整体形状的三维数据读出到存储器中，将虚拟工件21及虚拟视觉传感器22配置在虚拟空间20上，使得虚拟工件21的一部分收敛于虚拟视觉传感器22的拍摄范围26内。在步骤S11中，计算所配置的虚拟工件21与虚拟视觉传感器22之间的配置关系。在步骤S12中，基于计算出的配置关系，生成收敛于拍摄范围26内的工件的局部三维数据28。局部三维数据的生成方法如上所述。

再次参照图1，三维数据生成装置1还可以具备拍摄范围设定部13和拍摄范围显示部14。拍摄范围设定部13使虚拟视觉传感器22的拍摄范围26的设定画面显示在监视器上，使示教人员设定拍摄范围26。图6表示所设定的拍摄范围26的一例。拍摄范围26的形状根据虚拟视觉传感器22的种类而不同，因此也可以根据视觉传感器的规格而变更。视觉传感器的规格例如包括视觉传感器的像素数、焦距(或视场角)、从视觉传感器到工件的推荐距离中的至少一个。图7A、图7B表示根据视觉传感器的规格而变更后的拍摄范围26的一例。在图7A所示的例子中，视场角根据视觉传感器的焦距而变窄，到工件的推荐距离变远，与此相对，在图7B所示的例子中，视场角根据视觉传感器的焦距而变宽，到工件的推荐距离变近。拍摄范围显示部14使设定或变更后的拍摄范围26显示在监视器上，使示教人员确认拍摄范围26。

再次参照图1，三维数据生成装置1还可以具备移动程序生成部15。移动程序生成部15基于计算出的配置关系，生成使机器人向基于视觉传感器的工件检出位置移动的移动程序。图8A、图8B表示向工件检出位置移动前(用虚线表示。)以及移动后(用实线表示。)的机器人的一例。请注意，在图8A所示的例子中，视觉传感器22配置在机器人23的末端执行器，例如手部24的附近，机器人23按照移动程序移动，由此使配置在手部24的附近的视觉传感器22向与工件21的配置关系移动。另外，请注意，在图8B所示的情况下，视觉传感器22固定于与机器人23不同的位置，例如固定构造体25，机器人23按照移动程序移动，由此使由手部24把持的工件21向与视觉传感器22的配置关系移动。通过移动程序能够实施虚拟空间中的工件检测模拟和实机的工件检测处理这两者。另外，只要通过移动程序使机器人23向工件21与视觉传感器22之间的配置关系移动，就能够从被限制的拍摄范围26中迅速地检测工件。

再次参照图1，三维数据生成装置1还可以具备数据发送部16。数据发送部16将生成的数据、例如上述的配置关系、局部三维数据以及移动程序中的至少一个发送给机器人控制装置(未图示。)。接收到的工件的局部三维数据由机器人控制装置登记为工件检测用主数据。机器人控制装置按照接收到的移动程序使实际机器人向基于实际视觉传感器的实际工件的检出位置移动，基于接收到的局部三维数据，从由实际视觉传感器取得的数据中检测实际工件，并且基于检测出的实际工件的位置及姿势中的至少一方来控制实际机器人的位置及姿势中的至少一方。另外，在数据生成装置1与机器人控制装置一体化而构成的情况下，机器人控制装置自身也可以在软件上、即离线地生成上述的配置关系、局部三维数据以及移动程序中的至少一个。

根据上述的实施方式，与在线示教的情况相比，能够大致自动地生成工件检测用主数据，因此不需要示教人员的试错，能够减少工件检测用主数据的生成工时。另外，通过生成收敛于虚拟视觉传感器的拍摄范围内的工件的局部三维数据，只要使机器人向工件与视觉传感器之间的配置关系移动，就能够从被限制的拍摄范围中迅速地检测工件。因此，可以提供能够实现高速的匹配处理的工件检测用主数据。

前述的由处理器执行的程序也可以记录在计算机可读取的非瞬态记录介质、例如CD-ROM等中来提供。

在本说明书中说明了各种实施方式，但是希望能够认识到，本发明并不限定于前述的各种实施方式，能够在请求专利保护的范围所记载的范围内进行各种变更。

Claims (14)

1.一种三维数据生成装置，其特征在于，具备：

虚拟空间配置部，其将虚拟工件及虚拟视觉传感器配置在虚拟空间上，使得所述虚拟工件的一部分收敛于所述虚拟视觉传感器的拍摄范围内；

配置关系计算部，其计算所配置的所述虚拟工件与所述虚拟视觉传感器之间的配置关系；以及

局部三维数据生成部，其基于计算出的所述配置关系，生成表示收敛于所述拍摄范围内的工件的局部形状的局部三维数据。

2.根据权利要求1所述的三维数据生成装置，其特征在于，

所述局部三维数据生成部切出表示收敛于所述拍摄范围内的所述工件的局部形状的局部三维模型，并从所述局部三维模型生成所述局部三维数据。

3.根据权利要求1或2所述的三维数据生成装置，其特征在于，

该三维数据生成装置还具备设定所述拍摄范围的拍摄范围设定部。

4.根据权利要求3所述的三维数据生成装置，其特征在于，

所述拍摄范围能够根据视觉传感器的规格而变更。

5.根据权利要求4所述的三维数据生成装置，其特征在于，

所述视觉传感器的规格包括所述视觉传感器的像素数、焦距以及从所述视觉传感器到工件的推荐距离中的至少一个。

6.根据权利要求1至5中任一项所述的三维数据生成装置，其特征在于，

该三维数据生成装置还具备显示所述拍摄范围的拍摄范围显示部。

7.根据权利要求1至6中任一项所述的三维数据生成装置，其特征在于，

该三维数据生成装置还具备移动程序生成部，其基于所述配置关系，生成使机器人向基于视觉传感器的工件检出位置移动的移动程序。

8.根据权利要求7所述的三维数据生成装置，其特征在于，

该三维数据生成装置还具备数据发送部，其向机器人控制装置发送所述配置关系、所述局部三维数据以及所述移动程序中的至少一个。

9.根据权利要求1至8中任一项所述的三维数据生成装置，其特征在于，

所述虚拟视觉传感器设置于虚拟机器人的末端执行器的附近，或者固定于与所述虚拟机器人不同的位置。

10.根据权利要求1至9中任一项所述的三维数据生成装置，其特征在于，

所述虚拟视觉传感器包括二维传感器或三维传感器。

11.根据权利要求1至10中任一项所述的三维数据生成装置，其特征在于，

所述虚拟工件、所述虚拟视觉传感器、所述拍摄范围或所述局部三维数据由三维模型、三维边缘或三维点群构成。

12.一种机器人控制系统，其特征在于，

具备实际工件、实际视觉传感器、实际机器人、机器人控制装置以及权利要求7或8所述的三维数据生成装置，

所述机器人控制装置按照所述移动程序使所述实际机器人向基于所述实际视觉传感器的所述实际工件的检出位置移动。

13.一种机器人控制系统，其特征在于，

具备实际工件、实际视觉传感器、实际机器人、机器人控制装置以及权利要求1至11中任一项所述的三维数据生成装置，

所述机器人控制装置基于所述局部三维数据，从由所述实际视觉传感器取得的数据中检测所述实际工件，并基于检测出的所述实际工件的位置以及姿势中的至少一方来控制所述实际机器人的位置以及姿势中的至少一方。

14.根据权利要求12所述的机器人控制系统，其特征在于，

所述三维数据生成装置与所述机器人控制装置一体化地构成，所述机器人控制装置离线地生成所述配置关系、所述局部三维数据以及所述移动程序中的至少一个。

Images