CN110081816B

CN110081816B - 物品搬运系统

Info

Publication number: CN110081816B
Application number: CN201910053351.1A
Authority: CN
Inventors: 大场雅文
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-01-25
Filing date: 2019-01-21
Publication date: 2020-06-26
Anticipated expiration: 2039-01-21
Also published as: DE102019101005B4; DE102019101005A1; US10703577B2; CN110081816A; JP2019128274A; JP6608977B2; US20190225430A1

Abstract

本发明提供一种物品搬运系统，在不停止搬运装置地使物品移动的同时高精度地进行物品的位置和姿态的三维测量。物品搬运系统具备：搬运物品的搬运装置；摄像机，拍摄正在搬运的物品的各特征点；位置测量部，从所获取的图像中测量各特征点的位置；检测部，检测由搬运装置搬运的物品的位置或移动速度；位置校正部，基于检测出的位置或移动速度和由摄像机获取各图像的时刻的偏差，将由位置测量部测量的各特征点的位置校正为在同一时刻配置的位置；视线计算部，基于校正后的各特征点的位置和摄像机的位置计算经过各特征点的视线；位置计算部，将以各特征点的位置为顶点的已知形状的多边形应用于所计算出的三条以上的视线，并至少计算物品的三维位置。

Description

物品搬运系统

技术领域

本发明涉及物品搬运系统。

背景技术

以往，在根据由输送机搬运来的车体等大型物品的位置和姿态进行操作等作业时，利用三个摄像机分别拍摄设置于物品上的三个已知标记点，并根据所获取的三个已知标记点的位置关系，三维地测量物品的位置和姿态(例如，参照专利文献1。)。

现有技术文献

专利文献

专利文献1：日本特开平7-13613号公报

发明内容

发明要解决的问题

然而，通常难以在利用输送机移动物品的同时三维地测量物品的位置和姿态，而是在使输送机暂停的状态下进行。若停止输送机而进行测量，则存在作业效率降低和生产率受损的不良情况。

本发明的目的在于提供一种物品搬运系统，该物品搬运系统能够在不停止搬运装置地使物品移动的同时，高精度地进行物品的位置和姿态的三维测量。

用于解决问题的方案

本发明的一个方案是一种物品搬运系统，其具备：搬运装置，其搬运物品，所述物品具备彼此以已知的位置关系配置的三个以上特征点；摄像机，其拍摄由该搬运装置搬运的所述物品的各所述特征点；位置测量部，其从由该摄像机获取的图像中测量各所述特征点的位置；检测部，其检测由所述搬运装置搬运的所述物品的位置或移动速度；位置校正部，其基于由该检测部检测出的位置或移动速度、和由所述摄像机获取各所述图像的时刻的偏差，将由所述位置测量部测量的各所述特征点的位置校正为在同一时刻所配置的位置；视线计算部，其基于由该位置校正部校正后的各所述特征点的位置、和所述摄像机的位置，计算经过各所述特征点的视线；以及位置计算部，其将以各所述特征点的位置作为顶点的已知形状的多边形应用于由该视线计算部计算出的三条以上的视线上，并至少计算所述物品的三维位置。

根据本方案，当利用搬运装置搬运来物品时，利用摄像机拍摄物品上所具备的三个以上的特征点，并利用位置测量部从所获取的图像中测量各特征点的位置。利用检测部检测由搬运装置搬运的物品的位置或移动速度，并基于利用摄像机获取图像的时刻的偏差、和位置或移动速度，将由位置测量部测量的特征点的位置校正为在同一时刻所配置的位置。

利用视线计算部基于校正后的各特征点的位置和摄像机的位置，计算经过各特征点的视线。而且，利用位置计算部将以各特征点的位置作为顶点的多边形应用于由视线计算部计算出的三条以上的视线上，，并能够根据多边形的位置计算出物品的位置。

即，即使在使物品移动的同时在不同的时刻获取包含各特征点的图像，也会将根据图像所计算出的三个以上的特征点的位置校正为在同一时刻所配置的位置，因此能够在不停止搬运装置地使物品移动的同时至少进行物品的位置的三维测量。

在上述方案中，所述物品可以具备三个所述特征点，所述位置计算部将以各所述特征点的位置作为顶点的三角形应用于由所述视线计算部计算出的三条视线上，并计算所述物品的三维位置和姿态。

利用该结构，能够利用视线计算部基于由位置校正部校正后的三个特征点的位置和摄像机的位置，计算出三条视线，利用位置计算部将三角形应用于三条视线上，并根据应用后的三角形的位置和倾斜度计算出由搬运装置正在搬运的物品的位置和姿态。

通过使用具有最小限度的顶点的作为多边形的三角形来计算位置和倾斜度，能够缩短运算时间，并实时计算物品的三维位置和姿态。

在上述方案中，所述物品搬运系统可以具备三个所述摄像机，各所述摄像机分别配置于能够拍摄单独的所述特征点的位置。

利用该结构，通过利用三个摄像机拍摄三个单独的特征点，能够在更短的时间内获取用于计算物品的位置和姿态的图像。

在上述方案中，所述物品搬运系统可以具备机器人，所述机器人能够将所述摄像机移动到能够拍摄各所述特征点的位置。

利用该结构，通过机器人的运行能够使摄像机移动而拍摄特征点，能够减少所需摄像机的数量。

在上述方案中，所述检测部可以是所述搬运装置所具备的编码器。

利用该结构，能够利用由编码器检测出的搬运装置搬运的物品的移动速度，简单且高精度地校正各特征点的位置。

在上述方案中，所述检测部可以基于由所述摄像机拍摄的所述图像检测所述物品的位置或移动速度。

利用该结构，不需要准备检测由搬运装置搬运的物品的移动速度的专用传感器，也能够利用用于检测物品的位置和姿态的摄像机检测出物品的移动速度，校正各特征点的位置。

发明效果

根据本发明，起到如下效果：能够在不停止搬运装置地使物品移动的同时，高精度地进行物品的位置和姿态的三维测量。

附图说明

图1是表示本发明的一个实施方式所涉及的物品搬运系统的整体结构图。

图2是表示图1的物品搬运系统所具备的运算装置的框图。

图3是表示在图1的物品搬运系统中，将已知形状的三角形应用于拍摄水平配置的车体的圆形孔的摄像机的视线上的状态的图。

图4是表示在图1的物品搬运系统中，将已知形状的三角形应用于拍摄相对于水平倾斜而配置的车体的圆形孔的摄像机的视线上的状态的图。

图5是图1的物品搬运系统的变形例，是表示存储各摄像机的拍摄时刻的延迟时间的数据库的一例的图。

图6是图1的物品搬运系统的另一个变形例，是对根据图像求车体的搬运速度的情况进行说明的图。

图7是图1的物品搬运系统的另一个变形例，是对多个机器人的控制装置与单元控制装置连接的情况进行说明的示意图。

附图标记说明

1：物品搬运系统

2：输送机(搬运装置)

3：编码器(移动速度检测部、检测部)

4A、4B、4C：摄像机

6：机器人

10：位置测量部

11：位置校正部

12：视线计算部

13：位置姿态计算部(位置计算部)

A、B、C：圆形孔(特征点)

O：车体(物品)

V：搬运速度(移动速度)

具体实施方式

以下参照附图对本发明的一个实施方式所涉及的物品搬运系统1进行说明。

如图1所示，本实施方式所涉及的物品搬运系统1具备：输送机(搬运装置)2，其搬运车体(物品)O；编码器(移动速度检测部、检测部)3，其具备于输送机2，并检测由输送机2正在搬运的车体O的搬运速度(移动速度)；三个摄像机4A、4B、4C，其设置于输送机2的近旁，并且从由输送机2正在搬运的车体O的下方拍摄设置于车体O的下表面的三个圆形孔(特征点)A、B、C；以及运算装置(参照图2)5，其利用由摄像机4A、4B、4C获取的图像以及由编码器3检测出的搬运速度，计算车体O的位置和姿态。运算装置5例如设置于输送机2的附近，并具备于对车体O进行作业的机器人6的控制装置7内。

输送机2例如是带式输送机，具备带8，该带8搭载且单方向地搬运车体O。带8由马达9驱动。编码器3设置于马达9上，并检测马达9的旋转角度。

如图1所示，三个摄像机4A、4B、4C配置于能够在大致同一时刻分别拍摄三个圆形孔A、B、C中的任一个的位置。

各摄像机4A、4B、4C在获取到图像时，输出所获取的图像以及获取该图像的时刻的信息。

运算装置5接收由编码器3检测出的搬运速度、由摄像机4A、4B、4C获取的图像以及获取图像的时刻的信息。如图2所示，运算装置5具备位置测量部10，该位置测量部10处理从摄像机4A、4B、4C接收的图像并测量图像内的圆形孔A、B、C的中心位置(参照图3)P₁、P₂、P₃。运算装置5具备位置校正部11，该位置校正部11利用由位置测量部10测量的圆形孔A、B、C的中心位置P₁、P₂、P₃、从编码器3接收的搬运速度以及从摄像机4A、4B、4C接收的获取图像的时刻的信息，校正圆形孔A、B、C的中心位置P₁、P₂、P₃。

更具体而言，位置校正部11以由一个摄像机(以下，也称为基准摄像机)4A获取的图像中由位置测量部10测量的圆形孔A的中心位置P₁为基准，对由另外两个摄像机4B、4C获取的两个图像的每一个图像中由位置测量部10测量的圆形孔B、C的中心位置P₂、P₃进行校正。

即，由于车体O时时刻刻在移动，因此在基准摄像机4A的拍摄时刻和另外两个摄像机4B、4C的拍摄时刻存在偏差的情况下，从由三个摄像机4A、4B、4C获取的图像中检测出的三个圆形孔A、B、C的相对位置与实际的设置于车体O上的圆形孔A、B、C的相对位置不同。

因此，位置校正部11根据从摄像机4A、4B、4C接收的获取图像的时刻的信息，计算基准摄像机4A与其他摄像机4B、4C的拍摄时刻之间的偏差(时间差)，并将所计算出的时间差乘以从编码器3接收的搬运速度，从而计算出该时间差之间的移动量。而且，位置校正部11将所计算出的移动量与从由其他摄像机4B、4C获取的图像中测量的圆形孔B、C的中心位置P₂、P₃相加。由此，能够将从由其他摄像机4B、4C拍摄的图像中测量的圆形孔B、C的中心位置P₂、P₃校正为在基准摄像机4A获取图像的时刻配置有圆形孔A的位置。

运算装置5具备视线计算部12和位置姿态计算部(位置计算部)13，视线计算部12计算视线a、b、c，该视线a、b、c是校正后的各圆形孔A、B、C的中心位置P₁、P₂、P₃、和各摄像机4A、4B、4C的中心位置P₁、P₂、P₃、例如前端透镜的中心位置的连线，位置姿态计算部13将已知形状的三角形的各顶点应用于所计算出的三条视线a、b、c上，并计算车体O的位置和姿态。

三个摄像机4A、4B、4C以朝向如下方向的方式配置：三条视线a、b、c之中的任何两条视线a、b、c都不接近平行，视线a、b、c彼此形成的角度优选为60°以上。

在此，将三角形的各顶点应用于三条视线a、b、c上是指，以已知形状的三角形的三个顶点全部配置于任一条视线a、b、c上的方式配置三角形。作为应用的三角形，例如是将车体O以预定的角度、例如水平配置时的三个圆形孔A、B、C的中心位置P₁、P₂、P₃连接而成的三角形本身或其相似形。

当应用将三个圆形孔A、B、C的中心位置P₁、P₂、P₃连接而成的三角形本身时，若车体O是水平的，则如图3所示，所应用的三角形的三个顶点与三个圆形孔A、B、C的中心位置P₁、P₂、P₃一致。另一方面，若车体O是倾斜的，则如图4所示，与车体O为水平的情况相比，所计算出的视线a、b、c的角度不同，因此应用于视线a、b、c上的三角形的倾斜度发生变化。即，通过计算应用后的三角形的位置、例如重心位置，能够从而计算出车体O的位置，通过计算应用后的三角形的倾斜度，从而计算出车体O的姿态。

如此，根据本实施方式所涉及的物品搬运系统1，能够根据基于设置于车体O上的三个圆形孔A、B、C的位置和三个摄像机4A、4B、4C的位置所获取的三个图像求出三条视线a、b、c，并根据应用于所求出的三条视线a、b、c上的已知形状的三角形的重心位置和角度，计算出车体O的位置和姿态。在该情况下，作为三个圆形孔A、B、C的位置，通过利用位置校正部11进行校正，从而使用与在同一时刻配置的圆形孔的位置等效的位置，因此具有以下优点：即使三个摄像机4A、4B、4C的拍摄时刻不精确地一致，也能够在利用输送机2移动车体O的同时，高精度地测量车体O的三维位置和姿态。

即，即使在使三个摄像机4A、4B、4C同步地拍摄三个圆形孔A、B、C的情况下，也存在如下情况：由于拍摄指令信号的传播延迟或摄像机4A、4B、4C的个体差等，难以使三个摄像机4A、4B、4C的拍摄时刻精确地一致。由于即使在该情况下也会根据拍摄时刻的时间差对所测量的圆形孔A、B、C的中心位置P₁、P₂、P₃进行校正，因此能够高精度地测量车体O的三维位置和姿态。

而且，根据本实施方式所涉及的物品搬运系统1，作为应用的多边形，通过使用顶点数最少的三角形，从而能够以比较少的计算量实时且高精度地测量车体O的三维位置和姿态。

例如，在输送机2的近旁配置机器人6，对车体O进行作业的情况下，根据由运算装置5高精度地测量的车体O的三维位置和姿态，跟踪控制机器人6，从而具有如下优点：不用停止输送机2，能够防止作业效率的降低而提高生产率。

在本实施方式中，由于形成于各摄像机4A、4B、4C与圆形孔A、B、C的中心位置P₁、P₂、P₃之间的三条视线a、b、c以形成60°以上的角度的方式配置，因此能够唯一地进行三角形的应用。即，具有以下优点：能够高精度地进行已知形状的三角形向三条视线a、b、c的应用，能够高精度地测量车体O的位置和姿态。

此外，在本实施方式中，作为特征点而举例说明了圆形孔A、B、C的中心位置P₁、P₂、P₃，但取而代之，还可以采用其他任意的特征点。在本实施方式中，计算出基于三个圆形孔A、B、C的中心位置P₁、P₂、P₃的三条视线a、b、c，并应用三角形，但也可以测量四个以上的特征点，并应用四边形以上的多边形。

在本实施方式中，从三个摄像机4A、4B、4C接收拍摄时刻的信息，计算出摄像机4A、4B、4C之间的拍摄时刻的时间差，并在校正位置时使用。取而代之，如图5所示，还可以例如在设置系统时等预先测量各摄像机4A、4B、4C的拍摄时刻的时间差Δt₁、Δt₂，并存储于数据库中。由此，不用接收来自摄像机4A、4B、4C的拍摄时刻的信息，能够通过参照数据库而简单地进行位置的校正。

在本实施方式中，利用设置于驱动输送机2的马达9上的编码器检测作为物品的车体O的搬运速度，取而代之，还可以不利用编码器，处理由摄像机4A、4B、4C获取的图像而计算出搬运速度。

例如，如图6所示，当在上述三个摄像机4A、4B、4C中的至少一个中隔开预定时间间隔Δt而在不同的时刻t₁、t₂、t₃在同一视场中获取了三张图像时，识别各图像中图像内所包含的圆形孔A、B、C，并计算所识别出的圆形孔A、B、C的中心位置P₁、P₂、P₃。

然后，用在时间轴方向上邻接而获取的图像内的圆形孔A、B、C的中心位置P₁、P₂、P₃与搬运方向的中心位置P₁、P₂、P₃的差除以拍摄的时间间隔Δt，从而计算出搬运速度V。当针对同一圆形孔A、B、C多次计算出搬运速度V时，只要将其平均值或通过最小二乘法等拟合的值作为搬运速度V输出即可。

如果暂时检测不出圆形孔A、B、C，则继续输出刚才的搬运速度V即可。

在本实施方式中，三个摄像机4A、4B、4C固定于输送机2近旁，并且各摄像机4A、4B、4C拍摄任一个圆形孔A、B、C。取而代之，也可以将摄像机(手持摄像机)搭载在配置于输送机2近旁且对车体O进行作业的机器人6的手腕上，使机器人6做动作而使搭载于手腕上的摄像机移动，并在不同的时刻拍摄三个圆形孔A、B、C而获取三张图像。

在该情况下，由于也将从三张图像中测量的圆形孔A、B、C的中心位置P₁、P₂、P₃校正为与在同一时刻拍摄三个圆形孔A、B、C等效的位置，因此也能够高精度地测量出车体O的位置和姿态。

也可以将单一或多个摄像机4A、4B、4C安装在与对车体O进行作业的机器人6不同的机器人上进行拍摄。

在本实施方式中，作为物品而举例说明了车体O，但不限于此，本发明所涉及的物品搬运系统1在如下情况下也可以采用：在利用输送机2进行搬运的同时，高精度地测量其他任意的物品的位置和姿态。

在本实施方式中，对在机器人6的控制装置7内具备运算装置5的情况进行了说明。取而代之，如图7所示，在多个机器人6对同一车体O进行作业的情况下，可以设置与各机器人6的控制装置7连接的单元控制装置20，单元控制装置20具备运算装置5。只要摄像机4A、4B、4C以及编码器3的输出输入至单元控制装置2，并在单元控制装置20内测量车体O的位置和姿态，即使任意一个机器人6的电源因维护等暂时变为OFF状态，也能够继续测量车体O的位置和姿态以供其他机器人6利用。

Claims

1.一种物品搬运系统，其特征在于，具备：

搬运装置，其搬运物品，所述物品具备彼此以已知的位置关系配置的三个以上特征点；

摄像机，其拍摄由该搬运装置搬运的所述物品的各所述特征点；

位置测量部，其从由该摄像机获取的图像中测量各所述特征点的位置；

检测部，其检测由所述搬运装置搬运的所述物品的位置或移动速度；

位置校正部，其基于由该检测部检测出的位置或移动速度、和由所述摄像机获取各所述图像的时刻的偏差，将由所述位置测量部测量的各所述特征点的位置校正为在同一时刻所配置的位置；

视线计算部，其基于由该位置校正部校正后的各所述特征点的位置、和所述摄像机的位置，计算经过各所述特征点的视线；以及

位置计算部，其将以各所述特征点的位置作为顶点的已知形状的多边形应用于由该视线计算部计算出的三条以上的视线上，并至少计算所述物品的三维位置。

2.根据权利要求1所述的物品搬运系统，其特征在于，

所述物品具备三个所述特征点，

所述位置计算部将以各所述特征点的位置作为顶点的三角形应用于由所述视线计算部计算出的三条视线上，并计算所述物品的三维位置和姿态。

3.根据权利要求2所述的物品搬运系统，其特征在于，

所述物品搬运系统具备三个所述摄像机，

各所述摄像机分别配置于能够拍摄单独的所述特征点的位置。

4.根据权利要求1所述的物品搬运系统，其特征在于，

所述物品搬运系统具备机器人，所述机器人能够将所述摄像机移动到能够拍摄各所述特征点的位置。

5.根据权利要求2所述的物品搬运系统，其特征在于，

6.根据权利要求1至5中任一项所述的物品搬运系统，其特征在于，

所述检测部是所述搬运装置所具备的编码器。

7.根据权利要求1至5中任一项所述的物品搬运系统，其特征在于，

所述检测部基于由所述摄像机拍摄的所述图像，检测所述物品的位置或移动速度。