CN105645010B - 物品转运装置和物品转运方法 - Google Patents

Abstract

提供一种物品转运装置和物品转运方法，该物品转运装置即使在视觉传感器进行检测后物品在输送机上发生了位置偏移的情况下也能够使机器人一边追随一边把持这种物品。图像处理部具备：物品检测部，其以拍摄和检测通过输送机的搬运动作而移动的多个物品的全部的第一周期来执行多个物品的拍摄和检测，获取全部物品各自的初始位置信息；以及物品跟踪部，其以短于第一周期的第二周期来执行通过输送机的搬运动作而移动的多个物品的拍摄和检测，以第二周期反复地获取多个物品各自的以初始位置信息为基准的移动位置信息。机器人控制部使用移动位置信息来控制机器人，使得机器人一边追随输送机的搬运动作一边将多个物品的各个物品把持并转运。

Description

物品转运装置和物品转运方法

技术领域

本发明涉及一种使用机器人来转运物品的物品转运装置和物品转运方法。

背景技术

已知如下一种系统：利用视觉传感器来检测由输送机搬运的多个物品，机器人基于所检测出的物品的位置信息，一边追随输送机的搬运动作一边将各个物品把持并转运到其它场所。

例如，日本专利公开公报平08-063214号公报(JPH08-063214A)公开了如下的视觉跟踪方法：利用视觉传感器来检测由输送机输送的工件，机器人基于所检测出的工件的位置，一边追随输送机一边把持工件。在该视觉跟踪方法中，在输送机处附设有用于获取工件输送量的脉冲编码器。视觉传感器在基于脉冲编码器的输出信号识别出进行了规定距离的工件输送的时间点，获取输送中的工件的图像。机器人控制器在基于脉冲编码器的输出信号识别出进行了规定距离的工件输送的时间点，开始机器人的跟踪动作。在跟踪动作中，机器人控制器考虑基于视觉传感器所获取到的图像而获得的工件的位置来在与工件一起移动的跟踪坐标系中对机器人进行控制，由此使机器人把持通过输送机正被输送的工件。

发明内容

在机器人基于视觉传感器所检测出的物品的位置信息、一边追随输送机的搬运动作一边将物品把持并转运的系统中，期望的是，不在输送机处附设编码器等移动量传感器，机器人就能够准确地掌握物品的当前位置来一边追随输送机一边把持物品。另外，在该系统中，期望的是，即使在视觉传感器进行检测后物品在输送机上发生了位置偏移的情况下、或者因物品彼此重叠等而存在未能被视觉传感器检测出的物品的情况下，机器人也能够一边追随一边把持这种物品。

本发明的一个方式是一种物品转运装置，该物品转运装置具备：输送机，其搬运物品；机器人，其将物品把持并转运；摄像部，其拍摄物品；图像处理部，其控制摄像部并且基于摄像部所拍摄到的图像的数据来检测物品；以及机器人控制部，其使用图像处理部所检测出的物品的信息来控制机器人，其中，图像处理部具备：物品检测部，其以拍摄和检测通过输送机的搬运动作而移动的多个物品的全部的第一周期来执行多个物品的拍摄和检测，获取全部物品各自的初始位置信息；以及物品跟踪部，其以短于第一周期的第二周期来执行通过输送机的搬运动作而移动的多个物品的拍摄和检测，以第二周期反复地获取多个物品各自的以初始位置信息为基准的移动位置信息，机器人控制部使用移动位置信息来控制机器人，使得机器人一边追随输送机的搬运动作一边将多个物品的各个物品把持并转运。

本发明的其它方式是一种机器人将通过输送机搬运的多个物品把持并转运的物品转运方法，在物品转运方法中，以拍摄和检测通过输送机的搬运动作而移动的多个物品的全部的第一周期来执行多个物品的拍摄和检测，获取全部物品各自的初始位置信息，以短于第一周期的第二周期来执行通过输送机的搬运动作而移动的多个物品的拍摄和检测，以第二周期反复地获取多个物品各自的以初始位置信息为基准的移动位置信息，使用移动位置信息来控制机器人，使得机器人一边追随输送机的搬运动作一边将多个物品的各个物品把持并转运。

根据一个方式所涉及的物品转运装置，在图像处理部的物品检测部获取到通过输送机搬运的物品的初始位置信息之后，图像处理部的物品跟踪部获取该物品的移动位置信息，机器人控制部使用移动位置信息来控制机器人，因此，不在输送机处附设编码器等移动量传感器，机器人就能够掌握通过输送机搬运的物品的当前位置来一边追随输送机一边把持物品M。因此，即使在难以将编码器等移动量传感器附设于输送机的状况下，也能够构建机器人一边追随输送机的搬运动作一边将各个物品把持并转运到其它场所的系统。而且，物品跟踪部以第二周期反复地获取各个物品的移动位置信息，因此，即使在物品检测部获取到物品的初始位置信息之后该物品在输送机上发生了位置偏移的情况下，物品跟踪部也能够跟踪该物品并更新移动位置信息，机器人能够根据更新后的移动位置信息掌握该物品的位置偏移后的当前位置来把持该物品。

根据其它方式所涉及的物品转运方法，起到与物品转运装置的上述效果同等的效果。

附图说明

本发明的目的、特征以及优点通过与附图相关联的以下的实施方式的说明会变得更进一步明确。在该附图中，

图1是示意性地表示一个实施方式所涉及的物品转运装置的结构的图，

图2是示意性地表示物品转运装置的变形例的图，

图3是示意性地表示物品转运装置的其它变形例的图，

图4是示意性地表示物品转运装置的另一变形例的图，

图5是示意性地表示其它实施方式所涉及的物品转运装置的结构的图，

图6A是说明排列图案的一例的图，是表示按照排列图案排列的物品的图，

图6B是对图6A的排列图案进行定义的排列样式的图，

图7是表示机器人控制部的硬件结构的一例的框图，

图8是表示图像处理部的硬件结构的一例的框图，

图9是表示机器人控制部和图像处理部的硬件结构的其它例的框图，

图10是表示机器人控制部和图像处理部的硬件结构的另一例的框图，

图11是图5的实施方式中的机器人控制部和图像处理部的功能框图，

图12是示意性地表示物品的把持和转运作业的一例的图，

图13是说明物品的跟踪处理的一例的图，

图14是说明物品的跟踪处理的其它例的图，

图15是表示图像处理部的物品管理部的处理的流程图，

图16是表示图像处理部的物品跟踪部的处理的流程图，

图17是表示物品跟踪部的处理的细节的流程图，

图18是表示物品跟踪部的处理的细节的流程图，

图19是表示物品跟踪部的处理的细节的流程图，

图20是表示第一控制部的信息管理部的处理的流程图，

图21是表示信息管理部的处理的细节的流程图，以及

图22是表示信息管理部的处理的细节的流程图。

具体实施方式

下面，参照附图来说明本发明的实施方式。在所有附图中对于对应的结构要素标注共同的参照标记。

图1表示一个实施方式所涉及的物品转运装置10。物品转运装置10具备：输送机12，其搬运物品M；机器人14，其将物品M把持并转运；摄像部16，其拍摄物品M；图像处理部18，其控制摄像部16并且基于摄像部16所拍摄到的图像的数据来检测物品M；以及机器人控制部20，其使用图像处理部18所检测出的物品M的信息来控制机器人14。

输送机12具有能够将多个物品M支承并向一个方向(图中箭头W方向)搬运的公知的输送构件以及连续或断续地驱动输送构件的公知的驱动机构。关于通过输送机12搬运的多个物品M，既可以是具有各种形状、尺寸、外观(颜色)等的物品混合存在，也可以是所有物品均具有相同的形状、尺寸、外观(颜色)等。另外，物品M也可以具有如水果、蔬菜类那样容易使输送机12的支承变得不稳定的形状。

多个物品M以不规则配置的方式放置在输送机12上并以该状态被搬运，并且被供给到机器人14的规定的作业区域(执行物品M的把持和拿起的区域)22(以点划线表示)。此外，不规则配置是指完全没有意图排列成特定的形态而随意地放置的配置，是指如下的配置：在从正上方观察多个物品M时的二维扩展(例如摄像部16所获取的图像)中各个物品M呈现多样的位置、姿势。在本实施方式中，输送机12中未装备能够检测输送构件或驱动机构的位置、速度的编码器等移动量传感器。

机器人14能够具备从多关节型、龙门式(gantry type)、并联连杆型(parallellink type)等公知的各种机构部(即操纵器(manipulator))适当地选择出的机构部(未图示)以及从吸附型、握持型等公知的各种手适当地选择出的手(未图示)。机器人14配置于输送机12的侧方的规定位置处，以如下方式动作：机构部和手在机器人14的作业区域22内一边追随通过输送机12搬运的物品M一边将该物品M把持并拿起，进而转运到其它场所。在本实施方式中，机器人14具备一台机构部。

摄像部16具有涵盖输送机12的搬运方向上的一部分以及横切方向上的整体的预先决定的视场24(以虚线表示)。机器人14的作业区域22位于视场24之中。摄像部16从正上方拍摄视场24内存在的物品M和输送机12来获取物品M和输送机12的二维图像数据。在本实施方式中，摄像部16具备一台照相机(以下也称为照相机16)。照相机16能够是数字照相机，例如能够任意地设定分辨率、拍摄范围。在本实施方式中，照相机16能够在对视场24的输送机搬运方向上游端的一部分24a进行拍摄的模式和对整个视场24进行拍摄的模式之间切换。照相机16经由照相机线缆26连接于图像处理部18。

图像处理部18使摄像部16拍摄视场24内的物品M和输送机12，适当地对摄像部16所获取到的二维图像数据进行图像处理，由此检测物品M的存在，并且获取各个物品M在预先决定的二维坐标系中的位置(坐标值)及姿势(旋转角度)的信息。图像处理部18所获取的后述的“位置信息”(初始位置信息、移动位置信息等)通常包含物品M的位置及姿势的信息，但是也有时“位置信息”可以不包含物品M的姿势的信息，例如物品M为圆形的情况。在本说明书中，将物品M的位置及姿势的信息以及物品M的位置的信息统称为“位置信息”。另外，图像处理部18也能够从摄像部16的拍摄数据中获取各个物品M的二维外形、颜色等信息(以下称为外观特征信息)。图像处理部18所获取到的物品M的位置信息能够作为图像显示在未图示的监视器上。

图像处理部18经由通信线缆28连接于机器人控制部20，能够将基于摄像部16的二维图像数据检测出的物品M的位置信息随时发送到机器人控制部20。或者，也能够如后所述那样将图像处理部18和机器人控制部20装备于一台共同的控制装置。

在输送机12中，能够定义以其搬运方向为X轴的二维的输送机坐标系(静止坐标系)30。在本实施方式中，机器人14能够按照输送机坐标系30下的指令在输送机坐标系30中进行动作。另外，图像处理部18通过使用输送机坐标系30进行摄像部16的校准，能够将检测出的物品M的位置信息用输送机坐标系30表示。机器人控制部20使用图像处理部18所检测出的物品M的位置信息来控制机器人14，使机器人14执行与手的形态相应的把持动作。

图像处理部18具备：物品检测部32，其以拍摄和检测通过输送机12的搬运动作而移动的多个物品M的全部的第一周期T1来执行多个物品M的拍摄和检测，获取全部物品M各自的初始位置信息D1；以及物品跟踪部34，其以短于第一周期T1的第二周期T2来执行通过输送机12的搬运动作而移动的多个物品M的拍摄和检测，以第二周期T2反复地获取多个物品M各自的以初始位置信息D1为基准的移动位置信息D2。机器人控制部20使用移动位置信息D2来控制机器人14，使得机器人14一边追随输送机12的搬运动作一边将多个物品M的各个物品M把持并转运。在本实施方式中，初始位置信息D1和移动位置信息D2均以输送机坐标系30中的坐标值和旋转角度(或仅以坐标值)来表示。

物品检测部32具有以下功能：在摄像部16的视场24内最初识别并检测通过输送机12的搬运动作被供给到机器人14的作业区域22的多个物品M的各个物品M(以下也称为“初始检测”)。在本实施方式中，物品检测部32构成为在摄像部16的视场24的上游端部分24a中对物品M进行初始检测。第一周期T1是摄像部16在视场24的上游端部分24a中至少能够将各个物品M的整体像拍摄一次的周期。

举个具体例，在视场24的上游端部分24a的沿输送机12的搬运方向W观察到的(即输送机坐标系30的X轴方向上的)长度为400mm、物品M的最大宽度为100mm、输送机12的搬运速度为200mm/s的结构的情况下，用于在从伴随输送机12的搬运动作而一个物品M的整体进入上游端部分24a的瞬间起到该物品M的一部分移出到上游端部分24a的外部为止的期间内将该物品M拍摄一次的第一周期T1如以下那样。

T1＝(400(mm)-100(mm))/200(mm/s)＝1.5(s)

在上述具体例中，通过以上述第一周期T1来拍摄由输送机12向作业区域22供给的多个物品M，能够在物品M存在于视场24的上游端部分24a的期间内拍摄全部物品M来进行初始检测，从而能够获取这些物品M各自的初始位置信息D1。

物品跟踪部34具有以下功能：在摄像部16的视场24内继续识别并检测由物品检测部32进行初始检测后的多个物品M的各个物品M(以下也称为“跟踪”)。在本实施方式中，物品跟踪部34构成为在摄像部16的整个视场24中对物品M进行跟踪。第二周期T2是摄像部16在视场24中将各个物品M的整体像以不会发生与其它物品M之间的误检测的方式反复拍摄足以进行跟踪的次数的周期。

例如，认为为了不将以完全相同的姿势(旋转角度)并排接触地放置的两个物品M彼此误检测，应该在输送机12的搬运距离为物品M的最小宽度的一半以下的期间内使摄像部16拍摄各物品M来完成物品跟踪部34的检测。在该条件下，在前述的具体例中，在物品M的最小宽度为60mm的情况下，第二周期T2如以下那样。

T2＝(60(mm)/2)/200(mm/s)＝0.15(s)

在上述具体例中，通过以上述第二周期T2来拍摄通过输送机12的搬运动作而移动的多个物品M，能够在视场24内反复拍摄这些物品M的各个物品M并以不会被误认作其它物品的方式进行跟踪，从而能够获取这些物品M各自的移动位置信息D2。此外，通过不以“物品M的最小宽度的一半”为条件而将第二周期T2缩短至与图像处理部18所具有的处理能力的极限相当的时间来进行设定，能够最大限度地提高移动位置信息D2的准确度，从而能够最大限度地提高机器人14一边追随一边把持物品M的动作的精度。

在图像处理部18中，与物品检测部32以第一周期T1进行的拍摄和检测(即初始检测)并行地执行物品跟踪部34以第二周期T2进行的拍摄和检测(即跟踪)(进行所谓的多任务处理)。此时，物品跟踪部34将物品检测部32所获取到的物品M的初始位置信息D1中包含的位置及姿势(或仅位置)的值作为初始值，以第二周期T2反复地拍摄和检测该物品M，由此持续重复地获取该物品M的实时的位置及姿势(或仅位置)的值(即变化量)作为移动位置信息D2。此外，摄像部16的一台照相机16以适当顺序和适当定时来执行以第一周期T1进行的拍摄和以第二周期T2进行的拍摄。

图像处理部18在由物品跟踪部34进行的物品跟踪处理中利用物品检测部32所获取到的各个物品M的初始位置信息D1，另一方面，将该初始位置信息D1与使机器人14把持各个物品M所需的其它信息一起以汇总为包(以下称为包α)的形式发送到机器人控制部20。包α所包含的信息有表示该信息为包α的包ID、物品检测部32所获取到的初始位置信息D1、与初始位置信息D1对应的物品拍摄时刻以及用序列号表示物品M的物品ID。对由输送机12向机器人14的作业区域22供给的全部物品M的各个物品M仅创建一次包α并将包α发送到机器人控制部20。

另外，图像处理部18在每次获取由物品跟踪部34反复地获取到的各个物品M的移动位置信息D2时，将该移动位置信息D2与使机器人14把持各个物品M所需的其它信息一起以汇总为包(以下称为包β)的形式发送到机器人控制部20。包β所包含的信息有表示该信息为包β的包ID、物品跟踪部34所获取到的移动位置信息D2、与移动位置信息D2对应的物品拍摄时刻以及用序列号表示物品M的物品ID。对由输送机12向机器人14的作业区域22供给的全部物品M的各个物品M重复地创建包β并将包β发送到机器人控制部20。

机器人控制部20基于从图像处理部18发送来的包α的信息，将用于使机器人14把持各个物品M的物品信息以汇总为包(以下称为包γ)的形式创建。包γ所包含的信息有包α的信息以及到此时间点为止从图像处理部18发送来的包β的信息中的、包含最新信息的任意次数的量的包β所包含的移动位置信息D2及物品拍摄时刻。并且，也能够使包γ包含基于任意次数的量的移动位置信息D2及物品拍摄时刻的间隔获得的物品M的移动速度(即输送机12的搬运速度)的信息。物品转运装置10的使用者能够任意地设定在包γ的创建中使用的包β的接收次数。机器人控制部20在机器人14将该物品M把持并从输送机12进行了转运时，删除该物品M的包γ的信息。

机器人控制部20通过将在此时间点保持的包γ的信息与从图像处理部18实时发送的包β的信息进行对照，来识别存在即将进入机器人14的作业区域22的物品M或当前正经过作业区域22的物品M。因此，机器人控制部20使用与识别出存在的物品M对应的包β所包含的该物品M的移动位置信息D2来控制机器人14。在该控制下，机器人14一边追随输送机12的搬运动作一边将该物品M把持并拿起，进而将物品M从输送机12转运到预先决定的其它场所。

根据具有上述结构的物品转运装置10，在图像处理部18的物品检测部32获取到通过输送机12搬运的物品M的初始位置信息D1之后，图像处理部18的物品跟踪部34获取该物品M的移动位置信息D2，机器人控制部20使用移动位置信息D2来控制机器人14，因此，不在输送机12处附设编码器等移动量传感器，机器人14就能够掌握通过输送机12搬运的物品M的当前位置来一边追随输送机12一边把持物品M。因此，即使在难以将编码器等移动量传感器附设于输送机的状况下，也能够构建机器人一边追随输送机的搬运动作一边将各个物品把持并转运到其它场所的系统。而且，物品跟踪部34以第二周期T2反复地获取各个物品M的移动位置信息D2，因此，即使在物品检测部32获取到物品M的初始位置信息D1之后该物品M在输送机12上发生了位置偏移的情况下，物品跟踪部34也能够跟踪该物品M并更新移动位置信息D2，机器人14能够通过更新后的移动位置信息D2掌握该物品M的位置偏移后的当前位置来把持该物品M。

能够将上述的物品转运装置10的结构描述为本发明的其它方式所涉及的物品转运方法。该物品转运方法是机器人14将通过输送机12搬运的多个物品M把持并转运的物品转运方法，具有以下步骤：以拍摄和检测通过输送机12的搬运动作而移动的多个物品M的全部的第一周期T1来执行多个物品M的拍摄和检测，获取全部物品M各自的初始位置信息D1；以短于第一周期T1的第二周期T2来执行通过输送机12的搬运动作而移动的多个物品M的拍摄和检测，以第二周期T2反复地获取多个物品M各自的以初始位置信息D1为基准的移动位置信息D2；以及使用移动位置信息D2来控制机器人14，使得机器人14一边追随输送机12的搬运动作一边将多个物品M的各个物品M把持并转运。

图2表示物品转运装置10的变形例。在该变形例中，摄像部16具备彼此独立地动作的第一照相机16A和第二照相机16B。第一照相机16A具有前述的视场24的输送机搬运方向上游端的一部分24a作为其本身的视场。第二照相机16B具有视场24。物品检测部32使第一照相机16A拍摄视场24a内的物品M，并且基于第一照相机16A所拍摄到的图像的数据来检测物品M。物品跟踪部34使第二照相机16B拍摄视场24内的物品M，并且基于第二照相机16B所拍摄到的图像的数据来检测物品M。第一照相机16A和第二照相机16B均能够为数字照相机，例如能够任意地设定分辨率、拍摄范围。第一照相机16A和第二照相机16B分别经由照相机线缆26连接于图像处理部18。在该结构中，能够并行地实施第一照相机16A以第一周期T1进行的拍摄和第二照相机16B以第二周期T2进行的拍摄。

图3表示物品转运装置10的其它变形例。在该变形例中，机器人14具备彼此独立地动作的第一机构部14A和第二机构部14B，机器人控制部20具备控制第一机构部14A的第一控制部20A和控制第二机构部14B的第二控制部20B。第一机构部14A和第二机构部14B均能够具有公知的各种机构部(即操纵器)的结构，还能够装备公知的各种手(未图示)。第一机构部14A配置于输送机12的侧方的规定位置处，以如下方式动作：在作业区域22A内一边追随通过输送机12搬运的物品M一边将物品M把持并拿起，进而转运到其它场所。第二机构部14B配置于第一机构部14A的输送机搬运方向下游侧且是输送机12的侧方的规定位置处，以如下方式动作：在作业区域22B内一边追随通过输送机12搬运的物品M一边将物品M把持并拿起，进而转运到其它场所。为了避免第一机构部14A和第二机构部14B彼此干扰，将作业区域22A和作业区域22B设定在互不重叠的位置处。另外，这些作业区域22A、22B均位于摄像部16的视场24的内部。

第一控制部20A使用移动位置信息D2来控制第一机构部14A，使得第一机构部14A一边追随输送机12的搬运动作一边将多个物品M的各个物品M把持并转运。第二控制部20B使用移动位置信息D2来控制第二机构部14B，使得第二机构部14B一边追随输送机12的搬运动作一边将多个物品M(未被第一机构部14A拿起的物品M)的各个物品M把持并转运。第一控制部20A和第二控制部20B经由通信线缆28而彼此连接并且连接于图像处理部18。在该结构中，第一控制部20A和第二控制部20B能够执行使第一机构部14A和第二机构部14B分别把持与预先决定的作业比例(即作业的分担率)相应的个数的物品M的控制。与后述的其它实施方式相关联地进一步详细说明考虑作业比例进行的控制。

图4表示物品转运装置10的另一变形例。该变形例相当于将图2的变形例与图3的变形例相组合而成的变形例，具备作为摄像部16的第一照相机16A和第二照相机16B、作为机器人14的第一机构部14A和第二机构部14B以及作为机器人控制部20的第一控制部20A和第二控制部20B。

如上述的几个变形例那样，能够根据通过输送机12搬运的物品M的总数和搬运速度、机器人14将物品M转运到其它场所所需的时间、所要求的作业精度等各种因素来适当设定构成摄像部16的照相机的台数、构成机器人14的机构部的台数。例如，也能够具备三台以上的照相机、三台以上的机器人机构部、三台以上的机器人控制部。在将照相机、机器人机构部沿输送机搬运方向并排配置的情况下，下游侧的照相机、机器人机构部能够构成为执行上游侧的照相机、机器人机构部未执行的作业。

图5表示其它实施方式所涉及的物品转运装置40。物品转运装置40除了以下方面以外、在基本部分上具有与前述的物品转运装置10实质上相同的结构，上述方面包括：作为摄像部16而发挥功能的照相机的台数、作为机器人14而发挥功能的机构部的台数以及作为机器人控制部20而发挥功能的控制部的台数不同；以及具备第二输送机来作为机器人14对物品M的转运目的地。在以下的说明中，对于与物品转运装置10的结构对应的结构，有时通过标注共同的参照标记来省略其说明。另外，关于在物品转运装置10中省略了说明的细节的结构，下面也有时与物品转运装置40相关联地详细进行说明。

物品转运装置40具备：输送机12，其搬运物品M；机器人14，其将物品M把持并转运；摄像部16，其拍摄物品M；图像处理部18，其控制摄像部16，并且基于摄像部16所拍摄到的图像的数据来检测物品M；以及机器人控制部20，其使用图像处理部18所检测出的物品M的信息来控制机器人14。物品转运装置40还具备将机器人14从输送机12拿起的物品M转运并载置的第二输送机42(以下称为排出输送机42)。

机器人14具备彼此独立地动作的第一机构部14A、第二机构部14B以及第三机构部14C。第一机构部14A配置于输送机12的侧方的规定位置处，以如下方式动作：在作业区域22A内一边追随通过输送机12搬运的物品M一边将物品M把持并拿起，进而转运到排出输送机42。第二机构部14B配置于第一机构部14A的输送机搬运方向下游侧且是输送机12的侧方的规定位置处，以如下方式动作：在作业区域22B内一边追随通过输送机12搬运的物品M一边将物品M把持并拿起，进而转运到排出输送机42。第三机构部14C配置于第二机构部14B的输送机搬运方向下游侧且是输送机12的侧方的规定位置处，以如下方式动作：在作业区域22C内一边追随通过输送机12搬运的物品M一边将物品M把持并拿起，进而转运到排出输送机42。为了避免相邻的机构部14A、14B、14C彼此干扰，将作业区域22A、22B、22C设置在互不重叠的位置处。第一机构部～第三机构部14A、14B、14C能够具有实质相同的硬件结构。

摄像部16具备彼此独立地动作的第一照相机16A、第二照相机16B以及第三照相机16C。第一照相机16A具有涵盖输送机12的搬运方向上的一部分以及横切方向上的整体的预先决定的视场44(以虚线表示)。视场44设定在使前述的视场24的输送机搬运方向上游端的一部分24a(图1)向输送机搬运方向上游侧移位适当的距离后的位置处。第二照相机16B具有前述的视场24。第一照相机16A的视场44与第二照相机16B的视场24部分地相互重叠。第三照相机16C具有涵盖输送机12的搬运方向上的一部分以及横切方向上的整体的预先决定的视场46(以虚线表示)。视场46设定为从视场24的输送机搬运方向下游端进一步向下游侧延伸。第三照相机16C的视场46与第二照相机16B的视场24部分地相互重叠。第一机构部14A和第二机构部14B的作业区域22A、22B位于第二照相机16B的视场24的内部。第三机构部14C的作业区域22C位于第三照相机16C的视场46的内部。第一照相机～第三照相机16A、16B、16C经由照相机线缆26连接于图像处理部18。第一照相机～第三照相机16A、16B、16C能够具有实质相同的硬件结构。

机器人控制部20具备控制第一机构部14A的第一控制部20A、控制第二机构部14B的第二控制部20B以及控制第三机构部14C的第三控制部20C。第一控制部20A使用移动位置信息D2来控制第一机构部14A，使得第一机构部14A一边追随输送机12的搬运动作一边将多个物品M的各个物品M把持并转运。第二控制部20B使用移动位置信息D2来控制第二机构部14B，使得第二机构部14B一边追随输送机12的搬运动作一边将多个物品M(未被第一机构部14A拿起的物品M)的各个物品M把持并转运。第三控制部20C使用(后述的)追加移动位置信息D3来控制第三机构部14C，使得第三机构部14C一边追随输送机12的搬运动作一边将多个物品M(未被第二机构部14B拿起的物品M)的各个物品M把持并转运。第一控制部～第三控制部20A、20B、20C经由通信线缆28和网络集线器48而彼此连接并且连接于图像处理部18。第一控制部～第三控制部20A、20B、20C能够具有实质相同的硬件结构。

图像处理部18具备：物品检测部32，其使第一照相机16A拍摄视场44内的物品M，并且基于第一照相机16A所拍摄到的图像的数据来对物品M进行检测(初始检测)；物品跟踪部34，其使第二照相机16B拍摄视场24内的物品M，并且基于第二照相机16B所拍摄到的图像的数据来检测(跟踪)物品M；以及辅助跟踪部50，其使第三照相机16C拍摄视场46内的物品M，并且基于第三照相机16C所拍摄到的图像的数据来检测(跟踪)物品M。辅助跟踪部50以短于第一周期T1的第三周期T3来执行通过输送机12的搬运动作而移动的多个物品M的拍摄和检测，以第三周期T3反复地获取多个物品M各自的以移动位置信息D2为基准的追加移动位置信息D3。

辅助跟踪部50具有以下功能：对于物品跟踪部34在第二照相机16B的视场24内跟踪过的多个物品M的各个物品M，在第三照相机16C的视场46内继续进行跟踪。第三照相机16C和辅助跟踪部50是为了使第三机构部14C在作业区域22C内把持物品跟踪部34在视场24内跟踪过的物品M中的、在作业区域22A、22B内未被第一机构部14A和第二机构部14B把持的物品M而设置的。关于第三周期T3，能够按照与第二周期T2相同的条件来设定，能够与第二周期T2相同。

图像处理部18将物品检测部32以第一周期T1进行的拍摄和检测(即初始检测)、物品跟踪部34以第二周期T2进行的拍摄和检测(即跟踪)以及辅助跟踪部50以第三周期T3进行的拍摄和检测(即跟踪)彼此并行地执行。第一照相机～第三照相机16A、16B、16C能够将以第一周期～第三周期T1、T2、T3进行的拍摄彼此并行地执行。此时，辅助跟踪部50将由物品跟踪部34反复获取到的物品M的移动位置信息D2中的、进入了第三照相机16C的视场46的物品M的最终的移动位置信息D2所包含的位置及姿势(或仅位置)的值作为初始值，以第三周期T3反复地拍摄和检测该物品M，由此持续重复地获取该物品M的实时的位置及姿势(或仅位置)的值(即变化量)作为追加移动位置信息D3。

图像处理部18在由物品跟踪部34进行的物品跟踪处理中利用物品检测部32所获取到的各个物品M的初始位置信息D1，另一方面，将该初始位置信息D1以前述的包α的形式仅发送到第一控制部20A。在本实施方式中，包α中除了包含前述的信息以外还包含照相机ID，该照相机ID表示获取到作为初始位置信息D1的数据源的图像数据的第一照相机16A。另外，图像处理部18在每次获取由物品跟踪部34反复地获取到的各个物品M的移动位置信息D2以及每次获取由辅助跟踪部50反复地获取到的各个物品M的追加移动位置信息D3时，将该移动位置信息D2和追加移动位置信息D3以前述的包β的形式发送到第一控制部～第三控制部20A、20B、20C的全部。在本实施方式中，包β中除了包含前述的信息以外还包含照相机ID，该照相机ID表示获取到作为移动位置信息D2或追加移动位置信息D3的数据源的图像数据的第二照相机16B或第三照相机16C。

第一控制部20A基于从图像处理部18发送来的包α的信息，将用于使第一机构部～第三机构部14A、14B、14C把持各个物品M的物品信息以前述的包γ的形式创建。包γ所包含的信息是包α的信息以及到此时间点为止从图像处理部18发送来的包β的信息中的、包含最新信息的任意次数的量的包β所包含的移动位置信息D2或追加移动位置信息D3及物品拍摄时刻。第一控制部20A在第一机构部14A将该物品M把持并从输送机12进行了转运时删除该物品M的包γ的信息，另一方面，将未由第一机构部14A从输送机12转运的物品M的包γ的信息发送到第二控制部20B。对于从第一控制部20A接收到的包γ的信息，第二控制部20B在第二机构部14B将该物品M把持并从输送机12进行了转运时删除该物品M的包γ的信息，另一方面，将未由第二机构部14B从输送机12转运的物品M的包γ的信息发送到第三控制部20C。

第一控制部～第三控制部20A、20B、20C各自通过将在此时间点保持着的包γ的信息与从图像处理部18实时发送来的包β的信息进行对照，来识别存在即将进入第一机构部～第三机构部14A、14B、14C各自的作业区域22A、22B、22C的物品M或当前正经过作业区域22A、22B、22C的物品M。因此，第一控制部20A和第二控制部20B各自使用与识别出存在的物品M对应的包β所包含的该物品M的移动位置信息D2来分别控制第一机构部14A和第二机构部14B。另外，第三控制部20C使用与识别出存在的物品M对应的包β所包含的该物品M的追加移动位置信息D3来控制第三机构部14C。在这些控制下，第一机构部～第三机构部14A、14B、14C分别一边追随输送机12的搬运动作一边将物品M把持并拿起，进而从输送机12转运到排出输送机42。

排出输送机42以与输送机12实质上平行地排列的方式配置于使第一机构部～第三机构部14A、14B、14C各自能够执行放置物品M的作业的位置处。排出输送机42具有能够将多个物品M支承并向一个方向(图中箭头W方向)搬运的公知的输送构件以及连续或断续地驱动输送构件的公知的驱动机构。在排出输送机42处附设有检测输送构件的移动量的编码器52。将编码器52所检测出的移动量输入到第一控制部20A，使第一控制部～第三控制部20A、20B、20C经由通信网络共享该移动量。

在排出输送机42上载置有多个托盘54，该多个托盘54分别能够将规定个数的物品M以规定配置支承。另外，在排出输送机42处附设有光电管传感器56，该光电管传感器56检测各个托盘54针对规定位置的到达。第一控制部20A在从光电管传感器56接收到一个托盘54的检测信号的同时，读取从编码器52输入的排出输送机42的移动量并作为初始值进行存储，之后，将随时更新的编码器52的检测值与所存储的初始值进行比较，由此能够获知该托盘54的当前位置。

在各个托盘54上，能够按照预先决定的排列图案58来载置多个物品M。图6A表示托盘54上的物品M的排列图案58的一例。排列图案58具有分别表示物品M的位置的图案要素P1、图案要素P2、图案要素P3、图案要素P4这四个图案要素。在图示的例子中，准备了如图6A所示，那样在二维图像上以托盘54的右上角为原点的坐标系57中分别用坐标值(X，Y)和相对旋转角度Φ对图案要素P1、P2、P3、P4进行定义而得到的排列样式59(图6B)。在图示的排列样式59中，P1、P2、P3、P4各自的坐标值为(X1，Y1)、(X1，Y2)、(X2，Y1)、(X2，Y2)，P1、P2、P3、P4各自的旋转角度为0°、-90°、90°、180°。

第一控制部～第三控制部20A、20B、20C控制第一机构部～第三机构部14A、14B、14C，使得第一机构部～第三机构部14A、14B、14C按照具有上述的图案要素P1、P2、P3、P4的排列图案58将物品M逐个地载置到托盘54上。图6A表示按照排列图案58配置在托盘54上的具有箭头状的外形的四个物品M。此外，在图中，为了有助于理解而以“+”标记示出了各图案要素P1、P2、P3、P4，但是图案要素P1、P2、P3、P4本身无需具有形状。另外，在图中，通过使各物品M的二维外形的几何中心点对准图案要素P1、P2、P3、P4来将四个物品M以排列图案58放置，但是不限于此，也能够使各物品M的任意的共同点对准图案要素P1、P2、P3、P4。

图7示出第一控制部～第三控制部20A、20B、20C的各控制部或机器人控制部20(图1)的硬件结构的一例。各控制部20A、20B、20C或机器人控制部20具备包括微处理器的CPU60。在CPU 60上经由总线71分别连接有ROM 62、RAM 64、SRAM 66、数字信号处理器(DSP)用数据存储器68以及数字信号处理器(DSP)70。ROM 62中保存有对系统整体进行控制的程序，RAM 64中临时保存有由CPU 60处理的数据。SRAM 66中保存有用于第一机构部～第三机构部14A、14B、14C的各机构部或机器人14的动作程序、设定数据。DSP 70是用于对编码器52的输出信号进行处理的处理器，DSP用数据存储器68保存DSP 70的处理数据、设定参数。DSP70具有以下功能：按照CPU 60的命令来在任意的时间点探测编码器52的输出，并将所探测到的输出写入到DSP用数据存储器68的规定区域中。

各控制部20A、20B、20C或机器人控制部20具有用于控制各机构部14A、14B、14C或机器人14的轴控制部72。轴控制部72经由伺服电路74连接于各机构部14A、14B、14C或机器人14。由此，各控制部20A、20B、20C或机器人控制部20能够对各机构部14A、14B、14C或机器人14进行控制。并且，各控制部20A、20B、20C或机器人控制部20具备通信接口76、I/O接口78，能够经由通信接口76、I/O接口78而与其它控制部20A、20B、20C、图像处理部18、光电管传感器56等周边装置进行通信。

图8示出图像处理部18的硬件结构的一例。图像处理部18具备包括微处理器的CPU80。在CPU 80上经由总线92分别连接有ROM 82、RAM 84、用于连接设置于外部的监视器86的监视器接口88以及用于连接第一照相机～第三照相机16A、16B、16C的各照相机或摄像部16(图1)的照相机接口90。各照相机16A、16B、16C或摄像部16所拍摄到的图像经由照相机接口90保存到RAM 84中。照相机接口90能够将各个照相机16A、16B、16C彼此独立地控制，无论各照相机16A、16B、16C的拍摄状况如何，始终能够在指定的定时执行拍摄。利用CPU 80来分析RAM 84中保存的数据，使图像处理部18将该数据作为物品M的位置、姿势的信息(初始位置信息D1、移动位置信息D2、追加移动位置信息D3)来获取。图像处理部18也能够从RAM 84中保存的拍摄数据中获取物品M的形状、颜色等外观特征信息。ROM 82中保存有图像处理部18的各种设定信息、分析程序。CPU 80能够应对所谓的多核、多线程，能够并行地分析第一照相机～第三照相机16A、16B、16C所拍摄到的图像数据。图像处理部18还具备通信接口94、I/O接口96，能够经由通信接口94、I/O接口96而与各控制部20A、20B、20C、周边装置进行通信。

也能够如图9所示那样将各控制部20A、20B、20C或机器人控制部20、以及图像处理部18内置于共同的控制装置98。图像处理部18的CPU 80经由控制装置98的总线100连接于各控制部20A、20B、20C或机器人控制部20的CPU60。另外，图像处理部18的CPU 80能够经由各控制部20A、20B、20C或机器人控制部20的CPU 60访问SRAM 66来保存各种设定信息，或者访问DSP用数据存储器68来读取编码器52的信息。能够根据需要而将图像处理部18的CPU80经由各控制部20A、20B、20C或机器人控制部20的CPU 60连接于通信接口76、I/O接口78。在该情况下，能够省略前述的通信接口94、I/O接口96。

在控制装置98中，也能够用各控制部20A、20B、20C或机器人控制部20的CPU 60、ROM 62以及RAM 64来代替图像处理部18的CPU 80、ROM 82以及RAM 84。图10中例示出具有这种简化后的硬件结构的控制装置98。

图11中以功能框图示出物品转运装置40的图像处理部18以及第一控制部～第三控制部20A、20B、20C中的对关于物品M的信息以及关于物品M的把持和转运作业的信息进行处置的各种处理的单位。图中的箭头表示关于物品M的信息以及关于物品M的把持和转运作业的信息的流动。

如图11所示，第一控制部～第三控制部20A、20B、20C分别具有作业内容设定部102A、102B、102C。在作业内容设定部102A、102B、102C中，设定第一机构部～第三机构部14A、14B、14C(图5)所分别执行的作业比例、托盘54上的物品M的排列图案58、输送机12上的作业区域22A、22B、22C(图5)等关于物品把持和转运作业的作业内容。由作业内容设定部102A、102B、102C中的某一个设定的作业内容能够经由通信网络发送到其它控制部20A、20B、20C的作业内容设定部102A、102B、102C，从而能够由全部控制部20A、20B、20C的作业内容设定部102A、102B、102C共享。

在此，说明第一机构部～第三机构部14A、14B、14C的作业比例。作为例子，如图12所示，考察以下的结构：通过输送机12来将物品M1、M2、M3、M4从开头起依次供给到作业区域22A、22B、22C(图5)，第一机构部～第三机构部14A、14B、14C(图5)将这些物品M1、M2、M3、M4拿起并转运到排出输送机42上的托盘54，以前述的排列图案58进行配置。下面，说明在该结构中将第一机构部～第三机构部14A、14B、14C的作业比例R设定为1：1：1的情况下由各机构部14A、14B、14C进行的物品把持和转运作业的一例。

首先，第一机构部～第三机构部14A、14B、14C(图5)中的设置于最上游侧的第一机构部14A将最初供给的物品M1把持并从输送机12拿起，按照排列图案58放置于托盘54上的图案要素P1处。接着，第一机构部14A为了满足所指定的作业比例R＝1：1：1，将物品M2和物品M3放行以供下游侧的第二机构部14B和第三机构部14C作业，之后，将末尾的物品M4把持并从输送机12拿起，按照排列图案58放置于托盘54上的图案要素P2处。第二机构部14B将第一机构部14A所放行的物品中的先供给的物品M2把持并从输送机12拿起，按照排列图案58放置于托盘54上的图案要素P3处。然后，第三机构部14C将剩下的物品M3把持并从输送机12拿起，按照排列图案58放置于托盘54上的图案要素P4处。在该时间点，第一机构部～第三机构部14A、14B、14C所执行的物品把持和转运作业的分担率为2：1：1。

当在物品M1～M4之后又供给了多个物品M(未图示)时，第一机构部14A为了满足所指定的作业比例R＝1：1：1，按供给顺序将两个物品M放行，将第三个物品M转运到下一个托盘54。然后，第二机构部14B和第三机构部14C各分担一个第一机构部14A所放行的物品M并转运到下一个托盘54。在该时间点，第一机构部～第三机构部14A、14B、14C所执行的物品把持和转运作业的分担率为3：2：2。通过重复这种作业，第一机构部～第三机构部14A、14B、14C最终对通过输送机12供给的全部物品M以符合作业比例R＝1：1：1的分担率执行把持和转运作业。

在上述的作业例中，第一机构部～第三机构部14A、14B、14C将输送机12上的多个物品M按供给顺序把持，并按排列图案58的图案要素P1～P4的编号顺序配置于托盘54。另外，第一机构部～第三机构部14A、14B、14C以按该顺序且实现与作业比例R最近似的分担率为条件，来决定将物品M把持还是放行。关于这种作业规则，能够由物品转运装置40的使用者事先设定期望的作业规则并保存到第一控制部～第三控制部20A、20B、20C的SRAM 66中。

再次参照图11，第一控制部20A具有托盘检测部104、信息管理部106A以及作业执行部108A。第二控制部20B具有信息管理部106B和作业执行部108B。第三控制部20C具有信息管理部106C和作业执行部108C。

托盘检测部104通过来自光电管传感器56(图5)的托盘检测信号的输入来探测托盘54(图5)，将探测到托盘54的瞬间的排出输送机42(图5)的编码器52(图5)的检测值传输到信息管理部106A。预先通过作业内容设定部102A将光电管传感器56的位置、排出输送机42的行进方向与第一机构部14A(图5)的机器人坐标系(图1的实施方式中为输送机坐标系30)关联起来，由此信息管理部106A能够使用从托盘检测部104传输来的检测出托盘时的编码器52的检测值，来以机器人坐标系获得所探测到的托盘54的位置以及排列图案58的图案要素P1～P4(图12)的坐标值及相对旋转角度。将全部图案要素P1～P4的坐标值及相对旋转角度的信息暂时保持到信息管理部106A中，将未被第一机构部14A放置物品M的图案要素P1～P4的信息作为前述的包γ的信息并经由通信网络传输到第二控制部20B的信息管理部106B。同样地，将信息管理部106B中保持的图案要素P1～P4的信息中的未被第二机构部14B放置物品M的图案要素P1～P4的信息作为前述的包γ的信息并经由通信网络传输到第三控制部20C的信息管理部106C。

如图11所示，图像处理部18除了具有物品检测部32、物品跟踪部34以及辅助跟踪部50以外，还具有条件设定部110和物品管理部112。在条件设定部110中，对作为检测或跟踪对象的物品M的教学模型图像、在物品检测中使用的参数(坐标值、旋转角度、尺寸等)、第一照相机～第三照相机16A、16B、16C(图5)的校准数据等用于进行物品M的检测、跟踪的诸条件进行设定。另外，条件设定部110能够通过与第一控制部20A的作业内容设定部102A进行通信来获取第一机构部～第三机构部14A、14B、14C的作业区域22A、22B、22C(图5)的信息。

物品检测部32在从作业开始起输送机12(图5)移动了预先决定的时间时，使用第一照相机16A来开始物品M的初始检测。或者，也能够在光电管传感器等外部传感器(未图示)检测出输送机12移动了规定时间时，开始物品M的初始检测。物品检测部32能够使用以下方法等公知的各种检测算法来获取物品M的初始位置信息D1(图5)，上述方法是：从第一照相机16A所拍摄到的图像搜索与预先登记的模型图像一致的图像来检测物品M(例如归一化互相关法)；从预先登记的模型图像提取物品M的轮廓，基于该轮廓的信息来求出第一照相机16A所拍摄到的图像上的物品M的位置信息(例如广义霍夫变换法)；通过在第一照相机16A所拍摄到的图像中提取具有预先登记的范围的面积的区域来求出物品M的位置信息(例如Blob检测法)。

物品检测部32当物品M的初始检测成功时，设定表示所检测出的物品M是新发现的物品的标志(以下称为新标志)，将新标志与所检测出的物品M的初始位置信息D1、拍摄到该物品M的第一照相机16A的照相机ID、该物品M的拍摄时刻、该物品M的新的物品ID之类的信息一起传输到物品管理部112。物品管理部112在将从物品检测部32接收到的这些信息传输到物品跟踪部34的同时，将接收到的上述信息作为前述的包α的信息传输到第一控制部20A的信息管理部106A。

物品跟踪部34在与从物品管理部112接收到的初始位置信息D1对应的物品M进入第二照相机16B的视场24(图5)时，使用第二照相机16B来开始该物品M的跟踪。另外，物品跟踪部34将从物品管理部112接收到的物品M的初始位置信息D1作为初始值来进行该物品M的跟踪。利用物品检测部32进行初始检测时对物品M赋予的固有的物品ID在物品跟踪部34中也维持原样。基于第二照相机16B以极短的第二周期T2重复拍摄物品M而得到的图像数据，将本次拍摄时的诸信息(位置信息、外观特征信息)与上一次及上一次之前拍摄时的诸信息进行比较，由此以序贯的方式进行物品跟踪部34对物品M的跟踪。作为用于进行这种序贯的跟踪的检测算法，例如能够使用能够进行非线性/非高斯型的系统的估计的粒子滤波算法(也称为粒子过滤算法或序贯蒙特卡罗方法)(关于粒子滤波算法，例如参照“日本机器人学会志(日本ロボット学会誌)Vol.29,No.5,pp427-430,2011”)。

物品跟踪部34将通过跟踪而获取到的物品M的最新的移动位置信息D2(图5)、拍摄到该物品M的第二照相机16B的照相机ID、该物品M的拍摄时刻、该物品M的物品ID之类的信息以序贯的方式传输到物品管理部112。物品管理部112在将从物品跟踪部34接收到的这些信息传输到辅助跟踪部50的同时，将接收到的上述信息作为前述的包β的信息传输到第一控制部～第三控制部20A、20B、20C的信息管理部106A、106B、106C。

辅助跟踪部50在与从物品管理部112接收到的移动位置信息D2对应的物品M进入到第三照相机16C的视场46(图5)时，使用第三照相机16C来开始该物品M的跟踪。另外，辅助跟踪部50将从物品管理部112接收到的物品M进入到第三照相机16C的视场46(图5)时的移动位置信息D2作为初始值来进行该物品M的跟踪。在由辅助跟踪部50进行的跟踪处理中，除了由第三照相机16C拍摄物品M以外，与上述的由物品跟踪部34进行的跟踪处理实质上相同。辅助跟踪部50将通过跟踪而获取到的物品M的最新的追加移动位置信息D3(图5)、拍摄到该物品M的第三照相机16C的照相机ID、该物品M的拍摄时刻、该物品M的物品ID之类的信息以序贯的方式传输到物品管理部112。物品管理部112将从辅助跟踪部50接收到的这些信息作为前述的包β的信息传输到第一控制部～第三控制部20A、20B、20C的信息管理部106A、106B、106C。

作为用于物品跟踪的检测算法，物品跟踪部34和辅助跟踪部50也能够与物品检测部32同样地使用归一化互相关法、广义霍夫变换法、Blob检测法等公知的图案识别算法来代替前述的粒子滤波算法。在此，通常，相比粒子滤波算法而言，归一化互相关法、广义霍夫变换法、Blob检测法等的检测精度高，但处理速度慢。在物品跟踪处理中使用归一化互相关法、广义霍夫变换法、Blob检测法等的情况下，相比由物品检测部32在进行初始检测时使用这些方法的情况而言，通过缩小第二照相机16B和第三照相机16C所拍摄到的二维图像上的检测对象区域、检测用参数(坐标值、旋转角度、尺寸、面积等)的范围，能够避免跟踪所需的时间的增加。例如，在将旋转角度指定为检测用参数的情况下，通过物品检测部32不能清楚物品M的位置、姿势，因此例如在±180度的范围内进行初始检测来获得物品M的初始位置信息D1，与此相对，在由物品跟踪部34和辅助跟踪部50使用归一化互相关法、广义霍夫变换法、Blob检测法等的情况下，在上一次跟踪的结果相对于初始检测不会发生大幅变化的前提下，能够缩小到±5度的范围来进行物品检测(跟踪)。

接着，参照图13来说明图像处理部18的物品跟踪部34(图11)对物品M的跟踪处理的一例。此外，图像处理部18的辅助跟踪部50(图11)能够执行与物品跟踪部34所执行的下述跟踪处理同样的跟踪处理。

如图13所示，对于以不规则配置的方式被输送机12支承并搬运的多个物品M，第一机构部14A在任意的物品M存在于作业区域22A的期间内执行该物品M的把持和取出动作，第二机构部14B在任意的物品M存在于作业区域22B的期间内执行该物品M的把持和取出动作。另一方面，第二照相机16B以第二周期T2重复拍摄视场24内的全部物品M。在此，物品跟踪部34所进行的跟踪处理的计算负荷主要是由第二照相机16B所拍摄到的图像数据的大小、物品检测中使用的算法的种类、作为检测对象的物品M的个数以及物品检测用的参数的范围决定的。在假定要检测的物品M的个数和算法相同的情况下，通过降低图像数据的分辨率或缩小检测用的参数的范围来减轻物品跟踪部34的计算负荷。

第二照相机16B所拍摄到的图像数据的大小即分辨率会影响物品跟踪部34对物品M的检测精度，并影响由第一机构部14A和第二机构部14B进行的物品把持的动作精度。实际上，在第一机构部14A和第二机构部14B的作业区域22A、22B的内部，要求高的检测精度和动作精度，另一方面，作业区域22A、22B的外部的检测精度与第一机构部14A和第二机构部14B的把持动作无关。因此，通过在第二照相机16B的视场24中的作业区域22A、22B的内部和外部使用分辨率不同的图像数据，能够减轻物品跟踪部34的计算负荷。

如图11所示，图像处理部18的条件设定部110与第一控制部20A的作业内容设定部102A进行通信，获取关于将第一机构部14A和第二机构部14B的作业区域22A、22B设定于输送机12的何处的信息，来作为输送机坐标系30中的位置信息。物品跟踪部34构成为：基于条件设定部110所获取到的作业区域22A、22B的信息，使用与所要求的检测精度对应的第一分辨率的图像数据来检测位于作业区域22A、22B的内部的物品M，另一方面，使用低于第一分辨率的第二分辨率的图像数据来检测位于作业区域22A、22B的外部的物品M。通过该结构，与针对第二照相机16B的整个视场24使用第一分辨率的图像数据来检测物品M的结构相比，能够减轻物品跟踪部34的计算负荷。此外，对于辅助跟踪部50，也能够通过同样的方法来减轻跟踪处理的计算负荷。

在上述结构中，物品跟踪部34构成为能够获取对第一机构部14A和第二机构部14B的作业区域22A、22B(图13)的内部进行拍摄而得到的第一分辨率(高分辨率)的图像数据以及对作业区域22A、22B的外部进行拍摄而得到的第二分辨率(低分辨率)的图像数据。同样地，辅助跟踪部50构成为能够获取对第三机构部14C的作业区域22C(图5)的内部进行拍摄而得到的第一分辨率的图像数据以及对作业区域22C的外部进行拍摄而得到的第二分辨率的图像数据。为了获取分辨率不同的图像数据，第二照相机16B或第三照相机16C能够具有将分辨率在第一分辨率和第二分辨率之间切换的切换机构114(图4)。在该结构中，第二照相机16B或第三照相机16C以第一分辨率和第二分辨率的各分辨率来拍摄视场24、46内的整体，物品跟踪部34或辅助跟踪部50能够使用第一分辨率的图像数据来检测位于作业区域22A、22B或作业区域22C的内部的物品M，另一方面，使用第二分辨率的图像数据来检测位于作业区域22A、22B或作业区域22C的外部的物品M。在第二照相机16B或第三照相机16C不具有切换机构114的情况下，第二照相机16B或第三照相机16C以规定的分辨率对视场24、46内进行拍摄，物品跟踪部34或辅助跟踪部50通过公知的图像处理使该拍摄数据的分辨率降低，由此能够获取第一分辨率的图像数据和第二分辨率的图像数据。

物品跟踪部34能够取代上述的分辨率的选择或者在上述的分辨率的选择的基础上构成为：从达到第一处理速度和第一精度的第一检测算法以及达到比第一处理速度快的第二处理速度或比第一精度低的第二精度的第二检测算法中选择任一方检测算法来使用。在该情况下，物品跟踪部34能够构成为：使用第一检测算法来检测位于第一机构部14A和第二机构部14B的作业区域22A、22B的内部的物品M，使用第二检测算法来检测位于作业区域22A、22B的外部的物品M。作为第一检测算法，能够采用归一化互相关法、广义霍夫变换法、Blob检测法等。作为第二检测算法，能够采用粒子滤波算法。辅助跟踪部50也能够同样地构成。

例如，物品跟踪部34基于使第二照相机16B以第二分辨率(低分辨率)拍摄整个视场24而得到的图像数据，使用第二检测算法(粒子滤波算法)来在整个视场24内检测物品M。在由物品跟踪部34进行的跟踪处理中，作为获取物品M的准确的移动位置信息D2的前阶段的预备性处理而进行该物品检测。接着，物品跟踪部34基于使第二照相机16B以第一分辨率(高分辨率)拍摄整个视场24而得到的图像数据中的、包含作业区域22A、22B且比作业区域22A、22B稍大的区域的图像数据，使用第一检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)来检测至少部分地存在于作业区域22A、22B的内部的物品M。在由物品跟踪部34进行的跟踪处理中，作为用于获取物品M的准确的移动位置信息D2的补充性处理而进行该物品检测。在使用第一检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)时，通过使用第二检测算法(粒子滤波算法)进行的预备性检测已将物品M的存在区域在规定的检测用参数(坐标值、旋转角度、尺寸、面积等)的范围内以某种程度进行了限定，因此能够通过相应地缩小检测用参数(坐标值、旋转角度、尺寸、面积等)的范围来避免跟踪所需的时间的增加。

即使对于存在于共同的作业区域22A、22B的内部的物品M，物品跟踪部34也能够使用处理速度、精度不同的检测算法来进行跟踪处理。例如，能够仅对于由第一机构部14A或第二机构部14B把持的可能性高的从搬运方向下游侧起的规定个数的物品M，使用第一(高精度的)检测算法来进行检测。例如，在具有由第一机构部14A或第二机构部14B的手同时把持两个物品M的结构的情况下，物品跟踪部34能够构成为在每次反复实施物品跟踪处理时仅高精度地检测从下游侧起的两个物品M。根据该结构，能够减少要检测的物品M的个数，从而减轻物品跟踪部34的计算负荷。

图1的物品转运装置10也能够具有与上述结构同样的结构。在物品转运装置10中，物品跟踪部34能够构成为：能够获取对由机器人14进行物品把持作业的作业区域22的内部进行拍摄而得到的第一分辨率的图像数据以及对作业区域22的外部进行拍摄而得到的且是比第一分辨率低的第二分辨率的图像数据，使用第一分辨率的图像数据来检测位于作业区域22的内部的物品M，使用第二分辨率的图像数据来检测位于作业区域22的外部的物品M。另外，在物品转运装置10中，物品跟踪部34能够构成为：能够从达到第一处理速度和第一精度的第一检测算法以及达到比第一处理速度快的第二处理速度或比第一精度低的第二精度的第二检测算法中选择任一方的检测算法来使用，使用第一检测算法来检测位于机器人14的作业区域22的内部的物品M，使用第二检测算法来检测位于作业区域22的外部的物品M。

接着，参照图14来说明图像处理部18的物品跟踪部34(图11)对物品M的跟踪处理的其它例。此外，图像处理部18的辅助跟踪部50(图11)能够执行与物品跟踪部34所执行的下述的跟踪处理同样的跟踪处理。

如图14所示，假设两个物品M1、M2以在输送机12上相互重叠的状态被供给到第二机构部14B的作业区域22B的状况。设在该状况下、大部分被物品M1遮盖的物品M2未被物品检测部32(图11)初始检测出。关于未被初始检测出的物品M2，不将其包α的信息发送到第一控制部20A(图11)，因此也不会创建包γ的信息，作为结果，第二控制部20B(图11)未识别出物品M2的存在。另一方面，关于被物品检测部32初始检测出的物品M1，第二控制部20B基于包γ的信息而识别出其存在。

在上述的状况下，第二控制部20B按照由作业内容设定部102B(图11)设定的作业比例来判断是否把持物品M1。当进行了把持物品M1的判断且第二机构部14B根据来自作业执行部108B的指令来将物品M1从输送机12拿起时，物品M2暴露出来而被第二照相机16B拍摄到。图像处理部18的物品跟踪部34未识别出第二机构部14B将物品M1从输送机12拿起，因此继续执行物品M1的跟踪处理。也就是说，物品跟踪部34在机器人14(第二机构部14B)把持了物品M之后，继续执行移动位置信息D2的反复获取直到经过预先决定的时间为止。通过物品跟踪部34，以与物品M1的检测同样的过程来检测外观特征与物品M1类似的物品M2。

在输送机12上的物品M2的检测用参数(坐标值、旋转角度、尺寸、面积等)的值与物品M1完全相同的情况下，物品跟踪部34会将物品M2作为物品M1来继续跟踪。与此相对，在如图所示那样输送机12上的物品M2的检测用参数(坐标值、旋转角度、尺寸、面积等)的值与物品M1不同的情况下，物品跟踪部34将物品M2作为新检测出的物品M来跟踪。在物品跟踪部34在作业区域22B的内部跟踪物品M1时，在如前所述那样在使用第二(低精度的)检测算法(粒子滤波算法)进行了物品M1的预备性检测之后、缩小检测用参数(坐标值、旋转角度、尺寸、面积等)的范围并使用第一(高精度的)检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)来进行物品M1的补充性检测的情况下，有时难以检测出检测用参数(坐标值、旋转角度、尺寸、面积等)的值与物品M1不同的物品M2。因此，在尽管在预备性检测中检测出似乎是物品M1的物品的存在、但是在补充性检测中未能检测出物品M1的情况下，物品跟踪部34将检测用参数(坐标值、旋转角度、尺寸、面积等)的范围扩大到预先决定的适当范围，通过第一检测算法(归一化互相关法、广义霍夫变换法、Blob检测法)来再试行物品M1的补充性检测。在图14所示的例子中，物品M1与物品M2配置于基本相同的位置处，仅姿势略有不同，因此，通过将检测用参数中的旋转角度的范围例如从原本缩小到±5度后的范围扩大到±180度，物品跟踪部34能够检测出物品M1(实际为物品M2)。

将物品M2作为物品M1检测出的物品跟踪部34视为物品M1的姿势在跟踪中途发生了变化，将姿势变化后的物品M1(实际为物品M2)当作新检测出的物品M。对物品跟踪部34新检测出的物品M的位置信息与初始位置信息D1同样地进行处理。物品跟踪部34对新检测出的物品M(物品M2)设定新标志，将该新标志与该物品M的位置信息(相当于初始位置信息D1)、拍摄到该物品M的第二照相机16B的照相机ID、该物品M的拍摄时刻、该物品M的新的物品ID之类的信息一起传输到物品管理部112。通常，物品管理部112如前所述那样将从物品跟踪部34接收到的信息作为包β传输到第一控制部～第三控制部20A、20B、20C，但是，在从物品跟踪部34接收到的信息上附有新标志的情况下，物品管理部112将这些信息作为包α的信息仅传输到第一控制部20A的信息管理部106A。

在图14的例子中，物品M2已经过第一机构部14A的作业区域22A(图5)而进入第二机构部14B的作业区域22B，因此，信息管理部106A基于从物品跟踪部34经由物品管理部112接收到的包α的信息来生成包γ的信息，将包γ的信息立即传输到第二控制部20B的信息管理部106B。信息管理部106B识别出第二机构部14B已将物品M1从输送机12拿起，因此删除关于物品M1的包γ的信息，另一方面，保持关于新的物品M(物品M2)的包γ的信息，按照由作业内容设定部102B设定的作业比例来判断是否把持新的物品M(物品M2)。

在物品检测部32(图11)获取到物品M的初始位置信息D1之后该物品M在输送机12上发生了位置偏移的状况下，物品跟踪部34也能够执行与如上所述的物品彼此重叠的状况下的跟踪处理同样的跟踪处理。例如，在图14所示的状况下，在物品M1对物品M2的遮盖范围小的情况下，物品检测部32初始检测出物品M1和物品M2这双方。物品跟踪部34对物品M1、M2这双方进行跟踪，当这些物品M1、M2进入第二机构部14B的作业区域22B时，物品M2存在于物品M1的下游侧，因此第二控制部20B(图11)控制第二机构部14B使第二机构部14B较物品M1而言先拿起被遮盖的物品M2。当先拿起物品M2时，失去支撑的物品M1在输送机12上发生位置偏移的可能性高。

在物品M1在输送机12上发生了位置偏移的情况下，物品跟踪部34将物品M1作为新的物品M来进行跟踪处理。此时，通过作为前述的预备性检测的使用第二检测算法(粒子滤波算法)进行的跟踪处理，能够掌握位置偏移后的物品M1的大致的位置。在进行预备性检测之后，将检测范围收敛到包含所掌握的大致的位置的范围来进行作为前述的补充性检测的使用第一检测算法(归一化互相关法、广义霍夫变换法)的跟踪处理，由此能够获取位置偏移后的物品M1的准确的移动位置信息D2。在物品M1在输送机12上的位置偏移量大而通过补充性检测未能检测出物品M1的情况下，与物品彼此重叠的状况下的前述的处理同样地将检测用参数(坐标值、旋转角度、尺寸等)的范围扩大到预先决定的适当范围来再试行补充性检测即可。

下面，参照图15～图22所示的流程图来详细说明图11所示的图像处理部18以及机器人控制部20(第一控制部～第三控制部20A、20B、20C)所执行的处理流程。

图15表示图像处理部18的物品管理部112从物品检测部32、物品跟踪部34以及辅助跟踪部50接收物品信息并将接收到的物品信息作为包α和包β的信息输出到第一控制部～第三控制部20A、20B、20C的信息管理部106A、106B、106C的流程。首先，在步骤S10中，物品管理部112接收从物品检测部32、物品跟踪部34或辅助跟踪部50发送的物品信息。针对检测出的物品M，逐个地发送物品信息。在步骤S11中，物品管理部112检查所接收到的物品信息是否为不适于发送到第一控制部～第三控制部20A、20B、20C的信息(即物品信息中是否附有(后述的)发送不可标志)。在附有发送不可标志的情况下，返回到步骤S10，等待接收下一个物品信息。在未附有发送不可标志的情况下，在步骤S12中，物品管理部112检查所检测出的物品是否为新检测出的物品(即物品信息中是否附有新标志)。在附有新标志的情况下，物品管理部112在步骤S13中创建包α，在步骤S14中将包α发送到第一控制部20A。另外，包α所包含的物品M的初始位置信息D1是物品跟踪部34开始物品M的跟踪所需的信息，因此物品管理部112在步骤S15中将包α所包含的信息(以下称为新物品信息)发送到物品跟踪部34。

在步骤S12中物品信息中未附有新标志的情况下，物品管理部112在步骤S16中创建包β，在步骤S17～S19中将包β发送到第一控制部～第三控制部20A、20B、20C的信息管理部106A、106B、106C。接着，物品管理部112在步骤S20中检查通过步骤S10接收到的物品信息是否为由第二照相机16B拍摄到的物品信息。在不是由第二照相机16B拍摄到的物品信息的情况下，返回到步骤S10，等待接收下一个物品信息。在由第二照相机16B拍摄到的物品信息的情况下，存在包β所包含的物品M的移动位置信息D2是辅助跟踪部50开始物品M的跟踪所需的信息的可能性，因此，物品管理部112在步骤S21中将包β所包含的信息发送到辅助跟踪部50。以上的处理完成后，返回到步骤S10来等待接收下一个物品信息。

图16表示由图像处理部18的物品跟踪部34进行的跟踪处理的流程。物品跟踪部34按照与第二周期T2对应的计时器驱动来反复进行物品M的跟踪处理，并且在每次从物品管理部112接收到前述的新物品信息时适当地处理该信息。首先，物品跟踪部34在步骤S30中接收以固定的时间间隔产生的计时器的中断信号或者接收来自物品管理部112的新物品信息，在步骤S31中判断是否为中断信号的接收。在不是中断信号的接收的情况下(即接收到新物品信息的情况下)，物品跟踪部34在步骤S37中将新成为跟踪对象的物品记录到预先准备的跟踪物品列表中来更新跟踪物品列表，返回到步骤S30来等待下一个接收。在中断信号的接收的情况下，物品跟踪部34开始物品M的本次的跟踪处理。物品跟踪部34在步骤S32中以第一分辨率(高分辨率)获取第二照相机16B的视场24(图5)内的二维图像数据，在步骤S33中以第二分辨率(低分辨率)获取视场24内的二维图像数据。

在步骤S35的“补充性检测”(图18)的处理中使用通过步骤S32获取到的第一分辨率的图像数据，在步骤S34的“预备性检测”(图17)的处理中使用通过步骤S33获取到的第二分辨率的图像数据。在步骤S36的“发送物品信息”(图19)的处理中，将通过步骤S35检测出的物品M的信息发送到物品管理部112。物品跟踪部34在将物品M的信息发送到物品管理部112之后，在步骤S37中更新跟踪物品列表中记载的该物品M的拍摄时刻和移动位置信息D2，以用于对相同的物品M执行的下一次跟踪处理中的“预备性检测”和“补充性检测”，另一方面，在“补充性检测”中存在新发现的物品M的情况下，将该物品M追加到跟踪物品列表中。当跟踪物品列表的更新完成时，返回到步骤S30，等待接收下一个中断信号或新物品信息。

图17表示图16的流程图中的预备性检测步骤S34的详细流程。使用第二分辨率(低分辨率)的图像数据来进行预备性检测。物品跟踪部34在步骤S40中读入所获取到的第二分辨率(低分辨率)的图像。接着，在步骤S41中，读入记载有作为本次的跟踪对象的物品M的信息的跟踪物品列表。对所读入的跟踪物品列表中记载的物品M逐个地执行跟踪处理。物品跟踪部34在步骤S42中将计数器变量i初始化为1，该计数器变量i表示本次跟踪的物品M是跟踪物品列表的第i个物品。在步骤S43中，将计数器变量i与跟踪物品列表中记载的物品数进行比较。在计数器变量i超过物品数的情况下，判断为跟踪物品列表中记载的全部物品M的跟踪已完成，结束预备性检测。在计数器变量i未超过物品数的情况下，物品跟踪部34在步骤S44中进行跟踪物品列表的第i个物品M的预备性检测。在此，选择了粒子滤波算法作为预备性检测的算法，但是也能够选择其它检测算法。

接着，物品跟踪部34在步骤S45中判断是否能够获取到作为跟踪对象的物品M的大致的位置信息(即预备性检测是否成功)来作为预备性检测的结果，在预备性检测成功的情况下，在步骤S46中，将跟踪物品列表中记载的该物品M的位置信息、拍摄时刻等信息更新为本次获取的信息。在预备性检测没有成功的情况下，暗示着由于第一机构部14A或第二机构部14B拿起物品M等理由、作为跟踪对象的物品M实际上已从输送机12上消失，因此在步骤S47中将该物品M的信息从跟踪物品列表删除，使得不进行之后的跟踪。此外，在图17的流程图中，一次检测不成功就删除物品信息，但是也能够任意地设定删除物品信息的条件，例如，在检测不成功时再试行预备性检测，在预备性检测连续三次不成功的情况下删除物品信息等。在再试行作为跟踪对象的物品M的预备性检测的期间，能够基于其它物品的跟踪结果来计算输送机12的搬运速度，使用该搬运速度以及上一次与本次的预备性检测中的物品拍摄时刻的间隔来预测作为跟踪对象的物品M的当前的位置及姿势，由此更新位置信息。当物品信息的更新、删除完成时，物品跟踪部34在步骤S48中使计数器变量i增加1，返回到步骤S43来进行计数器变量i的评价。

图18表示图16的流程图中的补充性检测步骤S35的详细流程。使用对第一机构部～第三机构部14A、14B、14C的作业区域22A、22B、22C进行拍摄而得到的第一分辨率(高分辨率)的图像数据来进行补充性检测。物品跟踪部34在步骤S50中将计数器变量i初始化为1，该计数器变量i表示第一机构部～第三机构部14A、14B、14C是从上游侧起的第i个机构部。接着，在步骤S51中，将计数器变量i与第一机构部～第三机构部14A、14B、14C的总台数(在本实施方式中为3)进行比较，在计数器变量i超过了总台数的情况下，完成本次的跟踪处理中的补充性检测。在计数器变量i未超过总台数的情况下，物品跟踪部34在步骤S52中检查第i个机构部的作业区域是否位于第二照相机16B的视场24内。如果第i个机构部的作业区域位于视场24内，则在步骤S53中读入对第i个机构部的作业区域进行拍摄而得到的第一分辨率(高分辨率)的图像数据。关于作业区域是否位于视场内的检查，既可以将作业区域在机器人坐标系中的坐标值变换为照相机坐标系来进行，也可以由使用者预先将作业区域指定为跟踪范围来进行。在图5的实施方式中，第一机构部14A的作业区域22A和第二机构部14B的作业区域22B位于视场24内，因此在i＝1或2时执行步骤S53。如果第i个机构部的作业区域不位于视场24内，则转移到步骤S66，使计数器变量i增加1，返回到步骤S51。

接着，物品跟踪部34在步骤S54中将计数器变量j初始化为1并且将计数器变量k初始化为0，该计数器变量j表示在第i个机构部的作业区域内作为本次的跟踪对象的物品M是从搬运方向下游侧起的第j个物品，该计数器变量k表示在本次跟踪处理中实际上成功地进行了补充性检测的物品数。补充性检测是为了使机构部在其作业区域内实际将物品M把持并拿起而进行的检测，因此无需始终对存在于作业区域的全部物品进行该补充性检测，只要对从搬运方向下游侧起数的在一次作业中机构部要拿起的个数(即根据实际的请求而决定的需要检测个数)的物品进行检测即可。因此，物品跟踪部34在步骤S55中将计数器变量k与需要检测个数进行比较，如果为需要检测个数以上，则结束该作业区域中的补充性检测，转移到步骤S66。在计数器变量k未达到需要检测个数的情况下，物品跟踪部34在步骤S56中检查作为跟踪对象的从搬运方向下游侧起的第j个物品M是否存在于第i个机构部的作业区域内。

在作为跟踪对象的第j个物品M不存在于第i个机构部的作业区域的情况下，结束该作业区域中的补充性检测，转移到步骤S66。在第j个物品M存在于第i个机构部的作业区域的情况下，在步骤S57中，基于通过预备性检测(图17)获取到的该物品M的大致的位置信息来缩小检测范围(例如缩小到二维图像上的物品M在X轴方向和Y轴方向上的尺寸的各自两倍程度的范围)，并且将检测用参数的范围设定为比较小(例如在旋转角度的情况下为上一次检测结果±5度左右)的范围，利用该第一检测用参数来执行物品M的补充性检测。此时的检测算法能够使用归一化互相关法、广义霍夫变换法。

物品跟踪部34在步骤S58中检查基于第一检测用参数的物品M的补充性检测是否成功。在补充性检测成功的情况下，物品跟踪部34转移到步骤S63来使计数器变量k增加1，在步骤S64中将通过补充性检测而获取到的物品M的信息反映到跟踪物品列表中。在补充性检测没有成功的情况下，与上一次跟踪处理中的检测时相比物品M的状态发生了变化的可能性高，比如参照图14进行说明的那样，该物品M在输送机12上发生了位置偏移，或者遮盖着其它物品的该物品M已被机构部拿起的结果是将原本被遮盖的物品M新检测出等。因此，物品跟踪部34在步骤S59中利用设定为范围比第一检测用参数范围大(例如在旋转角度的情况下为上一次检测结果±180度左右)的第二检测用参数来执行物品M的补充性检测。

物品跟踪部34在步骤S60中检查基于第二检测用参数的物品M的补充性检测是否成功。在补充性检测成功的情况下，物品跟踪部34在步骤S61中设定用于将该物品M作为在上一次跟踪处理之前不存在的新的物品来进行处理的新标志，接着，在步骤S63中使计数器变量k增加1，在步骤S64中将通过补充性检测而获取到的物品M的信息反映到跟踪物品列表中。虽然从上一次起继续进行跟踪处理，但是将该物品M的信息作为新的物品的信息记载到跟踪物品列表中，因此，如前所述，物品管理部112不将该物品M的信息作为包β的信息进行处理，而将该物品M的信息作为包α的信息进行处理。

在补充性检测没有成功的情况下，认为是虽然物品M的预备性检测成功了但是没有取出该物品M的状况，比如相比初始检测时、上一次的补充性检测时而言物品M的位置、姿势的变化脱离了设想范围等。因此，物品跟踪部34在步骤S62中设定发送不可标志，在步骤S64中对跟踪物品列表中记载的物品M的信息附加发送不可标志来更新物品信息。之后，物品跟踪部34在步骤S65中使计数器变量j增加1，返回到步骤S55来重复补充性检测。

图19表示图16的流程图中的发送物品信息步骤S36的详细流程。首先，物品跟踪部34在步骤S70中将计数器变量i初始化为1，该计数器变量i表示物品信息被发送到物品管理部112的物品的个数。接着，在步骤S71中，将作为前述的预备性检测和补充性检测的结果而得到应发送到物品管理部112的信息的物品的总数与计数器变量i进行比较，如果计数器变量i超过物品总数，则结束物品信息的发送。在计数器变量i未超过物品总数的情况下，物品跟踪部34在步骤S72中将物品信息发送到信息管理部112。之后，物品跟踪部34在步骤S73中使计数器变量i增加1，返回到步骤S71。

图20表示第一控制部20A的信息管理部106A(图11)的处理流程。信息管理部106A按照计时器驱动对物品信息、托盘54的排列图案58(图6A)的信息进行更新处理、对从托盘检测部104发送来的托盘检测信息进行处理、对从物品管理部112发送来的物品信息进行处理。首先，信息管理部106A在步骤S80中接收以固定的时间间隔产生的计时器的中断信号、或者接收来自物品管理部112的物品信息(包α、包β)或来自托盘检测部104的托盘检测信息，在步骤S81中判断是否为中断信号的接收。在中断信号的接收的情况下，信息管理部106A执行应该以规定周期进行的以下的处理。也就是说，在步骤S87中，将在规定时间内未从物品管理部112发送基于包β的信息更新的物品的信息删除。另外，在步骤S88中，基于物品的当前位置，根据需要向作业执行部108A或第二控制部20B的信息管理部106B发送物品信息(详情由图21示出)。另外，在步骤S89中，基于托盘54的排列图案58中的各个图案要素的当前位置信息，根据需要向作业执行部108A或第二控制部20B的信息管理部106B发送(后述的)排列图案信息(详情由图22示出)。在进行了这些处理之后，信息管理部106A返回到步骤S80，等待下一个接收。

在不是中断信号的接收的情况下，信息管理部106A在步骤S82中检查是否为托盘检测信息的接收。在托盘检测信息的接收的情况下，信息管理部106A在步骤S85中基于对排列图案58进行定义的排列样式59(图6B)的信息来生成包含各个图案要素的位置信息的排列图案信息。排列图案信息中还包含检测出托盘54的瞬间的编码器52的检测值，通过读取当前的编码器52的检测值，能够随时更新各个图案要素的位置信息。

在不是托盘检测信息的接收的情况下，从物品管理部112接收到物品信息，因此信息管理部106A在步骤S83中检查所接收到的物品信息是否为包α的信息。在包α的信息的情况下，为新的物品信息，因此信息管理部106A在步骤S86中生成用于在第一控制部～第三控制部20A、20B、20C之间进行管理的包γ的信息。在不是包α的信息的情况下，所接收到的物品信息为包β的信息(即更新现有的物品信息)，因此信息管理部106A在步骤S84中按照包β来更新在第一控制部20A中管理的包γ的信息。

图21表示图20的流程图中的发送物品信息步骤S88的详细流程。信息管理部106A在步骤S90中检查物品M是否已经过第一机构部14A的作业区域22A。如果物品M已经过作业区域22A，则信息管理部106A在步骤S94中将物品M的包γ的信息发送到第二控制部20B的信息管理部106B以供设置于下游侧的第二机构部14B或第三机构部14C作业，并结束物品信息发送。在物品M尚未经过作业区域22A的情况下，信息管理部106A在步骤S91中检查该物品M是否为按照预先设定的作业比例来看应该由第一机构部14A转运的物品。

例如，在设定有第一机构部14A：第二机构部14B：第三机构部14C＝1:1:1的作业比例的情况下，第一机构部14A以将一个物品拿起并将两个物品放行的方式重复作业。在第一机构部14A的手能够同时把持两个物品的情况下，第一机构部14A能够以在将两个物品一并拿起之后将四个物品放行的方式进行作业。在考虑该时间点的第一机构部14A的作业比例后判断为不是应该由第一机构部14A转运的物品的情况下，结束物品信息发送。在判断为应该由第一机构部14A转运的物品的情况下，信息管理部106A在步骤S92中检查该物品M是否存在于第一机构部14A的作业区域22A内。在存在于作业区域22A内的情况下，在步骤S93中将物品M的包γ的信息发送到作业执行部108A，结束物品信息发送。

图22表示图20的流程图中的排列图案信息发送步骤S89的详细流程。信息管理部106A在步骤S100中基于当前的编码器56的值来更新各个图案要素的位置信息。接着，在步骤S101中检查图案要素是否已经过第一机构部14A的作业区域22A。如果图案要素已经过作业区域22A，则信息管理部106A在步骤S105中将排列图案信息发送到第二控制部20B的信息管理部106B以供设置于下游侧的第二机构部14B或第三机构部14C作业，并结束排列图案信息发送。在图案要素尚未经过作业区域22A的情况下，信息管理部106A在步骤S102中检查该图案要素是否为按照预先设定的作业比例来看应该由第一机构部14A放置物品的图案要素。在考虑该时间点的第一机构部14A的作业比例后判断为不是应该由第一机构部14A放置物品的图案要素的情况下，结束排列图案信息发送。

在判断为应该由第一机构部14A放置物品的图案要素的情况下，信息管理部106A在步骤S103中检查该图案要素是否存在于第一机构部14A的作业区域22A内。在存在于作业区域22A内的情况下，在步骤S104中将排列图案信息发送到作业执行部108A，结束排列图案信息发送。作业执行部108A基于从信息管理部106A接收到的物品M的包γ的信息和排列图案信息，来执行将物品M从输送机12拿起并以规定的排列图案放置到排出输送机42上的托盘54中的物品转运作业。

图20～图22用于表示第一控制部20A的信息管理部106A的处理流程，但是第二控制部20B的信息管理部106B和第三控制部20C的信息管理部106C除了不进行托盘检测信息的处理、包α的处理这一点以外，也能够执行与信息管理部106A的处理流程实质上相同的处理。

以上，说明了本发明的实施方式，但是本领域技术人员可理解能够不脱离前述的权利要求书的公开范围地进行各种修正和变更。

Claims (12)

1.一种物品转运装置，具备：

输送机，其搬运物品；

机器人，其将物品把持并转运；

摄像部，其拍摄物品；

图像处理部，其控制上述摄像部并且基于上述摄像部所拍摄到的图像的数据来检测物品；以及

机器人控制部，其使用上述图像处理部所检测出的物品的信息来控制上述机器人，

其中，上述图像处理部具备：

物品检测部，其以拍摄和检测通过上述输送机的搬运动作而移动的多个物品的全部的第一周期来执行该多个物品的拍摄和检测，获取该全部物品各自的初始位置信息；以及

物品跟踪部，其以短于上述第一周期的第二周期来执行通过上述输送机的搬运动作而移动的多个物品的拍摄和检测，以该第二周期反复地获取该多个物品各自的以上述初始位置信息为基准的移动位置信息，

上述机器人控制部使用上述移动位置信息来控制上述机器人，使得上述机器人一边追随上述输送机的搬运动作一边将上述多个物品的各个物品把持并转运。

2.根据权利要求1所述的物品转运装置，其特征在于，

上述物品跟踪部能够获取第一分辨率的图像数据和第二分辨率的图像数据，该第一分辨率的图像数据是对上述机器人的作业区域的内部进行拍摄而得到的图像数据，该第二分辨率的图像数据是对该作业区域的外部进行拍摄而得到的图像数据，该第二分辨率低于该第一分辨率，

上述物品跟踪部使用上述第一分辨率的图像数据来检测位于上述作业区域的内部的物品，使用上述第二分辨率的图像数据来检测位于上述作业区域的外部的物品。

3.根据权利要求2所述的物品转运装置，其特征在于，

上述摄像部具有将分辨率在上述第一分辨率和上述第二分辨率之间切换的切换机构。

4.根据权利要求1～3中的任一项所述的物品转运装置，其特征在于，

上述物品跟踪部能够选择第一检测算法和第二检测算法中的任一方检测算法来使用，该第一检测算法达到第一处理速度和第一精度，该第二检测算法达到比该第一处理速度快的第二处理速度或比该第一精度低的第二精度，

上述物品跟踪部使用上述第一检测算法来检测位于上述机器人的作业区域的内部的物品，使用上述第二检测算法来检测位于该作业区域的外部的物品。

5.根据权利要求1～3中的任一项所述的物品转运装置，其特征在于，

上述物品跟踪部在上述机器人把持了上述物品之后，继续执行上述移动位置信息的反复获取直到经过预先决定的时间为止。

6.根据权利要求1～3中的任一项所述的物品转运装置，其特征在于，

上述摄像部具备一台照相机，

上述物品检测部和上述物品跟踪部使上述照相机拍摄物品并且基于上述照相机所拍摄到的图像的数据来检测物品。

7.根据权利要求1～3中的任一项所述的物品转运装置，其特征在于，

上述摄像部具备彼此独立地动作的第一照相机和第二照相机，

上述物品检测部使上述第一照相机拍摄物品并且基于上述第一照相机所拍摄到的图像的数据来检测物品，

上述物品跟踪部使上述第二照相机拍摄物品并且基于上述第二照相机所拍摄到的图像的数据来检测物品。

8.根据权利要求7所述的物品转运装置，其特征在于，

上述摄像部还具备独立于上述第一照相机和上述第二照相机地动作的第三照相机，

上述图像处理部还具备控制上述第三照相机的辅助跟踪部，该辅助跟踪部以短于上述第一周期的第三周期来执行通过上述输送机的搬运动作而移动的多个物品的拍摄和检测，

上述辅助跟踪部以上述第三周期反复地获取上述多个物品各自的以上述移动位置信息为基准的追加移动位置信息，

上述机器人控制部使用上述追加移动位置信息来控制上述机器人，使得上述机器人一边追随上述输送机的搬运动作一边将上述多个物品的各个物品把持并转运。

9.根据权利要求1～3中的任一项所述的物品转运装置，其特征在于，

上述机器人具备彼此独立地动作的第一机构部和第二机构部，

上述机器人控制部具备控制上述第一机构部的第一控制部和控制上述第二机构部的第二控制部，该第一控制部和该第二控制部使上述第一机构部和上述第二机构部把持与预先决定的作业比例相应的个数的物品。

10.一种物品转运方法，机器人将通过输送机搬运的多个物品把持并转运，在物品转运方法中，

以拍摄和检测通过上述输送机的搬运动作而移动的多个物品的全部的第一周期来执行该多个物品的拍摄和检测，获取该全部物品各自的初始位置信息，

以短于上述第一周期的第二周期来执行通过上述输送机的搬运动作而移动的多个物品的拍摄和检测，以该第二周期反复地获取该多个物品各自的以上述初始位置信息为基准的移动位置信息，

使用上述移动位置信息来控制上述机器人，使得上述机器人一边追随上述输送机的搬运动作一边将上述多个物品的各个物品把持并转运。

11.根据权利要求10所述的物品转运方法，其特征在于，

在上述机器人把持了上述物品之后，继续执行上述移动位置信息的反复获取直到经过预先决定的时间为止。

12.根据权利要求10或11所述的物品转运方法，其特征在于，

以短于上述第一周期的第三周期来执行通过上述输送机的搬运动作而移动的多个物品的拍摄和检测，以该第三周期反复地获取上述多个物品各自的以上述移动位置信息为基准的追加移动位置信息，

使用上述追加移动位置信息来控制上述机器人，使得上述机器人一边追随上述输送机的搬运动作一边将上述多个物品的各个物品把持并转运。