CN112109078B - 具有以视频方式拍摄机器人装置的动作的照相机的监视装置 - Google Patents

Abstract

本发明提供一种具有以视频方式拍摄机器人装置的动作的照相机的监视装置。监视装置具有：照相机，其以视频方式来拍摄机器人装置的动作；以及加速度传感器，其检测机器人装置的运转状态。机器人控制装置的存储控制部执行如下控制：对照相机拍摄到的视频附加时刻来存储在存储部中的控制、对从加速度传感器取得的加速度附加时刻来存储在存储部中的控制。提取部在机器人装置的运转状态脱离了基准运转状态时，从存储部中提取脱离了基准运转状态时之前的期间的视频，并将提取出的视频存储在存储部中。

Description

具有以视频方式拍摄机器人装置的动作的照相机的监视装置

技术领域

本发明涉及具有以视频方式拍摄机器人装置的动作的照相机的监视装置。

背景技术

在具有机器人的机器人装置中，可通过对机器人安装与作业对应的作业工具来进行希望的作业。例如，作为作业工具可将抓持工件的机械手安装到机器人。在机器人达到预先决定的位置以及姿势后，利用机械手抓持或释放工件，由此可运送工件。

根据预先生成的动作程序来驱动机器人以及作业工具。但是，有时因机器人装置产生异常或驱动机器人装置时周围的状态等，无法正常进行机器人装置的作业。在机器人装置进行作业的期间，为了掌握机器人装置的状态或机器人装置周围的状态，可在机器人装置配置照相机。

在现有技术中，已知一种装置，其根据照相机拍摄到的视频或静止图像来判定机器人进行驱动的状态(例如，参照日本特开2017－13214号公报、日本特开2017－1114号公报以及日本特开2017－154221号公报)。此外，在作业员与机器人协作来进行作业的机器人装置中，已知一种具备对作业员接近机器人进行检测的照相机的机器人装置(例如，参照国际公开第2018/131237号)。并且，已知一种装置，其通过照相机拍摄机器人装置进行作业的区域，在显示装置中显示该图像(例如，参照日本特开2018－202541号公报)。

有时在机器人装置进行的作业无法正常进行的情况下，机器人装置停止。例如，有时对通过自动运送车运送的工件安装预定的部品或进行焊接。在该情况下，当地面有凹凸或工场内有气流时，有时放置在运送车中的工件产生振动。结果，有时在作业工具接触工件时机器人装置检测出振动而停止。或者，有时机器人装置所包含的装置产生故障使得机器人的振动变大，机器人装置停止。

为了调查机器人装置产生的异常的原因，优选可通过目视来观察产生了异常时的机器人装置的状态。因此，在机器人装置进行的作业无法正常进行时，作业员一边使机器人装置再一次执行相同的作业，一边通过照相机拍摄视频。因此，作业员为了分析原因而花费很多时间。

此外，作业员根据与机器人装置的运转相关的记录和视频来分析产生异常的原因。但是，存在不知道机器人装置运转的记录与视频的哪个时间点对应的问题。因为没有将机器人装置运转的记录与视频中的时刻对应起来的信息，因此存在如下问题：难以参照产生异常时的机器人的视频与运转的记录来分析产生异常的原因。如此，在现有技术中，存在如下问题：难以短时间分析产生异常的原因，直到机器人装置恢复为止需要花费时间。

发明内容

本公开的一方式是一种对机器人装置的动作进行监视的监视装置，该机器人装置具有机器人以及安装在机器人的作业工具。监视装置具有：照相机，其以视频的方式拍摄机器人装置的动作；以及状态检测器，其检测机器人装置的运转状态。监视装置具有运算处理装置，该运算处理装置取得照相机拍摄到的视频以及状态检测器的输出。运算处理装置包含：存储部，其存储预先决定的信息；以及存储控制部，其对存储部中存储的信息进行操作。运算处理装置包含：提取部，其提取存储部中存储的信息的一部分；以及判定部，其判定机器人装置的运转状态。存储控制部执行以下控制：对照相机拍摄到的视频附加时刻或从预先决定的基准时刻起的经过时间来存储在存储部中的控制；对从状态检测器的输出中取得的变量附加时刻或经过时间来存储在存储部中的控制。存储控制部执行以下控制：将从当前时刻起预先决定的期间之前的视频从存储部中削除的控制。判定部判定机器人装置的运转状态是否从预先决定的基准运转状态脱离。在判定部判定为机器人装置的运转状态从基准运转状态脱离时，提取部从存储部中提取预先决定的期间的视频，并将提取出的视频存储在存储部中，该预先决定的期间包含脱离了基准运转状态时之前的期间。

附图说明

图1是实施方式的第1机器人装置的概略图。

图2是实施方式的第1机器人装置的框图。

图3是实施方式中的照相机拍摄的影像的示例。

图4是对实施方式的监视信息文件中包含的项目进行说明的框图。

图5是对动作程序中记载的移动点彼此之间的插值点进行说明的概略图。

图6是实施方式中的第2机器人装置的概略图。

图7是实施方式中的第3机器人装置的概略图。

具体实施方式

参照图1～图7对实施方式中的监视机器人装置的动作的监视装置进行说明。在本实施方式中，以进行产品组装作业的机器人装置为例来进行说明。

图1是本实施方式的第1机器人装置的概略图。第1机器人装置5具备作为作业工具(末端执行器)的机械手2和移动机械手2的机器人1。本实施方式的机器人1是包含多个关节部的多关节机器人。

机器人1包含基部14和支承在基部14上的旋转基部13。基部14固定在设置面。旋转基部13形成为相对于基部14旋转。机器人1包含上臂部11以及下臂部12。下臂部12经由关节部可转动地支承在旋转基部13上。上臂部11经由关节部可转动地支承在下臂部12上。此外，上臂部11围绕与上臂部11的延伸方向平行的旋转轴旋转。

机器人1包含与上臂部11的端部连结的手腕15。手腕15经由关节部可转动地支承在上臂部11上。手腕15包含形成为可旋转的凸缘16。机械手2被固定在手腕15的凸缘16。本实施方式的机器人1具有6个驱动轴，但是不限于该方式。能够采用可移动作业工具的任意的机器人。

机械手2是抓持或释放工件81的作业工具。机械手2具有多个爪部3。机械手2形成为爪部3可打开或闭合。爪部3通过夹着工件81来抓持工件81。本实施方式的机械手2具有爪部3，但是不限于该方式。机械手能够采用可抓持工件的任意结构。例如，可以采用通过吸附或磁力来抓持工件的机械手。

本实施方式的机器人装置5包含作为运送机的传送器8，其对机器人1运送工件82。运送机配置在机器人1的周围。传送器8形成为将工件82运送到预先决定的位置。

本实施方式的机器人装置5进行对工件82安装工件81的作业。工件81具有从表面突出的销81a。在由传送器8运送的工件82形成有与销81a的形状对应的孔部82a。机器人装置5抓持配置在未图示的作业台上的工件81。接下来，机器人1通过变更位置以及姿势，如箭头91所示，将工件81放置到工件82的上表面。此时，机器人1移动工件81以使销81a与孔部82a嵌合。

在本实施方式中，传送器8一边持续运送工件82，机器人1一边将工件81安装到工件82。即，在进行装载工件81的作业的期间，工件82通过传送器8而移动。机器人1一边使位置以及姿势变化来追随工件82一边将工件81安装到工件82。

本实施方式的机器人装置5具备拍摄机器人装置5的动作的照相机10。照相机10是拍摄视频的摄像机。照相机10被配置为拍摄机械手2对工件81、82进行作业的状态。本实施方式的照相机10被配置为拍摄对工件82装载工件81的区域。特别是将照相机10配置为能够拍摄销81a插入到孔部82a的状态。

在第1机器人装置5中，照相机10通过支承部件17被固定在机械手2。照相机10的位置以及姿势与机械手2一起变化。此外，本实施方式的照相机10形成为可从机械手2拆除。例如，支承部件17可通过磁铁或螺栓等紧固部件固定在机械手2。

本实施方式的机器人装置5中设定有基准坐标系56。在图1所示的示例中，在机器人1的基部14配置有基准坐标系56的原点。基准坐标系56也称为世界坐标系。基准坐标系56是固定了原点的位置，并且固定了坐标轴的朝向的坐标系。即使机器人1的位置以及姿势变化，基准坐标系56的位置以及朝向也不变化。在基准坐标系56，作为坐标轴具有相互正交的X轴、Y轴以及Z轴。此外，作为围绕X轴的坐标轴而设定W轴。作为围绕Y轴的坐标轴而设定P轴。作为围绕Z轴的坐标轴而设定R轴。

机器人1的位置以及姿势可通过基准坐标系56来表示。例如，机器人1的位置可通过配置在机械手2前端的工具前端点的位置来表示。此外，可在工具前端点设定与机械手2一起移动的工具坐标系。机器人1的姿势可通过工具坐标系相对于基准坐标系56的朝向来表示。

图2表示本实施方式的机器人装置的框图。参照图1以及图2，机器人1包含使机器人1的位置以及姿势变化的机器人驱动装置。机器人驱动装置包含对臂部以及手腕等结构部件进行驱动的机器人驱动电动机22。通过机器人驱动电动机22进行驱动，各结构部件的朝向发生变化。

机械手2具有驱动机械手2的机械手驱动装置。机械手驱动装置包含驱动机械手2的爪部3的机械手驱动电动机21。通过机械手驱动电动机21进行驱动，机械手2的爪部3打开或闭合。爪部也可以形成为通过气压来进行动作。在该情况下，机械手驱动装置可包含通过气泵以及气缸等的气压来驱动爪部的装置。

机器人装置5的控制装置具有机器人控制装置4。机器人控制装置4包含运算处理装置(计算机)，该运算处理装置具有作为处理器的CPU(Central Processing Unit)。运算处理装置具有经由总线与CPU连接的RAM(Random Access Memory)以及ROM(Read OnlyMemory)等。对机器人控制装置4输入为了控制机器人1、机械手2以及传送器8而预先生成的动作程序41。机器人1以及机械手2根据动作程序41来运送工件81。传送器8根据动作程序41来运送工件82。

机器人控制装置4的运算处理装置包含存储预先决定的信息的存储部42。存储部42存储与机器人1、机械手2以及传送器8的控制相关的信息。动作程序41存储在存储部42中。存储部42可由易失性存储器、非易失性存储器、或者硬盘等能够存储信息的存储介质构成。

运算处理装置包含发出动作指令的动作控制部43。动作控制部43相当于按照动作程序41进行驱动的处理器。动作控制部43形成为能够读取在存储部42中存储的信息。处理器通过读入动作程序41来实施在动作程序41中规定的控制，作为动作控制部43发挥功能。

动作控制部43根据动作程序41将用于驱动机器人1的动作指令发给机器人驱动部45。机器人驱动部45包含驱动机器人驱动电动机22的电路。机器人驱动部45根据动作指令向机器人驱动电动机22供电。此外，动作控制部43根据动作程序41将驱动机械手2的动作指令发给机械手驱动部44。机械手驱动部44包含驱动机械手驱动电动机21的电路。机械手驱动部44根据动作指令向机械手驱动电动机21供电。并且，动作控制部43根据动作程序41对照相机10发出拍摄视频的指令。

机器人控制装置4包含显示器46，该显示器46显示与机器人装置5相关的任意信息。显示器46例如包含液晶显示面板。

机器人装置5具有对机器人装置5的运转状态进行检测的至少一个状态检测器。状态检测器安装在构成机器人装置5的部件。机器人1包含：作为状态检测器的位置检测器18，其用于对机器人1的位置以及姿势进行检测。位置检测器18安装在与臂部等结构部件的驱动轴对应的机器人驱动电动机22。例如，位置检测器18对机器人驱动电动机22进行驱动时的旋转角进行检测。根据位置检测器18的输出，来检测机器人1的位置以及姿势。

此外，本实施方式的状态检测器包含用于对机器人1的加速度进行检测的加速度传感器19。加速度传感器19安装在机械手2。根据加速度传感器19的输出，可对机器人1进行驱动时的加速度以及机器人1产生的振动进行检测。

机器人装置5的控制装置具有控制传送器8的动作的传送器控制装置9。传送器控制装置9包含运算处理装置(计算机)，该运算处理装置包含作为处理器的CPU以及RAM等。传送器控制装置9形成为可与机器人控制装置4相互通信。动作控制部43根据动作程序41，将驱动传送器8的动作指令发给传送器控制装置9。传送器控制装置9接收来自机器人控制装置4的动作指令，驱动传送器8。

本实施方式的机器人装置5具有监视机器人装置5的动作的监视装置。监视装置具有照相机10、作为状态检测器的位置检测器18以及加速度传感器19。监视装置具有取得照相机10拍摄到的视频以及状态检测器的输出的运算处理装置。在本实施方式中，机器人控制装置4的运算处理装置作为监视装置的运算处理装置发挥功能。

机器人控制装置4的运算处理装置包含对从状态检测器以及照相机10输出的信息进行处理的信号处理部31。信号处理部31包含对存储部42中存储的信息进行操作的存储控制部32。信号处理部31包含提取在存储部42中存储的信息的一部分的提取部34。此外，信号处理部31包含判定机器人装置5的运转状态的判定部33。并且，本实施方式的信号处理部31包含根据过去取得的机器人装置5的运转状态，来预测机器人装置5将来的动作的预测部35。

信号处理部31相当于按照动作程序41进行驱动的处理器。特别是存储控制部32、判定部33、提取部34以及预测部35这样的各单元相当于按照动作程序41进行驱动的处理器。处理器读入动作程序41来执行在动作程序41规定的控制，由此作为各单元发挥功能。

本实施方式的机器人装置5的控制装置具有控制机器人1以及机械手2的机器人控制装置4、控制传送器8的传送器控制装置9，但是不限于该方式。机器人装置5也可以构成为通过1个控制装置来控制机器人1、机械手2以及传送器8。此外，也可以与机器人控制装置4分开地配置具有信号处理部31的功能的信号处理装置。信号处理装置可由包含存储部以及CPU的运算处理装置(计算机)构成。并且，也可以在信号处理装置中进行向存储部进行存储的控制以及提取在存储部中存储的部分信息的控制等。或者，也可以使信号处理装置的时间与机器人控制装置4的时间同步，分担来自检测器、传感器以及照相机的信号的处理。

参照图1，将本实施方式的照相机10配置在远离机械手2抓持的工件81的位置。照相机10被配置为在向工件82安装工件81时，可拍摄工件81的销81a和工件82的孔部82a。

图3表示在存储部中存储的影像的示例。参照图2以及图3，存储控制部32取得照相机10拍摄的视频。机器人控制装置4具有计时功能。存储控制部32取得当前的时刻。存储控制部32对照相机10拍摄到的视频附加时刻来存储在存储部42中。即，存储控制部32对视频附加当前时刻的时间戳来存储在存储部42中。

在影像71中记录有工件81的销81a与传送器8运送的工件82的孔部82a嵌合的状态。由爪部3抓持的工件81在箭头92所示的方向上移动，将销81a插入到孔部82a的内部。照相机10拍摄机器人装置5对工件81、82进行的作业的状态。在影像71的预先决定的位置赋予了时刻的影像72。影像72中示出了拍摄到视频时的日期和时刻。在图3所示的示例中，示出了直到百分之一秒的时刻。

本实施方式的存储控制部32执行将过去存储的旧的视频削除的控制。存储控制部32执行将从当前时刻开始预先决定的期间之前的视频从存储部42中削除的控制。关于保留视频的期限，例如可设定为1分钟以上60分钟以下。在存储部42中存储的视频的存储容量变得非常大。在本实施方式中，通过将旧的视频削除，可抑制视频的存储容量变大。例如，存储控制部32可执行如下控制：将从照相机10取得的当前时刻的视频存储到存储部42，并且将从当前时刻开始30分钟前的时刻以前的视频削除。

图4表示本实施方式的监视信息文件的说明图。本实施方式的存储控制部32执行如下控制：在机器人装置5的运转期间，将机器人装置5的运转状态作为监视信息记录在监视信息文件73中。监视信息文件73存储在存储部42中。存储控制部32执行如下控制：对从状态检测器的输出中取得的变量附加时刻来存储在存储部42中。机器人1的运转状态例如是机器人1的加速度以及机器人1的位置。可在监视信息文件73中记录机器人1的加速度以及机器人1的位置中的至少一方。

在本实施方式中，将从加速度传感器19的输出中取得的加速度设为机器人1的加速度。存储控制部32取得从加速度传感器19输出的基准坐标系56的X轴方向的加速度、Y轴方向的加速度以及Z轴方向的加速度。将各个加速度附加时刻来存储在监视信息文件73中。此外，存储控制部32取得根据位置检测器18的输出计算出的机器人1的位置，该位置检测器18安装在机器人驱动电动机22。在监视信息文件73中存储机器人1的基准坐标系56中的X轴的坐标值、Y轴的坐标值以及Z轴的坐标值。

在图4所示的示例中示出了在时刻t1的机器人1的加速度以及机器人1的位置。在监视信息文件73中以预先决定的每个时间间隔存储从状态检测器的输出中取得的变量。即，在监视信息文件73中存储有与多个时刻对应的变量。对使用状态检测器而取得的实际的测量值赋予时间戳来记录在监视信息文件73中。变量能够以时间序列记录在监视信息文件73中。

在本实施方式中，存储控制部32将在驱动机器人装置5的期间取得的所有时刻的加速度以及机器人的位置存储在存储部42中，但是不限于该方式。存储控制部也可以进行将从当前时刻开始预先决定的期间之前的变量削除的控制。

参照图2，判定部33判定在使机器人装置5运转的期间，机器人装置5的运转状态是否已从预先决定的基准运转状态脱离。基准运转状态相当于在正常的运转范围内机器人装置5正在进行运转的状态。第1机器人装置5的判定部33判定机器人1、机械手2以及传送器8的运转状态是否正常。判定部33判定从状态检测器的输出中取得的变量是否脱离了预先决定的判定范围。在从状态检测器的输出中取得的变量脱离了判定范围时，可判定为机器人装置5的运转状态从基准运转状态脱离。即，可判定为机器人装置5的运转状态为异常。

例如，可预先决定机器人1的加速度的判定范围。判定部33在由加速度传感器19取得的加速度超过了判定范围时，可判定为机器人装置5的运转状态已从基准运转状态脱离。或者，能够预先决定机器人1可到达的位置的判定范围。判定部33在根据位置检测器18的输出计算出的机器人1的位置脱离了判定范围时，可判定为机器人装置5的运转状态已从基准运转状态脱离。

另外，用于判定机器人装置5的运转状态是否从基准运转状态脱离的变量可以与监视信息文件73中记录的变量相同也可以不同。此外，判定部可通过任意的控制来判定机器人装置的运转状态是否从基准运转状态脱离。例如，判定部在从动作控制部43发出的指令值与从位置检测器18的输出等取得的实测值偏离时，可判定为机器人装置5的运转状态从基准运转状态脱离。

在判定部33判定为机器人装置5的运转状态从基准运转状态脱离时，信号处理部31在显示器46显示机器人装置5的运转状态从基准运转状态脱离的情况。可使作业员知晓机器人装置5产生异常。此外，信号处理部31也可以对动作控制部43发出停止机器人装置5的指令。动作控制部43可根据该指令停止机器人装置5。或者，动作控制部43可根据该指令使机器人1后退，使得机器人1的位置成为安全位置。

另一方面，提取部34取得脱离了基准运转状态的时刻。接下来，提取部34从存储部42提取预先决定的期间的视频，该预先决定的期间包含从基准运转状态脱离时之前的期间。提取部34以包含机器人装置5发生了异常时之前的视频的方式提取视频。作为发生了异常时之前的预先决定的期间，例如可采用从脱离了基准运转状态时起1分钟以上10分钟以下的期间。在本实施方式中，提取部34提取包含从基准运转状态脱离时在内的预先决定的期间的视频。特别是本实施方式的提取部34以包含脱离了基准运转状态时之后的预先决定的期间的视频的方式从存储部42提取视频。作为产生了异常时之后的预先决定的期间，例如可采用从脱离了基准运转状态时起1分钟以上10分钟以下的期间。如此，提取部34从存储部42提取机器人装置5的运转状态从基准运转状态脱离的时刻的周边期间的视频。

另外，提取部34也可以不提取脱离了基准运转状态时之后的视频。但是，通过还提取脱离了基准运转状态时之后的视频，作业员可通过影像来确认发生了异常后的状态。例如，作业员可确认装置损坏的状况。

接下来，提取部34将提取出的视频存储在存储部42中。并且，提取部34也可以从监视信息文件73中提取机器人装置5的运转状态发生了异常的时刻之前的预先决定的期间的信息并存储在存储部42中。

如此，本实施方式的监视装置在机器人装置5正在进行作业的期间，取得正在进行工件81、82的组装的区域的视频。监视装置在机器人装置5的运转状态产生了异常时，提取包含机器人装置5的运转状态产生了异常的时刻之前的期间的视频在内的预定期间的视频，并存储在存储部42中。

将机器人装置5脱离了基准运转状态的时刻紧前的视频以及从状态检测器的输出中取得的变量存储在存储部42中。因此，作业员不需要再次运转机器人装置5来再现相同的运转状态，能够立即分析产生了异常时的机器人装置5的状态。

作业员通过提取部34提取出的影像71，能够确认由机器人装置5组装产品的状态。此外，可根据监视信息文件73中记录的加速度以及机器人的位置来确认产生了异常时的机器人1的状态。因为对影像71以及监视信息文件73中包含的变量赋予了时刻，所以能够使影像71中包含的时刻与监视信息文件73中存储的时刻严格对应。因此，作业员可容易地进行产生异常的原因分析。例如，作业员可从监视信息文件73中取得加速度脱离了判定范围的时刻，通过影像71确认加速度脱离了判定范围的时刻紧前的状态。此外，可在机器人装置5产生了异常后立即确认影像与运转状态，因此能够短时间内进行产生异常的原因分析。

在上述实施方式中，对照相机10拍摄到的影像71以及从状态检测器的输出中取得的变量附加时刻来进行存储，但是不限于该方式。也可以取代时刻，对影像以及从状态检测器的输出中取得的变量附加从预先决定的基准时刻起的经过时间。例如，可以将通过机器人装置开始作业的时刻设为基准时刻，对影像以及变量附加从该时刻起的经过时间来进行存储。另外，向影像71以及监视信息文件73中包含的变量赋予的时刻或经过时间能够以装置独有的时间单位进行记录。例如，如图3所示，可以采用直到百分之一秒的时刻，或采用以1msec为1单位的经过时间。

第1机器人装置5的照相机10形成为可从机械手2拆除。通过采用该结构，可在任意的时期将照相机10安装到机器人装置5或者将照相机10拆除。例如，在机器人装置的动作正常的期间可拆除照相机。并且，可以在机器人装置的动作可能发生异常时安装照相机。例如，可以在发出了与机器人装置的动作相关的警告时，为了监视机器人装置的动作的状态而安装照相机。另外，第1机器人装置5的照相机10被固定在机械手2，但是不限于该方式。照相机也可以固定在机器人。例如，照相机可以固定在机器人的手腕的凸缘等。

作为存储控制部32将从状态检测器的输出中取得的变量存储在存储部42中的时间间隔，可采用与动作控制部43发出机器人1的动作指令的控制周期相同的时间间隔。存储控制部32可与动作控制部43发出机器人1的动作指令的时期一致地取得状态检测器的输出。按每个控制周期在监视信息文件73中追加新的时刻的变量的信息。

图5表示对控制装置的动作控制部发出指令的控制周期进行说明的图。图5中示出了动作程序41中记载的移动点P1、P2、P3。控制机器人1例如使得工具前端点从移动点P1朝向移动点P2。并且，控制机器人1使得工具前端点从移动点P2移动到移动点P3。动作程序41中规定了移动点P1、P2、P3的位置以及在各位置的机器人1的姿势。

动作控制部43以预先决定的控制周期Δt对机器人1发出动作指令。根据机器人1的性能来预先决定了控制周期Δt。或者，也可以由作业员将控制周期Δt输入给机器人控制装置4。机器人1的控制周期Δt例如是1msec以上10msec以下的范围内的时间。

动作控制部43从动作程序41中取得在移动点P1、P2、P3的机器人1的位置以及姿势。接下来，动作控制部43在各个移动点P1、P2、P3彼此之间追加插值点IP。根据机器人1的控制周期Δt的时间间隔来生成插值点IP。此外，根据机器人1进行驱动的速度以及直线移动等机器人1的驱动方法(动作规划)来生成插值点IP。

动作控制部43在各个插值点IP计算机器人1的位置以及姿势。此外，动作控制部43在各个插值点IP计算机器人1的动作速度。并且，动作控制部43按每个插值点IP发出动作指令。控制机器人1的位置以及姿势使得通过移动点P1、P2、P3以及插值点IP。或者，控制机器人1使得通过移动点P1、P2、P3的附近以及插值点IP的附近。

存储控制部32能够按照这样的机器人1的每个控制周期将从状态检测器的输出中取得的变量(实测值)存储在存储部42中。并且，存储控制部32也可以将按照机器人1的每个控制周期从动作控制部43发出的指令值存储在存储部42中。控制周期是驱动机器人1的最小的时间间隔。因此，通过按照控制周期的时间间隔将变量记录在监视信息文件73中，能够抑制机器人状态的记录遗失。或者，作业员能够对在插值点IP产生的机器人装置5的动作的异常进行分析。

能够将用于监视机器人装置5的运转状态的任意的监视信息附加时刻来记录在监视信息文件73中。例如，监视信息可包含不需要停止机器人装置5的警告的信息。例如，关于加速度，除了判定为机器人1的动作异常的判定值以外，有时还预先决定了用于通知已接近该判定值的警告的判定范围。在判定部33检测出机器人1的加速度到达了警告的判定范围内时，存储控制部32可对警告的信息附加时刻来记录在监视信息文件73中。

此外，监视信息中能够包含与机器人装置5的动作对应的动作程序41的指令语句的信息。例如，能够将正在执行动作程序41的指令语句的行的信息与时刻一起进行记录。或者，能够将正在执行动作程序41的指令语句的行的信息与加速度等变量一起进行记录。

在动作程序41中有时设定了与构成机器人装置5的装置相关的动作组。有时在动作程序41中规定了与机器人1的驱动相关的动作组、与机械手2的驱动相关的动作组、以及与传送器8的驱动相关的动作组。在监视信息中可包含动作组的信息。例如，能够将是与机器人1的驱动相关的第1动作组与加速度等变量一起记录在监视信息文件73中。

此外，能够将与动作程序中记载的移动点彼此之间生成的插值点相关的信息与时刻一起包含在监视信息中。例如，可将插值点彼此之间的控制周期以及动作规划的信息包含在监视信息中。此外，可将在插值点的位置、速度、加速度以及加加速度等信息包含在监视信息中。在该情况下，对于在插值点的位置以及速度等，可通过存储控制部32按照与控制周期相同的时间间隔取得状态检测器的输出来进行计算。此外，关于与插值点相关的信息，可以采用从动作控制部43发出的机器人1的位置的指令值。或者，监视信息可以包含根据状态检测器的输出计算出的实测值以及从动作控制部43发出的指令值双方。

通过在监视信息文件73中记录警告的信息、动作程序的指令语句的信息、以及插值点的信息中的至少一个信息，作业员能够更详细地分析机器人装置5脱离基准运转状态的原因。

参照图2，本实施方式的信号处理部31包含预测机器人1将来的动作的预测部35。预测部35从存储部42取得记录了过去的机器人的运转状态的监视信息文件73。在这里的示例中，监视信息文件73中存储有每一控制周期的变量。预测部35根据从状态检测器的输出中取得的变量，对于根据按每个控制周期发出的下一动作指令进行了驱动后的机器人1的位置进行推定。例如，预测部35能够根据机器人的当前位置以及最近的过去位置，以线性近似的方式推定根据下一动作指令进行了驱动后的机器人的位置。预测部35重复进行以下控制：推定在每个控制周期通过下一个机器人1的动作而到达的机器人1的位置。

判定部33判定机器人1是否能够到达预测部35推定出的机器人1的位置。例如，有时推定出的机器人1的位置超出机器人1的可动范围。或者，当确定了机器人1的位置时，根据反向运动学来计算各驱动轴的机器人驱动电动机22的旋转角度。此时，有时无法计算出各机器人驱动电动机22的旋转角。这样的机器人1的移动点被称为特殊点。在上述情况下，判定部33判定为通过下一动作指令进行了驱动时的机器人1的位置是机器人1无法到达的位置。

在机器人1无法到达预测部35推定出的机器人1的位置时，信号处理部31在机器人1通过下一动作指令进行驱动前将停止机器人1的指令发给动作控制部43。动作控制部43执行以下控制：根据来自信号处理部31的指令不发出下一动作指令，使机器人1停止。

另外，在使用视觉传感器来进行机器人的位置以及姿势的修正的情况下，有时存在多个机器人1根据下一动作指令能够到达的位置。在该情况下，判定部33可针对所有位置，判定是否超出可动范围或者是否是特殊点。当在至少一个位置超出可动范围或者是特殊点的情况下，判定部33可判定为机器人1无法到达推定出的机器人1的位置。

在机器人装置5中，有时进行以下的视觉反馈控制：根据通过照相机等视觉传感器对通过传送器等移动的工件进行拍摄而得到的视频或静止图像，对机器人1的位置以及姿势进行修正。在视觉反馈控制中，机器人1的位置以及姿势追随通过传送器等移动的工件而进行变化。

例如，能够调整机器人1的位置以及姿势，使得在通过照相机拍摄移动的工件时影像中的工件的特征点的位置成为预先决定的基准位置。预先求出了将工件的特征点配置在影像中的基准位置时的机器人相对于工件的相对位置关系。如此，机器人控制装置4能够根据在影像中将工件的特征点配置在基准位置时的机器人1的位置以及姿势，来控制机器人1使其成为用于进行作业的机器人1的位置以及姿势。

或者，能够根据照相机对通过传送器等移动的工件进行拍摄而得到的影像，计算基准坐标系56中的工件的位置以及朝向。例如，可通过图形匹配的方法，来计算工件的位置以及朝向。机器人控制装置4可根据通过照相机进行了拍摄的时刻的工件的位置以及朝向，来控制机器人1使其成为用于进行作业的机器人1的位置以及姿势。

在视觉反馈控制中，因为机器人的位置以及姿势与工件的位置以及姿势对应地进行变化，因此难以预先推定机器人将来的位置以及姿势。但是，本实施方式的预测部35可根据过去的监视信息来推定距离当前时刻近的时刻的机器人的位置。因此，能够在机器人1的动作产生异常前停止机器人1。特别是存储控制部32按每个控制周期将从状态检测器的输出中得到的变量存储在存储部42中，由此，可推定根据下一动作指令进行了驱动后的机器人的位置。

在上述实施方式中，为了检测机器人1的加速度，在机械手2安装有加速度传感器19，但是不限于该方式。例如，有时在照相机10中为了修正影像的抖动而包含加速度传感器。在照相机10包含加速度传感器时，可将照相机的加速度传感器的输出值用作机器人1的加速度。或者，机器人1的加速度也可以不通过加速度传感器直接检测，而是以时间对位置检测器18的输出进行二阶微分来计算。例如，可以根据位置检测器18的输出，计算工具前端点等预先决定的位置的加速度。

图6表示本实施方式的第2机器人装置的概略图。在第1机器人装置5中，照相机10安装在机械手2。照相机10随着机器人1进行驱动而移动，但是不限于该方式。照相机10也可以固定在远离机器人1以及传送器8的位置。

第2机器人装置6具有固定在地面的台架25。照相机10固定在台架25。照相机10配置成拍摄机械手2对工件81、82进行作业的状态。照相机10配置成能够拍摄工件81的销81a插入到工件82的孔部82a的状态。

并且，在第2机器人装置6中，还可以拍摄机器人装置5进行作业的区域以外的区域。通过该结构，作业员可通过影像来确认作业工具对工件进行作业的区域以外的区域产生的现象。例如，照相机10可以配置成能够拍摄整个机器人1。通过该结构，可通过照相机10对机器人1的所有动作进行拍摄。例如，作业员可通过影像来确认作业员或其他装置与机器人1的旋转基部13接触。第2机器人装置6的其他结构、作用以及效果与第1机器人装置5一样。

图7表示本实施方式中的第3机器人装置的概略图。在所述第1机器人装置5以及第2机器人装置6中，工件82通过传送器8进行运送，但是不限于该方式。第3机器人装置7具有作为运送机的运送车26，其对机器人1运送工件82。运送车26包含车轮28，在地面上向任意方向行进。本实施方式的运送车26是根据动作程序41自动进行工件82的运送的无人运送车。

第3机器人装置7具有控制运送车26的运送车控制装置。运送车控制装置包含运算处理装置(计算机)，该运算处理装置包含作为处理器的CPU以及RAM等。运送车控制装置形成为可与机器人控制装置4相互通信。

在运送车26的上表面经由固定部件27固定了工件82。并且，运送车26沿着预先决定的路径移动。机器人1变更位置以及姿势，使得工件81的销81a插入到工件82的孔部82a。在第3机器人装置7中，照相机10经由支承部件29固定在运送车26。照相机10与运送车26一起移动。

在第3机器人装置7中，也可执行与第1机器人装置5一样的控制。或者，即使在作为运送机使用运送车26的情况下，也可以像第2机器人装置6(参照图6)那样，将照相机10固定在远离配置运送车26的位置的位置。第3机器人装置7的其他结构、作用以及效果与第1机器人装置5以及第2机器人装置6一样。

本实施方式的机器人控制装置4包含用于显示监视信息文件73以及影像71的显示器46，但是不限于该方式。机器人控制装置也可以不包含显示器。可以将监视信息文件以及提取部提取出的影像经由通信装置发送给其他装置。例如，可以将这些信息发送给对机器人装置的异常进行分析的部门的作业员。

在上述实施方式中，例示了对通过运送机而移动的工件82进行作业的机器人装置，但是不限于该方式。也可以将本实施方式的监视装置应用于针对停止的工件进行作业的机器人装置。

在上述实施方式中，作为状态检测器例示位置检测器以及加速度传感器来进行了说明，但是不限于该方式。关于状态检测器，可采用能够检测机器人装置的状态的任意的检测器。例如，状态检测器可包含安装在机器人装置的温度检测器、转矩传感器、速度传感器、或者力觉传感器等。

在上述实施方式中，举出了进行产品组装作业的机器人装置，但是不限于该方式。可将本实施方式的监视装置应用于进行任意作业的机器人装置。例如，可将本实施方式的监视装置应用于运送工件的机器人装置、进行点焊或者弧焊等焊接的机器人装置、进行涂装的机器人装置、或者涂布密封材料的机器人装置等。

根据本公开，能够提供一种监视装置，其在机器人装置的动作脱离了成为基准的运转状态时，能够容易地确认机器人装置的动作的状态。

在上述各个控制中，在不变更功能以及作用的范围内可适当变更步骤的顺序。

上述实施方式可适当组合。在上述各图中，对相同或者相等的部分标注了相同的附图标记。另外，上述实施方式是例示并非限定发明。此外，在实施方式中，包含保护范围所示的实施方式的变更。

Claims (7)

1.一种对机器人装置的动作进行监视的监视装置，该机器人装置具备机器人以及安装在机器人上的对移动的工件进行作业的作业工具，其特征在于，

所述监视装置具有：

照相机，其以视频的方式拍摄机器人装置的动作以及移动的工件；

状态检测器，其检测机器人装置的运转状态；以及

运算处理装置，其取得所述照相机拍摄到的视频以及状态检测器的输出，

所述运算处理装置包含：

存储部，其存储预先决定的信息；

存储控制部，其对所述存储部中存储的信息进行操作；

提取部，其提取所述存储部中存储的信息的一部分；以及

判定部，其判定机器人装置的运转状态，

所述存储控制部执行以下控制：

对所述照相机拍摄的视频附加时刻或者从预先决定的基准时刻起的经过时间来存储在所述存储部中的控制；对从状态检测器的输出中取得的变量附加时刻或所述经过时间来存储在所述存储部中的控制；将从当前时刻起预先决定的期间之前的视频从所述存储部中削除的控制，

所述判定部判定机器人装置的运转状态是否脱离了预先决定的基准运转状态，

在所述判定部判定为机器人装置的运转状态脱离了所述基准运转状态时，所述提取部从所述存储部中提取预先决定的期间的视频，并将提取出的视频存储在所述存储部中，该预先决定的期间包含脱离了所述基准运转状态时之前的期间，

所述存储控制部形成为在机器人装置的动作期间取得所述变量，并取得取得了所述变量时的所述时刻或所述经过时间，将所述时刻或所述经过时间与所述变量记录在监视信息文件中，

所述存储控制部在所述判定部判定为所述机器人装置的运转状态到达了用于通知所述机器人装置的运转状态接近脱离基准运转状态的警告的预定范围时，将警告的信息以及判定为所述机器人装置的运转状态接近脱离所述基准运转状态的所述时刻附加到所述监视信息文件中，

在所述机器人装置中执行以下的视觉反馈控制：

根据所述照相机拍摄所述工件而得到的视频，对所述机器人的位置以及姿势进行修正，使得所述机器人一边使位置以及姿势变化来追随移动的工件一边对所述工件进行作业，

在所述视觉反馈控制中，根据过去记录的所述变量来预先推定视频中的工件的特征点的位置成为预先决定的基准位置时的机器人的位置以及姿势，根据该推定出的机器人的位置以及姿势来控制所述机器人，使其成为用于进行作业的位置以及姿势。

2.根据权利要求1所述的监视装置，其特征在于，

所述照相机配置为拍摄作业工具对工件进行作业的状态。

3.根据权利要求1或2所述的监视装置，其特征在于，

在所述判定部判定为机器人装置的运转状态脱离了所述基准运转状态时，所述提取部通过包含脱离了所述基准运转状态时之后的期间的视频的方式提取视频，并将提取出的视频存储在所述存储部中。

4.根据权利要求1或2所述的监视装置，其特征在于，

所述运算处理装置包含动作控制部，该动作控制部以预先决定的控制周期发出机器人的动作指令，

所述存储控制部通过与机器人的控制周期相同的时间间隔将从状态检测器的输出中取得的变量存储在所述存储部中。

5.根据权利要求1或2所述的监视装置，其特征在于，

从状态检测器的输出中取得的变量包含机器人的加速度以及机器人的位置中的至少一方。

6.根据权利要求1或2所述的监视装置，其特征在于，

所述存储控制部将与机器人装置的运转相关的警告的信息、与机器人装置的动作对应的动作程序的指令语句的信息、与在动作程序中记载的移动点彼此之间生成的插值点相关的信息中的至少一个信息附加时刻或所述经过时间来存储在所述存储部中。

7.根据权利要求4所述的监视装置，其特征在于，

所述运算处理装置包含预测机器人的动作的预测部，

所述预测部根据存储在所述存储部中的从状态检测器的输出中取得的变量，来推定根据下一动作指令进行了驱动后的机器人的位置，

所述判定部判定机器人是否能够到达所述预测部推定出的机器人的位置，在机器人无法到达所述预测部推定出的机器人的位置时，在机器人通过下一动作指令进行驱动前停止机器人。