CN117984313A - 相机的校正方法、相机校正系统、以及存储介质 - Google Patents

Abstract

一种相机的校正方法、相机校正系统、以及存储介质，能够不使用校正用夹具就进行相机的校正。本申请的校正方法包括：校正工序，执行校正处理，该校正处理利用使用相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于机器人的相机的外部参数；以及判定工序，在校正处理的执行之后，判定外部参数的有效性。判定工序包括：工序(a)，在校正处理的执行之后，使用相机拍摄包括机器人的至少一部分的第二图像；以及工序(b)，利用第一图像与第二图像，判定相机与机器人的位置关系是否变化，根据位置关系的变化的有无，判定外部参数为无效还是有效。

Description

相机的校正方法、相机校正系统、以及存储介质

技术领域

本申请涉及相对于机器人的相机的校正方法、相机校正系统、以及计算机程序。

背景技术

在机器人的作业中使用相机的情况下，通过预先进行校正(校准，calibration)，来设定相机的校正参数。校正参数包括表示镜头的性能、镜头与像素的关系的内部参数、以及表示相机与机器人的相对位置的外部参数。

在专利文献1中，公开了求出相机校正参数的方法。在该现有技术中，首先，将表示与对象物相关的6组以上的三维点和与三维点分别对应的图像上的二维点之间的转换的误差函数分割为多个部分问题，在每一个问题中计算最优解候补。然后，以最优解候补作为初期值，求出使根据误差函数求得的误差最小的最优解，将该最优解作为最优的相机校正参数求出。

专利文献1：国际公开第2018-168255号

然而，在上述现有技术中，在拍摄拥有6组以上的三维点的对象物时，需要将校正用夹具正确地配置于相机视野内的预先确定的位置。在以机器人为对象物的情况下，存在该配置条件困难的情况。例如，在机器人开始作业之后的情况下，存在难以在机器人的周围确保用于配置校正用夹具的空间的情况，可能会迫使用户进行作业环境的变更。另外，在机器人是未被护栏围绕而在人的身边进行作业的机器人等情况下，在机器人的动作范围动态变化的环境中，每当切换作业内容，就需要变更相机的设置位置。所以，成为每当作业内容改变，就会迫使用户进行用于求出校正参数的作业。因此，期望有一种不使用特別的校正用夹具就能够容易地进行相机的校正处理的技术。

另外，在执行了一次相机的校正处理之后，若相机与机器人的相对位置变化，则校正参数成为无效。因此，期望有一种能够容易地判定校正参数在校正处理之后是否有效的技术。

发明内容

本申请用于解决上述的技术问题的至少一部分。

根据本申请的第一方式，提供一种相机的校正方法。该校正方法包括：校正工序，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定工序，在所述校正处理的执行之后，判定所述外部参数的有效性，所述判定工序包括：工序(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及工序(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

根据本申请的第二方式，提供一种相机校正系统。该相机校正系统具备：机器人；相机，被设置为能够拍摄所述机器人；校正执行部，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括所述机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定部，在所述校正处理的执行之后，判定所述外部参数的有效性，所述判定部执行判定处理，所述判定处理利用在所述校正处理的执行之后使用所述相机拍摄到的包括所述机器人的至少一部分的第二图像、以及所述第一图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

根据本申请的第三方式，提供一种存储有使处理器执行校正相机的处理的计算机程序的存储介质。该计算机程序使所述处理器执行以下处理：校正处理，利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定处理，在所述校正处理的执行之后，判定所述外部参数的有效性，所述判定处理包括：处理(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及处理(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

根据本申请的第四方式，提供一种相机的校正方法。该校正方法包括校正工序，所述校正工序执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数，所述校正工序从所述第一图像识别能够确定所述机器人的位姿的特定部分，并根据所述特定部分的识别结果来估计所述外部参数。

附图说明

图1是示出相机校正系统的结构的说明图。

图2是示出各种坐标系的关系的示意图。

图3是信息处理装置的功能框图。

图4是示出伴随着相机的校正处理的机器人的作业过程的流程图。

图5是示出第一实施方式中的校正处理的内容的说明图。

图6是示出第一实施方式中的相机移动判定处理的过程的流程图。

图7是示出第一实施方式中的相机移动判定处理的内容的说明图。

图8是示出第二实施方式中的相机移动判定处理的过程的流程图。

图9是示出第二实施方式中的相机移动判定处理的内容的说明图。

图10是示出第三实施方式中的校正处理的内容的说明图。

附图标记说明

100…机器人；110…基座；120…机械臂；130…臂部分；150…机械手；160…电流传感器；170…编码器；200…机器人控制器；300…信息处理装置；310…处理器；320…存储器；330…接口电路；340…输入设备；350…显示设备；410…相机；420…相机；500…作业台；510…第一容器；520…第二容器；610…校正执行部；620…判定部；630…物体识别部；640…路径规划部；650…机器人控制部。

具体实施方式

A.第一实施方式：

图1是示出一实施方式中的相机校正系统的一例的说明图。该系统是具备机器人100、控制机器人100的机器人控制器200、信息处理装置300、相机410、420、以及作业台500的机器人系统。信息处理装置300具有作为确定相机410、420的校正参数的校正处理装置的功能，例如，由个人计算机实现。

机器人100具备作为非可动部的基座110、以及作为可动部的机械臂120。在机械臂120的末端部装配有作为末端执行器的机械手150。机械手150能够作为能够把持工件WK的夹持器、吸附垫而实现。在机械手150的末端部设定有作为机器人100的控制点的TCP(ToolCenter Point，工具中心点)。需要说明的是，控制点TCP能够设定在任意的位置。

机械臂120由6个关节J1～J6依次连接。在这些关节J1～J6之中，3个关节J2、J3、J5为弯折关节，另外3个关节J1、J4、J6为扭转关节。在本实施方式中，举例示出了6轴机器人，但是也能够使用具有任意的机械臂机构的机器人，其中，机械臂机构具有多个关节。另外，本实施方式的机器人100为垂直多关节机器人，但是也可以使用水平多关节机器人。

作业台500设置有第一容器510以及第二容器520。第一容器510容纳有多个工件WK。第二容器520被作为载置从第一容器510取出的工件WK的地点使用。机器人100执行将工件WK从第一容器510取出，并载置于第二容器520的作业。此时，工件WK以预先确定的姿态被载置于第二容器520内的预先确定的位置。为了正确地进行该作业，使用相机410、420执行工件WK的位姿的识别。需要说明的是，也可以通过输送带输送第二容器520。或者，也可以省略第一容器510，通过输送带输送工件WK。

在作业台500的上方设置有拍摄工件WK与机器人100的相机410、420。为了针对工件WK与机器人100的每一个求出三维位置以及姿态而使用由相机410、420拍摄到的图像。在本申请中，将物体的三维位置以及姿态称为“位姿”。另外，将对物体的位姿进行识别简单称为“物体识别”。

在本实施方式中，为了在作业中回避障碍物而使机械臂120动作，使用多个相机410、420。但是，也可以只用1台相机410进行作业。在使用多个相机进行作业的情况下，针对每一个相机执行后述的校正处理。但是，以下主要针对对第一相机410进行校正处理的情况进行说明。

在相机410的校正处理中，利用使用相机410拍摄的包括机器人100的至少一部分的图像，确定校正参数。此时，利用图像所包括的非可动部的图像部分。作为非可动部，例如，能够利用以下结构。

(a)机器人100的基座110

(b)设置有机器人100的基座110的作业台或架台

这些非可动部都不会在机器人100的作业中移动或变化，是存在于固定的位置的固定部分。

在本实施方式中，作为非可动部，使用机器人100的基座110。从而，优选相机410被设置为能够拍摄工件WK与基座110的双方的状态。针对相机410的校正处理的详细内容，将在后文叙述。

作为相机410，例如，优选使用RGBD相机、立体相机，但是也可以用单目相机。RGBD相机是具有拍摄RGB图像的RGB相机、以及拍摄深度图像(Depth image)的D相机的相机。相机420也是同样的。

图2是示出以下说明的坐标系的关系的示意图。但是，在图2中，将机器人100简略化。

(1)机器人坐标系Σr

机器人坐标系Σr是将机器人100的预先确定的位置作为坐标原点的正交三维坐标系。在本实施方式中，假定机器人坐标系Σr的原点O1是与作为非可动部的基座110的特定位置或基准位置一致的。但是，两者不需要一致，如果两者的相对的位置关系为已知的，就能够通过后述的校正处理确定相机410的外部参数。

(2)相机坐标系Σc

相机坐标系Σc是将相机410的预先确定的位置作为坐标原点的正交三维坐标系。

(3)像素坐标系Σp

像素坐标系Σp是使用相机410拍摄到的图像的正交二维坐标系。

像素坐标系Σp的像素坐标值(u，v)与相机坐标系Σc的三维坐标值(Xc，Yc，Zc)如下式所示，能够利用相机410的内部参数进行转换。

【数学式1】

此处，Kx、Ky为失真系数，Ox、Oy为光学中心，f为焦点距离。

相机坐标系Σc的三维坐标值(Xc，Yc，Zc)与机器人坐标系Σr的三维坐标值(Xr，Yr，Zr)如下式所示，能够利用使用相机410的外部参数表示的齐次变换矩阵^rH_c进行转换。

【数学式2】

此处，r₁₁～r₃₃为旋转矩阵的元素，t_x、t_y、t_z为平移向量的元素。

在本实施方式中，假定在相机410的校正参数之中，内部参数是预先设定的。为了确定外部参数而进行校正处理。

图3是示出信息处理装置300的功能的框图。信息处理装置300具有处理器310、存储器320、以及接口电路330。接口电路330连接有输入设备340以及显示设备350，另外，还连接有机器人控制器200。机器人控制器200与相机410、420连接，另外，还与测定机器人100的各关节的电机电流的电流传感器160、以及测定各关节的位移的编码器170连接。

处理器310具有校正执行部610、判定部620、物体识别部630、路径规划部640、以及机器人控制部650的功能。校正执行部610通过执行相对于机器人100的相机410、420的校正处理，来分别确定相机410、420的外部参数。判定部620在校正处理的执行之后，执行判定外部参数的有效性的判定处理。物体识别部630在机器人100的作业中，执行利用使用相机410、420拍摄到的图像，来识别工件WK、障碍物的处理。路径规划部640通过计算求出移动路径，以使得机械臂120不会与障碍物、机器人100自身碰撞，并通知给机器人控制部650。移动路径是机械臂120的离散的姿态群。机器人控制部650执行使机械臂120遵循移动路径移动，并且使机器人100进行与工件WK相关的作业的处理。这些各部的功能分别通过由处理器310执行保存于存储器320的计算机程序而实现。但是，也可以使用硬件电路实现各部的功能的一部分或全部。

在存储器320中，保存有机器人属性数据RD、机器人特征数据CD、校正参数CP、以及机器人控制程序RP。机器人属性数据RD是示出机器人100的机械性构造、可动范围等的属性的数据，包括表示机器人100的外形的CAD数据。机器人特征数据CD包括表示非可动部即基座110的特征的数据。校正参数CP包括针对各相机410、420的内部参数以及外部参数。机器人控制程序RP由使机器人100动作的多个命令构成。

图4是示出伴随着相机的校正处理的机器人的作业过程的流程图。以下，主要说明针对第一相机410进行校正处理的情况，但是针对第二相机420也同样地进行校正处理。

在步骤S110中，校正执行部610使用相机410拍摄包括机器人100的至少一部分的第一图像。该第一图像是至少包括非可动部即基座110的图像。

在步骤S120中，校正执行部610使用机器人100的CAD数据，从第一图像识别非可动部即基座110。在步骤S130中，判定基座110是否被识别到。例如，该判定能够根据基于校正执行部610的基座110的识别结果的可靠性而进行。优选基于校正执行部610、物体识别部630的物体的识别处理被构成为也输出其识别结果的可靠性(confidence值)。在识别结果的可靠性比阈值低的情况下，判定物体未被识别。在基座110被机械臂120遮挡而基座110的一部分不可见的情况下，基座110未被识别，所以进入步骤S135，变更机器人100的姿态，返回步骤S110，再次拍摄第一图像。需要说明的是，在步骤S135中，优选机械臂120采取预先设定的校正用姿态。校正用姿态是在相机410的视野中，非可动部即基座110不被机械臂120遮挡的姿态。校正用姿态也可以针对每一个独立的相机410、420设为不同的姿态，或者，也可以针对多个相机410、420设为共通的姿态。

在步骤S140中，校正执行部610利用第一图像估计相机410的外部参数。作为外部参数的估计方法，例如，可以考虑以下的方法。

外部参数的估计方法M1

(1a)根据非可动部即基座110的CAD数据，预先提取并保存基座110的多个基准特征。作为“特征”，能够使用边缘等特定的线段、特定的点等。

(1b)根据第一图像提取基座110的多个图像特征。

(1c)根据多个基准特征与多个图像特征的关系，确定示出相机坐标系Σc中的基座110的位姿的6自由度信息。

(1d)根据相机坐标系Σc中的基座110的位姿，确定外部参数。

作为上述的处理(1a)～(1c)的具体的方法，例如，能够使用日本特开2013-50947号公报、日本特开平9-167234号公报所公开的方法。在日本特开2013-50947号公报所公开的方法中，首先，制作包括物体的图像的2值掩模，从2值掩模提取单线的组。各单线表示位于图像内的物体的内侧以及外侧轮廓内的点。然后，将单线的组连结，并设为表示为双线矩阵的网格，为了制作候补姿态的组而比较2个双线矩阵，根据物体姿态估计值估计物体的姿态。在日本特开平9-167234号公报所公开的方法中，计算根据物体的CAD信息将物体投影至预定方向的正交面而导出的CAD图形特征量，计算根据相机从预定方向捕捉的物体而获得的二维图像中的相机图形特征量，比较CAD图形特征量与相机图形特征量，估计相机捕捉到的物体的位姿。

外部参数的估计方法M2

(2a)制作以将第一图像作为输入且将非可动部即基座110的位姿作为输出的方式构成的机器学习模型，预先保存学习完毕的机器学习模型。

(2b)将包括基座110的第一图像输入机器学习模型，获得示出相机坐标系Σc中的基座110的位姿的6自由度信息。

(2d)根据相机坐标系Σc中的基座110的位姿，确定外部参数。

作为机器学习模型，例如，能够使用卷积神经网络。另外，也可以是，机器学习模型以将第一图像作为输入且将外部参数作为输出的方式构成。

上述的处理(1a)～(1c)、处理(2a)～(2b)也能够利用于基于物体识别部630的物体识别。

图5是示出第一实施方式中的校正处理的内容的说明图。此处使用上述的第一估计方法M1。首先，校正执行部610利用使用相机410拍摄到的第一图像IM1，提取与基座110相关的图像特征CR。在图5的右下，在第一图像IM1之中提取到的图像特征CR被描绘为实线，其他外形被描绘为虚线。例如，能够通过提取第一图像IM1的边缘等并制作多个图像特征，从这些图像特征之中选择与机器人100的CAD数据所表示的基座110的外形一致的图像特征，从而得到与基座110相关的图像特征CR。校正执行部610根据与基座110相关的图像特征CR、以及预先设定的基准特征之间的关系，来估计基座110的位姿的6自由度信息，根据基座110的位姿来确定相机410的外部参数。预先准备基准特征作为图3所示的机器人特征数据CD。

基座110的位姿能够表现为将机器人坐标系Σr的坐标转换为相机坐标系Σc的坐标的齐次变换矩阵^cH_r。图5的下部示出的第一图像IM1中显示有下式所示的齐次变换矩阵^cH_r的例子。

【数学式3】

此处，R为旋转矩阵，t为平移向量。

平移向量t＝[-548.5，94.4，1289.1]^T表示在相机坐标系Σc中观察到的基座110的特定位置，即机器人坐标系Σr的原点位置O1的坐标。另外，旋转矩阵R的3个列成分等于在相机坐标系Σc观察到的机器人坐标系Σr的3个基底向量的成分。

该齐次变换矩阵^cH_r是作为外部参数的齐次变换矩阵^rH_c的逆矩阵，如下式所示，两者能够容易地转换。

【数学式4】

此处，R^T为旋转矩阵R的转置矩阵。一般而言，旋转矩阵R的逆矩阵R^-1等于转置矩阵R^T。

像这样，校正执行部610能够通过使用相机410拍摄机器人100的基部附近的非可动部即基座110，并识别基座110的位姿，从而求出相机坐标系Σc中的机器人100的设置位置与设置方向。另外，能够利用该识别结果估计相机410的外部参数。

在针对多个相机410、420进行校正处理的情况下，针对独立的相机执行步骤S110～S140。需要说明的是，也可以是，针对多个相机中的所有相机重复执行步骤S110、S120、S130、S135的处理，直到能够正确地识别非可动部即基座110。

也可以是，校正执行部610还通过在多个定时使用同一相机拍摄非可动部，从而获取多个第一图像IM1，并使用根据这些多个第一图像IM1估计的多个外部参数的平均，确定该相机的外部参数。如果这样做的话，就能够更正确地确定外部参数。

若相机410的校正处理结束，则进入图4的步骤S150，机器人控制部650开始使用机器人100的作业。在步骤S150中，机器人控制部650选择1个作业命令并执行。此时，通过物体识别部630进行工件WK、障碍物的识别。路径规划部640利用物体识别部630的识别结果，为了一边躲避障碍物一边进行工件WK的移动作业而制作路径规划。在步骤S160中，机器人控制部650判定是否有剩余的作业命令。在有剩余的作业命令的情况下，进入步骤S170。

在步骤S170中，判定部620执行相机410的移动判定处理。在该移动判定处理中，在相机410的校正处理的执行之后，利用使用同一相机410拍摄到的机器人100的第二图像、以及前文所述的第一图像IM1，来判定相机410与机器人100的位置关系是否变化。然后，根据位置关系的变化的有无，判定相机410的外部参数为无效还是有效。需要说明的是，相机的移动判定处理不需要每当1个作业命令完成就进行，也可以是每隔固定时间定期地执行。

图6是示出第一实施方式中的相机的移动判定处理的处理过程的流程图，图7是示出该处理内容的说明图。在步骤S210中，判定部620使用相机410拍摄机器人100的第二图像IM2。如果相机410未相对于机器人100移动，则第二图像IM2中的基座110的位姿应该与第一图像IM1中的相同。

在步骤S220中，利用第一图像IM1与第二图像IM2的每一个，制作示出机器人100的区域的第一掩模MK1与第二掩模MK2。如图7所示，第一掩模MK1包括示出机器人100的区域的掩模区域MA1、以及表示工件WK等的允许移动物体的区域的掩模区域MB1。掩模区域MB1具有示出允许移动物体存在的范围的矩形状的形状。所谓“允许移动物体”，意为在机器人100的作业中被允许移动的物体。作为允许移动物体，能够使用至少包括工件WK的物体。另外，也可以将如工件WK的容器、托盘、输送带等那样在作业中被允许移动的其他物体作为允许移动物体使用。第二掩模MK2也同样地包括示出机器人100的区域的掩模区域MA2、以及表示允许移动物体的区域的掩模区域MB2。但是，也可以省略示出允许移动物体的区域的掩模区域MB1、MB2。在任何情况下，第一掩模MK1都被制作为，示出包含第一图像IM1所包括的机器人100的区域的掩模区域。第二掩模MK2也同样地被制作为，示出包含第二图像IM2所包括的机器人100的区域的掩模区域。

对掩模区域MA1、MA2、MB1、MB2的像素分配像素值1，对其他区域的像素分配像素值0。通常而言，在第一图像IM1与第二图像IM2中机械臂120的姿态不同，所以机器人100的掩模区域MA1、MA2彼此不同。需要说明的是，独立的图像IM1、IM2中的机器人100的掩模区域MA1、MA2能够利用表示机器人100的外形的CAD数据、机械臂120的姿态、以及相机410的外部参数进行计算。示出允许移动物体的区域的掩模区域MB1、MB2也几乎是同样的。或者，也可以是，使用语义分割将独立的图像IM1、IM2的图像区域分别分离至不同的多个物体的区域，并利用其结果确定掩模区域MA1、MA2、MB1、MB2。需要说明的是，第一掩模MK1也可以在步骤S220且在图4的步骤S110之后预先制作。

在步骤S230中，判定部620通过取第一掩模MK1与第二掩模MK2的逻辑或来制作判定用掩模JMK。在判定用掩模JMK中，与机器人100相关的掩模区域JMA为2个掩模区域MA1、MA2的和区域。与允许移动物体相关的掩模区域JMB也是2个掩模区域MB1、MB2的和区域。在步骤S240中，判定部620制作从第一图像IM1排除了判定用掩模JMK的掩模区域JMA、JMB而得的第一判定用图像JM1、以及从第二图像IM2排除了判定用掩模JMK的掩模区域JMA、JMB而得的第二判定用图像JM2。第一判定用图像JM1是第一图像IM1中的将掩模区域JMA、JMB的像素值设为了0的图像。第二判定用图像JM2也是同样的。

在步骤S250、S260中，判定部620根据第一判定用图像JM1与第二判定用图像JM2中的像素值的变化，判定相机410与机器人100的位置关系是否变化。具体而言，在步骤S250中，计算第一判定用图像JM1与第二判定用图像JM2中的像素值变化的指标值δP。作为像素值变化的指标值δP，例如，能够使用以下的任一个。

(1)第一判定用图像JM1的像素值P1与第二判定用图像JM2的对应的像素位置的像素值P2的差量的绝对值|P1-P2|的平均值。优选该平均值是针对掩模区域以外的区域计算的。

(2)上述绝对值|P1-P2|的总计值。

(3)从1减去第一判定用图像JM1与第二判定用图像JM2的余弦相似性的值。优选余弦相似性也是针对掩模区域以外的区域计算的。

在步骤S260中，判定部620判定像素值变化的指标值δP是否在预先设定的阈值以上。如果像素值变化的指标值δP在阈值以上，则在步骤S270中判定为相机410移动。另一方面，如果像素值变化的指标值δP未达到阈值，则在步骤S280中判定为相机410未移动。

根据上述的移动判定处理，能够根据第一图像IM1与第二图像IM2的背景区域中的像素值的变化，判定相机410与机器人100的位置关系是否变化。需要说明的是，在使用多个相机的情况下，优选针对独立的相机执行图6的处理。

若移动判定处理结束，则在图4的步骤S180中，判断是否有相机的移动。如果没有相机的移动，则相机的校正参数有效，所以返回步骤S150，再次执行上述的步骤S150以后的处理。另一方面，在有相机的移动的情况下，外部参数无效，所以返回步骤S110，根据步骤S110～S140新估计外部参数。此时，优选在直到根据步骤S110～S140再次估计外部参数为止的期间内预先使机器人100停止。

如以上所述，在第一实施方式中，利用第一图像所包括的非可动部的识别结果进行相机的校正处理，所以能够不使用校正用夹具，就根据第一图像求出相机的外部参数。另外，能够利用在校正处理的执行之后使用同一相机拍摄到的第二图像，判定校正参数是否有效。

需要说明的是，也可以省略步骤S170中的相机的移动判定处理。在该情况下，也能够不使用校正用夹具，就根据包括机器人100的至少一部分的第一图像求出相机的外部参数。

B.第二实施方式：

图8是示出第二实施方式中的相机的移动判定处理的处理过程的流程图，图9是示出该处理内容的说明图。第二实施方式与第一实施方式不同的点只有相机的移动判定处理，系统的结构、图4的处理过程是与第一实施方式相同的。另外，图8的处理过程是将图6的2个步骤S220、S230置换成步骤S235而得的，其他步骤与图6是相同的。

在步骤S235中，判定部620利用第一图像IM1，制作包含机器人100的可动区域的判定用掩模JMK’。如图9所示，该判定用掩模JMK’包括与机器人100相关的掩模区域JMA’、以及与允许移动物体相关的掩模区域JMB’。与机器人100相关的掩模区域JMA’被形成为，除了第一图像IM1所包括的机器人100的区域以外，还包括机械臂120的可动区域。与允许移动物体相关的掩模区域JMB’也是同样地被形成为，包括允许移动物体能够移动的区域。其中，能够省略掩模区域JMB’。机械臂120的可动区域记述于机器人属性数据RD。机械臂120的可动区域包含在任意的定时的机械臂120的区域，所以第二图像IM2中的机器人100的区域也包括于该掩模区域JMA’。从而，能够不使用第二图像IM2就根据第一图像IM1制作判定用掩模JMK’。

第二实施方式也能够达成与第一实施方式几乎同样的效果。在第二实施方式中，能够不使用第二图像IM2就根据第一图像IM1制作判定用掩模JMK’，所以存在相比于第一实施方式能够简略化判定用掩模的制作处理的优点。另一方面，第一实施方式的判定用图像JM1、JM2的背景区域比第二实施方式的判定用图像JM1’、JM2’的背景区域更大，所以存在第一实施方式对相机的移动判定处理的精度更高的优点。

C.第三实施方式：

图10是示出第三实施方式中的校正处理的内容的说明图。第三实施方式与第一实施方式、第二实施方式不同的点只有相机的校正处理的内容，系统的结构、处理过程与第一实施方式或第二实施方式是相同的。

在上述的第一实施方式中，只利用靠近机器人100的基部的非可动部的位姿来估计相机的外部参数，但是在第三实施方式中，如图10所示，除了机器人100的非可动部即基座110以外，还同时识别机器人100的臂部分130，利用机器人100的基座110的特定位置O1与臂部分130的特定位置O2来估计外部参数。

在第一实施方式所说明的上述(4)式的成分之中，齐次变换矩阵^cH_r的平移向量t如图5说明的那样，由相机坐标系Σc中的基座110的特定位置O1的坐标表示。

针对外部参数的旋转矩阵，如以下所说明的那样，能够利用非可动部即基座110的特定位置O1、以及臂部分130的特定位置O2进行估计。作为臂部分130，优选使用靠近机械臂120的末端的指尖部分。如果这样做的话，就能够提高旋转矩阵的估计精度。另外，优选将臂部分130的特定位置O2设为臂部分130所包括的关节的中心位置。如果这样做的话，就能够根据机器人100的关节角度与连杆长度，容易地计算机器人坐标系Σr中的臂部分130的特定位置O2。

在第三实施方式的校正处理中，首先，校正执行部610在相机坐标系Σc中识别第一图像IM1所包括的基座110的特定位置O1与臂部分130的特定位置O2。相机坐标系Σc中的基座110的特定位置O1的坐标相当于上述的(3)式以及(4)式中的齐次变换矩阵^cH_r的平移向量t。

校正执行部610还在机器人坐标系Σr中计算2个特定位置O1、O2。机器人坐标系Σr中的特定位置O1、O2的坐标能够根据机器人100的关节角度与连杆长度计算。

校正执行部610制作在相机坐标系Σc中连结2个特定位置O1、O2的第一向量V1，另外，制作在机器人坐标系Σr中连结2个特定位置O1、O2的第二向量V2。进一步地，校正执行部610求出将相机坐标系Σc中的第一向量V1旋转至机器人坐标系Σr中的第二向量V2的3×3旋转矩阵。该旋转矩阵相当于上述的(4)式中的旋转矩阵R^T。

校正执行部610能够利用这样获得的平移向量t与旋转矩阵R^T，计算外部参数。即，作为外部参数的齐次变换矩阵^rH_c的旋转矩阵等于R^T，齐次变换矩阵^rH_c的平移向量能够根据上述(4)式作为-R^T·t计算。

如以上所述，在第三实施方式中，通过利用非可动部即基座110的特定位置O1与臂部分130的特定位置O2之间的关系，能够求出更高精度的外部参数。

·其他方式：

本申请不限于上述的实施方式，能够在不脱离其主旨的范围内通过各种方式实现。例如，本申请也能够通过以下的方式(aspect)实现。针对与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征，为了解决本申请的技术问题的一部分或全部，或者为了达成本申请的效果的一部分或全部，能够适当地进行替换、组合。另外，如果其技术特征在本说明书中并未作为必需的技术特征进行说明，就能够适当地进行删除。

(1)根据本申请的第一方式，提供一种相机的校正方法。该校正方法包括：校正工序，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定工序，在所述校正处理的执行之后，判定所述外部参数的有效性。所述判定工序包括：工序(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及工序(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

根据该方法，能够不使用校正用夹具，就根据包括机器人的至少一部分的第一图像求出相机的外部参数。另外，利用在校正处理的执行之后使用同一相机拍摄到的第二图像，能够容易地判定校正参数是否有效。

(2)在上述校正方法中，也可以设为，所述工序(b)包括：工序(b1)，制作判定用掩模，所述判定用掩模示出包含所述第一图像中的所述机器人的区域以及所述第二图像中的所述机器人的区域的掩模区域；工序(b2)，制作第一判定用图像以及第二判定用图像，所述第一判定用图像是从所述第一图像排除了所述掩模区域而得到的，所述第二判定用图像从所述第二图像排除了所述掩模区域而得到的；以及工序(b3)，根据所述第一判定用图像与所述第二判定用图像中的像素值的变化，判定所述相机与所述机器人的所述位置关系是否变化。

根据该校正方法，能够根据第一图像与第二图像的背景区域中的像素值的变化，判定相机与机器人的位置关系是否变化。

(3)在上述校正方法中，也可以设为，所述工序(b1)包括：制作示出包含所述第一图像中的所述机器人的区域的第一掩模区域的第一掩模的工序；制作示出包括所述第二图像中的所述机器人的区域的第二掩模区域的第二掩模的工序；以及通过取所述第一掩模与所述第二掩模的和来制作所述判定用掩模的工序。

根据该校正方法，能够容易地制作判定用掩模。

(4)在上述校正方法中，也可以设为，所述工序(b1)包括：识别所述第一图像中的所述机器人的区域，制作所述判定用掩模，以使得所述判定用掩模的所述掩模区域包括所述第一图像所包括的所述机器人的区域、以及机械臂的可动区域的工序。

根据该校正方法，能够容易地制作判定用掩模。

(5)在上述校正方法中，也可以设为，所述判定用掩模的所述掩模区域被形成为包含：所述机器人的区域、以及包括工件的允许移动物体的区域。

根据该校正方法，能够更加精度良好地判定相机与机器人的位置关系是否变化。

(6)在上述校正方法中，也可以设为，所述校正工序从所述第一图像识别能够确定所述机器人的位姿的特定部分，并根据所述特定部分的识别结果来估计所述外部参数。

根据该校正方法，能够根据第一图像所包括的特定部分的识别结果求出相机的外部参数。

(7)在上述校正方法中，也可以设为，所述特定部分是存在于所述机器人的基部附近的非可动部，所述校正工序包括：在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的位姿的工序；以及根据所述非可动部的所述位姿来估计所述外部参数的工序。

根据该校正方法，能够根据非可动部的位姿求出相机的外部参数。

(8)在上述校正方法中，也可以设为，所述特定部分包括存在于所述机器人的基部附近的非可动部、以及所述机器人的臂部分，所述校正工序包括：在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的第一特定位置、以及所述臂部分的第二特定位置的工序；在所述机器人的机器人坐标系中计算所述第一特定位置以及所述第二特定位置的工序；制作在所述相机坐标系中连结所述第一特定位置与所述第二特定位置的第一向量、以及在所述机器人坐标系中连结所述第一特定位置与所述第二特定位置的第二向量，并求出使所述第一向量旋转至所述第二向量的旋转矩阵的工序；以及利用所述相机坐标系中的所述非可动部的所述第一特定位置以及所述旋转矩阵，计算所述外部参数的工序。

根据该校正方法，能够根据非可动部与臂部分的特定位置求出相机的外部参数。

(9)在上述校正方法中，也可以设为，所述非可动部为所述机器人的基座。

根据该校正方法，能够根据机器人的基座的特定位置、位姿求出相机的外部参数。

(10)在上述校正方法中，所述校正工序包括：通过在多个定时执行所述相机的拍摄，来获取多个所述第一图像的工序；以及利用根据所述多个第一图像所估计的多个所述外部参数的平均，来确定所述相机的所述外部参数的工序。

根据该校正方法，能够提高相机的外部参数的精度。

(11)根据本申请的第二方式，提供一种相机校正系统。该相机校正系统具备：机器人；相机，被设置为能够拍摄所述机器人；校正执行部，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括所述机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定部，在所述校正处理的执行之后，判定所述外部参数的有效性。所述判定部执行判定处理，所述判定处理利用在所述校正处理的执行之后使用所述相机拍摄到的包括所述机器人的至少一部分的第二图像、以及所述第一图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

(12)根据本申请的第三方式，提供一种使处理器执行校正相机的处理的计算机程序。该计算机程序使所述处理器执行以下处理：校正处理，利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及判定处理，在所述校正处理的执行之后，判定所述外部参数的有效性。所述判定处理包括：处理(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及处理(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

(13)根据本申请的第四方式，提供一种相机的校正方法。该校正方法包括校正工序，所述校正工序执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数，所述校正工序从所述第一图像识别能够确定所述机器人的位姿的特定部分，并根据所述特定部分的识别结果来估计所述外部参数。

根据该校正方法，能够不使用校正用夹具，就根据包括机器人的至少一部分的第一图像求出相机的外部参数。

(14)在上述校正方法中，也可以设为，所述特定部分是存在于所述机器人的基部附近的非可动部。也可以设为，所述校正工序包括：在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的位姿的工序；以及根据所述非可动部的所述位姿来估计所述外部参数的工序。

根据该校正方法，能够根据非可动部的位姿求出相机的外部参数。

(15)在上述校正方法中，也可以设为，所述特定部分包括存在于所述机器人的基部附近的非可动部、以及所述机器人的臂部分。也可以设为，所述校正工序包括：在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的第一特定位置、以及所述臂部分的第二特定位置的工序；在所述机器人的机器人坐标系中计算所述第一特定位置以及所述第二特定位置的工序；制作在所述相机坐标系中连结所述第一特定位置与所述第二特定位置的第一向量、以及在所述机器人坐标系中连结所述第一特定位置与所述第二特定位置的第二向量，并求出使所述第一向量旋转至所述第二向量的旋转矩阵的工序；以及利用所述相机坐标系中的所述非可动部的所述第一特定位置以及所述旋转矩阵，计算所述外部参数的工序。

根据该校正方法，能够根据非可动部与臂部分的特定位置求出相机的外部参数。

本申请也能够通过上述以外的各种方式实现。例如，能够通过具备机器人以及机器人信息处理装置的机器人系统、用于实现机器人信息处理装置的功能的计算机程序、记录了该计算机程序的非暂时性的记录介质(non-transitory storage medium)等方式实现。

Claims (15)

1.一种校正方法，其特征在于，是相机的校正方法，

所述校正方法包括：

校正工序，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及

判定工序，在所述校正处理的执行之后，判定所述外部参数的有效性，

所述判定工序包括：

工序(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及

工序(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

2.根据权利要求1所述的校正方法，其特征在于，

所述工序(b)包括：

工序(b1)，制作判定用掩模，所述判定用掩模示出包含所述第一图像中的所述机器人的区域以及所述第二图像中的所述机器人的区域的掩模区域；

工序(b2)，制作第一判定用图像以及第二判定用图像，所述第一判定用图像是从所述第一图像排除了所述掩模区域而得到的，所述第二判定用图像从所述第二图像排除了所述掩模区域而得到的；以及

工序(b3)，根据所述第一判定用图像与所述第二判定用图像中的像素值的变化，判定所述相机与所述机器人的所述位置关系是否变化。

3.根据权利要求2所述的校正方法，其特征在于，

所述工序(b1)包括：

制作第一掩模的工序，所述第一掩模示出包含所述第一图像中的所述机器人的区域的第一掩模区域；

制作第二掩模的工序，所述第二掩模示出包括所述第二图像中的所述机器人的区域的第二掩模区域；以及

通过取所述第一掩模与所述第二掩模的和来制作所述判定用掩模的工序。

4.根据权利要求2所述的校正方法，其特征在于，

所述工序(b1)包括：

识别所述第一图像中的所述机器人的区域，制作所述判定用掩模，以使得所述判定用掩模的所述掩模区域包括所述第一图像所包括的所述机器人的区域、以及机械臂的可动区域的工序。

5.根据权利要求2至4中任一项所述的校正方法，其特征在于，

所述判定用掩模的所述掩模区域被形成为包含：所述机器人的区域、以及包括工件的允许移动物体的区域。

6.根据权利要求1所述的校正方法，其特征在于，

所述校正工序从所述第一图像识别能够确定所述机器人的位姿的特定部分，并根据所述特定部分的识别结果来估计所述外部参数。

7.根据权利要求6所述的校正方法，其特征在于，

所述特定部分是存在于所述机器人的基部附近的非可动部，

所述校正工序包括：

在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的位姿的工序；以及

根据所述非可动部的所述位姿来估计所述外部参数的工序。

8.根据权利要求6所述的校正方法，其特征在于，

所述特定部分包括存在于所述机器人的基部附近的非可动部、以及所述机器人的臂部分，

所述校正工序包括：

在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的第一特定位置、以及所述臂部分的第二特定位置的工序；

在所述机器人的机器人坐标系中计算所述第一特定位置以及所述第二特定位置的工序；

制作在所述相机坐标系中连结所述第一特定位置与所述第二特定位置的第一向量、以及在所述机器人坐标系中连结所述第一特定位置与所述第二特定位置的第二向量，并求出使所述第一向量旋转至所述第二向量的旋转矩阵的工序；以及

利用所述相机坐标系中的所述非可动部的所述第一特定位置以及所述旋转矩阵，计算所述外部参数的工序。

9.根据权利要求7或8所述的校正方法，其特征在于，

所述非可动部为所述机器人的基座。

10.根据权利要求1所述的校正方法，其特征在于，

所述校正工序包括：

通过在多个定时执行所述相机的拍摄，来获取多个所述第一图像的工序；以及

利用根据多个所述第一图像所估计的多个所述外部参数的平均，来确定所述相机的所述外部参数的工序。

11.一种相机校正系统，其特征在于，具备：

机器人；

相机，被设置为能够拍摄所述机器人；

校正执行部，执行校正处理，所述校正处理利用使用所述相机拍摄到的包括所述机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及

判定部，在所述校正处理的执行之后，判定所述外部参数的有效性，

所述判定部执行判定处理，所述判定处理利用在所述校正处理的执行之后使用所述相机拍摄到的包括所述机器人的至少一部分的第二图像、以及所述第一图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

12.一种存储介质，其特征在于，存储有使处理器执行校正相机的处理的计算机程序，

所述计算机程序使所述处理器执行以下处理：

校正处理，利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数；以及

判定处理，在所述校正处理的执行之后，判定所述外部参数的有效性，

所述判定处理包括：

处理(a)，在所述校正处理的执行之后，使用所述相机拍摄包括所述机器人的至少一部分的第二图像；以及

处理(b)，利用所述第一图像与所述第二图像，判定所述相机与所述机器人的位置关系是否变化，根据所述位置关系的变化的有无，判定所述外部参数为无效还是有效。

13.一种校正方法，其特征在于，

所述校正方法是相机的校正方法，

所述校正方法包括校正工序，所述校正工序执行校正处理，所述校正处理利用使用所述相机拍摄到的包括机器人的至少一部分的第一图像，求出相对于所述机器人的所述相机的外部参数，

所述校正工序从所述第一图像识别能够确定所述机器人的位姿的特定部分，并根据所述特定部分的识别结果来估计所述外部参数。

14.根据权利要求13所述的校正方法，其特征在于，

所述特定部分是存在于所述机器人的基部附近的非可动部，

所述校正工序包括：

在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的位姿的工序；以及

根据所述非可动部的所述位姿来估计所述外部参数的工序。

15.根据权利要求13所述的校正方法，其特征在于，

所述特定部分包括存在于所述机器人的基部附近的非可动部、以及所述机器人的臂部分，

所述校正工序包括：

在所述相机的相机坐标系中识别所述第一图像所包括的所述非可动部的第一特定位置、以及所述臂部分的第二特定位置的工序；

在所述机器人的机器人坐标系中计算所述第一特定位置以及所述第二特定位置的工序；

制作在所述相机坐标系中连结所述第一特定位置与所述第二特定位置的第一向量、以及在所述机器人坐标系中连结所述第一特定位置与所述第二特定位置的第二向量，并求出使所述第一向量旋转至所述第二向量的旋转矩阵的工序；以及

利用所述相机坐标系中的所述非可动部的所述第一特定位置以及所述旋转矩阵，计算所述外部参数的工序。