CN110926330B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明的图像处理装置具备：模型图案存储部，其存储由多个模型特征点构成的模型图案；图像数据获取部，其获取通过拍摄检测对象物而得到的多个图像；对象物检测部，其使用模型图案，从图像中检测检测对象物；模型图案变换部，其对位置姿势进行变换，以使得模型图案与检测对象物的像重叠；对应点获取部，其获取与模型特征点对应的图像数据上的点；对应点组选择部，其选择多个图像上的对应点的组；三维位置计算部，其计算检测对象物的像的三维位置。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，具体涉及根据从通过多个照相机拍摄的与对象物有关的各个输入图像检测出的对象物的特征点求出各个特征点的三维位置的图像处理装置和图像处理方法。

背景技术

在使用图像处理装置从照相机的视野内的图像中检测特定的对象物的像的情况下，在表示对象物的基准信息(一般称为模型图案、模板等。以下称为“模型图案”)和通过摄像装置获取的输入图像之间进行特性量的匹配。一般在进行特征量的匹配的结果是吻合度超过规定的水平时，判断为对象物的检测成功了。

在进行这样的模型图案和输入图像之间的匹配处理时，有时边缘点成为表示图像的特征的特征点之一。图14是表示图像内(模型图案区域内)的检测对象物和边缘点的例子的图。边缘点是图像上的亮度的变化量大的点。一般，检测对象物的轮廓线的像的亮度梯度大。因此，通过使用边缘点作为特征量，进行检测对象物的轮廓线形状的匹配。预先将从包含应该检测的对象物的图像中提取的边缘点组存储为模型图案，根据从通过摄像装置获取的输入图像中提取的边缘点组与模型图案的边缘点组的吻合度，来检测对象物。例如，作为这类的方法，已知广义哈弗(hough)变换。

例如，在日本特开2017-091079号公报中，公开了这样从图像中检测对象物的现有技术。在日本特开2017-091079号公报所记载的现有技术中，通过照相机拍摄的模型图案与输入图像重叠。进而，进行模型图案的边缘点与输入图像的边缘点的匹配。进而，选择与构成模型图案的边缘点对应的输入图像的边缘点。由此来检测对象物。在日本特开2017-091079号公报所公开的技术中，在模型图案与输入图像重叠时，修正模型图案的边缘点的位置姿势(向量)，以使得模型图案的边缘点所形成的形状成为输入图像所映现的对象物的像的一般形状。

另外，在专利第5911934号公报中，公开了与利用立体照相机测量对象物的轮廓线的图像处理装置有关的技术。在专利第5911934号公报所记载的技术中，根据对象物的三维形状数据，向立体照相机的各个照相机的拍摄面投影基准轮廓线。进而，从通过立体照相机的各个照相机拍摄的图像中，提取边缘线。进而，求出作为核线与边缘线的交点的边缘点，从各个照相机的图像的边缘点中选择与基准轮廓线的同一部位对应的边缘点作为对应点。最后，根据对应点进行计算(立体计算)，求出三维点的位置。

一般，作为在机器人进行工作时为了检测对象物而使用的视觉传感器，使用了二维照相机。用图像坐标系表现检测出的对象物的位置(边缘的位置、特征点的位置等)。因此，为了对通过视觉传感器检测出的对象物进行工作，必须将用图像坐标系表现的二维的对象物的位置(坐标)变换为用机器人坐标系表现的三维(坐标)的位置。为了实现它，基于检测出的对象物的位置存在于特定的平面上的前提，将图像上的对象物的位置(坐标)投影到该特定的平面。

在该情况下，必须预先准确地求出对象物的位置被投影的特定的平面。例如，通过三维视觉传感器、机器人的修饰来求出平面上的3点的三维位置。根据该3点的位置信息来计算平面。但是，在该情况下，需要特别的传感器。另外，存在额外地花费设置的工时的问题。另外，在对象物的位置姿势三维地变化的情况下，特定的平面的位置姿势也伴随着该变化而变化。因此，就必须每次进行平面的检测。其结果是，对象物的检测花费时间。

因此，本发明的目的在于：提供一种图像处理装置和图像处理方法，其能够求出从通过至少一个照相机拍摄的与对象物有关的输入图像中检测出的对象物的三维位置。

发明内容

本发明的图像处理装置和图像处理方法使用检测对象物的模型图案的多个特征点，确认对该检测对象物拍摄的多个图像(立体图像)所映现的检测对象物的像的各部的对应关系，根据所确定的检测对象物的像的各部的对应关系，求出检测对象物的三维位置，由此解决上述课题。

另外，本发明的一个实施例是一种图像处理装置，其根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，该图像处理装置具备：模型图案存储部，其存储与上述检测对象物对应的由多个模型特征点构成的模型图案；图像数据获取部，其获取通过上述照相机拍摄同一上述检测对象物而得到的多个图像；特征点提取部，其从上述多个图像中提取第一特征点；对象物检测部，其通过进行从上述多个图像中提取出的第一特征点与存储于上述模型图案存储部的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；模型图案变换部，其对上述模型图案的模型特征点的位置姿势进行变换，使得上述模型图案的模型特征点与上述对象物检测部检测出的上述多个图像内的检测对象物的像重叠；对应点获取部，其获取与由上述模型图案变换部变换后的上述模型图案的模型特征点对应的上述图像上的点作为对应点；对应点组选择部，其从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及三维位置计算部，其根据上述对应点组选择部选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。

本发明的另一个实施例是一种图像处理方法，其根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，在该图像处理方法中，执行以下步骤：获取由上述照相机拍摄同一上述检测对象物而得到的多个图像的第一步骤；从上述多个图像中提取第一特征点的第二步骤；通过进行从上述多个图像中提取出的第一特征点和与上述检测对象物对应的由多个模型特征点构成的模型图案之间的匹配，从上述多个图像中检测检测对象物的像的第三步骤；对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与在第三步骤中检测出的上述多个图像内的检测对象物的像重叠的第四步骤；获取与在上述第四步骤中变换后的上述模型图案的模型特征点对应的点的第五步骤；从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组的第六步骤；以及根据在上述第六步骤中选择出的对应点组，来计算上述检测对象物的各特征点的三维位置的第七步骤。

根据本发明，能够求出从通过多个照相机拍摄的与对象物有关的输入图像各自的图像中检测出的对象物的三维位置。

附图说明

根据参照附图的以下的实施例的说明，能够了解本发明的上述和其他目的和特征。其中，

图1是表示一个实施方式的图像处理装置的结构的图。

图2是一个实施方式的图像处理装置的概要硬件结构图。

图3是一个实施方式的图像处理装置的概要功能框图。

图4是表示检测对象物的例子的图。

图5是表示通过2个照相机拍摄的检测对象物的图像的例子的图。

图6是表示从2个图像中检测对象物的例子的图。

图7是表示对模型图案进行变换的例子的图。

图8是表示选择从2个图像中检测出的对象物上的对应点的例子的图。

图9是表示其他实施方式的选择对象物上的对应点的例子的图。

图10是表示确定2个图像内的多个对象物的对应关系的例子的图。

图11是表示其他实施方式的图像处理装置的结构的图。

图12是表示其他实施方式的图像处理装置的结构的图。

图13是表示其他实施方式的图像处理装置的结构的图。

图14是表示图像内的检测对象物和边缘点的例子的图。

具体实施方式

以下，与附图一起说明本发明的实施方式。

图1是表示本发明的一个实施方式的图像处理装置1的结构的图。图像处理装置1与拍摄载置于工作台2的工件3的至少2个照相机4(在本实施方式中，为一对的第一照相机4A和第二照相机4B)连接。图像处理装置1具有根据工件3的轮廓线确定工件3的形状的功能。

照相机4例如是具备CCD(电荷耦合器件)等摄像元件的电子照相机。另外，照相机4是具有通过拍摄而在拍摄面(CCD阵列面)上检测二维图像的功能的公知的感光设备。以下，将拍摄面的二维坐标系称为传感器坐标系。第一照相机4A和第二照相机4B分别被架台等支承。以使第一照相机4A与工件3的距离和第二照相机4B与工件3的距离相互大致相等、并且通过第一照相机4A和第二照相机4B拍摄相互大致相同的范围的方式确定三维的工件坐标系中的一对照相机4A、4B的位置和姿势。此外，以下将三维的工件坐标系称为机器人坐标系。

图2是图1的图像处理装置1的概要硬件结构图。图像处理装置1被安装在控制机器人、机床等制造机械的控制装置。另外，图像处理装置1也可以安装在与控制制造机械的控制装置一起设置的个人电脑、经由网络与控制装置连接的单元计算机、主计算机、云服务器等计算机。图2表示将图像处理装置1安装在与控制具备视觉传感器的制造机械(机器人)的控制装置一起设置的个人电脑的情况下的例子。

本实施方式的图像处理装置1具备的CPU(中央处理单元)11是整体地控制图像处理装置1的处理器。CPU11读出存储在经由总线22连接的ROM(只读存储器)12中的系统/程序，并根据该系统/程序控制图像处理装置1整体。在RAM(随机存取存储器)13中，存储临时的计算数据、用于显示到显示装置70的显示数据。另外，在RAM13中，存储操作者经由输入装置71输入的各种数据等。

对于非易失性存储器14，例如使用被未图示的电池支持的SRAM(静态随机存取存储器)、SSD(固态驱动器)。非易失性存储器14是即使图像处理装置1的电源切断也保持存储状态的存储器。在非易失性存储器14中，存储经由输入装置71输入的数据、程序、从照相机4获取的图像数据等。可以在利用时，将存储在非易失性存储器14中的数据、程序等装载到RAM13中。另外，在ROM12中，预先写入有图像分析处理所需要的各种算法、用于执行其他必要的处理的系统/程序。

图3是一个实施方式的图像处理装置1的概要功能框图。通过由图2所示的图像处理装置1具备的CPU11执行系统/程序，控制图像处理装置1的各部分的动作，来实现图3所示的功能模块的各功能。

本实施方式的图像处理装置1具备视觉传感器控制部100、图像数据获取部110、图像处理部120。另外，在非易失性存储器14的存储区域内，确保了存储第一照相机4A、第二照相机4B各自的校准数据的校准数据存储部200、存储模型图案的模型图案存储部210。

在本实施方式中，在模型图案存储部210中预先存储有至少一个对象物的模型图案。如图14所示例的那样，模型图案由在检测时从配置第一照相机4A、第二照相机4B的方向观察对象物的情况下的图像的边缘上的多个特征点Pi(i＝1～n)(以下称为模型特征点)构成。

例如通过以下的步骤制作模型图案。

步骤a1：将被示教为模型图案的对象物配置在照相机的视野内，拍摄对象物的图像。优选使这时的照相机与被示教为模型图案的对象物的位置关系与对对象物(检测对象物)进行检测时相同。

步骤a2：在通过步骤a1拍摄的图像中，用矩形、圆形等框指定对象物出现的区域。将指定的区域称为模型图案指定区域。

步骤a3：从模型图案指定区域中提取边缘点，求出边缘点的位置、姿势(亮度梯度的方向)、亮度梯度的大小等物理量。另外，在模型图案指定区域内定义模型图案坐标系，将边缘点的位置、姿势从用图像坐标系表现的值变换为用模型图案坐标系表现的值。

步骤a4：将提取的边缘点的位置、姿势(亮度梯度的方向)、亮度梯度的大小等物理量作为构成模型图案的模型特征点Pi存储到模型图案存储部。

步骤a5：如果需要修正所生成的模型图案，则操作者进行修正模型图案的操作。例如，操作者删除不必要的模型特征点(噪声、不在同一平面上的特征点)，变更模型图案坐标系的原点。

也根据通过上述步骤根据用照相机拍摄的图像制作的方法以外的方法，制作模型图案。例如，用圆、矩形等图形生成模型图案。另外，也可以通过将CAD数据等三维形状数据投影到适当的平面，来制作模型图案。

例如，通过以下这样的处理，将三维CAD数据变换为模型图案。

步骤b1：定义将原点放置在照相机的拍摄面上的局部坐标系。

步骤b2：预先对照相机进行校准。将用局部坐标系表现的三维点变换为照相机图像上的二维点。

步骤b3：虚拟地将被表现为CAD数据的对象物配置到局部坐标系。用局部坐标系表现所配置的CAD数据。照相机与被表现为CAD数据的对象物的相对关系被设定为与实际进行对象物(检测对象物)的检测时的相对关系大致相同。

步骤b4：在轮廓线上以规定的间隔获取三维点组。如果需要，则从CAD数据中指定被用作模型图案的轮廓线。

步骤b5：将三维点组投影到照相机图像上，求出图像坐标系上的二维点组。在CAD数据上指定了明暗的方向的情况下，也附加亮度梯度的方向。在此，明暗的方向表示以轮廓线为边界的2个区域的哪个明亮。

步骤b6：进行变换使得用模型图案坐标系表现所求出的图像坐标系上的二维点组，并作为模型特征点存储到模型图案存储部。

视觉传感器控制部100是根据程序、来自输入装置71或未图示的操作盘的操作控制第一照相机4A、第二照相机4B的功能单元。视觉传感器控制部100对第一照相机4A、第二照相机4B的控制动作至少包括第一照相机4A、第二照相机4B的校准控制、对象物拍摄控制。

视觉传感器控制部100根据程序、来自输入装置71或未图示的操作盘的校准指令操作，从校准数据存储部200读出第一照相机4A、第二照相机4B各自的校准数据。视觉传感器控制部100根据所读出的校准数据，分别对第一照相机4A、第二照相机4B进行校准。对于存储在校准数据存储部200中的校准数据的形式、求出它的方法，提出了各种公知的方式。在本实施方式中，可以使用任意的方式。作为记载了照相机的校准方法的详细内容的文献的例子，例如有“Roger Y.Tsai，“An efficient and accurate camera calibrationtechnique for 3d machine vision”，Proc.Computer Vision and PatternRecognition’86，pp.368-374，1986”。视觉传感器控制部100通过对第一照相机4A、第二照相机4B进行校准，在提供了机器人坐标系中的三维点(以下称为关注点)时，计算该三维点在照相机图像上的像的位置、即传感器坐标系中的二维点。另外，在提供了作为某关注点的像的传感器坐标系中的二维点时，能够计算机器人坐标系中的视线(穿过视点和照相机的焦点的三维直线)。

进而，如果针对一对照相机4A、4B分别求出校准数据，则在提供了关注点在机器人坐标系中的三维位置时，能够计算出穿过该关注点、第一照相机4A的焦点、第二照相机4B的焦点的平面、即核面。量，如果作为第一照相机4A的传感器坐标系的二维点和第二照相机4B的传感器坐标系的二维点而提供了关注点的像，则能够确定关注点在机器人坐标系中的位置，能够计算出关注点的三维位置坐标。

视觉传感器控制部100根据程序、来自输入装置71或未图示的操作盘的拍摄指令操作，进行控制以分别通过第一照相机4A、第二照相机4B拍摄对象物(例如工件等)。如上述那样，第一照相机4A和第二照相机4B被配置为与工件3的距离相互大致相等、并且通过第一照相机4A和第二照相机4B拍摄相互大致相同的范围。第一照相机4A和第二照相机4B各自的镜头的方向朝向工件3的中心方向。因此，例如在第一照相机4A和第二照相机4B拍摄图4示例的工件3的情况下，拍摄由从各个照相机看到的虚线所示的范围的图像、即相对于工件的上面具有倾斜的图像。另外，也可以平行地配置各个照相机，并成为各个照相机拍摄的对象物的位置稍微错开的状态。

图像数据获取部110获取在视觉传感器控制部100的控制下分别通过第一照相机4A、第二照相机4B拍摄的图像数据，输出到图像处理部120。例如如图5示例的那样，图像数据获取部110获取的分别通过第一照相机4A、第二照相机4B拍摄的图像为从各个照相机看同一对象物的情况下的图像。

图像处理部120是对图像数据获取部110获取的图像数据进行图像处理的功能单元。图像处理部120具备特征点提取部121、对象物检测部122、模型图案变换部123、对应点获取部124、对应点组选择部125、三维位置计算部126。

特征点提取部121是从分别通过第一照相机4A、第二照相机4B拍摄对象物而得到的图像数据中提取边缘点(第一特征点)的功能单元。边缘点是指在所拍摄的图像中亮度值的变化量大的点。作为边缘点的提取方法，公知Sobel过滤器、Canny边缘检测器等那样的检测图像的亮度值的变化大的地方的方法。特征点提取部121通过这样的公知的方法提取各图像数据的边缘点即可。

对象物检测部122是在通过特征点提取部121提取的边缘点和存储在模型图案存储部210中的模型图案的模型特征点Pi之间进行匹配处理而检测图像数据内的对象物的功能单元。对象物检测部122从模型图案存储部210获取对象物的模型图案。对象物检测部122根据所获取的模型图案的模型特征点、特征点提取部121提取的边缘点(第一特征点)，例如利用公知的广义哈弗变换、RANSAC、ICP算法等进行对象物的检测。如图6所示例的那样，对象物检测部122在分别从第一照相机4A、第二照相机4B得到(另外提取了边缘点)的图像数据和这些图像数据所共通的模型图案之间，进行匹配处理。由此，对象物检测部122根据各个图像数据检测出对象物。在图5、6中，为了明确通过第一照相机4A拍摄的图像与通过第二照相机4B拍摄的图像的不同，表示出使对象物在图像的深度方向上产生很大倾斜的状态。但是，实际上各个图像向深度方向的倾斜的程度很微小。因此，由对象物检测部122通过各个图像内的对象物的边缘点与模型图案的模型特征点之间的匹配处理计算出高的类似度。其结果是，没有特别问题地在各个图像中提取对象物的图像。

模型图案变换部123根据对象物检测部122检测出的分别从第一照相机4A、第二照相机4B得到的图像数据内的对象物的边缘点的位置、姿势等，对模型图案进行变换使其能够与图像数据内的对象物重叠。模型图案变换部123在对模型图案进行变换时，对构成模型图案的模型特征点的位置姿势进行变换。例如，在拍摄图4示例那样的图像的情况下，朝向对象物向左右稍微倾斜地分别配置第一照相机4A、第二照相机4B。因此，模型图案变换部123例如在如图7所示那样将模型图案配置在三维空间上的情况下，进行全等变换、相似变换等，使得将模型图案的模型特征点投影到投影面上的各特征点与图像数据内的对象物的边缘点大致重叠。优选模型图案变换部123将变换后的投影到投影面上的模型图案的模型特征点作为变换结果而输出。此外，对于模型图案的变换方法，通过日本特开2017-091079号公报等已经成为公知，因此在本说明书中，省略更详细的说明。

对应点获取部124是获取与模型图案变换部123变换后的模型图案的模型特征点对应的分别从第一照相机4A、第二照相机4B得到的图像数据上的位置(图像数据上的模型图案的模型特征点)作为对应点的功能单元。例如如图8所示例的那样，优选在通过模型图案变换部123变换后的模型图案的模型特征点与图像数据上的对象物的像重叠时，对应点获取部124获取的图像数据上的位置(图像数据上的模型图案的模型特征点)为与各个模型特征点重叠的图像数据上的位置。

对应点组选择部125是从对应点获取部124获取的图像数据上的对应点中选择根据同一模型特征点得到的对应点而作为组的功能单元。对应点组选择部125例如如图8所示例的那样，选择与模型特征点Pi对应的通过第一照相机4A拍摄的图像数据上的对应点和与模型特征点Pi对应的通过第二照相机4B拍摄的图像数据上的对应点，作为一个对应点组。对应点组选择部125这样选择与模型图案的全部模型特征点对应的对应点组。

然后，三维位置计算部126根据通过对应点组选择部125选择出的分别从第一照相机4A、第二照相机4B得到的图像数据的对象物的像的多个对应点组，根据公知的三角测量的原理等，计算出各对应点的三维位置。

根据上述结构，本实施方式的图像处理装置1能够求出从通过第一照相机4A、第二照相机4B拍摄的与对象物有关的输入图像中检测出的对象物的特征点的三维位置。由此，能够准确地掌握对象物的三维位置和姿势，因此例如使得能够通过机器人的机器手握持三维地错位了的对象物。

以上，说明了本发明的实施方式，但本发明并不只限于上述实施方式的例子，通过施加适当的变更，而以各种形式被实施。

在上述实施方式中，表示了使用2个照相机4的例子。作为其他实施方式，也可以通过3个以上的照相机4来拍摄对象物，对拍摄的结果得到的3个以上的图像数据执行上述处理，得到各图像数据内的对象物的对应点的三维位置。由此，能够求出对象物的三维位置姿势。这样，通过使用许多对应点的三维位置姿势的信息，对象物的位置姿势的推定的误差变小。

在上述实施方式中，使用与构成模型图案的模型特征点对应的图像数据上的点计算三维位置。在该方法中，在检测出的对象物存在缺陷、失真等而模型图案与对象物的形状不同的情况下，有可能无法计算出与对象物的像的准确位置有关的三维信息。因此，作为其他实施方式，如图9所示例的那样，在模型图案的模型特征点Pi中存在与图像数据的对象物的像的边缘部不重叠的点的情况下，搜索该模型特征点的附近的第一特征点，将所发现的第一特征点视作对应点即可。

另外，对应点获取部124也可以获取使通过模型图案变换部123变换后的模型特征点与图像数据重叠的情况下的附近的核线和从与该模型特征点相邻的第一特征点向核线延伸的线的交点作为对应点。

另外，只通过上述实施方式所示的处理，有可能无法应对以下的状况，即例如如图10所示例的那样，从通过特征点提取部121提取的第一特征点中，检测出与模型图案匹配的多个第一特征点(例如一次检测出多个对象物那样的状况)。对此，作为其他实施方式，在对应点组选择部125中执行基于公知的对极几何的处理，由此也能够使各个图像所映现的2个以上的对象物分别对应起来。在通过基于对极几何的处理，使各个图像所映现的2个以上的对象物分别对应起来的情况下，例如执行以下的步骤即可。此外，在以下的步骤中，设想了在从第一照相机4A获取的图像数据和从第二照相机4B获取的图像数据中分别检测出2个对象物a1、b1和对象物a2、b2的情况。

步骤c1：选择从通过第一照相机4A获取的图像数据中检测出的对象物的一方(图10中的对象物a1)。

步骤c2：使模型图案与在步骤c1选择出的对象物重叠，获取对应点。选择其中的对应点的一个(图10中的对应点Pci)。

步骤c3：计算穿过通过步骤c2选择出的特征点的核线(图10中的核线Ei)。

步骤c4：计算穿过与通过步骤c3计算出的核线重叠的核面的通过第二照相机4B获取的图像数据的核线(图10中的核线Ej)。

步骤c5：在通过步骤c3计算出的核线所穿过的对象物上的对应点(图10中的特征点Pci)、通过步骤c4计算出的核线所穿过的对象物上的对应点(图10中的特征点Pcj)与模型图案的同一模型特征点对应的情况(即与模型图案的同一模型特征点对应的对象物上的位置处于同一核面上的情况)下，这些对象物有可能是相互对应的对象物。

步骤c6：对模型图案的全部模型特征点进行上述步骤，确定相互对应的可能性高的对象物(例如处于同一核面的对应点的个数多的对象物、处于同一核线的对应点的个数多的对象物)。

在上述实施方式中，表示出照相机4被固定在架台等的例子。作为其他实施方式，例如如图11所示例的那样，在将立体照相机(第一照相机4A、第二照相机4B)安装在机器人5的手指上的系统中，也能够使用本发明的图像处理装置1。立体照相机在机器人5的机器臂移动时，一边将与机器人5的机器臂前端部的相对位置维持为固定，一边与机器臂前端部的动作一致地移动。在使用了这样的系统的情况下，例如图像处理装置1也可以安装在控制机器人5的机器人控制器上。另外，图像处理装置1也可以安装在与机器人控制器一起设置的个人计算机等。

另外，如图12所示例的那样，在用机器人5的机器手握持作为检测对象物的工件3的系统中，也能够使用本发明的图像处理装置1。在这样的系统中，立体照相机(第一照相机4A、第二照相机4B)被固定在工作台等。工件3在机器人5的机器臂移动时，一边将与机器人5的机器臂前端部的相对位置维持为固定，一边与机器臂前端部的动作一致地移动。

进而，如图13所示例的那样，在将单一的照相机4安装在机器人5的手指的系统中，也能够使用本发明的图像处理装置1。在该情况下，照相机4在机器人5的机器臂移动时，一边将与机器人5的机器臂前端部的相对位置维持为固定，一边与机器臂前端部的动作一致地移动。然后，照相机4移动到多个位置，拍摄对象物。由此，发挥与使用立体照相机的情况同样的效果。

Claims (8)

1.一种图像处理装置，该图像处理装置根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，

其特征在于，

上述图像处理装置具备：

模型图案存储部，其存储与上述检测对象物对应的由多个模型特征点构成的模型图案；

图像数据获取部，其获取通过上述照相机拍摄同一上述检测对象物而得到的多个图像；

特征点提取部，其从上述多个图像中提取第一特征点；

对象物检测部，其通过进行从上述多个图像中提取出的第一特征点与存储于上述模型图案存储部的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；

模型图案变换部，其对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与上述对象物检测部检测出的上述多个图像内的检测对象物的像重叠；

对应点获取部，其获取与由上述模型图案变换部变换后的上述模型图案的模型特征点对应的上述图像上的点作为对应点；

对应点组选择部，其从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及

三维位置计算部，其根据上述对应点组选择部选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。

2.根据权利要求1所述的图像处理装置，其特征在于，

在将上述模型图案变换部变换后的上述模型图案的模型特征点与上述图像上的上述检测对象物的上述像重叠时，上述对应点获取部获取与上述模型特征点重叠的上述图像上的位置，来作为对应点。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述对应点获取部针对由上述模型图案变换部变换后的上述模型图案的模型特征点，搜索该模型特征点的附近的第一特征点并将其获取为对应点。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述对应点获取部针对由上述模型图案变换部变换后的上述模型图案的模型特征点，获取该模型特征点附近的核线和从与该模型特征点相邻的第一特征点朝向上述核线延伸的线的交点所对应的上述图像上的交点，来作为对应点。

5.根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，

在上述对象检测部在上述多个图像中分别检测出多个检测对象物的情况下，上述对应点组选择部将上述模型图案的同一模型特征点位于同一核面上的对象物彼此视作同一检测对象物。

6.根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，

上述模型图案由拍摄上述检测对象物所得的输入图像生成。

7.根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，

上述模型图案由上述检测对象物的三维形状数据生成。

8.一种图像处理方法，该图像处理方法根据由至少一个照相机拍摄的检测对象物的多个图像来求出该检测对象物的各特征点的三维位置，

其特征在于，

在上述图像处理方法中执行以下步骤：

第一步骤，在该第一步骤中，获取由上述照相机拍摄同一上述检测对象物而得到的多个图像；

第二步骤，在该第二步骤中，从上述多个图像中提取第一特征点；

第三步骤，在该第三步骤中，通过进行从上述多个图像中提取出的第一特征点和与上述检测对象物对应的由多个模型特征点构成的模型图案之间的匹配，从上述多个图像中检测检测对象物的像；

第四步骤，在该第四步骤中，对上述模型图案的模型特征点的位置姿势进行变换，以使得上述模型图案的模型特征点与在第三步骤中检测出的上述多个图像内的检测对象物的像重叠；

第五步骤，在该第五步骤中，获取与在上述第四步骤中变换后的上述模型图案的模型特征点对应的点；

第六步骤，在该第六步骤中，从针对上述多个图像各自的检测对象物的像求出的对应点中，选择根据同一模型特征点得到的对应点作为对应点组；以及

第七步骤，在该第七步骤中，根据在上述第六步骤中选择出的对应点组，来计算上述检测对象物的各特征点的三维位置。

Images