CN109145935B - 模板制作装置及其方法、物体识别处理装置以及存储介质 - Google Patents

Abstract

本申请公开一种模板制作装置及其方法、物体识别处理装置以及存储介质，提供一种缩短基于模板匹配的物体识别中使用的模板的制作时间的技术。一种模板制作装置制作被利用于模板匹配的物体识别用的分层模板，所述模板制作装置包括：视点位置制作部，制作多个近似球形状，所述近似球形状各顶点的间隔均等且所述各顶点被设定为各视点位置，在制作的每一个所述近似球形状中，所述各视点位置的间隔不同；以及模板制作部，按每一个所述近似球形状，制作与从所设定的所述各视点位置观察的对象物体对应的多个模板。

Description

模板制作装置及其方法、物体识别处理装置以及存储介质

技术领域

本发明涉及制作在基于模板匹配的物体识别中使用的模板的技术。

背景技术

作为从物体识别图像检测对象物体的方法之一，具有模板匹配。模板匹配是指预先准备成为检测对象的物体的模型(模板)，通过评价输入图像与模型之间的图像特征的一致度来检测输入图像所含的物体的二维位置、姿势。基于模板匹配的物体检测被利用于FA(Factory Automation：工厂自动化)中的检查、分拣、机器人视觉、监视摄像机等多种领域。特别是，在近来的模板匹配中，从利用了二维计测的对象物体的位置、姿势的检测到利用了三维计测的对象物体的位置、姿势的检测应用的技术正被引起关注。

作为利用了三维计测的模板匹配，提出了按照从各种视点观察对象物体的姿势来准备单独的模板、并对这些模板轮流进行匹配的搜索处理方法，但与利用了二维计测的情况相比，必须准备的模板的数量变得非常多，使用了模板的匹配用的处理时间的增大成为问题。

作为对这种问题的应对策，已知有基于疏密搜索的模板匹配。疏密搜索是使基于模板匹配的搜索处理高速化的技术之一，准备使分辨率阶段性地不同的图像组(所谓的图像金字塔)，重复进行以低分辨率的图像进行粗略搜索、且基于搜索结果缩小搜索范围并对于缩小的搜索范围以高分辨率的图像进一步进行搜索这一处理，最终将原始的分辨率中的对象物体的位置、姿势检测出(识别物体的位置、姿势；以下，简称为“物体识别”)。

这里，图10是表示利用了图像金字塔的疏密搜索的基本概念的图。如图10所示，在疏密搜索中，使用使分辨率阶段性地不同的第1层至第k层(k≥2以上的整数)的k张图像组(图像金字塔)。第1层的分辨率为分辨率最低，按照第2层、…、第k层的顺序提高分辨率。图10是k＝3的例子，第3层对应于原始图像，按照第2层、第1层的顺序降低分辨率。

在疏密搜索中，首先对分辨率最低的第1层图像进行基于模板匹配(比较)的搜索处理，检测出第1层中的物体的存在位置(正确候选)(参照图10的第1层图像内所示的检测位置)。接下来，在对第2层的搜索处理中，与第1层中的检测位置对应的第2层图像被设定为搜索范围，并进行针对该搜索范围的搜索处理(参照图10的第2层图像内所示的检测位置)。同样，基于第2层中的检测结果，设定第3层图像中的搜索范围，并进行针对该搜索范围的搜索处理，最终确定第3层(原始图像)内的物体位置(参照图10的第3层图像内所示的检测位置)。

如果是通常的模板匹配，需要与较多的模板的匹配，但在疏密搜索中从低分辨率的图像(以下，也称作“低分辨率图像”。)朝向高分辨率的图像(以下，也称作“高分辨率图像”。)阶段性地缩小搜索范围，从而能够减少模板的匹配次数，能够缩短处理时间。

近来，为了使基于疏密搜索的模板匹配的处理高速化，提出了如下技术：在制作模板时，按层级(按分辨率)，比较从各种摄像机的位置(视点)观察到的二维投影后的各个图像，基于这些图像的类似度，将看起来相似的视点分组，减少匹配所使用的模板数，从而实现匹配处理的高速化(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：欧洲专利第2048599号说明书

发明内容

发明要解决的技术问题

在采用了上述方法的情况下，在看起来相似的视点靠近地集中的位置，能够通过视点的分组来减少的模板的数量变多，能够将使用了模板的匹配处理高速化，另一方面，在看起来相似的视点未靠近地集中的位置，能够通过视点的分组来减少的模板的数量较少，难以将使用了模板的匹配处理高速化。这样，在上述方法中，在看起来相似的视点靠近地集中的场所、以及看起来相似的视点未靠近地集中的场所之间，匹配处理所花的时间产生较大的偏差。

另外，在上述方法中，在制作模板时，需要依次辨别是否具有看起来相似的视点，并且，在发现了看起来相似的视点的情况下，必须将它们汇总地分组，模板的制作需要花费较多的时间。

本发明鉴于以上说明的情况而完成，目的在于提供一种缩短基于模板匹配的物体识别中使用的模板的制作时间的技术。

解决技术问题的技术方案

本发明的一方式的模板制作装置制作被利用于模板匹配的物体识别用的分层模板，模板制作装置包括：视点位置制作部，制作多个近似球形状，近似球形状各顶点的间隔大致均等且各顶点被设定为各视点位置，在制作的每一个近似球形状中，各视点位置的间隔不同；以及模板制作部，按每一个近似球形状，制作与从所设定的各视点位置观察的对象物体对应的多个模板。

根据上述构成，利用各顶点的间隔大致均等且各顶点被设定为各视点位置的多个近似球形状来制作模板。这里，设定于近似球形状的顶点的各视点位置的间隔按照每一个近似球形状而不同。关于视点位置的间隔宽的近似球形状(换言之是设定的视点的数量较少的近似球形状)，基于从各视点位置观察的对象物体的二维投影后的图像，制作与各视点对应的低分辨率用的模板。另一方面，关于视点位置的间隔窄的近似球形状(换言之是设定的视点的数量较多的近似球形状)，基于从各视点位置观察的对象物体的二维投影后的图像，制作与各视点对应的高分辨率用的模板。根据这种构成，无需如以往技术那样在制作模板时实施依次辨别是否有看起来相似的视点的处理、将看起来相似的视点汇总分组的处理，与现有技术相比，能够缩短模板的制作时间。

本发明的其它方式的模板制作方法制作被利用于模板匹配的物体识别用的分层模板，模板制作方法包括：视点位置制作步骤，制作多个近似球形状，近似球形状各顶点的间隔大致均等并且各顶点被设定为各视点位置，在制作的每一个近似球形状中，各视点位置的间隔不同；以及模板制作步骤，按每一个近似球形状，制作与从所设定的各视点位置观察的对象物体对应的多个模板。

本发明的其它方式的存储介质存储有用于使计算机制作被利用于模板匹配的物体识别用的分层模板的程序，上述程序使计算机执行以下步骤：视点位置制作步骤，制作多个近似球形状，近似球形状各顶点的间隔大致均等并且各顶点被设定为各视点位置，在制作的每一个近似球形状中，各视点位置的间隔不同；以及模板制作步骤，按每一个近似球形状，制作与从所设定的各视点位置观察的对象物体对应的多个模板。

根据本发明，能够提供一种缩短基于模板匹配的物体识别中使用的模板的制作时间的技术。

附图说明

图1是表示物体识别装置的整体构成的图。

图2是表示物体识别装置的硬件构成的图。

图3是表示图像处理装置的构成的图。

图4是表示视点位置的制作原理的图。

图5是表示近似球形状间的顶点的相关性的图。

图6是表示视点位置制作处理的流程图。

图7是表示模板制作处理的流程图。

图8是表示物体识别处理的流程图。

图9A是用于说明使用了现有方法的情况下的模板匹配的处理时间的图。

图9B是用于说明使用了本申请方法的情况下的模板匹配的处理时间的图。

图10是表示利用了图像金字塔的疏密搜索的基本概念的图。

附图标记说明

1…物体识别装置；2…对象物体；3…托盘；4…PLC；10…图像处理装置；11…摄像机；12…显示器；13…鼠标；14…存储卡；110…视点位置制作装置；111…视点位置相关参数设定部；112…视点位置制作部；113…最佳视点位置制作部；114…视点位置信息输出部；120…模板制作装置；121…视点位置信息取得部；122…三维CAD数据取得部；123…二维投影图像制作部；124…特征提取部；125…模板制作部；126…模板信息输出部；130…物体识别处理装置；131…模板信息取得部；132…图像取得部；133…图像金字塔生成部；134…特征提取部；135…模板匹配部；136…识别结果输出部；AG、AG1、AG2、AG3、AG4…近似球形状；VP…视点位置。

具体实施方式

以下，参照附图详细地说明本发明的实施方式。此外，对相同的要素标注相同的附图标记，省略重复的说明。另外，以下的实施方式是用于说明本发明的例示，并非将本发明仅限定于其实施方式的主旨。并且，本发明只要不脱离其主旨，就可以进行各种变形。

A.本实施方式

A－1.(物体识别装置的整体构成)

参照图1，对本发明的实施方式的物体识别装置的整体构成以及应用情形进行说明。

物体识别装置1是如下系统：其被设置于包括分拣系统的生产线等，使用从摄像机11获取的图像，利用模板匹配对托盘3上的物体2的位置、姿势进行识别(三维的物体识别)。在托盘3上散装有识别对象的物体(以下，也称作“对象物体”。)2。物体识别装置1从摄像机11以预定的时间间隔获取图像，利用图像处理装置10执行识别图像所含的各对象物体2的位置以及姿势的处理，将其结果向例如PLC(可编程逻辑控制器)4、显示器12等输出。作为物体识别装置1的输出的识别结果例如被利用于分拣机器人的控制、加工装置、印字装置的控制、对象物体2的检查、计测等。

A－2.(硬件构成)

参照图2，对物体识别装置1的硬件构成进行说明。物体识别装置1大体上由摄像机11与图像处理装置10构成。

摄像机11是用于在图像处理装置10获取对象物体2的数字图像的拍摄器件，例如能够适当地使用CMOS(Complementary Metal-Oxide-Semiconductor)摄像机、CCD(Charge-Coupled Device)摄像机。分辨率、彩色/单色、静态静止图像/动态图像、灰度、数据形式等输入图像的形式是任意的，能够结合对象物体2的种类、传感检测的目的而适当地选择。在将X射线图像、热图像等可见光像以外的特殊图像利用于物体识别、检查的情况下，也可以使用与其图像对应的摄像机。

图像处理装置10包含CPU(中央运算处理装置)10a、被用作工作存储器的主存储器10b、作为固定存储部的硬盘10e、摄像机接口10c、输入接口10f、显示控制器10g、PLC接口10h、通信接口10i以及数据读写器10j。这些各部以能够经由总线10k相互进行数据通信的方式连接。

摄像机接口10c是居中进行CPU10a与摄像机11之间的数据传送的部分，也可以具有用于暂时蓄积来自摄像机11的图像数据的图像缓冲器10d。输入接口10f居中进行CPU10a与输入部之间的数据传送。输入部也可以包含鼠标13、键盘、触摸面板、点动控制器等。显示控制器10g与液晶监视器等显示器12连接，控制该显示器中的显示。PLC接口10h居中进行CPU10a与PLC4之间的数据传送。通信接口10i居中进行CPU10a与控制台、或个人计算机、服务器装置等之间的数据传送。数据读写器10j居中进行CPU10a与作为存储介质的存储卡14之间的数据传送。

图像处理装置10能够由具有通用架构的计算机构成，通过CPU10a读取储存于硬盘10e或者存储卡14的程序，执行各种处理。这样的程序以存储于存储卡14或光盘等计算机可读取的存储介质的状态进行流通，或者通过网络等提供。此外，本实施方式的程序可以作为单独的应用程序来提供，也可以作为编入到其它程序的一部分的模块来提供。另外，也可以利用ASIC等专用电路执行由该程序执行的处理的一部分或者全部。

A－3.(图像处理装置的构成)

图3中示出图像处理装置10的构成。图像处理装置10通过由CPU10a读取并执行储存于硬盘10e等的程序，从而作为视点位置制作装置110、模板制作装置120、物体识别处理部130动作。

视点位置制作装置110制作(设定)模板制作所需的全部的视点位置，包括视点位置相关参数设定部111、视点位置制作部112、最佳视点位置制作部113、视点位置信息输出部114。

模板制作装置120制作在物体识别处理中利用模板，包括视点位置信息取得部121、三维CAD数据取得部122、二维投影图像制作部123、特征提取部124、模板制作部125、模板信息输出部126。

物体识别处理装置130对于从摄像机11获取的图像，使用由模板制作装置120制作、存储的模板执行模板匹配，从而识别图像中的物体。物体识别处理装置130包括模板信息取得部131、图像取得部132、图像金字塔生成部133、特征提取部134、模板匹配部135、识别结果输出部136。之后详细叙述视点位置制作装置110、模板制作装置120以及物体识别处理装置130。

A－4.(视点位置的制作原理)

A－4－1.(近似球形状的利用)

图4是表示本实施方式的视点位置的制作原理的图。

在本实施方式中，由多面体构成的近似球形状AG的顶点用作视点位置VP(参照图4所示的近似球形状AG1)，以使视点间的距离为大致均等。而且，如果从制作分辨率低的模板到制作分辨率高的模板，则与制作的模板这样的变化相适应地利用视点的数(即顶点数)变多的近似球形状AG。具体而言，作为制作分辨率最低的模板(以下，也称作“第1模板”。)时利用的近似球形状AG，使用正20面体AG1(顶点数；12)，作为制作分辨率比第1模板高的模板(以下，也称作“第2模板”。)时利用的近似球形状AG，使用80面体AG2(顶点数；42)。同样，作为制作分辨率比第2模板高的模板(以下，也称作“第3模板”。)时利用的近似球形状AG，使用320面体AG3(顶点数；162)，作为制作分辨率最高的模板(以下，也称作“第4模板”。)时利用的近似球形状AG，使用1280面体AG4(顶点数；642)。此外，在图4中，虽然例示模板的层级数为“4”的情况下，但采用何种层级数都能够任意地设定、变更。另外，作为求出近似球形状AG的方法，已知有使用了交替分割法、正三十分割法(日语：トリアコン分割法)的网格球顶等，但本发明只要是具有多个顶点的近似球形状即可，当然并非限定于网格球顶的主旨。

这里，若提及各近似球形状AG1与AG2之间、各近似球形状AG2与AG3之间、各近似球形状AG3与AG4之间的顶点的相关性，则与分辨率低的模板所对应的近似球形状AG的各视点(以下，也称作“主视点”。)建立了关联的、分辨率高的模板所对应的近似球形状AG的各视点(以下，也称作“副视点”。)的数量能够大致均等分为3或者4个。进而，从作为各近似球形状AG中的主视点和与主视点建立了关联的副视点之间的距离近者选择3或者4个，设定对应于主视点的副视点，从而来自各视点的视觉表现的变化容易变得均等。这样，在将近似球形状AG的各顶点用作视点位置的本实施方式中，无需像现有技术那样在制作模板时进行将看起来相似的视点汇总地分组这类处理等，因此能够缩短模板的制作时间。

A－4－2.(近似球形状的角度的最优化)

图5是表示近似球形状AG1与近似球形状AG2之间的顶点的相关性的图，α表示未旋转的情况下的近似球形状AG2，β表示仅以预定量旋转了的情况下的近似球形状AG2。此外，在以下的说明中，将球的半径假定为“1”。

相对于如α所示那样未使近似球形状AG2旋转的情况下的、近似球形状AG1的主视点与近似球形状AG2的副视点的最大距离Lmax为“0.739”，如β所示那样使近似球形状AG2仅以预定量(具体而言，绕X轴33度，绕Y轴29度，绕Z轴15度)旋转时的近似球形状AG1的主视点与近似球形状AG2的副视点的最大距离Lmax成为“0.712”。

这里，从主视点至副视点的距离越短，匹配处理的对象物体的视觉表现的变化(不同)越小。如果对象物体的视觉表现的变化较小，则疏密搜索中的使用了高分辨率模板的匹配处理与使用了低分辨率模板的匹配处理之间的间隙变小，能够抑制识别精度的降低。

根据以上，在本实施方式中，首先，对于与主视点相关联的多个副视点中的、距主视点的距离最长的副视点，求出与主视点之间的距离(即最大距离)Lmax。然后，以使与主视点相关联的副视点的最大距离Lmax为最小、进而使与主视点相关联的副视点的数成为大致均等(在本实施方式中是3或者4个)的方式，求出近似球形状AG2的旋转角度，以求出的旋转角度使近似球形状AG2旋转。通过进行这样的旋转，从主视点至相关联的各副视点的距离与不旋转的情况比较变短，因此匹配处理的对象物体的视觉表现的变化变小，能够抑制识别精度的降低。此外，也可以取代求出使与主视点相关联的副视点的最大距离Lmax最小的近似球形状AG的旋转角度，而是求出使与主视点相关联的副视点的平均距离Lave最小分近似球形状AG的旋转角度。

A－5.(视点位置制作处理)

以下，根据图6的流程，说明由视点位置制作装置110执行的视点位置制作处理。

视点位置相关参数设定部111为了确定视点位置，而确定(设定)利用哪一个近似球形状AG(步骤S111)。作为一个例子，用户通过适当地操作操作按钮等，设定为利用图4所示的正20面体AG1、80面体AG2等的多个近似球形状AG。但是，所利用的近似球形状AG的设定方法并非限定于此的主旨。例如，视点位置相关参数设定部111也可以基于与输入的对象物体的大小、形状相关的信息(对象物体信息)，自动计算适合对象物体的视点位置间隔等，并根据求出的视点位置间隔等设定应利用的多个近似球形状AG。

视点位置制作部112对于由视点位置相关参数设定部111设定的多个近似球形状AG，制作各视点位置(即各顶点)(步骤S112)。例如，在利用视点位置相关参数设定部111设定了图4所示的正20面体AG1、80面体AG2等的情况下，视点位置制作部112将各视点位置制作(设定)于正20面体AG1、80面体AG2等的各顶点。视点位置制作部112若从视点位置间隔宽的近似球形状AG(例如正20面体AG1)至视点位置间隔窄的近似球形状AG(例如1280面体AG4)制作出各视点位置，则将各近似球形状AG的视点位置向最佳视点位置制作部113输出。

最佳视点位置制作部113计算与主视点相关联的副视点的数量大致均等、且与主视点相关联的副视点的最大距离Lmax(或者与主视点相关联的副视点的平均距离Lave)为最小的旋转角度(以下，简称为“最佳旋转角度”。)(步骤S113)。作为一个例子，求出绕X轴、Y轴、Z轴各自的轴仅以预定角a、b、c旋转的情况下的上述最大距离Lmax。然后，最佳视点位置制作部113使绕各轴的预定角a、b、c的值依次变化，从此时获得的上述最大距离Lmax求出预定角a、b、c与最大距离Lmax的相关性，就上述最大距离Lmax变得最小时的预定角a、b、c作为最佳旋转角度而计算。之后，最佳视点位置制作部113对从视点位置制作部112输出的各近似球形状AG的视点位置实施以计算出的最佳旋转角度旋转的处理，从而计算最佳视点位置(步骤S114)。最佳视点位置制作部113将计算出的最佳视点位置向视点位置信息输出部114输出。

视点位置信息输出部114关于从最佳视点位置制作部113供给的多个最佳视点位置，生成呈现出最佳视点位置的视点位置信息(步骤S115)，向模板制作装置120输出。

A－6.(模板制作处理)

接下来，根据图7的流程，说明由模板制作装置(模板制作部)120执行的模板制作处理。

视点位置信息取得部121取得呈现出从视点位置制作装置110的视点位置信息输出部114输出的各最佳视点位置的视点位置信息(步骤S121)。

三维CAD数据取得部122取得表示对象物体的三维形状的三维数据(步骤S122)。三维CAD数据取得部122能够取得可将对象物体作为立体图形而识别的任意的三维数据，在本实施方式中，取得三维CAD数据。三维CAD数据取得部122能够从外部的三维CAD服务器等取得三维CAD数据，也能够从存储器(省略图示)取得三维CAD数据。

二维投影图像制作部123使用视点位置信息取得部121所取得的视点位置信息以及三维CAD数据取得部122所取得的三维数据，生成从各最佳视点观察到的对象物体的投影图像(即2D图像)(步骤S123)。

特征提取部124从每个最佳视点的投影图像提取多个特征点的特征量(步骤S124)。作为特征量，例如能够使用像素值(亮度)、亮度梯度方向、量化梯度方向、Hog(Histograms of Oriented Gradients)，HAAR－Like、SIFT(Scale-Invariant FeatureTransform)等。亮度梯度方向指的是以连续值表示以特征点为中心的局部区域的亮度梯度的方向(角度)，量化梯度方向指的是以离散值表示以特征点为中心的局部区域的亮度梯度的方向(例如，将8个方向以0～7的1字节信息来保持)。

模板制作部125基于从特征提取部124提取的每个最佳视点的投影图像的特征量，制作多个模板(步骤S125)。这里，模板是表示对象物体的图像特征的数据，在模板中能够使用任意的形式。例如，作为模板，能够对投影图像中的特征点的特征量使用上述排列形式。

如前述那样，在本实施方式中，由于进行使用了分辨率阶段性地不同的各层的图像(图像金字塔)的疏密搜索，因此需要制作各层的每一个的模板。由此，模板制作部125按照各层的每一个制作分辨率不同的多个模板。即，模板制作部125按照各层的每一个，使用从设定为对应的近似球形状AG(例如正20面体)的顶点的各最佳视点观察到的各投影图像，制作多个模板。

模板信息输出部126按照每个最佳视点，将模板制作部125所制作的模板作为模板信息向物体识别处理装置130输出(步骤S126)。

A－7.(物体识别处理)

接下来，根据图8的流程，说明由物体识别处理装置130执行的物体识别处理。

首先，模板信息取得部131取得从模板制作装置120的模板信息输出部126输出的模板信息，向模板匹配部135供给(步骤S131)。

图像取得部132从摄像机11获取输入图像(步骤S132)。该图像中拍到任意姿势的对象物体。

图像金字塔生成部133从获取的输入图像(原始图像)生成低分辨率图像，生成图像金字塔(步骤S133)。例如，作为第1层图像，能够构成由160像素×120像素构成的图像金字塔，作为第2层图像，能够构成由320像素×240像素等构成的图像金字塔。

特征提取部134对构成图像金字塔的各层图像实施特征提取处理(步骤S134)。提取的特征量是与模板同种的特征量，例如可列举量化梯度方向等。作为对于最上层的第1层图像(最低分辨率的图像)的特征提取处理的结果，获得具有与第1层图像相同的分辨率、作为在第1层图像的各像素位置提取的特征量数据具有像素值的图像(以下，也称作“第1层特征图像”。)。同样，作为对于第2层图像的特征提取处理的结果，获得第2层特征图像。

模板匹配部135使用从模板信息取得部131供给的每个最佳视点的模板信息、以及与各模板信息对应的特征提取部134所计算出的各特征量，进行模板匹配(步骤S135)。

若详细叙述，模板匹配部135首先使用第1层特征图像与第1层用的每个最佳视点的模板进行匹配处理。模板匹配部135使用了第1层用的每个最佳视点的模板的匹配处理的结果，若检测出成为正确候选的模板，则基于检测结果，设定第2层特征图像的搜索范围，使用第2层特征图像与第2层用的每个最佳视点的模板进行匹配处理。在存在第3层图像、第4层图像的情况下，也对这些层图像进行相同的处理。例如，在存在第3层图像的情况下，模板匹配部135基于第2层图像中的匹配处理的结果，设定第3层特征图像的搜索范围，使用第3层特征图像与第3层用的每个最佳视点的模板进行匹配处理。进行这样的处理的结果，能够识别最下层(在该情况下是第4层)中的物体的存在位置。

模板匹配部135若识别对象物体的存在位置、姿势等，则将表示识别结果的识别信息向识别结果输出部136输出。识别结果输出部136将从模板匹配部135供给的识别信息向外部装置液晶面板等输出(步骤S136)。识别信息例如利用于对象物体的检查·计测、分拣机器人的控制等。

这里，图9A是用于说明使用了现有方法的模板匹配的处理时间的图，图9B是用于说明使用了本申请方法的模板匹配的处理时间的图。此外，在图9A以及图9B中，第1层的分辨率最低，第2层具有第1层的4倍的分辨率，并且，第3层具有第2层的4倍的分辨率。另外，各层用的模板所含的特征点的数量随着从上位层进入下位层而4倍4倍地增加，因此假定模板匹配的处理时间也随着从上位层进入下位层而4倍4倍地变长。即，若将第1层中的每1模板的处理时间设为“1”，则第2层中的每1模板的处理时间为“4”，第3层中的每1模板的处理时间为“16”。

现有方法通过求出模板彼此的类似度而将视点分组，并减少匹配处理所使用的模板的数量而实现了处理的高速化。在求出模板彼此的类似度而将视点分组的方法中，例如如图9A所示，即使在第2层中将模板数缩小为“3”的搜索范围，也需要在第3层中模板数为“1”的搜索范围3A－1、模板数为“5”的搜索范围3A－2、模板数为“10”的搜索范围3A－3各自的范围进行模板匹配。由于第3层中的每1模板的处理时间为“16”，因此各搜索范围3A－1～3A－3的处理时间分别能够呈现出16(＝16×1)、80(＝16×5)、160(＝16×10)。因此，各搜索范围3A－1～3A－3中的总共的处理时间(即，从第1层至第3层的总共的处理时间)分别成为29(＝16+12+1)、93(＝80+12+1)、173(＝160+12+1)。这样，在使用了现有方法的情况下，模板的匹配(即对象物体的位置、姿势的识别)所需的处理时间大幅度偏离。

另一方面，在本申请方法中，以与主视点相关联(即，分组)的副视点的数量为大致3或者4个且均等、并且各视点间的距离也大致恒定(等间隔)的方式确定各最佳视点位置，使用按照每个最佳视点制作的模板进行匹配处理。因此，如图9B所示，若在第2层中将模板数缩小为“4”的搜索范围，则在第3层中，在模板数全部相同(在图9B中是“4”)的搜索范围3B－1～3B－4中进行模板匹配。由于第3层中的每1模板的处理时间为“16”，因此各搜索范围3B－1～3B－4的处理时间都能够呈现出64(＝16×4)，各搜索范围3B－1～3B－4的总共的处理时间都能够成为81(＝64+16+1)。这样，在使用了本申请方法的情况下，模板的匹配所需的处理时间大致均等。

如以上说明那样，根据本实施方式，以近似球形状AG的各顶点为视点位置制作各分辨率的模板。因此，无需像以往技术那样在制作模板时进行判定来自各视点的视觉表现的类似度并将视点分组这类处理，能够缩短模板的制作时间。

另外，根据本实施方式，与主视点相关联的副视点的数为3或者4个且大致均等，并且，各视点间的距离也变得大致恒定。由于向各搜索范围分配的视点的数量大致均等，因此各搜索范围中的模板的匹配所需的处理时间也大致均等。

并且，根据本实施方式，以使与主视点相关联的副视点的最大距离Lmax(或者与主视点相关联的副视点的平均距离Lave)最小的方式、进而以使与主视点相关联的副视点的数量大致均等的方式，求出近似球形状AG2的旋转角度，以求出的旋转角度使近似球形状AG2旋转。通过进行这样的旋转，从主视点至相关联的各副视点的距离与不旋转的情况相比较变短，因此匹配处理的对象物体的视觉表现的变化变小，能够抑制识别精度的降低。

B.其它

在上述实施方式中，基于与输入的对象物体的大小、形状相关的对象物体信息，自动计算适合对象物体的视点位置间隔等，从求出的视点位置间隔等设定应利用的多个近似球形状AG，但也可以无关于对象物体，始终利用相同的近似球形状AG的集合(例如，图4所示的近似球形状AG1～AG4)。

在本说明书中，“部”并非单纯指物理的构成，也包含由软件实现该“部”所执行的处理的情况。另外，也可以利用两个以上的物理的构成、装置实现一个“部”、装置所执行的处理，也可以利用一个物理的构成、装置实现两个以上的“部”、装置所执行的处理。

在本说明书中，上述各处理中的步骤能够在处理内容不产生矛盾的范围内任意地变更顺序，或者并列地执行。

实施在本说明书中说明的各处理的程序也可以存储于存储介质。如果使用该存储介质，则能够在构成图像处理装置10的各装置中安装上述程序。这里，存储有上述程序的存储介质也可以是非短暂性的存储介质。非短暂性的存储介质不被特别限定，但例如可以是CD－ROM等存储介质。

(附记1)

一种模板制作装置，包括至少一个存储器与连接于上述存储器的至少一个硬件处理器，制作利用于模板匹配的物体识别用的分层模板，其中，

上述硬件处理器通过执行储存于上述存储器的预定的程序，从而作为视点位置制作部和模板制作部执行处理，

上述视点位置制作部制作多个近似球形状，所述近似球形状各顶点的间隔大致均等且上述各顶点被设定为各视点位置，在制作的每一个上述近似球形状中，上述各视点位置的间隔不同，

上述模板制作部按每一个上述近似球形状，制作与从所设定的上述各视点位置观察的对象物体对应的多个模板。

(附记2)

一种模板制作方法，至少利用一个硬件处理器，制作利用于模板匹配的物体识别用的分层模板，其中，

上述硬件处理器执行：

视点位置制作步骤，制作多个近似球形状，所述近似球形状各顶点的间隔大致均等且上述各顶点被设定为各视点位置，在制作的每一个上述近似球形状中，上述各视点位置的间隔不同；以及

模板制作步骤，按每一个上述近似球形状，制作与从所设定的上述各视点位置观察的对象物体对应的多个模板。

Claims (7)

1.一种模板制作装置，制作被利用于模板匹配的物体识别用的分层模板，

所述模板制作装置包括：

视点位置制作部，制作多个近似球形状，所述近似球形状各顶点的间隔均等且所述各顶点被设定为各视点位置，在制作的每一个所述近似球形状中，所述各视点位置的间隔不同；

最佳视点位置制作部，在将设定于所述间隔宽的所述近似球形状的所述各视点位置设为各主视点，并将设定于所述间隔窄的所述近似球形状的所述各视点位置设为各副视点的情况下，通过计算与所述各主视点相关联的所述各副视点的数量均等并且与所述各主视点相关联的所述各副视点之间的最大距离为最小的旋转角度，以计算出的所述旋转角度实施使所述各近似球形状旋转的处理，从而计算出与旋转后的所述各视点位置对应的各最佳视点位置；以及

模板制作部，按每一个所述近似球形状，制作与从所设定的所述各最佳视点位置观察的对象物体对应的多个模板。

2.根据权利要求1所述的模板制作装置，其中，

所述各顶点设于对应的所述近似球形状的球面上，

在每一个所述近似球形状中，所述各视点位置的间隔不同并且所述视点位置的数量不同，

通过将所述各视点位置的间隔窄的所述近似球形状的多个视点与所述各视点位置的间隔宽的所述近似球形状的一个视点建立对应，从而与所述一个视点建立对应的所述多个视点的数量均等。

3.根据权利要求1或2所述的模板制作装置，其中，

所述模板制作装置还包括视点位置相关参数设定部，设定适合于对象物体的形状、大小的视点位置的间隔，

所述视点位置制作部基于所设定的所述视点位置的间隔，制作多个所述近似球形状。

4.一种物体识别处理装置，使用由权利要求1所述的模板制作装置制作的所述多个模板，进行物体的识别，

所述物体识别处理装置包括：

图像取得部，取得所述对象物体的输入图像；以及

模板匹配部，使用由所述模板制作部制作的与从所述各视点位置观察的所述对象物体对应的所述多个模板，进行与所述对象物体的输入图像的匹配。

5.根据权利要求4所述的物体识别处理装置，其中，

利用疏密搜索中的模板匹配进行所述对象物体的识别。

6.一种模板制作方法，制作被利用于模板匹配的物体识别用的分层模板，

所述模板制作方法包括：

视点位置制作步骤，制作多个近似球形状，所述近似球形状各顶点的间隔均等并且所述各顶点被设定为各视点位置，在制作的每一个所述近似球形状中，所述各视点位置的间隔不同；

最佳视点位置制作步骤，在将设定于所述间隔宽的所述近似球形状的所述各视点位置设为各主视点，并将设定于所述间隔窄的所述近似球形状的所述各视点位置设为各副视点的情况下，通过计算与所述各主视点相关联的所述各副视点的数量均等并且与所述各主视点相关联的所述各副视点之间的最大距离为最小的旋转角度，以计算出的所述旋转角度实施使所述各近似球形状旋转的处理，从而计算出与旋转后的所述各视点位置对应的各最佳视点位置；以及

模板制作步骤，按每一个所述近似球形状，制作与从所设定的所述各最佳视点位置观察的对象物体对应的多个模板。

7.一种存储介质，存储有用于使计算机制作被利用于模板匹配的物体识别用的分层模板的程序，所述程序使所述计算机执行以下步骤：

视点位置制作步骤，制作多个近似球形状，所述近似球形状各顶点的间隔均等并且所述各顶点被设定为各视点位置，在制作的每一个所述近似球形状中，所述各视点位置的间隔不同；

最佳视点位置制作步骤，在将设定于所述间隔宽的所述近似球形状的所述各视点位置设为各主视点，并将设定于所述间隔窄的所述近似球形状的所述各视点位置设为各副视点的情况下，通过计算与所述各主视点相关联的所述各副视点的数量均等并且与所述各主视点相关联的所述各副视点之间的最大距离为最小的旋转角度，以计算出的所述旋转角度实施使所述各近似球形状旋转的处理，从而计算出与旋转后的所述各视点位置对应的各最佳视点位置；以及

模板制作步骤，按每一个所述近似球形状，制作与从所设定的所述各最佳视点位置观察的对象物体对应的多个模板。

Images