CN109543705B - 模板创建装置及方法、物体识别处理装置以及记录介质 - Google Patents
模板创建装置及方法、物体识别处理装置以及记录介质 Download PDFInfo
- Publication number
- CN109543705B CN109543705B CN201810759087.9A CN201810759087A CN109543705B CN 109543705 B CN109543705 B CN 109543705B CN 201810759087 A CN201810759087 A CN 201810759087A CN 109543705 B CN109543705 B CN 109543705B
- Authority
- CN
- China
- Prior art keywords
- normal vector
- template
- reference region
- unit
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
提供不易受到与相机光轴之间的角度小的法向量的向量方向的变化的影响的模板创建装置及方法、物体识别处理装置以及记录介质。模板创建装置(20)具备:三维数据获取部(201),获取识别对象的物体的三维数据;法向量算出部(203),算出从对物体设定的预定的视点观测所得的物体的特征点的法向量;法向量量化部(204),通过向与穿过视点的轴正交的平面上的基准区域映射法向量来量化法向量,从而获取量化法线方向特征量,基准区域包括与轴附近对应的中心基准区域以及中心基准区域的周围的基准区域;模板创建部(205),基于量化法线方向特征量,对每个视点创建模板;以及模板信息输出部(206),输出创建的模板。
Description
技术领域
本发明关于在通过模板匹配进行物体识别中所用的模板的创建技术。
背景技术
从图像中识别对象物的方法中存在一种被称为模板匹配的手法。模板匹配的基本处理是预先准备成为识别对象的物体的模板,通过评价输入图像与模板之间的图像特征的相似度,识别图像中的物体的位置或姿态。通过模板匹配进行物体识别,例如在FA(工厂自动化(Factory Automation))的检查、拣选、机器人视觉、监视摄像头等各种各样的领域中实用化。
现有在识别对象是三维物体的模板匹配中,为了达到维持高精度的识别结果的同时削减计算量或计算时间的目的,将物体具有的平面及其法线信息作为特征量进行利用(例如专利文献1)。
而且,公知有将模板匹配中的边缘信息作为特征量利用时,通过使用将边缘角度即0~360度的值变换成以45度为单位分割成8份的8位数据的特征量,以实现数据量缩小以及处理速度高速化(例如专利文献2)。
专利文献1:日本专利申请公开第2015-079374号公报
专利文献2:日本专利第5271031号公报。
发明内容
发明要解决的课题
如图7所示,现有将法线信息作为特征量使用时,将法向量在xy二维空间中映射的向量和x轴之间的角度θ量化并获取法向量的特征量。例如,图7的例中,将图7的(a)所示的单位球上的法向量在具有与把穿过该球中心的XY平面8等分得到的8个部分相对应的基准区域1~8的图7的(b)所示的二维空间上映射并通过量化获取特征量。例如,图7的(b)的法向量1b与图7的(a)的法向量1a相对应,同样地,法向量2b与法向量2a相对应。法向量1b的大小与法向量1a的sinΦ相对应。
在此,基准区域1~8的边界会集中在z轴附近。因此,在从拍摄识别对象物所得的图像提取出的法向量中,与获取图像的相机的相机光轴(z轴)之间的角度Φ小的法向量1a由于受噪声或测量误差等的大小的影响,被识别成与识别对象物本来应有的法向量不同的法向量,在xy二维空间中所映射的向量的所属基准区域容易变化,作为其结果,所得的量化后的特征量同样容易变化。由此,穿过模板登录时的视点的轴和获取拍摄识别对象物所得的输入图像的相机的光轴一致的情况下,在具有与相机光轴之间的角度Φ小的法向量的特征点中,模板和拍摄识别对象物所得的输入图像之间的特征量不一致,会导致识别精度低下。
因此,本发明以提供能够通过使用不易受到与相机光轴之间的角度小的法向量的向量方向的变化的影响的模板提高识别精度的模板创建装置、物体识别处理装置、模板创建方法以及记录介质为目的。
用于解决课题的手段
本发明的一个方面的模板创建装置具备:三维数据获取部,获取表示识别对象的物体的三维形状的三维数据;法向量算出部,基于三维数据,算出从对上述物体设定的预定的视点观测所得的上述物体的特征点的法向量;法向量量化部,通过向与穿过视点的轴正交的平面上的基准区域映射算出的法向量来量化算出的法向量,从而获取量化法线方向特征量,基准区域包括与轴附近对应的中心基准区域和中心基准区域的周围的基准区域;模板创建部,基于获取的量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及模板信息输出部,输出创建的模板。
根据本方面,通过基准区域包括与轴附近对应的中心基准区域,在受噪声或测量误差等的影响与穿过视点的轴之间的角度小的法向量的方向发生变化时,也能够获取一定的量化法线方向特征量。通过获取不易受到噪声或测量误差等引起的法向量方向变化的影响的特征量,与现有技术相比较,能够提高识别精度。
上述模板创建装置中,周围的基准区域也可以含括与将三维的单位球均等分割得到的多个部分对应的多个基准区域。根据本方面,由于将三维的单位球均等分割得到的部分与基准区域对应,能够高精度地把握分散的法向量的特征量。
上述模板创建装置中,中心基准区域也可以基于法向量和轴之间的角度Φ设定。根据本方面,基于噪声或测量误差导致的法向量方向的变化和角度Φ之间的关系,能够容易地设定可以容许的预定的中心基准区域。
上述模板创建装置中,中心基准区域也可以是在角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。根据本方面,基于噪声或测量误差导致的法向量方向的变化和sinΦ之间的关系,能够容易地设定可以容许的预定的中心基准区域。
上述模板创建装置中,法向量量化部也可以容许量化对象的法向量所属的基准区域的周围的基准区域量化法向量。根据本方面,由于噪声或测量误差,在物体识别时输入图像中的特征点的法向量向本来假设的基准区域的周围的基准区域映射的情况下,也判定该法向量一致,并能够算出对照评分。通过把这样的特征量的鲁棒化安装在模板创建装置侧,能够不增大物体识别时的处理负荷来设定容许的周围基准区域。
关于本发明的其他方面,使用通过上述模板创建装置创建的模板进行物体的识别的物体识别处理装置具备:图像获取部,获取输入图像;法向量算出部,在输入图像中算出特征点的法向量;法向量量化部,通过向与获取了输入图像的相机的光轴正交的平面上的基准区域映射算出的法向量来量化算出的法向量,从而获取量化法线方向特征量,基准区域包括与光轴附近对应的中心基准区域以及中心基准区域的周围的基准区域;模板匹配部,基于法向量量化部、模板以及法向量量化部获取的量化法线方向特征量搜索输入图像中的物体的位置并得到对照结果;以及识别结果输出部,基于对照结果输出识别结果。
上述物体识别处理装置中,周围的基准区域也可以含括与将三维的单位球均等分割得到的多个部分对应的多个基准区域。
上述物体识别处理装置中,中心基准区域也可以基于法向量和轴之间的角度Φ设定。
上述物体识别处理装置中,中心基准区域也可以是在角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。
上述物体识别处理装置中,法向量量化部也可以容许量化对象的法向量所属的基准区域的周围的基准区域量化法向量。根据本方面,由于噪声或测量误差,在物体识别时输入图像中的特征点的法向量向本来假设的基准区域的周围的基准区域映射的情况下,也判定该法向量一致,并能够算出对照评分。通过把这样的特征量的鲁棒化安装在物体识别处理装置侧,基于每个物体识别处理装置的固有条件,能够设定容许的周围的基准区域。
关于本发明的其他方面的计算机执行的模板创建方法包括以下步骤:获取表示识别对象的物体的三维形状的三维数据;基于三维数据,算出从对物体设定的预定的视点观测所得的物体的特征点的法向量;通过向与穿过视点的轴正交的平面上的基准区域映射算出的法向量来量化算出的法向量,从而获取量化法线方向特征量,基准区域包括与轴附近对应的中心基准区域以及中心基准区域的周围的基准区域;基于获取的量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及输出创建的模板。
本发明的其他方面的记录介质存储令计算机执行以下步骤的程序:获取表示识别对象的物体的三维形状的三维数据;基于三维数据,算出从对物体设定的预定的视点观测所得的物体的特征点的法向量;通过向与穿过视点的轴正交的平面上的基准区域映射算出的法向量来量化算出的法向量,从而获取量化法线方向特征量,基准区域包括与轴附近对应的中心基准区域以及中心基准区域的周围的基准区域;基于获取的量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及输出创建的模板。
发明效果
根据本发明,提供能够通过使用不易受到与相机光轴之间的角度小的法向量的向量方向的变化的影响的模板提高识别精度的模板创建装置、物体识别处理装置、模板创建方法以及记录介质。
附图说明
图1是示出物体识别装置的整体构成的图。
图2是示出物体识别装置的硬件构成的图。
图3是示出图像处理装置的软件构成的图。
图4是说明量化法向量的概念图。
图5是示出通过模板创建装置执行的模板登录处理的流程的流程图。
图6是示出通过物体识别处理装置执行的物体识别处理的流程的流程图。
图7是说明现有的量化法向量的概念图。
附图标记说明
1…物体识别装置;2…物体;3…托盘;4…PLC;10…图像处理装置;11…相机;12…显示器;13…鼠标;14…储存卡;112…主储存器;114…硬盘;116…相机接口;116a…图像缓存;118…输入接口;120…显示控制器;122…PLC接口;124…通信接口;126…数据读取器/写入器;128…总线;20…模板创建装置;201…三维数据获取部;202…距离图像创建部;203…法向量算出部;204…法向量量化部;205…模板创建部;206…模板信息输出部;30…物体识别处理装置;301…图像获取部;302…法向量算出部;303…法向量量化部;304…模板匹配部;305…识别结果输出部;40…存储装置;401…模板DB。
具体实施方式
参照附图对本发明的实施方式进行说明。以下的实施方式是为了便于对本发明的理解,并非用于限定解释本发明。而且,只要不脱离本发明的宗旨,可以有各种各样的变形。此外,若为本领域技术人员,可以采用将以下叙述的各要素置换为均等的实施方式,相关的实施方式也包括在本发明的范围内。
(物体识别装置的整体构成)
根据本发明的预定的实施方式,在模板匹配中模板的登录处理以及物体识别处理等中,在包括用于量化从对识别对象物体设定的预定的视点观测时的表示图像的特征的数据即穿过模板登录时的视点的轴的附近和获取进行物体识别处理时的识别对象物体的输入图像的相机的光轴的附近所属的法线信息的区域的基准区域中,映射物体的法线信息,获取可识别所映射的基准区域的量化法线方向特征量。由此,能够获取对相机光轴附近的法线信息的测量误差或噪声具有鲁棒性的量化法线方向特征量。在此,参照图1,对本发明的一实施方式的物体识别装置的整体构成以及適用场合进行说明。
物体识别装置1设置在生产线等使用由相机11摄取的图像进行对托盘3内的物体2的识别的系统。识别对象的物体2散装于托盘3上。物体识别装置1由相机11以预定的时间间隔摄取图像,通过图像处理装置10执行识别图像中所包括的各物体2的位置以及姿态的处理,其结果向PLC(可编程逻辑控制器)4或显示器12等输出。物体识别装置1的输出即识别结果,例如利用于拣选机器人的控制、加工装置或印字装置的控制、物体2的检查或测量等。
(硬件构成)
参照图2说明物体识别装置1的硬件构成。一般地,物体识别装置1由相机11和图像处理装置10构成。
相机11是用于图像处理装置10摄取物体2的数字图像的拍摄装置,例如可以适当地使用COMS(Complementary Metal-Oxide-Semiconductor)相机或CCD(Charge-CoupledDevice)相机。分辨率、彩色/黑白、静止图像/影像、灰度、数据形式等的输入图像的形式任意,可以结合物体2的种类或感测的目的适当选择。在将X光图像或热图像等可见光像以外的特殊的图像利用于物体识别或检查的情况下,也可以使用与其图像相配的相机。
图像处理装置10包括相当于硬件处理器的CPU110、作为工作储存器使用的主储存器112、固定存储部即硬盘114、相机接口116、输入接口118、显示控制器120、PLC接口122、通信接口124以及数据读取器/写入器126。这些各部通过总线128互相可以数据通信地连接。
相机接口116是CPU110与相机11之间的数据传送的中介部分,具有用于暂时积存来自相机11的图像数据的图像缓存116a。输入接口118是CPU110与输入部之间的数据传送中介。输入部包括鼠标13、键盘、触控面板、点动控制器等。显示控制器120与液晶监视器等显示器12连接,控制该显示器上的显示。PLC接口122是CPU110与PLC4之间的数据传送中介。通信接口124是CPU110与控制台或者个人计算机、服务器装置等之间的数据传送中介。数据读取器/写入器126是CPU110与记录介质即储存卡14之间的数据传送中介。各接口作为硬件构成,例如通过USB等接口与CPU110连接。
图像处理装置10可以由具有通用构架的计算机构成,CPU110通过读取并执行硬盘114或者储存卡14存储的程序执行各种处理。这样的程序是在储存卡14或光盘等计算机可读记录介质中存储的状态,或者通过网络等提供。本实施方式的程序也可以是作为单个的应用程序提供,也可以作为嵌入其他程序一部分的模块提供。而且,其处理的一部分或者全部也可以由ASIC等专用电路代替。
(软件构成)
图3中,示出图像处理装置10的软件构成。图像处理装置10具备:作为模板创建装置20的处理部、作为物体识别处理装置30的处理部以及存储装置40,CPU110通过读取并执行硬盘114或者储存卡14存储的程序,作为模板创建装置20、物体识别处理装置30运行。而且,存储装置40由硬盘114构成。
模板创建装置20进行利用于物体识别处理的模板创建处理。由模板创建装置20创建的模板被登录至存储装置40的模板数据库(DB)401中。物体识别处理装置30通过对由相机11摄取的图像使用模板DB401中登录的模板执行模板匹配,进行识别图像中的物体的处理。
在此,本说明书中记载的模板是表示识别对象的物体2的图像特征的数据。对模板可以使用任意的形式,例如,可以使用描述图像中的多个特征点的特征量的的数组形式。特征点是指图像中的物体的边界、物体的轮廓线的曲折部以及弯曲部等,示出预先设定的特征的图像坐标上的位置。
模板创建装置20具备:三维数据获取部201、距离图像创建部202、法向量算出部203、法向量量化部204、模板创建部205以及模板信息输出部206。如前所述,CPU110通过读取并执行硬盘114或者储存卡14存储的程序,实现各部的处理。
三维数据获取部201获取表示识别对象的物体2的三维形状的三维数据。三维数据获取部201能够获取识别对象的物体2作为立体图形的能够识别的任意三维数据,本实施方式中用于获取三维CAD数据。三维数据获取部201能够从外部的三维CAD服务器等获取三维CAD数据,也能够从存储装置40获取三维CAD数据。
距离图像创建部202使用三维数据获取部201获取的三维数据创建从对物体2设定的预定的视点观测所得的物体2的距离图像。在三维中的物体识别中,即使是同一个物体,也存在由于视点不同外观不同的情况,距离图像创建部202根据识别对象的物体2的特性创建从任意数量的视点观测所得的物体2的距离图像。
法向量算出部203基于三维数据获取部201获取的三维数据或者距离图像创建部202创建的各视点的距离图像算出从对物体2设定的预定的视点观测所得的物体2的特征点的法向量。法向量算出部203根据特征点的三维数据以及特征点的周围的点的三维数据定义平面,算出定义的平面的法向量。关于特征点的检测以及法向量的算出由于能够利用公知的任意方法,本说明书中省略详细的说明。
法向量量化部204量化法向量算出部203算出的法向量。本实施方式中,法向量量化部204将单位球上的法向量通过向如图4的(b)所示由xy轴组成的二维空间上的基准区域上映射,量化法向量的方向并获取量化法线方向特征量。在此,图4的(a)的角度Φ是法向量A和z轴之间的角度。
图4的(b)的基准区域1~8与把穿过图4的(a)的单位球的中心的XY平面8等分得到的8个部分对应。此外,本实施方式中,基于法向量A和z轴之间的角度Φ设置在相机光轴附近的中心基准区域9。即,基准区域包括中心基准区域9和由以z轴为中心呈放射状等间隔延伸的线段形成的周围的基准区域1~8。本实施方式中,把在角度Φ为10度的情况下求解的、以sinΦ为半径r的圆设为中心基准区域9。如图4的(b)所示,各基准区域中分配有识别基准区域的识别编号,法向量量化部204在基准区域1~9所对应的9位中获取位于法向量所属的基准区域所对应的位的特征量。
本实施方式中,虽然设定以角度Φ为10度的中心基准区域9,但角度Φ可以设定为例如是5度或15度等根据噪声或测量误差可以容许的任意值。而且,本实施方式中,虽然将穿过单位球中心的XY平面8等分,但可以设置为将穿过单位球中心的XY平面12等分得到的基准区域并进一步设置基于角度Φ的中心基准区域13等任意个数的基准区域。如此,通过使用在将穿过单位球中心的XY平面12等分得到的基准区域基础上进一步设置中心基准区域的13位的特征量,同样需要2字节的存储空间,与使用9位的特征量的情况相比较,能够减少由于量化丢失的信息量。
如图4的(b)所示,法向量量化部204量化特征点1的法向量1并获取量化法线方向特征量(010000000)。同样地,法向量量化部204量化特征点2的法向量2并获取量化法线方向特征量(000000100)。同样地,法向量量化部204量化特征点3的法向量3并获取量化法线方向特征量(000000001)。
法向量量化部204在一实施方式中,在容许量化对象的法向量所属的基准区域的周围的基准区域也可以量化法向量。例如,法向量量化部204不仅在法向量所属的基准区域,也可以在与其他基准区域相比较最近的另外一个基准区域上容许量化。
容许基准区域越大越能够达成特征量的鲁棒性,另一方面,容许基准区域如果过大,会引起误识别导致的识别精度低下。因而,期望考虑特征量的鲁棒化以及误识别的折中,进而设定容许的基准区域。
模板创建部205基于法向量量化部204获取的量化法线方向特征量,以每个视点创建模板。模板中可以包括量化法线方向特征量以外的其他任意个数的特征量。
模板信息输出部206将模板创建部205创建的模板登录到存储装置的模板DB401中。
物体识别处理装置30具备:图像获取部301、法向量算出部302、法向量量化部303、模板匹配部304以及识别结果输出部305。如前所述,CPU110通过读取并执行硬盘114或者储存卡14存储的程序,实现各部的处理。
图像获取部301从相机11获取输入图像。输入图像可以是距离图像等能够算出法向量的任意数据。
法向量算出部302在图像获取部301获取的输入图像中,算出特征点的法向量。
法向量量化部303量化法向量算出部302算出的法向量。法向量量化部303利用模板创建时法向量量化部204使用的基准区域,量化法向量并获取量化法线方向特征量。本实施方式中,在将穿过单位球中心的XY平面8等分得到的基准区域中,进一步基于法向量和z轴之间的角度Φ设置中心基准区域9,9个基准区域可以利用。
法向量量化部303与法向量量化部204同样,在一实施方式中,在容许量化对象的法向量所属的基准区域的周围的基准区域也可以量化法向量。对容许周围的基准区域量化法向量的特征量的鲁棒化,可以在模板创建时或者物体识别时中任意时机安装。
模板匹配部304基于模板DB401中登录的模板以及法向量量化部303获取的量化法线方向特征量,搜索输入图像中物体2的位置,得到一个或者多个对照结果。即,模板匹配部304仅对模板DB401中登录的模板的数量程度进行搜索处理。本实施方式中,关于模板DB中登录的全部模板,获得输入图像中识别的物体2的坐标以及按照该坐标的每个示出输入图像和模板之间的图像特征的相似度的对照评分作为对照结果。
识别结果输出部305基于模板匹配部304得到的一个或者多个对照结果,输出最终识别结果。得到多个对照结果的情况下,在本实施方式中,识别结果输出部305关于同一坐标的不同对照结果,决定为对该坐标上识别具有最高对照评分的模板,并输出识别结果。
存储装置40具备模板DB401。模板DB401上存储有各视点的模板。
(模板登录处理)
其次,沿图5的流程图对通过模板创建装置20执行的模板登录处理说明。图5所示的模板登录处理在图像处理装置10从新设置时或识别对象的物体2变更时执行。
步骤S501中,模板创建装置20的三维数据获取部201获取识别对象的物体2的三维数据。例如,本实施方式中,三维数据获取部201获取来自外部的三维CAD服务器的三维CAD数据。
其次,在步骤S502中,模板创建装置20的距离图像创建部202使用三维数据获取部201获取的三维数据,创建从对物体设定的预定的视点观测所得的物体的距离图像。本实施方式中,距离图像创建部202在以物体2为中心的假想的1280面体的642个顶点上配置视点,创建从各视点观测所得的物体的距离图像。
进而,在S503中,模板创建装置20的法向量算出部203基于距离图像创建部202创建的各视点的距离图像,算出从对物体设定的预定的视点观测所得的物体2的特征点的法向量。本实施方式中,法向量算出部203基于距离图像创建部202创建的642个视点的各距离图像算出特定的视点观测所得的物体2的特征点的法向量。如前所述,替代的实施方式中,也可以基于三维数据获取部201获取的三维数据,算出特定的视点观测所得的物体2的特征点的法向量。
在S504中,法向量量化部204量化法向量算出部203算出的法向量。本实施方式中,法向量量化部204通过将单位球上的法向量向如图4的(b)所示由xy轴组成的二维空间上的基准区域上映射,量化法向量的方向并获取量化法线方向特征量。在此,图4的(a)的角度Φ是法向量A和z轴之间的角度。本实施方式中,在将穿过单位球的中心的XY平面8等分得到的基准区域中,进一步设置在角度Φ为10度的情况下的以sinΦ为半径r的中心基准区域9,有9个基准区域可以利用。即,基准区域包括中心基准区域9以及由以z轴为中心呈放射状等间隔延伸的线段形成的周围的基准区域1~8。
其后,在S505中,模板创建装置20的模板创建部205基于法向量量化部204获取的量化法线方向特征量对每个视点创建模板。本实施方式中,模板创建部205对创建的距离图像的642个视点中的每个视点创建模板。
最后,在S506中,模板创建装置20的模板信息输出部206将模板创建部205创建的模板登录到存储装置的模板DB401中。本实施方式中,模板创建部205对每个视点将在S504中获取的描述多个特征点的量化法线方向特征量的数组形式的数据登录到模板DB401中。
(物体识别处理)
其次,沿图6的流程图对通过物体识别处理装置30执行的物体识别处理说明。
在步骤S601中,物体识别处理装置30的图像获取部301从相机11获取输入图像。其次,在步骤S602中,物体识别处理装置30的法向量算出部302根据图像获取部301获取的输入图像算出特征点的法向量。
进而,在S603中,物体识别处理装置30的法向量量化部303量化法向量算出部302算出的法向量。法向量量化部303利用模板创建时在S504中法向量量化部204使用的基准区域,量化法向量并获取量化法线方向特征量。本实施方式中,法向量量化部303在将穿过单位球的中心的XY平面8等分得到的基准区域上进一步设置基于法向量和z轴之间的角度Φ的中心基准区域9,利用9个基准区域。
之后,在步骤S604中,物体识别处理装置30的模板匹配部304基于模板DB401中登录的模板以及法向量量化部303获取的量化法线方向特征量,搜索输入图像中物体2的位置,得到一个或者多个对照结果。即,模板匹配部304仅对模板DB401中登录的模板的数量程度进行搜索处理。本实施方式中,关于模板DB中登录的642个模板,获得输入图像中识别的物体2的坐标以及按照该坐标的每个示出输入图像和模板之间的图像特征的相似度的对照评分作为对照结果。
最后,在步骤S605中,物体识别处理装置30的识别结果输出部305将模板匹配部304得到的一个或者多个对照结果统一,输出最终识别结果。本实施方式中,关于从642个模板得到的642个对照结果,在同一坐标输出不同对照结果的情况下,识别结果输出部305决定为对该坐标上识别具有最高对照评分的模板,并输出识别结果。
(附加的实施方式)
附加的实施方式中,模板创建装置20的法向量量化部204在S504中,在容许量化对象的法向量所属的基准区域的周围的基准区域也可以量化法向量。例如,法向量量化部204对于图4的(b)的法向量1,并非仅在法向量1所属的基准区域2,与其他基准区域相比较,从法向量1的终点到基准区域为止的最短距离最短的基准区域3同样容许量化,能够获取量化法线方向特征量(011000000)。同样地,法向量量化部204量化法向量2,并获取量化法线方向特征量(000001100),量化法向量3,能够获取量化法线方向特征量(100000001)。
这样,即使由于噪声或测量误差而在物体识别时的S603中获取(001000000)作为与输入图像中的特征点1的法向量1对应的特征量的情况下,在S604中模板匹配部304也判定法向量1一致,并能够算出对照评分。
本实施方式中,对法向量量化部204不仅在法向量所属的基准区域进行量化、在与其他基准区域相比较最近的另外一个基准区域上也容许量化的例进行了说明,但在替代的实施方式中,也可以在与其他基准区域相比较最近的上位的另外两个基准区域上容许量化。而且,法向量量化部204并非对所有的法向量一致地容许另外的基准区域量化,从法向量的终点到其他基准区域为止的最短距离在预定的阈值以下的情况等,仅在满足预定条件的情况下,也可以在其他基准区域容许量化。
此外,本实施方式中,对模板创建装置20的法向量量化部204安装特征量的鲁棒化的例进行了说明,但在替代实施方式中,代替模板创建装置20的法向量量化部204,也可以由物体识别处理装置30的法向量量化部303实现特征量的鲁棒化。通过特征量的鲁棒化安装在模板创建装置侧,能够不增大物体识别时的处理负荷来设定容许的周围的基准区域。另一方面,通过特征量的鲁棒化安装在物体识别处理装置侧,基于每个物体识别处理装置的固有条件,能够设定容许的周围的基准区域。通过在模板创建时或者物体识别时中的任意的时机安装能够达成特征量的鲁棒化,但本发明不妨碍在模板创建时以及物体识别时的两方安装特征量的鲁棒化。
本说明书中说明的实施各处理的程序也可以存储在记录介质中。通过使用此记录介质,在图像处理装置10上能够安装上述程序。在此,存储上述程序的记录介质也可以是非暂时性记录介质。对非暂时性记录介质没有特别限定,例如也可以是CD-ROM等记录介质。
而且,上述的实施方式的一部分或者全部,也可以记载为如以下附录,但不限于以下。
(附录1)
一种模板创建装置,具备至少一个存储器以及与上述存储器连接的至少一个硬件处理器,上述硬件处理器获取表示识别对象的物体的三维形状的三维数据,基于上述三维数据,算出从对上述物体设定的预定的视点观测所得的上述物体的特征点的法向量,通过向与穿过上述视点的轴正交的平面上的基准区域映射算出的上述法向量来量化算出的上述法向量,从而获取量化法线方向特征量,上述基准区域包括与上述轴的附近对应的中心基准区域以及上述中心基准区域的周围的基准区域,基于获取的上述量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板,输出创建的上述模板。
(附录2)
一种模板创建方法,通过至少一个以上的硬件处理器,获取表示识别对象的物体的三维形状的三维数据,通过上述硬件处理器基于上述三维数据,算出从对上述物体设定的预定的视点观测所得的上述物体的特征点的法向量,通过上述硬件处理器,通过向与穿过上述视点的轴正交的平面上的基准区域映射算出的上述法向量来量化算出的上述法向量,从而获取量化法线方向特征量,上述基准区域包括与上述轴的附近对应的中心基准区域以及上述中心基准区域的周围的基准区域,通过上述硬件处理器,基于获取的上述量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板,通过上述硬件处理器,输出创建的上述模板。
Claims (8)
1.一种模板创建装置,其特征在于,具备:
三维数据获取部,获取表示识别对象的物体的三维形状的三维数据;
法向量算出部,基于所述三维数据,算出从对所述物体设定的预定的视点观测所得的所述物体的特征点的法向量;
法向量量化部,通过向与穿过所述视点的轴正交的平面上的基准区域映射算出的所述法向量来量化算出的所述法向量,从而获取量化法线方向特征量,所述基准区域包括与所述轴的附近对应的中心基准区域和所述中心基准区域的周围的基准区域,所述周围的基准区域由以所述轴为中心呈放射状等间隔延伸的线段形成;
模板创建部,基于获取的所述量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及
模板信息输出部,输出创建的所述模板,
所述中心基准区域基于法向量和所述轴之间的角度Φ设定,
所述中心基准区域是在所述角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。
2.根据权利要求1所述的模板创建装置,其特征在于,
所述周围的基准区域包括与将三维的单位球均等分割得到的多个部分对应的多个基准区域。
3.根据权利要求1所述的模板创建装置,其特征在于,
所述法向量量化部也容许量化对象的法向量所属的基准区域的周围的基准区域量化所述法向量。
4.一种物体识别处理装置,使用模板进行物体的识别,所述物体识别处理装置的特征在于,具备:
图像获取部,获取输入图像;
法向量算出部,根据所述输入图像算出特征点的法向量;
法向量量化部,通过向与获取了所述输入图像的相机的光轴正交的平面上的基准区域映射算出的所述法向量来量化算出的所述法向量,从而获取量化法线方向特征量,所述基准区域包括与所述光轴的附近对应的中心基准区域和所述中心基准区域的周围的基准区域,所述周围的基准区域由以所述光轴为中心呈放射状等间隔延伸的线段形成;
模板匹配部,基于所述模板和所述法向量量化部获取的量化法线方向特征量,搜索所述输入图像中的所述物体的位置,获得对照结果;以及
识别结果输出部,输出基于所述对照结果的识别结果,
所述中心基准区域基于法向量和所述光轴之间的角度Φ设定,所述中心基准区域是在所述角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。
5.根据权利要求4所述的物体识别处理装置,其特征在于,
所述周围的基准区域包括与将三维的单位球均等分割得到的多个部分对应的多个基准区域。
6.根据权利要求4所述的物体识别处理装置,其特征在于,
所述法向量量化部也容许量化对象的法向量所属的基准区域的周围的基准区域量化所述法向量。
7.一种模板创建方法,由计算机执行,所述模板创建方法的特征在于,包括以下步骤:
获取表示识别对象的物体的三维形状的三维数据;
基于所述三维数据,算出从对所述物体设定的预定的视点观测所得的所述物体的特征点的法向量;
通过向与穿过所述视点的轴正交的平面上的基准区域映射算出的所述法向量来量化算出的所述法向量,从而获取量化法线方向特征量,所述基准区域包括与所述轴的附近对应的中心基准区域和所述中心基准区域的周围的基准区域,所述周围的基准区域由以所述轴为中心呈放射状等间隔延伸的线段形成;
基于获取的所述量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及
输出创建的所述模板,
所述中心基准区域基于法向量和所述轴之间的角度Φ设定,
所述中心基准区域是在所述角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。
8.一种记录介质,其特征在于,存储令计算机执行以下步骤的程序:
获取表示识别对象的物体的三维形状的三维数据;
基于所述三维数据,算出从对所述物体设定的预定的视点观测所得的所述物体的特征点的法向量;
通过向与穿过所述视点的轴正交的平面上的基准区域映射算出的所述法向量来量化算出的所述法向量,从而获取量化法线方向特征量,所述基准区域包括与所述轴的附近对应的中心基准区域以及所述中心基准区域的周围的基准区域,所述周围的基准区域由以所述轴为中心呈放射状等间隔延伸的线段形成;
基于获取的所述量化法线方向特征量,对每个视点创建通过模板匹配进行物体识别所用的模板;以及
输出创建的所述模板,
所述中心基准区域基于法向量和所述轴之间的角度Φ设定,
所述中心基准区域是在所述角度Φ为预定的角度的情况下求得的以sinΦ为半径的圆。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017182517A JP6889865B2 (ja) | 2017-09-22 | 2017-09-22 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム |
JP2017-182517 | 2017-09-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109543705A CN109543705A (zh) | 2019-03-29 |
CN109543705B true CN109543705B (zh) | 2023-05-12 |
Family
ID=62948018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810759087.9A Active CN109543705B (zh) | 2017-09-22 | 2018-07-11 | 模板创建装置及方法、物体识别处理装置以及记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10776657B2 (zh) |
EP (1) | EP3460715B1 (zh) |
JP (1) | JP6889865B2 (zh) |
CN (1) | CN109543705B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6968342B2 (ja) * | 2017-12-25 | 2021-11-17 | オムロン株式会社 | 物体認識処理装置、物体認識処理方法及びプログラム |
CN110472538B (zh) * | 2019-07-31 | 2023-06-06 | 河南冠图信息科技有限公司 | 一种电子图纸的图像识别方法、存储介质 |
US11023770B2 (en) | 2019-09-23 | 2021-06-01 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for obtaining templates for tessellated images |
WO2021210513A1 (ja) * | 2020-04-13 | 2021-10-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
CN112033307B (zh) * | 2020-07-15 | 2021-08-03 | 成都飞机工业(集团)有限责任公司 | 一种法矢测量装置 |
CN112101448B (zh) * | 2020-09-10 | 2021-09-21 | 敬科(深圳)机器人科技有限公司 | 一种屏幕图像识别方法、设备、系统和可读存储介质 |
CN112179353B (zh) * | 2020-09-30 | 2023-07-18 | 深圳银星智能集团股份有限公司 | 自移动机器人的定位方法、装置、机器人及可读存储介质 |
JP2023001984A (ja) * | 2021-06-22 | 2023-01-10 | コニカミノルタ株式会社 | 対象物認識装置およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021569A (zh) * | 2013-02-28 | 2014-09-03 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
JP2015173344A (ja) * | 2014-03-11 | 2015-10-01 | 三菱電機株式会社 | 物体認識装置 |
JP2015225453A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
CN105574063A (zh) * | 2015-08-24 | 2016-05-11 | 西安电子科技大学 | 基于视觉显著性的图像检索方法 |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
WO2016175150A1 (ja) * | 2015-04-28 | 2016-11-03 | オムロン株式会社 | テンプレート作成装置及びテンプレート作成方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5271031B2 (ja) | 2008-08-09 | 2013-08-21 | 株式会社キーエンス | 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
JP5254893B2 (ja) * | 2009-06-26 | 2013-08-07 | キヤノン株式会社 | 画像変換方法及び装置並びにパターン識別方法及び装置 |
US8774510B2 (en) * | 2012-09-11 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Template matching with histogram of gradient orientations |
JP2015079374A (ja) | 2013-10-17 | 2015-04-23 | セイコーエプソン株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット |
US9412176B2 (en) * | 2014-05-06 | 2016-08-09 | Nant Holdings Ip, Llc | Image-based feature detection using edge vectors |
CN107683460B (zh) * | 2015-05-05 | 2022-01-28 | 凯恩迪股份有限公司 | 在传统处理器上模拟量子样计算的quanton表示 |
JP6968342B2 (ja) * | 2017-12-25 | 2021-11-17 | オムロン株式会社 | 物体認識処理装置、物体認識処理方法及びプログラム |
-
2017
- 2017-09-22 JP JP2017182517A patent/JP6889865B2/ja active Active
-
2018
- 2018-07-11 CN CN201810759087.9A patent/CN109543705B/zh active Active
- 2018-07-12 EP EP18183172.8A patent/EP3460715B1/en active Active
- 2018-07-13 US US16/034,450 patent/US10776657B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021569A (zh) * | 2013-02-28 | 2014-09-03 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
JP2015173344A (ja) * | 2014-03-11 | 2015-10-01 | 三菱電機株式会社 | 物体認識装置 |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
JP2015225453A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
WO2016175150A1 (ja) * | 2015-04-28 | 2016-11-03 | オムロン株式会社 | テンプレート作成装置及びテンプレート作成方法 |
CN105574063A (zh) * | 2015-08-24 | 2016-05-11 | 西安电子科技大学 | 基于视觉显著性的图像检索方法 |
Non-Patent Citations (1)
Title |
---|
Recognizing Objects in Range Data Using;Andrea Frome ET AL;《ECCV 2004》;20040101;全文 * |
Also Published As
Publication number | Publication date |
---|---|
JP2019057227A (ja) | 2019-04-11 |
US10776657B2 (en) | 2020-09-15 |
EP3460715B1 (en) | 2023-08-23 |
EP3460715A1 (en) | 2019-03-27 |
CN109543705A (zh) | 2019-03-29 |
US20190095749A1 (en) | 2019-03-28 |
JP6889865B2 (ja) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543705B (zh) | 模板创建装置及方法、物体识别处理装置以及记录介质 | |
CN110411441B (zh) | 用于多模态映射和定位的系统和方法 | |
CN108573471B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
US10366307B2 (en) | Coarse-to-fine search method, image processing device and recording medium | |
EP3502958B1 (en) | Object recognition processing apparatus, object recognition processing method, and program | |
CN107430776B (zh) | 模板制作装置和模板制作方法 | |
CN109934869B (zh) | 位置姿势推断装置、位置姿势推断方法及记录介质 | |
JP2018151748A (ja) | 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム | |
WO2011115143A1 (en) | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus | |
KR102386444B1 (ko) | 이미지 심도 결정 방법 및 생체 식별 방법, 회로, 디바이스, 및 매체 | |
CN110782531A (zh) | 处理三维点云数据的方法和计算设备 | |
EP2680223A1 (en) | Feature point matching device, feature point matching method, and non-temporary computer-readable medium having feature point matching program stored thereon | |
US10623629B2 (en) | Imaging apparatus and imaging condition setting method and program | |
CN111951211B (zh) | 一种目标检测方法、装置及计算机可读存储介质 | |
JP6118976B2 (ja) | 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム | |
JP7574642B2 (ja) | 位置合わせ装置、位置合わせシステム、位置合わせ方法およびプログラム | |
JP6218237B2 (ja) | 撮影画像を平行化する画像変換プログラム、装置及び方法 | |
CN110399892B (zh) | 环境特征提取方法和装置 | |
JP6384961B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 | |
KR20240003944A (ko) | 3d 얼굴 랜드마크의 정합을 통한 안면 대칭성 분석 방법 및 장치 | |
CN115861428A (zh) | 一种位姿测量方法、装置、设备及存储介质 | |
JP2017076260A (ja) | 画像処理装置 | |
JP2018055173A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |