CN107138431B - 一种基于机器视觉的零部件识别分选方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的零部件识别分选方法及系统，集合外观检测和识别分选，选用两个机械手，一个作为图像采集，另一个集成了相机和多种吸盘，用于对小零部件的引导定位和吸取，能够快速准确地定位和抓取被测零件。能够实现对各种不同尺寸汽车零部件的检选，适用性更广。并降低了普通机械手对于不同零部件抓取编程的难度，可操作性强。

Description

一种基于机器视觉的零部件识别分选方法及系统

技术领域

本发明涉及零部件识别领域，具体地指一种基于机器视觉的零部件识别分选方法及系统。

背景技术

随着工业的迅速发展，劳动量越来越大。在大批量的零部件分拣的生产过程中，用人力方式进行零部件的分拣的质量效率低且精度不高，难以满足工业要求。而机器视觉的检测方法则可以大批量的分拣零部件产品，大大提高了生产效率和生产的自动化程度。

目前，基于机器人视觉的零部件判别方法主要为在传送带两侧或上方安置工业相机，通过对在传送带上传送的零部件进行拍照采集图像，或由夹具、机械手抓取到相机前进行拍摄，再由主控计算机进行零部件图像的预处理和特征提取，并与模板库匹配，从而完成零部件种类的识别。

国内的高校以及科研单位针对基于机器视觉的零部件检测方法的相关专利有：

申请号为201510607834.3的发明申请“精冲零部件缺陷智能在线检测方法”采用传送带传送零部件到拍摄区域，再配合基于机器视觉的方法完成检测，仅用传送带，精冲零件的成像效果并不理想，易造成漏拍或成像模糊；

申请号为201510973877.3的发明申请“一种基于机器视觉的小微型轴类部件尺寸在线检测装置”采用可移动相机底座移动相机来对零部件进行拍摄检测，其侧重点在于单片机的控制；

申请号为201210124176.9的发明申请“一种基于机器视觉的零部件表面缺陷检测方法及装置”采用夹具夹取零部件至相机前拍摄，配合基于机器视觉的方法完成检测，仅用夹具，对于零部件的尺寸有很大限制，且夹具会造成成像干扰。如需进行各尺寸零部件的检测，则需更换夹具，增加了成本；

申请号为201610365672.1的发明申请“一种多机械手垃圾分选控制系统”采用传送带传送垃圾到拍摄区域，处理分类，后由多个机械手进行分类放置，传送带上的动拍摄成像，对于小垃圾的成像效果不理想。

综述，仅用相机对在传送带上的零部件进行拍摄，对于小零部件，其成像面积小，传送带存在的零部件跑偏以及其本身的磨损、划伤、搭接开裂等问题，很容易造成工业相机对小零部件漏拍或拍不全等问题，同时传送带运动状态下对于小零部件的拍摄效果影响较大。仅用机械手爪或夹具抓取给相机进行拍摄，对于不同尺寸范围的零部件则需要不同大小的机械手爪或夹具，增加了成本。同时零部件成像面积小，机械手爪或夹具抓取会对其成像造成干扰，也会对零部件表面造成损伤。

发明内容

本发明就是针对现有技术的不足，提供了一种测量和抓取准确、可操作性强的基于机器视觉的零部件识别分选方法及系统。

为了实现上述目的，本发明所设计的基于机器视觉的零部件识别分选方法，其特殊之处在于，包括以下步骤：

S1 采集样本零部件图像，对样本零部件图像进行特征提取并建立零部件模板库；

S2 判断待检测零部件是否到达检测区域，并且判断零部件的属性，具体包括大小、磁性以及非磁性，其中，小零部件指尺寸在直径为200mm圆所形成的面积之内的零部件，且重量小于1000N，其余为大零部件；

S3 对待检测零部件进行图像采集和特征提取：大零部件直接进行图像采集和特征提取；磁性小零部件采用磁性吸盘吸取后进行图像采集和特征提取；非磁性小零部件采用真空吸盘吸取后再进行图像采集和特征提取；其中，图像采集采用装有工业相机的机械手实现；小零部件的吸取采用装有磁性吸盘、真空吸盘和工业相机的另一机械手实现；

S4 将待检测零部件图像与模板库图像进行匹配，确认零部件种类及品质；

S5 将确认种类及品质的零部件输送至对应的置放区域，完成零部件的分类。

进一步地，为保证检测质量，所述步骤S1和S3中的样本零部件和待检测零部件的图像采集条件和特征提取方式均相同。

更进一步地，所述步骤S3中图像采集的机械手上还设置有环形光源，也是为了保证检测质量。

再进一步地，所述步骤S5的具体过程为：合格的大零部件随传送带到达大零部件分类区域，并由对应的大零部件分类传送带传输；合格小零部件由另一机械手直接进行放置；残次品随传送带达到末端进行回收。

一种基于机器视觉的零部件识别分选系统，其特殊之处在于：包括主控计算机、传送带、传感器、一号机械手、二号机械手、小零部件分类区、分类推送传感器、分类推送光电传感器、大零部件分类传送带，所述传送带上设定有待检测区域和大零部件处理区域，所述传感器设置在待检测区域，所述一号机械手和二号机械手设置在传送带两侧，均位于待检测区域，所述一号机械手用于采集零部件图像信息，所述二号机械手用于吸取及置放小零部件；所述大零部件处理区域位于待检测区域下游，所述大零部件处理区域包括分类推送传感器、分类推送光电传感器和大零部件分类传送带，所述分类推送传感器、分类推送光电传感器设置在传送带一侧，所述大零部件分类传送带位于传送带另一侧，与分类推送光电传感器对应，所述传送带、传感器、一号机械手、二号机械手、分类推送传感器和分类推送光电传感器均由主控计算机控制。

优选地，所述传送带端头还设置有零部件回收处理装置。

本发明的优点在于：

1、本发明能集合外观检测和识别分选，其中外观检测能够判断零部件的质量是否存在问题，弥补人眼的不足，功能集成度高。同时该方法设计配套机构，能够实现对各种不同尺寸汽车零部件的检选，适用性更广。

2、本发明选用两个机械手，一个作为图像采集，另一个集成了相机和多种吸盘，用于对小零部件的引导定位和吸取，能够快速准确地定位和抓取被测零件。

3、本发明对大型零部件图像直接进行采集，对于小型零部件，其成像面积小，用吸盘吸取对准相机进行静拍摄，拍摄效果优于在传送带上对其进行动拍摄，且吸盘吸取零部件不会对其成像造成干扰，也不会对其表面造成抓取损伤，并降低了普通机械手对于不同零部件抓取编程的难度，可操作性强。

附图说明

图1为本发明基于机器视觉的零部件识别分选方法的整体工作流程图。

图2为本发明基于机器视觉的零部件识别分选系统的整体布局结构示意图。

图3为本发明的信息判断决策流程图。

图4为对小零部件判别的工作示意图。

图5为对大零部件判别的工作示意图。

图6为二号机械手的局部图。

图中：传分类推送传感器1、分类推送光电传感器2、传送带3、零部件回收处理装置4、大零部件分类传送带5，机械手运动区域范围6、环形光源7、一号机械手8、传感器9、零部件10、二号机械手11、磁性吸盘11.1、真空吸盘11.2、二号工业相机11.3、小零部件分类区12、主控计算机13。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细描述：

图中所示基于机器视觉的零部件识别分选方法，包括以下步骤：

S1 采集样本零部件图像，对样本零部件图像进行特征提取并建立零部件模板库；

S2 判断待检测零部件是否到达检测区域，并且判断零部件的属性，具体包括大小、磁性以及非磁性；

S3 对待检测零部件进行图像采集和特征提取：大零部件直接进行图像采集和特征提取；磁性小零部件采用磁性吸盘吸取后进行图像采集和特征提取；非磁性小零部件采用真空吸盘吸取后再进行图像采集和特征提取；其中，图像采集采用装有工业相机的机械手实现；小零部件的吸取采用装有磁性吸盘、真空吸盘和工业相机的另一机械手实现。小零部件定义为尺寸在直径为200mm圆所形成的面积之内的零部件，即零部件绕其几何中心旋转一周所形成的圆的面积小于直径为200mm的圆的面积，重量小于1000N。其余定义为大零部件。为保证拍摄质量，在图像采集用得机械手上加装环形光源。

S4 将待检测零部件图像与模板库图像进行匹配，确认零部件种类及品质；采用基于二值化图像技术的模板匹配的方法，对每个模板库图像建立一个标准模板Ti，待识别图像为X，在模板图像和待识别图像中,二值化后的前景目标像素值设为1,背景像素值设为0,模板图像和待识别图像的尺寸均为M×N，将待识别图像逐个与模板匹配，求出其相似度Si，

对于不同的待识别图像X和标准模板图像Ti上值同时为“1”的点的数目是不同的，所以该比值Si是不同的。设置拒识阈值λ，若Si＜λ，则判定若Si≥λ，则判定X∈Ti。

若对于所有模板都有Si＜λ，则判定该零部件的质量有问题；若对于多个模板都有Si≥λ，则取匹配度最高的作为输出，完成零部件种类判别。

S5将确认种类及品质的零部件输送至对应的置放区域，完成零部件的分类。具体为：合格的大零部件随传送带到达大零部件分类区域，并由对应的大零部件分类传送带传输；合格小零部件由另一机械手直接进行放置；残次品随传送带达到末端进行回收。

其中，以上步骤S1和S3中的样本零部件和待检测零部件的图像采集条件和特征提取方式均相同。模板库图像的拍摄环境条件、光照、拍摄高度与输入图像相同，小零部件根据其吸取面、大零部件根据其俯拍面的不同选取不同的位姿一一进行拍摄，从而使模板库尽可能详尽，且保证相近零部件存在细部差异的表面信息能被相机抓取。零部件的支持面是有限的，能放置在传送带上供拍摄或者吸取的位置也是有限，所以对于小零部件的吸取面，大零部件的俯拍面，制备模板库的时候都根据不同的位姿一一拍摄，尽可能详尽。工业相机对零部件的定位采用相机配套软件自带的边缘检测方法，检测到零部件大致的轮廓边缘之后，知道其放置状态，根据其放置面来吸取或拍摄。

本发明中，模板库中的图像采用和输入图像一样的方法进行图像预处理以提取图像特征。图像预处理主要包括图像增强、滤波去噪、图像分割和边缘检测，将图像与背景分离出来，针对目标对象进行特征参数提取。采用模板匹配的方法完成零部件种类判别。

一种基于机器视觉的零部件识别分选系统，包括主控计算机13、传送带3、传感器9、一号机械手8、二号机械手11、小零部件分类区12、分类推送传感器1、分类推送光电传感器2、大零部件分类传送带5，传送带3上设定有待检测区域和大零部件处理区域，传感器9设置在待检测区域，一号机械8手和二号机械手11设置在传送带3两侧，均位于待检测区域，大零部件处理区域位于待检测区域下游，大零部件处理区域包括分类推送传感器1、分类推送光电传感器2和大零部件分类传送带5，分类推送传感器1、分类推送光电传感器2设置在传送带3一侧，大零部件分类传送带5位于传送带3另一侧，与分类推送光电传感器2对应，传送带3、传感器9、一号机械手8、二号机械手11、分类推送传感器1和分类推送光电传感器2均由主控计算机控制。传送带3端头还设置有零部件回收处理装置4。一号机械手8上装有工业相机，且机械手爪后布有环形光源7，二号机械手11上装有一个磁性吸盘，一个真空吸盘和一个工业相机。二号机械手11的圆形电磁吸盘选用的型号为ZYE1-P100/40，其圆盘大径为100mm，小径为42mm，功率为15w，吸引力为1200N，自重为1900N。真空吸盘选用的型号为ZP100HS，其吸盘直径为100mm，吸盘类型为重载型，材料为硅橡胶。小零部件定义为尺寸在直径为200mm圆所形成的面积之内的零部件，即零部件绕其几何中心旋转一周所形成的圆的面积小于直径为200mm的圆的面积，重量小于1000N。其余定义为大零部件。

以下采用具体实施例对发明进行进一步阐述，图2所示的二号机械手11的圆形电磁吸盘选用的型号为ZYE1-P100/40，其圆盘大径为100mm，小径为42mm，功率为15w，吸引力为1200N，自重为1900N。真空吸盘选用的型号为ZP100HS，其吸盘直径为100mm，吸盘类型为重载型，材料为硅橡胶。

一号机械手8和二号机械手11的工作区域均为半径为R的圆，R＝1m，如图2所示，机械手运动区域范围6。传送带的传送速度为0～4m/s，优选速度为0.2m/s，宽度在400mm～800mm之间，长度在3000mm～4000mm之间，厚度为10mm。传送带3一端的上料间隔时间为t，t完成一个零部件检测识别及分类放置所需要的总时间。设置上料时间间隔，可避免出现机械手工作不协调、漏检等情况。

如图2和图3所示，传送带3上靠近机械手端设置传感器9以判断零部件10的大小、磁性、非磁性以及是否达到待检测区域，并由工业相机实现零部件的精确定位和拍摄。具体过程如下：若判断为大的磁性或非磁性零部件，如图5所示，则采用一号机械手8直接在传送带3上对其拍摄采集图像，大型零件拍摄可多张拼接进行识别；若判断为小的磁性零部件，如图4和6所示，则采用二号机械手11上的磁性吸盘11.1和二号工业相机11.3对其进行定位并吸取，再将其与一号机械手8上夹持的工业相机对准拍摄采集图像；若判断为小的非磁性零部件，如图4和6所示，则将二号机械手11上的磁性吸盘11.1更换为真空吸盘11.2，然后对零部件进行定位并吸取，再将此零部件与一号机械手8上夹持的工业相机对准拍摄采集图像。

如图1所示，将一号机械手8上的工业相机拍摄采集图像作为输入图像输入主控计算机13。

主控计算机对采集的图像从图像增强、滤波去噪，图像分割，边缘检测三方面依次进行预处理，将图像与背景分离出来，针对目标对象进行特征参数提取。一般提取的特征主要包括形态特征、灰度特征、纹理特征，可采用二值化图像技术，即将目标部分的灰度值置为最大，而将背景部分的灰度值置为最小，通常置为零。

模板库图像的拍摄环境条件、光照、拍摄高度与待检测零部件的输入图像相同，小零部件根据其吸取面、大零部件根据其俯拍面的不同选取不同的位姿一一进行拍摄，从而使模板库尽可能详尽，且保证相近零部件存在细部差异的表面信息能被相机抓取。模板库中的图像采用和输入图像一样的方法进行图像预处理以提取图像特征。

采用基于二值化图像技术的模板匹配的方法，对每个模板库图像建立一个标准模板Ti，待识别图像为X，在模板图像和待识别图像中，二值化后的前景目标像素值设为1，背景像素值设为0，他们的图像尺寸大小均为M×N，将待识别图像逐个与模板匹配，求出其相似度Si，

对于不同的待识别图像X和标准模板图像Ti上值同时为“1”的点的数目是不同的，所以该比值是不同的。设置拒识阈值λ，若Si＜λ，则判定若Si≥λ，则判定X∈Ti。若对于所有模板都有Si＜λ，则判定该零部件的质量有问题，如图1和2所示，有质量问题的零部件直接传送到传送带末端回收处理；若对于多个模板都有Si≥λ，则取匹配度最高的作为输出，完成零部件种类判别。如图2和3所示，大型零部件直接由传送带末端的分类推送光电传感器和分类推送装置配合进行分类，然后由大零部件分类传送带输送至置放区域。小型零部件则由二号机械手的底座旋转一定的角度至指定识别区域，再将其上吸取着的小型零部件分类放下。

本发明采用一号机械手和二号机械手配合工作，不仅能够快速准确的引导和定位被测零件，实现柔性的对各种尺寸汽车零部件外观缺陷及精度识别检测，同时配合主控计算机智能分析处理系统，能够对采集的信息进行智能判断和分选，且不需要因零部件尺寸不同而更换不同的机械手夹具，节约了成本。同时对小型零部件采用吸盘式机械手吸取的方法，既不会造成成像干扰，也不会对零部件表面造成抓取损伤，并降低了普通机械手对于不同零部件抓取编程的难度，可操作性强。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可以轻易的想到变化或替换，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于机器视觉的零部件识别分选方法，其特征在于，包括以下步骤：

S1采集样本零部件图像，对样本零部件图像进行特征提取并建立零部件模板库；

S2判断待检测零部件是否到达检测区域，并且判断零部件的属性，具体包括大小、磁性以及非磁性，其中，小零部件指尺寸在直径为200mm圆所形成的面积之内的零部件，且重量小于1000N，其余为大零部件；

S3对待检测零部件进行图像采集和特征提取：大零部件直接进行图像采集和特征提取；磁性小零部件采用磁性吸盘吸取后进行图像采集和特征提取；非磁性小零部件采用真空吸盘吸取后再进行图像采集和特征提取；其中，图像采集采用装有工业相机的机械手实现；小零部件的吸取采用装有磁性吸盘、真空吸盘和工业相机的另一机械手实现；

S4将待检测零部件图像与模板库图像进行匹配，确认零部件种类及品质；

S5将确认种类及品质的零部件输送至对应的置放区域，完成零部件的分类。

2.根据权利要求1所述的基于机器视觉的零部件识别分选方法，其特征在于：所述步骤S1和S3中的样本零部件和待检测零部件的图像采集条件和特征提取方式均相同。

3.根据权利要求2所述的基于机器视觉的零部件识别分选方法，其特征在于：所述步骤S3中图像采集的机械手上还设置有环形光源。

4.根据权利要求3所述的基于机器视觉的零部件识别分选方法，其特征在于：所述步骤S5的具体过程为：合格的大零部件随传送带到达大零部件分类区域，并由对应的大零部件分类传送带传输；合格小零部件由另一机械手直接进行放置；残次品随传送带达到末端进行回收。

5.一种基于机器视觉的零部件识别分选系统，其特征在于：包括主控计算机、传送带、传感器、一号机械手、二号机械手、小零部件分类区、分类推送传感器、分类推送光电传感器、大零部件分类传送带，所述传送带上设定有待检测区域和大零部件处理区域，所述传感器设置在待检测区域，所述一号机械手和二号机械手设置在传送带两侧，均位于待检测区域，所述一号机械手用于采集零部件图像信息，所述二号机械手用于吸取及置放小零部件；所述大零部件处理区域位于待检测区域下游，所述大零部件处理区域包括分类推送传感器、分类推送光电传感器和大零部件分类传送带，所述分类推送传感器、分类推送光电传感器设置在传送带一侧，所述大零部件分类传送带位于传送带另一侧，与分类推送光电传感器对应，所述传送带、传感器、一号机械手、二号机械手、分类推送传感器和分类推送光电传感器均由主控计算机控制。

6.根据权利要求5所述的基于机器视觉的零部件识别分选系统，其特征在于：所述传送带端头还设置有零部件回收处理装置。

7.根据权利要求5所述的基于机器视觉的零部件识别分选系统，其特征在于：所述一号机械手上设置有工业相机，所述二号机械手上设置有磁性吸盘、真空吸盘和工业相机。