CN105195438B - 基于图像识别的嵌入式自动珍珠分拣器及分拣方法 - Google Patents

Abstract

本发明提供一种基于图像识别的嵌入式自动珍珠分拣器及其分拣方法，通过摄像头采集珍珠图像，经过核心处理模块对图像进行处理，由像素点对应实际几何面积的比例计算得到珍珠的大小；从图像中珍珠的有效像素的RGB值中得到珍珠的颜色；计算珍珠边界重心代替圆心计算，用遍历法找到目标的最大和最小半径，以此判断珍珠的圆度，然后输出分拣控制命令使得珍珠分拣机构自动按照设定的分类标准对珍珠进行分类，并将分类的结果数据保存。所述基于图像识别的嵌入式自动珍珠分拣器及分拣方法，能够实现把混杂的珍珠样品按照设定的标准进行分类，并把分拣的珍珠自动分送到不同的槽内，同时将分拣结果送到上位机监控软件显示。

Description

基于图像识别的嵌入式自动珍珠分拣器及分拣方法

技术领域

本发明涉及一种分拣装置，尤其是涉及一种基于图像识别的嵌入式自动珍珠分拣器及分拣方法。

背景技术

目前珍珠加工行业中珍珠分拣，几乎都是由人工完成的落后情况，以及国内外该领域没有现成的珍珠自动分拣设备的现状。珍珠作为非平面的球体目标，表面具有一定的弧度，要根据大小、形状、光洁、瑕疵和颜色分级，必须获得珍珠整个球体表面的图像，因此，检测一颗珍珠并对其进行有效分级需要获取珍珠图像并对其分析后才能进行分级。本系统结合图像处理和自动化控制技术制作了一种新型的、小巧的、价廉的、自动的珍珠分拣器。

发明内容

本发明提供了一种基于图像识别的嵌入式自动珍珠分拣器及分拣方法，解决了珍珠分拣的问题，其技术方案如下所述：

一种基于图像识别的嵌入式自动珍珠分拣器，包括基座，以及核心处理模块和与其相连接的图像采集模块、分拣执行机构、人机交换界面、数据存储和监控机构，所述图像采集模块采用彩色摄像头，所述分拣执行机构包括用于装载和释放珍珠颗粒的舵机、用于把珍珠移动到正确的分类位置减速电机。

还设置有光线补偿装置，所述光线补偿装置包括光线采集装置和光线输出控制装置，所述光线采集装置包括均匀分布的光敏电阻，所述光线输出控制装置包括均匀设置的LED，用于对视场光线补偿，通过调节核心处理模块的PWM输出脉冲宽度来调节光强。

所述人机交换界面包括通过FSMC接口连接的单片机与彩屏LCD，以及按键和触摸屏。

所述分拣执行机构上方设置有定位条，通过设置红外对管检测定位条的状态，通过读取红外对管的状态得到珍珠分拣机构的位置。

所述分拣执行机构还包括设置有齿条的滑竿，用于配合减速电机的转动。

一种基于图像识别的嵌入式自动珍珠分拣方法，包括下列步骤：

(1)通过图像采集模块采集珍珠图像，所述图像采集模块采用彩色摄像头；

(2)经过核心处理模块对图像进行处理，判断珍珠的大小、颜色、圆度，输出分拣控制命令；

(3)使珍珠分拣机构自动按照设定的分类标准对珍珠进行分类，并将分类的结果数据保存。

进一步的，步骤(2)中，图像处理方法如下所述，

①由摄像头的像素点对应实际几何面积的比例计算得到珍珠的大小；

②从图像中珍珠的有效像素的RGB值中得到珍珠的颜色；

③计算珍珠边界重心代替圆心计算，用遍历法找到目标的最大和最小半径，以此判断珍珠的圆度。

进一步的，步骤①中，所述彩色摄像头对固定大小区域进行图像采集，使得摄像头的每个像素点与区域面积有固定的比例关系。

进一步的，步骤①、③中计算珍珠的大小与形状，所述珍珠的彩色图像需要依次进行RGB转灰度值、图像滤波、图像二值化处理、边沿提取、边沿八领域跟踪步骤。

进一步的，在珍珠分拣机构的上方设置有定位条，并设置有检测定位条状态的红外对管，通过红外对管定位珍珠分拣机构的位置，控制珍珠分拣机构的减速电机左右移动。

所述基于图像识别的嵌入式自动珍珠分拣器及分拣方法，能够实现把混杂的珍珠样品按照设定的标准进行分类，并把分拣的珍珠自动分送到不同的槽内，同时将分拣结果送到上位机监控软件显示。

附图说明

图1是所述基于图像识别的嵌入式自动珍珠分拣器的功能框图；

图2是所述基于图像识别的嵌入式自动珍珠分拣器的结构示意图；

图3是所述分拣执行机构的结构示意图；

图4是所述基于图像识别的嵌入式自动珍珠分拣方法的流程图；

图5是所述八连通轮廓跟踪法的示意图。

具体实施方式

所述基于图像识别的嵌入式自动珍珠分拣器，包括核心处理模块和与其相连接的图像采集模块、分拣执行机构、人机交换界面、数据存储和监控机构，图1为所述基于图像识别的嵌入式自动珍珠分拣器的功能框图。

其中，图像采集模块使用的是OV7670彩色摄像头和STM32F407单片机组成。因为本系统需要对珍珠的颜色进行识别，要求摄像头能够识别颜色。该摄像头与单片机的接口是SCCB接口和DCMI8位模式接口。SCCB是单片机控制摄像头的接口，单片机通过该接口配置摄像头的寄存器，使得摄像头按照需要的设置模式输出。DCMI是STM32F407提供的摄像头接口，本设计采用8位模式。

所述单片机的DCMI接口与摄像头连接，通过SCCB协议对摄像头进行控制，使其输出系统达到需要的图片格式。为了使得采集到的图片像素更多、质量更高。把摄像头配置为565RGB彩色输出格式。DCMI接口中根据摄像头反馈回来的像素中断、行中断以及场中断对图片帧进行分离。使用单片机的DMA通道把图片数据传送到存储机构中。在图像存储时，本设计把图片存储为JPEG的格式。在系统设计时考虑到光线的分布对图像采集的质量有很大影响，因此本系统在设计时采用了图像实时光线反馈补偿机制，减少外界光线的变化对图像采集造成影响。

核心处理模块是指由STM32F407单片机以及其外围电路组成的模块电路，在系统中主要起到处理各个外设的控制和图像处理输出的作用。STM32F407是基于Contex-M4架构带FPU单片机，具有资源丰富，运算速度快等优点，因此被选做控制核心芯片，系统运行主频168MHz。

人机交换界面有通过FSMC接口连接的单片机与彩屏LCD以及三个轻触按键和触摸屏组成。其在系统中的主要作用是显示系统状态和调整参数。在系统运行时把采集的图像实时显示到液晶显示器上，可以实时观察采集图像的质量。液晶显示LCD通过FSMC接口与单片机相连接，FSMC的全称是“静态存储控制器”。在STM32F407单片机中设置该接口方便用户外扩存储器等，TFT液晶中利用RAM作为数据显示的缓冲区。通过读写该缓冲区的数据达到更新液晶显示的目的。

数据存储机构有与单片机通过SDIO接口连接的SD卡组成。在系统中主要起到图像文件存储以及分拣结果历史数据存储的作用。在DCMI接口的缓冲区中的数据通过单片机的DMI通道可以直接传送到SDIO的缓冲区，然后再利用SDIO将数据存放到SD卡中。为了更方便地管理文件数据。本移植了系统keil自带系统RTX中的Fatfs文件管理系统。

监控机构是把珍珠分拣器的分拣结果写入SD卡中，当系统连接监控上位机时再通过RS232接口把数据上送电脑，利用上位机监控软件生成分拣结果报表。这有利于在生产生活中大批量珍珠各种级别含量的统计，为后面提高珍珠质量提供数据支持。

单片机通过DCMI接口采集图像信息，分析处理后得到珍珠分级信息。根据珍珠的分级信息给步进电机、舵机和减速电机输出控制命令，实现珍珠自动分拣。分拣位置反馈用于定位当前执行机构的位置，每个等级的珍珠都对应唯一的输出位置，以此实现不同等级珍珠的分离。

系统中设置有光线补偿装置，其包括光线采集装置和光线输出控制装置两部分电路。本设计中，光线采集装置使用的是四个均匀分布的光敏电阻。通过一个偏置电阻后接到单片机AD输入，通过读取单片机AD值的来判断光线的强弱。光线输出控制装置是由四个强光的LED组成，通过一个达林顿管ULN2003接到单片机的PWM输出端，通过调节单片机的PWM输出脉冲宽度来调节光强。

通过加入光线闭环控制自动调整图像视场的光线，使得系统在相对均匀、稳定的光线采集图像，高质量的图像是准确识别珍珠大小、形状和颜色的有力保证。LCD显示器和3个轻触按键是系统的人机交互机制。

如图2所示，所述基于图像识别的嵌入式自动珍珠分拣器包括液晶显示器1、珍珠传送带的滚筒2、步进电机3、核心处理模块4、摄像头5、珍珠传送带6、传送带搭载平台7。系统工作时，步进电机3转动使得传送带6的珍珠向前移动进入图像采集视场，核心处理模块4通过处理采集的图像可以获知珍珠进入视场的情况。如果有珍珠进入视场则步进电机3停止转动，系统分析后获取珍珠等级信息。处理完后步进电机3启动，将珍珠送到珍珠分拣机构中。

如图3所示，所述分拣执行机构的示意图中，其中8为减速电机定位条，其下部设置有珍珠盘，11为减速电机，下部设置有舵机，12为珍珠分类格，9为直径3mm的滑竿，10为模数为0.5的齿条的滑竿，以上各装置位于基座上。系统工作时，珍珠分拣执行机构首先处于默认状态，即减速电机11处于中点，珍珠盘朝上。然后减速电机11转动，在齿条上形成横线水平运动，使得珍珠分拣机构达到珍珠的分级位置，舵机驱动珍珠盘转动180度使得珍珠落下，一个机械周期完成。

本珍珠分拣器通过三个红外对管定位珍珠分拣机构的位置，把珍珠分为7类需要定义7个以上的位置。本系统设计时在分拣机构的上方设置了定位条。检测定位条的八个状态需要3个红外对管，通过读取红外对管的状态得到珍珠分拣机构的位置。从而控制减速电机的左移动或是右移动。

图4是本发明的分拣方法，首先系统初始化，判断有无珍珠进入视场，对进入视场的珍珠进行光线补偿，然后在获取珍珠图像后进行图像处理，计算珍珠的大小、颜色和形状，在通过分拣执行装置进行分拣处理。

本发明利用彩色摄像头OV7670对固定大小区域进行图像采集，使得摄像头的每个像素点与区域面积有固定的比例关系。计算珍珠占图像像素点的数量，通过比例关系对应得到珍珠的形状与大小。通过读取图像的RGB比例值，得到珍珠的颜色。实现了对珍珠大小、形状还有颜色进行识别，按照设定的标准将珍珠分成若干个等级。

所述光线补偿控制是由于光线对采集图像的质量有很大的影响，因此本珍珠分拣器在设计时使用了主动光线补偿，目的是调节摄像头视场光强使得采集的每一帧图像处于类似的环境之下，从而保证珍珠图像的质量。

本分拣器中使用均匀分布的四个光敏电阻收集视场光线情况，利用四个可调光的强光LED补光。使系统系统光线控制形成闭环控制，达到较好的控光效果。在软件控制上，通过实验，可以得到光强控制在1200Lux时，所采集的图像质量最好。

利用单片机读取光敏电阻的AD值，由电路设计可知AD值越大光线越暗，光强为 1200Lux时对应的AD值是800。本设计采用的是PID算法控制光强，把AD值设定目标值与采集 的AD值进行比较得到光线误差，将误差代入下面I 比。

其中Kp为比例因子，Ki为积分因子，Kd为微分因子，e(n)为当前误差，e(n-1)为历史误差。

目前，市场上对珍珠进行分类一般依据珍珠颗粒的大小、圆度和色彩。下表是GB/T18781-2008标准关于珍珠等级分类的部分描述，从表中可以得到珍珠的形状分类标准时依照直径差百分比的，其定义为：最大直径与最小直径的平均之比。

珍珠形状参数如表所示：

因此为了计算珍珠的形状，需要获取珍珠的边缘信息，计算圆心，利用圆心到边缘的各点距离得到最大直径与最小直径。通过计算二值化后的珍珠图像的像素点个数进行单位转换后既可得到珍珠的大小，获取原图像珍珠中多个像素点的RGB值平均后得到珍珠的颜色信息。

系统摄像头采集到的图像是彩色的，为了方便计算珍珠形状大小。需要把RGB彩色图像转化为灰度值。所述摄像头的有效像素为640*320，本分拣器中图像像素个数与珍珠大小的比例为196∶1。

图像滤波的目的是滤除图像的噪点，通常使用空域滤波或频域滤波。空域滤波指的是对原图像按照某种运算方式进行滤波，频域滤波则需要将图像变换到频域上在进行滤波。本珍珠分拣器中的图像通常出现的噪点有：数据传输不理想存在的热噪声、PCB总线干扰存在的白噪声、光强变化引起的椒盐噪声。综合考虑，本发明采用滤波窗口为3*3的中值滤波算法对珍珠原图像进行滤波。其计算方法如下：

(1)将滤波窗口的像素点的灰度值按照顺序排列；

(2)把排列后的中间值作为滤波窗口中间像素点的值；

(3)移动滤波窗口直到整幅图像完成。

图像二值化主要是为了将目标图像从图像中分离出来。通常是选取特定的阈值t，对图像进行一下运算：

f(i，j)是二值化后的第(i，j)个像素，F(i，j)是对应原图像的灰度值。可以看到阈值是影响图像分离效果的关键因素，它决定了处理后目标轮廓是否真实反映原图像的目标轮廓，如阈值过大，运算后的轮廓会缩小，阈值过小，运算后的目标轮廓扩大。在图像处理中，选取阈值的方法一般有：状态法(峰谷法)，判断分析法，最佳熵自动阈值法最小误差分割法等。对于本系统，珍珠是放在蓝底的背景中，珍珠的颜色通常为白色、黑色或者其他的杂色，所以目标图像与背景图像会形成像素聚集。所以本文选用峰谷法作为计算阈值。

边沿是图像中像素有阶跃变化或屋顶状变化的像素的集合。所以可以通过梯度算子找到。常用的梯度算子有Roberts梯度算子，Prewitt算子，Sobel算子，拉普拉斯算子，马尔算子，Canny边缘检测算子等。本发明采用一阶梯度算子，该算法简单可靠。

边沿跟踪是对检测出来的边缘像素的坐标进行跟踪记录，得到目标的边沿信息。边沿提取通常有爬虫法、光栅扫描法、八连通轮廓跟踪法。本文采用基于图像方向八连通轮廓跟踪法获八邻域方向环取珍珠的边沿信息，从而计算珍珠的圆心。对于连续边界的目标图像，利用能描述曲线的方向，提供八邻域的搜索起始点。八邻域方向环的原理的以当前的像素点为八邻域的中心，八邻域的每个像素都对应着一个链码。如图5所示，A为当前像素，A0，A1，A2，A3，A4，A5，A6，A7为该像素相邻的像素。图中箭头就表示该像素的八链码。由连续的定义可知，每次搜索点的链码不可能存在突变，因此，可得到以下的搜索方案：

(1)从左到右，从上到下搜索图像的第一个不为0的点。并记录该点的坐标信息为Sk(i，j)k＝0；开始x＝6；

(2)以Sk为八领域的中心点，以Ax为起始搜索点，逆时针搜索不为0的点。记下与Sk的相对位置n；

(3)判断Sk的坐标是否与S0相同。若是，本次搜索结束；

(4)记录Sk+n的位置信息，k＝k+n。并根据n的值确定下次搜索的起始点，对应关系为，x＝n+6，如果x超过7，x的值减去8，返回步骤(2)。

然后实现珍珠的分拣执行功能，首先从系统中获取珍珠的分拣信息，读取珍珠分拣机构当前的位置，将珍珠分拣机构移动到默认位置。系统驱动珍珠图像采集视场传送带把珍珠传送到珍珠分拣执行机构舵机前的盒子中。驱动减速电机根据分拣信息左移或者右移达到珍珠需要的分拣位置，驱动舵机旋转放下珍珠，一个分拣循环完成。

可见，单片机把采集的图像数据存储到SD卡和显示到LCD中，对图像进行截取有效图像、去噪、二值化等操作后计算珍珠的大小、形状，获取珍珠的颜色，并依据设定的标准将珍珠分级。并操作珍珠分拣机构的减速电机和舵机按照等级将混杂的珍珠自动进行分类。并通过RS232串口将分类结果上送电脑上位机。在图像采集过程中，为了避免外界光线对图像质量产生影响，本设计利用光敏电阻对采集区域周围的光线进行反馈。使用高亮度LED灯对视场光线补偿，使得视场光线在一个相对稳定的值，保证采集的图像有效、可靠。

本发明利用单片机采集、处理珍珠图形获得珍珠等级，按照设定的分类标准将珍珠自动分类。验证了珍珠大小、形状识别算法在单片机嵌入式系统中运行的可行性，使得机器代替人工分拣珍珠成为可能。本发明创新性在于：设计了一套比较完整的珍珠分拣机械结构；选用单片机作为图像处理的核心单元；珍珠识别算法的学习、研究和移植；增加图像视场光线补偿功能；添加了上位机监控、分拣结果统计功能，使得分拣器工作更加人性化。

Claims (5)

1.一种基于图像识别的嵌入式自动珍珠分拣器，其特征在于：包括基座，以及核心处理模块和与其相连接的图像采集模块、分拣执行机构、人机交换界面、数据存储和监控机构；

所述图像采集模块采用彩色摄像头，所述彩色摄像头对固定大小区域进行图像采集，使得摄像头的每个像素点与区域面积有固定的比例关系；

所述分拣执行机构包括用于装载和释放珍珠颗粒的舵机、用于把珍珠移动到正确的分类位置减速电机；所述分拣执行机构上方设置有定位条，通过设置红外对管检测定位条的状态，通过读取红外对管的状态得到珍珠分拣机构的位置，所述分拣执行机构还包括设置有齿条的滑竿，用于配合减速电机的转动，把珍珠分为7类需要定义7个以上的位置；

还设置有光线补偿装置，所述光线补偿装置包括光线采集装置和光线输出控制装置，所述光线采集装置包括均匀分布的光敏电阻，所述光线输出控制装置包括均匀设置的LED，用于对视场光线补偿，通过调节核心处理模块的PWM输出脉冲宽度来调节光强；通过采用光线闭环控制自动调整图像视场的光线；

所述光线补偿装置采用PID算法控制光强，把光敏电阻AD值设定目标值与采集的AD值进行比较得到光线误差，将误差代入下面：

其中，k_p为比例因子，k_i为积分因子，k_d为微分因子，e(n)为当前误差，e(n-1)为历史误差；

核心处理模块采用STM32F407单片机以及其外围电路组成的模块电路；

数据存储和监控机构分为数据存储机构和监控机构，所述数据存储机构与单片机通过SDIO接口连接，所述SDIO接口处设置有缓冲区，用于图像文件存储以及分拣结果历史数据存储；所述监控机构用于把珍珠分拣器的分拣结果写入到数据存储机构中，并能够利用上位机监控软件生成分拣结果报表。

2.根据权利要求1所述的基于图像识别的嵌入式自动珍珠分拣器，其特征在于：所述人机交换界面包括通过FSMC接口连接的单片机与彩屏LCD，以及按键和触摸屏。

3.利用权利要求1所述的分拣器进行的基于图像识别的嵌入式自动珍珠分拣方法，包括下列步骤：

(1)首先系统初始化，判断有无珍珠进入视场，通过图像采集模块采集珍珠图像，所述图像采集模块采用彩色摄像头；所述步骤(1)还包括使用光线补偿装置实现光线补光；所述光线补偿装置包括光线采集装置和光线输出控制装置，所述光线采集装置包括均匀分布的光敏电阻，所述光线输出控制装置包括均匀设置的LED，用于对视场光线补偿，通过调节核心处理模块的PWM输出脉冲宽度来调节光强；通过采用光线闭环控制自动调整图像视场的光线；

所述光线补偿装置采用PID算法控制光强，把光敏电阻AD值设定目标值与采集的AD值进行比较得到光线误差，将误差代入下面：

其中，k_p为比例因子，k_i为积分因子，k_d为微分因子，e(n)为当前误差，e(n-1)为历史误差；

(2)经过核心处理模块对图像进行处理，判断珍珠的大小、颜色、圆度，所述珍珠的彩色图像需要依次进行RGB转灰度值、图像滤波、图像二值化处理、边沿提取、边沿八领域跟踪步骤，输出分拣控制命令；

其中，处理方法包括：①由摄像头的像素点对应实际几何面积的比例计算得到珍珠的大小；

②从图像中珍珠的有效像素的RGB值中得到珍珠的颜色；

③计算珍珠边界重心代替圆心计算，用遍历法找到目标的最大和最小半径，以此判断珍珠的圆度；

(3)使珍珠分拣机构自动按照设定的分类标准对珍珠进行分类，并将分类的结果数据保存，数据存储和监控机构分为数据存储机构和监控机构，所述数据存储机构与单片机通过SDIO接口连接，所述SDIO接口处设置有缓冲区，用于图像文件存储以及分拣结果历史数据存储；所述监控机构用于把珍珠分拣器的分拣结果写入到数据存储机构中，并能够利用上位机监控软件生成分拣结果报表。

4.根据权利要求3所述的基于图像识别的嵌入式自动珍珠分拣方法，其特征在于：步骤①中，所述彩色摄像头对固定大小区域进行图像采集，使得摄像头的每个像素点与区域面积有固定的比例关系。

5.根据权利要求4所述的基于图像识别的嵌入式自动珍珠分拣方法，其特征在于：在珍珠分拣机构的上方设置有定位条，并设置有检测定位条状态的红外对管，通过红外对管定位珍珠分拣机构的位置，控制珍珠分拣机构的减速电机左右移动。