CN113145492B - 一种用于梨外观品质视觉分级方法及分级生产线 - Google Patents
一种用于梨外观品质视觉分级方法及分级生产线 Download PDFInfo
- Publication number
- CN113145492B CN113145492B CN202110525021.5A CN202110525021A CN113145492B CN 113145492 B CN113145492 B CN 113145492B CN 202110525021 A CN202110525021 A CN 202110525021A CN 113145492 B CN113145492 B CN 113145492B
- Authority
- CN
- China
- Prior art keywords
- pear
- grading
- image
- conveyor belt
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000014443 Pyrus communis Nutrition 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 241000220324 Pyrus Species 0.000 claims abstract description 199
- 230000007547 defect Effects 0.000 claims abstract description 95
- 235000021017 pears Nutrition 0.000 claims abstract description 56
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003066 decision tree Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 25
- 229910000831 Steel Inorganic materials 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 20
- 239000010959 steel Substances 0.000 claims description 20
- 230000006854 communication Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 4
- 229910052782 aluminium Inorganic materials 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 241000238631 Hexapoda Species 0.000 claims description 2
- 206010042496 Sunburn Diseases 0.000 claims description 2
- 238000005299 abrasion Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 2
- 238000010992 reflux Methods 0.000 claims 4
- 230000002950 deficient Effects 0.000 claims 3
- 208000034656 Contusions Diseases 0.000 claims 1
- 230000001133 acceleration Effects 0.000 claims 1
- 239000011359 shock absorbing material Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 17
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010003401 Arthropod scratch Diseases 0.000 description 1
- 239000004831 Hot glue Substances 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 240000002547 Rosa roxburghii Species 0.000 description 1
- 235000000640 Rosa roxburghii Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000021022 fresh fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 230000009347 mechanical transmission Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明为一种用于梨外观品质视觉分级方法及分级生产线，该方法能够通过特征值反映样本的果形、色泽、缺陷种类和缺陷面积等信息，并根据特征的特点选择合适的机器学习模型作为分类器对上述各类信息做准确的预测，最后将这些信息输入到用于决策层面的决策树中，模拟人的决策分类过程，得到分级结果；整个分级过程使用多模型融合的方法，针对性的处理各类信息，避免过拟合现象的发生，使得处理的结果更加准确，提高了检测效率和检测精度，满足流水线上快速准确检测的要求。该方法用于环形生产线上梨的快速分级，通过特征融合对梨进行分级，其识别率预计可以达到95％以上。适用于不同种类梨的外观品质分级。
Description
技术领域
本发明涉及梨外观品质检测以及分级技术领域，具体是一种用于梨外观品质视觉分级方法及分级生产线。
背景技术
水果外观品质检测及自动分级对提高鲜食水果的市场竞争力和利润水平具有重要意义，梨作为最常见的水果之一，对其外观品质进行检测是十分必要的。目前梨外观品质检测方法主要为人工检测，该种方法会消耗大量的人力资源并且分级的主观性较强，准确度和效率都较为低下；机器视觉检测以无接触、无损伤、自动化程度高和安全可靠等突出优点，已成功应用于柑橘和苹果外观检测中，因此将机器视觉用于梨外观品质检测是可行的。
中华人民共和国国家标准GB/T 10650-2008《鲜梨》，该标准为现行有效状态，将梨的外观品质分为了三个等级优等、一等、二等，分级依据为梨的果形、色泽、单果重、果面缺陷等特征，其中果面缺陷的种类和面积是分级标准中最重要的指标，由此可以用视觉检测出梨表面的缺陷种类和面积，再根据国家标准分级。
专利号CN201621138384.4的文献公开了一种刺梨分级机，包括依次设置的上游组输送滚筒、下游组输送滚筒和驱动输送滚筒转动的电机，上游组输送滚筒中相邻两滚筒之间的距离为20mm，下游组输送滚筒中相邻两滚筒之间的距离为35mm，上游组输送滚筒和下游组输送滚筒的下方均设置有收集槽。该装置结构简单，并且效率较高。但是该装置只是根据刺梨的尺寸特征进行分级，分级准确度较低，且不能满足对梨外观品质分级的需求。
现有的分级装置只能在同一个时间段内对一个梨进行分级，无法实现高效连续的分级执行，使用挡板推送梨，使梨直接从平台上滑落，期间发生碰撞，会对梨造成二次损伤，且现有分级装置没有明确指出分级标准，不能确定分级是否符合国家标准，分级准确性有待提高。
发明内容
针对现有的研究方向的空缺和技术方面的不足，本发明拟解决的技术问题是，提供一种用于梨外观品质视觉分级方法及分级生产线。
本发明解决所述技术问题的技术方案是，提供一种用于梨外观品质视觉分级方法，该方法包括以下内容；
获取待分级水果梨的彩色图像，得到样本梨图像，大量样本梨图像形成样本梨图像库；
对样本梨图像进行处理提取梨外表面图像，大量的梨外表面图像组成梨外表面图像数据库；
获取梨外表面图像数据库中梨外表面图像的傅里叶描述子，以傅里叶描述子为输入，以梨表面轮廓的实际评价为输出，训练人工神经网络模型，获得分类器1；
提取梨外表面图像数据库中梨外表面图像的B、G和R三个分量，计算B、G和R三个分量矩阵的二阶矩，得到3×1维的特征矩阵，以特征矩阵为输入，以梨表面色泽的实际评价为输出，训练朴素贝叶斯模型，获得分类器2；
对梨外表面图像数据库中的梨外表面图像进行亮度校正，获得样本梨的亮度校正图像，大量的亮度校正图像形成亮度校正图像库；
对亮度校正图像库中的亮度校正图像进行分割处理后获得样本梨的缺陷图像，大量的样本梨的缺陷图像形成缺陷图像库；
提取缺陷图像库中缺陷图像的Hu不变矩、傅里叶描述子、灰度共生矩，将这三种特征作为输入，以缺陷的实际种类作为输出，训练另一个人工神经网络，获得分类器3；同时计算每个缺陷图像中表面缺陷的面积；
将分类器1的结果、分类器2的结果、分类器3所有缺陷种类个数依次形成一个决策向量，设分类器3所有缺陷种类个数为x，则决策向量的长度为x+2；在决策向量中，缺陷种类个数所对应的位置填入的是该样本确定的缺陷种类所对应的样本梨的表面缺陷的面积，其余缺陷种类位置填入0；以决策向量为输入，以按照国家标准对样本梨的实际级别作为输出，训练决策树，获得分类器4；
利用训练好的分类器1、分类器2、分类器3及分类器4实现对梨外观品质的分级。
该方法用于环形生产线上梨的快速分级，通过特征融合对梨进行分级，其识别率可以达到95％以上。适用于不同种类梨的外观品质分级。
一种用于梨外观品质视觉分级生产线，其特征在于，用于梨外观品质视觉分级生产线，其特征在于，该生产线包括传送带机械结构、上位机、图像采集系统、传送带驱动系统、分级执行系统、PLC和通信系统；
传送带机械结构是生产线的主体机械结构，起运输样本梨到不同功能区域的作用，整个传送带机械结构形成一个环形的回流式传送带；
传送带驱动系统用于驱动环形的回流式传送带的启动、停止、减速及增速、匀速状态；
所述上位机直接控制图像采集系统中的CCD工业相机，实现图像采集，用于获取梨的外表面图像；上位机通过通信系统与PLC通信，给PLC发送指令，使PLC控制传送带驱动系统和分级执行系统，达到控制整个生产线的目的；
上位机内加载有梨外观品质视觉分级方法，分级结果在上位机的显示屏中显示，同时发送给PLC；
所述分级执行系统包括推拉式电磁铁、电磁铁固定架和分级槽，推拉式电磁铁和电磁铁固定架固定在图像采集系统后方的回流式传送带上；分级槽具有多个通道，内部粘贴缓震材料，分级槽放置在推拉式电磁铁的对侧，每个推拉式电磁铁对准一个通道，每个通道对应一个分级等级，记为一个分级区域；推拉式电磁铁与PLC连接，PLC在接收到上位机发送的分级结果后，使能对应等级的推拉式电磁铁，进而将样本梨送入指定的分级区域。
整个传送带机械结构由两条直线传送带和两个转向机构成，形成一个环形的回流式传送带，两条直线传送带和两个转向机分别由一个步进电机驱动，多个步进电机均受PLC控制，实现同步，两条直线传送带和两个转向机通过传动机构形成环形的回流式传送带，整条环形传送带同步运转，整个环形传送带用支架架起，同时图像采集系统、传送带驱动系统和分级执行系统也安装在支架上；
所述上位机为python制作的GUI界面，界面包括功能按钮、信息显示和图像显示等区域，用户可以用该界面操控生产线、获取设备信息、查看采集图像和分级结果；上位机直接控制图像采集系统中的CCD工业相机，实现图像采集，用于获取梨的外表面图像；上位机通过通信系统与PLC通信，给PLC发送指令，使PLC控制传送带驱动系统和分级执行系统，达到控制整个装置的目的；采集的梨的外表面图像在上位机内经过预处理、特征提取、机器学习分类等运算，得到样本梨的分级结果，在显示栏中显示，并通过通信系统发送给PLC；
所述图像采集系统起采集样本梨外表面图像的作用，系统包括CCD工业相机、镜头、LED环形光源、图像采集箱和电源适配器，电源适配器为图像采集系统供电使环形光源正常工作，环形光源为图像采集系统提供均匀的亮度；图像采集箱放置在传送带的支架上，图像采集箱的框架与第一条直线传送带的支架通过螺钉紧固；框架的表面安装黑色亚克力板，隔绝外部光线减小图像采集时受到的干扰；CCD工业相机选用彩色数字CCD工业相机，能够获取样本梨表面的更多特征，将其与镜头连接，能够在有效距离内获取清晰的图像；工业相机的接口为千兆网口，使用网线与上位机的网线接口连接；
所述传送带驱动系统包括电机控制器，以PLC作为驱动系统的控制器实现电路的逻辑控制和时序控制；电机控制器与PLC连接，PLC在接收到上位机发送的驱动指令后，向电机控制器提供指令信号，电机控制器产生驱动步进电机的波形并且提供有效电压，实现对步进电机的控制；
所述分级执行系统包括推拉式电磁铁、电磁铁固定架和分级槽，推拉式电磁铁和电磁铁固定架固定在第一条直线传送带上；分级槽是由亚克力板制成的槽形区域，分级槽具有多个通道，内部粘贴缓震材料用于缓冲碰撞，分级槽放置在推拉式电磁铁的对侧，每个推拉式电磁铁对准一个通道，每个通道对应一个分级等级，记为一个分级区域；推拉式电磁铁与PLC连接，PLC在接收到上位机发送的分级结果后，使能对应等级的推拉式电磁铁，进而将样本梨送入指定的分级区域；
所述通信系统使用ZigBee、蓝牙、wifi等无线通信方式，采用ZigBee形式时，上位机所在的计算机和PLC挂载ZigBee通信模块，通过ZigBee协议实现上位机和PLC的通信，通信内容为上位机向PLC发送的驱动指令、分级结果和PLC向上位机发送的图像采集指令；
所述CCD相机型号为MV-EM200C，CCD相机感光面积为4.8mm×3.6mm；所述镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm；所述LED环形光源型号为HDR-90-45；所述PLC型号为西门子S7-200SMART，CPU为ST40，输入I/O为24个，输出I/O为16个；所述电机控制器型号为TB6600，额定电流4.2A，细分数为6400；所述步进电机型号为57BYG250C，步进角为1.8°，扭矩为1.8N·m；所述推拉式电磁铁行程为60mm，推力为100N。
与现有技术相比，本发明有益效果在于：
(1)本发明分级方法的分级思路适用于国家标准GB/T 10650-2008《鲜梨》，能够通过特征值反映样本的果形、色泽、缺陷种类和缺陷面积等信息，并根据特征的特点选择合适的机器学习模型作为分类器对上述各类信息做准确的预测，最后将这些信息输入到用于决策层面的决策树中，模拟人的决策分类过程，得到分级结果；整个分级过程使用多模型融合的方法，针对性的处理各类信息，避免过拟合现象的发生，使得处理的结果更加准确，提高了检测效率和检测精度，满足流水线上快速准确检测的要求。
(2)本发明分级生产线采用了水平设置的推拉式电磁铁推送的分级机构，控制简单，执行迅速，提高了分级效率，适用于对分级速度有一定要求的实际工作环境，并且在推拉式电磁铁和分级区域加装了缓冲材质，有效减小水果二次机械损伤；使用槽钢固定传送带的滚轮，使得传送带松紧可以调节，保持传送带长时间稳定运行，提高了生产效率；采集箱使用黑色亚克力板作为箱壁，保证图像采集不受外界光照影响，进一步保证了采集图像的准确性。
(3)本发明分级生产线融合机械传动、传感检测、嵌入式、图像处理与模式识别等技术于一体，功能完整，能够实现一套完整的生产过程。
(4)本发明分级方法能够获得完整清晰的梨外观缺陷区域，充分考虑视觉检测获得的特征对神经网络算法识别效果(主要指准确率)的影响，及生产线快速检测的需求，能够识别出梨较为复杂的外观信息，包括本身颜色、均匀性和表面斑点等干扰因素。
附图说明
图1为本发明用于梨外观品质视觉分级生产线的整体结构示意图；
图2为本发明用于梨外观品质视觉分级生产线的整体结构主视图；
图3为本发明用于梨外观品质视觉分级生产线的整体结构侧视图；
图4为本发明用于梨外观品质视觉分级生产线的整体结构俯视图；
图5为本发明用于梨外观品质视觉分级生产线中图像采集系统的安装位置示意图；
图6为本发明用于梨外观品质视觉分级生产线中分级执行系统的示意图；
图7为本发明用于梨外观品质视觉分级生产线中直线传送带的安装结构示意图；
图8为本发明用于梨外观品质视觉分级生产线中转向机的结构示意图；
图9为本发明用于梨外观品质视觉分级生产线的控制结构示意图；
图10为本发明用于梨外观品质视觉分级方法的流程示意图；
图中：1、图像采集箱；2、承托盘；3、转向机；4、直线传送带；5、分级槽；6、推拉式电磁铁；7、电磁铁固定架；8、电机固定架；9、链条；10、步进电机；11、链轮；101、采集箱框架；102、黑色亚克力板；103、CCD工业相机；301、转向机皮带；302、转向机支架；303、转向机滚轮；401、槽钢；402、固定片；403、传送带滚轮；404、传送带支架；405、传送带皮带；406、直角连接件；501、分级槽挡板；502、分级槽支架。
具体实施方式
下面给出本发明的具体实施例。具体实施方式仅用于进一步详细说明本发明，不限制本申请的保护范围。
本发明用于梨外观品质视觉分级方法，该分级方法适用于国家标准GB/T 10650-2008《鲜梨》，该分级方法的步骤是：
第一步：通过工业相机获取待分级的水果梨的图像，得到样本梨图像组成样本梨图像库，样本梨图像库中的样本数量为N，N为大于200的整数；
第二步：随机选取样本梨图像库中超过一半的图像，作为训练集，剩余作为测试集，对图像进行灰度变换得到原图像的灰度图，之后使用大津法(OTSU)自动选取合适的阈值对灰度图进行二值化THRESH_BINARY处理，使图像中灰度小于阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到可以分离样本梨表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图片相乘，提取梨外表面的图像，大量的梨外表面图像组成梨外表面图像数据库；
第三步：利用梨外表面的几何特征判断样本梨果形的标准程度，计算梨外表面图像的傅里叶描述子：
对梨外表面图像数据库中的梨外表面图像提取轮廓，设梨外表面的轮廓是一个有K个点的数字边界，则从边界的任意一点(x0,y0)开始，以逆时针方向在该边界上行进，会遇到坐标对(x1,y1),(x2,y2),…,(xK-1,yK-1)，将这些坐标表示为x(k)＝xk y(k)＝yk的形式。在这种表示形式下，边界表示为坐标序列s(k)＝[x(k),y(k)],k＝0,1,2…,K-1。
之后，将每个坐标对当作一个复数来处理，得：
s(k)＝x(k)+jy(k),k＝0,1,2…,K-1
这样将x轴作为复数序列的实轴，y轴作为复数序列的虚轴。将二维数据简化为一维数据。将s(k)进行离散傅里叶变换(DFT)就得到轮廓的傅里叶描述子a(u)：
其中u为傅里叶变换后的各频率点；
等分梨表面边界，取其K等分点坐标对应的傅里叶描述子，组成一个K×1的矩阵；将得到的特征矩阵加上标签后输入人工神经网络模型(ANN)进行训练，标签为梨表面轮廓的实际评价，形状标准为0、形状带有微小缺陷为1和形状带有明显缺陷为2；训练完成得到分类器1；
第四步：利用梨外表面的颜色特征判断样本梨色泽的标准程度，梨外表面数据库中的梨外表面图像为BGR图像，分别提取出梨外表面图像的B、G和R三个分量，然后计算B、G和R三个分量矩阵的二阶矩(方差)，得到3×1维的特征矩阵；将得到的特征矩阵加上标签后输入朴素贝叶斯模型(NBC)进行训练，标签为梨表面色泽的实际评价，色泽标准为0、色泽带有微小偏差为1和色泽带有明显偏差为2；训练完成得到分类器2；
第五步：对第二步中选择的图像进行色彩空间转换，将原图像由BGR图像转换为HSV图像，并提取HSV空间中的亮度分量V，用灰度图与亮度分量V相除，进行亮度校正，得到样本梨的亮度校正图像，大量的亮度校正图像形成亮度校正图像库；在亮度校正图像中，背景区域和除去缺陷部位的梨外表面区域的亮度被压制，其灰度值增大，而缺陷部分灰度值保持不变，使用大津法(OTSU)自动选取合适的阈值对灰度图进行二值化THRESH_BINARY处理，处理后的图像，背景和梨表面的灰度值变为0，梨表面缺陷的灰度值变为255，得到可以分离样本梨表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，之后将掩膜与原图片相乘，提取梨外表面的缺陷区域，得到样本梨的缺陷图像，大量的样本梨的缺陷图像形成缺陷图像库；
第六步：利用样本梨的缺陷图像库中的缺陷图像进行几何特征和纹理特征的提取：
(1)计算缺陷图像的Hu不变矩：
对于连续图像f(x,y)，图像的p+q阶几何矩(标准矩)mpq为：
其中x和y分别为图像像素点的横坐标和纵坐标；
p+q阶中心距μpq定义为：
其中和是图像的重心，mpq为图像的p+q阶几何矩；
缺陷图像数据库中的缺陷图像都是离散的数字图像，其几何矩和中心矩为：
其中N和M是图像的高度和宽度，即像素点的行数和列数；
之后对计算出的中心矩进行归一化，获得归一化中心距ηpq：
利用缺陷图像的二阶和三阶归一化中心矩构造七个不变矩M1～M7：
M1＝η20+η02
M3＝(η30-3η12)2+(3η21-η03)2
M4＝(η30+η12)2+(η21+η03)2
M5＝(η30-3η12)(η30+η12)((η30+η12)2-3(η21+η03)2)+(3η21-η03)(η21+η03)(3(η30+η12)2-(η21+η03)2)
M6＝(η20-3η02)((η30+η12)2-(η21+η03)2)+4η11(η30+η12)(η21+η03)M7＝(3η12-η30)(η30+η12)((η30+η12)2-3(η21+η03)2)-(η03-3η21)(η21+η03)(3(η30+η12)2-(η21+η03)2)
将算出的7个不变矩按顺序组成一个7×1的矩阵；
(2)计算缺陷图像的傅里叶描述子：
计算方法同第三步，等分缺陷边界，取其K等分点坐标对应的傅里叶描述子，组成一个K×1的矩阵；本申请中两处的傅里叶描述子的计算中K的取值没有关联性，根据实际选取。
(3)计算缺陷图像的灰度共生矩：
灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的，对于连续图像f(x,y)，取图像中任意一点(x,y)及偏离它横坐标a个点、纵坐标b个点的另一点(x+a,y+b)，这一对点的灰度值设为(g,h)。令(x,y)在整个图像上移动，则会得到各种(g,h)值，设灰度值的级数为k，则(g,h)的共有k2种组合，对于整个图像，统计出每一种(g,h)值出现的次数，然后排列成一个矩阵，用(g,h)出现的总次数将每一种(g,h)值出现的次数归一化为出现的概率P(g,h)，这样的矩阵称为灰度共生矩阵；
通过研究灰度的空间相关特性来描述图像的纹理，并用一些标量来表征灰度共生矩的特征，计算得到下面四个标量：
对比度Con：
能量Asm：
熵Ent：
相关性Corr：
其中
其中
将算出的对比度、能量、熵、相关性这四个特征按顺序组成一个4×1的矩阵，即获得对应缺陷图像的灰度共生矩；
第七步：将第六步中的Hu不变矩、傅里叶描述子、灰度共生矩三种特征进行融合，即将三个特征矩阵按照计算的顺序首尾相连，得到一个(7+K+4)×1维的矩阵，将融合后的特征加上标签后输入到另一个人工神经网络(ANN)中对人工神经网络模型进行训练，标签为缺陷的实际种类，刺刮伤为0、碰压伤为1、磨伤为2、果锈为3、日灼为4、雹伤为5、虫伤为6、病害为7和虫果为8；训练完成得到分类器3；同时计算缺陷图像中每个样本表面缺陷的面积，具体计算方式是对缺陷进行定位，找到缺陷外轮廓，计算像素点的个数，将个数与实际空间中的面积对应，进而确定表面缺陷的面积大小；
第八步：建立一个长度为11的空向量，将样本的果形评价结果(即分类器1的结果)为向量的第一个元素，将样本的色泽评价结果(即分类器2的结果)为向量的第二个元素，若样本表面缺陷类型的预测结果(分类器3的结果)为x(x为0至8中的一个整数)，则将该表面缺陷的面积为向量的第x+3个元素，剩余的其他元素全部设为0；将第三、四步的标签和第七步的标签及缺陷面积按照上述原则组成新的向量，记为决策向量，根据中华人民共和国国家标准GB/T 10650-2008《鲜梨》内对鲜梨等级的评价标准给决策向量加上标签，然后输入决策树(DT)进行训练，标签为样本梨的实际级别，优等梨为0、一等梨为1、二等梨为2和等级之外的梨为3；训练完成得到分类器4；
第九步：快速识别：
将待分级样本梨的图像按照第二步中的外表面图像分割方式得到样本梨外表面图像，按照第三步的提取样本梨外表面的傅里叶描述子，将几何特征(傅里叶描述子)输入分类器1做预测，得到样本的果形评价结果，结果为0、1或2中的一个数值；再对第二步获得的样本梨表面图像按照第四步中的颜色特征计算方式提取样本梨外表面的颜色特征，将颜色特征输入分类器2做预测，得到样本的色泽评价结果，结果为0、1或2中的一个数值；将第二步获得的样本梨外表面图像按照第五步中的表面缺陷图像分割方法得到样本梨表面缺陷图像，再按照第六步中的缺陷图像的几何特征和纹理特征计算方式提取样本梨表面缺陷的几何特征和纹理特征(Hu不变矩、傅里叶描述子、灰度共生矩)，将几何特征和纹理特征输入到第七步中的分类器3中，得到样本表面缺陷类型的预测结果，结果为0至8中的一个整数数值，同时得到表面缺陷区域的面积；按照第八步中的原则得到决策向量，将该决策向量输入第八步的分类器4，输出样本梨最终的分级结果。
本发明提供一种用于梨外观品质视觉分级生产线(参见图1-图8)，包括图像采集箱1、承托盘2、转向机3、直线传送带4、分级槽5、推拉式电磁铁6；两条直线传送带4和两条转向机3拼接在一起，使用传动机构相连接，组成环形回流式传送带；图像采集箱1放置在一条直线传送带4上，图像采集箱1的采集箱框架101为40mm铝材，表面带有滑槽，可安装固定键，该条直线传送带4桁架上表面适当位置打孔，通过螺钉螺母将该条直线传送带4和固定键紧固，使得图像采集箱1和该条直线传送带4相对固定；承托盘2放置在环形传送带上；分级槽5放在图像采集箱后方的直线传送带4外侧，两者紧贴；推拉式电磁铁6上带有螺纹孔，电磁铁固定架7带有圆孔，通过螺钉将两者紧固，该条直线传送带4桁架上表面适当位置打孔，通过螺钉螺母将当前直线传送带4和电磁铁固定架7紧固，使得推拉式电磁铁6和当前直线传送带4相对固定；步进电机10上带有螺纹孔，电机固定架8带有圆孔，通过螺钉将两者紧固，两条直线传送带4桁架侧面均带有一定长度滑槽，可穿过螺钉，通过螺钉螺母将直线传送带4和对应的电机固定架8紧固，使得两个步进电机10和对应的直线传送带4相对固定；
所述图像采集箱1包括采集箱框架101、黑色亚克力板102、CCD工业相机103和环形光源，采集箱框架101使用的铝材表面带有滑槽，适当大小的黑色亚克力板102卡在滑槽内，并用热熔胶将其与采集箱框架101粘连，使其固定，CCD工业相机103带有螺纹孔，相机固定件带有双向的螺纹孔，可以使用螺钉同时与CCD工业相机103和采集箱框架101进行紧固，使CCD工业相机103能够固定在合适的位置，CCD工业相机103与镜头连接；
CCD工业相机103与上位机通信，上位机内加载有上述的分级方法，上位机与PLC进行双向通信，PLC通过电机控制器与相应的步进电机电连接，在分级槽的每个通道对应的推拉式电磁铁附近安装光电限位开关，该光电限位开关安装在梨输送方向前距相应推拉式电磁铁10cm的位置处，控制相应通道的推拉式电磁铁动作，在图像采集箱入口位置安装有光电限位开关，所有光电限位开关、推拉式电磁铁都与PLC通信；
所述CCD相机型号为MV-EM200C，分辨率为1280*960，感光面积为4.8mm×3.6mm，具有连续、外触发及软触发三种图像采集方式；所述镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm；所述LED环形光源型号为HDR-90-45；
本申请可以设置两个相机，两个相机放置在图像采集箱1顶部两侧的采集箱框架101上，样本梨运输至两个相机中间区域开始采集，通过这种方式尽可能大的获得梨表面全圆周的图像，使得分级结果尽可能准确；设置两个相机的情况下，将两个相机采集到的图像做图像拼接，再使用上述的分级方法处理。
所述转向机3包括转向机皮带301、转向机支架302和转向机滚轮303，转向机支架302包括垂直方向的支架和水平的弧形支架，弧形支架的弧形侧面上按照一定间隔打孔，安装数个转向机滚轮303，数个转向机滚轮表面套接转向机皮带，转向机滚轮303是一段直径较大而另一端直径较小的台柱形滚轮，使套在其表面的转向机皮带301表面各处能按照同样的角速度运动；
所述直线传送带4包括槽钢401、固定片402、传送带滚轮403、传送带支架404、传送带皮带405和直角连接件406，传送带支架404包括垂直方向的支架和水平的桁架，在桁架两端沿输送方向均延伸有槽钢401，且在桁架左右侧面均设置槽钢，槽钢401与桁架两端相接，二者之间通过直角连接件连接在一起；
传送带滚轮403的轮轴为阶梯轮轴，在槽钢401远离桁架的一端侧面位置打通孔，该通孔尺寸适配于滚轮轮轴内端，两个传送带滚轮403的轮轴内端穿过相应的通孔；
固定片402中心位置为开孔，开孔尺寸适配于滚轮轮轴外端，将固定片402套在滚轮403的轮轴外端，固定片中心开孔周围打小孔，同时在槽钢401对应位置打孔，用螺钉螺母将固定片和槽钢两者紧固，使得滚轮403在不横向晃动的情况下能够正常转动；传送皮带套装在两个传送带滚轮403上，一个传送带滚轮与步进电机通过链条连接为主动传送带滚轮，另一个为从动传送带滚轮；主动的传送带滚轮403安装在一端的槽钢401侧面上，通过链条11与步进电机连接，主动的传送带滚轮靠近桁架端打孔，主动的传送带滚轮所在位置的桁架外侧面上设置滑槽，槽钢能在滑槽的带动下沿输送方向相对桁架移动，直角连接件406为拐角为直角的连接件，直角连接件406的两个端面都有圆孔，两个直角连接件为一对，每对直角连接件其中一个与槽钢401通过螺钉螺母紧固，另一个与桁架的滑槽通过螺钉螺母紧固，滑槽能相对桁架移动，再将每对直角连接件406通过螺钉螺母紧固，使主动的传送带滚轮403与传送带支架404相对固定，传送带皮带405套在传送带滚轮403上，由于滑槽的存在，主动的传送带滚轮403一端的槽钢401可以调节位置，保证传送带皮带405处于紧绷状态；
所述分级槽5包括平行分级槽挡板和发散分级槽挡板501和分级槽支架502，两种分级槽挡板501均由亚克力板制成，分级槽5入口处为多个平行放置的平行分级槽挡板，平行分级槽挡板与槽底垂直，多个平行分级槽挡板沿槽深方向平行布置，平行分级槽挡板尾部接发散分级槽挡板的前端，多个发散分级槽挡板501整体呈向尾端发散式放置，越往尾端内部间距越大，槽底也向下倾斜，方便样本梨的存储，发散分级槽挡板的尾部由横板将相邻的两个发散分级槽挡板尾部和槽底连接起来，平行分级槽挡板和发散分级槽挡板501及槽底形成的整体放置在分级槽支架502上，使分级槽的入口与直线传送带相应位置的承托盘出口相对；分级槽中通道数量与分类器4的等级一致，每个通道确定为一个等级的分级区域，本实施例中设置有四个等级，设置四个通道。
所述步进电机10型号为57BYG250C，步进角为1.8°，扭矩为1.8N·m，电机轴与链轮11过盈配合形成紧密连接，与主动的传送带滚轮403轮轴上的链轮用链条9连接，形成传动结构；电机控制器选用型号TB6600，额定电流4.2A，细分数为6400，PLC型号为西门子S7-200SMART，CPU为ST40，可输入I/O为24个，可输出I/O为16个，步进电机10的输入与电机控制器的输出端用导线连接，电机控制器的输入端与PLC的输出I/O用导线连接；
本发明用于梨外观品质视觉分级生产线及分级方法的工作原理和工作流程是：
本发明分级生产线的工作原理为：
在样本梨被传送带运输到图像采集区域(图像采集箱内)后，设置在传送带输送方向、距离CCD相机10厘米位置处，且位于图像采集箱内的光电限位开关给控制传送带的PLC发送一个信号；PLC接收到信号后，改变电机控制器的输出，使驱动两条传送带的步进电机10都停止转动，将样本梨停在指定的图像采集范围内，步进电机经减速过程最终能使传送带停止运动时样本梨位于CCD相机图像采集的合适位置，PLC控制所有步进电机停止后通过通信系统向上位机发送开始采集的指令；上位机接收到采集指令，控制CCD工业相机10采集一帧图像，图像通过千兆网线经由计算机的网口传入上位机，上位机对图像进行处理，并特征提取，将提取的特征值输入设计训练好的分类器中，进行相关特征的分类(上位机内加载并执行本申请的分级方法)；分类结果(缺陷为哪一类或几类表面缺陷，缺陷的总面积，梨的等级)显示在上位机界面上，同时上位机通过通信系统将分级结果发送给PLC；PLC接收到该分级结果后，控制所有步进电机10的转动，将样本梨运出图像采集区域，并使分级槽入口附近对应的光电限位开关(设置在传送带输送方向、距离分级槽入口10厘米位置处)；样本梨运送到指定级别的分级区域，该分级区域对应的光电限位开关通过通信系统给控制传送带的PLC发送一个信号；PLC接收到信号后，改变电机控制器的输出，使所有步进电机10停止转动，将样本梨停在指定的分级执行范围内，PLC同时给对应的推拉式电磁铁6发送指令；推拉式电磁铁6接收到信号后，执行推送动作，将样本梨推送到对应的分级槽5通道内；分级完成。
本发明分级生产线的工作流程包括以下步骤：
步骤1、将样本梨放置在承托盘2上，传送带的皮带405在步进电机10的驱动下移动，将承托盘2到指定的位置，即图像采集箱1内部，光电限位开关检测到样本梨到达指定位置，通过通讯系统发送给PLC一个电平信号；
步骤2、PLC接收到光电限位开关的信号后，通过通讯系统向上位机发送指令，上位机向CCD工业相机103发送一系列指令用于开启相机，调焦，设置帧率、延迟等参数，采集图像，关闭相机，释放相机等操作，完成图像采集；
步骤3、数字图像输入通过千兆网线传入上位机；经软件加载的梨外观品质的分级方法；
梨外观品质分级方法的过程是：对采集到的图像做感兴趣区域(ROI)提取，使梨处在图像中心位置；对图像进行亮度校正、阈值分割和模糊处理等预处理操作，获取梨表面的缺陷区域；提取表面缺陷轮廓，计算缺陷的Hu不变矩、傅里叶描述子和灰度共生矩等特征；将提取的特征进行融合；将融合后的特征输入到事先训练好的神经网络学习模型中进行分类：输出分类结果；其具体步骤为：
(1)通过工业相机获取待分级梨的图像；
(2)对图像进行灰度变换得到原图像的灰度图，之后使用大津法(OTSU)自动选取合适的阈值对灰度图进行二值化THRESH_BINARY处理，使图像中灰度小于阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到可以分离样本梨表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，之后将掩膜与原图片相乘，提取梨外表面的图像；
(3)对(2)中梨外表面图像提取轮廓，设梨外表面的轮廓是一个有K个点的数字边界，则从边界的任意一点(x0,y0)开始，以逆时针方向在该边界上行进，会遇到坐标对(x1,y1),(x2,y2),…,(xK-1,yK-1)，将这些坐标表示为x(k)＝xk y(k)＝yk的形式。在这种表示形式下，边界表示为坐标序列s(k)＝[x(k),y(k)],k＝0,1,2…,K-1。K根据边界长度进行设置，K＝16。
之后，将每个坐标对当作一个复数来处理，得：
s(k)＝x(k)+jy(k),k＝0,1,2…,K-1
这样将x轴作为复数序列的实轴，y轴作为复数序列的虚轴。将二维数据简化为一维数据。将s(k)进行离散傅里叶变换(DFT)就得到轮廓的傅里叶描述子a(u)：
其中u为傅里叶变换后的各频率点；
等分梨表面边界，取其K等分点坐标对应的傅里叶描述子，组成一个K×1的矩阵；将得到的特征矩阵输入分类器1，得到结果为待分级梨的果形评价；
(4)提取出(2)中梨外表面图像的B、G和R三个分量，然后计算B、G和R三个分量矩阵的二阶矩(方差)，得到3×1维的特征矩阵；将得到的特征矩阵输入分类器2，得到结果为待分级梨的色泽评价；
(5)对(1)中获取的图像进行色彩空间转换，将原图像由BGR图像转换为HSV图像，并提取HSV空间中的亮度分量V，用灰度图与亮度分量V相除，进行亮度校正，得到样本梨的亮度校正图像；使用大津法(OTSU)自动选取合适的阈值对亮度校正后的灰度图进行二值化THRESH_BINARY处理，得到用于分离样本梨表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，之后将掩膜与原图片相乘，提取梨外表面的缺陷区域，得到样本梨的缺陷图像；
(6)对(5)中的缺陷图像进行几何特征和纹理特征的提取：
①计算缺陷图像的Hu不变矩：
对于连续图像f(x,y)，图像的p+q阶几何矩(标准矩)mpq为：
其中x和y分别为图像像素点的横坐标和纵坐标；
p+q阶中心距μpq定义为：
其中和是图像的重心，mpq为图像的p+q阶几何矩；
数据库中的缺陷图像都是离散的数字图像，其几何矩和中心矩为：
其中N和M是图像的高度和宽度，即像素点的行数和列数；
之后对计算出的中心矩进行归一化，获得归一化中心距ηpq：
利用缺陷图像的二阶和三阶归一化中心矩构造七个不变矩M1～M7：
M1＝η20+η02
M3＝(η30-3η12)2+(3η21-η03)2
M4＝(η30+η12)2+(η21+η03)2
M5＝(η30-3η12)(η30+η12)((η30+η12)2-3(η21+η03)2)+(3η21-η03)(η21+η03)(3(η30+η12)2-(η21+η03)2)
M6＝(η20-3η02)((η30+η12)2-(η21+η03)2)+4η11(η30+η12)(η21+η03)M7＝(3η12-η30)(η30+η12)((η30+η12)2-3(η21+η03)2)-(η03-3η21)(η21+η03)(3(η30+η12)2-(η21+η03)2)
将算出的7个不变矩按顺序组成一个7×1的矩阵；
②计算缺陷图像的傅里叶描述子：
计算方法同(3)，等分缺陷边界，取其K等分点坐标对应的傅里叶描述子，组成一个K×1的矩阵；此时K取值24。
③计算缺陷图像的灰度共生矩：
灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的，对于连续图像f(x,y)，取图像中任意一点(x,y)及偏离它的另一点(x+a,y+b)，这一对点的灰度值设为(g,h)。令(x,y)在整个图像上移动，则会得到各种(g,h)值，设灰度值的级数为k，则(g,h)的共有k2种组合，对于整个图像，统计出每一种(g,h)值出现的次数，然后排列成一个矩阵，用(g,h)出现的总次数将每一种(g,h)值出现的次数归一化为出现的概率P(g,h)，这样的矩阵称为灰度共生矩阵；
通过研究灰度的空间相关特性来描述图像的纹理，并用一些标量来表征灰度共生矩的特征，计算得到下面四个标量：
对比度Con：
能量Asm：
熵Ent：
相关性Corr：
其中
其中
将算出的对比度、能量、熵和相关性这四个特征按顺序组成一个4×1的矩阵；
(7)将(6)中的Hu不变矩、傅里叶描述子和灰度共生矩三种特征进行融合，即将三个特征矩阵按照计算的顺序首尾相连，得到一个(7+K+4)×1维的矩阵，将融合后的特征加上标签后输入分类器3，得到缺陷种类；计算该缺陷面积；
(8)建立一个长度为11的空向量，将(3)中的果形评价结果为向量的第一个元素，将(4)中的色泽评价结果为向量的第二个元素，按照样本表面缺陷类型的预测结果为x(x为0至8中的一个整数)，则将该表面缺陷的面积为向量的第x+3个元素，剩余的其他元素全部设为0的原则，将(7)中的缺陷面积写入向量；将向量输入分类器4，得到分级结果；
步骤4、将步骤3中得到的分级结果通过通信系统发送给PLC，PLC根据该信息，控制步进电机10的转动，将载有样本梨的承托盘2运输出图像采集箱1，运送到指定级别的分级区域，PLC对相应的推拉式电磁铁6使能，推拉式电磁铁6执行分级动作，将样本梨推入分级槽5内，完成分级流程。
通过特征融合对梨外观进行识别，其识别率可以达到95％以上。
本发明未述及之处使用于现有技术。
Claims (9)
1.一种用于梨外观品质视觉分级方法，其特征在于，该方法包括以下内容；
获取待分级水果梨的彩色图像，得到样本梨图像，大量样本梨图像形成样本梨图像库；
对样本梨图像进行处理提取梨外表面图像，大量的梨外表面图像组成梨外表面图像数据库；
获取梨外表面图像数据库中梨外表面图像的傅里叶描述子，以傅里叶描述子为输入，以梨表面轮廓的实际评价为输出，训练人工神经网络模型，获得分类器1；
提取梨外表面图像数据库中梨外表面图像的B、G和R三个分量，计算B、G和R三个分量矩阵的二阶矩，得到3×1维的特征矩阵，以特征矩阵为输入，以梨表面色泽的实际评价为输出，训练朴素贝叶斯模型，获得分类器2；
对梨外表面图像数据库中的梨外表面图像进行亮度校正，获得样本梨的亮度校正图像，大量的亮度校正图像形成亮度校正图像库；
对亮度校正图像库中的亮度校正图像进行分割处理后获得样本梨的缺陷图像，大量的样本梨的缺陷图像形成缺陷图像库；
提取缺陷图像库中缺陷图像的Hu不变矩、傅里叶描述子、灰度共生矩，将这三种特征作为输入，以缺陷的实际种类作为输出，训练另一个人工神经网络，获得分类器3；同时计算每个缺陷图像中表面缺陷的面积；
将分类器1的结果、分类器2的结果、分类器3所有缺陷种类个数依次形成一个决策向量，设分类器3所有缺陷种类个数为x，则决策向量的长度为x+2；在决策向量中，缺陷种类个数所对应的位置填入的是该样本确定的缺陷种类所对应的样本梨的表面缺陷的面积，其余缺陷种类位置填入0；以决策向量为输入，以按照国家标准对样本梨的实际级别作为输出，训练决策树，获得分类器4；
利用训练好的分类器1、分类器2、分类器3及分类器4实现对梨外观品质的分级。
2.根据权利要求1所述的分级方法，其特征在于，所述对样本梨图像进行处理提取梨外表面图像的过程是：对样本梨图像进行灰度变换得到原图像的灰度图，之后使用大津法(OTSU)自动选取合适的阈值对灰度图进行二值化THRESH_BINARY处理，使图像中灰度小于阈值部分的像素被置为0，大于的部分像素被置于255，处理后的图像，背景灰度值为0，前景灰度值为255，得到能分离样本梨表面的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，再之后将掩膜与原图像相乘，提取梨外表面的图像。
3.根据权利要求1所述的分级方法，其特征在于，梨外表面图像的傅里叶描述子的计算过程是：
对梨外表面图像数据库中的梨外表面图像提取轮廓，设梨外表面的轮廓是一个有K个点的数字边界，则从边界的任意一点(x0,y0)开始，以逆时针方向在该边界上行进，会遇到坐标对(x1,y1),(x2,y2),…,(xK-1,yK-1)，将这些坐标表示为x(k)＝xk y(k)＝yk的形式；在这种表示形式下，边界表示为坐标序列s(k)＝[x(k),y(k)],k＝0,1,2…,K-1；
之后，将每个坐标对当作一个复数来处理，得：
s(k)＝x(k)+jy(k),k＝0,1,2…,K-1
这样将x轴作为复数序列的实轴，y轴作为复数序列的虚轴，将二维数据简化为一维数据；将s(k)进行离散傅里叶变换(DFT)就得到轮廓的傅里叶描述子a(u)：
其中u为傅里叶变换后的各频率点；
等分梨表面边界，取其K等分点坐标对应的傅里叶描述子，组成一个K×1的矩阵。
4.根据权利要求1所述的分级方法，其特征在于，分类器1的标签为梨表面轮廓的实际评价，形状标准为0、形状带有微小缺陷为1和形状带有明显缺陷为2；
分类器2的标签为梨表面色泽的实际评价，色泽标准为0、色泽带有微小偏差为1和色泽带有明显偏差为2；
分类器3的标签为缺陷的实际种类，刺刮伤为0、碰压伤为1、磨伤为2、果锈为3、日灼为4、雹伤为5、虫伤为6、病害为7和虫果为8；
分类器4的标签为样本梨的实际级别，优等梨为0、一等梨为1、二等梨为2和等级之外的梨为3。
5.根据权利要求1所述的分级方法，其特征在于，亮度校正的过程是：对梨外表面图像进行色彩空间转换，将原图像由BGR图像转换为HSV图像，并提取HSV空间中的亮度分量V，用灰度图与亮度分量V相除，进行亮度校正，得到样本梨的亮度校正图像；
获得样本梨的缺陷图像的过程是：在亮度校正图像中，背景区域和除去缺陷部位的梨外表面区域的亮度被压制，其灰度值增大，而缺陷部分灰度值保持不变，使用大津法自动选取合适的阈值对灰度图进行二值化THRESH_BINARY处理，处理后的图像，背景和梨表面的灰度值变为0，梨表面缺陷的灰度值变为255，得到能分离样本梨表面缺陷的掩膜；之后对掩膜进行腐蚀、膨胀、开运算和闭运算，之后将掩膜与原图像相乘，提取梨外表面的缺陷区域，得到样本梨的缺陷图像。
6.一种用于梨外观品质视觉分级生产线，其特征在于，该生产线包括传送带机械结构、上位机、图像采集系统、传送带驱动系统、分级执行系统、PLC和通信系统；
传送带机械结构是生产线的主体机械结构，起运输样本梨到不同功能区域的作用，整个传送带机械结构形成一个环形的回流式传送带；
传送带驱动系统用于驱动环形的回流式传送带的启动、停止、减速及增速、匀速状态；
所述上位机直接控制图像采集系统中的CCD工业相机，实现图像采集，用于获取梨的外表面图像；上位机通过通信系统与PLC通信，给PLC发送指令，使PLC控制传送带驱动系统和分级执行系统，达到控制整个生产线的目的；
上位机内加载有权利要求1-5任一所述的分级方法，分级结果在上位机的显示屏中显示，同时发送给PLC；
所述分级执行系统包括推拉式电磁铁、电磁铁固定架和分级槽，推拉式电磁铁和电磁铁固定架固定在图像采集系统后方的回流式传送带上；分级槽具有多个通道，内部粘贴缓震材料，分级槽放置在推拉式电磁铁的对侧，每个推拉式电磁铁对准一个通道，每个通道对应一个分级等级，记为一个分级区域；推拉式电磁铁与PLC连接，PLC在接收到上位机发送的分级结果后，使能对应等级的推拉式电磁铁，进而将样本梨送入指定的分级区域。
7.根据权利要求6所述的生产线，其特征在于，所述传送带驱动系统包括电机控制器，电机控制器与PLC连接，PLC在接收到上位机发送的驱动指令后，向电机控制器提供指令信号，电机控制器产生驱动回流式传送带上相应步进电机的波形并且提供有效电压，实现对步进电机的控制；
所述图像采集系统包括CCD工业相机、镜头、LED环形光源、图像采集箱和电源适配器，电源适配器为图像采集系统供电使环形光源正常工作，环形光源为图像采集系统提供均匀的亮度；图像采集箱固定在回流式传送带的支架上，图像采集箱的框架的表面安装黑色亚克力板，隔绝外部光线减小图像采集时受到的干扰；CCD工业相机选用彩色数字CCD工业相机，能够获取样本梨表面的更多特征，将其与镜头连接，能够在有效距离内获取清晰的图像；CCD工业相机的接口为千兆网口，使用网线与上位机的网线接口连接；
所述通信系统使用ZigBee、蓝牙或wifi形式。
8.根据权利要求7所述的生产线，其特征在于，所述环形的回流式传送带包括两条直线传送带和两个转向机，两条直线传送带和两个转向机拼接在一起，使用传动机构相连接，组成环形回流式传送带；图像采集箱放置在一条直线传送带上，图像采集箱的采集箱框架为40mm铝材，表面带有滑槽，滑槽内安装固定键，该条直线传送带桁架上表面适当位置打孔，通过螺钉螺母将该条直线传送带和固定键紧固，使得图像采集箱和该条直线传送带相对固定；承托盘放置在环形的回流式传送带上；分级槽放在图像采集箱后方的直线传送带外侧，两者紧贴；推拉式电磁铁上带有螺纹孔，电磁铁固定架带有圆孔，通过螺钉将两者紧固，该条直线传送带桁架上表面适当位置打孔，通过螺钉螺母将当前直线传送带和电磁铁固定架紧固，使得推拉式电磁铁和当前直线传送带相对固定；步进电机上带有螺纹孔，电机固定架带有圆孔，通过螺钉将两者紧固，两条直线传送带桁架侧面均带有滑槽，通过螺钉螺母将直线传送带和对应的电机固定架紧固，使得两个步进电机和对应的直线传送带相对固定；
在分级槽的每个通道对应的推拉式电磁铁附近安装光电限位开关，控制相应通道的推拉式电磁铁动作，在图像采集箱入口位置安装有光电限位开关，所有光电限位开关、推拉式电磁铁都与PLC通信；
所述直线传送带包括槽钢、固定片、传送带滚轮、传送带支架、传送带皮带和直角连接件，传送带支架包括垂直方向的支架和水平的桁架，在桁架两端沿输送方向均延伸有槽钢，且在桁架左右侧面均设置槽钢，槽钢与桁架两端相接，二者之间通过直角连接件连接在一起；
传送皮带套装在两个传送带滚轮上，一个传送带滚轮与步进电机通过链条连接为主动传送带滚轮，另一个为从动传送带滚轮；主动的传送带滚轮安装在一端的槽钢侧面上，通过链条与步进电机连接，主动的传送带滚轮靠近桁架端打孔，主动的传送带滚轮所在位置的桁架外侧面上设置滑槽，槽钢能在滑槽的带动下沿输送方向相对桁架移动，由于滑槽的存在，保证传送带皮带处于紧绷状态；
所述分级槽包括平行分级槽挡板和发散分级槽挡板和分级槽支架，两种分级槽挡板均由亚克力板制成，分级槽入口处为多个平行放置的平行分级槽挡板，平行分级槽挡板与槽底垂直，多个平行分级槽挡板沿槽深方向平行布置，平行分级槽挡板尾部接发散分级槽挡板的前端，多个发散分级槽挡板整体呈向尾端发散式放置，越往尾端内部间距越大，槽底也向下倾斜，发散分级槽挡板的尾部由横板将相邻的两个发散分级槽挡板尾部和槽底连接起来，平行分级槽挡板和发散分级槽挡板及槽底形成的整体放置在分级槽支架上，使分级槽的入口与直线传送带相应位置的承托盘出口相对。
9.根据权利要求7所述的生产线，其特征在于，所述上位机包括python制作的GUI界面，界面包括功能按钮、信息显示和图像显示区域，用户能用该界面操控生产线、获取设备信息、查看采集图像和分级结果；
所述CCD工业相机型号为MV-EM200C，CCD工业相机感光面积为4.8mm×3.6mm；所述镜头型号为HX2X-T1，为变焦镜头，焦距为12mm-36mm，最小物距为20cm；所述LED环形光源型号为HDR-90-45；所述PLC型号为西门子S7-200SMART，CPU为ST40，输入I/O为24个，输出I/O为16个；所述电机控制器型号为TB6600，额定电流4.2A，细分数为6400；所述步进电机型号为57BYG250C，步进角为1.8°，扭矩为1.8N·m；所述推拉式电磁铁行程为60mm，推力为100N。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110525021.5A CN113145492B (zh) | 2021-05-14 | 2021-05-14 | 一种用于梨外观品质视觉分级方法及分级生产线 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110525021.5A CN113145492B (zh) | 2021-05-14 | 2021-05-14 | 一种用于梨外观品质视觉分级方法及分级生产线 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113145492A CN113145492A (zh) | 2021-07-23 |
| CN113145492B true CN113145492B (zh) | 2025-02-14 |
Family
ID=76875001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110525021.5A Active CN113145492B (zh) | 2021-05-14 | 2021-05-14 | 一种用于梨外观品质视觉分级方法及分级生产线 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113145492B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113680710B (zh) * | 2021-10-26 | 2022-01-18 | 江苏华兴激光科技有限公司 | 一种外延片的检测方法及装置 |
| CN114445642A (zh) * | 2022-02-17 | 2022-05-06 | 广东猛犸象智能机器人制造有限公司 | 一种基于深度学习的凉果食品杂质挑拣方法及系统 |
| CN114653612A (zh) * | 2022-04-06 | 2022-06-24 | 西京学院 | 一种基于机器视觉的红枣分拣系统 |
| CN114550167B (zh) * | 2022-04-25 | 2022-07-15 | 南通海扬食品有限公司 | 一种基于人工智能的梨的品质分类方法及装置 |
| CN114985303B (zh) * | 2022-05-24 | 2024-04-26 | 广东省农业科学院蔬菜研究所 | 黑皮鸡枞外观品质分级系统及其方法 |
| CN114833075B (zh) * | 2022-07-04 | 2022-09-09 | 南通秋雅纺织品有限公司 | 一种基于毛绒玩具生产用的供给辅助装置 |
| CN118329770B (zh) * | 2024-04-12 | 2025-01-07 | 深圳市星凯科技有限公司 | 一种注塑模具表面缺陷检测方法及系统 |
| CN119303855B (zh) * | 2024-09-27 | 2025-04-01 | 中国农业科学院农业信息研究所 | 道岔式分选装置及分选方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202984129U (zh) * | 2012-08-20 | 2013-06-12 | 四川农业大学 | 猕猴桃分级装置 |
| CN109205231A (zh) * | 2012-11-21 | 2019-01-15 | 英特里格拉特德总部有限公司 | 用于分选系统的动态卸料补偿 |
| CN214767069U (zh) * | 2021-05-14 | 2021-11-19 | 河北工业大学 | 一种用于梨外观品质视觉分级生产线 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855641A (zh) * | 2012-08-10 | 2013-01-02 | 上海电机学院 | 基于外在品质的水果等级分类系统 |
| CN104056790A (zh) * | 2013-03-19 | 2014-09-24 | 青岛农业大学 | 一种马铃薯智能分选方法与装置 |
| CN110276386A (zh) * | 2019-06-11 | 2019-09-24 | 济南大学 | 一种基于机器视觉的苹果分级方法及系统 |
-
2021
- 2021-05-14 CN CN202110525021.5A patent/CN113145492B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202984129U (zh) * | 2012-08-20 | 2013-06-12 | 四川农业大学 | 猕猴桃分级装置 |
| CN109205231A (zh) * | 2012-11-21 | 2019-01-15 | 英特里格拉特德总部有限公司 | 用于分选系统的动态卸料补偿 |
| CN214767069U (zh) * | 2021-05-14 | 2021-11-19 | 河北工业大学 | 一种用于梨外观品质视觉分级生产线 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113145492A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113145492B (zh) | 一种用于梨外观品质视觉分级方法及分级生产线 | |
| CN106238342B (zh) | 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法 | |
| Lv et al. | Cascade network for detection of coal and gangue in the production context | |
| Liming et al. | Automated strawberry grading system based on image processing | |
| CN206139527U (zh) | 全景视觉马铃薯分选和缺陷检测装置 | |
| CN106733701B (zh) | 马铃薯多级联合智能缺陷检测系统及检测方法 | |
| Gyawali et al. | Comparative analysis of multiple deep CNN models for waste classification | |
| CN1329132C (zh) | 基于三个摄像系统在线水果品质检测分级的装置与方法 | |
| CN110694921B (zh) | 蔬菜分拣系统及其控制方法 | |
| CN111805541B (zh) | 一种基于深度学习的中药饮片净选装置及净选方法 | |
| JP2007505733A (ja) | 廃棄物の流れ中の目標物を分類する装置および方法 | |
| Wahab et al. | Development of a prototype automated sorting system for plastic recycling | |
| CN114354637A (zh) | 基于机器视觉和x射线的水果品质综合分级方法和装置 | |
| Ünal et al. | Classification of hazelnut kernels with deep learning | |
| CN107169491A (zh) | 一种齿环模具编号检测方法 | |
| KR102704880B1 (ko) | 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템 | |
| CN112808603A (zh) | 基于RealSense相机的鲜切花分选装置及方法 | |
| CN112950602B (zh) | 基于深度相机与机器学习的糖果缺陷检测装置及分类方法 | |
| Moirogiorgou et al. | Intelligent robotic system for urban waste recycling | |
| CN109115775A (zh) | 一种基于机器视觉的槟榔等级检测方法 | |
| Sa et al. | Packaging defect detection system based on machine vision and deep learning | |
| CN214767069U (zh) | 一种用于梨外观品质视觉分级生产线 | |
| CN113245222A (zh) | 一种三七异物视觉实时检测分拣系统及分拣方法 | |
| CN206139529U (zh) | 透明滚轴机构 | |
| Cai et al. | OCR service platform based on OpenCV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |