CN115112506B - 一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 - Google Patents
一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 Download PDFInfo
- Publication number
- CN115112506B CN115112506B CN202210678530.6A CN202210678530A CN115112506B CN 115112506 B CN115112506 B CN 115112506B CN 202210678530 A CN202210678530 A CN 202210678530A CN 115112506 B CN115112506 B CN 115112506B
- Authority
- CN
- China
- Prior art keywords
- image
- production line
- kiwi fruit
- roller
- synapse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000009436 Actinidia deliciosa Nutrition 0.000 title claims abstract description 99
- 244000298697 Actinidia deliciosa Species 0.000 title claims abstract description 98
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 title claims abstract description 6
- 238000001514 detection method Methods 0.000 title claims description 44
- 230000001066 destructive effect Effects 0.000 title claims 2
- 210000000225 synapse Anatomy 0.000 claims abstract description 43
- 230000005540 biological transmission Effects 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000010365 information processing Effects 0.000 claims abstract description 15
- 239000012528 membrane Substances 0.000 claims abstract description 13
- 238000013136 deep learning model Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 235000013399 edible fruits Nutrition 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000000946 synaptic effect Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 12
- 238000009659 non-destructive testing Methods 0.000 abstract description 7
- 238000007542 hardness measurement Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 8
- 239000013307 optical fiber Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 239000000741 silica gel Substances 0.000 description 4
- 229910002027 silica gel Inorganic materials 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 229930091371 Fructose Natural products 0.000 description 2
- RFSUNEUAIZKAJO-ARQDHWQXSA-N Fructose Chemical compound OC[C@H]1O[C@](O)(CO)[C@@H](O)[C@@H]1O RFSUNEUAIZKAJO-ARQDHWQXSA-N 0.000 description 2
- 239000005715 Fructose Substances 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 244000298715 Actinidia chinensis Species 0.000 description 1
- ZZZCUOFIHGPKAK-UHFFFAOYSA-N D-erythro-ascorbic acid Natural products OCC1OC(=O)C(O)=C1O ZZZCUOFIHGPKAK-UHFFFAOYSA-N 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 108091005804 Peptidases Proteins 0.000 description 1
- 239000004365 Protease Substances 0.000 description 1
- 102100037486 Reverse transcriptase/ribonuclease H Human genes 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 229930003268 Vitamin C Natural products 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 235000019606 astringent taste Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 235000019154 vitamin C Nutrition 0.000 description 1
- 239000011718 vitamin C Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/40—Investigating hardness or rebound hardness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/02—Details
- G01N3/06—Special adaptations of indicating or recording means
- G01N3/068—Special adaptations of indicating or recording means with optical indicating or recording means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/0001—Type of application of the stress
- G01N2203/0003—Steady
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/0641—Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/067—Parameter measured for estimating the property
- G01N2203/0682—Spatial dimension, e.g. length, area, angle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及猕猴桃无损检测技术领域,提供了一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线,检测装置包括支撑架、滚筒、信息采集单元和信息处理单元,滚筒转动设置于支撑架上,滚筒为多边体,每个侧面均为开口结构,开口部设有柔性膜,柔性膜上设有若干个突触,信息采集单元采集突触的运动信号并传输到信息处理单元,信息处理单元对待检测猕猴桃的硬度值做出预测。检测产线包括检测装置和传输装置,传输装置将待检测的猕猴桃传送到检测装置的下方,传输装置的运动速度与滚筒的旋转速度一致。本发明检测装置和检测产线在对猕猴桃进行硬度检测时不会损伤猕猴桃,且结构简单、设备成本低,可实现快速、重复检测。
Description
技术领域
本发明涉及猕猴桃无损检测技术领域,具体是一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线。
背景技术
猕猴桃又称奇异果,富含葡萄糖、果糖、维生素和矿物质等人体所必须的营养成分,被称为“维C之王”。近10年来,猕猴桃种植规模迅速增长,已经成为世界主流消费水果。中国的猕猴桃种植总面积和总产量均稳居世界第一。随着猕猴桃消费市场的扩大,人们对于高品质猕猴桃的需求与日俱增,为了兼顾猕猴桃的储存时间和口感,通常需要在其未完全成熟时进行采摘。采摘后的猕猴桃需要一定时间达到生理成熟,在成熟的过程中,不溶性淀粉逐渐转化为可溶性固形物,果实中葡萄糖、果糖等糖含量增加,产生酸味的有机酸和产生涩感的蛋白酶减少,同时果实的硬度明显降低。因此,猕猴桃的果实硬度是决定猕猴桃品质和成熟度的重要指标,随着猕猴桃产业的扩大以及消费需求的提升,迫切需要对猕猴桃的硬度进行检测。
现阶段猕猴桃硬度检测的方法分为有损检测和无损检测。有损检测使用质构仪设备,使用探针插入猕猴桃果肉内部,并由传感装置得出其相互作用力,这种方法准确,但会对猕猴桃产生不可逆转的损伤、且测试过的猕猴桃不可出售。无损检测通常使用近红外光谱设备,这种检测可在产线上对猕猴桃快速进行无损检测。中国专利申请号2021113000809公开了一种基于光谱技术的猕猴桃品质在线无损检测装置和方法,包括探头检测装置、光谱仪、光源、输送平台、光电传感器、暗箱;暗箱顶部安装有探头检测装置,探头检测装置包括随动杂散光消除机构和反射光纤探头;反射光纤探头的输入端和输出端分别连接有光源和光谱仪,反射光纤探头探测端中部设置接收光纤,沿接收光纤周向等间隔设置有6-12个发射光纤,反射光纤探头通过环绕式多点反射检测猕猴桃样品;暗箱底部安装有输送平台,输送平台包括输送轨道、安装于输送轨道上的滑台,滑台上方固定有夹持猕猴桃样品的果杯;暗箱两侧安装有光电传感器。该方法存在的问题在于:光谱设备可重复性差,仪器价格昂贵,且成本较高,实验平台的搭建和光谱数据的采集均需要专业技术人员完成,操作步骤复杂,难以推广。
发明内容
为克服上述现有技术的不足,本发明提供了一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线,在对猕猴桃进行硬度检测时不会损伤猕猴桃,且结构简单、设备成本低,可实现快速、重复检测。
为了实现上述目的,本申请采用了如下技术方案:
一种基于视触觉的猕猴桃产线无损硬度检测装置,所述检测装置包括支撑架、滚筒、信息采集单元和信息处理单元,所述滚筒转动设置于所述支撑架上,所述滚筒为多边体,每个侧面均为开口结构,开口部设有柔性膜,所述柔性膜上设有若干个突触,所述信息采集单元采集所述突触的运动信号并传输到所述信息处理单元,所述信息处理单元对待检测猕猴桃的硬度值做出预测。
在以上技术方案中,所述信息采集单元为摄像头,所述支撑架下端设有水平轴,所述滚筒的正面和背面贯穿所述水平轴并可绕所述水平轴旋转,所述摄像头设置于所述水平轴的下端面实时采集所述猕猴桃与突触相互接触时的图像。
在以上技术方案中,所述突触均匀布满所述柔性膜。
在以上技术方案中,所述滚筒上设有传动机构,所述传动机构包括两个圆柱滚子轴承和一个电机齿轮,两个所述圆柱滚子轴承同心设置于位于所述滚筒正面和背面的轴承安装孔上,所述电机齿轮与其中一个所述圆柱滚子轴承传动连接带动其旋转进而带动所述滚筒旋转。
在以上技术方案中,所述信息处理单元为GPU处理器,所述摄像头将采集的图像信息传输给所述GPU处理器,所述GPU处理器上运行有基于python语言的深度学习模型,根据接收到的图像信息进行运算,对猕猴桃的硬度值做出预测。
在以上技术方案中,所述深度学习模型为一种基于图像序列的CNN-LSTM联合学习的深度学习模型。
在以上技术方案中,所述深度学习模型的具体运行步骤如下:
A、图像采集阶段:所述摄像头通过无线数据传输与所述GPU处理器进行通讯,实时记录所述猕猴桃与突触相互作用力下所述突触产生的相对运动,所述GPU处理器选取所述猕猴桃与突触刚开始接触时的视频记录作为第一帧图像,选取结束接触时的视频记录作为最后一帧图像,同时选取中间帧接触图像,至此,所有图像序列采集完毕;
B、预处理阶段:将所有图像序列灰度处理,将图像转为灰度图,同时转换为同一分辨率大小的图像进行归一化处理;
C、猕猴桃轮廓语义分割阶段:首先图像进入通过标记数据训练的语义分割模型,语义分割模型将图像分割为猕猴桃类与背景类,然后通过计算猕猴类的像素累积值获取猕猴桃的面积;其次通过计算猕猴桃和背景累积交替点获取猕猴桃的周长;最终分别对所有图像执行上述语义分割过程获取其上猕猴桃的面积和周长特征;
D、突触位移特征提取阶段:在猕猴桃轮廓语义分割的同时,进行图片中突触位移特征提取,使用VGG16网络进行迁移学习,输出每张图片的特征值,输出的特征值包含突触的位移和变形信息;
E、硬度预测阶段:将提取获得每帧图像的语义分割特征和VGG16特征送到LSTM网络中,每一个LSTM层输出128个特征,全部LSTM内部单元相互连接,上一层的输出特征与本层特征相互关联输出本层输出特征,经过最后一层LSTM单元后,所有的LSTM单元输出特征经过ReLU激活函数展开为全连接层得出该猕猴桃硬度值。
在以上技术方案中,步骤A中,所述GPU处理器通过Python语言调用OpenCV库,通过设置阈值进行判断接触是否开始或结束,当接触开始时,所述突触会发生位移,图像帧的阈值会发生变化,所述GPU处理器将此时刻作为视频记录第一帧图像,当阈值稳定时得出最后一帧图像,OpenCV将此过程中得到的图像取中间值的方法得出另外三帧接触图像,至此,五张图像序列采集完毕。
一种基于视触觉的猕猴桃无损硬度检测产线,包括检测装置和传输装置,所述传输装置将待检测的猕猴桃传送到所述检测装置的下方,所述检测装置为上述检测装置,所述传输装置的运动速度与所述滚筒的旋转速度一致。
在以上技术方案中,所述传输装置为传送带,所述传送带上设有果杯,所述检测装置设置于所述果杯正上方,所述传送带的运动速度与所述滚筒的旋转速度一致。
本发明具有以下有益效果:本发明检测装置和检测产线在对猕猴桃进行硬度检测时不会损伤猕猴桃,且结构简单、设备成本低,可实现快速、重复检测。
附图说明
图1为本申请检测产线结构示意图;
图2为本申请检测装置结构示意图;
图3为本申请检测产线局部剖视图;
图中,1、支撑架;2、滚筒;3、传送带;4、果杯;5、柔性膜;6、突触;7、圆柱滚子轴承;8、电机齿轮;9、摄像头;10、水平轴。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1-3所示,本申请提供了一种基于视触觉的猕猴桃产线无损硬度检测装置,该检测装置包括支撑架1、滚筒2、信息采集单元和信息处理单元,滚筒2转动设置于支撑架1上。滚筒2为多边体,每个侧面均为开口结构,开口部设有柔性膜5,具体为柔性膜5的背面固定于开口部的顶面。柔性膜5上设有若干个突触6。信息采集单元采集突触6的运动信号并传输到信息处理单元,信息处理单元对待检测猕猴桃的硬度值做出预测。
其中,滚筒2可以设置为正五边体、正六边体、正八边体等,每条侧边上均设置柔性膜5,柔性膜5优选为硅胶传感柔性膜,为软质半透明硅胶,厚度为1mm,尺寸为110mm*110mm,硬度为10A,硅胶传感柔性膜上设置突触6,突触6优选为黑色硅胶突触,突触硬度为20A,直径为2.5mm,厚度为2mm。突触6均匀布满柔性膜5,可以实现突触6与猕猴桃的充分接触,从而提高检测的准确性。如图1所示,作为其中一种实施例,滚筒2设置为正六边体,突触6阵列设置于柔性膜5上。
在以上技术方案中,信息采集单元可以选择摄像头或位移传感器等可以记录突触6运动信号的设备。选用位移传感器时可以设置于突触6的末端,用于记录突触6与待检测的猕猴桃接触过程中突触6的位置变化。
如图3所示,信息采集单元还可以选择摄像头9,其中一种设置方式为:支撑架1下端设有水平轴10,滚筒2的正面和背面贯穿水平轴10并可绕水平轴10旋转,摄像头9设置于水平轴10的下端面实时采集猕猴桃与突触6相互接触时的图像。除此之外,摄像头9还可以设置于其它任何可以记录猕猴桃与突触6相互接触时图像的位置,例如采用支撑架设置于猕猴桃与突触6接触点的侧面。
作为其中一种实施例,滚筒2与支撑架1的连接结构可以为:滚筒2上设有传动机构,传动机构包括两个圆柱滚子轴承7和一个电机齿轮8。滚筒2正面和背面设有轴承安装孔,两个轴承安装孔同心设置,两个圆柱滚子轴承7分别设置于轴承安装孔上,位于支撑架1下端的水平轴10贯穿两个轴承安装孔和两个圆柱滚子轴承7的中心,水平轴10两端固定在支撑架1上。电机齿轮8与其中一个圆柱滚子轴承7传动连接,电机带动电机齿轮8旋转,进而带动滚筒2旋转。此外,滚筒2与支撑架1还可以选择其它的连接结构,能实现滚筒2的旋转即可。
在以上技术方案中,信息处理单元为GPU处理器,摄像头9将采集的图像信息传输给GPU处理器,GPU处理器上运行有基于python语言的深度学习模型,根据接收到的图像信息进行运算,对猕猴桃的硬度值做出预测。
在以上技术方案中,深度学习模型为一种基于图像序列的CNN-LSTM联合学习的深度学习模型。
在以上技术方案中,深度学习模型的具体运行步骤如下:
A、图像采集阶段:摄像头9通过无线数据传输与GPU处理器进行通讯,实时记录猕猴桃与突触6相互作用力下突触6产生的相对运动,GPU处理器通过Python语言调用OpenCV库,通过设置阈值进行判断接触是否开始或结束,当接触开始时,突触6会发生位移,图像帧的阈值会发生变化,GPU处理器将此时刻作为视频记录第一帧图像,当阈值稳定时得出最后一帧图像,OpenCV将此过程中得到的图像取中间值的方法得出另外三帧接触图像,至此,五张图像序列采集完毕。
B、预处理阶段:将五张图像序列灰度处理,将图像转为灰度图,同时转换为224*224像素分辨率大小的图像进行归一化处理。
C、猕猴桃轮廓语义分割阶段:首先图像进入通过标记数据训练的语义分割模型,语义分割模型将图像分割为猕猴桃类与背景类,然后通过计算猕猴类的像素累积值获取猕猴桃的面积;其次通过计算猕猴桃(像素值为1的集群)和背景(像素值为0的集群)累积交替点获取猕猴桃的周长;最终分别对五张序列RGB图像执行上述语义分割过程获取五张猕猴桃的面积和周长特征。
D、突触位移特征提取阶段:在猕猴桃轮廓语义分割的同时,进行图片中突触位移特征提取,使用VGG16网络进行迁移学习,输出每张图片的特征值,输出的特征值包含突触的位移和变形信息。
E、硬度预测阶段:将提取获得每帧图片的语义分割特征和VGG16特征送到LSTM网络中,每一个LSTM层会输出128个特征,五个LSTM内部单元相互连接,上一层的输出特征与本层特征相互关联输出本层输出特征,经过最后一层LSTM单元后,所有的LSTM单元输出特征经过ReLU激活函数展开为全连接层得出该猕猴桃硬度值。
深度学习模型预测效果验证:将待测试猕猴桃放置于猕猴桃硬度检测质构仪检测平台上,使用猕猴桃测试探针插入猕猴桃果肉中得出的硬度值作为真实硬度标签,将本发明深度学习模型预测的硬度值与此硬度标签进行对比和统计学分析,两种检测方法的结果无显著性差异,本发明深度学习模型预测效果好。
一种基于视触觉的猕猴桃无损硬度检测产线,包括检测装置和传输装置,传输装置将待检测的猕猴桃传送到检测装置的下方,检测装置为上述结构的检测装置,传输装置的运动速度与滚筒2的旋转速度一致。
作为其中一种实施例,传输装置为传送带3,传送带3上设有果杯4,检测装置设置于果杯4正上方,传送带3的运动速度与滚筒2的旋转速度一致。除此之外,传输装置还可以为机械手或智能机器人,将待检测的猕猴桃传输到检测装置的下方,检测装置对猕猴桃的硬度进行检测。
工作原理:滚筒2在电机齿轮8驱动下旋转,同时下端的产线进行直线运动(传送带3进行直线运动),两者运动速度保持一致。产线上的猕猴桃逐个与突触6进行接触,产生的位移和相互作用力分散在柔性膜5上,猕猴桃硬度不同,突触6所受作用力也不同,摄像头9对突触6的运动轨迹进行记录捕捉,将所采集的视频传输给GPU处理器,GPU处理器上运行有基于python语言的深度学习模型,该模型对猕猴桃的轮廓进行语义分割,提取其大小特征,进一步模型卷积层对分割图像进行处理,提取突触6等特征值,基于深度学习网络模型进行运算,对猕猴桃的硬度值做出预测,以一种结构简单和低成本的设备,保证实时在线的条件下,对猕猴桃硬度进行无损快速检测,便于下一步分选或其他处理。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种基于视触觉的猕猴桃产线无损硬度检测产线,包括有检测装置和传输装置,其特征在于:所述检测装置包括支撑架(1)、滚筒(2)、信息采集单元和信息处理单元,所述滚筒(2)转动设置于所述支撑架(1)上,所述滚筒(2)为多边体,每个侧面均为开口结构,开口部设有柔性膜(5),所述柔性膜(5)上设有若干个突触(6),所述信息采集单元采集所述突触(6)的运动信号并传输到所述信息处理单元,所述信息处理单元对待检测猕猴桃的硬度值做出预测;
所述信息采集单元为摄像头(9),所述支撑架(1)下端设有水平轴(10),所述滚筒(2)的正面和背面贯穿所述水平轴(10)并可绕所述水平轴(10)旋转,所述摄像头(9)设置于所述水平轴(10)的下端面实时采集所述猕猴桃与突触(6)相互接触时的图像;所述突触(6)均匀布满所述柔性膜(5);
所述滚筒(2)上设有传动机构,所述传动机构包括两个圆柱滚子轴承(7)和一个电机齿轮(8),两个所述圆柱滚子轴承(7)同心设置于位于所述滚筒(2)正面和背面的轴承安装孔上,所述电机齿轮(8)与其中一个所述圆柱滚子轴承(7)传动连接带动其旋转进而带动所述滚筒(2)旋转;
所述传输装置将待检测的猕猴桃传送到所述检测装置的下方,所述传输装置的运动速度与所述滚筒(2)的旋转速度一致;所述传输装置为传送带(3),所述传送带(3)上设有果杯(4),所述检测装置设置于所述果杯(4)正上方,所述传送带(3)的运动速度与所述滚筒(2)的旋转速度一致。
2.根据权利要求1所述检测产线,其特征在于:所述信息处理单元为GPU处理器,所述摄像头(9)将采集的图像信息传输给所述GPU处理器,所述GPU处理器上运行有基于python语言的深度学习模型,根据接收到的图像信息进行运算,对猕猴桃的硬度值做出预测。
3.根据权利要求2所述检测产线,其特征在于:所述深度学习模型为一种基于图像序列的CNN-LSTM联合学习的深度学习模型。
4.根据权利要求2所述检测产线,其特征在于:所述深度学习模型的具体运行步骤如下:
图像采集阶段:所述摄像头(9)通过无线数据传输与所述GPU处理器进行通讯,实时记录所述猕猴桃与突触(6)相互作用力下所述突触(6)产生的相对运动,所述GPU处理器选取所述猕猴桃与突触(6)刚开始接触时的视频记录作为第一帧图像,选取结束接触时的视频记录作为最后一帧图像,同时选取中间帧接触图像,至此,所有图像序列采集完毕;
B、预处理阶段:将所有图像序列灰度处理,将图像转为灰度图,同时转换为同一分辨率大小的图像进行归一化处理;
C、猕猴桃轮廓语义分割阶段:首先图像进入通过标记数据训练的语义分割模型,语义分割模型将图像分割为猕猴桃类与背景类,然后通过计算猕猴类的像素累积值获取猕猴桃的面积;其次通过计算猕猴桃和背景累积交替点获取猕猴桃的周长;最终分别对所有图像执行上述语义分割过程获取其上猕猴桃的面积和周长特征;
D、突触位移特征提取阶段:在猕猴桃轮廓语义分割的同时,进行图片中突触位移特征提取,使用VGG16网络进行迁移学习,输出每张图片的特征值,输出的特征值包含突触的位移和变形信息;
E、硬度预测阶段:将提取获得每帧图像的语义分割特征和VGG16特征送到LSTM网络中,每一个LSTM层输出128个特征,全部LSTM内部单元相互连接,上一层的输出特征与本层特征相互关联输出本层输出特征,经过最后一层LSTM单元后,所有的LSTM单元输出特征经过ReLU激活函数展开为全连接层得出该猕猴桃硬度值。
5.根据权利要求4所述检测产线,其特征在于:步骤A中,所述GPU处理器通过Python语言调用OpenCV库,通过设置阈值进行判断接触是否开始或结束,当接触开始时,所述突触(6)会发生位移,图像帧的阈值会发生变化,所述GPU处理器将此时刻作为视频记录第一帧图像,当阈值稳定时得出最后一帧图像,OpenCV将此过程中得到的图像取中间值的方法得出另外三帧接触图像,至此,五张图像序列采集完毕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678530.6A CN115112506B (zh) | 2022-06-16 | 2022-06-16 | 一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678530.6A CN115112506B (zh) | 2022-06-16 | 2022-06-16 | 一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115112506A CN115112506A (zh) | 2022-09-27 |
CN115112506B true CN115112506B (zh) | 2025-02-18 |
Family
ID=83327974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210678530.6A Active CN115112506B (zh) | 2022-06-16 | 2022-06-16 | 一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115112506B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL95783A0 (en) * | 1990-04-03 | 1991-06-30 | Kalman Peleg | Method and equipment for measuring firmness of fruits and vegetables |
CN113670928A (zh) * | 2021-06-29 | 2021-11-19 | 华中农业大学 | 一种基于视触觉的无损瓜果损伤识别与硬度检测装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5372030A (en) * | 1993-09-15 | 1994-12-13 | The University Of Georgia Research Foundation, Inc. | Non-destructive firmness measuring device |
-
2022
- 2022-06-16 CN CN202210678530.6A patent/CN115112506B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL95783A0 (en) * | 1990-04-03 | 1991-06-30 | Kalman Peleg | Method and equipment for measuring firmness of fruits and vegetables |
CN113670928A (zh) * | 2021-06-29 | 2021-11-19 | 华中农业大学 | 一种基于视触觉的无损瓜果损伤识别与硬度检测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115112506A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101251526B (zh) | 鲜猪肉综合品质无损检测方法与装置 | |
CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
CN108858122B (zh) | 一种温室植物病害巡检机器人及巡检方法 | |
CN101144780A (zh) | 猪肉新鲜度智能检测装置 | |
CN103954563B (zh) | 一种基于高光谱的果蔬表面损伤检测装置 | |
CN1995987A (zh) | 基于高光谱图像技术的农畜产品无损检测方法及装置 | |
CN102928435A (zh) | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 | |
CN104949998A (zh) | 一种群体产地禽蛋表面脏污的在线视觉检测装置及其方法 | |
CN103109754A (zh) | 血斑蛋在线无损检测分选设备及其方法 | |
CN104280349A (zh) | 一种基于高光谱图像对白萝卜糠心鉴定的方法 | |
CN108776138A (zh) | 一种催熟水果库水果品质在线监测装置 | |
CN110781889A (zh) | 一种基于深度学习的蓝莓果实中总糖含量的无损检测方法 | |
CN113192090B (zh) | 一种基于机器学习的水蜜桃分拣方法及装置 | |
CN110826552A (zh) | 基于深度学习的葡萄无损自动检测装置及其方法 | |
Li et al. | Fast detection of water loss and hardness for cucumber using hyperspectral imaging technology | |
CN115112506B (zh) | 一种基于视触觉的猕猴桃产线无损硬度检测装置及检测产线 | |
CN110402849B (zh) | 基于最小二乘法椭圆拟合的种蛋孵化成活性在线检测方法 | |
CN107576600A (zh) | 一种抹茶粒度等级的快速检测方法 | |
CN113670928B (zh) | 一种基于视触觉的无损瓜果损伤识别与硬度检测装置 | |
CN112419288B (zh) | 一种基于计算机视觉的无人化蔬菜大棚种植方法 | |
CN113624759A (zh) | 一种基于机器学习的苹果无损检测方法 | |
CN113824951A (zh) | 一种摄像头模组视觉检测系统 | |
Sun et al. | Recognition of a cracked hen egg image using a sequenced wave signal extraction and identification algorithm | |
CN118279258A (zh) | 一种基于机器视觉的化工视镜分相检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |