CN110694921A - 蔬菜分拣系统及其控制方法 - Google Patents

Abstract

本发明涉及蔬菜分拣流水线技术领域，公开了一种蔬菜分拣系统及其控制方法，其中蔬菜分拣系统包括用于放置蔬菜的传送机构，还包括控制器以及沿传送机构的传送方向依次设置的蔬菜识别机构和分拣机构；蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器，图像采集组件的镜头朝向传送机构，图像识别处理器内置有神经网络模块，以判断图像采集组件获取的图像中的蔬菜是否合格；分拣机构用于选择性地移动蔬菜；分拣机构和图像识别处理器均电连接于控制器。该蔬菜分拣系统将机器视觉与机械分拣生产线相结合，适应范围更广，灵活性更高，通过深度学习训练，可以实现对叶菜的自动识别、分级和筛选。

Description

蔬菜分拣系统及其控制方法

技术领域

本发明涉及蔬菜分拣流水线技术领域，尤其涉及一种蔬菜分拣系统及其控制方法。

背景技术

分拣技术是农产品包装工艺中不可或缺的一个环节，在果蔬行业，挑选出不新鲜产品是至关重要的。一个腐烂的果蔬很容易毁掉整批果蔬，因此会造成严重的经济损失。目前，我国叶菜分拣大都采用人工分拣，为了方便操作，还需要先将果蔬进行初加工，这种人工分拣的方式，不仅费时费力，效率低下，而且分拣的标准因人而异，导致分拣质量不一，分拣人员长时间工作后还会产生疲劳，致使不符合标准的果蔬未被分离出去。另外，随着劳动成本的增加，生产成本进一步提高。随着农业信息化的发展，人们为了提高生产效率，稳定生产质量，开始使用分拣设备。

目前，我国真正在农业蔬菜领域付诸应用的智能分拣系统尚处于起步阶段。市场上现有的分拣系统大都应用在水果或者果菜分拣领域，因为瓜果类外形较为统一，分拣标准更易指定。由于叶菜外形不规则、特征复杂、结构性较差，传统的视觉和光谱分拣技术只能识别出其中的一个或几个特征，因此分拣误差较大。

发明内容

本发明实施例提供一种蔬菜分拣系统及其控制方法，用以解决现有的蔬菜分拣系统识别特征单一、分拣误差大的问题，以提高分拣效率和精度。

本发明实施例提供一种蔬菜分拣系统，包括用于放置蔬菜的传送机构，还包括控制器以及沿所述传送机构的传送方向依次设置的蔬菜识别机构和分拣机构；所述蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器，所述图像采集组件的镜头朝向位于所述传送机构上的所述蔬菜，所述图像识别处理器内置有神经网络模块，以根据所述图像采集组件获取的蔬菜图像判断所述蔬菜是否合格；所述分拣机构用于选择性地移动所述蔬菜；所述传送机构、所述分拣机构和所述图像识别处理器均电连接于控制器。

其中，所述分拣机构包括第一支架和推动组件，所述第一支架固接于所述传送机构的一侧；所述推动组件包括第一气缸，所述第一气缸的缸体连接于所述第一支架，所述第一气缸的活塞杆朝向位于所述传送机构上的所述蔬菜。

其中，所述第一支架固接有第一转动电机，所述第一转动电机的输出轴连接于所述第一气缸的缸体；所述第一转动电机的输出轴上安装有第一旋转编码器，所述第一转动电机和所述第一旋转编码器均电连接于所述控制器。

其中，所述推动组件还包括第一夹头，所述第一夹头包括第一夹持气缸、第一推板、第一左连杆、第一右连杆、第一左夹指和第一右夹指，所述第一夹持气缸的缸体固接于所述第一气缸的活塞杆，所述第一夹持气缸的活塞杆固接于所述第一推板的中部，所述第一推板的左端、所述第一左连杆和所述第一左夹指依次铰接，所述第一推板的右端、所述第一右连杆和所述第一右夹指依次铰接，所述第一左夹指和所述第一右夹指均铰接在所述第一夹持气缸的缸体上。

其中，所述分拣机构包括第二支架和拉动组件，所述第二支架固接于所述传送机构的一侧；所述拉动组件包括第二气缸和第二夹头，所述第二气缸的缸体连接于所述第二支架，所述第二气缸的活塞杆朝向所述传送机构；所述第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指，所述第二夹持气缸的缸体固接于所述第二气缸的活塞杆，所述第二夹持气缸的活塞杆固接于所述第二推板的中部，所述第二推板的左端、所述第二左连杆和所述第二左夹指依次铰接，所述第二推板的右端、所述第二右连杆和所述第二右夹指依次铰接，所述第二左夹指和所述第二右夹指均铰接在所述第二夹持气缸的缸体上。

其中，所述第二支架固接有第二转动电机，所述第二转动电机的输出轴连接于所述第二气缸的缸体；所述第二转动电机的输出轴上安装有第二旋转编码器，所述第二转动电机和所述第二旋转编码器均电连接于所述控制器。

其中，所述图像采集组件包括固接于所述传送机构上的暗箱以及安装于所述暗箱内的3D点云相机和补光灯，所述3D点云相机电连接于所述图像识别处理器。

其中，所述暗箱沿所述传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门，所述滑动门的驱动组件电连接于所述控制器。

其中，所述传送机构的两侧安装有挡板，所述挡板可沿垂直于所述传送方向的方向在所述传送机构的表面滑动。

其中，所述传送机构包括承载架、传送带和传送电机，所述蔬菜识别机构和所述分拣机构均安装于所述承载架上，所述传送带绕设于所述承载架，所述传送电机用于驱动所述传送带转动。

本发明实施例还提供一种上述蔬菜分拣系统的控制方法，包括：

将蔬菜集中放置于传送机构的第一分区，所述图像采集组件依次采集所述蔬菜的图像；

基于神经网络模块内预存的神经网络模型，对所述蔬菜的图像进行识别，获取所述蔬菜的分类结果；

当所述蔬菜的分类结果为不合格时，利用分拣机构将所述蔬菜移动至所述传送机构的第二分区。

其中，所述神经网络模型的训练方法包括：

获取样本的RGB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；

用YOLOv3对标注后的所述第一训练集进行训练，得到对所述样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型，并获取二维训练结果；

对所述RGB彩色图像进行分割处理，获取目标检测物及其所在区域，再进行灰度处理并裁剪，获取只包含所述目标检测物及其所在区域的灰度图；

将所述灰度图中的所述目标检测物和所述3D点云信息一一对应，随机选择对应后的点云作为第二训练集；

用PointNet网络对所述二维训练结果和所述第二训练集对进行训练，得到对所述样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。

其中，所述获取样本的RGB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注，进一步包括：

对所述RGB彩色图像进行自适应直方图均衡化预处理；

对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广，将增广后的RGB彩色图像作为所述第一训练集。

其中，所述对所述RGB彩色图像进行分割处理，获取目标检测物及其所在区域，再进行灰度处理并裁剪，获取只包含所述目标检测物及其所在区域的灰度图，进一步包括：

利用语义分割算法对所述RGB彩色图像进行分割，分割出所述目标检测物所在区域；

利用二值化算法对获取了所述目标检测物及其所在区域的所述RGB彩色图像进行灰度处理。

本发明实施例提供的蔬菜分拣系统及其控制方法，其中蔬菜分拣系统包括用于放置蔬菜的传送机构，还包括控制器以及蔬菜识别机构和分拣机构，通过蔬菜识别机构对蔬菜进行图像采集和识别，利用图像识别处理器内置的神经网络模块，判断获取的图像中的蔬菜是否合格。通过分拣机构对蔬菜进行分拣。该蔬菜分拣系统将机器视觉与机械分拣生产线相结合，适应范围更广，灵活性更高，通过深度学习训练，可以实现对叶菜的自动识别、分级和筛选，比人工分拣更加精确高效，解决了人工分拣速度慢，分拣质量不稳定的缺点，且容错率更高，节约了人力成本，节省了资源，同时提高了产品质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的一种蔬菜分拣系统的结构示意图；

图2是本发明实施例中的一种蔬菜分拣系统的组成示意图；

图3是本发明实施例中的第一夹头的原理示意图；

附图标记说明：

1：传送机构； 11：承载架； 12：传送带；

121：第一分区； 122：第二分区； 13：传送电机；

2：控制器； 21：PLC控制系统； 22：人机交互系统；

3：蔬菜识别机构； 31：图像采集组件； 311：暗箱；

312：3D点云相机； 313：补光灯； 314：滑动门；

32：图像识别处理器； 321：神经网络模块； 322：信号输出模块；

4：分拣机构； 41：第一支架； 42：推动组件；

421：第一气缸； 422：第一夹头； 423：第一夹持气缸；

424：第一推板； 425：第一左连杆； 426：第一右连杆；

427：第一左夹指； 428：第一右夹指； 43：拉动组件；

5：挡板。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。

需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明实施例中的具体含义。

图1是本发明实施例中的一种蔬菜分拣系统的结构示意图，图2是本发明实施例中的一种蔬菜分拣系统的组成示意图，如图1～图2所示，本发明实施例提供的一种蔬菜分拣系统，包括用于放置蔬菜的传送机构1，还包括控制器2以及沿传送机构1的传送方向依次设置的蔬菜识别机构3和分拣机构4。

蔬菜识别机构3包括相互连接的图像采集组件31和图像识别处理器32，图像采集组件31的镜头朝向位于传送机构1上的蔬菜，图像识别处理器32内置有神经网络模块321，以根据图像采集组件31获取的蔬菜图像判断蔬菜是否合格。分拣机构4用于选择性地移动蔬菜。传送机构1、分拣机构4和图像识别处理器32均电连接于控制器2。

具体地，图1为本实施例中的蔬菜分拣系统的俯视图，传送方向由下至上。传送机构1可以采用传送带结构或者传送辊轮结构。蔬菜可以与栽培容器一起被放置于传送机构1上，既可以保持蔬菜分拣系统的整洁，避免水土等杂质的污染，又可以保证传送的稳定，形成统一的背景参照，有利于快速准确地识别叶菜品质。

控制器2是系统的控制中枢，可以包括PLC控制系统21(下位机)以及人机交互系统22(上位机)。PLC控制系统21可以采用西门子S7-1200系统，包含配套设置的电源、中央处理单元、存储器、输入单元和输出单元。PLC控制系统21用于监测传送机构1的运行状态，并控制传送机构1的启停、速度和方向；还用于接收蔬菜识别机构3的识别结果，控制蔬菜识别机构3采集图像；还用于监测分拣机构4的运行状态，并控制分拣机构4对不合格的蔬菜进行分拣操作。人机交互系统22可以采用PC端或者移动终端，人机交互系统22通过以太网与PLC控制系统21相连。操作人员可以在人机交互系统22上设置传送机构1和分拣机构4的运行参数，例如传送机构1的传送速度、方向及启停，分拣机构4的退出速度、行程，时间间隔等。同时设置蔬菜识别机构3对采集图像中的叶菜的提取特征参数，例如叶菜的类型、重量和体积系数、质量等级等。PLC控制系统21可以接收来自人机交互系统22的指令，对传送机构1和分拣机构4进行相应控制，实现分拣动作，将叶菜分类移动到指定位置。另外，控制器2还可以采用其他的集成处理器，只要能实现上述功能即可。

蔬菜识别机构3包括相互连接的图像采集组件31和图像识别处理器32，图像采集组件31用于采集蔬菜的图像，并将图像转化为数字信号发送给图像识别处理器32，图像识别处理器32内置有神经网络模块321，神经网络模块321内预存有预先训练好的神经网络模型，用于对采集到的蔬菜图像信号进行识别和分类。同时图像识别处理器32还内置有与PLC控制系统21相连接的信号输出模块322，用于将检测结果发送给控制器2作为分拣操作的输入。

分拣机构4可以安装在传送机构1的侧方，用于选择性地移动蔬菜，根据蔬菜识别机构3的检测结果来执行分拣动作。分拣机构4可以采用推动蔬菜的方式将蔬菜分拣，也可以采用拉动蔬菜的方式。初始时，蔬菜全部放置于传送机构1的第一分区121，并有序地依次通过蔬菜识别机构3，若识别出当前的蔬菜为某一类需要分拣出来蔬菜(例如不合格蔬菜)，则可以启动分拣机构4，将该蔬菜从队列中推出或者拉出至第二分区122，实现蔬菜的分拣。

本实施例提供的一种蔬菜分拣系统，包括用于放置蔬菜的传送机构，还包括控制器以及蔬菜识别机构和分拣机构，通过蔬菜识别机构对蔬菜进行图像采集和识别，利用图像识别处理器内置的神经网络模块，判断获取的图像中的蔬菜是否合格。通过分拣机构对蔬菜进行分拣。该蔬菜分拣系统将机器视觉与机械分拣生产线相结合，适应范围更广，灵活性更高，通过深度学习训练，可以实现对叶菜的自动识别、分级和筛选，比人工分拣更加精确高效，解决了人工分拣速度慢，分拣质量不稳定的缺点，且容错率更高，节约了人力成本，节省了资源，同时提高了产品质量。

进一步地，如图1所示，传送机构1包括承载架11、传送带12和传送电机13，蔬菜识别机构3和分拣机构4均安装于承载架11上，传送带12绕设于承载架11，传送电机13可以通过齿轮或者链条等传动结构连接于传送带12，以驱动传送带12转动。传送带12上设置有位于右侧的第一分区121和位于左侧的第二分区122，分拣前的蔬菜集中在第一分区121传送，然后利用分拣机构4将不合格蔬菜移动至第二分区122，实现蔬菜的分拣。具体地，传送带12宽度为0.5米，长度为1.6米。传送电机13采用伺服电机。

进一步地，如图1所示，分拣机构4包括第一支架41和推动组件42，第一支架41固接于传送机构1的右侧。推动组件42包括第一气缸421，第一气缸421的缸体连接于第一支架41，第一气缸421的活塞杆朝向位于传送机构1上的蔬菜。具体地，第一气缸421的缸体通过进气阀和出气阀连通于外部的压缩气系统。进气阀和出气阀均为电动阀或者电磁阀，且均电连接于控制器2，以接收启停信号。通过调节第一气缸421的缸体内的气压，实现对第一气缸421的活塞杆的推拉。更具体地，第一气缸421的活塞杆可以在0～15cm的长度范围内自由调节。

更进一步地，第一支架41固接有第一转动电机(图中未示出)，第一转动电机的输出轴连接于第一气缸421的缸体。第一转动电机的输出轴上安装有第一旋转编码器(图中未示出)，第一转动电机和第一旋转编码器均电连接于控制器2。具体地，第一转动电机的转速和偏转角度均可发送给控制器2进行监控，便于实现反馈控制。利用第一转动电机可以带动第一气缸421左右摆动，可以实现较大范围内的分拣操作，既能够通过调节对蔬菜的推动角度，避免将盛装蔬菜的栽培容器推倒；又能够适应传送机构1的传送速度，可以快速、及时地执行多次分拣操作，不发生分拣操作的遗漏。更具体地，第一气缸421可以在0～30°的角度范围内自由调节。

进一步地，如图1和图3所示，推动组件42还包括第一夹头422，第一夹头422包括第一夹持气缸423、第一推板424、第一左连杆425、第一右连杆426、第一左夹指427和第一右夹指428。第一夹持气缸423的缸体固接于第一气缸421的活塞杆，因而第一夹头422整体可以随着第一气缸421的活塞杆实现前后移动和左右摆动。第一夹持气缸423的活塞杆固接于第一推板424的中部，第一推板424的左端、第一左连杆425和第一左夹指427依次铰接，第一推板424的右端、第一右连杆426和第一右夹指428依次铰接，第一左夹指427和第一右夹指428均铰接在第一夹持气缸423的缸体上。因而，当第一夹持气缸423的活塞杆前后移动时，第一左夹指427和第一右夹指428可以随之开合，实现对蔬菜的夹持和释放。

具体地，第一夹持气缸423的缸体通过进气阀和出气阀连通于外部的压缩气系统。进气阀和出气阀均为电动阀或者电磁阀，且均电连接于控制器2，以接收启停信号。通过调节第一夹持气缸423的缸体内的气压，实现对第一夹持气缸423的活塞杆的推拉，进而实现对第一夹头422的夹持和释放动作的控制。更具体地，第一夹头422朝向蔬菜的一侧还可以设置有感应开关，当感应到已经接触了蔬菜时，控制第一夹头422闭合，夹持蔬菜，并将其推至第二分区122，待推至预设位置后，立刻控制第一夹头422打开，释放蔬菜，第一气缸421的活塞杆及时带动第一夹头422复位，等待下一次分拣。通过设置第一夹头422可以实现对蔬菜的栽培容器的夹持，保证容器不被推倒，污染分拣系统。此外，第一夹头422也可以直接采用弧形推板代替。

进一步地，分拣机构4还可以包括第二支架(图中未示出)和拉动组件43，第二支架固接于传送机构的左侧。拉动组件43包括第二气缸和第二夹头(图中均未示出)，第二气缸的缸体连接于第二支架，第二气缸的活塞杆朝向传送机构；第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指，第二夹持气缸的缸体固接于第二气缸的活塞杆，第二夹持气缸的活塞杆固接于第二推板的中部，第二推板的左端、第二左连杆和第二左夹指依次铰接，第二推板的右端、第二右连杆和第二右夹指依次铰接，第二左夹指和第二右夹指均铰接在第二夹持气缸的缸体上。

具体地，拉动组件和推动组件的结构和组成类似，不同的是，推动组件42设置在传送机构1靠近第一分区121的一侧，利用第一气缸421的活塞杆带动第一夹头422，将不合格的蔬菜推至第二分区122。而拉动组件43则设置在传送机构1靠近第二分区122的一侧，利用第二气缸的活塞杆带动第二夹头，将不合格的蔬菜拉至第二分区122。

更进一步地，第二支架固接有第二转动电机(图中未示出)，第二转动电机的输出轴连接于第二气缸的缸体。第二转动电机的输出轴上安装有第二旋转编码器(图中未示出)，第二转动电机和第二旋转编码器均电连接于控制器。具体地，第二转动电机的转速和偏转角度均可发送给控制器2进行监控，便于实现反馈控制。利用第二转动电机可以带动第二气缸的左右摆动，可以实现较大范围内的分拣操作。

进一步地，如图1～图2所示，图像采集组件31包括固接于传送机构1上的暗箱311以及安装于暗箱311内的3D点云相机312和补光灯313，3D点云相机312电连接于图像识别处理器32。具体地，3D点云相机312可以采用图漾科技FM810-IX型号，可以同时获取拍摄物的RGB彩色图像和3D点云信息。补光灯313可以采用环形不可见光光源打光，为3D点云相机312采集图像提供相对单一的光源环境。更具体地，补光灯313的光强和光色可以根据拍摄到的叶菜颜色和亮度进行调节，可以采用人为手动调整，也可以将补光灯313的调节器电连接于控制器2，实现自动调整。

更进一步地，暗箱311沿传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门314，滑动门314的驱动组件电连接于控制器2。通过滑动门314的启闭，可以保证每次拍摄时暗箱311内的光照均稳定相同，减少外界光照的影响。滑动门314可以采用电机和链条的传动结构来实现，滑动门314为现有成熟设备，可直接于市场采购。

进一步地，如图1所示，传送机构1的两侧安装有挡板5，挡板5可沿垂直于传送方向的方向在传送机构1的表面滑动。具体地，挡板5的滑动长度可以根据蔬菜的大小来设计。挡板5可以分为多块竖板，分别安装在蔬菜识别机构3的前端部分，以及安装在蔬菜识别机构3的后端部分且与分拣机构4相对一侧。位于蔬菜识别机构3的前端部分的挡板5可以在传送过程中进行左右移动，将待分拣的蔬菜集中到传送机构1的第一分区121，使其呈顺序排列。更具体地，挡板5可以在0～30cm的长度范围内自由调节。

通过设置挡板5既可以防止叶菜在传送带上传输过程中掉落到装置之外，又可以根据蔬菜的投影面积的大小进行调节，保证蔬菜集中于第一分区121进行传送，便于进行后续的分拣操作。

本发明实施例还提供一种上述蔬菜分拣系统的控制方法，包括：

步骤S1：将蔬菜集中放置于传送机构1的第一分区121，图像采集组件31依次采集蔬菜的图像。

具体地，利用挡板5将蔬菜集中到传送带12右侧的第一分区121上，呈顺序排列。在传送带12的带动下依次通过图像采集组件31。

步骤S2：基于神经网络模块321内预存的神经网络模型，对蔬菜的图像进行识别，获取蔬菜的分类结果。

具体地，图像识别处理器32接收到图像采集组件31采集的图像信息，利用预先训练好的神经网络模型对该图像进行识别，输出分类结果给控制器2。

步骤S3：当蔬菜的分类结果为不合格时，利用分拣机构4将蔬菜移动至传送机构1的第二分区122。

具体地，当分类结果为不合格时，控制器2发出控制信号给分拣机构4，控制分拣机构执行分拣动作，将不合格的蔬菜移动至第二分区122。

进一步地，神经网络模型的训练方法包括：

步骤S10：获取样本的RGB彩色图像和3D点云信息，将RGB彩色图像作为第一训练集，对第一训练集进行标注；

步骤S20：用YOLOv3对标注后的第一训练集进行训练，得到对样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型，并获取二维训练结果；

步骤S30：对RGB彩色图像进行分割处理，获取目标检测物及其所在区域，再进行灰度处理并裁剪，获取只包含目标检测物及其所在区域的灰度图；

步骤S40：将灰度图中的目标检测物和3D点云信息一一对应，随机选择对应后的点云作为第二训练集；

步骤S50：用PointNet网络对二维训练结果和第二训练集对进行训练，得到对样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。

进一步地，步骤S10进一步包括：

步骤S11：对RGB彩色图像进行自适应直方图均衡化预处理；

步骤S12：对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广，将增广后的RGB彩色图像作为第一训练集。

进一步地，步骤S30进一步包括：

步骤S31：利用语义分割算法对RGB彩色图像进行分割，分割出目标检测物所在区域；

步骤S32：利用二值化算法对获取了目标检测物及其所在区域的RGB彩色图像进行灰度处理。

通过以上实施例可以看出，本发明提供的蔬菜分拣系统及其控制方法，其中蔬菜分拣系统包括用于放置蔬菜的传送机构，还包括控制器以及蔬菜识别机构和分拣机构，通过蔬菜识别机构对蔬菜进行图像采集和识别，利用图像识别处理器内置的神经网络模块，判断获取的图像中的蔬菜是否合格。通过分拣机构对不合格的蔬菜进行分拣。该蔬菜分拣系统将机器视觉与机械分拣生产线相结合，适应范围更广，灵活性更高，通过深度学习训练，可以实现对叶菜的自动识别、分级和筛选，比人工分拣更加精确高效，解决了人工分拣速度慢，分拣质量不稳定的缺点，且容错率更高。将基于2D和3D结合的非结构目标识别分类技术引入到叶菜分拣中来，与传统的视觉识别和光谱分析技术相比，大大提高了分拣精度和速度，节约了人力成本，节省了资源，同时提高了产品质量，大幅提高了生产效率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种蔬菜分拣系统，包括用于放置蔬菜的传送机构，其特征在于，还包括控制器以及沿所述传送机构的传送方向依次设置的蔬菜识别机构和分拣机构；所述蔬菜识别机构包括相互连接的图像采集组件和图像识别处理器，所述图像采集组件的镜头朝向位于所述传送机构上的所述蔬菜，所述图像识别处理器内置有神经网络模块，以根据所述图像采集组件获取的蔬菜图像判断所述蔬菜是否合格；所述分拣机构用于选择性地移动所述蔬菜；所述传送机构、所述分拣机构和所述图像识别处理器均电连接于控制器。

2.根据权利要求1所述的蔬菜分拣系统，其特征在于，所述分拣机构包括第一支架和推动组件，所述第一支架固接于所述传送机构的一侧；所述推动组件包括第一气缸，所述第一气缸的缸体连接于所述第一支架，所述第一气缸的活塞杆朝向位于所述传送机构上的所述蔬菜。

3.根据权利要求2所述的蔬菜分拣系统，其特征在于，所述第一支架固接有第一转动电机，所述第一转动电机的输出轴连接于所述第一气缸的缸体；所述第一转动电机的输出轴上安装有第一旋转编码器，所述第一转动电机和所述第一旋转编码器均电连接于所述控制器。

4.根据权利要求2所述的蔬菜分拣系统，其特征在于，所述推动组件还包括第一夹头，所述第一夹头包括第一夹持气缸、第一推板、第一左连杆、第一右连杆、第一左夹指和第一右夹指，所述第一夹持气缸的缸体固接于所述第一气缸的活塞杆，所述第一夹持气缸的活塞杆固接于所述第一推板的中部，所述第一推板的左端、所述第一左连杆和所述第一左夹指依次铰接，所述第一推板的右端、所述第一右连杆和所述第一右夹指依次铰接，所述第一左夹指和所述第一右夹指均铰接在所述第一夹持气缸的缸体上。

5.根据权利要求1所述的蔬菜分拣系统，其特征在于，所述分拣机构包括第二支架和拉动组件，所述第二支架固接于所述传送机构的一侧；所述拉动组件包括第二气缸和第二夹头，所述第二气缸的缸体连接于所述第二支架，所述第二气缸的活塞杆朝向所述传送机构；

所述第二夹头包括第二夹持气缸、第二推板、第二左连杆、第二右连杆、第二左夹指和第二右夹指，所述第二夹持气缸的缸体固接于所述第二气缸的活塞杆，所述第二夹持气缸的活塞杆固接于所述第二推板的中部，所述第二推板的左端、所述第二左连杆和所述第二左夹指依次铰接，所述第二推板的右端、所述第二右连杆和所述第二右夹指依次铰接，所述第二左夹指和所述第二右夹指均铰接在所述第二夹持气缸的缸体上。

6.根据权利要求5所述的蔬菜分拣系统，其特征在于，所述第二支架固接有第二转动电机，所述第二转动电机的输出轴连接于所述第二气缸的缸体；所述第二转动电机的输出轴上安装有第二旋转编码器，所述第二转动电机和所述第二旋转编码器均电连接于所述控制器。

7.根据权利要求1所述的蔬菜分拣系统，其特征在于，所述图像采集组件包括固接于所述传送机构上的暗箱以及安装于所述暗箱内的3D点云相机和补光灯，所述3D点云相机电连接于所述图像识别处理器。

8.根据权利要求7所述的蔬菜分拣系统，其特征在于，所述暗箱沿所述传送方向上的相对的两侧壁上分别开设有可上下移动的滑动门，所述滑动门的驱动组件电连接于所述控制器。

9.根据权利要求1所述的蔬菜分拣系统，其特征在于，所述传送机构的两侧安装有挡板，所述挡板可沿垂直于所述传送方向的方向在所述传送机构的表面滑动。

10.根据权利要求1至9中任一项所述的蔬菜分拣系统，其特征在于，所述传送机构包括承载架、传送带和传送电机，所述蔬菜识别机构和所述分拣机构均安装于所述承载架上，所述传送带绕设于所述承载架，所述传送电机用于驱动所述传送带转动。

11.一种如权利要求1至10中任一项所述的蔬菜分拣系统的控制方法，其特征在于，包括：

将蔬菜集中放置于传送机构的第一分区，所述图像采集组件依次采集所述蔬菜的图像；

基于神经网络模块内预存的神经网络模型，对所述蔬菜的图像进行识别，获取所述蔬菜的分类结果；

当所述蔬菜的分类结果为不合格时，利用分拣机构将所述蔬菜移动至所述传送机构的第二分区。

12.根据权利要求11所述的控制方法，其特征在于，所述神经网络模型的训练方法包括：

获取样本的RGB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注；

用YOLOv3对标注后的所述第一训练集进行训练，得到对所述样本的投影面积、叶面色差和质量等级进行分类和识别的第一神经网络模型，并获取二维训练结果；

对所述RGB彩色图像进行分割处理，获取目标检测物及其所在区域，再进行灰度处理并裁剪，获取只包含所述目标检测物及其所在区域的灰度图；

将所述灰度图中的所述目标检测物和所述3D点云信息一一对应，随机选择对应后的点云作为第二训练集；

用PointNet网络对所述二维训练结果和所述第二训练集对进行训练，得到对所述样本的叶菜重量、投影面积、叶面色差和质量等级进行分类和识别的第二神经网络模型。

13.根据权利要求12所述的控制方法，其特征在于，所述获取样本的RGB彩色图像和3D点云信息，将所述RGB彩色图像作为第一训练集，对所述第一训练集进行标注，进一步包括：

对所述RGB彩色图像进行自适应直方图均衡化预处理；

对预处理后的RGB彩色图像采用随机裁剪、水平翻转和/或随机旋转角度的方式进行数据增广，将增广后的RGB彩色图像作为所述第一训练集。

14.根据权利要求12所述的控制方法，其特征在于，所述对所述RGB彩色图像进行分割处理，获取目标检测物及其所在区域，再进行灰度处理并裁剪，获取只包含所述目标检测物及其所在区域的灰度图，进一步包括：

利用语义分割算法对所述RGB彩色图像进行分割，分割出所述目标检测物所在区域；

利用二值化算法对获取了所述目标检测物及其所在区域的所述RGB彩色图像进行灰度处理。

Images