CN103988824A - 一种基于双目视觉技术的自动对靶喷施系统 - Google Patents

Abstract

本发明公开了一种基于双目视觉技术的自动对靶喷施系统，包括全方位移动平台，所述全方位移动平台上安装有图像采集装置、喷施装置，以及用于接收和分析图像采集装置输出的作物图像信息，并控制喷施装置、全方位移动平台工作的控制装置；喷施装置包括：药箱；出液管，一端与药箱相通，另一端连有喷杆，喷杆上固定有若干喷头；输送泵，安装在出液管上，用于将药箱中的肥料或农药泵入出液管；机械臂，喷杆固定在该机械臂上；图像采集装置包括固定在所述机械臂上的双目相机。将双目相机、喷杆安装在机械臂上，既可实现对作物进行全方位图像采集，也可实现对作物进行全方位地、精细地喷施农药或肥料，从而提高了农药或肥料的利用率。

Description

一种基于双目视觉技术的自动对靶喷施系统

技术领域

本发明属于农业机械技术领域，具体涉及一种基于双目视觉技术的自动对靶喷施系统。 

背景技术

病虫害防治是农作物种植过程中的重要环节，在目前的中国，近80%的施药作业仍采用手动式喷雾器，将农药大范围喷洒在作物上。施药方法简单粗放，“跑、冒、滴、漏”现象严重，农药利用率只有20%左右，造成严重的浪费和环境污染，同时也会影响到农作物的销售、食用和出口。每年都会发生不少因施药造成的农药中毒事件。研制既能有效控制病虫害发展，又能保证生态环境，提高农药利用率的施药系统械和方法成为当务之急。围绕这一目标，研制针对植株病害部位的快速判断和对靶变量施药作业装置成为研究者们关注的热点。 

近年来，国内外在对靶施药系统械方面也做了大量研究，并取得了一定进展。Giles D K等（Giles D K,Slaughter D C.Precision band spraying with machine-vision guidance and adjustable yaw nozzles[J].Transactions of ASAE，1997，40(1)：29－36.）使用摄像头定位了植株中心线，控制喷头进行对靶喷雾。Sammons（Sammons P J,Furukawa T,Bulgin A.Autonomous pesticide spraying robot for use in a greenhouse[A].Australian Conference on Robotics and Automation，Sydney Australian.2005：1－8.）研制了温室喷雾机器人，可以利用贴在地面的标记进行定点喷雾。Singh等（Singh S,Burks T,Lee W S.Autonomous robotic vehicle for greenhouse spraying[A].2004ASAE/CSAE Annual International Meeting.Ottawa，Ontario，Canada.2004.）开发了6轮差动驱动小车，结合机器视觉好激光雷达技术用于精确导航控制施药。另外，美国ITS、日本S&H、韩国Agro-Mister、国内的碧斯凯公司的PG-Ⅱ型和京鹏公司的JYG-1型等喷灌机产品也可用于温室喷雾使用，但缺乏病害信息获取能力，不能实现变量喷雾。 

国内何雄奎等（何雄奎.改变我国植保机械和施药技术严重落后的现状[J].农业工程学报，2004，20(1)：13－15.）研制了基于红外技术的果园自动喷雾机，通过判断果树的有无控制对靶喷雾。葛玉峰等（葛玉峰，周宏平，郑加强，张惠春.基于机器视觉的室内农药自动精确喷雾系统[J].农业机械学报，2005,36（3）：86-89.）设计了基于机器视觉的农药精准喷雾系统，探讨了施药过程中的决策问题和运动模拟。但上述研究还是以整棵的植株为对象进行施药控制，也缺乏对病害情况的判断能力，农药利用率仍较为低下，且对靶精度不高。 

张俊雄等（张俊雄，曹峥勇，耿长兴，等.温室精准对靶喷雾机器人研制[J].农业工程学报，2009，25(2)：70－73.）进行了温室精准对靶喷雾机器人的研制，通过在温室内搭建导轨，使机器人可以在植株上方滑动，以0.2m*0.2m为最小施药单元，结合机器视觉技术简单判断病害程度，取得了很好的成效。但仍存在一些问题：一是铺设导轨增加了成本；二是将应用环境局限在了温室内种植的篱架型植物；三是由于施药系统器人悬挂在导轨上，由于机器人的重量会引起导轨和机械臂发生形变，产生一定误差，且误差可能累积，误差积累后会对施药精度和准确度造成影响。 

发明内容

本发明提供了一种基于双目视觉技术的自动对靶喷施系统，该自动对靶喷施系统使用范围广，能够在0.1m*0.1m～0.2m*0.2m范围内进行精细施药或施肥操作。 

一种基于双目视觉技术的自动对靶喷施系统， 

包括全方位移动平台，所述全方位移动平台上安装有：用于采集作物图像信息的图像采集装置；用于向作物喷施农药或肥料的喷施装置；以及用于接收和分析图像采集装置输出的作物图像信息，并控制喷施装置、全方位移动平台工作的控制装置； 

所述喷施装置包括： 

用于盛放农药或肥料的药箱； 

出液管，一端与所述药箱相连通，另一端连通有喷杆，所述喷杆上固 定有若干喷头； 

输送泵，安装在所述出液管上，用于将药箱中的肥料或农药泵入出液管；所述输送泵与驱动电机相连； 

机械臂，所述喷杆固定在该机械臂上； 

所述图像采集装置包括固定在所述机械臂上的双目相机。 

全方位移动平台有助于提高本发明的自动对靶喷施系统对狭小、无回转作业道路的适应性。采用双目相机进行图像采集，可实时得到作物的深度信息和三维模型，控制装置根据该深度信息控制机械臂移动，调整双目相机与作物之间的距离为预设值；此时双目相机拍摄作物图像，控制装置对接收到的作物图像信息进行分析，或进行病斑提取或进行叶面面积分析，最后控制喷头对病斑喷施农药或对叶片喷施肥料。 

喷杆、喷头、双目相机均安装在机械臂上，机械臂可实现多个自由度的运动，既可实现对作物进行全方位图像采集，也可实现对作物进行全方位地、精细地喷施农药或肥料，从而提高了农药或肥料的利用率，减少了农药对施药者健康的危害，并降低了对环境的污染。 

所述机械臂为机械臂，作为优选，所述机械臂包括： 

固定在所述全方位移动平台上的竖直导轨； 

升降座，与所述竖直导轨滑动定位配合； 

水平导轨，固定在所述升降座上且与所述竖直导轨垂直布置； 

移动座，与所述水平导轨滑动定位配合； 

液压伸缩杆，固定在所述移动座上且垂直于水平导轨和竖直导轨，双目相机和喷杆固定均在该液压伸缩杆上。 

该机械臂为三自由度机械臂，通过液压伸缩杆、水平导轨、竖直导轨分别实现X、Y、Z三个自由度的运动。其中，水平导轨随升降座一同沿着竖直导轨上升或下降，先将双目相机和喷杆定位至某一垂直高度上；然后液压伸缩杆随移动座沿着水平导轨移动，再将双目相机和喷杆定位至某一水平方位上；最后液压伸缩杆自行伸缩，将双目相机和喷杆定位至某一作物深度上，双目相机采集该空间位点处的作物图像。 

作为优选，所述出液管包括： 

一端与所述药箱连通的出液总管； 

与所述出液总管相连通的若干出液支管，每条出液支管的出液口分别与喷杆上的喷头一一连通。 

将喷头与独立的出液支管相连，便于调整每一个喷头的喷施量，实现精确喷施，避免喷施过多，提高农药或肥料的利用率。 

本发明中，每一个喷头的喷施量是通过如下方式调节的：每条出液支管上均安装有流量传感器和电磁阀，所述控制装置接收流量传感器的输出信息并控制电磁阀的开启或关闭。电磁阀安装在每条出液支管的出液口与喷头的连接处。 

在同一时刻内，从药箱进入出液总管的总农药量或总肥料量是一定的，当控制装置对每一喷头的喷施量进行调整时，每次喷施后出液总管或出液支管中的残留农药量或残留肥料量会增多，增大了对出液总管或出液支管的压力，降低了使用寿命。 

为防止该情况出现，本发明中，所述出液总管上还安装有位于输送泵下游的三通球阀，所述三通球阀上设有流入通道、第一分流通道和第二分流通道，所述流入通道与出液总管相连，所述第一分流通道内安装有与药箱相连的回流管，所述第二分流通道内安装有与各出液支管相连的出液分管。如此残留在出液总管或出液支管内的农药或肥料即可经回流管返回至药箱中，不会对出液总管或出液支管产生过多压力。 

作为进一步优选，所述喷杆上还安装有位于相邻喷头间的导流板。导流板的倾斜角度可以调节，从而调节喷头的喷施范围。作为优选，所述喷头有1～5个，且均匀分布在所述喷杆上。 

本发明中，所述全方位移动平台上还设有定位导航装置，所述控制装置接收该定位导航装置的定位信息并控制全方位移动平台行走。定位导航装置对全方位移动平台和作物进行定位，控制装置根据接收到的定位信息自动规划全方位移动平台的行走路径，并控制全方位移动平台行走至相应作物处。 

与现有技术相比，本发明的有益效果为： 

（1）本发明采用全方位移动平台搭载自动对靶喷雾系统，全方位移动平台的转弯半径为零，对温室、藤架乃至大田垄间等不同的工作环境都有很好的适应性； 

（2）本发明的自动对靶喷雾系统包含有定位导航系统和双目相机，可以实现全方位移动平台行走路径的自动规划，以及作物的自动定位； 

（3）本发明将双目相机、喷杆均安装在三自由度机械臂上，既可实现对作物进行全方位图像采集，也可实现对作物进行全方位地、精细地喷施农药或肥料，从而提高了农药或肥料的利用率，减少了农药对施药者健康的危害，并降低了对环境的污染； 

（4）本发明利用流量传感器和电磁阀控制每个喷头的喷施量，进一步提高了喷施精度和农药或肥料的利用率。 

附图说明

图1为本发明一种基于双目视觉技术的自动对靶喷施系统的结构示意图； 

图2为图1中机械臂处的结构示意图； 

图3为本发明一种基于双目视觉技术的自动对靶喷施系统的工作原理图； 

其中，1：全方位移动平台；2：车轮，3：流量传感器，4：出液支管，5：喷头，6：电磁阀，7：双目相机，8：机械臂，9：隔膜泵，10：变速箱，11：发动机，12：药箱，13：单片机，14：K508GNSS主板，15：PC机，16：座位，17：回流管，18：三通球阀，19：出液分管，20：出液总管，21：导流板，22：喷杆，23：液压伸缩杆，24：水平导轨，25：垂直导轨，26：升降座。 

具体实施方式

如图1所示，本实施例一种基于双目视觉技术的自动对靶喷施系统，包括全方位移动平台1，全方位移动平台1的底部安装有360°原地旋转车轮2。 

全方位移动平台1上设有K508GNSS主板14作为定位导航装置，K508GNSS主板14可以采用BDS（北斗卫星导航系统）B1/B2/B3三频、GPS L1/L2/L5三频以及GLONASS L1/L2双频三系统进行联合定位，支持单系统独立定位和多系统联合定位。K508GNSS主板14通过LV-TTL  RS232接口与PC机15连接，采用配套的板卡控制软件CRU以及GNSS数据处理软件Compass Solution进行数据的分析处理。 

PC机15采用微软windows系统，控制程序采用VC++6.0编写，且带有监视面板。全方位移动平台1上设有与PC机15邻近的座位16，供操作人员乘坐，方便控制整个自动对靶喷施系统。 

K508GNSS主板14对全方位移动平台1和作物进行定位，PC机15根据接收到的定位信息，采用空间网格化节点算法自动规划出全方位移动平台1的行走路径，并控制全方位移动平台1行走至相应作物处。 

由图1、图2可见，全方位移动平台1上安装有机械臂8，机械臂8包括固定在全方位移动平台1上的竖直导轨25（Z向），竖直导轨25上滑动定位安装有升降座26，升降座26上固定有与竖直导轨25垂直布置的水平导轨24（Y向），水平导轨24上滑动定位安装有移动座（图中省略），移动座上固定有垂直于水平导轨24和竖直导轨25的液压伸缩杆23（X向）。 

竖直导轨25、水平导轨24以及液压伸缩杆23的长度可以根据实际需要设置，本实施例中，竖直导轨25和水平导轨24均为1.2m，液压伸缩杆23的长度可在0.2-0.4m范围内变化。 

由图3可见，机械臂8的移动由PLC控制，PLC通过RS232数据串口线接收PC机15发送的控制字节，并上传各关节的状态信息。升降座26和移动座均由步进电机驱动，PC机15通过PLC上的高速脉冲口向步进电机驱动器发出频率可变的脉冲段，从而实现升降座26和移动座的平稳运动，并通过PLC内部的脉冲计数器统计实时发出的脉冲数，换算得知机械臂8各关节的位置。 

液压伸缩杆23上安装有双目相机7，用于采集作物图像。本实施例选用的双目相机7型号为BBX3-13S2C-38/60，相机为彩色，分辨率1280*960，采用IEEE1394接口传输数据至PC机15进行处理，可测范围为157*36*47.4mm。配合PGR软件使用，可以实时得到场景的深度信息和三维模型。 

当机械臂8移动至双目相机7距离作物0.4m时停止，此时双目相机7采集的图像对应的实际区域为1.0m*0.2m。PC机15接收到双目相机7传 输的图像后，将图像划分为对应作物上0.2m*0.2m大小的子区域，并通过BP神经网络算法获取各子区域内的病斑区域。 

BP神经网络算法的步骤为： 

依据颜色这一特征，将病斑区域与健康区域的颜色作为BP神经网络的输入值，即颜色的R、G、B三个分量，因此输入层节点数为3；而输出层有3种情况：如果输出层最终信号小于0.5，则对应的图像像素为背景；如果输出层最终信号大于0.5，则对应的图像像素为病斑；如果输出层最终信号等于0.5，则为不确定图像；最终将背景和不确定图像的颜色赋予白色，从而提取出病斑区域。 

提取出各子区域内的病斑区域后，计算每个子区域内病斑所占像素数与总像素数的比值x，根据这个比值x与施药量之间已建立的经验线性模型y=ax+b，计算得出该子区域施药量y（这个经验模型只适用于一种特定的作物和特定的病害，对于其他作物或其他病害，所建立的经验模型是不成立的，需要输入其他的对应经验模型）。然后将施药量信息传输给单片机13。 

或者，通过图像处理技术提取各子区域内的叶片部位，并计算每个子区域内叶片所占像素数与总像素数的比值x’，根据这个比值x’与施肥量之间已建立的经验线性模型y’=cx’+d，计算得出该子区域施肥量y’；然后将施肥量信息传输给单片机13。 

如图1所示，全方位移动平台1上安装有用于盛放农药或肥料的药箱12，药箱12底部安装有出液总管20，出液总管20上安装有隔膜泵9。隔膜泵9与变速箱10相连，变速箱10与发动机11（含离合器）相连，由发动机11与变速箱10驱动隔膜泵9工作。 

在隔膜泵9的下游，出液总管20上安装有三通球阀18，三通球阀上设有流入通道、第一分流通道和第二分流通道；其中，出液总管20与流入通道相连，第一分流通道内安装有与药箱12相连的回流管17，所述第二分流通道内安装有出液分管19，出液分管19又分出五条出液支管4。五条出液支管4的出液口均安装有喷头5，五个喷头5均匀安装在一根喷杆22上，喷杆22也安装在液压伸缩杆23上。 

由图2可见，喷杆22上还安装有位于相邻喷头5间的导流板21。导 流板21的倾斜角度可以调节，从而调节每个喷头5的喷施范围。喷施时，PC机15控制机械臂8移动，使喷头5距离作物0.2m，每个喷头5的喷施范围为0.2m*0.2m，与PC机15进行图像分析时各子区域的大小一致。 

由图1可见，每条出液支管4上均安装有流量传感器3和电磁阀6。本实施例采用的单片机13为AT89S52单片机，采用外接电源供电。 

AT89S52单片机的P0.0-P0.4口、P2.0-P2.4口与五个放大隔离芯片TLP250连接（每个TLP250的输入端有两个引脚，两个引脚分别与一个P0口、一个P2口连接，根据加在两个引脚的电压差别决定输出端的电压输出），五个放大隔离芯片TLP250的VO口分别与五个电磁阀6相连；P1.0-P1.4口分别与五个A/D转换芯片PCF8591连接，A/D转换芯片PCF8591则分别直接与五个流量传感器3连接；P3.0-P3.1口与串口连接芯片MAX232连接，串口连接芯片MAX232与串口RS232连接，串口RS232通过数据线连接到PC机15；P1.6-P1.7口分别与2个输入键盘连接，2个输入键盘执行的命令分别是“开始喷药”、“停止喷药”；P3.7口与蜂鸣器连接，P2.5口与发光二极管连接。当施药量或施肥量超过预先设定的范围但电磁阀6因故障未关闭时，蜂鸣器响起且发光二极管闪亮。 

本实施例一种基于双目视觉技术的自动对靶喷施系统的工作过程为： 

根据作物的形状、高低等信息初步调整机械臂8架设的高度；需要施药时，根据病害的种类选择相应的农药，且将对应的经验线性模型输入到PC机15中；选择该种作物上的10个病斑点和10个背景点，将它们的R、G、B值作为三个输入节点，来训练BP神经网络算法；需要施肥时，则选择相应的肥料；且将对应的经验线性模型输入到PC机15中。 

通过K508GNSS主板14获取全方位移动平台1以及作物的位置信息，通过空间网格化节点算法，做出路径规划；全方位移动平台1根据规划的路径行驶到目标位置后，控制全方位移动平台1使机械臂8正对作物；接着通过双目相机7实时拍摄正前方作物图像，传递给PC机15；PC机15计算得出作物的深度信息，根据深度信息控制机械臂8的液压伸缩杆23运动，使得双目相机7距离作物0.4m，此时双目相机7采集到的作物图像所对应的实际面积为1.0m*0.2m，喷杆22距离作物0.2m（本实施例中，双目相机7与喷头5之间的距离固定为0.2m）；通过调整导流板 21的角度，使得在此距离下每个喷头5的喷施范围为0.2m*0.2m。 

PC机15对采集图像进行病斑提取或叶片部位提取，并根据相应的经验线性模型计算出施药量或施肥量；一次将一行五个子区域的施药量或施肥量信息传输给单片机13，同时PC机15控制机械臂8的升降座26沿垂直导轨25移动，使喷头5对准第一行子区域（一共五行，每行五列）；单片机13根据得到的一行五个子区域的喷施量信息，控制电磁阀6开启，开始喷施，五个流量传感器3将每个喷头5的实际喷施量信息传输给单片机13，直到喷头5的喷施量达到了该区域的预设值，单片机13控制相应的电磁阀6闭合，停止喷施。 

完成了这一行所有五个子区域的施药后，单片机13将完成信号传输给PC机15，PC机15控制机械臂8的水平导轨24随升降座26沿着垂直导轨25移动0.2m，采集该位置的图像，判断是否需要施药或施肥，如果需要，则开始这一行的喷施，如果不需要，水平导轨24继续随升降座26沿着垂直导轨25移动0.2m；当水平导轨24无法继续移动0.2m时（达到或接近（距离小于0.1m）垂直导轨25的端部），PC机15控制全方位移动平台1启动，行走至下一个施药区域，开始下一轮操作。 

Claims (8)

1.一种基于双目视觉技术的自动对靶喷施系统，包括全方位移动平台，所述全方位移动平台上安装有：用于采集作物图像信息的图像采集装置；用于向作物喷施农药或肥料的喷施装置；以及用于接收和分析图像采集装置输出的作物图像信息，并控制喷施装置、全方位移动平台工作的控制装置；其特征在于，

所述喷施装置包括：

用于盛放农药或肥料的药箱；

出液管，一端与所述药箱相连通，另一端连通有喷杆，所述喷杆上固定有若干喷头；

输送泵，安装在所述出液管上，用于将药箱中的肥料或农药泵入出液管；所述输送泵与驱动电机相连；

机械臂，所述喷杆固定在该机械臂上；

所述图像采集装置包括固定在所述机械臂上的双目相机。

2.如权利要求1所述的自动对靶喷施系统，其特征在于，所述机械臂包括：

固定在所述全方位移动平台上的竖直导轨；

升降座，与所述竖直导轨滑动定位配合；

水平导轨，固定在所述升降座上且与所述竖直导轨垂直布置；

移动座，与所述水平导轨滑动定位配合；

液压伸缩杆，固定在所述移动座上且垂直于水平导轨和竖直导轨，双目相机和喷杆固定均在该液压伸缩杆上。

3.如权利要求1所述的自动对靶喷施系统，其特征在于，所述出液管包括：

一端与所述药箱连通的出液总管；

与所述出液总管相连通的若干出液支管，每条出液支管的出液口分别与喷杆上的喷头一一连通。

4.如权利要求3所述的自动对靶喷施系统，其特征在于，每条出液支管上均安装有流量传感器和电磁阀，所述控制装置接收流量传感器的输出信息并控制电磁阀的开启或关闭。

5.如权利要求3所述的自动对靶喷施系统，其特征在于，所述出液总管上还安装有位于输送泵下游的三通球阀，所述三通球阀上设有流入通道、第一分流通道和第二分流通道，所述流入通道与出液总管相连，所述第一分流通道内安装有与药箱相连的回流管，所述第二分流通道内安装有与各出液支管相连的出液分管。

6.如权利要求3所述的自动对靶喷施系统，其特征在于，所述喷杆上还安装有位于相邻喷头间的导流板。

7.如权利要求6所述的自动对靶喷施系统，其特征在于，所述喷头有1～5个，且均匀分布在所述喷杆上。

8.如权利要求1～7任一所述的自动对靶喷施系统，其特征在于，所述全方位移动平台上还设有定位导航装置，所述控制装置接收该定位导航装置的定位信息并控制全方位移动平台行走。