CN101561871B

CN101561871B - 农业机械视觉导航中人工设置路标的识别方法

Info

Publication number: CN101561871B
Application number: CN2009100940995A
Authority: CN
Inventors: 张云伟; 蒋海波; 郭志伟; 汪斌
Original assignee: Kunming University of Science and Technology
Current assignee: Kunming University of Science and Technology
Priority date: 2009-02-17
Filing date: 2009-02-17
Publication date: 2011-10-12
Anticipated expiration: 2029-02-17
Also published as: CN101561871A

Abstract

本发明涉及一种农业机械视觉导航中人工设置路标的识别方法，其特征为在农业作业环境中人工设置路标，路标上标有控制字符，用CCD摄像头采集路标的场景图像(RGB图像)，用工控机对路标场景图像进行图像处理并实现控制字符语义的识别，形成控制农业机械动作的指令，达到对农业机械进行导航的目的。本发明方法具有路径布设更改灵活简单，导航识别精确度高，运算速度快，人机交互性好，环境适应性强等优点，该方法对进一步拓展机器人在农业生产中的应用具有重要意义。

Description

农业机械视觉导航中人工设置路标的识别方法

技术领域

本发明涉及一种农业机械视觉导航中人工设置路标的识别方法，属于信息技术自动控制领域。

背景技术

自主移动机器人的定位与导航，是智能机器人领域的一个重要的研究方向，也是智能移动机器人的一项关键技术。在农业作业自动化领域，农业机械导航经历了沿犁沟、田垄、农作物行的机械触杆导航，预埋引导电缆的有线引导，地磁导航，无线电或激光导航，用惯性导航等多种导航方式后，机器视觉导航成为农业机械导航的重要发展方向。但是，对于农业自主移动作业机械来说，农业作业环境与工业作业环境有很大不同，表现在：植株枝叶交织现象明显，季节变化引起形态颜色改变较大，地面高低不平。这些因素直接影响到自然环境信息导航参数的提取，从而影响机器视觉导航功能的正常发挥。目前的农业视觉参数提取方法，只能适用于某一种环境，还没有能够适用于多种环境，可以稳定运行的视觉导航参数算法，因此，现有的农业视觉参数提取方法受农业环境制约性较大，运行效率较低，稳定性差。

发明内容

针对现有农业机器视觉导航识别技术存在的受农业环境制约性较大，运行效率较低，稳定性差的技术缺点，本发明提出了一种基于人工设置路标的农业机械视觉导航识别方法。该方法能够适用于多种环境，并且运行稳定。

本发明涉及的路标识别导航系统由路标、CCD摄像头、工控机组成。路标上设计有控制字符，CCD摄像头用于采集人工布设在农业作业环境中的路标的场景图像(RGB图像)，工控机用于图像处理和控制语义的识别。

本发明的设计方案是这样实现的：

(1)路标的设计方法。路标由硬质材料制作而成，路标颜色可以根据土壤、季节、环境的变化进行更改，路标颜色与环境颜色要有较大差异。路标上标有控制字符，字符的颜色也要与路标颜色有较大的差异。

(2)对路标的识别及其图像的倾斜调整。按以下步骤进行：

第一步：用CCD摄像头采集人工布设在农业作业环境中的路标的场景图像(RGB图像)。

第二步：利用(1)所述的路标、农业环境、控制字符三者颜色存在的差异，对路标的场景图像进行横向逐行扫描和竖向逐列扫描。将路标颜色的RGB值在农业环境中的范围用(R1 R2)(G1 G2)(B1 B2)表示，对路标的场景图像的扫描算法如下：

①当第i行有大于10个象素点的RGB值的范围落在(R1 R2)(G1 G2)(B1B2)时，而其前面任何行内落在(R1 R2)(G1 G2)(B1 B2)内的像素点都不大于5时，判断路标在图像上的上边界；

②当第i行有大于10个象素点的RGB值的范围落在(R1 R2)(G1 G2)(B1 B2)时，而其下面任何行内落在(R1 R2)(G1 G2)(B1 B2)内的像素点都不大于5时，判断路标在图像上的下边界；

③当第i列有大于10个象素点的RGB值的范围落在(R1 R2)(G1 G2)(B1 B2)时，而其前面任何列内落在(R1 R2)(G1 G2)(B1 B2)内的像素点都不大于5时，判断路标在图像上的左边界；

④当第i列有大于10个象素点的RGB值的范围落在(R1 R2)(G1 G2)(B1 B2)时，而其后面任何列内落在(R1 R2)(G1 G2)(B1 B2)内的像素点都不大于5时，判断路标在图像上的右边界；

根据检测出的路标的上下左右边缘，获得路标在场景图像上的粗略位置，使整个路标的边缘在分割的图像之内。

第三步：由于农业作业环境的地平面不平整，获得的路标图像会有一定的倾斜，因此需要对路标图像进行倾斜调整。调整方法是：对分割出的路标图像进行边缘检测，由于控制字符颜色与路标颜色有较大的不同，因此可以检测出控制字符的边缘，利用HOUGH变换检测图像中直线，并获得图像坐标系下直线与水平方向的夹角θ，这个角度就是字符与水平方向的倾斜的角度，以图像坐标系的圆点为旋转基准点对图像进行旋转，当θ大于零时，对图像进行顺时针旋转|θ|，当θ小于零时，对图像进行逆时针旋转|θ|。

(3)利用路标颜色与控制字符颜色的差异实现对路标上控制字符的整体分割。对分割后获得的路标图像进行横向扫描，控制字符颜色的RGB值范围用(r1r2)(g1 g2)(b1 b2)表示。从图像区域的中间开始向上下分别逐行扫描，当该行有超过5个像素点的RGB值同时落在控制字符的颜色范围内时，则对上一行进行扫描，直到某行的像素点的RGB值小于5，由此判断该行是控制字符整体的上边界，同理，可检测出下边界。利用边界值分割出边缘图像中控制字符的整体区域。

(4)单个控制字符图像的分割及其进一步的处理。按以下步骤进行：

①单个控制字符图像的分割。对所获得的控制标示符的整体区域进行Canny边缘检测，在字符边缘图像中，字符的边缘表示为1，背景点表示为0。在边缘检测过程中会出现横向边缘断裂的缺陷，为提高分割单个字符的精确度，利用模版为[1 1]对检测的边缘进行膨胀运算，以连接字符的横向边缘断裂。对所得图像从左向右逐列进行竖向扫描，并记下该列像素值为1的像素的个数，当后一列的像素值为1的个数减去前一列像素值为1的个数大于3时，且前一列像素值为1的个数小于2，则判定后一列为某一字符的左边缘点；当前一列的像素值为1的个数减去后一列像素值为1的个数大于3时，且后一列像素值为1的个数小于2，则判定前一列为某一字符的右边缘点；记下这些列的标号，利用这些列的标号，对获得的边缘图像进行分割，就得到分割出的包含单个字符边缘信息的图像。

②对所分割的单个字符图像进行边缘强化和二值化。为了进一步提高分割字符的精确度，本发明利用形态学处理方法对单个字符图像的边缘进行强化处理，以得到边缘清晰，模式明显的分割字符图像。具体做法是：用[1 1]的模版对分割出的单个字符的边缘图像进行膨胀形态学运算；然后横向扫描经过形态学处理的字符边缘图像，这样得到较为精确的仅包含字符完整边缘信息的图像，在字符边缘图像中，字符的边缘表示为1，背景点表示为0。对所得图像从左向右逐列进行竖向扫描，并记下该列像素值为1的像素的个数，当像素个数由零变为非零时，则确定该列为字符的左边缘，当该列像素值为1的像素个数，由非零值变为零时，则确定该列为字符的右边缘点。对所得粗略字符再次进行横向扫描，并记下该行像素值为1的像素的个数，从图像的中间向两侧进行计算，当像素值为1的像素的数目由非零变为零时，则为该字符的上下边缘。这样就可以分割出和单个字符上下左右边缘较为符合的字符。记下这些行和列的标号。则利用这些行和列的标号，对原彩色图像进行分割，则可以得到分割出的单个彩色字符的二值图像。这样处理能够较好的消除因光照对字符分割的影响。

③对于已分割的单个彩色字符进行灰度化。由于分割出的字符中只有字符颜色和路标颜色，所以可以检测出灰度直方图的两个峰值，其灰度值分别为H₁和H₂，利用

H_{m} = \frac{H_{1} + H_{2}}{2}

把灰度图象二值化。

(5)控制字符模式的提取及字符所表示语义的识别。本发明利用25特征提取方法获得单个控制字符的概率分布信息，具体做法为：①利用等距横向三线和竖向一线把字符的二值图像平均分成8份统计，每一份字符像素点的个数作为一个特征，分别统计这8个区域中的白色像素的数目，可以得到8个特征；②分别统计横向四行和竖向两列的白色像素点个数，得到6个特征；③为了获得字符中的拐角信息，把字符区域沿与水平方向成45度角及135度角，划分出10个区域，分别统计每个区域的白色像素点，得到10个特征；④统计整个字符区域的像素点个数为1个特征；⑤把这些像素点个数与单个字符的像素点个数相比，得到归一化的25个特征。字符所表示语义的识别的具体做法是：将上述25个特征作为输入向量，利用3层BP网络逐一对单个字符进行识别，组合得到整个控制字符所包含的控制语义，进而形成控制农业机械动作的指令。

本发明方法的有益效果是：不需要用复杂的摄像机标定，仅利用CCD摄像头获取人工设置的路标场景图像信息，经过一系列图像识别处理，就能实现对农业机械作业路径和作业动作的识别，从而实现对农业机械的导航。本发明方法还具有路径布设更改灵活简单，导航识别精确度高，运算速度快，人机交互性好，环境适应性强等优点。该方法对进一步拓展机器人在农业生产中的应用具有重要意义。

附图说明

图1为图像识别处理流程图；

图2为识别系统示意图；

图3为路标图像；

图4为路标图像倾斜矫正示意图；

图5为分割出的控制字符整体区域示意图；

图6为控制字符分割示意图；

图7为分割出的单个控制字符；

图8为利用模版[1 1]对边缘图像进行膨胀运算示意图；

图9为分割出的单个精确字符；

图10为单个字符25个特征提取示意图。

具体实施方式

下面结合附图，通过实施例对本发明作进一步详细说明：

实施例1：

如图2所示，该实施例是本发明方法用于农田收获作业环境的情况。根据农田的环境信息，路标3的颜色设计为蓝色，长方形，其长宽比为2∶1，路标上的控制字符TR30设计为白色。人工将路标平放在地面。用安装于农田机械上的天敏USB接口CCD摄像头2摄取路标的场景图像，CCD摄像头光心与地平面呈45度夹角，将采集到的路标图像传输给安装于农田机械上的工控机1(其处理器为P43.0GHZ)，由工控机完成摄像头采集图像的处理和控制字符语义的识别以及与各个控制模块的通信。具体识别方法如下：

(1)路标的初步识别及其所包含控制字符的分割。用CCD摄像头摄取第一个路标的场景图像(如图3)，对路标图像进行横向逐行扫描和竖向逐列扫描，根据先验知识，采用颜色像素点统计的方法分割出合理的区域(如图5)。首先确定路标底色RGB对应的各自灰度范围，由于路标底色设定为蓝色，RGB范围为R(21，53)、G(111，234)、B(53，146)，然后分别横行和数列统计在此颜色范围内的像素点，设定合理的阈值，确定路标在行和列方向的合理区域。同理，根据字符的颜色信息进行进一步的分割。然后对所得区域进行Canny算子边缘检测，利用控制字符的边缘信息对控制字符进行分割(如图6和图7)。

(2)对分割字符的进一步处理。如图8和图9所示，为提高分割字符的精确度，因此要对所分割的单个字符进行进一步的处理。本发明利用形态学处理方法对字符的边缘进行强化处理，本实现方法采用[1 1]模板。经处理后得到边缘清晰，模式明显的分割字符。本方法中利用二值图像中所获得的参数对RGB彩色图像进行分割处理，最终获得单个字符的RGB分割图像，最后二值化，获得字符的二值图像。

(3)路标上控制字符模式的提取及字符所表示语义的识别。如图10所示，本发明利用25特征提取方法获得单个控制字符字符的概率分布信息。首先，把字符平均分成8份统计，每一份字符像素点的个数作为一个特征，分别统计这8个区域中的白色像素的数目，可以得到8个特征；其次，分别统计横向四行和竖向两列的白色像素点个数，得到6个特征；第三，为了获得字符中的拐角信息，本发明把字符区域沿与水平方向成45度角及135度角，划分出10个区域，分别统计每个区域的白色像素点，得到10个特征；最后，统计整个字符区域的像素点个数为1个特征。把这些像素点个数与整个字符的像素点个数相比，得到归一化的25个特征。然后，将这25个特征作为输入向量，利用3层BP网络逐一对单个字符进行识别，BP网络的输入层为25个输入节点，中间层设置为16个节点，输出层为4个节点，其中节点的权值由输入的标准字符的25特征输入训练所得，则本实例可以实现8种控制语意的输出。在本实例中，我们利用TR30控制字符表示对路标周围空间进行执行动作。

(4)同理，可以完成对所有路标的控制字符的识别。

实施例2：

该实施例是本发明方法用于果园作业环境的情况。根据果园的环境信息，人工将路标3悬挂在较低的树枝上，用图2所示的识别系统进行识别，具体识别方法与实施例一相同。在本实例中，我们利用WK1控制字符表示对路标周围空间进行执行动作。

同理，可以完成对所有路标的控制字符的识别。

实施例3：

该实施例是本发明方法在草坪作业环境的情况。根据草坪的环境信息，人工将路标布设在机器人经过的关键点处，让路标平面垂直于地面放置。用图2所示的识别系统进行识别，具体识别方法与实施例一相同。在本实例中，我们利用TR30控制字符表示对路标周围空间进行执行动作。

同理，可以完成对所有路标的控制字符的识别。

Claims

1.一种农业机械视觉导航中人工设置路标的识别方法，其特征在于按以下步骤进行：

①在农业作业环境中人工设置路标(3)，路标上标有控制字符；

②用CCD摄像头(2)采集人工布设在农业作业环境中的路标的场景图像(RGB图像)；

③用工控机(1)对CCD摄像头(2)采集的路标场景图像进行图像处理和对控制字符语义的识别；

上述路标(3)由硬质材料制作而成，路标颜色根据土壤、季节、环境的变化进行更改，路标颜色与环境颜色有较大差异，字符的颜色与路标颜色也有较大的差异；对控制字符图像进行单个控制字符图像的分割；利用路标、农业环境、控制字符三者颜色存在的差异，对路标(3)的场景图像进行横向逐行扫描和竖向逐列扫描，获取路标图像；

利用[11]的模版对分割出的单个字符的边缘图像进行膨胀形态学运算和灰度化处理；

利用2或5特征提取方法获得单个控制字符的概率分布信息，并利用3层BP网络逐一对单个字符进行识别，组合得到整个控制字符所包含的控制语义，进而形成控制农业机械动作的指令。

2.按照权利要求1所述的识别方法，其特征在于：利用路标颜色与控制字符颜色的差异实现对路标上控制字符的整体分割。

3.按照权利要求1所述的识别方法，其特征在于：对分割出来的单个控制字符进行模式提取及对字符所表示语义进行识别。

4.按照权利要求3所述的识别方法，其特征在于：对识别出的路标图像进行倾斜调整。