CN102760228B - 基于标本图像的鳞翅目昆虫种类自动鉴别方法 - Google Patents

Abstract

本发明涉及一种基于标本数字图像的鳞翅目昆虫种类自动鉴别方法，包括：用LazySnapping和/或GrabCut去除背景，用基于投影的方法分割左右翅，用边缘拟合的方法确定关键点并对准左右翅的位置。特征的提取在RGB三个通道分别进行，在半径和角度方向把翅面部分分成若干个区间，计算各区间的像素均值的方法构造出最终的特征向量；分类鉴别使用SVM分类器实现。该鳞翅目昆虫标本图像识别方法具有操作简便、识别精度高、容错性强，并有理想的时间性能，可以显著提高鳞翅目昆虫种类鉴定的效率。

Description

基于标本图像的鳞翅目昆虫种类自动鉴别方法

技术领域

本发明涉及一种基于标本数字图像的昆虫种类自动鉴别方法，特别是对鳞翅目昆虫的自动鉴定，可应用于植物检疫、植物病虫害预测预报及其防治等领域，或可作为重要组成部分用于生态信息学研究的借鉴和参考。该项技术可被海关、植物检疫部门、农林病虫害防治等部门所采用。可为不具备有关专业知识的基层工作人员或农民提供自动鉴别的手段。

背景技术

鳞翅目(Lepidoptera)是昆虫纲中第二大目，由于身体和翅膀上披有大量鳞片而得名。鳞翅目幼虫多为植食性，对农作物造成的危害较大，鳞翅目成虫一般不为害寄主，但有部分害虫如吸果叶蛾，喙尖，刺破果皮吸取汁液，对果实造成危害。因此，有效鉴定鳞翅目对病虫害的防治具有重要意义。

传统的昆虫分类与识别仅局限于少数昆虫研究者、植保科技工作者，依靠手工检查、肉眼观察形态特征进行，需要坚实的昆虫分类知识和经验的积累，除少数专家外，一般人难于掌握，且结果通常为辨别者的主观情绪所影响，识别率不稳定，尤其在时间长、工作量大的情况下，误判率增加。检测不能实时动态进行、需要大量人工、采样点不够，这在很大程度上限制了人们对昆虫的认识的普及度，常常给农业生产和经济活动带来巨大的损失。将先进的图像处理、模式识别等计算机视觉及信号处理技术应用于昆虫分类与识别领域，实现昆虫的自动识别，对于促进人类认识的普及度；减少农业生产中因为昆虫引起的病害、避免经济损失；有效的保护珍稀昆虫物种，维护生态环境平衡，具有不可忽略的作用。

数字图像处理技术是20世纪60年代随着计算机技术和VLSI(超大规模集成电路)的发生、发展和不断成熟起来的一个新兴技术领域，并在90年代取得较大的发展。在航空航天、生物特征识别、生物医学工程、机器视觉、多媒体信息处理等领域得到广泛应用，并取得很好的效果。但数字图像处理技术应用于昆虫识别领域的研究才刚刚处于起步阶段，有关文献尚不多见，在技术实现上还有待进一步开发和完善。

昆虫数学形态学与计算机技术相结合的研究主要从20世纪90年代开始。英国政府于1996年发起DAISY(Digital Automated Identification SYstem)研究工程，在全世界范围内掀起了有关昆虫自动识别研究的热潮。经过十多年的研究和探索，目前最具代表性的昆虫自动识别软件有Steinhage等开发的ABIS(Automatic Bee IdentificationSystem)、Weeks等开发的DAISY和以及Russell和Martin开发的SPIDA(SPeciesIDentitfied Automatically)，Tofilski等开发的软件DrawWing等。

在国内，中国农业大学沈佐锐教授指导的IPMIST(植保生态智能技术系统)实验室从1997年起开始利用计算机模式识别的手段进行昆虫种类鉴定，并在昆虫的图像采集、利用及昆虫图像的数学形态学方面展开了较深入的探讨，利用神经网络对昆虫进行了自动鉴别，在昆虫形态自动测量与种类自动鉴定方面取得了一系列进展。赵汗青等用虫体面积、周长等11项数学形态特征对40种昆虫实现自动鉴别；姚青等以翅面正投影周缘曲率为指标，对五种蛾类迁飞昆虫及与其近似的非迁飞昆虫的前翅翅形进行数值分析和比较；黄世国等也对基于图像的昆虫识别关键技术进行了系统性的研究，对基于形状特征、纹理特征及形态学、本体的昆虫识别算法进行了研究，但其实验数据集仅包含五类昆虫样本，结果还有待用更充分的实验数据来证明。

上述研究结果有的是基于翅脉特征，有的是基于形状特征，翅脉特征对膜翅目昆虫比较适用，鳞翅目昆虫要提取翅脉特征，首先要使用化学方法去除翅面的鳞片和色斑，通过扫描获取到蝴蝶翅脉图片，过程复杂且容易损坏标本；而形状特征则对昆虫的姿态、尺度变化敏感，而且如果昆虫标本有残缺时就难以正确识别。多数方法的研究结果都是基于有限类昆虫的小样本库试验，在识别正确率，识别时间性能等方面还有待进一步验证，还没有达到可以直接应用于生产的程度。

发明内容

本发明的目的在于提供一种自动识别鳞翅目昆虫图像的方法。它主要解决由昆虫图像样本通过计算机模式识别技术实现鳞翅目昆虫种类自动识别问题。特别是在昆虫样本有部分缺失，或是样本姿态甚至距离在有限范围内变化，仍能以较高性能有效识别出有显著特征的昆虫种类。昆虫标本无须使用化学方法去除翅面的鳞片和色斑，避免已有的基于翅脉特征的方法所带来的复杂处理过程。并解决基于图像形状特征的昆虫识别方法对残缺样本、图像尺度变化产生的精度性能下降。

本发明采用的技术方案为：

一种基于标本图像的鳞翅目昆虫种类自动鉴别方法，包括以下步骤：

1)图像预处理

去除鳞翅目标本彩色图像的背景，对去除背景后的图像进行灰度化、高斯滤波后进行二值化，再进行左右翅分割；

对准左右翅位置，切取包括有效翅区域的正方形区域；

对鳞翅目标本彩色图像作同样的变换，即，先分割左右翅，再对准左右翅位置，切取包括有效翅区域的正方形区域，最后得到旋转对齐的左翅彩色图像和右翅彩色图像；

2)图像特征提取

将位置对准后的左右翅彩色图像分解至RGB三个通道，对每一通道执行以下相同的特征提取过程：将翅面图像沿半径和角度方向均分成若干个区间，计算每个区间内的翅面像素均值，将左右翅三个通道所有区间计算得到的像素均值串联，得到昆虫整体图像的特征向量，将特征向量元素值进行缩放，归一化到[0，1]区间；

3)分类鉴别

先确定训练集，再训练分类器模型，最后进行分类识别。

进一步地：

在所述步骤1)中，使用以下方法之一去除标本图像的背景：

用Lazy snapping方法去除标本图像的背景，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的背景区域内用另一种颜色的线条作标记，Lazy Snapping算法自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求；

或用Grabcut工具去除标本图像的背景，方法是设置包含前景区域的最小矩形框，分割完成后将背景区域设置成黑色；

或用GrabCut+Lazy Snapping工具完成背景去除工作，方法是先用GrabCut勾勒出前景区域，然后再用Lazy Snapping标记未去除的背景和误去除的前景，分割完成后将背景区域设置成黑色。

在所述步骤1)中，对去除背景后的图像进行灰度化是指采用加权平均法得到灰度图像。

对去除背景后的图像中的RGB三分量按Y＝0.299*R+0.587*G+0.114*B进行加权平均。

在所述步骤1)中，所述二值化即选择一个灰度阈值，将大于阈值的像素点设置为白色，小于阈值的像素点设置为黑色。

在所述步骤1)中，所述左右翅分割方法是，对形成的二值图像取最大轮廓，将该轮廓图像从中心向两侧求投影，得到两个局部极小值点，以这两个局部极小值点的横坐标为界，分割出昆虫的左右翅区域。

在所述步骤1)中，所述左右翅位置对准的方法是，在左右翅的轮廓图上搜索上边缘和下边缘，对上下边缘用直线拟合，以两直线交心为中心旋转图像，直至上边沿水平。

在所述步骤3)中，所述确定训练集的方法是，每一类昆虫对应一个支持向量机分类器，用本类昆虫的若干个标本作为正例，其他类昆虫的若干个标本作为负例，按步骤2)的方法提取每一类昆虫的特征向量。

在所述步骤3)中，所述训练分类器模型的方法是，用上一步归一化得到的正例和反例特征向量训练支持向量机分类器模型，每一类昆虫对应一个分类器模型。

在所述步骤3)中，所述分类识别的方法是，将未知类别的昆虫标本图像按步骤1)和2)进行预处理和特征提取后，将特征向量作为各支持向量机分类器的输入，如果某类支持向量机分类器的输出值为正，则接受为本类昆虫，如果输出值为负，则判断为非本类昆虫。本发明的优点在于：本发明的鳞翅目昆虫图像自动识别方法，不需要对昆虫图像用化学试剂去除表面鳞片和色斑，图像采集方法简便易操作。在预处理过程中能去除平移、旋转等变化，特征提取时构造的特征向量不但具有尺度不变性，而且对样本有部分缺失时也有较好的容错性。单个分类器执行分类时间在50ms以下，分类的正确率在90％以上。

附图说明

图1为标本图像的原图；

图2为从图1中去除背景后的标本图像；

图3为轮廓图；

图4为分割左右翅区域示意图；

图5为用直线拟合上边缘和下边缘示意图；

图6为旋转对齐后的左右翅轮廓图；

图7为旋转对齐后的左右翅图像；

图8为区间分割示意；

图9为用Lazy Snapping工具去除背景；

图10为用Grabcut工具去除背景。

具体实施方式

本发明包括以下步骤：

1)图像预处理：去除鳞翅目标本彩色图像的背景，对去除背景后的图像进行灰度化、高斯滤波后进行二值化，再进行左右翅分割；对准左右翅位置，切取包括有效翅区域的正方形区域；对鳞翅目标本彩色图像作同样的变换，即，先分割左右翅，再对准左右翅位置，切取包括有效翅区域的正方形区域，最后得到旋转对齐的左翅彩色图像和右翅彩色图像。

2)图像特征提取：将位置对准后的左右翅彩色图像分解至RGB三个通道，对每一通道执行以下相同的特征提取过程：将翅面图像沿半径和角度方向均分成若干个区间，计算每个区间内的翅面像素均值，将左右翅三个通道所有区间计算得到的像素均值串联，得到昆虫整体图像的特征向量，将特征向量元素值进行缩放，归一化到[0，1]区间。

3)分类鉴别：先确定训练集，再训练分类器模型，最后进行分类识别。

下面结合附图详细说明。

1)图像预处理

使用数码相机拍摄鳞翅目标本，得到鳞翅目标本的原始彩色图像，用Lazy snapping方法去除背景，设置背景颜色为单色(图2中显示为白色，实际通常将背景设置为黑色)，前景保持原图信息。原始图像与去除背景后的图像见图1、图2。

对去除背景后的图像进行灰度化，高斯滤波、再进行二值化，并对二值化的结果取最大轮廓。其中：

所谓最大轮廓，是指在二值图像中检测到的轮廓中取出面积最大的一个，可以得到如图3所示的昆虫轮廓图像。

灰度化即将RGB彩色图像转换为单色图像，本发明采用加权平均法，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：

Y＝0.299*R+0.587*G+0.114*B

高斯滤波的目的是平滑去噪，使二值化操作结果尽可能将前景和背景分离开。

二值化即选择一个灰度阈值，将大于阈值的像素点设置为白色(即像素值大小为255)，小于阈值的像素点设置为黑色(即像素值大小为0)，因在背景去除这一步已将背景设置为黑色，此处将阈值设置为一个比较小的值20。另外，因为昆虫翅面的灰度纹理变化较多，存在将昆虫翅面的部分区域二值化为黑色的情况，因此用提取最大轮廓的方法来消除翅面区域内的孤立区域。

对于该轮廓图像从中心向两侧求垂直投影，可以得到两个局部极小值点，垂直投影即沿Y轴方向统计每个X坐标值上前景像素的个数，极小值点即该X坐标值处前景像素累计值为极小值的X坐标，如图4中的躯干两边的两条黑色竖线位置。以这两个局部极小值点的横坐标为界，可以粗略分割出昆虫的左右翅区域，如图4。从左翅和右翅的分割边界跟踪轮廓边缘，上边缘从边界的上顶点a点开始跟踪直至轮廓的最高点b点，下边缘从边界的下顶点c点开始跟踪直至轮廓的最低点d点，用最小二乘法对处于左翅和右翅的上边缘和下边缘上的像素点用直线拟合，并分别求取左翅和右翅的上下边缘直线的交点O，如图5。然后将左翅绕两直线交点O旋转至上边沿直线为水平，对右翅也作相同处理。再切取包括有效翅区域的正方形区域，如图6。

通过黑白图像可以确定旋转的中心点和旋转的角度，以及翅面的有效区域，从而切取出对应的彩色图像区域，这样彩色图像只需要可以分割得到旋转对齐的左翅和右翅，如图7。

2)图像特征提取

特征的提取在RGB三个通道上分别进行。首先将图7所示的彩色图像变换到RGB三个通道，得到三幅灰度图像。分别在这三幅灰度图像上提取特征，将翅面图像分别在半径方向和角度方向均分为M和N个区域，本发明中M＝5，N＝8，那么整个翅面可以划分为40个区间(如图8)，计算每个区间的像素平均值，即将区间内的像素值累加后除以区间内的像素个数，那么每一个通道可以得到长度为40的向量，三个通道的向量串联后得到40*3＝120的向量，左翅和右翅各120维，那么从昆虫整体图像可以得到120*2＝240维的特征向量。

3)分类鉴别

先确定训练集，再训练分类器模型，最后进行分类识别。

确定训练集的方法是，每一类昆虫对应一个支持向量机分类器，用本类昆虫的若干个标本作为正例，其他类昆虫的若干个标本作为负例，按步骤2)的方法提取每一类昆虫的特征向量。

训练分类器模型的方法是，用上一步归一化得到的正例和反例特征向量训练支持向量机分类器模型，每一类昆虫对应一个分类器模型。

分类识别的方法是，将未知类别的昆虫标本图像按步骤1)和2)进行预处理和特征提取后，将特征向量作为各支持向量机分类器的输入，如果某类支持向量机分类器的输出值为正，则接受为本类昆虫，如果输出值为负，则判断为非本类昆虫。

分类和鉴别的工作由分类器来完成。将上一步提取得到的特征向量归一化到区间{0，1}，即对向量X＝{x₁，x₂，…，x_n}执行如下操作：

x′_i＝x_i/255     i＝1，2，...，n

x_i(i＝1，2，...，n)，x_i指特征向量X的第i个元素。因为灰度图像的每个像素取值范围为0～255，作为每个区间像素平均值的取值范围也为0～255，通过上式的计算，可以把特征向量中每个元素的值归一化到范围0～1，从而得到归一化的特征向量X’＝{x′₁，x′₂，...，x′_n}。

每一类昆虫对应一个分类器，本发明由支持向量机(Support Vector Machine，SVM)实现分类。对于每个SVM分类器，遵循了相同的设计原则：首先采用有监督训练的方法进行训练，选择合适的核函数和参数；然后使用测试样本测试识别率。核函数的选择和参数的选择是一个繁杂的过程，但是台湾的林智仁博士用python开发的脚本程序可以实现自动参数选择以获得最优的交叉验证精度，使用这个grid.py脚本要求安装python和gnuplot.。

将采集样本集中本类昆虫提取的特征作为正例，正例是指分类器接受为本类的样本(标记输出为+1)，在其他类别昆虫中提取特征作为负例(标记输出为-1)，训练每类昆虫对应的分类器模型。

用训练得到的模型对同类昆虫的测试样本可进行类内测试，当输出为正数，认为接受，输出为非正，认为拒绝。

用训练得到的模型对不同类昆虫的任意测试样本可进行类间测试，当输出为正数，接受，非正，拒绝。

本发明试验集包含10类鳞翅目昆虫成虫整体图像，每类昆虫采集样本图像48～66幅，其中4/5用来训练，1/5用来测试。训练多项式核函数的SVM分类器，该核函数的gamma值为1，核函数中的coef0设置为1，核函数中的degree设置为3，使用Svmtrain训练好的模型进行测试，结果类内匹配的正确率为平均91.96％，类间匹配正确率为91.77％，平均识别率为91.79％。

下面再结合具体实现方法的实例，对本发明的鳞翅目昆虫标本图像的自动鉴别做进一步的详细说明：

实例1

1.使用“光影魔术手”附带的抠图功能模块，完成从图1到图2的背景去除工作，并把背景设置成黑色。

2.打开去除背景后的鳞翅目标本整体图像文件，打开的待鉴定图像显示在窗口左上方。

3.点击[操作]菜单下的[匹配]子菜单项，将启动整个鉴定匹配过程，鉴定结果显示在窗口右侧，按分类器接受的先后次序输出鉴定结果信息，即鉴定的昆虫名称和样例图像。一般情况下，由于每类昆虫在库中的对应分类器模型只有一个，所以正确的鉴定输出结果只有一个；当存在误判结果时，一幅图像可能同时被多个分类器接受，此时输出结果按匹配次序输出前三个被接受的类别。

4.如果要重新训练分类器模型，可点击[操作]菜单下的[训练]子菜单项，在弹出的窗口中，可以选择训练数据文件所在路径、模型编号、SVM分类器类型、核函数类型、以及代价、伽马值等参数，点确定后可重新训练生成指定编号的模型。

实例2

用Lazy Snapping工具完成从图9a到图9b的背景去除工作，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的背景区域内用另一种颜色的线条作标记，Lazy Snapping算法将自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求。Lazy Snapping是一种交互式对象分割算法，操作时，用户通过按住按钮(左键显示前景，右键显示背景)拖动鼠标来标记一些线条。例如黄线标记前景，蓝线标记背景。这种高层次的绘画式用户界面并不需要非常精确的用户输入。绘制好标志线后通过点击预览按钮触发分割过程，然后，用户检查屏幕上的分割结果，并决定是否需要标记更多的线。该方法产生的分割边界误差非常小，通过最大限度的增加对象内部和边界的颜色相似度，来优化对象边界。图9a中的方框是采集昆虫图像时背景中的小纸片，Lazy Snapping算法的工具可以有效地把该背景去除。

后续的鉴定操作同实例1的第2.3步.训练过程同实例1的第4步。

实例3

用Grabcut工具完成从图10a到图10c的背景去除工作，图10a中的方框是采集昆虫图像时背景中的小纸片，图10b的矩形框为人工设置的包含前景区域的最小矩形框，分割完成后将背景区域设置成黑色。

后续的鉴定操作同实例1的第2.3步.训练过程同实例1的第4步。

实例4

用GrabCut+Lazy Snapping工具完成背景去除工作。对于背景特别复杂的图像，可以先用GrabCut勾勒出大致的前景区域，然后再用Lazy Snapping标记未去除的背景和误去除的前景，分割完成后将背景区域设置成黑色。

后续的鉴定操作同实例1的第2.3步.训练过程同实例1的第4步。

采用以上四种实例在包含10类鳞翅目昆虫标本图像样本库中进行鉴别试验，都取得了良好的试验效果。

Claims (3)

1.一种基于标本图像的鳞翅目昆虫种类自动鉴别方法，其特征在于包括以下步骤： 

1)图像预处理 

去除鳞翅目标本彩色图像的背景，对去除背景后的图像进行灰度化、高斯滤波后进行二值化，再进行左右翅分割； 

对准左右翅位置，切取包括有效翅区域的正方形区域，即从左翅和右翅的分割边界跟踪轮廓边缘，上边缘从边界的上顶点开始跟踪直至轮廓的最高点，下边缘从边界的下顶点开始跟踪直至轮廓的最低点，用最小二乘法对处于左翅和右翅的上边缘和下边缘上的像素点用直线拟合，并分别求取左翅和右翅的上下边缘直线的交点，然后将左翅绕两直线交点旋转至上边沿直线为水平，对右翅也作相同处理，再切取包括有效翅区域的正方形区域； 

通过上述得到的黑白图像可以确定旋转的中心点和旋转的角度，以及翅面的有效区域，从而切取出对应的彩色图像区域，这样对鳞翅目标本彩色图像只需要分割便可以得到旋转对齐的左翅和右翅； 

对鳞翅目标本彩色图像作同样的变换，即，先分割左右翅，再对准左右翅位置，切取包括有效翅区域的正方形区域，最后得到旋转对齐的左翅彩色图像和右翅彩色图像； 

2)图像特征提取 

将位置对准后的左右翅彩色图像分解至RGB三个通道，对每一通道执行以下相同的特征提取过程：将翅面图像沿半径和角度方向均分成若干个区间，计算每个区间内的翅面像素均值，将左右翅三个通道所有区间计算得到的像素均值串联，得到昆虫整体图像的特征向量，将特征向量元素值进行缩放，归一化到[0，1]区间； 

3)分类鉴别 

先确定训练集，再训练分类器模型，最后进行分类识别； 

在所述步骤1)中： 

对去除背景后的图像进行灰度化是指采用加权平均法得到灰度图像，此处对去除背景后的图像中的RGB三分量按Y＝0.299*R+0.587*G+0.114*B进行加权平均； 

所述左右翅分割方法是，对形成的二值图像取最大轮廓，将该轮廓图像从中心向两侧求投影，得到两个局部极小值点，以这两个局部极小值点的横坐标为界，分割出昆虫的左右翅区域； 

在所述步骤3)中： 

所述确定训练集的方法是，每一类昆虫对应一个支持向量机分类器，用本类昆虫的若干个标本作为正例，其他类昆虫的若干个标本作为负例，按步骤2)的方法提取每一类昆虫的特征向量； 

所述训练分类器模型的方法是，用上一步归一化得到的正例和反例特征向量训练支持向量机分类器模型，每一类昆虫对应一个分类器模型； 

所述分类识别的方法是，将未知类别的昆虫标本图像按步骤1)和2)进行预处理和特征提取后，将特征向量作为各支持向量机分类器的输入，如果某类支持向量机分类器的输出值为正，则接受为本类昆虫，如果输出值为负，则判断为非本类昆虫。 

2.根据权利要求1所述的基于标本图像的鳞翅目昆虫种类自动鉴别方法，其特征在于： 

在所述步骤1)中，使用以下方法之一去除标本图像的背景： 

用Lazy snapping方法去除标本图像的背景，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的背景区域内用另一种颜色的线条作标记，Lazy Snapping算法自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求； 

或用Grabcut工具去除标本图像的背景，方法是设置包含前景区域的最小矩形框，分割完成后将背景区域设置成黑色； 

或用GrabCut+Lazy Snapping工具完成背景去除工作，方法是先用GrabCut勾勒出前景区域，然后再用Lazy Snapping标记未去除的背景和误去除的前景，分割完成后将背景区域设置成黑色。 

3.根据权利要求1所述的基于标本图像的鳞翅目昆虫种类自动鉴别方法，其特征在于： 

在所述步骤1)中，所述二值化即选择一个灰度阈值，将大于阈值的像素点设置为白色，小于阈值的像素点设置为黑色。 

Images