CN112669304B - 一种基于数字图像处理技术的花粉检测方法 - Google Patents

Abstract

本发明公开了一种基于数字图像处理技术的花粉检测方法，包括步骤：1)图像的预处理：对显微镜采集的原始图像进行灰度化，得到灰度图像。2)连通区域获取：对得到的灰度图像进行边缘检测和霍夫梯度圆检测，得到霍夫检测圆圆心坐标集合，以每一个圆心作为生长种子点进行区域生长，得到连通区域集合。3)连通区域特征计算与筛选：计算连通区域集合中每一个连通区域的特征，通过特征进行连通区域筛选，通过筛选的连通区域认为是检测结果。本发明方法实现了使用数字图像处理技术进行花粉检测，解决了人工进行花粉检测中存在的效率低，成本高，易出错等缺点。通过构建特征进行连通区域的筛选，具有原理清晰，可解释性好等优点。

Description

一种基于数字图像处理技术的花粉检测方法

技术领域

本发明涉及数字图像处理领域和花粉图像检测领域，尤其涉及一种使用数字图像处理技术对显微镜采集的图像进行花粉检测的方法。

背景技术

花粉是常见的过敏原之一，危害着部分敏感人群的身体健康。因此，空气中的花粉浓度实时检测和播报能够帮助过敏患者及时采取预防措施，具有显著的社会效益和经济效益。目前常用的花粉浓度检测的主要流程为，首先收集空气中的花粉并制作成花粉涂片，然后通过显微镜观察花粉涂片，人工进行花粉涂片中花粉的检测和数量统计，最后通过统计的花粉数量反向推算空气中花粉的浓度。

发明人发现在现有花粉浓度检测流程中，人工进行花粉涂片中花粉的检测和数量统计存在以下缺点：

花粉检测步骤中，人工移动显微镜观察花粉涂片，进行花粉涂片中花粉的检测和数量统计，经济成本和时间成本较高，准确率受检测人员的专业水平、精神状态的干扰较大，容易出错。

因此亟需一种高效稳定的花粉检测方法对花粉检测步骤进行优化。随着集成电路技术的不断发展，计算机计算能力不断提高，越来越多的领域开始使用各种计算机技术辅助人工以减少劳动量，提高劳动效率。

发明内容

为了解决现有技术中的问题，本发明提供一种基于数字图像处理的花粉检测方法，解决现有技术中人工进行花粉的检测和数量统计中存在的经济成本和时间成本较高，准确率受检测人员的专业水平、精神状态的干扰较大，容易出错等问题。

本发明技术方案为：一种基于数字图像处理的花粉检测方法，包括以下步骤：

1)图像的预处理。对显微镜采集的原始图像进行灰度化，得到灰度图像；2)连通区域获取。对得到的灰度图像进行边缘检测和霍夫梯度圆检测，得到霍夫检测圆圆心坐标集合，以每一个圆心作为生长种子点进行区域生长，得到连通区域集合；3)连通区域特征计算与筛选。计算连通区域集合中每一个连通区域的特征，通过特征进行连通区域筛选，通过筛选的连通区域认为是检测结果。

步骤一：图像的预处理；

1-1)使用OpenCV计算机视觉软件库的Mat类进行图像数据的读取和存储。读取图像文件后的原始图像S，S包括R_s，G_s，B_s三个通道。

1-2)通过将原始图像S的R_s，G_s，B_s三个通道进行加权平均，得到灰度图像A。R_s，G_s，B_s三个通道的对应的权值分别0.114，0.587和0.299。

步骤二：连通区域获取；

2-1)对步骤1)得到的灰度图像A进行Canny边缘检测。通过Sobel算子计算图上各点的水平梯度T_x和垂直梯度T_y，计算得到该点的总体梯度T。使用双阈值算法进行边缘的判别，判别规则为：对于梯度大于高阈值的点，认定为边缘；对于梯度小于低阈值的点，认定为非边缘；对于梯度介于两者之间的点，将其作为高阈值点之间的连接点，如果该点邻域中没有高阈值点或与高阈值点连接的其他介于高阈值和低阈值之间的点，则认为非边缘点。其中高阈值数值为100，低阈值数值为50。边缘检测完成后得到边缘图像B。

2-2)对边缘图像B进行霍夫梯度圆检测。对于边缘图像上的每一个边缘点，在其梯度矢量方向(T_x，T_y)的最小半径距离r_min和最大半径距离r_max之间的线段上进行投票，线段两个端点的坐标分别为(S_x，S_y)和(E_x，E_y)，两个端点的计算公式如公式(1)和公式(2)所示

其中r_min和r_max的取值分别为10和150。对于每一个投票值大于20的坐标点，判断其投票值是否为以其为中心的31*31范围内的最大投票值，若是，则判定该坐标为一个霍夫检测圆圆心坐标。所有的边缘点投票完成后，得到n个霍夫检测圆圆心坐标，组成霍夫检测圆圆心坐标集合

2-3)对于霍夫检测圆圆心坐标集合C中的每一个霍夫检测圆圆心坐标c_i，构建一个像素点集合d_i，令d_i＝{S(c_i)}，其中S(c_i)为原始图像S中位于c_i的像素点。基于原始图像S中像素值特征进行区域生长。具体的步骤为，不断遍历当前集合中未遍历的点，判断该点的四连通方向的四个点。对于这四个点，如果其三个通道的像素值与圆心坐标c_i的像素点S(c_i)的三个通道值差值均小于70，则将其认定为生长区域点，将其加入当前集合d_i中并继续生长。重复这一步骤，直到当前集合d_i中所有的点都已经经过判断且没有新的点加入。此时结束生长，每一个霍夫检测圆圆心坐标c_i生长结束将得到一块连通区域e_i。所有得到的连通区域集合记为

步骤三：连通区域特征计算与筛选；

3-1)计算连通区域e_i的上下边界和左右边界，通过边界计算得到外包矩形长宽比f_i；

3-2)计算连通区域e_i的像素点的个数，个数数值为连通区域面积值s_i。

3-3)计算连通区域e_i的外包圆的面积值s_ci，计算连通区域面积值s_i和外包圆的面积值s_ci的比值，得到该连通区域的圆形度特征g_i。

3-4)计算连通区域的外包圆圆心坐标c_wi，外包圆半径r_ci，计算连通域所有轮廓点到外包圆圆心c_wi的距离。通过公式(3)和公式(4)，计算距离上限r_maxi和距离下限r_mini。计算距离外包圆圆心坐标c_wi的距离在距离上限r_maxi和距离下限r_mini之间的轮廓点数量占比，该占比为有效轮廓占比h_i。

r_maxi＝r_ci*1.2 (3)

r_mini＝r_ci*0.8 (4)

3-5)将连通区域e_i径向展开得到径向展开图像z_i。花粉图像中，与中心距离相近的各个像素点之间的颜色差异较小，杂质图像中，与中心距离相近的各个像素点之间的颜色差异相对较大。将连通区域e_i进行径向展开，使用径向展开图像z_i水平方向的线段的方差值，来评估被展开连通区域e_i的颜色差异信息。展开图像的计算方式为，选定一个展开中心点，由内向外将各个圆周拉伸为径向展开图像z_i上的一个线段。z_i上坐标为(x_z，y_z)的像素点的像素值计算方式为，将其代入到公式(5)和公式(6)中，得到其在被展开的连通区域e_i的映射像素点的坐标(x_s，y_s)，取该映射像素点的像素值，作为展开图像坐标为(x_z，y_z)的像素点的像素值(坐标(x_s，y_s)为非整数时，使用双线性插值，取近似值作为映射像素点的像素值)。

x_s＝x_z*cos(π*y_z/r_ci) (5)

y_s＝x_z*sin(π*y_z/r_ci) (6)

得到展开图像后，分别计算展开图像中端点为(r_ci/2，-r_ci)，(r_ci/2，r_ci)以及端点为(r_ci/3，-r_ci)，(r_ci/3，r_ci)两条线段的像素点的方差值。两条线段方差值的平均值为平均横线波动率j′_i。

3-6)计算修正平均横向波动率j_i。连通区域e_i选取不同展开中心得到的平均横向波动率j′_i不同，通过迭代的方式修正展开。初始时以外包圆圆心坐标c_wi作为当前展开中心c_zi。分别计算当前展开中心c_zi及其四个连通点为展开中心，对应的平均横向波动率。将平均横向波动率最小的点作为修正后的当前展开中心c_zi。不断重复修正步骤，直到修正后的当前展开中心c_zi对应的平均横线波动率，小于其四连通方向上的四个连通点对应的平均横向波动率，完成当前展开中心的修正。完成修正后，当前展开中心c_zi对应的平均横向波动率，记为连通区域的平均横向波动率特征j_i。

3-7)对于每一个连通区域e_i，根据特征向量k_i＝(f_i，s_i，g_i，h_i，j_i)综合判断是否为花粉图像。如果外包矩形长宽比f_i＜2，连通区域面积值100＜s_i＜1300，圆形度特征g_i＞0.62，有效轮廓占比h_i＞0.6，修正平均横向波动率j_i＜200，则判定该连通区域为花粉图像。

3-8)将所有判定为花粉图像的连通区域e_i的外包矩形在原始图像中进行标注。判定为花粉图像的连通区域e_i的数量为检测的花粉数量。

与现有技术相比，本发明的有益效果是：

本发明综合分析显微镜下花粉图像的特点，基于数字图像处理技术，构建一种花粉检测方法，并应用该方法对图像中的花粉进行检测识别，替代人工花粉检测和统计，具有处理速度快，经济成本低，准确率高，不易出错等优点。通过构建特征进行连通区域的筛选，具有原理清晰，可解释性好等优点。

附图说明

图1是本发明提出的基于数字图像处理技术的花粉检测方法的流程图；

图2是原始图像；

图3是边缘图像；

图4是连通区域集合，其中(a)，(b)，(c)，(d)，(e)，(f)，(g)为连通区域集合中包含的七个连通区域；

图5是连通区域轮廓集合，其中(a)，(b)，(c)，(d)，(e)，(f)，(g)为连通区域轮廓集合中包含的七个连通区域轮廓；

图6是一个杂质图像及其径向展开图，其中(a)为杂质图像，(b)为(a)对应的径向展开图；

图7是一个花粉图像及其径向展开图，其中(a)为花粉图像，(b)为(a)对应的径向展开图；

图8是径向展开步骤中，被展开图和展开图的示例图，其中(a)为被展开图的示例图，(b)为展开图的示例图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

步骤一：图像的预处理；

1-1)使用OpenCV计算机视觉软件库的Mat类进行图像数据的读取和存储。读取图像文件后的原始图像S，S包括R_s，G_s，B_s三个通道，图像如图2所示。

1-2)通过将原始图像S的R_s，G_s，B_s三个通道进行加权平均，得到灰度图像A。R_s，G_s，B_s三个通道的对应的权值分别0.114，0.587和0.299。

步骤二：连通区域获取；

2-1)对步骤一得到的灰度图像A进行Canny边缘检测。通过Sobel算子计算水平梯度T_x和垂直梯度T_y，计算得到该点的总体梯度T。使用双阈值算法进行边缘的判别，判别规则为：对于梯度大于高阈值的点，认定为边缘；对于梯度小于低阈值的点，认定为非边缘；对于梯度介于两者之间的点，将其作为高阈值点之间的连接点，如果该点邻域中没有高阈值点或与高阈值点连接的其他介于高阈值和低阈值之间的点，则认为非边缘点。其中高阈值数值为100，低阈值数值为50。边缘检测完成后得到边缘图像B，边缘图像如图3所示。

2-2)对边缘图像B进行霍夫梯度圆检测。对于边缘图像上的每一个边缘点，在其梯度矢量方向(T_x，T_y)的最小半径距离r_min和最大半径距离r_max之间的线段上进行投票，线段两个端点的坐标分别为(S_x，S_y)和(E_x，E_y)，两个端点的计算公式如公式(1)和公式(2)所示

其中r_min和r_max的取值分别为10和150。对于每一个投票值大于20的坐标点，判断其投票值是否为以其为中心的31*31范围内的最大投票值，若是，则判定该坐标为一个霍夫检测圆圆心坐标。所有的边缘点投票完成后，得到n个霍夫检测圆圆心坐标，组成霍夫检测圆圆心坐标集合

2-3)对于霍夫检测圆圆心坐标集合C中的每一个霍夫检测圆圆心坐标c_i，构建一个像素点集合d_i，令d_i＝{S(c_i)}，其中S(c_i)为原始图像S中位于c_i的像素点。基于原始图像S中像素值特征进行区域生长。具体的步骤为，不断遍历当前集合中未遍历的点，判断该点的四连通方向的四个点。对于这四个点，如果其三个通道的像素值与圆心坐标c_i的像素点S(c_i)的三个通道值差值均小于70，则将其认定为生长区域点，将其加入当前集合d_i中并继续生长。重复这一步骤，直到当前集合d_i中所有的点都已经经过判断且没有新的点加入。此时结束生长，每一个霍夫检测圆圆心c_i生长结束将得到一块连通区域e_i。所有得到的连通区域集合记为

连通区域集合如图4所示，其中包含了7个连通区域。

步骤三：连通区域特征计算与筛选；

3-1)计算连通区域e_i的上下边界和左右边界，通过边界计算得到外包矩形长宽比f_i；

3-2)计算连通区域e_i的像素点的个数，个数值为连通区域面积值s_i。

3-3)计算连通区域e_i的外包圆的面积值s_ci，计算连通区域面积值s_i和外包圆的面积值s_ci的比值，得到该连通区域的圆形度特征g_i。

3-4)计算连通区域的外包圆圆心坐标c_wi，外包圆半径r_ci，计算连通域所有轮廓点到外包圆圆心c_wi的距离，连通区域轮廓图如图5所示。通过公式(3)和公式(4)，计算距离上限r_maxi和距离下限r_mini。计算距离外包圆圆心坐标c_wi的距离在距离上限r_maxi和距离下限r_mini之间的轮廓点数量占比，该占比为有效轮廓占比h_i。

r_maxi＝r_ci*1.2 (3)

r_mini＝r_ci*0.8 (4)

3-5)将连通区域e_i径向展开得到径向展开图像z_i。花粉图像中，与中心距离相近的各个像素点之间的颜色差异较小，杂质图像中，与中心距离相近的各个像素点之间的颜色差异相对较大。将连通区域e_i进行径向展开，使用径向展开图像z_i水平方向的线段的方差值，来评估被展开连通区域e_i的颜色差异信息。展开图像的计算方式为，选定一个展开中心点，由内向外将各个圆周拉伸为径向展开图像z_i上的一个线段。z_i上坐标为(x_z，y_z)的像素点的像素值计算方式为，将其代入到公式(5)和公式(6)中，得到其在被展开的连通区域e_i的映射像素点的坐标(x_s，y_s)，取该映射像素点的像素值，作为展开图像坐标为(x_z，y_z)的像素点的像素值(坐标(x_s，y_s)为非整数时，使用双线性插值，取近似值作为映射像素点的像素值)。一个杂质图像及其径向展开图如图6所示，一个花粉图像及其展开图如图7所示。被展开图和展开图的示例图如图8所示，其中示意了半径为r的圆周的展开示例。

x_s＝x_z*cos(π*y_z/r_ci) (5)

y_s＝x_z*sin(π*y_z/r_ci) (6)

得到展开图像后，分别计算展开图像中端点为(r_ci/2，-r_ci)，(r_ci/2，r_ci)以及端点为(r_ci/3，-r_ci)，(r_ci/3，r_ci)两条线段的像素点的方差值。两条线段方差值的平均值为平均横线波动率j′_i。

3-6)修正平均横向波动率j_i。连通区域e_i选取不同展开中心得到的平均横向波动率j′_i不同，通过迭代的方式修正展开。初始时以外包圆圆心坐标c_wi作为当前展开中心c_zi。分别计算当前展开中心c_zi及其四个连通点为展开中心，对应的平均横向波动率。将平均横向波动率最小的点作为修正后的当前展开中心c_zi。不断重复修正步骤，直到修正后的当前展开中心c_zi对应的平均横线波动率，小于其四连通方向上的四个连通点对应的平均横向波动率，完成当前展开中心的修正。完成修正后，当前展开中心c_zi对应的平均横向波动率，记为连通区域的修正平均横向波动率j_i。

3-7)对于每一个连通区域e_i，根据特征向量k_i＝(f_i，s_i，g_i，h_i，j_i)综合判断是否为花粉图像。如果外包矩形长宽比f_i＜2，连通区域面积值100＜s_i＜1300，圆形度特征g_i＞0.62，有效轮廓占比h_i＞0.6，修正平均横向波动率j_i＜200，则判定该连通区域为花粉图像。

3-8)将所有判定为花粉图像的连通区域e_i的外包矩形在原始图像中进行标注。判定为花粉图像的连通区域e_i的数量为检测的花粉数量。

下面以具体的测试来验证本发明提出的花粉检测方法的可行性，详见以下描述：

测试的数据集为带电子目镜的显微镜采集的包含812个花粉的436张图像。使用本算法进行检测后，正确检测的花粉数量为751，错误检测的数量为34，漏检测的数量为61。计算可得精确度为95.7％，召回率为92.5％。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (3)

1.一种基于数字图像处理技术的花粉检测方法，其特征在于，该方法包括以下步骤：

1)图像的预处理：对显微镜采集的原始图像进行灰度化，得到灰度图像；

2)连通区域获取：对得到的灰度图像进行边缘检测和霍夫梯度圆检测，得到霍夫检测圆圆心坐标集合，以每一个圆心作为生长种子点进行区域生长，得到连通区域集合；

3)连通区域特征计算与筛选：计算连通区域集合中每一个连通区域的特征，计算特征进行连通区域筛选，通过筛选的连通区域认为是检测到的花粉；

所述步骤3)连通区域特征计算与筛选包括以下步骤：

(1)计算连通区域e_i的上下边界和左右边界，通过边界计算得到外包矩形长宽比f_i；

(2)计算连通区域e_i的像素点的个数，个数数值为连通区域面积值s_i；

(3)计算连通区域e_i的外包圆的面积值s_ci，计算连通区域面积值s_i和外包圆的面积值s_ci的比值，得到该连通区域的圆形度特征g_i；

(4)计算连通区域的外包圆圆心坐标c_wi，外包圆半径r_ci，计算连通域所有轮廓点到外包圆圆心c_wi的距离；通过公式(3)和公式(4)，计算距离上限r_maxi和距离下限r_mini；计算距离外包圆圆心坐标c_wi的距离在距离上限r_maxi和距离下限r_mini之间的轮廓点数量占比，该占比为有效轮廓占比h_i；

r_maxi＝r_ci*1.2 (3)

r_mini＝r_ci*0.8 (4)

(5)将连通区域e_i径向展开得到径向展开图像z_i；花粉图像中，与中心距离相近的各个像素点之间的颜色差异较小，杂质图像中，与中心距离相近的各个像素点之间的颜色差异相对较大；将连通区域e_i进行径向展开，使用径向展开图像z_i水平方向的线段的方差值，来评估被展开连通区域e_i的颜色差异信息；展开图像的计算方式为，选定一个展开中心点，由内向外将各个圆周拉伸为径向展开图像z_i上的一个线段；z_i上坐标为(x_z,y_z)的像素点的像素值计算方式为，将其代入到公式(5)和公式(6)中，得到其在被展开的连通区域e_i的映射像素点的坐标(x_s,y_s)，取该映射像素点的像素值，作为展开图像坐标为(x_z,y_z)的像素点的像素值，坐标(x_s,y_s)为非整数时，使用双线性插值，取近似值作为映射像素点的像素值；

x_s＝x_z*cos(π*y_z/r_ci) (5)

y_s＝x_z*sin(π*y_z/r_ci) (6)

得到展开图像后，分别计算展开图像中端点为(r_ci/2,-r_ci)，(r_ci/2,r_ci)以及端点为(r_ci/3,-r_ci)，(r_ci/3,r_ci)两条线段的像素点的方差值；两条线段方差值的平均值为平均横线波动率j′_i；

(6)计算修正平均横向波动率j_i；连通区域e_i选取不同展开中心得到的平均横向波动率j′_i不同，通过迭代的方式修正展开；初始时以外包圆圆心坐标c_wi作为当前展开中心c_zi；分别计算当前展开中心c_zi及其四个连通点为展开中心，对应的平均横向波动率；将平均横向波动率最小的点作为修正后的当前展开中心c_zi；不断重复修正步骤，直到修正后的当前展开中心c_zi对应的平均横线波动率，小于其四连通方向上的四个连通点对应的平均横向波动率，完成当前展开中心的修正；完成修正后，当前展开中心c_zi对应的平均横向波动率，记为连通区域的平均横向波动率特征j_i；

(7)对于每一个连通区域e_i，根据特征向量k_i＝(f_i,s_i,g_i,h_i,j_i)综合判断是否为花粉图像；如果外包矩形长宽比f_i<2，连通区域面积值100<s_i<1300，圆形度特征g_i>0.62，有效轮廓占比h_i>0.6，修正平均横向波动率j_i<200，则判定该连通区域为花粉图像；

(8)将所有判定为花粉图像的连通区域e_i的外包矩形在原始图像中进行标注；判定为花粉图像的连通区域e_i的数量为检测的花粉数量。

2.根据权利要求1所述的基于数字图像处理技术的花粉检测方法，其特征在于，所述步骤1)图像的预处理包括以下步骤：

(1)使用OpenCV计算机视觉软件库的Mat类进行图像数据的读取和存储；读取图像文件后的原始图像S，S包括R_s，G_s，B_s三个通道；

(2)通过将原始图像S的R_s，G_s，B_s三个通道进行加权平均，得到灰度图像A；R_s，G_s，B_s三个通道的对应的权值分别0.114、0.587和0.299。

3.根据权利要求1所述的基于数字图像处理技术的花粉检测方法，其特征在于，所述步骤2)连通区域的获取包括以下步骤：

(1)对步骤1)得到的灰度图像进行Canny边缘检测；通过Sobel算子计算图上各点的水平梯度T_x和垂直梯度T_y，计算得到该点的总体梯度T；使用双阈值算法进行边缘的判别，判别规则为：对于梯度大于高阈值的点，认定为边缘；对于梯度小于低阈值的点，认定为非边缘；对于梯度介于两者之间的点，将其作为高阈值点之间的连接点，如果该梯度介于两者之间的点邻域中没有高阈值点或与高阈值点连接的其他介于高阈值和低阈值之间的点，则认为非边缘点；其中高阈值数值为100，低阈值数值为50；边缘检测完成后得到边缘图像B；

(2)对边缘图像B进行霍夫梯度圆检测；对于边缘图像上的每一个边缘点，在其梯度矢量方向(T_x,T_y)的最小半径距离r_min和最大半径距离r_max之间的线段上进行投票，线段两个端点的坐标分别为(S_x,S_y)和(E_x,E_y)，两个端点的计算公式如公式(1)和公式(2)所示

其中r_min和r_max的取值分别为10和150；对于每一个投票值大于20的坐标点，判断其投票值是否为以其为中心的31*31范围内的最大投票值，若是，则判定该坐标为一个霍夫检测圆圆心坐标；所有的边缘点投票完成后，得到n个霍夫检测圆圆心坐标，组成霍夫检测圆圆心坐标集合

(3)对于霍夫检测圆圆心坐标集合C中的每一个霍夫检测圆圆心坐标c_i，构建一个像素点集合d_i，令d_i＝{S(c_i)}，其中S(c_i)为原始图像S中位于c_i的像素点；基于原始图像S中像素值特征进行区域生长；具体的步骤为，不断遍历当前集合中未遍历的点，判断该点的四连通方向的四个点；对于这四个点，如果其三个通道的像素值与圆心坐标c_i的像素点S(c_i)的三个通道值差值均小于70，则将其认定为生长区域点，将其加入当前集合d_i中并继续生长；重复这一步骤，直到当前集合d_i中所有的点都已经经过判断且没有新的点加入；此时结束生长，每一个霍夫检测圆圆心坐标c_i生长结束将得到一块连通区域e_i；所有得到的连通区域集合记为

Images