CN114581447B - 一种基于机器视觉的运输皮带跑偏识别方法和装置 - Google Patents

Abstract

本发明公开一种基于机器视觉的运输皮带跑偏识别方法和装置，该基于机器视觉的运输皮带跑偏识别方法包括在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间；根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警。利用本发明，能提升皮带了跑偏预警方法在图像模糊、物料遮挡、皮带纵向划痕等干扰场景下的鲁棒性和识别精度；并且能够在线监测皮带偏离趋势，对于未达到报警级别的皮带偏离能够定量化分析。

Description

一种基于机器视觉的运输皮带跑偏识别方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于机器视觉的运输皮带跑偏识别方法和装置。

背景技术

在煤矿、水泥、冶金等工业领域中，皮带运输是主流的物料运输方式。由于生产需要，运输皮带需要长时间、高负载的运转。在该过程中，皮带质量、设备安装误差、落料点和托辊粘料等因素，都可能导致皮带跑偏的发生，从而引发皮带撕裂、物料侧翻等问题，严重的甚至会损坏运输设备，极大地影响了生产安全和生产效率。因此运输皮带跑偏的及时预警是极有必要的。

现有的运输皮带跑偏预警主要依赖于跑偏开关和智能监控两种方法。

基于跑偏开关的皮带跑偏预警方法根据立棍被跑偏皮带推动的偏转角度识别皮带跑偏，并通过偏转角度大小对皮带跑偏进行分级预警。这种依赖于机械结构的皮带跑偏预警方法稳定性高，但无法在线监测皮带的偏离状态和趋势，且设备间通讯复杂，需要大量安装，部署及检修成本较高。

基于智能监控的皮带跑偏预警方法结合了视频监控系统和图像处理算法，能够在线监测并分析运输皮带跑偏状态和趋势。然而，现有的皮带跑偏算法主要依赖于边缘提取技术，实际生产过程中的图像模糊、物料遮挡、皮带纵向划痕等常见的干扰因素均会影响算法的鲁棒性和识别精度，造成跑偏误报或漏检。

因此，针对现有的皮带运输生产现场，急需一种低成本、高精度、高鲁棒性的皮带跑偏识别方法，从而避免生产延误，并降低故障检修成本。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器视觉的运输皮带跑偏识别方法和装置，能够在线监测运输皮带偏离程度，并及时进行跑偏预警。

为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的运输皮带跑偏识别方法，包括：

在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；

将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间；

根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警。

在本发明的一可选实施例中，所述在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像包括：

在线获取运输皮带的监控视频帧数据，根据所述预设背景区域对当前帧监控原图像进行图像提取，以获取当前帧提取图像；

对所述当前帧提取图像进行透视变换处理，以将所述当前帧提取图像转换为与所述皮带背景模板图相同尺寸的图像，作为当前帧待测感兴趣图像。

在本发明的一可选实施例中，将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定所述皮带边缘的位置区间包括：

分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相同的若干图像块；

对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配，以获取相似度矩阵；

根据预设的相似度阈值，将所述相似度矩阵二值化，以得到皮带定位矩阵；

逐列遍历所述皮带定位矩阵，记录每列元素中首次出现差异图像块的纵坐标，其对应图像块内均包含一段皮带边缘，每列元素中首次出现差异的图像块的纵坐标共同组成皮带边缘定位向量，通过所述皮带边缘定位向量完成所述皮带边缘的位置区间的确定。

在本发明的一可选实施例中，根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警包括：

根据所述皮带边缘定位向量，计算所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线；

通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警。

在本发明的一可选实施例中，通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警包括：

通过透视逆变换将所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线映射回当前帧监控原图像中，以获取所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线；

计算所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线与预标注的皮带边缘基准线段的偏移量；

将所述偏移量与所述皮带跑偏报警阈值进行比对，以判断当前所述运输皮带是否发生跑偏。

在本发明的一可选实施例中，将所述偏移量与所述皮带跑偏报警阈值进行比对，以判断当前所述运输皮带是否发生跑偏中，根据下式来判断当前所述运输皮带是否发生跑偏：

其中，Δd _l 和Δd _r 为所述当前帧监控原图像中皮带左右两侧边缘的区间下界线的偏移量，t _d 为皮带跑偏报警阈值，normal表示运输皮带运行正常未发生跑偏，alarm表示运输皮带发生皮带跑偏，需要皮带跑偏报警。

在本发明的一可选实施例中，所述基于机器视觉的运输皮带跑偏识别方法还包括；

离线获取标准皮带监控图像，标注所述标准皮带监控图像中所述运输皮带两侧的基准边缘点；

根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域；

根据所述预设背景区域来构建所述皮带背景模板图。

在本发明的一可选实施例中，所述根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域包括：

设定跑偏检测范围；

以所述运输皮带两侧的基准边缘点为基准，沿横坐标方向向所述运输皮带的外侧延伸来确定所述预设背景区域，其中，向外延伸量为所述跑偏检测范围与所述运输皮带在对应的所述基准边缘点处的横向宽度。

在本发明的一可选实施例中，所述根据所述预设背景区域来构建所述皮带背景模板图，包括：

根据所述预设背景区域对所述标准皮带监控图像进行图像提取，以获取标准提取图像；

对所述标准提取图像进行透视变换处理，以将所述标准提取图像转换为所述皮带背景模板图。

为实现上述目的及其他相关目的，本发明还提供一种基于机器视觉的运输皮带跑偏识别装置，包括：

ROI图像获取模块，用于在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；

边缘位置确定模块，用于将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间；

跑偏预警模块，用于根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警。

本发明的基于机器视觉的运输皮带跑偏识别方法和装置，能有效避免现有基于边缘提取技术的皮带跑偏预警方法对于纹理增强、线条筛选等复杂后处理步骤的依赖，同时提升皮带了跑偏预警方法在图像模糊、物料遮挡、皮带纵向划痕等干扰场景下的鲁棒性和识别精度；同时，相比于基于机械结构的跑偏开关的皮带跑偏预警方法方法，本发明能够在线监测皮带偏离趋势，对于未达到报警级别的皮带偏离能够定量化分析。

附图说明

图1显示为本发明的基于机器视觉的运输皮带跑偏识别方法的流程示意图。

图2显示为步骤S10的子流程示意图。

图3显示为本发明的皮带标注和背景模板构建过程示意图。

图4显示为步骤S20的子流程示意图。

图5显示为本发明分块匹配及皮带边缘区间定位流程简介图。

图6显示为本发明皮带偏移量计算过程示意图。

图7显示为本发明的基于机器视觉的运输皮带跑偏识别装置的功能模块图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1-图7。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

请参阅图1所示，图1示出了本发明的基于机器视觉的运输皮带跑偏识别方法的较佳实施例的流程图。本发明的实施例提供的基于机器视觉的运输皮带跑偏识别方法，可应用于图像处理技术领域，能够在线监测运输皮带偏离程度，并及时进行跑偏预警。

在本实施例中，如图1所示，为了实现基于机器视觉的运输皮带跑偏识别方法的目的，需要预先离线获取标准监控图像，标注皮带基准信息，并获取皮带背景模板图（步骤S10），然后利用分块匹配法在线定位皮带边缘区间，进行运输皮带跑偏分析和预警（步骤S20）。下面将结合附图来详细对本实施例的基于机器视觉的运输皮带跑偏识别方法进行说明。

首先，执行步骤S10，获取标准监控图像，标注皮带基准信息，并获取皮带背景模板图。其中，图2示出了步骤S10的子流程图，图3示出了本实施例的皮带标注和背景模板构建过程示意图。

具体地，本实施例在进行皮带跑偏在线识别之前，需要针对监控场景进行部分信息标注和皮带背景模板图的获取，如图2所示，步骤S10包含以下步骤：

S11、获取标准皮带监控图像，所述标准皮带监控图像中标注有所述运输皮带两侧的基准边缘点。

作为示例，如图3所示，可离线获取一张未跑偏的皮带监控图像I，人工标注图像中皮带左右两侧共4个（当然也可以是6个、8个等）基准边缘点，作为标准皮带监控图像。皮带左侧基准边缘点记作B _l 、C _l ，线段B _l C _l 即为皮带左侧基准边缘；同理，皮带右侧边缘点记作B _r 、C _r ，线段B _r C _r 为皮带右侧基准边缘。此外，皮带基准边缘点B _l 和B _r 、皮带边缘点C _l 和C _r 分别属于同一横坐标,即

。

作为示例，点坐标以(x,y)的形式表述，其中x为点在图像中的像素横坐标，y为点在图像中的像素纵坐标。

需要说明的是，由于本实施例中运输皮带左、右跑偏识别的后续步骤基本相同，本文以皮带左侧处理和识别步骤为例进行说明，不在分开进行复述。

S12、根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域，也即根据标注的皮带基准信息确定皮带外侧的预设背景区域。具体地，首先，设定跑偏检测范围；然后，以所述运输皮带两侧的基准边缘点为基准，沿横坐标方向向所述运输皮带的外侧延伸来确定所述预设背景区域，其中，向外延伸量为所述跑偏检测范围与所述运输皮带在对应的所述基准边缘点处的横向宽度。

继续前面的示例，设定跑偏监测范围为s，则运输皮带（左侧）的预设背景区域的确定方式如下：

以左侧边缘点B _l 为基准，沿横坐标方向向皮带外侧延伸Δx _top 个像素确定顶点A _l ，其中

为线段B _l B _r 的长度，即皮带在y _B 处的像素宽度，则点A _l 的坐标为

；

以左侧边缘点C _l 为基准，沿横坐标方向向皮带外侧延伸Δx _bottom 个像素确定顶点D _l ，其中

，

为线段C _l C _r 的长度，即皮带在y _C 处的像素宽度，则点D _l 的坐标为

。

则四边形区域ABCD即为皮带外侧（左）的预设背景区域，记作R。

在本实施例中，跑偏监测范围s设置为30%，即单侧最大可监测皮带宽度30%的皮带偏离。

需要说明的是，根据标注信息确定皮带外侧（右侧）的预设背景区域时与据标注信息确定皮带外侧（左侧）的预设背景区域略有不同。

设定跑偏监测范围为s，则运输皮带（右侧）的预设背景区域的确定方式如下：

以右侧边缘点B _r 为基准，沿横坐标方向向皮带外侧延伸Δx _top 个像素确定顶点A _r ，其中

，

为线段B _l B _r 的长度，即皮带在y _B 处的像素宽度，则点A _r 的坐标为

；

以右侧边缘点C _r 为基准，沿横坐标方向向皮带外侧延伸Δx _bottom 个像素确定顶点D _r ，其中

，

为线段C _l C _r 的长度，即皮带在y _C 处的像素宽度，则点D _r 的坐标为

。

S13、根据所述预设背景区域来构建所述皮带背景模板图。具体包括，根据所述预设背景区域对所述标准皮带监控图像进行图像提取，以获取标准提取图像；对所述标准提取图像进行透视变换处理，以将所述标准提取图像转换为所述皮带背景模板图。

继续上述示例，根据上述预设背景区域R，提取皮带监控图像I中对应预设背景区域R的ROI图像（感兴趣区域图像），作为标准提取图像；

通过透视变换将该ROI图像变换映射为矩形的皮带背景模板图T。具体的，映射后的皮带背景模板图尺寸为W×H，其中

，

；具体的，ROI图像的顶点A _l 、B _l 、C _l 和D _l 透视变换映射后的坐标分别为(W, 0)、(W, H)、(0, H)和(0, 0)。

接着，执行步骤S20中，利用分块匹配法在线定位皮带边缘区间，进行运输皮带跑偏分析和预警。获取上述标注信息及皮带背景模板图后，即可开始进行运输皮带跑偏的在线监测和识别。本发明通过监控视频流获取运输皮带的实时检测图像，并根据预设背景区域R提取当前帧的皮带ROI图像。在此基础上，采用与S13相同的方式将其变换为矩形ROI图，并与皮带背景模板图T进行分块匹配，从而确定皮带边缘的位置区间。最终，计算当前帧的边缘偏移量，进行皮带跑偏的过程监测和在线预警。其中，图4显示为步骤S20的子流程示意图。如图4所示，步骤S20包含以下步骤：

步骤S21、在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像。

步骤S21进一步包括，在线获取运输皮带的监控视频帧数据，根据所述预设背景区域对当前帧监控原图像进行图像提取，以获取当前帧提取图像；对所述当前帧提取图像进行透视变换处理，以将所述当前帧提取图像转换为与所述皮带背景模板图相同尺寸的图像，作为当前帧待测感兴趣图像。

作为示例，如图5所示，对于获取到的当前帧监控图像I _t ，首先根据S12中的预设背景区域R对当前帧监控图像I _t 进行图像提取，以获取图5所示的预设区域ROI图像，作为当前帧提取图像；然后采用S13中的透视变换方法将当前帧提取图像转换为与皮带背景模板图尺寸相同的矩形待测ROI图，也即图5中的矫正后的ROI图像S _t ，作为当前帧待测感兴趣图像，也即图5中的矫正后的ROI图像S _t 。

步骤S22、将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间。

步骤S22进一步包括，分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相同的若干图像块；对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配，以获取相似度矩阵；根据预设的相似度阈值，将所述相似度矩阵二值化，以得到皮带定位矩阵；逐列遍历所述皮带定位矩阵，记录每列元素中首次出现差异图像块的纵坐标，其对应图像块内均包含一段皮带边缘，每列元素中首次出现差异的图像块的纵坐标共同组成皮带边缘定位向量，通过所述皮带边缘定位向量完成所述皮带边缘的位置区间的确定。

作为示例，首先，对于一组待测ROI图像S _t 和皮带背景模板图T，将其分割为N×M个大小相同的正方形图像块（当然也可以采用矩形块）。其中，图像块大小表示运输皮带边缘所属区间大小，单个图像块的边长t _c 设为皮带宽度的5%（可根据需要配置），即通过分块匹配法定位的皮带边缘所属区间大小为皮带宽度的5%。因此，

。

然后，如图5所示，将待测ROI图像S_t与背景模板图T逐图像块进行相似度匹配。具体的，对于待测ROI图像的图像块

与背景模板图的图像块

间相似度α _n,m 的计算方式如下：

其中K为图像块中像素点的总个数，k为当前像素点索引，

为L2距离度量公式。则计算所有对应图像块后，即可得到大小为N×M的相似度矩阵α。

接着，根据设定的相似度阈值t _α ，将相似度矩阵α二值化得到皮带定位矩阵β，

式中0表示对应图像块为相似图像块，即背景图像块；1表示对应图像块为差异图像块，即该图像块内发生皮带遮挡原背景。需要说明的是，所述相似度阈值t _α 可根据需要进行调整，当运输皮带与背景差异比较小时，要相应的减小相似度阈值t _α ，而当运输皮带与背景差异比较大时，要相应的增大相似度阈值t _α ，在此处选用t _α 取5。

最终，逐列遍历皮带定位矩阵β，记录每列元素中首次出现差异图像块的纵坐标

，其对应图像块

内均包含一段皮带边缘。每列元素中首次出现差异图像块的纵坐标

共同组成皮带边缘定位向量v，即通过皮带边缘定位向量v即可完成整体运输皮带的边缘位置区间的确定。

步骤S23、根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警。

如图6所示，通过皮带边缘定位向量v可确定所述当前帧待测感兴趣图像中皮带边缘的区间上界线和区间下界线。其中，区间上界线以上均为背景区域，区间下界线以下均为皮带区域，而运输皮带与背景区域的交界边缘则在区间上界线与区间下界线之间。因此，通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警，从而即可完成皮带跑偏的识别。

具体地，通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警时，可首先，通过透视逆变换将所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线映射回当前帧监控原图像中，以获取所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线；接着计算所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线与预标注的皮带边缘基准线段的偏移量；最后，将所述偏移量与所述皮带跑偏报警阈值进行比对，以判断当前所述运输皮带是否发生跑偏通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警，从而即可完成皮带跑偏的识别

作为示例。根据皮带边缘定位向量v，计算当前帧待测感兴趣图像中S _t 中皮带边缘的区间上界线点集L _up 的方式为：

计算当前帧待测感兴趣图像中S _t 中皮带边缘的区间下界线点集L _bottom 的方式为：

其中，

为向上取整。

进一步的，如图6所示，完成当前帧待测感兴趣图像中S _t 中皮带边缘的区间上界线点集L _up 、区间下界线点集L _bottom 计算后，通过透视逆变换将当前帧待测感兴趣图像中S _t 中区间上界线点集L _up 和区间下界线点集L _bottom 映射回当前帧监控原图像I _t 中，记作当前帧监控原图像I _t 中皮带边缘的区间上界线或区间下界线L' _up 和L' _bottom 。

在此基础上，逐点计算当前帧监控原图像I _t 中皮带边缘下界线点集L' _bottom 与预标注的皮带边缘基准线段BC间的偏移量Δd，具体计算方式如下：

其中，

表示当前帧监控原图像I _t 中下界线点集L' _bottom 中第w个点

的横坐标，x _w,BC 为预标注的皮带边缘基准线BC上与P _w 相同纵坐标的点

的横坐标，Δd即为皮带的整体偏移量。

基于上述计算步骤，可以获得当前帧监控原图像

中皮带左右两侧边缘下界线的偏移量Δd _l 和Δd _r 后，对比设定的皮带跑偏报警阈值t _d ，判断当前皮带是否发生跑偏。具体判断方式如下：

其中normal表示皮带运行正常未发生跑偏，alarm表示皮带偏离大于设定阈值，即发生皮带跑偏，需要进行皮带跑偏报警。

需要说明的是，也可基于当前帧监控原图像I _t 中皮带边缘的区间上界线L' _up 与预标注的皮带边缘基准线段BC间的偏移量Δd。

通过上述的基于机器视觉的运输皮带跑偏识别方法，能有效避免现有基于边缘提取技术的皮带跑偏预警方法对于纹理增强、线条筛选等复杂后处理步骤的依赖，同时提升皮带了跑偏预警方法在图像模糊、物料遮挡、皮带纵向划痕等干扰场景下的鲁棒性和识别精度；同时，相比于基于机械结构的跑偏开关的皮带跑偏预警方法，本发明能够在线监测皮带偏离趋势，对于未达到报警级别的皮带偏离能够定量化分析。

图7所示，图7示出了本发明的基于机器视觉的运输皮带跑偏识别装置100的较佳实施例的功能模块图。所述基于机器视觉的运输皮带跑偏识别装置100包括标准图像获取模块111、背景区域获取模块112、背景模板获取模块113、ROI图像获取模块121、边缘位置确定模块122和跑偏预警模块123。

所述标准图像获取模块111、背景区域获取模块112及背景模板获取模块113的组合用于获取模块111用于获取标准监控图像，标注皮带基准信息，并获取皮带背景模板图。具体地，所述标准图像获取模块111用于获取标准皮带监控图像，所述标准皮带监控图像中标注有所述运输皮带两侧的基准边缘点；所述背景区域获取模块112用于根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域；所述背景模板获取模块113用于根据所述预设背景区域来构建所述皮带背景模板图。

所述ROI图像获取模块121、边缘位置确定模块122和跑偏预警模块123的组合用于利用分块匹配法在线定位皮带边缘区间，进行运输皮带跑偏分析和预警。具体地，所述ROI图像获取模块121用于在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；所述边缘位置确定模块122用于将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间；所述跑偏预警模块123用于根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警。

需要说明的是，本发明的基于机器视觉的运输皮带跑偏识别装置100是与上述基于机器视觉的运输皮带跑偏识别方法相对应的虚拟装置，基于机器视觉的运输皮带跑偏识别装置100中的功能模块分别对应基于机器视觉的运输皮带跑偏识别方法中的相应步骤。本发明的基于机器视觉的运输皮带跑偏识别装置100可与基于机器视觉的运输皮带跑偏识别方法相互相配合实施。本发明的基于机器视觉的运输皮带跑偏识别方法中提到的相关技术细节在基于机器视觉的运输皮带跑偏识别装置100中依然有效，为了减少重复，这里不再赘述。相应地，本发明的基于机器视觉的运输皮带跑偏识别装置100中提到的相关技术细节也可应用在上述基于机器视觉的运输皮带跑偏识别方法中。

需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

在本文的描述中，提供了许多特定细节，诸如部件和/或方法的实例，以提供对本发明实施例的完全理解。然而，本领域技术人员将认识到可以在没有一项或多项具体细节的情况下或通过其他设备、系统、组件、方法、部件、材料、零件等等来实践本发明的实施例。在其他情况下，未具体示出或详细描述公知的结构、材料或操作，以避免使本发明实施例的方面变模糊。

还应当理解还可以以更分离或更整合的方式实施附图所示元件中的一个或多个，或者甚至因为在某些情况下不能操作而被移除或因为可以根据特定应用是有用的而被提供。

另外，除非另外明确指明，附图中的任何标志箭头应当仅被视为示例性的，而并非限制。此外，除非另外指明，本文所用的术语“或”一般意在表示“和/或”。在术语因提供分离或组合能力是不清楚的而被预见的情况下，部件或步骤的组合也将视为已被指明。

本发明所示实施例的上述描述(包括在说明书摘要中所述的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明所述实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。

本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。

因而，尽管本发明在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换亦在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。

Claims (9)

1.一种基于机器视觉的运输皮带跑偏识别方法，其特征在于，包括：

在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；

将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间，其中，所述皮带背景模板图根据所述预设背景区域构建；

根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警；

其中，将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定所述皮带边缘的位置区间包括：

分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相同的若干图像块；

对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配，以获取相似度矩阵；

根据预设的相似度阈值，将所述相似度矩阵二值化，以得到皮带定位矩阵；

逐列遍历所述皮带定位矩阵，记录每列元素中首次出现差异图像块的纵坐标，其对应图像块内均包含一段皮带边缘，每列元素中首次出现差异的图像块的纵坐标共同组成皮带边缘定位向量，通过所述皮带边缘定位向量完成所述皮带边缘的位置区间的确定。

2.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，所述在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像包括：

在线获取运输皮带的监控视频帧数据，根据所述预设背景区域对当前帧监控原图像进行图像提取，以获取当前帧提取图像；

对所述当前帧提取图像进行透视变换处理，以将所述当前帧提取图像转换为与所述皮带背景模板图相同尺寸的图像，作为当前帧待测感兴趣图像。

3.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警包括：

根据所述皮带边缘定位向量，计算所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线；

通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警。

4.根据权利要求3所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，通过所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线来监测所述运输皮带的跑偏量并进行皮带跑偏预警包括：

通过透视逆变换将所述当前帧待测感兴趣图像中皮带边缘的区间上界线或区间下界线映射回当前帧监控原图像中，以获取所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线；

计算所述当前帧监控原图像中皮带边缘的区间上界线或区间下界线与预标注的皮带边缘基准线段的偏移量；

将所述偏移量与所述皮带跑偏报警阈值进行比对，以判断当前所述运输皮带是否发生跑偏。

5.根据权利要求4所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，将所述偏移量与所述皮带跑偏报警阈值进行比对，以判断当前所述运输皮带是否发生跑偏中，根据下式来判断当前所述运输皮带是否发生跑偏：

其中，Δd _l 和Δd _r 为所述当前帧监控原图像中皮带左右两侧边缘的区间下界线的偏移量，t _d 为皮带跑偏报警阈值，normal表示运输皮带运行正常未发生跑偏，alarm表示运输皮带发生皮带跑偏，需要皮带跑偏报警。

6.根据权利要求1所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，所述基于机器视觉的运输皮带跑偏识别方法还包括；

获取标准皮带监控图像，所述标准皮带监控图像中标注有所述运输皮带两侧的基准边缘点；

根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域；

根据所述预设背景区域来构建所述皮带背景模板图。

7.根据权利要求6所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，所述根据所述运输皮带两侧的基准边缘点确定所述运输皮带外侧的所述预设背景区域包括：

设定跑偏检测范围；

以所述运输皮带两侧的基准边缘点为基准，沿横坐标方向向所述运输皮带的外侧延伸来确定所述预设背景区域，其中，向外延伸量为所述跑偏检测范围与所述运输皮带在对应的所述基准边缘点处的横向宽度。

8.根据权利要求6所述的基于机器视觉的运输皮带跑偏识别方法，其特征在于，所述根据所述预设背景区域来构建所述皮带背景模板图，包括：

根据所述预设背景区域对所述标准皮带监控图像进行图像提取，以获取标准提取图像；

对所述标准提取图像进行透视变换处理，以将所述标准提取图像转换为所述皮带背景模板图。

9.一种基于机器视觉的运输皮带跑偏识别装置，其特征在于，包括：

ROI图像获取模块，用于在线获取运输皮带的监控视频帧，根据预设背景区域获取当前帧待测感兴趣图像；

边缘位置确定模块，用于将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定皮带边缘的位置区间，其中，所述皮带背景模板图根据所述预设背景区域构建；

跑偏预警模块，用于根据所述皮带边缘的位置区间，监测所述运输皮带的跑偏量并进行皮带跑偏预警；

其中，将所述当前帧待测感兴趣图像与皮带背景模板图进行分块匹配，确定所述皮带边缘的位置区间包括：

分别将所述当前帧待测感兴趣图像和所述皮带背景模板图分割成相同数量且大小相同的若干图像块；

对所述当前帧待测感兴趣图像和所述皮带背景模板图逐图像块进行相似度匹配，以获取相似度矩阵；

根据预设的相似度阈值，将所述相似度矩阵二值化，以得到皮带定位矩阵；

逐列遍历所述皮带定位矩阵，记录每列元素中首次出现差异图像块的纵坐标，其对应图像块内均包含一段皮带边缘，每列元素中首次出现差异的图像块的纵坐标共同组成皮带边缘定位向量，通过所述皮带边缘定位向量完成所述皮带边缘的位置区间的确定。

Images