CN110032971A - 基于单目摄像头的移动平台异物检测检测方法及检测系统 - Google Patents

Abstract

本发明公开了一种基于单目摄像头的移动平台异物检测方法及检测系统。该系统由包含单目摄像头的图像采集模块和主控器组成。首先，在周期性低速移动平台（如机械臂）安装图像采集模块，在移动平台的不同位置多次采集图像并进行处理，如确定存在异物，主控制器计算出异物的空间位置，尺寸和颜色等信息，并将计算结果发送至上级控制系统。本发明借助移动平台，使用单目摄像头获取目标的位置等信息，可以达到多目摄像头相同的效果，可应用于工业现场（如自动化流水线等）有无工件掉落或其他低速异物出现的检测。

Description

基于单目摄像头的移动平台异物检测检测方法及检测系统

技术领域

本发明涉及机器视觉和图像处理领域，特别是一种出现异物时异物状态检测方法及检测系统。

背景技术

使用计算机获取及处理图像的技术被称为机器视觉技术。确切地说，机器视觉就是使用光学非接触式感应设备自动接收并解释真实场景的图像以获得信息控制机器或流程。图像处理是使用计算机数据处理技术对图像数据进行处理并获取有效信息的技术。人类视觉最擅长于对复杂、非结构化的场景进行定性解释，但机器视觉则凭借速度、精度和可重复性等优势，擅长于对结构化场景进行定量测量，举例来说，在生产线上，机器视觉系统每分钟能够对数百个甚至数千个元件进行检测。配备适当分辨率的相机和光学元件后，机器视觉系统能够轻松检验小到人眼无法看到的物品细节特征。机器视觉在工业上的应用可以极大的减少成本和人力劳动。

一幅图像所包含的信息是至以十万甚至更高数量级衡量的大量像素点的数字信息；在单色图像中，每个像素点只包含一种灰度信息；在彩色图像中，每个像素点包含RGB三种颜色的亮度信息。处理如此巨量信息的过程相当的复杂，如果所有机器视觉的研究者都从最底层的处理方法进行研究，显然是低效的，也是不现实的。幸而在机器视觉领域，有强大且开源的OpenCV计算机视觉库存在，OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV提供了用于图像处理专用的数据结构和大量处理图像的库函数，为机器视觉的研究提供了极大的方便。

发明内容

本发明的目的在于提供一种基于单目摄像头的掉落物检测方法及其检测系统，在本系统中，使用单目摄像头就可以获取低速异物的位置，尺寸和颜色等信息。

实现本发明目的的技术解决方案的方法部分为：一种基于单目摄像头的移动平台掉落物检测方法，包括以下步骤：

步骤1、平台选定：选择搭载移动平台及平台运动过程中的至少2个关键位置点；

步骤2、获取参考：在无异物出现的前提下在所有关键位置采集环境图像信息作为参考图像；

步骤3、图像采集：当移动平台运动到任意一个关键位置时，采集当前位置的环境图像信息；

步骤4、图像处理：将采集到的环境图像信息与同一关键位置采集到的参考图像进行对比，确定有无异物出现；如果有异物出现，执行步骤5，否则回到步骤3，并在用户设置的周期覆盖更新参考图像；

步骤5、多点采集：移动平台到下一个关键位置，进行环境图像信息采集；

步骤6、信息处理：综合至少两个关键位置采集到的图像信息，计算出异物的位置、尺寸和颜色。

一种基于单目摄像头的移动平台掉落物检测系统，包括图像采集模块、图像处理模块和信息分析模块，其中：

图像采集模块与图像处理模块相连以获取环境图像信息，通过光电传感器将获取到的光线模拟信息转化为数字RGB信息，并将该信息传输至图像处理模块，同时传输时间和位置标签；

图像处理模块与信息分析模块相连，图像处理模块将带有时间和位置标签的环境图像信息储存至存储器，首先将当前环境图像信息进行色域转换后与无异物状态下的环境图像信息进行差异计算，并将结果进行二值化切割，最后经过去噪处理后进行连通域检测，经检测的结果传输至信息分析模块；

信息分析模块与上级控制系统及图像采集模块相连，用于对图像处理得到的信息进行处理汇总；首先根据连通域的检测结果进行异物存在性判别，如果存在异物，则控制图像采集模块在下一个关键位置点继续采集环境图像信息，再次确认异物是否存在，如果确定异物存在，则汇总多次采集到的信息计算出异物的位置、尺寸和颜色信息，上报上级控制系统进一步处理；如果不存在异物或第二次采集后发现异物不存在，则控制图像采集模块正常工作。

与现有技术相比，本发明的显著优点为：（1）仅仅使用单目摄像头，就可以实现多目摄像头深度检测的效果；（2）允许冗余检测，不断对已有的结果进行修正，方便提高精度；（3）可以专门配置移动平台，也可以直接安装在已有的周期性运动低速平台上如焊接，装配机械臂上，适应性强；（4）图像采集模块允许扩展额外的自由度，实现灵活的多视角检测。

附图说明

图1是本发明基于单目摄像头的移动平台异物检测系统的结构图。

图2是本发明所述系统的典型外观结构。

图3是图像采集模块的扩展1自由度安装方式。

图4是图像采集模块的扩展2自由度安装方式。

图5是本发明基于单目摄像头的移动平台异物检测方法的流程图。

图6是安装在低自由度机械臂上工作的三维模型。

图7是异物空间位置的定位方法。

图8是实施例1中关键位置A异物出现前后的视野状态。

图9是实施例1中经过处理后关键位置A检测到异物存在的结果。

图10是实施例1中关键位置B异物出现前后的视野状态。

图11是实施例1中经过处理后关键位置B检测到异物存在的结果。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

结合图5及图6，本发明基于单目摄像头的移动平台异物检测方法，步骤如下：

步骤1、平台选定：选择搭载移动平台及平台运动过程中的至少2个关键位置点；

移动平台在有限的时间内，会多次运动到同一空间位置和角度，方便图像采集模块从不同的角度观察同一被监控区域；

步骤2、获取参考：在无异物出现的前提下在所有关键位置采集环境图像信息作为参考图像；

设置参考图像更新的周期，例如每隔一定时间或每隔数个周期使用最新获取的没有异物存在的图像覆盖参考图像。如果更新周期过短，会增加计算负担，如果更新周期过长会因为环境轻微变化如一天中阳光强度变化造成误差累计影响判断效果；

步骤3、图像采集：当移动平台运动到任意一个关键位置时，采集当前位置的环境图像信息；

在这里，将第一个运动到的关键位置点设为关键位置A，空间坐标为(xa,ya,za)，图像采集模块的轴心角度为Da；

步骤4、图像处理：将采集到的环境图像信息与同一关键位置采集到的参考图像进行对比，确定有无异物出现；如果有异物出现，执行步骤5，否则回到步骤3，并在用户设置的周期覆盖更新参考图像；

通过不同周期同一关键位置采集到的图像信息进行对比并进行去噪处理后，可以快速确定视野内有无异物出现；

步骤5、多点采集：移动平台移动到下一个关键位置，进行环境图像信息采集；

在这里，将第二个运动到的关键位置点设为关键位置B，空间坐标为(xb,yb,zb)，图像采集模块的轴心角度为Db.

步骤6、信息处理：综合至少两个关键位置采集到的图像信息，计算出异物的位置、尺寸和颜色。

通过对获取到的图像进行形态学处理的方法，可以得到异物位置坐标点T(xt,yt,zt)在关键位置A的视野中的位置相对于A点的方向向量为D1，即如图7所示，在关键位置B的视野中的位置相对于B点的方向向量为D2，结合点A的坐标和点B的坐标，可以得到空间直线AT和BT的方程，计算两条空间直线AT和BT的交点即可得到点T的坐标。考虑到实际定位过程中可能存在误差，导致计算得到的两条空间直线没有交点，如果发现两条空间直线没有交点，则取两条异面直线的公垂线的中点作为异物的空间位置点。

由物体的空间位置点及步骤3和步骤5中获得的原始图像可以确定物体的大致尺寸和颜色等信息。

如图1所示，本发明基于单目摄像头的移动平台异物检测系统，包括图像采集模块、图像处理模块和信息分析模块，其中：

图像采集模块与图像处理模块相连以获取环境图像信息，通过光电传感器将获取到的光线模拟信息转化为数字RGB信息，并将该信息传输至图像处理模块，同时传输时间和位置标签；

图像处理模块与信息分析模块相连，图像处理模块将带有时间和位置标签的环境图像信息储存至存储器；首先将当前环境图像信息进行色域转换后与无异物状态下的环境图像信息进行差异计算，并将结果进行二值化切割，最后经过去噪处理后进行连通域检测，经检测的结果传输至信息分析模块；

信息分析模块与上级控制系统及图像采集模块相连，用于对图像处理得到的信息进行处理汇总；首先根据连通域的检测结果进行异物存在性判别，如果存在异物，则控制图像采集模块在下一个关键位置点继续采集环境图像信息，再次确认异物是否存在，如果确定异物存在，则汇总多次采集到的信息计算出异物的位置、尺寸和颜色信息，上报上级控制系统进一步处理；如果不存在异物或第二次采集后发现异物不存在，则控制图像采集模块正常工作。

图2是本发明所述系统的典型外观结构，其中1为镜头，2为工业相机，3为固定底座，4为主控器，5，6为通信接口；图3是图像采集模块的扩展1自由度安装方式，图4是图像采集模块的扩展2自由度安装方式，其中7为包含舵机的水平转台，8为包含舵机的垂直转台，图3图4类型的图像采集模块用以扩展图像采集模块的视野。

如图2所示，该系统由图像采集模块和主控器组成，其中，1为镜头，2为工业摄像机，3为固定1和2的底座；4为主控器，使用嵌入式控制系统，搭载Linux系统，并具备基本的通信接口和网络功能，图1中的图像处理模块和信息分析模块以主控器软件的形式实现，5为DB9接口，用于串行通信，6为RJ45接口，用于网络通信。摄像机搭载平台可根据具体情况提供固定或扩展自由度的安装方式，扩展自由度越高，可检测的范围和角度就越大，扩展1自由度典型结构如图3所示，其中，7为水平转台，可以通过控制舵机精确转动，使得图像采集模块可以拥有更加宽阔的水平视野；扩展2自由度典型结构如图4所示，其中，8为竖直转台，可以通过控制舵机精确转动，使得图像采集模块可以拥有更加宽阔的竖直视野。

在使用本发明所述的系统时，首先选定周期性低速运动平台，例如在工业生产中常用的焊接，装配和码垛机械臂；如果工作位置没有符合条件的移动平台，可以为本系统专门配置周期性低速运动平台如低自由度的机械臂。选定工作平台后，将图像采集模块安装在工作平台的适当位置如末端，并通过数据线将图像采集模块与主控器相连，主控器可与图像采集模块同时搭载于工作平台上或安装在固定位置。主控器与工作平台的控制器之间需要设置通信通道，以便随时获取工作平台的位置信息，获取工作平台的位置信息的数据容量不大，可以单工工作，但是对实时性要求较高，不能有太大的延迟，推荐使用RS485串行通信协议。主控器与上级控制系统之间需要设置通信通道，发现异物时及时上报信息。

下面结合具体实施例对本发明作进一步说明。

实施例1

通过实验验证本发明提出的一种基于单目摄像头的移动平台异物检测系统及其检测方法的性能，情况如下：

1)实验条件

将扩展1自由度的视觉采集模块安装于一个3自由度机械臂上，确定两个关键位置A(200,0,100)和B(0,200,100)（单位为mm，下同）,首先采集环境信息，两个关键位置采集到的图像如图8(a)和图10(a)，放置异物后，两个关键位置采集到的图像如图8(b)和图10(b)，经过处理后得到图9和图11，由于图像采集模块事先经过标定，得到异物在关键位置A视野内方向为Dt₁(181.016 , 462.152 , -100)，在关键位置B视野内方向为Dt₂(420.525,222.554 , -100)。

可以看出，系统清晰准确的捕捉到了异物的状态。

2）结果分析

经过计算可得关键位置A和关键位置B视野内异物所在的位置的方向的两条直线并没有交点，因此取两条直线的公垂线的中点作为异物位置的计算值，最终的结果为T(351,384,17)(仅保留了整数部分)，经过手工测量，与实际位置的误差在±5mm之内，认为属于可信结果。

在得到图9和图11后，取异物的形心像素坐标，在图8(b)和图10(b)对应位置取出像素的RGB值为(245,235,0)和(249，237，1)，从RGB色域转化到HSV色域， H值分别为57.551和57.581，平均值57.566可以确定物体属于黄色。

计算得到异物位置后，结合图9和图11，可以计算出异物的最大尺寸不超过39mm，与实际情况相符。

综上，出现异物位置T(351,384,17)(mm)，HSV色调值57.566，最大尺寸39mm。

Claims (8)

1.一种基于单目摄像头的移动平台异物检测方法，其特征在于，包括以下步骤：

步骤1、平台选定：选择搭载移动平台及平台运动过程中的至少2个关键位置点；

步骤2、获取参考：在无异物出现的前提下在所有关键位置采集环境图像信息作为参考图像；

步骤3、图像采集：当移动平台运动到任意一个关键位置时，采集当前位置的环境图像信息；

步骤4、图像处理：将采集到的环境图像信息与同一关键位置采集到的参考图像进行对比，确定有无异物出现；如果有异物出现，执行步骤5，否则回到步骤3，并在用户设置的周期覆盖更新参考图像；

步骤5、多点采集：移动平台到下一个关键位置，进行环境图像信息采集；

步骤6、信息处理：综合至少两个关键位置采集到的图像信息，计算出异物的位置、尺寸和颜色。

2.根据权利要求1中所述的基于单目摄像头的移动平台异物检测方法，其特征在于，步骤1中所述选择搭载本系统的移动平台及平台运动过程中的至少2个关键位置点，具体为：

首先选择用以搭载移动平台，该平台周期循环运动，运动过程中存在停顿过程或最低速度低于0.5m/s；

在移动平台的运动轨迹中选择有停顿过程的位置点，如果全程没有停顿，则选择速度低于0.5m/s的位置点。

3.根据权利要求1中所述的基于单目摄像头的移动平台异物检测系统及其检测方法，其特征在于：步骤3中，通过平台的控制器或位置传感器实时获取平台的位置信息，每当主控器检测到平台运动到关键位置点，则采集当前位置的环境图像信息。

4.根据权利要求1中所述的基于单目摄像头的移动平台异物检测系统及其检测方法，其特征在于，步骤4中所述将上一步中采集到的图像信息与同一关键位置采集到的参考图像进行对比，具体步骤为：

4.1将平台在不同的运动周期同一关键位置采集到的两幅图片进行色域转换，将彩色图片转化为灰度图片；

4.2利用绝对值差算法absdiff求得两幅图片的灰度差异值；

4.3将差异值二值化切割，得到原始环境形态；

4.4对4.3步得到的结果进行形态学去噪处理；

4.5将4.4步得到的结果进行连通域检测，得到连通域在视野中的位置分布并进行判定，如果存在连通域，则表明出现异物。

5.根据权利要求1中所述的基于单目摄像头的移动平台异物检测系统及其检测方法，其特征在于，步骤6中所述综合至少两个关键位置采集到的图像信息，计算出异物的位置、尺寸和颜色，具体为：

根据获得的图像信息，得到异物相对于关键位置点的方向，即关键位置点和异物形心的连线的方程，两个关键位置点和异物形心的连线的方程的公共点即为异物的空间位置点，如果两条直线没有公共点，则取两条直线公垂线的中心点即得到异物的空间位置点；如果有超过两个的关键位置点，则计算所有直线两两交点或公垂线的中心点，计算平均值或中位值，得到异物的位置；同时，根据计算得到的异物的位置以及视野内部物体的外轮廓像素尺寸，由相似三角形法计算出物体的实际轮廓尺寸；由异物在视野中像素的RGB信息经过色域转换后得到异物的颜色。

6.一种基于单目摄像头的移动平台异物检测系统，其特征在于：包括图像采集模块、图像处理模块和信息分析模块，其中：

图像采集模块与图像处理模块相连以获取环境图像信息，通过光电传感器将获取到的光线模拟信息转化为数字RGB信息，并将该信息传输至图像处理模块，同时传输时间和位置标签；

图像处理模块与信息分析模块相连，图像处理模块将带有时间和位置标签的环境图像信息储存至存储器；首先将当前环境图像信息进行色域转换后与无异物状态下的环境图像信息进行差异计算，并将结果进行二值化切割，最后经过去噪处理后进行连通域检测，经检测的结果传输至信息分析模块；

信息分析模块与上级控制系统及图像采集模块相连，用于对图像处理得到的信息进行处理汇总；首先根据连通域的检测结果进行异物存在性判别，如果存在异物，则控制图像采集模块在下一个关键位置点继续采集环境图像信息，再次确认异物是否存在，如果确定异物存在，则汇总多次采集到的信息计算出异物的位置、尺寸和颜色信息，上报上级控制系统进一步处理；如果不存在异物或第二次采集后发现异物不存在，则控制图像采集模块正常工作。

7.根据权利要求6所述的基于单目摄像头的移动平台异物检测系统，其特征在于：所述图像采集模块包括单目摄像头。

8.根据权利要求6或7所述的基于单目摄像头的移动平台异物检测系统，其特征在于：所述图像采集模块安装在周期性低速移动平台的末端。