CN103365292A - 基于视觉识别和多传感器数据融合的捡球方法 - Google Patents
基于视觉识别和多传感器数据融合的捡球方法 Download PDFInfo
- Publication number
- CN103365292A CN103365292A CN2013102941429A CN201310294142A CN103365292A CN 103365292 A CN103365292 A CN 103365292A CN 2013102941429 A CN2013102941429 A CN 2013102941429A CN 201310294142 A CN201310294142 A CN 201310294142A CN 103365292 A CN103365292 A CN 103365292A
- Authority
- CN
- China
- Prior art keywords
- infrared sensor
- degree
- ball
- sensor
- picking robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000005693 optoelectronics Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
基于视觉识别和多传感器数据融合的捡球方法，其步骤为：步骤A，通过红外传感器阵列获取周围环境信息，摄像头在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息并将其进行处理；步骤B，捡球机器人向右旋转15度，进入下一个位置，重复步骤A；步骤C，重复步骤B；步骤D，捡球机器人前进2米，进入下一个位置，重复步骤A；步骤E，捡球机器人向左旋转15度，进入下一个位置，重复步骤A；步骤F，重复步骤E；步骤G，捡球机器人前进2米，进入下一个位置；至此，一次循环结束，重新开始循环执行步骤A以及后续步骤。
Description
技术领域
本发明涉及一种适用于在乒乓球、网球等球类运动场馆使用的智能捡球机器人的捡球技术。
背景技术
目前，已提出专利申请的双模智能捡球机器人控制系统（申请号：CN201310155091.1）利用两种工作模式相互结合的特点有效的解决了智能捡取乒乓球、网球的问题。但是，该发明并不具备自主识别球体的功能，同时该发明的传感器布局均为固定式的，所采集的环境信息有限，不能全方位多角度的采集环境信息。
发明内容
本发明的目的是提供一种基于视觉识别和多传感器数据融合的捡球方法。
本发明是基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人9向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人9前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人9向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人9前进2米，进入下一个位置；一次循环结束，重新开始循环执行步骤A以及后续步骤。
本发明的有益之处在于：将传感器阵列采集信息和摄像头采集图像、处理图像两个过程有机结合在一起，并将折线形的运动轨迹应用于捡球机器人，达到了高效避障、高精度捡取球体的目的。
附图说明
图1是本发明的算法原理框图，图2是本发明的传感器阵列布局及摄像头转动角度示意图，图3是本发明的运动控制舵机安装角度示意图，图4是本发明的运动轨迹示意图，附图标记及对应名称为：1、第一红外传感器，2、第二红外传感器，3、第三红外传感器，4、第四红外传感器，5、第五红外传感器，6、第六红外传感器，7、第七红外传感器，8、摄像头，9、捡球机器人，10、第一数字舵机，11、第二数字舵机，12、第三数字舵机，13、第四数字舵机。
具体实施方式
本发明是基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人9向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人9前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人9向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，通过摄像头8分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人9前进2米，进入下一个位置；一次循环结束，重新开始循环执行步骤A以及后续步骤。
本发明的是在USB摄像头作为图像采集工具、漫反射式光电开关作为障碍物信息采集工具的支持下实现的，球体检测的原理主要用到了球体颜色特征和球体所占像素点多少的特征等特性进行分析的，障碍物检测的原理主要用到了光电开关的特性。以下结合图1、图2、图3、图4，详细说明本方法的具体实施方式。
步骤A：捡球机器人9开机启动后，安装于捡球机器人9四周的固定位置的第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4开始扫描周围环境，同时，由数字舵机控制的、可转动角度的第五红外传感器5、第六红外传感器6、第七红外传感器7也开始扫描周围环境：
（1）如果扫描到周围有障碍物，则进行相应的避障处理；如：位于右前方的第一红外传感器1检测到有障碍物存在，则第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13共同控制捡球机器人9向左旋转，直到第一红外传感器1检测范围内没有障碍物；第二红外传感器2、第三红外传感器3、第四红外传感器4、第五红外传感器5、第六红外传感器6、第七红外传感器7的工作原理类似于第一红外传感器1；其中，第五红外传感器5、第六红外传感器6、第七红外传感器7由数字舵机控制可达到扫描前方、左方、右方三个方向所占据的所有角度的效果。
（2）如果没有扫描到障碍物信息，则摄像头8在数字舵机的控制下转动到0度位置采集图像信息并将图像从RGB空间转换到HIS空间进行处理（乒乓球和网球具有不同的HIS值），如果所采集到的图像中有球体存在，则按照距离图像中心点最近的原则来确定所需捡取的球体的坐标值S（X，Y），同时，确定该球体所占据的像素点SUM，捡球机器人9将按照SUM值的大小（乒乓球、网球的SUM值的判断阈值不同）来判断所识别的球体是否属于要捡取的球体，然后，捡球机器人9将按照球体的坐标值S（X，Y）来确定球体和机器人之间的相对位置，并不断缩小该相对位置以捡取球体；如果所采集到的图像中没有球体存在，则在数字舵机的控制下调整摄像头的角度到45度位置采集图像，并根据图像处理的结果进行类似于摄像头在0度时的动作，然后在数字舵机的控制下调整摄像头的角度到90度位置采集图像并根据图像处理的结果进行上述类似动作。
步骤B：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下向右旋转15度，进入下一个位置，然后重复进行步骤A中的动作。
步骤C：重复步骤B的动作。完成步骤A、步骤B和步骤C后，捡球机器人（9）完成了在第一个位置上三个方向的扫描障碍物、球体和捡球的任务，接着将前进到下一个位置扫描障碍物、球体并捡取球体。
步骤D：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下前进2米，进入下一个位置，然后重复步骤A中的动作。
步骤E：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下向左旋转15度，然后重复步骤A中的动作。
步骤F：重复步骤E的动作。完整步骤D、步骤E和步骤F后，捡球机器人9完成了在第二个位置上三个方向的扫描障碍物、球体和捡球的任务，接着前进到下一个位置扫描障碍物、球体并捡取球体。
步骤G：捡球机器人9在第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13的控制下前进2米，进入下一个位置。至此，所述基于视觉识别和多传感器数据融合的捡球方法的算法流程结束一次完整的动作，在完成步骤G的相关动作后再次开始循环执行步骤A以及后续步骤。
所述摄像头8采用USB摄像头，其中，摄像头8由数字舵机控制可在0度、45度、90度三个角度自由摆动并采集图像。
所述近红外传感器阵列由第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4、第五红外传感器5、第六红外传感器6、第七红外传感器7组成，其中，第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4为固定位置的传感器，第五红外传感器5、第六红外传感器6、第七红外传感器7为能成角度转动的传感器。上述红外传感器均采用漫反射式光电开关。
第一红外传感器1、第二红外传感器2、第三红外传感器3、第四红外传感器4摆放的方向与捡球机器人9的底盘对角线所在方向一致；第五红外传感器5、第六红外传感器6、第七红外传感器7分别位于捡球机器人9的正前方、右方和左方，分别由三个数字舵机来控制。
所述捡球机器人9的运动由四个按设定的角度安装的第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13来控制。
捡球机器人9的运动轨迹为折线形路径。
捡球机器人9的第一数字舵机10、第二数字舵机11、第三数字舵机12、第四数字舵机13与捡球机器人9的对称轴的夹角为60度。
捡球机器人9的前进速度为0.5米/秒，旋转角速度为7.5度/秒，其中，捡球机器人9每次向左或向右旋转15度所用的时间约为2秒，捡球机器人9每次前进2米所用的时间约为4秒。
Claims (9)
1.基于视觉识别和多传感器数据融合的捡球方法，其步骤为：
步骤A：通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤B：捡球机器人（9）向右旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤C：重复步骤B；
步骤D：捡球机器人（9）前进2米，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤E：捡球机器人（9）向左旋转15度，进入下一个位置，通过红外传感器阵列获取周围环境信息，摄像头（8）在数字舵机的控制下分别在0度、45度、90度三个角度采集图像信息、处理采集到的图像，并根据图像处理的结果采取相应的动作；
步骤F：重复步骤E；
步骤G：捡球机器人（9）前进2米，进入下一个位置；至此，一次循环结束，重新开始循环执行步骤A以及后续步骤。
2.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述摄像头（8）采用USB摄像头，其中，摄像头（8）由数字舵机控制可在0度、45度、90度三个角度自由摆动并采集图像。
3.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述近红外传感器阵列由第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）、第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）组成，其中，第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）为固定位置的传感器，第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）为能成角度转动的传感器。
4.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述固定位置的第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）摆放的方向与捡球机器人（9）的底盘对角线所在方向一致；所述可成角度转动的第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）分别位于捡球机器人（9）的正前方、右方和左方，分别由三个数字舵机来控制。
5.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述捡球机器人（9）的运动由四个按设定的角度安装的第一数字舵机（10）、第二数字舵机（11）、第三数字舵机（12）、第四数字舵机（13）来控制。
6.根据权利要求1所述基于视觉识别和多传感器数据融合的捡球方法，其特征在于，所述捡球机器人（9）的运动轨迹为折线形路径。
7.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的第一红外传感器（1）、第二红外传感器（2）、第三红外传感器（3）、第四红外传感器（4）、第五红外传感器（5）、第六红外传感器（6）、第七红外传感器（7）采用漫反射式光电开关。
8.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的第一数字舵机（10）、第二数字舵机（11）、第三数字舵机（12）、第四数字舵机（13）与捡球机器人（9）的对称轴的夹角为60度。
9.根据权利要求1所述的基于视觉识别和多传感器数据融合的捡球方法，其特征在于捡球机器人（9）的前进速度为0.5米/秒，旋转角速度为7.5度/秒，其中，捡球机器人（9）每次向左或向右旋转15度所用的时间约为2秒，捡球机器人（9）每次前进2米所用的时间约为4秒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013102941429A CN103365292A (zh) | 2013-07-15 | 2013-07-15 | 基于视觉识别和多传感器数据融合的捡球方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013102941429A CN103365292A (zh) | 2013-07-15 | 2013-07-15 | 基于视觉识别和多传感器数据融合的捡球方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103365292A true CN103365292A (zh) | 2013-10-23 |
Family
ID=49366859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013102941429A Pending CN103365292A (zh) | 2013-07-15 | 2013-07-15 | 基于视觉识别和多传感器数据融合的捡球方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103365292A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104070527A (zh) * | 2014-07-15 | 2014-10-01 | 广州大学 | 球场捡球机器人 |
| CN108168431A (zh) * | 2017-12-29 | 2018-06-15 | 思博赛睿（北京）科技有限公司 | 一种基于视觉辨识的网球机器人定位系统及方法 |
| CN109782753A (zh) * | 2018-12-18 | 2019-05-21 | 江汉大学 | 一种收拣装置的控制方法 |
| CN109828568A (zh) * | 2019-02-15 | 2019-05-31 | 武汉理工大学 | 对RoboCup比赛的NAO机器人寻球步态优化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000078414A1 (de) * | 1999-06-17 | 2000-12-28 | Rudolf Linner | Anlage für wettkampfspiel mit eishockeyschläger und eishockeypuck |
| CN101537618A (zh) * | 2008-12-19 | 2009-09-23 | 北京理工大学 | 体育场捡球机器人视觉系统 |
| EP2343106A2 (en) * | 2010-01-12 | 2011-07-13 | Foxtenn Bgreen, S.L. | Method, system and apparatus for the automatic collection and delivery of spherical game elements |
| CN202446752U (zh) * | 2012-01-11 | 2012-09-26 | 张宇航 | 网球收球机器人 |
| CN102908763A (zh) * | 2012-10-19 | 2013-02-06 | 广东工业大学 | 一种自动捡球机器人 |
-
2013
- 2013-07-15 CN CN2013102941429A patent/CN103365292A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000078414A1 (de) * | 1999-06-17 | 2000-12-28 | Rudolf Linner | Anlage für wettkampfspiel mit eishockeyschläger und eishockeypuck |
| CN101537618A (zh) * | 2008-12-19 | 2009-09-23 | 北京理工大学 | 体育场捡球机器人视觉系统 |
| EP2343106A2 (en) * | 2010-01-12 | 2011-07-13 | Foxtenn Bgreen, S.L. | Method, system and apparatus for the automatic collection and delivery of spherical game elements |
| CN202446752U (zh) * | 2012-01-11 | 2012-09-26 | 张宇航 | 网球收球机器人 |
| CN102908763A (zh) * | 2012-10-19 | 2013-02-06 | 广东工业大学 | 一种自动捡球机器人 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104070527A (zh) * | 2014-07-15 | 2014-10-01 | 广州大学 | 球场捡球机器人 |
| CN108168431A (zh) * | 2017-12-29 | 2018-06-15 | 思博赛睿（北京）科技有限公司 | 一种基于视觉辨识的网球机器人定位系统及方法 |
| CN109782753A (zh) * | 2018-12-18 | 2019-05-21 | 江汉大学 | 一种收拣装置的控制方法 |
| CN109828568A (zh) * | 2019-02-15 | 2019-05-31 | 武汉理工大学 | 对RoboCup比赛的NAO机器人寻球步态优化方法 |
| CN109828568B (zh) * | 2019-02-15 | 2022-04-15 | 武汉理工大学 | 对RoboCup比赛的NAO机器人寻球步态优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
| CN100487724C (zh) | 一种快速目标识别与定位系统及方法 | |
| CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
| CN108499054B (zh) | 一种基于slam的车载机械臂捡球系统及其捡球方法 | |
| Hu et al. | Bio-inspired embedded vision system for autonomous micro-robots: The LGMD case | |
| CN103399637B (zh) | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 | |
| CN101419055B (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
| JP5895569B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| CN103345252A (zh) | 智能捡球机器人系统及其捡球方法 | |
| CN101574586B (zh) | 毽球机器人及控制方法 | |
| CN102426480A (zh) | 一种人机交互系统及其实时手势跟踪处理方法 | |
| CN103365292A (zh) | 基于视觉识别和多传感器数据融合的捡球方法 | |
| Momeni-k et al. | Height estimation from a single camera view | |
| CN105500370A (zh) | 一种基于体感技术的机器人离线示教编程系统及方法 | |
| CN108621164A (zh) | 基于深度相机的太极推手机器人 | |
| CN114310957A (zh) | 用于医疗检测的机器人系统及检测方法 | |
| CN109636856B (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN102034092A (zh) | 基于独立多自由度视觉模块的主动复合双目快速目标搜索与捕获系统 | |
| CN107097229A (zh) | 双目视觉远程操控捡球机器人系统的工作方式 | |
| CN107229279A (zh) | 双目视觉自动捡球机器人的工作方式 | |
| JP2016146188A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| Chen et al. | Path planning and obstacle avoidance for omni-directional mobile robot based on Kinect depth sensor | |
| CN112683266A (zh) | 机器人及其导航方法 | |
| CN113188455B (zh) | 一种基于机器人末端单目视觉的物体法向高度计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131023 |