CN105643590B - 一种手势控制的轮式移动机器人及其操作方法 - Google Patents

Abstract

本发明一种手势控制的轮式移动机器人及其操作方法，涉及机器人领域，包括移动运行部分和远程控制部分；其中，移动运行部分包括一个三层的铝合金型材架构、Kinect摄像头、嵌入式无风扇工控机、无刷直流电机控制器、锂电池、两个驱动轮和一个万向轮，远程控制部分由一个连接了Leap Motion体感控制器的笔记本电脑组成，其操作方法是利用Leap Motion体感控制器进行手势识别并以特定的手势进行远程控制。本发明克服了现有的轮式移动机器人技术中不能通过识别远程控制者的手势向机器人发出运动指令，远程控制者与机器人之间的人机交互手段生硬而不自然的缺陷。

Description

一种手势控制的轮式移动机器人及其操作方法

技术领域

本发明的技术方案涉及机器人，具体地说是一种手势控制的轮式移动机器人及其操作方法。

背景技术

目前，公知的轮式移动机器人大多由机械部分、传感部分和远程控制部分三部分组成。通过控制部分向轮式移动机器人发出控制指令，轮式移动机器人的机械部分根据指令移动，同时移动机器人的传感部分探测和感知周围环境的信息并展示给移动机器人的操作者。但是，一般的轮式机器人远程控制系统大多需要操纵者手动控制操纵手柄或者利用远程控制控制界面屏幕上的按钮来控制轮式移动机器人的运动，不能够识别人的手势，无法通过读取特定手势信息从而控制轮式移动机器人的运动，人机交互手段不够自然友好。现有技术中：CN104175308A公开了一种“自主服务机器人”，利用WIFI模块，使机器人本体和PC机建立连接，利用WIFI视频进行视频传输，PC机向机器人发送运动控制指令。但是其远程控制的手段依然是上述的传统方法，不能通过识别远程控制者的手势向机器人发出运动指令，远程控制者与机器人之间的人机交互手段生硬而不自然；CN204731580U展示了“一种非触摸式手势控制机器人”，采用 4x4排列的红外矩阵来识别人的手势动作，控制机器人做出相应的动作，其使用的红外矩阵采集手势信息的精度有限，并且其所述的机器人并非轮式机器人，也没有提出用于轮式移动机器人的手势控制方案。

发明内容

本发明所要解决的技术问题是：提供一种手势控制的轮式移动机器人及其操作方法，是一种利用Leap Motion体感控制器进行手势识别并以特定的手势进行远程控制的轮式移动机器人，克服了现有的轮式移动机器人技术中不能通过识别远程控制者的手势向机器人发出运动指令，远程控制者与机器人之间的人机交互手段生硬而不自然的缺陷。

本发明解决该技术问题所采用的技术方案是：一种手势控制的轮式移动机器人，包括移动运行部分和远程控制部分；其中，移动运行部分包括一个三层的铝合金型材架构、Kinect摄像头、嵌入式无风扇工控机、无刷直流电机控制器、锂电池、两个驱动轮和一个万向轮；无刷直流电机控制器和锂电池被置于三层的铝合金型材架构的底层，两个驱动轮分别安置在三层的铝合金型材架构的底层底盘左右两侧，万向轮安置在三层的铝合金型材架构的底层底盘后方，三个轮子安装在同一水平面并位于同一圆周上，嵌入式无风扇工控机固定在铝合金型材架构的中间一层，Kinect摄像头固定在三层的铝合金型材架构的最顶层；Kinect摄像头通过USB接口与嵌入式无风扇工控机相连，嵌入式无风扇工控机与无刷直流电机控制器用线路相连，无刷直流电机控制器用线路连接两个驱动轮对应的右和左两个无刷直流轮毂电机；远程控制部分由一个连接了Leap Motion体感控制器的笔记本电脑组成，Leap Motion体感控制器放置于笔记本电脑的正前方；移动运行部分中的嵌入式无风扇工控机通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分中的笔记本电脑实现WIFI数据通信。

上述一种手势控制的轮式移动机器人，所述的Kinect摄像头能够同时采集彩色图像和深度图像。

上述一种手势控制的轮式移动机器人，所述的嵌入式无风扇工控机采用windows操作系统，将Kinect摄像头采集到的彩色图像和深度图像进行JPEG压缩之后传递给远程控制部分中的笔记本电脑，又通过USB接口连接一个USB转CAN总线模块，该USB转CAN总线模块通过CAN总线连接无刷直流电机控制器，USB转CAN总线模块向无刷直流电机控制器上的一个固定的CAN总线地址发送一个8字节16进制数的电机控制指令，分别控制两个驱动轮对应的右和左两个无刷直流轮毂电机的转速和转动方向，具体的说是前四个字节的数值大小控制右无刷直流轮毂电机的运动，后四个字节的数值大小控制左无刷直流轮毂电机的运动。

上述一种手势控制的轮式移动机器人，所述的两个驱动轮均是独立的采用带有霍尔效应传感器的无刷直流轮毂电机驱动的驱动轮。

上述一种手势控制的轮式移动机器人，所述的锂电池的电压为12V。

上述一种手势控制的轮式移动机器人，所述的Leap Motion体感控制器，其上方设置有一个倒圆台形的工作区域，并对工作区域内平行于水平面的圆形横截面划分为：上弧形指令区域、右弧形指令区域、下弧形指令区域、左弧形指令区域和中心小圆形指令区域。

上述一种手势控制的轮式移动机器人，所涉及的零部件均通过公知途径获得，其安装和连接方法是本技术领域的技术人员能够掌握的。

上述一种手势控制的轮式移动机器人的操作方法，步骤如下：

第一步，进入远程手势控制模式：

将上述一种手势控制的轮式移动机器人的移动运行部分中的嵌入式无风扇工控机通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分中的笔记本电脑实现WIFI数据通信，将该笔记本电脑也连接到无线路由器，该笔记本电脑运行机器人控制程序，建立与移动运行部分之间的socket套接字连接，利用WIFI建立数据通信传输通道，远程控制部分中的Leap Motion体感控制器放置于笔记本电脑的正前方，机器人远程控制者需要将其手掌放到上述Leap Motion体感控制器的倒圆台形的工作区域，由此进入远程手势控制模式；

第二步，对移动运行部分进行远程控制：

（2.1）当进入远程手势控制模式时，远程控制部分首先判断Leap Motion体感控制器是否检测到机器人远程控制者的手，当检测不到机器人远程控制者的手时，则向移动运行部分发出停止指令；当检测到机器人远程控制者的手时，则继续进行下述判断；

（2.2）远程控制部分从Leap Motion体感控制器的Hand属性中读取检测到的机器人远程控制者的手的个数，当手的个数大于一个时，则向移动运行部分发出停止指令，当手的个数等于一个，则继续进行下述判断；

（2.3）远程控制部分判断上述（2.2）步的一个手的手掌是否处于握拳状态，当该手掌不处于握拳状态时，则向移动运行部分发出停止运动的指令；当该手掌处于握拳状态时，则继续进行下述判断；

（2.4）远程控制部分判断上述（2.3）步的握拳状态的手掌中心的位置：当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的上弧形指令区域时，远程控制部分向移动运行部分发出前进指令，当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的右弧形指令区域时，远程控制部分将向移动运行部分发出右转指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的下弧形指令区域时，远程控制部分将向移动运行部分发出后退指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的左弧形指令区域时，远程控制部分将向移动运行部分发出左转指令，当机器人远程控制者握拳状态的手掌中心的位置位于LeapMotion体感控制器的工作区域内平行于水平面的圆形横截面的中心小圆形指令区域时，远程控制部分将向移动运行部分发送停止指令；

（2.5）返回（2.1）循环对移动运行部分进行远程控制。

上述一种手势控制的轮式移动机器人的操作方法是本发明技术领域的技术人员能够掌握的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

（1）本发明设计了一种手势控制的轮式移动机器人，利用Leap Motion体感控制器进行手势识别并以特定的手势进行远程控制，该轮式移动机器人的远程控制部分通过LeapMotion体感控制器捕捉人类特定的手势信息，同时结合采集到的手势信息与控制规则，向远处轮式移动机器人发出相应的运动控制指令，从而实现非接触式的手势操作对轮式移动机器人运动的远程控制。

（2）本发明设计了一种手势控制的轮式移动机器人，通过检测手势信息，方便地控制轮式移动机器人的启动、停止和运动方向，利用WIFI实现轮式移动机器人与控制人员之间的信息传递，有利于轮式移动机器人在家庭和一些复杂工作环境中的应用，克服了现有的轮式移动机器人技术中不能通过识别远程控制者的手势向机器人发出运动指令，远程控制者与机器人之间的人机交互手段生硬而不自然的缺陷。

（3）本发明设计了一种手势控制的轮式移动机器人，其结构简单，具有很好的控制效果。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明一种手势控制的轮式移动机器人总体构成示意图。

图2是本发明中的Leap Motion体感控制器的工作区域及其圆形横截面划分示意图。

图中，1.移动运行部分，1-1.三层的铝合金型材架构，1-2.Kinect摄像头，1-3.嵌入式无风扇工控机，1-4-1.无刷直流电机控制器，1-4-2.锂电池，1-4-3.两个驱动轮，1-4-4.一个万向轮，2.远程控制部分，2-1.笔记本电脑，2-2.Leap Motion体感控制器，A.工作区域，B.工作区域平行于水平面的圆形横截面，B-1.上弧形指令区域，B-2.右弧形指令区域，B-3.下弧形指令区域，B-4.左弧形指令区域，B-5.中心小圆形指令区域。

具体实施方式

图1所示实施例表明，本发明一种手势控制的轮式移动机器人总体构成包括移动运行部分1和远程控制部分2两部分；其中，移动运行部分1包括三层的铝合金型材架构1-1、Kinect摄像头1-2、嵌入式无风扇工控机1-3、1-4-1.无刷直流电机控制器，1-4-2.锂电池，1-4-3.两个驱动轮和1-4-4.一个万向轮；远程控制部分2由一个连接了Leap Motion体感控制器2-2的笔记本电脑2-1组成，Leap Motion体感控制器2-2放置于笔记本电脑2-1的正前方。移动运行部分1和远程控制部分2之间用WIFI实现数据通信。

图2所示实施例显示了本发明中的Leap Motion体感控制器2-2的Leap Motion体感控制器的倒圆台形工作区域A，工作区域平行于水平面的圆形横截面B被划分为：上弧形指令区域B-1、右弧形指令区域B-2、下弧形指令区域B-3、左弧形指令区域B-4和中心小圆形指令区域B-5。

实施例1

本实施例的一种手势控制的轮式移动机器人，包括移动运行部分1和远程控制部分2两部分；其中，移动运行部分1包括一个三层的铝合金型材架构1-1、Kinect摄像头1-2、嵌入式无风扇工控机1-3、无刷直流电机控制器1-4-1，锂电池1-4-2，两个驱动轮1-4-3和一个万向轮1-4-4；无刷直流电机控制器1-4-1和锂电池1-4-2被置于三层的铝合金型材架构1-1的底层，两个驱动轮1-4-4分别安置在三层的铝合金型材架构1-1的底层底盘左右两侧，一个万向轮1-4-4安置在三层的铝合金型材架构1-1的底层底盘后方，三个轮子安装在同一水平面并位于同一圆周上，嵌入式无风扇工控机1-3固定在三层的铝合金型材架构1-1的中间一层，Kinect摄像头1-2固定在三层的铝合金型材架构1-1的最顶层；Kinect摄像头1-2通过USB接口与嵌入式无风扇工控机1-3相连，嵌入式无风扇工控机1-3与无刷直流电机控制器1-4-1用线路相连，无刷直流电机控制器1-4-1用线路连接两个驱动轮1-4-3对应的右和左两个无刷直流轮毂电机，锂电池1-4-2分别连接Kinect体感摄像头1-2、嵌入式无风扇工控机1-3、无刷直流电机控制器1-4-1和无刷直流轮毂电机，为这些设备供电；远程控制部分2由一个连接了Leap Motion体感控制器2-2的笔记本电脑2-1组成，Leap Motion体感控制器2-2放置于笔记本电脑2-1的正前方；移动运行部分1中的嵌入式无风扇工控机1-3通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分2中的笔记本电脑实现WIFI数据通信。

所述的Kinect摄像头1-2同时采集彩色图像和深度图像；所述的嵌入式无风扇工控机1-3采用windows操作系统，将Kinect摄像头1-2采集到的彩色图像和深度图像进行JPEG压缩之后传递给远程控制部分2中的笔记本电脑2-1，又通过USB接口连接一个USB转CAN总线模块，该USB转CAN总线模块通过CAN总线连接无刷直流电机控制器1-4-1，USB转CAN总线模块向无刷直流电机控制器1-4-1上的一个固定的CAN总线地址发送一个8字节16进制数的电机控制指令，分别控制两个驱动轮1-4-3对应的对应的右和左两个无刷直流轮毂电机的转速和转动方向，具体的说是前四个字节的数值大小控制右无刷直流轮毂电机的运动，后四个字节的数值大小控制左无刷直流轮毂电机的运动；所述的两个驱动轮均1-4-3是独立的采用带有霍尔效应传感器的无刷直流轮毂电机驱动的驱动轮；所述的锂电池1-4-2的电压为12V；所述的Leap Motion体感控制器2-2，其上方设置有一个倒圆台形的工作区域A，并对工作区域内平行于水平面的圆形横截面B划分为：上弧形指令区域B-1、右弧形指令区域B-2、下弧形指令区域B-3、左弧形指令区域B-4和中心小圆形指令区域B-5。

实施例2

实施例1所述的一种手势控制的轮式移动机器人的操作方法，步骤如下：

第一步，进入远程手势控制模式：

将上述一种手势控制的轮式移动机器人的移动运行部分1中的嵌入式无风扇工控1-3机通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分2中的笔记本电脑2-1实现WIFI数据通信，将该笔记本电脑2-1也连接到无线路由器，该笔记本电脑2-1运行机器人控制程序，建立与移动运行部分1之间的socket套接字连接，利用WIFI建立数据通信传输通道，远程控制部分2中的Leap Motion体感控制器2-2放置于笔记本电脑2-1的正前方，机器人远程控制者需要将其手掌放到Leap Motion体感控制器2-2的倒圆台形工作区域A，由此进入远程手势控制模式；

第二步，对移动运行部分进行远程控制：

（2.1）当进入远程手势控制模式时，远程控制部分2首先判断Leap Motion体感控制器2-2是否检测到机器人远程控制者的手，当检测不到机器人远程控制者的手时，则向移动运行部分1发出停止指令；当检测到机器人远程控制者的手时，则继续进行下述判断；

（2.2）远程控制部分2从Leap Motion体感控制器2-2的Hand属性中读取检测到的机器人远程控制者的手的个数，当手的个数大于一个时，则向移动运行部分1发出停止指令，当手的个数等于一个，则继续进行下述判断；

（2.3）远程控制部分2判断上述（2.2）步的一个手的手掌是否处于握拳状态，当该手掌不处于握拳状态时，则向移动运行部分发出停止运动的指令；当该手掌处于握拳状态时，则继续进行下述判断；

（2.4）远程控制部分2判断上述（2.3）步的握拳状态的手掌中心的位置：当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器2-2的工作区域A内平行于水平面的圆形横截面B的上弧形指令区域B-1时，远程控制部分2向移动运行部分发出前进指令，当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器2-2的工作区域A内平行于水平面的圆形横截面B的右弧形指令区域B-2时，远程控制部分2将向移动运行部分1发出右转指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器2-2的工作区域A内平行于水平面的圆形横截面B的下弧形指令区域B-3时，远程控制部分2将向移动运行部分1发出后退指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器2-2的工作区域A内平行于水平面的圆形横截面B的左弧形指令区域B-4时，远程控制部分2将向移动运行部分1发出左转指令，当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器2-2的工作区域A内平行于水平面的圆形横截面B的中心小圆形指令区域B-5时，2将向移动运行部分1发送停止指令；

（2.5）返回（2.1）循环对移动运行部分1进行远程控制。

上述实施例中所涉及的零部件均通过公知途径获得，其安装、连接方法和操作方法是本技术领域的技术人员能够掌握的。

Claims (1)

1.一种手势控制的轮式移动机器人的操作方法，其特征在于步骤如下：

A.手势控制的轮式移动机器人的构成：

所用的手势控制的轮式移动机器人的构成包括移动运行部分和远程控制部分；其中，移动运行部分包括一个三层的铝合金型材架构、Kinect摄像头、嵌入式无风扇工控机、无刷直流电机控制器、锂电池、两个驱动轮和一个万向轮；无刷直流电机控制器和锂电池被置于三层的铝合金型材架构的底层，两个驱动轮分别安置在三层的铝合金型材架构的底层底盘左右两侧，万向轮安置在三层的铝合金型材架构的底层底盘后方，三个轮子安装在同一水平面并位于同一圆周上，嵌入式无风扇工控机固定在铝合金型材架构的中间一层，Kinect摄像头固定在三层的铝合金型材架构的最顶层；Kinect摄像头通过USB接口与嵌入式无风扇工控机相连，嵌入式无风扇工控机与无刷直流电机控制器用线路相连，无刷直流电机控制器用线路连接两个驱动轮对应的两个无刷直流轮毂电机；远程控制部分由一个连接了Leap Motion体感控制器的笔记本电脑组成，Leap Motion体感控制器放置于笔记本电脑的正前方；移动运行部分中的嵌入式无风扇工控机通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分中的笔记本电脑实现WIFI数据通信；上述的嵌入式无风扇工控机采用windows操作系统，将Kinect摄像头采集到的彩色图像和深度图像进行JPEG压缩之后传递给远程控制部分中的笔记本电脑，又通过USB接口连接一个USB转CAN总线模块，该USB转CAN总线模块通过CAN总线连接无刷直流电机控制器，USB转CAN总线模块向无刷直流电机控制器上的一个固定的CAN总线地址发送一个8字节16进制数的电机控制指令，分别控制两个驱动轮对应的右和左两个无刷直流轮毂电机的转速和转动方向，具体的说是前四个字节的数值大小控制右无刷直流轮毂电机的运动，后四个字节的数值大小控制左无刷直流轮毂电机的运动；上述的Leap Motion体感控制器，其上方设置有一个倒圆台形的工作区域，并对工作区域内平行于水平面的圆形横截面划分为：上弧形指令区域、右弧形指令区域、下弧形指令区域、左弧形指令区域和中心小圆形指令区域；

B.手势控制的轮式移动机器人的操作方法：

第一步，进入远程手势控制模式：

将上述A.手势控制的轮式移动机器人的移动运行部分中的嵌入式无风扇工控机通过无线网卡连接到无线路由器，并将其设置为虚拟服务器通过建立socket套接字与远程控制部分中的笔记本电脑实现WIFI数据通信，将该笔记本电脑也连接到无线路由器，该笔记本电脑运行机器人控制程序，建立与移动运行部分之间的socket套接字连接，利用WIFI建立数据通信传输通道，远程控制部分中的Leap Motion体感控制器放置于笔记本电脑的正前方，机器人远程控制者需要将其手掌放到上述Leap Motion体感控制器的倒圆台形的工作区域，由此进入远程手势控制模式；

第二步，对移动运行部分进行远程控制：

（2.1）当进入远程手势控制模式时，远程控制部分首先判断Leap Motion体感控制器是否检测到机器人远程控制者的手，当检测不到机器人远程控制者的手时，则向移动运行部分发出停止指令；当检测到机器人远程控制者的手时，则继续进行下述判断；

（2.2）远程控制部分从Leap Motion体感控制器的Hand属性中读取检测到的机器人远程控制者的手的个数，当手的个数大于一个时，则向移动运行部分发出停止指令，当手的个数等于一个，则继续进行下述判断；

（2.3）远程控制部分判断上述（2.2）步的一个手的手掌是否处于握拳状态，当该手掌不处于握拳状态时，则向移动运行部分发出停止运动的指令；当该手掌处于握拳状态时，则继续进行下述判断；

（2.4）远程控制部分判断上述（2.3）步的握拳状态的手掌中心的位置：当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的上弧形指令区域时，远程控制部分向移动运行部分发出前进指令，当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的右弧形指令区域时，远程控制部分将向移动运行部分发出右转指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的下弧形指令区域时，远程控制部分将向移动运行部分发出后退指令；当机器人远程控制者握拳状态的手掌中心的位置位于Leap Motion体感控制器的工作区域内平行于水平面的圆形横截面的左弧形指令区域时，远程控制部分将向移动运行部分发出左转指令，当机器人远程控制者握拳状态的手掌中心的位置位于LeapMotion体感控制器的工作区域内平行于水平面的圆形横截面的中心小圆形指令区域时，远程控制部分将向移动运行部分发送停止指令；

（2.5）返回（2.1）循环对移动运行部分进行远程控制。