CN102096471B - 一种基于机器视觉的人机交互方法 - Google Patents

Abstract

本发明涉及机器视觉相关技术领域，特别是一种基于机器视觉的人机交互方法，所述方法包括：通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应机器指令的手势识别步骤。本发明给出了完整的系统解决方案，可实时与机器进行交互，克服了目前触摸技术的应用限制，并使得人机交互更加自然。

Description

一种基于机器视觉的人机交互方法

技术领域

本发明涉及机器视觉相关技术领域，特别是一种基于机器视觉的人机交互方法。

背景技术

随着人机交互技术的发展，多点触摸技术已成为应用热点。APPLE公司已将多点触摸技术引入至其新推出的IPAD中，大尺寸的电子白板也已实现对多点触摸技术的支持。随着后鼠标时代步入人们日常生活，交互的自然性问题显得尤为重要，交互技术也逐渐经历着由可交互时代向符合人体工程学的更自然交互时代发展。

APPLE公司对人体工程学的研究表明，人机交互不宜在竖直的屏幕上进行。从实际的操作总结中，也有相类似的结论，其原因主要有二：一是长时间地将胳膊抬起操作，有明显的疲劳感；二是手指与屏幕长时间接触，会明显感觉到摩擦力增大，引起不舒适感。基于这些方面的考虑，有必要研究一种符合人体工程学的更加自然的交互方式。

此外，目前的多点触摸技术存在如下应用限制：即操作者必须站在交互设备前面，且与交互设备有明显的物体接触，才能正常地进行交互。

发明内容

本发明提供一种基于机器视觉的人机交互方法，以克服目前多点触摸技术存在的应用限制和开发更加符合人体工程学要求的更自然的人机交互方式。

本发明采用如下技术方案实现：

一种基于机器视觉的人机交互方法，所述方法包括：

通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；

从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；

在已经过图像去噪步骤进行去噪处理的图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；

分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应的机器指令的手势识别步骤。

作为一种优选方案，所述图像为彩色图像。

作为一种优选方案，所述图像去噪的具体步骤如下：

对图像中的所有点的红色分量值、绿色分量值和蓝色分量值执行如下步骤：

对每个点P的坐标为                                                

，该点的像素值表示为，其分别表示点P的红色分量值、绿色分量值和蓝色分量值，则对P点的滤波表示为：

，

式中

分别表示P点红色分量、绿色分量和蓝色分量滤波后的值，N为预先设定的大于1的自然数。

作为一种优选方案于，特征物体提取步骤的具体步骤如下：

对去噪后的图像建立基于各像素的色度和饱和度的背景模型的背景模型建立步骤；

在得到背景模型后，检测图像中的特征物体的特征物体检测步骤；

对经过特征物体检测步骤检测到的特征物体进行标记的特征物体标记步骤。

作为进一步的优选方案：

所述背景模型建立步骤的具体步骤如下：

    首先将去噪后的图像从RGB空间转换至HSV空间；

累计计算当前帧图像前M帧图像中各像素点的色调与饱和度分量之和，并分别求每个像素点的色调均值

与饱和度均值

，其中M为大于1的自然数；

累计计算当前帧图像前M帧差分图像中各像素点的色调与饱和度分量之和，并分别求其差分图像的色调均值

与差分图像的饱和度均值

；

所述差分图像即前后两帧图像对应像素点的差值。 

对每一个像素点建立以各自

和

为中心，上下波动范围分别为a倍

和b倍

的统计模型，则：

各像素点的背景模型色调取值范围为：

；

各像素点的背景模型饱和度取值范围为：

；

其中a为大于1的自然数，b为大于1的自然数；

所述特征物体检测步骤的具体步骤为：

将当前帧图像从RGB空间转换至HSV空间，并计算各像素点的色调与饱和度分量；

对当前帧图像中每一像素点判断：

其色调分量是否在对应像素点的背景模型色调取值范围内；

其饱和度分量是否在对应像素点的背景模型饱和度取值范围内；

如若该像素点的色调分量不在对应像素点的背景模型色调取值范围内且饱和度分量不在对应像素点的背景模型饱和度取值范围内，则将该像素判为特征物体，否则判为背景像素；

所述特征物体标记步骤的具体步骤如下：

把色调分为至少一个的色调区间，并为每个色调区间设定唯一对应的色调标记，对判断为特征物体的各像素点色调进行判断，根据各像素点的色调所落入的色调区间分配与该色调区间对应的色调标记，对判断为背景区域的像素点标记为背景标记。

作为更进一步的优选方案：

所述特征物体标记步骤中，把当前帧图像的各个像素点色调进行归一化处理为[0,180]范围内，把色调平均分为3个色调区间，即第一色调区间，范围为[0,60]，第二色调区间，范围为[60,120]，第三色调区间，范围为[120,180]。

作为更进一步的优选方案，所述手势识别步骤包括：

轨迹初始化步骤，具体包括： 

计算具有相同色调标记的各个像素点形成的特征物体在连续K帧图像中的重心坐标，若K帧中特征物体的重心坐标之间的距离小于给定的起始阈值，则记录当前帧图像的特征物体的重心坐标，作为特征物体运动的起始坐标；

轨迹跟踪步骤，具体包括：

如果相邻帧中具有相同色调标记的特征物体的重心坐标之间的距离小于给定的关联阈值，则对相邻帧中具有相同色调标记的特征物体的重心坐标进行关联；

轨迹识别步骤，具体包括：

根据分析当前帧图像中特征物体的位置与初始化得到的特征物体位置之间的关系执行相应操作；

轨迹结束步骤，具体包括：

如果当前帧图像满足轨迹结束条件，则判断为轨迹结束。

作为再进一步的优选方案，所述轨迹结束条件为满足：

当前帧中特征物体标记数与上一帧中特征物体标记数不一致；或者

当前帧中有任一特征物体与上一帧中具有相同色调标记的特征物体之间的重心距离大于给定关联阈值；或者

当前帧中无特征物体。

所述标记数就是指在所考察的帧中具有不同色调标记的特征物体个数。

本发明的有益效果：

目前，多点触摸技术已日趋普遍，但交互的自然性仍有待进一步改善。基于人体工程学的研究表明，不宜在竖直屏幕上进行触摸交互，其原因主要有二：一是长时间地将胳膊抬起操作，有明显的疲劳感；二是手指与屏幕长时间接触，会明显感觉到摩擦力增大，引起不舒适感。此外，目前多点触摸技术存在如下应用限制：即操作者必须站在交互设备前面，且与交互设备有明显的物体接触，才能正常地进行交互。为克服该应用限制并开发更加符合人体工程学要求的更自然的人机交互系统，本发明公开了一种基于机器视觉的非接触式手势识别方法与系统，该系统通过图像采集设备采集图像数据，采用区域平均滤波去除因环境光所引入的随机噪声，建立了静态背景下的背景模型，从而可简便精确地提取出图像序列中的特征物体，为使后续特征物体跟踪更加稳定，引入了特征物体标记法，进而给出了操作开始的初始化方法和轨迹跟踪限制条件，基于所得轨迹执行相应的识别程序，最后给出了操作结束的三种判别方法。本发明给出了完整的系统解决方案，可实时与机器进行交互，克服了目前触摸技术的应用限制，并使得人机交互更加自然。

附图说明

  图1为系统执行系统流程图； 

  图2为系统硬件装置示意图；

  图3为图像去噪滤波掩模；

  图4为实施例执行流程。

具体实施方式

下面对本发明的实施例加以详细说明，应指出的是，所描述的实施例旨在便于对本发明的理解，对本发明不起限定作用。

如图1所示，本发明的技术方案如下：

步骤1：图像获取：通过图像采集装置不断采集图像数据以更新数据缓存，所获取的图像为彩色图像，用于判断用户操作手势；

步骤2：图像去噪：从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声；

为消除环境光对采集图像的影响，本发明采用区域平均法对原始图像进行滤波，消除不同光照模型下噪声对特征物体提取的影响。采用图3所示的掩膜对整幅图像进行滤波，设图像中某点P的坐标为

，该点的像素值表示为

，其分别表示点P的红色分量值、绿色分量值和蓝色分量值，则对P点的滤波表示如下：

式中

分别表示P点红色分量、绿色分量和蓝色分量滤波后的值。经滤波后的图像能明显降低光照模型所引入的随机噪声。

步骤3：特征物体提取：在已去噪的图像中检测特征物体，并将其以明显标记标识出来，该步骤分以下步骤完成：

步骤3.1：建立背景模型；

为使特征物体能够被正确提取出来，本发明首先建立背景模型，背景模型建立步骤如下：

Step1: 将去噪后的图像从RGB空间转换至HSV空间；

Step2: 累计前计算100帧图像中各像素点的H（色调）与S（饱和度）分量之和，并分别求每个像素点的均值

与

；

Step3: 累计计算前100帧差分图像中各像素点的H与S分量之和，并分别求其均值

与

；

Step4：对每一个像素点建立以各自

和为中心，上下波动范围分别为５倍和４倍

的统计模型，则背景模型中各像素点H与S的取值范围分别为：

，

；

步骤3.2：特征物体检测；

在得到背景模型后，需要检测图像中运动的特征物体，由于本发明的背景模型是基于各像素的色度（H）和饱和度（S）的，所以本发明需要在包含前景物的图像中，检测各像素点的色度与饱和度范围，计算其值是否在背景模型中相应像素点所给定的范围中。该操作分以下两步实现：

Step1: 将当前图像从RGB空间转换至HSV空间，并计算各像素点的H与S值；

Step2: 对当前图像中每一像素点判断其H与S值是否在背景模型中对应像素点的取值范围内，如若该像素点的H和S取值都不在给定范围之内，则将该像素判为特征物体；否则判为背景像素。

步骤3.3：特征物体标记；

为使后续轨迹跟踪更加准确，本发明对待检测的图像执行如下操作：

1、提取出的特征物体进行标记，标记方法如下：

对特征物体各像素点色调进行判断，若色调H的取值范围为[0,60)则将像素点标记为“1”；[60,120)则标记为“2”；[120,180)则标记为“3”。在色调比较之前，已将色调取值范围归一化至区间[0,180)；用数学公式描述如下：

2、对判断为背景区域的像素点标记为“0”。

步骤4：手势识别：分析特征物体运动轨迹，根据轨迹分析结果执行相应的机器指令；该步骤分以下四步完成：

步骤4.1：轨迹初始化；

计算连续三帧中具有非“0”且标记相同的特征物体重心坐标，若三帧中特征物体重心坐标之间的距离小于给定的阈值，则记录该点位置，作为特征物体运动的起始位置。

步骤4.2：轨迹跟踪；

因为仅需分析运动的轨迹，所以本发明首先对具有非“0”且标记相同的像素点计算其重心坐标，并以重心坐标表示相应的特征物体。

其次，各特征物体可能呈现出不同的色调，所以有可能出现多种标记，为使各种标记在相邻帧之间能够正确关联，需满足以下两个条件：

条件1：仅关联相邻帧中具有相同标记的重心点；

条件2：相邻帧中具有相同标记的重心点之间的距离需小于给定阈值；

步骤4.3：轨迹识别；

根据分析当前帧中特征物体的位置与初始化得到的特征物体位置之间的关系执行相应操作，相应操作已通过数学表达式定义好，所以在操作中仅需将得到的位置坐标代入各数学式中进行计算，得到相应的结果即可。

步骤4.4：轨迹结束。

本发明中定义了三种轨迹结束判断方法，分别是：

1、         当前帧中特征物体标记数与上一帧中特征物体标记数不一致；

2、         当前帧中有任一特征物体与上一帧中具有相同标记的特征物体之间的距离大于给定阈值；

3、         当前帧中无特征物体。

所述标记数就是指在所考察的帧中具有不同色调标记的特征物体个数。譬如前一帧中具有标记的特征物体有4个，当前帧中具有标记的特征物体只有2个，那么显然有两条轨迹应该是结束了。

具体实施例如图2所示，本实施例需要的硬件为图像采集设备和计算机。图像采集设备通过USB接口与计算机通信，采集帧率为30fps，分辨率为640×480pixels,计算机通过USB接口不停地获取图像采集设备中的视频序列，进而对每一帧图像执行相应的处理。

为使本实施例清晰易懂，本发明采用的特征物体为两支不同颜色的笔，计算机通过分析采集设备所采集到的图像序列，判断特征物体的运动轨迹，进而执行相应的应用程序，其具体实现方式如下：

系统初始化：

步骤1：对所获取的每一帧图像采用区域平均法进行滤波，去除随机噪声；

本实施例中图像采集设备帧率为30fps，图像分辨率为640×480。

步骤2：初始化系统，利用前100帧不包含特征物体的图像建立背景模型；

系统初始化的主要目的是建立背景模型，以便可以更加准确地提取出特征物体，所以在建立背景模型时，视频帧中不应包含特征物体。本实施例中采用前100帧来建立静态背景模型。当然可根据现场环境问题，自行确定建立背景模型所需要的帧数，但为了保证背景模型的可靠性，不应低于100帧。

程序执行：

步骤3：获取新一帧图像，并对当前帧图像采用区域平均法进行滤波，去除随机噪声；

步骤4：检测当前帧中是否包含特征物体，如若检测出特征物体，则进行标记，并执行步骤5，否则循环执行步骤4，直至检测出当前视频帧中包含特征物体；

本实施例中特征物体为两不同颜色的笔，为使提取的特征物体中不包含因人手运动或其他物体运动而引入的伪特征物体，本实施例中加入了针对两支不同颜色笔的色调波动范围限制，以至通过本发明中的方法可将不同颜色的笔分别标记为“1”和“2”，其他区域均标记为背景区域“0”；

步骤5：初始化手势动作，若初始化成功，执行步骤6，否则执行步骤3；

本实施例具体的初始化操作为连续计算两相邻帧之间具有相同标记特征物体的重心坐标，若两重心坐标欧式距离小于阈值50，则初始化完成，否则需从新初始化。

步骤6：分析手势运动所采集到的轨迹，实时执行相应程序；

本实施例中定义了三种简单的手势，通过分析当前帧中特征物体的位置与手势初始化时特征物体的位置关系，来执行相应的应用程序，本实施例中的应用程序设计为对一副图像进行操作，本实施例中三种简单的手势定义为：图像缩放、图像旋转和图像平移。其中图像缩放与旋转需要两个特征物体，图像平移仅需一个特征物体即可。

步骤7：判断手势动作是否结束，若结束则执行步骤3，否则执行步骤6；

本实施例中手势结束的判断采用本发明中的三种方法，针对发明中轨迹结束判断的第二点，本实施例中最大距离设置为200。若前后相邻两帧中任一具有相同标记的特征物体之间欧式距离大于200，则轨迹结束。

本实施例通过系统测试，取得了良好的实时效果。需再次声明的是本实施例仅是对本发明的一个说明，对本发明的内容无任何限制。

Claims (4)

1.一种基于机器视觉的人机交互方法，其特征在于，所述方法包括：

通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；

从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；

在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；

分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应的机器指令的手势识别步骤；

特征物体提取步骤的具体步骤如下：

对去噪后的图像建立基于各像素的色度和饱和度的背景模型的背景模型建立步骤；

在得到背景模型后，检测图像中的特征物体的特征物体检测步骤；

对经过特征物体检测步骤检测到的特征物体进行标记的特征物体标记步骤 ；

所述图像去噪的具体步骤如下：

对图像中的所有点的红色分量值、绿色分量值和蓝色分量值执行如下步骤：

对每个点P的坐标为 

，该点的像素值表示为

，其分别表示点P的红色分量值、绿色分量值和蓝色分量值，则对P点的滤波表示为：

，

式中

分别表示P点红色分量、绿色分量和蓝色分量滤波后的值，N为预先设定的大于1的自然数；

所述背景模型建立步骤的具体步骤如下：

    首先将去噪后的图像从RGB空间转换至HSV空间；

累计计算当前帧图像前M帧图像中各像素点的色调与饱和度分量之和，并分别求每个像素点的色调均值

与饱和度均值

，其中M为大于1的自然数；

累计计算当前帧图像前M帧差分图像中各像素点的色调与饱和度分量之和，并分别求其差分图像的色调均值

与差分图像的饱和度均值

； 

对每一个像素点建立以各自

和

为中心，上下波动范围分别为a倍和b倍

的统计模型，则：

各像素点的背景模型色调取值范围为：

；

各像素点的背景模型饱和度取值范围为：；

其中a为大于1的自然数，b为大于1的自然数；

所述特征物体检测步骤的具体步骤为：

将当前帧图像从RGB空间转换至HSV空间，并计算各像素点的色调与饱和度分量；

对当前帧图像中每一像素点判断：

其色调分量是否在对应像素点的背景模型色调取值范围内；

其饱和度分量是否在对应像素点的背景模型饱和度取值范围内；

如若该像素点的色调分量不在对应像素点的背景模型色调取值范围内且饱和度分量不在对应像素点的背景模型饱和度取值范围内，则将该像素判为特征物体，否则判为背景像素；

所述特征物体标记步骤的具体步骤如下：

把色调分为至少一个的色调区间，并为每个色调区间设定唯一对应的色调标记，对判断为特征物体的各像素点色调进行判断，根据各像素点的色调所落入的色调区间分配与该色调区间对应的色调标记，对判断为背景区域的像素点标记为背景标记；

所述手势识别步骤包括：

轨迹初始化步骤，具体包括： 

计算具有相同色调标记的各个像素点形成的特征物体在连续K帧图像中的重心坐标，若K帧中特征物体的重心坐标之间的距离小于给定的起始阈值，则记录当前帧图像的特征物体的重心坐标，作为特征物体运动的起始坐标；

轨迹跟踪步骤，具体包括：

如果相邻帧中具有相同色调标记的特征物体的重心坐标之间的距离小于给定的关联阈值，则对相邻帧中具有相同色调标记的特征物体的重心坐标进行关联；

轨迹识别步骤，具体包括：

根据分析当前帧图像中特征物体的位置与初始化得到的特征物体位置之间的关系执行相应操作；

轨迹结束步骤，具体包括：

如果当前帧图像满足轨迹结束条件，则判断为轨迹结束。

2.根据权利要求1所述的交互方法，其特征在于，所述图像为彩色图像。

3.根据权利要求1所述的交互方法，其特征在于：

所述特征物体标记步骤中，把当前帧图像的各个像素点色调进行归一化处理为[0,180]范围内，把色调平均分为3个色调区间，即第一色调区间，范围为[0,60]，第二色调区间，范围为[60,120]，第三色调区间，范围为[120,180]。

4.根据权利要求1所述的交互方法，其特征在于，所述轨迹结束条件为满足：

当前帧中特征物体标记数与上一帧中特征物体标记数不一致；或者

当前帧中有任一特征物体与上一帧中具有相同色调标记的特征物体之间的重心距离大于给定关联阈值；或者

当前帧中无特征物体。

Images