CN107256089B - 以自然影像进行的手势识别方法 - Google Patents

Abstract

本公开提供一种以自然影像进行的手势识别方法，利用前后两帧或更多帧影像产生变化影像，计算该变化影像的画面特征值，将所述画面特征值的变化模式与手势定义比较，以判断手势。本发明对影像模糊具有先天抵抗能力，而且可在不需固定手势下支援X、Y、Z三轴的运动。

Description

以自然影像进行的手势识别方法

技术领域

本发明涉及手势识别技术领域，特别涉及一种以自然影像进行的手势识别方法。

背景技术

手势控制系统提供简单且直觉式的操作便利性，但是使用诸如触控面板这类接触式的人机介面的系统限制使用者必须紧贴该介面操作，对于某些应用而言相当不便。相反之，使用非接触式介面的手势控制系统让使用者能在相对较远的距离操作，但是必须通过影像的获取及识别来判断手势，所以难度较高。目前这种通过影像识别手势的方法可分为两大类，一类是使用不含辅助光源的自然影像来识别手势，另一类则是利用打出一种或多种辅助光源产生的非自然影像来识别手势。

相较于使用辅助光源的手势控制系统，不含辅助光源的手势控制系统具有低成本、可与相机结合以及省电等优点，但是却有检测难度较高的先天劣势。不含辅助光源的手势控制系统常用的手势识别方法有移动检测及形状检测。由于不同使用者的手势、习惯各异，使用移动检测的手势识别方法对于某些手势的识别率较低，例如按压(click)、缩放(zoom in/out)等包含Z轴运动的手势，而使用形状检测的手势识别方法通常要求使用者以固定、可被系统识别的特定手势操作，例如握拳、伸掌等。图1及图2是使用形状检测的手势识别方法的示意图，相机模块10每间隔一段时间获取一帧(frame)影像，若使用者伸掌在相机模块10前方横向挥动，亦即在影像的X轴及Y轴的方向上运动，则相机模块10取得的前后两帧影像如图2中的f(1)及f(2)所示，手12的影像14及16在画面中的位置不同，系统从每一帧影像f(1)及f(2)中识别具有预设形状的影像，例如食指的指尖18及20，再根据指尖的影像18及20在画面中的位置差异判断这是一个向右挥动的手势。此法要求足够清晰的影像以识别出预设形状的影像，对于快速移动时的模糊影像不具抵抗能力，因此也不适合短距离的应用。若使用者在操作过程中手部变动导致系统无法找出预设形状的影像，也会造成手势识别失败。因为影像受到可识别形状的限制，造成某些手势很难定义，故对于可操作的手势有很大的限制，大体上只有能够产生特征鲜明的影像的手势才能在系统中预先定义。此外，由于使用者对着相机模块10前后移动手部而产生的影像变异很大，因此这种方法也很难支援Z轴(纵向)运动的手势。

使用形状检测的手势识别方法是先从影像中识别肤色范围，然后对肤色范围识别形状，再进一步找出手在一帧影像中的位置。然而肤色分析需要很复杂的演算法，而且与色温有关，错误率比较高，形状识别也需要复杂的演算法，这些识别程序需要大量的运算，因此软硬件的成本比较高，系统的反应也比较慢。

发明内容

本发明的目的之一，在于提出一种以自然影像进行的手势识别方法。

本发明的目的之一，在于提出一种对模糊影像具有先天抵抗能力的手势识别方法。

本发明的目的之一，在于提出一种有利于短距离应用的手势识别方法。

本发明的目的之一，在于提出一种在不需固定手势下支援X、Y、Z三轴的运动的手势识别方法。

本发明的目的之一，在于提出一种毋需符合预设手势形状的手势识别方法。

本发明的目的之一，在于提出一种不受色温影响的手势识别方法。

本发明的目的之一，在于提出一种较少运算量的手势识别方法。

本发明的目的之一，在于提出一种较低成本的手势识别方法。

根据本发明，一种以自然影像进行的手势识别方法包含产生在时间上为一序列的影像，再从中选择两帧或更多帧影像产生变化影像，计算所述变化影像的画面特征值，以及将所述画面特征值的变化模式(pattern)与手势定义比对，以判断手势。

本发明的方法不需要进行影像识别，也不需要检测物件的位置，因此可以避免现有技术的各种缺点。

附图说明

图1是横向运动的手势的示意图；

图2是现有的手势识别方法的示意图；

图3是本发明的实施例；

图4是检测横向运动的手势的示意图；

图5是旋转运动的手势的示意图；

图6是旋转运动的手势产生的变化模式的示意图；

图7是垂直运动的手势的示意图；

图8是检测垂直运动的手势的示意图；

图9a、图9b、图9c是不同的手势产生的变化模式。

附图标号：

10 相机模块

12 手

14 手的影像

16 手的影像

18 食指的部分影像

20 食指的部分影像

22 获取影像

24 选择影像

26 产生变化影像

28 计算画面特征值

30 手势比对

32 产生指令

34 变化影像的重心

36 变化影像的重心

38 手的影像。

具体实施方式

图3是根据本发明的实施例，如同现有技术一般，步骤22先获取影像，例如图1所示的相机模块10每间隔一段时间获取一帧影像，因而产生在时间上为一序列的影像，步骤24从该序列的影像中选择相邻的两帧或更多帧影像，由步骤26利用前后多帧影像产生变化影像，变化影像是依照预设的公式计算出来的数值，例如每一像素的亮度变化，用来表现影像在时间轴上的变化，步骤28计算变化影像的画面特征值，例如重心、标准差(standarddeviation)或变异量(variance)，步骤30将画面特征值的变化模式(pattern)与预设的手势定义比对，若符合某一手势定义，则步骤32产生相对应的指令，再回到步骤24，否则直接回到步骤24。由于此法是以影像的全画面的变化来判断手势，不藉助任何影像的形状，因此不需要识别手的形状，也不必找出手的位置，也因此，该方法对影像模糊具有极佳的抵抗能力，而且不受物件的形状或色温影响，物件不限定为手。由于不要求清晰的影像，所以快速挥动的手势也可以识别，也因此可适用在短距离的应用。此外，该方法只需要简单的运算法，运算量也比较少，因此系统的反应快，需要的软硬件成本也比较低。

以下以滑动(slide)、旋转(rotate)及缩放(zoom)等手势的检测为例，更具体地说明本发明。

参照图1，当手12在相机模块10前方横向挥动时，相机模块10产生在时间上为一序列的影像如图4所示，利用相邻的两帧影像f(1)及f(2)产生变化影像df(1,2)，例如以后影像f(2)减掉前影像f(1)，即df(1,2)＝f(2)-f(1)，然后计算变化影像df(1,2)的画面特征值，例如重心的位置34，同样的，利用相邻的两帧影像f(2)及f(3)产生变化影像df(2,3)，计算变化影像df(2,3)的重心的位置36，因为手12产生的影像14、16及38在画面中的位置不同，所以重心在画面中的位置34及36也不同。以如此方式取得更多变化影像的重心的位置，例如图4的右下方所示，其变化模式呈现向右移动，若此变化模式符合某个预设的手势定义，则判定其为该定义的手势，例如滑动。

参照图5，当使用者的手12面对相机模块10划圈时，变化影像的重心的位置具有如图6所示的变化模式，可用来产生旋转的指令。

参照图7，当使用者的手12对着相机模块10前后移动时，相机模块10取得的前后两帧影像如图8中的f(1)及f(2)所示，手12产生的影像14及16在画面中的位置不变或变化不大，但大小会有明显的差异，这种手势可用来产生缩放的指令。利用影像f(1)及f(2)产生变化影像df(1,2)，例如df(1,2)＝f(2)-f(1)，以这种方式得到的变化影像的重心的位置具有不变或变化不大的变化模式，但影像14及16的大小差异会在其他不同的画面特征值表现出来。例如参照图9，以前后两帧影像相减产生变化影像，从其像素坐标计算出来的重心与其变异量，在不同的手势时具有特定的变化模式。滑动手势在时间轴上的变化模式如图9a所示，其平均值大致不变，如曲线40所示，其变异量没有连续且规律的往覆变化，如曲线42所示。旋转手势在时间轴上的变化模式如图9b所示，其平均值与变异量皆有连续且规律的往覆变化，如曲线44及46所示。缩放手势在时间轴上的变化模式如图9c所示，其变异量有连续且规律的往覆变化，如曲线50所示，但其平均值缺少相对应的变化，如曲线48所示。

计算影像的画面特征值是现有技术，只要是可以表现出影像变化的参数或数学式都可以在本发明中使用。

在不同的实施例中，除了计算变化影像的画面特征值，还可对该画面特征值进行频率分析，例如使用傅里叶转换将影像在纵轴及横轴上的移动从时域转换到频域，以判断其变化模式。用来当作手势定义的变化模式可由系统设计者决定。

在计算变化影像时，可以增加门限值来筛选像素，只有亮度变化超过门限值的像素才用来计算画面特征值，以提高准确度。

以上对于本发明的优选实施例所作的叙述为阐明的目的，而无意限定本发明精确地为所公开的形式，基于以上的教导或从本发明的实施例学习而作修改或变化是可能的，实施例是为解说本发明的原理以及让熟习该项技术者以各种实施例利用本发明在实际应用上而选择及叙述，本发明的技术思想企图由权利要求及其均等来决定。

Claims (6)

1.一种以自然影像进行的手势识别方法，其特征是，所述手势识别方法包含下列步骤：

步骤A：产生在时间上为一序列的影像；

步骤B：从所述序列的影像中每次选择相邻的两帧或更多帧影像产生多个变化影像；

步骤C：分别计算所述多个变化影像以获得多个画面特征值；以及

步骤D：将所述多个画面特征值随着时间变化的变化模式与手势定义比对，以判断手势；

其中，所述方法是以影像的全画面随着时间的变化来判断手势，且所述方法无法识别手的形状。

2.如权利要求1所述的手势识别方法，其特征是，所述步骤B包含将在时间上前后的影像相减。

3.如权利要求1所述的手势识别方法，其特征是，所述步骤B包含使用门限值筛选所述变化影像的像素。

4.如权利要求1所述的手势识别方法，其特征是，所述步骤C包含计算所述变化影像的重心、标准差或变异量作为所述画面特征值。

5.如权利要求1所述的手势识别方法，其特征是，所述步骤D包含对所述画面特征值进行频率分析，以判断所述变化模式。

6.如权利要求1所述的手势识别方法，其特征是，所述手势定义包含滑动手势、旋转手势及缩放手势。

Images