CN104408395A - 一种手势识别方法和系统 - Google Patents

Abstract

本发明提供了一种手势识别方法和系统，在对用户的手势进行拍摄和识别之前，先通过拍摄到的用户图像确定用户的位置，然后根据用户的位置对摄像设备的角度进行调整，使其对准用户；同时根据用户的手势范围，对摄像设备的焦距进行调整，使摄像设备拍摄到的用户图像尽量最大化，这样，由于用户的手部在拍摄到的画面中比较大，因而容易识别且识别准确率较高,由于摄像设备会根据用户的位置自动调整，因此用户不必专门站到摄像设备的正前方进行操作，因此本发明的手势识别方法更为灵活。

Description

一种手势识别方法和系统

 

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种手势识别方法和系统。

背景技术

电视机等视频设备由于用户都是远距离观看，因此大都使用遥控器操作，随着产品的智能化越来越高，使用遥控器的操作方式已经不能满足用户的需求。手势控制作为一种新型的控制方式，逐渐被应用于控制电视机等产品上。

目前较为典型的手势识别技术是利用摄像头对拍摄图像，通过对图像的分析识别出用户的手部的形态和位移，从而确定用户的手势。手势识别技术实现了手部信息的捕捉以及手部信息到命令的转换。目前的手势识别主要有两种识别方式，一种是对手部的局部动作进行识别，主要是手指的不同形态，例如握紧拳头、V子手势、OK手势等；还有一种是对手部的移动进行识别，通过识别手部的移动轨迹来判断手势的意义，例如向左右移动手掌，向上下移动手掌等。由于手部的局部动作需要对手部的细节进行识别，相对而言对识别精度要求较高，因此其实现起来较为困难，在实际应用中识别率也不理想。因为这一原因，目前在电视机等产品的手势识别中，通过对手部的移动轨迹进行手势识别应用比较广泛。

但是现有技术中通过对手部的移动轨迹进行手势识别也存在一些问题，例如向左右移动手掌的识别过程中，当用户向左移动手掌之后，如果还需重复同一动作，势必需要将手掌向右移动之后才行进行第二次动作，在此过程中，用户向右移动手掌的动作也有可能被识别出来，也就是说，存在误识别。而在实际应用中，向左移动手掌和向右移动手掌往往对应不同的操作指令，如果用户在上述过程中向左移动手掌和向右移动手掌同时被识别出来，这种误识别使得用户无法通过这种方式来传达所需要的操作指令，从而无法控制对应的设备。

现有技术中为了避免类似的误操作，往往需要对用户有各方面的限制，但是这种限制使得手势识别的用户体验不佳。因此，需要一种手势识别技术，能够在不限制用户的同时避免在手势识别中的误识别。

发明内容

本发明提供一种手势识别方法，能够在不限制用户的同时有效地避免手势识别中的误识别。

具体的，本发明提供了一种手势识别方法，包括：

获取用户图像，根据用户图像确定用户的面部和手部；

判断用户的面部和手部的深度距离，当手部和面部的深度距离大于预先设定的阀值时，对手部的位置进行记录；当手部和面部的深度距离小于预先设定的阀值时，停止对手部的位置进行记录；

根据记录的手部的位置确定手部的移动轨迹，对手势进行识别。

优选的，本发明的手势识别方法通过对用户图像进行肤色识别和眼部识别来确定用户的面部。

优选的，本发明的手势识别方法通过向用户的面部和手部发射光信号并接收从用户的面部和手部返回的光，通过光信号的飞行时间来得到用户的面部和手部的深度距离。

优选的，本发明的手势识别方法根据光信号的相移来计算光信号的飞行时间。

优选的，本发明的手势识别方法将光信号经过高频调制之后进行发射。

优选的，所述预先设定的阀值根据用户的面部宽度确定。

优选的，本发明的手势识别方法通过计算手部的质心坐标，对手部的质心坐标进行记录。

优选的，所述计算手部的质心坐标包括：从手部的边缘选取至少3个坐标点，计算由这些坐标点形成的多边形的重心，将该重心坐标确定为手部的质心坐标。

本发明还提供了一种手势识别系统，包括摄像设备和手势识别设备，摄像设备包括深度测量单元，手势识别设备包括图像处理单元、记录单元和识别单元；所述图像处理单元根据摄像设备获得的用户图像，确定用户的面部和手部；所述深度测量单元分别对用户的面部和手部的深度距离进行测量，并判断手部和面部的深度距离是否大于预先设定的阀值，当手部和面部的深度距离大于预先设定的阀值时，记录单元对手部的位置进行记录；当手部和面部的深度距离小于预先设定的阀值时，记录单元停止对手部的位置进行记录；所述识别单元根据记录单元记录的手部位置确定手部的移动轨迹，根据手部的移动轨迹对手势进行识别。

优选的，图像处理单元通过对用户图像进行肤色识别和眼部识别来确定用户的面部。

优选的，深度测量单元包括照射单元、反射光接收单元，所述照射单元向用户的面部和手部发射光信号，反射光接收单元接收从用户的面部和手部的反射光，深度测量单元通过光信号的飞行时间来得到用户的面部和手部的深度距离。

优选的，照射单元对光信号进行高频调制之后进行发射。

优选的，记录单元计算手部的质心坐标，对手部的质心坐标进行记录。

优选的，所述记录单元通过从手部的边缘选取至少3个坐标点，计算由这些坐标点形成的多边形的重心，将该重心坐标确定为手部的质心坐标。

优选的，识别单元将各帧图像中的手部的质心坐标顺序相连获得手部的移动轨迹，根据该移动轨迹对手势进行识别。

本发明的手势识别方法，通过对用户面部和手部的深度距离，当用户面部和手部的深度距离大于阀值时，则对用户的手势进行识别，而当用户面部和手部的深度距离小于阀值时，则不进行识别。采用本发明的手势识别方法这种方法之后，当用户需要通过手势对相关设备进行控制时，只需将手向前伸出，做出需要的手势动作，由于此时用户的手部距离面部较远，则该手势动作会被识别出，而当用户将手缩回之后，由于此时用户的手部距离面部较近，因此其动作不会被识别。这样就可以有效的避免现有的手势识别方法中的误识别，同时，由于本方法测量的是用户面部和手部的相对距离，用户在任何方位都可以操作，因此不会对用户的位置有约束和限制。由此可见，本发明的手势识别方法能够在不限制用户的同时有效地避免手势识别中的误识别。

 

附图说明

图1是根据本发明的实施例的手势识别方法的示意图；

图2是根据本发明的实施例的手势识别系统的示意图。

 

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1是根据本发明实施例的手势识别方法的流程图。

如图1所示，根据本发明的实施例的手势识别方法可以包括以下步骤：

步骤102，获取用户图像，根据用户图像确定用户的面部和手部；

具体的，用户图像可以是单张图片，也可以是连续的图像。由于后续要对用户的手势进行识别，而用户的手势是一个持续的过程，因此为了方便起见，用户图像一般都是连续的图像，连续的图像可以通过摄像头等设备采用一般的连续拍摄获得，也可以间隔拍摄获得。

用户的面部可以通过对图像进行肤色识别，在肤色识别的基础上确定出用户眼睛的位置，这样，就可以据此确定用户的面部。用户的面部识别出来之后，剩下的肤色部分即可确定为手部。在有些情况下，肤色中会包括腿部等干扰的肤色，这种情况下可以通过肤色区域和面部的位置关系，以及其他的细节来判断，例如手指的特征等。

下面将详细说明本实施例如何通过连续的图像确定用户的面部和手部。

虽然用户图像是连续的图像，但是本实施例在识别用户面部和手部时，需要对每帧或每几帧图像中的用户面部和手部进行识别。

当对每帧图像中用户的面部和手部进行识别可以通过以下方法实现：

一般情况下，摄像头获得的图像是RGB格式的。RGB格式中的R值、G值、B值分别表示红色、绿色和蓝色的值。一般情况下，人体的肤色都是红色占主导，无论光照如何变化都是这样，在图像表现上，就是人体肤色的R值大于G值和B值，根据这一特点，对R、G、B的值进行一次筛选，剔除R值小于G值或B值的区域，只留下符合条件的色彩区域，如果没有其他与肤色相近的颜色的干扰，这样就可以大体上检测出人体肤色的区域。

为了更准确的识别出肤色区域，本实施例在RGB检测的基础上将图片在YCrCb和/或HSV色彩空间中继续进行检测。HSV是一个表示色相、饱和度和亮度的色彩空间，这个色彩空间的模型对应于圆柱坐标系中的一个圆锥形子集。在HSV颜色模型中，每一种颜色和它的补色相差180°。饱和度S取值从0到1，所以圆锥顶面的半径为１。HSV颜色模型所代表的颜色域是CIE色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。YCrCb是表示色差的色彩空间，Cr与Cb是红色与绿色的差和绿色与蓝色的差，人体这两个差值是有一定范围的。HSV色彩空间中利用的H值，这个值相当于图像的亮度，利用色相值值可以剔除一些曝光过度引起的误差。例如，可以将H值的范围选择为0.1>H>0.01;而Cr/Cb 的比值范围选择为1.1786>Cr/Cb>0.5641，或者也可以将Cr与Cb分别计算，阈值范围选择为165>Cr>110、195>Cb>140，不过也可以根据实际需要进行调整。通过这样的检测和筛选，同样可以检测出图像中人体肤色的区域。

上面的人体肤色的检测也可以是其他方法，例如通过图像的R、G、B的值都进行阀值判断，仅通过RGB图像即可检测出肤色，或者也可以先对图像的直方图进行滤波，滤波之后保留符合肤色特征的部分，然后在YCrCb色彩空间进行第二次检测，这样检测出来的人体肤色更为准确。

在人体肤色检测出来之后，继续根据肤色区域的形状和位置信息提取人体的眼睛区域。眼睛区域的检测有多重方法，例如常用的霍夫变换法、变形模板法、边缘特征分析法和对称变换法等人眼定位方法。在本发明实施例中，为了计算及分析方便，采用如下方式给眼睛定位：一般人眼的位置大概在图像中心偏上的区域，另外两个眼睛的形状应该相似，也就是以圆作为这个区域的近似形状，圆的半径要相差较小，这个即肤色区域的眼睛形状。两个眼睛中心在水平方向高低一致，竖直方向上又不能太近，以此留下的区域为候选区域，即确定眼睛的位置。在用户的眼睛被识别出来之后，即可确认用户的面部，即眼睛所在的肤色区域就是用户的面部区域。

在上面的肤色检测过程中，除了面部的肤色被检测出来，用户的其他裸露的部位也同样会被检测出来，包括手部，有时候会有腿部等。由于眼睛的位置已经确定，因此用户脸部的位置也会被确定，接着可以利用各肤色块的位置关系，确定出用户的手部。例如，一般情况下，人的手部位置都会在腿部之上，而距离眼睛的水平距离较远，而且手部的面积也比腿部的面积要小，依照这些条件，可以确定出各肤色块对应的人体部位。另外，也可以根据肤色区域的其他特征来识别手部，例如手指的特征等。

除了上面这些肤色识别方法之外，本实施例还可以使用其他肤色识别方法，例如简单定义肤色模型的肤色识别方法、非参数肤色模型的肤色识别方法、参数肤色模型的肤色识别方法或者基于自适应阈值的肤色检测算法的肤色识别方法等。简单定义肤色模型是通过实验观察，通过定义一系列规则来定义颜色空间中的肤色区域，采用的规则包括有人工定义的简单的线性函数、复杂的非线性函数，或者通过机器学习自动找到规则。非参数肤色模型通过训练集中的肤色出现频率直接估计每种颜色的肤色概率，常用方法有查表法、Bayes法、SOM法等，这类模型中的各颜色点的肤色概率值独立，准确性高，但缺乏泛化能力。参数肤色模型假定肤色分布符合某类具体的数学函数，并通过训练数据来确定出相应的参数，模型通常被假定为服从单高斯分布、多高斯分布、椭圆分布等，这种模型在训练数据不充分的情况下具有泛化能力。基于自适应阈值的肤色检测算法不同于固定阈值的直方图检测方法，可以针对不同的图像内容产生相应的最优分割阈值。通过对肤色概率分布直方图(SPDH)的观察分析,可以提取出4点线索来帮助寻找最优阈值,在此基础上训练出一个人工神经网络分类器来确定最优阈值。

以上说明都是基于单帧图像进行说明的，但在实际应用中，由于每帧图片间隔时间太短，对每帧图像中用户的面部和手部进行识别虽然可以达到最精确的效果，但是运算量较大。为了减少运算量，本实施例也可以在对某帧图像中用户的面部和手部进行识别之后，每隔几帧再次进行识别，例如每隔1帧、2帧、5帧、10帧等。每次识别的间隔可以是相同的，也可以是不同的。

除了上述对单帧图像进行用户的面部和手部识别之外，本实施例也可通过对连续的两帧、多帧或间隔的两帧、多帧进行运算之后再进行肤色识别。由于在获取连续图片的过程中，摄像头的位置是不变的，因而图片的背景部分是不变的，这样，通过对两张图片进行运算，例如对每个像素进行减法运算可以有效的去除背景。这样运算之后的图片基本上只剩下用户的那部分图像。接下来，继续使用上面的肤色识别方法对该图片进行面部识别可以达到更精确的识别效果。当然，用户的连续图像也可是使用其他方法进行肤色识别，例如基于动态肤色模型的肤色识别方法，该方法利用前后帧信息的相关性对肤色进行识别。

 

步骤104，判断用户的面部和手部的深度距离，当面部和手部的深度距离大于预先设定的阀值时，对手部的移动轨迹进行记录，当面部和手部的深度距离小于预先设定的阀值时，停止对手部的移动轨迹进行记录；

步骤102对用户的面部和手部进行了识别，下面将详细说明本实施如何对用户面部和手部的深度距离进行检测。

本实施例中用户的面部和手部距离检测可以通过多种方法实现。

一种方法是利用红外测距传感器，红外测距传感器向用户面部和手部各发射出一束红外光，在照射到用户面部和手部后各形成一个反射的过程，红外测距传感器对反射的信号进行接收，然后通过计算接收发射与接收的时间差的数据，即可计算出用户面部和手部与红外测距传感器的距离。

另一种方法是通过两个摄像头对用户图像进行拍摄，两个摄像头之间有一定的距离，分别从不同角度对用户进行拍摄。由于在同一时间，用户的面部和手部位置都是相同的，而由于两个摄像头的位置不同，因此拍摄到的照片有一定的差异，根据这一差异，可以通过三角函数等方法分别计算出用户的面部与摄像头的距离及用户的手部与摄像头的距离。

优选的，本实施例通过给用户的面部和手部连续发送光脉冲，然后用接收从用户的面部和手部返回的光，通过探测光脉冲的飞行（往返）时间来得到用户的面部和手部的深度距离。具体的，本实施例中的采用主动光探测方式，利用入射光信号与反射光信号的变化来进行距离测量。通过将光信号进行高频调制之后再进行发射，例如100MHz、200MHz。在接收用户的面部和手部返回的光时，先对反射光进行滤波，用来保证只有与照明光源波长相同的光才能被接收。由于光速是确定的，这样，通过反射光和返回光的时间差，即可分别计算出用户面部和手部距离发光点的距离。

在用户的面部和手部的深度距离确定之后，通过简单的减法运算就可以获得用户的面部和手部之间的深度距离。

阀值的确定也有多种方法，可以是一个具体的数值，例如10厘米、20厘米、30厘米等，也可以是相对的数值，例如手部宽度的倍数，面部宽度的倍数等。考虑到不同用户的个体差异以及年龄的差异，使用相对的数值可以获得更好的效果。由于在步骤102中已经对面部进行了识别，而人体面部的宽度比较容易确定，因此本实施例优选的通过面部的宽度来确定阀值，例如面部宽度的1倍、1.5倍、2倍等。当然，这一阀值也可以是用户自定义的，用户可以根据自己在使用过程中的习惯来确定该阀值。

前面对用户的面部和手部之间的深度距离进行了确定，又对阀值进行了确定，这样即可方便的判断出面部和手部之间的深度距离是否大于该阀值。

当用户面部和手部的深度距离大于该阀值时，对用户手部的位置进行记录。步骤102中已通过多种方法对用户的手部进行了识别。用户的手部在图像中是一个区域，这些区域组成一个像素的集合。由于这一像素组合中的每个像素都有确定的位置坐标，因此对用户手部位置的记录即是对这些像素的坐标进行记录。

由于手部位置覆盖的是一个连续的区域，如果对每个像素的位置坐标进行记录则需要比较大的存储空间和运算时间。为了解决这一问题，本实施例优选的使用下面的方法对手部的位置进行记录。一种方法是仅记录手部区域的边缘坐标，这样的像素点和整个手部区域的像素点数量要少得多；还有一种方法是仅记录手部区域的边缘坐标中的部分坐标，例如拐点处的坐标或者间隔几个坐标记录其中一个。

当用户面部和手部的深度距离小于该阀值时，停止对用户手部的位置进行记录。

 

步骤106，根据记录的手部的位置确定手部的移动轨迹，与预先设定的手势进行匹配。

由于用户手部的动作是连续的，因此，当用户面部和手部的深度距离大于阀值之后会持续一定的时间，在这段时间里，用户面部和手部的深度距离始终大于阀值，这样，就会有若干帧的用户手部位置被记录下来，直到用户面部和手部的深度距离小于该阀值后。

对于记录下来的手部位置，通过将手部位置按照时间顺序排列即可得到一个手部的移动轨迹。

优选的，本实施例通过计算手部为质心位置来确定手部的移动轨迹。这一质心位置可以是手部区域形成的不规则图像的重心，也可以是其他的点。在步骤104中，手部的位置记录有多种方式，其中包括对手部的边缘坐标进行记录。本实施例可以通过一种简单的方法计算手部的质心位置。在手部的边缘坐标中，选取最上面的一个点、最下面的一个点，最左边的一个点和最右边的一个点。当最上面的点为多个时，优选的选取最中间的点，其他的三个点也可采用类似的方式。将最上面的坐标点和最下面的点连线形成一个直线，最左边的点和最右边的点连线形成另一条直线，这两成直线会有一个交叉点，这个点即可作为手部的质心位置。这样，将记录下来的每帧图像的手部的质心位置按时间顺序相连，即可得到手部的移动轨迹。

上面记载的质心位置计算方法相对简单，本实施例也可使用其他方法确定手部的质心位置，例如通过间隔选取手部边缘的至少3个点，将这些点依次连线形成一个多边形，通过计算该多边形的重心，将该重心位置确定为手部的质心位置。

在获得手部的移动轨迹之后，即可通过和预先存储的手势进行比较，从而识别出用户的手势。类似的技术已经有相应的现有技术，例如模型匹配等，在此不再详细说明。

 

本实施例的手势识别方法，只有当用户面部和手部的深度距离大于阀值时，才对用户的手势进行识别，而当用户面部和手部的深度距离小于阀值时，则不进行识别。采用这种方法之后，当用户需要通过手势对相关设备进行控制时，只需将手向前伸出，做出需要的手势动作，由于此时用户的手部距离面部较远，则该手势动作会被识别出，而当用户将手缩回之后，由于此时用户的手部距离面部较近，因此其动作不会被识别。这样就可以有效的避免误识别。同时，由于本方法测量的是用户面部和手部的相对距离，用户在任何方位都可以操作，因此不会对用户的位置有约束和限制。

 

图2所示为本发明实施例的一个手势识别系统的示意图。

本实施例的手势识别系统200包括摄像设备210和手势识别设备220，其中，摄像设备包括深度测量单元212，所述手势识别设备220包括图像处理单元222、记录单元224和识别单元226。

摄像设备210通过摄像获取用户图像，然后将获取的用户图像发送给手势识别设备220，图像处理单元222对用户图像进行面部识别和手部识别。用户的面部可以通过对图像进行肤色识别，在肤色识别的基础上确定出用户眼睛的位置，这样，就可以据此确定用户的面部。用户的面部识别出来之后，剩下的肤色部分即可确定为手部。在有些情况下，肤色中会包括腿部等干扰的肤色，这种情况下可以通过肤色区域和面部的位置关系，以及其他的细节来判断，例如手指的特征等。

优选的，本实施例的图像处理单元222通过以下方式实现对用户的面部和手部的识别：

一般情况下，摄像设备210获得的图像是RGB格式的。RGB格式中的R值、G值、B值分别表示红色、绿色和蓝色的值。一般情况下，人体的肤色都是红色占主导，无论光照如何变化都是这样，在图像表现上，就是人体肤色的R值大于G值和B值，根据这一特点，对R、G、B的值进行一次筛选，剔除R值小于G值或B值的区域，只留下符合条件的色彩区域，如果没有其他与肤色相近的颜色的干扰，这样就可以大体上检测出人体肤色的区域。

为了更准确的识别出肤色区域，本实施例在RGB检测的基础上将图片在YCrCb和/或HSV色彩空间中继续进行检测。HSV是一个表示色相、饱和度和亮度的色彩空间，这个色彩空间的模型对应于圆柱坐标系中的一个圆锥形子集。在HSV颜色模型中，每一种颜色和它的补色相差180°。饱和度S取值从0到1，所以圆锥顶面的半径为１。HSV颜色模型所代表的颜色域是CIE色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。YCrCb是表示色差的色彩空间，Cr与Cb是红色与绿色的差和绿色与蓝色的差，人体这两个差值是有一定范围的。HSV色彩空间中利用的H值，这个值相当于图像的亮度，利用色相值值可以剔除一些曝光过度引起的误差。例如，可以将H值的范围选择为0.1>H>0.01;而Cr/Cb 的比值范围选择为1.1786>Cr/Cb>0.5641，或者也可以将Cr与Cb分别计算，阈值范围选择为165>Cr>110、195>Cb>140，不过也可以根据实际需要进行调整。通过这样的检测和筛选，同样可以检测出图像中人体肤色的区域。

图像处理单元222也可以使用其他方法对肤色进行，例如通过图像的R、G、B的值都进行阀值判断，仅通过RGB图像即可检测出肤色，或者也可以先对图像的直方图进行滤波，滤波之后保留符合肤色特征的部分，然后在YCrCb色彩空间进行第二次检测，这样检测出来的人体肤色更为准确。

图像处理单元222在对人体肤色检测出来之后，继续根据肤色区域的形状和位置信息提取人体的眼睛区域。眼睛区域的检测有多重方法，例如常用的霍夫变换法、变形模板法、边缘特征分析法和对称变换法等人眼定位方法。在本发明实施例中，为了计算及分析方便，采用如下方式给眼睛定位：一般人眼的位置大概在图像中心偏上的区域，另外两个眼睛的形状应该相似，也就是以圆作为这个区域的近似形状，圆的半径要相差较小，这个即肤色区域的眼睛形状。两个眼睛中心在水平方向高低一致，竖直方向上又不能太近，以此留下的区域为候选区域，即确定眼睛的位置。在用户的眼睛被识别出来之后，即可确认用户的面部，即眼睛所在的肤色区域就是用户的面部区域。

在上面的肤色检测过程中，除了面部的肤色被检测出来，用户的其他裸露的部位也同样会被检测出来，包括手部，有时候会有腿部等。由于眼睛的位置已经确定，因此用户脸部的位置也会被确定，接着可以利用各肤色块的位置关系，确定出用户的手部。例如，一般情况下，人的手部位置都会在腿部之上，而距离眼睛的水平距离较远，而且手部的面积也比腿部的面积要小，依照这些条件，可以确定出各肤色块对应的人体部位。另外，也可以根据肤色区域的其他特征来识别手部，例如手指的特征等。

以上说明都是基于单帧图像进行说明的，但在实际应用中，由于每帧图片间隔时间太短，对每帧图像中用户的面部和手部进行识别虽然可以达到最精确的效果，但是运算量较大。为了减少运算量，本实施例的图像处理单元222也可以在对某帧图像中用户的面部和手部进行识别之后，每隔几帧再次进行识别，例如每隔1帧、2帧、5帧、10帧等。每次识别的间隔可以是相同的，也可以是不同的。

图像处理单元222对用户的面部和手部进行识别之后，深度测量单元212开始对用户面部和手部的深度距离进行检测。

深度测量单元212可以是多种结构组成，其实现实现对用户的面部和手部距离检测的方法也不同。

深度测量单元212可以包括一个红外测距传感器，红外测距传感器向用户面部和手部各发射出一束红外光，在照射到用户面部和手部后各形成一个反射的过程，红外测距传感器对反射的信号进行接收，这样，深度测量单元212通过计算接收发射与接收的时间差的数据，即可计算出用户面部和手部与红外测距传感器的距离。

深度测量单元212也可以包括设置在不同方位的两个摄像头，通过两个摄像头从不同方位对用户图像进行拍摄。由于在同一时间，用户的面部和手部位置都是相同的，而由于两个摄像头的位置不同，因此拍摄到的照片有一定的差异，根据这一差异，深度测量单元212可以通过三角函数等方法分别计算出用户的面部与摄像头的距离及用户的手部与摄像头的距离。

优选的，本实施例的深度测量单元212包括照射单元、反射光接收单元和计算单元，照射单元将光信号进行高频调制之后进行发射，比如采用LED或激光二极管发射的脉冲光，这种脉冲可达到100MHz。反射光接收单元可以是一个搜集光线的镜头，该镜头具有一个带通滤光片，用来保证只有与照明光源波长相同的光才能进入。由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，一般需要后续处理单元对这个误差进行校正，在不需要特别精确的情况下，也可以不校正。计算单元对入射光往返照射单元与用户的面部或手部之间的相位分别进行纪录，然后通过计算发射光与反射光相对相移关系，以及当前发射光的频率，分别计算出用户的面部或手部距离照相单元的距离。在用户的面部和手部的深度距离确定之后，深度测量单元212就可以计算出用户的面部和手部之间的深度距离。

记录单元224用于对手部和面部的深度距离与一个预先存储的阀值进行比较，当面部和手部的深度距离大于该阀值时，对手部的位置进行记录，当面部和手部的深度距离小于该阀值时，停止对手部的位置进行记录。

用户的手部在图像中是一个区域，这些区域组成一个像素的集合。由于这一像素组合中的每个像素都有确定的位置坐标，因此对用户手部位置的记录即是对这些像素的坐标进行记录。优选的，本实施例的记录单元224仅对手部区域的边缘坐标进行记录，或者仅记录手部区域的边缘坐标中的部分坐标，例如拐点处的坐标或者间隔几个坐标记录其中一个。

记录单元224也可以进一步对手部的质心位置进行计算，这一质心位置可以是手部区域形成的不规则图像的重心，也可以是其他的点。在手部的边缘坐标中，选取最上面的一个点、最下面的一个点，最左边的一个点和最右边的一个点。当最上面的点为多个时，优选的选取最中间的点，其他的三个点也可采用类似的方式。将最上面的坐标点和最下面的点连线形成一个直线，最左边的点和最右边的点连线形成另一条直线，这两成直线会有一个交叉点，这个点即可作为手部的质心位置。记录单元224也可使用其他方法确定手部的质心位置，例如通过间隔选取手部边缘的至少3个点，将这些点依次连线形成一个多边形，通过计算该多边形的重心，将该重心位置确定为手部的质心位置。

由于用户手部的动作是连续的，因此，当用户面部和手部的深度距离大于阀值之后会持续一定的时间，在这段时间里，用户面部和手部的深度距离始终大于阀值，这样，记录单元224就会持续记录若干帧的用户手部位置，直到用户面部和手部的深度距离小于该阀值。

对于记录下来的手部位置，识别单元226通过将手部位置按照时间顺序排列即可得到一个手部的移动轨迹，然后通过将手部的移动轨迹和预先存储的手势进行比较，从而识别出用户的手势。。

优选的，本实施例的手势识别设备220通过计算手部的质心位置来确定手部的移动轨迹。这一质心位置可以是手部区域形成的不规则图像的重心，也可以是其他的点。在手部的边缘坐标中，选取最上面的一个点、最下面的一个点，最左边的一个点和最右边的一个点。当最上面的点为多个时，优选的选取最中间的点，其他的三个点也可采用类似的方式。将最上面的坐标点和最下面的点连线形成一个直线，最左边的点和最右边的点连线形成另一条直线，这两成直线会有一个交叉点，这个点即可作为手部的质心位置。这样，将记录单元224记录下来的每帧图像的手部的质心位置按时间顺序相连，即可得到手部的移动轨迹。本实施例的手势识别设备220也可使用其他方法确定手部的质心位置，例如通过间隔选取手部边缘的至少3个点，将这些点依次连线形成一个多边形，通过计算该多边形的重心，将该重心位置确定为手部的质心位置。在获得手部的移动轨迹之后，手势识别设备220即可通过和预先存储的手势进行比较，从而识别出用户的手势。类似的技术已经有相应的现有技术，例如模型匹配等，在此不再详细说明。

本实施例的手势识别系统，只有当用户面部和手部的深度距离大于阀值时，即只有当用户将手向前伸出到一定程度，其手部的动作才会被本实施例的手势识别系统识别，而当用户面部和手部的深度距离小于阀值时，则不进行识别。采用本实施例的手势识别系统，当用户需要通过手势对相关设备进行控制时，只需将手向前伸出，做出需要的手势动作，由于此时用户的手部距离面部较远，则该手势动作会被识别出从而控制相关设备，而当用户将手缩回之后，由于此时用户的手部距离面部较近，因此其动作不会被识别。这样就可以有效的避免误识别。

 

以上结合附图详细说明了根据本发明的技术方案，本发明的手势识别方法根据用户的手部和面部的深度距离，判断用户当前的手部动作是否属于需要识别的动作：当用户将手向前伸出到一定距离，手势识别方法开始对用户的手势进行识别，而当用户将手收回之后，手势识别结束；用户此后的动作将不会被误识别，直至用户再一次将手向前伸出。由此可见，本发明的手势识别方法可以有效的避免手势识别过程中的误识别，同时，由于本发明的手势识别方法测量的是用户手部和面部的相对距离，用户无论在哪个方位或是距离摄像设备的远近，都可以是用本方法进行识别，因而对用户没有位置方面的限制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种手势识别方法，其特征在于，包括：

获取用户图像，根据用户图像确定用户的面部和手部；

判断用户的面部和手部的深度距离，当手部和面部的深度距离大于预先设定的阀值时，对手部的位置进行记录；当手部和面部的深度距离小于预先设定的阀值时，停止对手部的位置进行记录；

根据记录的手部的位置确定手部的移动轨迹，对手势进行识别。

2.根据权利要求1所述的手势识别方法，其特征在于：通过对用户图像进行肤色识别和眼部识别来确定用户的面部。

3.根据权利要求1所述的手势识别方法，其特征在于：所述判断用户的面部和手部的深度距离包括：

向用户的面部和手部发射光信号并接收从用户的面部和手部返回的光，通过光信号的飞行时间来得到用户的面部和手部的深度距离。

4.根据权利要求3所述的手势识别方法，其特征在于：所述光信号的飞行时间根据光信号的相移来计算。

5.根据权利要求3所述的手势识别方法，其特征在于：所述光信号经过高频调制之后进行发射。

6.根据权利要求1所述的手势识别方法，其特征在于：所述预先设定的阀值根据用户的面部宽度确定。

7.根据权利要求1所述的手势识别方法，其特征在于，所述对手部的位置进行记录包括：

计算手部的质心坐标，对手部的质心坐标进行记录。

8.根据权利要求7所述的手势识别方法，其特征在于，所述计算手部的质心坐标包括：

从手部的边缘选取至少3个坐标点，计算由这些坐标点形成的多边形的重心，将该重心坐标确定为手部的质心坐标。

9.根据权利要求7或8所述的手势识别方法，其特征在于，根据记录的手部的位置确定手部的移动轨迹包括：

 将各帧图像中的手部的质心坐标顺序相连，根据该连线确定手部的移动轨迹。

10.一种手势识别系统，其特征在于，所述手势识别系统包括摄像设备和手势识别设备，其特征在于：

所述摄像设备包括深度测量单元，所述手势识别设备包括图像处理单元、记录单元和识别单元；

所述图像处理单元根据摄像设备获得的用户图像，确定用户的面部和手部；

所述深度测量单元分别对用户的面部和手部的深度距离进行测量，并判断手部和面部的深度距离是否大于预先设定的阀值，当手部和面部的深度距离大于预先设定的阀值时，记录单元对手部的位置进行记录；当手部和面部的深度距离小于预先设定的阀值时，记录单元停止对手部的位置进行记录；

所述识别单元根据记录单元记录的手部位置确定手部的移动轨迹，根据手部的移动轨迹对手势进行识别。

11.根据权利要求10所述的手势识别系统，其特征在于：所述图像处理单元通过对用户图像进行肤色识别和眼部识别来确定用户的面部。

12.根据权利要求10所述的手势识别系统，其特征在于：

深度测量单元包括照射单元和反射光接收单元，所述照射单元向用户的面部和手部发射光信号，反射光接收单元接收从用户的面部和手部的反射光，通过光信号的飞行时间来得到用户的面部和手部的深度距离。

13.根据权利要求12所述的手势识别系统，其特征在于：所述反射光接收单元根据反射光和发射光的相移来确定距离。

14.根据权利要求12所述的手势识别系统，其特征在于：所述照射单元对光信号进行高频调制之后进行发射。

15.根据权利要求10所述的手势识别系统，其特征在于：所述记录单元计算手部的质心坐标，对手部的质心坐标进行记录。

16.根据权利要求15所述的手势识别方法，其特征在于，所述记录单元通过从手部的边缘选取至少3个坐标点，计算由这些坐标点形成的多边形的重心，将该重心坐标确定为手部的质心坐标。

17.根据权利要求15或16所述的手势识别方法，其特征在于，所述识别单元将各帧图像中的手部的质心坐标顺序相连获得手部的移动轨迹，根据该移动轨迹对手势进行识别。