CN102272773B

CN102272773B - 提供手分割用于手势分析的方法和装置

Info

Publication number: CN102272773B
Application number: CN2009801532421A
Authority: CN
Inventors: 柴秀娟; 方亦凯; 汪浩; 汪孔桥
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2008-12-30
Filing date: 2009-12-14
Publication date: 2013-11-13
Anticipated expiration: 2029-12-14
Also published as: EP2374089A1; EP2374089A4; WO2010076622A1; CN102272773A; US8379987B2; EP2374089B1; US20100166258A1

Abstract

一种提供手分割用于手势分析的方法，可包括：至少部分地基于与强度图像相应的深度范围数据确定目标区域。所述强度图像可包括描述手的数据。该方法还可包括：确定所述目标区域的手部分的感兴趣点；确定与手的手掌区域相应的形状；以及去除所述目标区域的选择的部分，以识别与手相应的目标区域的部分。还提供与该方法相应的装置和计算机程序产品。

Description

提供手分割用于手势分析的方法和装置

技术领域

概括地说，本发明的实施例涉及用户接口技术，更具体地，涉及提供手分割用于视觉交互系统的手势分析的方法、装置和计算机程序产品。

背景技术

现代的通信时代带来了有线和无线网络的极大扩张。消费者的需求推动计算机网络、电视网络、和电话网络正在经历前所未有的技术发展。无线和移动组网技术解决了相关的消费者需求，同时提供了信息传送的更多灵活性和即时性。

当前和未来的组网技术不断促进对于用户的信息传送的简易和便利性。需要增加对于用户的信息传送的简易和便利性的一个领域涉及简化用于HCI(人-计算机交互)的人机接口。随着在计算设备和手持或移动设备的领域中近来的发展改善了这些设备的能力，许多人都想到了下一代HCI。此外，假设所述设备倾向于增加他们的容量以在请求时相对快速地创建内容、存储内容和/或接收内容，还假设例如移动电话的移动电子设备通常面对显示器大小、文本输入速度、和用户接口(UI)的物理实现的限制，在HCI的环境中常常存在挑战。

此外，在为了有效的HCI而提供改变的环境中，HCI的改进也可提高到计算设备的用户接口的用户娱乐性和开放性可能。一种这样的改进涉及手势识别。相比于在HCI中目前采用的其他交互机制(例如键板和鼠标)，可认为手势识别改进了通信的自然性和方便性。由此，开发了某些应用，使得手势识别作为命令控制器用在数字家庭电器中、用在文件/web导航中，或用作通用远程控制器的替代。然而，手势分析的目前机制通常很迟钝，或难以采用。考虑到下一代HCI的通用性，手势分析的改进是期望的。

发明内容

因此，提供一种方法、装置、和计算机程序产品，能够在例如视觉交互系统中使用手势分析。在一些情况下，可基于在三维(3D)环境中检测和分析皮肤区域或对象的深度来实现手势分析。然而，由于针对在某些情形做手势可能就是分析手或就是主要分析手，本发明的一些实施例能够进行手分割，以从图像的剩余部分分离手。通过提供精确的手分割，本发明实施例可简化手势分类并改进识别性能。

在示例性实施例中，提供一种方法，其提供手分割用于手势分析。该方法可包括：至少部分地基于与强度图像相应的深度范围数据确定目标区域。所述强度图像可包括描述手的数据。该方法还可包括：确定所述目标区域的手部分的感兴趣点(例如估计中心)；确定与手的手掌区域相应的形状(例如圆形)；以及去除所述目标区域的选择的部分，以识别与手相应的目标区域的部分。

在另一示例性实施例中，提供一种计算机程序产品，其提供手分割用于手势分析。该计算机程序产品包括在其中存储有计算机可执行程序代码指令的至少一个计算机可读存储介质。所述计算机可执行程序代码指令可包括：至少部分地基于与强度图像相应的深度范围数据确定目标区域的程序代码指令。所述强度图像可包括描述手的数据。所述计算机可执行程序代码指令还可包括：确定所述目标区域的手部分的感兴趣点(例如估计中心)的程序代码指令；确定与手的手掌区域相应的形状(例如圆形)的程序代码指令；以及去除所述目标区域的选择的部分，以识别与手相应的所述目标区域的部分的程序代码指令。

在另一示例性实施例中，提供一种装置，其提供手分割用于手势分析。该装置可包括处理器。该处理器可被配置为：至少部分地基于与强度图像相应的深度范围数据确定目标区域。所述强度图像可包括描述手的数据。该处理器还可被配置为：确定所述目标区域的手部分的感兴趣点(例如估计中心)；确定与手的手掌区域相应的形状(例如圆形)；以及去除所述目标区域的选择的部分，以识别与手相应的所述目标区域的部分。

在另一示例性实施例中，提供一种装置，其提供手分割用于手势分析。该装置可包括：用于至少部分地基于与强度图像相应的深度范围数据确定目标区域的装置。所述强度图像可包括描述手的数据。该装置还可包括：用于确定所述目标区域的手部分的感兴趣点(例如估计中心)的装置；用于确定与手的手掌区域相应的形状(例如圆形)的装置；以及用于去除所述目标区域的选择的部分，以识别与手相应的所述目标区域的部分的装置。

本发明实施例可提供用于在例如移动或固定环境中采用的方法、装置和计算机程序产品。结果，例如，计算设备用户可享受与他们各自计算设备交互的改进的功能。

附图说明

现在参照附图，一般性描述本发明的一些实施例，该图不必按规定比例绘制，其中：

图1(包括图1A至1F)示出根据本发明示例性实施例的基于图像中的对象的深度范围执行的图像分割的示例；

图2示出根据本发明示例性实施例的用于用户接口(UI)控制器的手势分析的手分割处理的一个示例；

图3(包括图3A至3E)示出根据本发明示例性实施例的关于各个示例性图像的手分割处理的示例；

图4示出根据本发明示例性实施例的提供手分割用于手势分析的装置的框图；

图5(包括图5A至5D)示出根据本发明示例性实施例的关于各个示例性图像的去除前臂部分的处理的示例；

图6示出可从本发明的示例性实施例获益的移动终端的框图；以及

图7是根据本发明示例性实施例的提供手分割用于手势分析的方法的流程图。

具体实施方式

现在参照附图更加完整地描述本发明的实施例，其中示出一些但并非所有本发明实施例。当然，本发明可通过许多不同形式实现，并且不应该理解为对这里阐述的实施例的限制；相反，提供这些实施例，从而本发明将满足适用的法律需求。其中类似标号指的是类似元素。这里，可交替使用术语“数据”、“内容”、“信息”和类似术语，以表示根据本发明实施例能够发送、接收、操作、和/或存储的数据。此外，这里的术语“示例性”并非用于传达任意定性评估，相反仅用于传达实例的例示。因此，任意这些术语的使用不应限制本发明的实施例的精神和范围。

本发明的一些实施例可提供一种机制，由此可体验到与手势分析相关的改进。因此，例如，基于用于手势分析的3D成像的深度范围进行的粗略分割可得到连同手的前臂的分割。在一些情况下，包括前臂可增加手势检测的难度。例如，图1示出基于图像中对象的深度范围而执行的图像分割的实例，以示出包含前臂可在手势分析中引起的问题。因此，图1A和1D示出原始强度图像。如果使用3D相机获得强度图像，则可通过检查在各个深度范围的强度图像来执行图像的分析，从而强化了在被分析的每个深度范围的对象，并且边缘化了其他对象。图1B和1E分别示出图1A和1D的深度范围图像，他们可在特定深度范围分析。图1C和1F分别示出在手的深度范围分析的图1A和1D的强度图像。在这个实例中，手处于最小或最浅的深度范围(例如最接近于相机)。因此，最接近于相机的对象在强度图像中是突出的。由于手的定位，在一些情况下，前臂或前臂的部分也可处于或接近与手相同的深度范围。如图1C和1F所示，因此，前臂与手一起包含在最终分割的结果中。这可称为手与臂共现。本发明的一些实施例提供一种机制，由此进一步分割图像以排除前臂部分，以便通过使得分析关注于手部本身而实现更加精确的手势分析。

本发明的一些实施例可提供一种机制，由此可体验到与手势分析相关的改进。因此，例如，一些实施例可提供实时手势分析方案，其可适合于在手持或其他计算设备上的交互行为。因此，用户能够通过手势控制设备(例如用户的手持或计算设备，或者甚至远程设备)，而并非手动操作设备。一些示例性实施例可通过结合各种组件(例如3D相机、深度分析器、动作分析器、目标跟踪器和手势识别器)的方案提供自动手势分析。根据本发明的一些实施例，目标跟踪可提供相对精确的目标(例如手)的位置，其对于背景、照明、手的尺度变化和动作等具有相对低的敏感度。

图2示出根据本发明示例性实施例的用于UI控制器的自适应手势分析处理的一个实例。具体地，以下在用于手势的基于目标检测的手势分析的环境中描述示例性实施例。应注意，图2的处理仅是示例性的，因此其他实施例可包括例如额外或不同操作的包含、不同顺序的相同或不同操作、和/或一些操作的删除的修改。

图2是示出可与示例性实施例相关执行的各个操作的流程图，如图2所示，在操作10，可通过3D相机初始地捕获图像数据(例如视频数据)。3D相机可与根据示例性实施例执行手势识别的设备相关，因此3D可能是设备的一部分或与设备通信。在一些实施例中，相机和在手势分析中使用的其他组件之间的通信可以是实时的或至少具有相对低的延迟。3D相机能够同时提供3D深度数据和强度图像。由此，例如，3D相机能够提供可分成各种不同深度间隔的数据。深度间隔可以是等距离的，或者可以在其间具有变动的距离。3D相机可被配置为从捕获的图像数据提取深度数据和强度数据。然后，将在操作10接收的图像数据的帧分成不同深度范围，以在操作12，提供变动的深度范围的强度图像。图像数据的分析可基于逐个帧进行，从而可将先前(或随后)帧的强度图像与每个各自不同深度范围的分割图像相比。可在每个深度范围分析动作差。关于相邻帧的动作分析可在识别目标区域(例如支持手势的附属物，例如手)中有用，因为在许多情形下，执行手势的目标可期望在一个帧到下一个帧之间具有最大不同。因此，尽管无法必然地预测目标的深度，但是可预测目标所在的深度期望看到相比于其他深度更加明显的动作。

基于与各个深度范围相关的动作分析，可识别出候选深度范围。由此，例如，显示某个阈值以上的动作的、或作为最大值的或对于其他深度范围或用于给定深度范围的帧至少更大的候选深度范围可识别为候选深度范围。在一些示例性实施例中，可与候选深度范围的动作分析一起考虑一个或多个其他暗示(例如位置、尺度和/或其他)。基于候选深度范围的动作(并且在一些情况下还基于暗示)，在操作14，可通过识别和跟踪目标区域来做出关于手区域的粗略确定。在一些情况下，手可假设在相机的最近深度范围。因此，例如，并非关注动作或其他暗示以确定手的深度，可利用具有最小深度的对象进行粗略手区域确定。

在粗略手区域确定之后，该过程可通过旨在从前臂分离手的操作继续。由此，基于提供的手的视图，手通常可包括与手掌相应的圆形特征。本发明实施例可实现圆形特征确定，以增强粗略目标区域检测，从而更加精确地确定或识别图像中的手。此外，与深度信息相关的像素分布分析可用于做出与手区域的中心(例如粗略手中心)相关的大致估计。因此，例如，在操作14中粗略确定手区域(这可导致手和前臂区域的分离)之后，本发明的实施例还可包括在操作16，基于深度信息的粗略手中心确定。可增强粗略手中心确定操作，以利用几何信息识别图像的手部分。由此，识别圆形特征可在为此目的获得几何信息中有用。因此，在操作18，本发明实施例可进行圆形特征提取。基于提取的圆形特征和手中心确定，在操作20，进行手掌圆形确定。手掌圆形确定可进一步(在潜在地多个圆形特征之间)分离与手掌相应的圆形特征。

一旦使用以上操作识别了手，在操作22考虑可以切除或去除前臂区域。前臂切除的一般性操作可包括确定切割方向和确定切割位置的子操作。在操作22之后保留的是可基于帧方式跟踪以确定用手做出的手势的手区域。由此，可继续跟踪手，并且从被跟踪的目标区域(例如手区域)提取的关于特征的动作或改变可用于手势分析。手位置和与其相关的改变的跟踪可通过比较如操作24所示的相邻帧中的图像来实现。在示例性实施例中，手势分析可通过将来自被跟踪的目标区域的特征与相应于特定手势的特征的存储数据库中的特征相比较来执行。通过确定数据库(例如匹配数据库)中的特征和从被跟踪的目标区域提取的特征之间的匹配(或在阈值量内的实质相似)，可识别与关联于来自数据库的匹配特征的特定特征相应的手势。

在操作26，如果识别了特定手势，可执行相应命令。由此，例如，数据库可存储将手势与各个命令或UI功能关联的信息。因此，例如，如果在播放音乐或视频内容时识别了紧握拳头，并且紧握拳头与停止命令关联，则可停止正在呈现的音乐或视频内容。

图3示出根据示例性实施例的上述操作的实例。由此，例如，图3A示出捕获的一系列强度图像。图3B示出基于来自图3A的每个相应强度图像的深度分析得到的粗略手检测的结果。图3C示出在与图3B中进行的粗略手检测相对的每个图像中通过点指示的大致手中心估计。图3D示出多个圆形形状，其每个识别来自图3B的每个相应强度图像的相应圆形特征。图3E示出每个图像中的圆形。该每个图像中的圆形识别从图3D中识别的圆形特征中确定的手掌圆形。以下为了提供实例的目的并非限制，更加详细地描述与识别手掌圆形相关的示例性实施例的操作。

图4示出根据本发明示例性实施例的实现手分割用于手势分析的装置的示意性框图。现在将参照图4描述本发明的示例性实施例，其中显示实现手分割用于手势分析的装置的某些部件。图4的装置可用在例如移动终端(例如图6的移动终端110)或各种其他设备上，包括移动和固定的(例如网络设备、个人计算机、膝上型计算机等)。或者，实施例可用在设备的组合上。因此，本发明的一些实施例可整体用在一个设备(例如移动终端110)，或通过客户端/服务器关系的设备来使用。此外，应注意，以下所述的设备和部件可能并非强制的，因此在某些实施例中可省略某些。

现在参照图4，提供实现手分割用于手势分析的装置。该装置可包括处理器70、用户接口72、通信接口74和存储器设备76或与其通信。存储器设备76可包括例如易失性和/或非易失性存储器。存储器设备76可被配置为存储信息、数据、应用、指令等，用于使得装置执行根据本发明各个实施例的各个功能。例如，存储器设备76可被配置为缓冲输入数据以用于处理器70处理。额外地或备选地，存储器设备76可被配置为存储指令以用于处理器70执行。作为另一备选，存储器设备76可以是存储信息和/或媒体内容的多个数据库之一。

处理器70可通过多种不同方式实现。例如，处理器70可实现为各种处理装置，例如处理部件、协处理器、控制器或各种其他处理设备，包括集成电路(例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、硬件加速器等)。在示例性实施例中，处理器70可被配置为执行存储器设备76中存储的指令或处理器70可访问的指令。由此，无论由硬件或软件方法、或其组合来配置，处理器70可代表在由此配置时能够执行根据本发明实施例的操作的实体。

同时，通信接口74可以是以硬件、软件、或硬件和软件的组合实现的例如设备或电路的任意装置，其被配置为从/向网络和/或任意其他设备或与装置通信的模块接收和/或发送数据。由此，通信接口74可包括例如能够与无线通信网络通信的天线(或多个天线)和支持硬件和/或软件。在固定环境中，通信接口74可备选地或还支持有线通信。由此，通信接口74可包括用于支持经由电缆、数字订户线路(DSL)、通用串行总线(USB)、以太网或其他机制通信的通信调制解调器和/或其他硬件/软件。

用户接口72可与处理器70通信，以接收在用户接口72处用户输入的指示和/或向用户提供音频、视觉、机械或其他输出。由此，用户接口72可包括例如键盘、鼠标、操纵杆、显示器、触摸屏、麦克风、扬声器、或其他输入/输出机制。在该装置实现为服务器或某些其他网络设备的示例性实施例中，用户接口72可被限制，或被删除。

在示例性实施例中，处理器70可实现为，包括或控制深度分析器78、动作分析器80、目标跟踪器82、手势识别器84和手分割器86中的任意一个或全部。然而，在一些实施例中，可包括更多甚至更少的组件。深度分析器78、动作分析器80、目标跟踪器82、手势识别器84和手分割器86均可是任意装置，例如被配置为分别执行如下所述的深度分析器78、动作分析器80、目标跟踪器82、手势识别器84和手分割器86的相应功能的以硬件、软件或硬件和软件的组合实现的设备或电路(例如在软件控制下运行的处理器70)。在示例性实施例中，深度分析器78、动作分析器80、目标跟踪器82、手势识别器84和/或手分割器86均可与媒体捕获模块(例如图6的相机模块137)通信，以接收用于下述分析中的图像数据。

深度分析器78可被配置为将每个帧的输入图像数据分割成与各个不同深度范围的每个相应的数据。然后，深度分析器78可生成与各个不同深度范围的每个相应的强度图像。深度分析器78可被配置为利用与各个深度范围关联的信息，以然后执行整个手区域的粗略深度的确定或估计。由此，例如，在将图像的深度范围分成由近至远的许多范围(均匀或不均匀分布)之后，可对于每个范围内的任意连接区域的像素数目进行计数。如果像素数目超过预定阈值，可将相应连接区域识别为候选手区域，并且可确定候选手深度范围D。然后，通过以下步骤细化精确手深度D′：

通过

计算平均手深度，这是其深度在范围D内的所有像素i的深度平均；以及

通过D′＝[d-T₁，d+T₂]得到精确手深度范围D′。T也是试验值，例如，T₁＝10，T₂＝15。

在确定手深度范围之后，可形成二进制图像，其可包含手、臂、和其他区域。

对于第一初始化阶段，可执行识别操作，以验证触发手势(例如，当识别时启动跟踪以用于未来手势分析的手势)。否则，在正常操作期间，使用跟踪策略来消除干扰区域，例如脸、肢体等，以实现粗略手区域的识别(例如在以上操作14)。在一些实例中(例如图3中的最上面4个实例)，粗略手深度区域包括与前臂关联的一些像素。由于这些像素可使得手势识别复杂，可期望由手分割器86提供的健壮性手分割方案。

手分割器86可以是任意部件，例如，被配置为实现大致手中心估计和使用圆形特征提取实现这里所述的手分割的手掌圆形确定的以硬件、软件或硬件和软件的组合实现的设备或电路。手分割器86还可被进一步配置为实现去除粗略手(或目标)的不期望部位，以隔离手本身。

在示例性实施例中，手分割器86可被配置为基于由深度分析器78执行的粗略手区域检测的结果执行大致手中心估计。由此，例如，手分割器86可确定在粗略区域中哪个部分属于手。可与手的特征关联的几何信息(例如圆形特征)可用于协助手分割器86。由此，实验结果显示出具有与手相对强关联性，并且与前臂具有更弱关联性的几何特征可能为圆形。因此，通过识别圆形特征和分析这样的特征，本发明实施例可将手势分析限制为识别为与手相应的区域，而不考虑前臂区域。

手分割器86被配置为执行手中心区域的估计(在许多实例中，可认为其形状为大致圆形)，作为为了识别手掌的位置的步骤。为了实现大致手中心估计，手分割器86被配置为假设手的深度小于前臂深度。因此，可使用与像素深度相关的统计信息来估计大致手位置。具体地，可认为具有更小或更浅深度的像素(例如与更接近于3D相机的对象相应的像素)与手相应。由此，具有更小深度的像素的平均位置可认为与大致手中心相应

其中d_pi是像素p_i的深度，d_T是与N个最近像素相应的深度。图3C给出可通过以上操作16提供的大致手中心估计结果的实例。

手分割器86还可被配置为从图像提取圆形特征(例如与上述操作18相关所述)。由此，例如，由于手掌期望具有与圆形特征之一相关的强似然度，所以圆形特征提取可在实现分割手用于手势分析的最终目的中有用。为了从操作14中确定的粗略手区域提取圆形特征，本发明一个示例性实施例的手分割器86可利用尺度空间特征检测。由此，图像I的尺度空间表示可示为

并且是具有尺度t的高斯内核。X＝(x，y)和ξ＝(x，y)是图像中的像素的坐标。圆形特征可检测为根据

的规范化拉普拉斯算子的平方的尺度空间中的本地最大值，其中S是尺度空间表示。检测的圆形特征的半径r与检测的圆形特征的尺度成比例。对于平面手形状，尺度空间特征检测可能有效于发现手掌区域。实践中，在大范围尺度内执行该检测，以发现任意大小的手掌。因此，可能存在如图3D所示的、粗略手区域中检测的许多圆形特征。

为了找到与手掌区域(例如手掌位置)相应的提取的圆形特征之一，可通过手分割器86执行若干操作。由此，例如，在提取的圆形特征簇(例如圆形簇b_all)之间，可选择对于给定尺度范围中的检测器具有强响应的圆形特征。在某个尺度t，每个特征具有由检测器在图像中的其位置处给出的值，并且可通过b_max表示最大值。然后，可保留具有比α·b_max更大的值的特征(例如在一些实例中，将α设置为0.1)。可在每个尺度重复该处理，并且可将给定尺度范围内的这些“强特征”聚集成簇b_all。手分割器86还可被配置为在簇b_all中选择具有最大尺度t_max的圆形特征b_max。然后，手分割器86通过其中心P表示圆形特征b_max的位置，如果P和C之间的距离小于阈值(例如将阈值设置为0.5r，其中r是与b_max相应的圆形的半径)，_bmax可以是手掌的期望圆形特征。否则，从簇b_all删除b_max，并且重复上述圆形特征选择。图3E中给出手掌定位的结果的一些实例。如图3E所示，可通过本发明实施例实现相对精确的手掌位置。

在示例性实施例中，手分割器86还可被配置为考虑去除前臂部分(或不是基于手掌位置确定的手的部分的那个部分)。在一些情况下，手分割器86可通过切除这样的部分来去除前臂部分。在示例性实施例中，手分割器86可被配置为确定切割方向和切割位置，以辅助前臂部分的去除。在一些实例中，前臂部分可通过一系列操作切除，包括确定切割方向是水平还是垂直，以及确定要切除的图像的部分。

可通过初始确定粗略手区域的真正高宽比：r＝w/h来实现确定切割的方向。在这个环境下，w和h分别是包含或含有粗略手区域的边界矩形或边界框的宽度和高度。图5示出根据示例性实施例用于前臂部分去除的实例。由此，如图5A所示，粗略手区域的若干实例提供有具有高度h和长度w的边界框。边界框90是这样的框的一个实例。基于边界框的长宽比，手分割器86可确定切割方向。例如，如果比小于阈值(例如r＜T)，则可沿着水平方向实现前臂切除。然而，如果r≥T，可沿着垂直方向进行前臂切除。T可以是基于实验值设置的预定阈值(例如T＝1.2)。当确定关于边界框的高度和长度之比提供了切割方向时，可考虑如图5B所示的两个候选切割线。两个候选切割线在确定的切割方向(例如水平或垂直)彼此平行延伸，并且从操作20确定的手掌圆形的对侧切线地延伸。然后，切割位置确定可选择两个候选切割线之一。

为了选择候选切割线，手分割器86可被配置为将在操作16大致近似计算的手中心并且如图3C的点所示的C与手掌圆形的中心P(由图5C中的每个手掌圆形的中心的点标记为P指示)相比较。然后，手分割器86使用P和C之间的空间关系以及确定的切割方向来精确分割手。由此，如果r＜T并且C大于P，则通过在手掌圆形底部水平进行的切割去除前臂(例如见图5D中的上部实例、下部实例、和从下数倒数第二个实例)。然而，如果r＜T并且C小于P，则通过在手掌圆形的顶部水平进行的切割去除前臂。如果r≥T并且C在P左侧，则通过在手掌圆形右端垂直进行的切割去除前臂(例如见图5D中的从上数第二个和中间实例)。然而，如果r≥T并且C在P右侧，则通过在手掌圆形左端垂直进行的切割去除前臂。尽管不必要，可在前臂切割之后在二进制图像中执行形态学开操作，以消除前臂的某些剩余部分。

作为上述操作的结果，并且如图5D所示，在手分割器86操作为去除前臂部分之后的粗略手区域的剩余部分是与手本身直接相关的主要部分。然后，可实现另外的手区域的分析和动作跟踪，以实现手势分析和基于这样分析期间识别的手势的UI启动。

因此，例如，本发明实施例还可包括动作分析器80，其可被配置为分析与数据的相邻帧相对的数据(例如分割的手数据)。因此，例如动作分析器80可将第一帧的手分割强度图像与第二帧(例如相邻帧)的手分割强度图像相比较，以检测从一个帧到下一个帧的动作(例如动作变化)。使用获得的动作变化，目标跟踪器82可被配置为在包含目标的各个图像帧中自动跟踪目标(例如用户的手)。基于确定手位置的上述机制，可在连续帧上实现手跟踪，以实现手势检测。

一些实施例还可采用手势识别器84，其可被配置为执行与目标相关的特征以及与特定已知手势相关的特征之间的手势匹配。例如，可提供已知手势和他们各自特征的数据库，用于与当前手势的特征相比较。如果比较的手势之间的相似性是足够的，则手势识别器84可将当前手势与特定已知手势关联，从而辨识或识别当前手势。

在示例性实施例中，可通过用户(例如通过另一用户)在离线阶段生成已知手势的数据库。因此，可收集对于每个手势的多个采样，以合成手势的图库。在示例性实施例中，可初始执行大小归一化，并且根据上述方案将每个采样转换成特征向量，并且记录为用于匹配目的的模板。可利用识别的手势触发或引起执行与识别的手势关联的特定命令。由此，例如，手势识别器84可将识别的手势的身份发送至处理器70，其可(例如直接或经由用户接口72)执行相应UI命令。该命令可用于指挥UI系统执行相应操作。

基于以上描述，本发明的一些实施例提供图像的分割，以定位目标(例如手)，以有效方式实现健壮性跟踪。由此，可改进相对精确的目标跟踪结果和手势识别率。3D相机的使用可实时提供3D深度数据，其可由本发明实施例用来消除或实质性降低背景和照明在手势识别精度上的影响。在一些情况下，深度范围的划分还在提供粗略手区域方面有所帮助。在示例性实施例中，确定粗略手区域的中心，并且识别粗略手区域内的圆形特征。然后，识别手掌圆形，并将其用于协助从图像去除前臂部分(或其他不期望部分)，以分割手部分。根据示例性实施例，前臂部分去除包括：基于粗略手区域(例如由边界框定义)的维度比确定切割方向，以及基于手掌圆形特征以及手掌圆形的中心与粗略手区域的中心之间的关系选择切割位置。之后，可采用更加精确的跟踪，并且基于精确的手分割和跟踪结果，可因此改进手势识别精确度。因此，例如，可改进跟踪和识别性能，以及还可改进交互适用性。

因此，本发明实施例可提供将表示手和多个其他物理对象的数据转换成单独手(或几乎单独)的图形表示，从而可跟踪和分析手的图形表示。之后，可基于识别的手势实现用户接口命令。

现在参照图6描述本发明的示例性实施例，其中显示了用于实现自适应手势分析的装置的某些部件。由此，图6示出可从本发明的示例性实施例获益的移动终端110的框图。然而，应理解，所示和以下所述的移动终端仅是可从本发明的示例性实施例获益的一种移动终端的示例，因此不应限制本发明的实施例的范围。若干类型的移动终端(例如，便携式数字助理(PDA)、寻呼机、移动电视、游戏设备、所有类型的计算机(例如膝上型或移动计算机)、相机、音频/视频播放器、无线电、全球定位系统(GPS)设备、或上述的任意组合以及其他类型的通信系统)可容易地采用本发明的实施例。

此外，尽管可通过移动终端110或与其连接地执行或使用本发明的方法的若干实施例，该方法可通过除了移动终端(例如个人计算机(PC)、服务器等)之外的设备采用或与其连接使用。此外，主要结合移动通信应用描述本发明实施例的系统和方法。然而，应理解，可结合移动通信行业中和移动通信行业外的各种其他应用利用本发明实施例的系统和方法。

移动终端110可包括与发射器114和接收器116可操作通信的天线112(或多个天线)。移动终端110还可包括分别向发射器114和接收器116提供信号和从其接收信号的装置，例如控制器120(处理器70)或其他处理部件。信号可包括根据适用蜂窝系统的空中接口标准的信令信息，和/或还可包括与语音相应的数据、接收的数据和/或用户生成的/发送的数据。由此，移动终端110能够通过一个或多个空中接口标准、通信协议、调制类型、和访问类型运行。通过图示，移动终端110能够根据多个第一、第二、第三和/或第四代通信协议等中的任一个运行。例如，移动终端110能够根据第二代(2G)无线通信协议IS-136(时分多址(TDMA))、GSM(全球移动通信系统)、和IS-95(码分多址(CDMA))，或根据第三代(3G)无线通信协议，例如通用移动电信系统(UMTS)、CDMA2000、宽带CDMA(WCDMA)和时分同步CDMA(TD-SCDMA)，根据3.9代(3.9G)无线通信协议，例如演进通用陆地无线电接入网络(E-UTRAN)，根据第四代(4G)无线通信协议等运行。作为备选(或额外地)，移动终端110能够根据非蜂窝通信机制运行。例如，移动终端110能够在无线局域网(WLAN)或其他通信网络中通信。

可理解，例如控制器120的装置除了别的之外，可包括实现移动终端110的音频/视频和逻辑功能的电路。例如，控制器120可包括数字信号处理器设备、微处理器设备、和各种模数转换器、数模转换器、和/或其他支持电路。移动终端110的控制和信号处理功能可根据他们各自的功能在这些设备之间分配。控制器120因此还可包括在调制和传输之前编码和交织消息和数据的功能。此外，控制器120还可包括内部语音编码器，并且可包括内部数据调制解调器。此外，控制器120可包括运行可在存储器中存储的一个或多个软件程序的功能。例如，控制器120能够运行连接性程序，例如传统web浏览器。然后，连接性程序可允许移动终端110根据例如无线应用协议(WAP)、超文本传输协议(HTTP)等发送和接收web内容，例如基于位置的内容和/或其他web页面内容。

移动终端110还可包括用户接口，包括输出设备，例如耳机或扬声器124、麦克风126、显示器128；和用户输入接口，其可操作地耦合至控制器120。允许移动终端110接收数据的用户输入接口可包括允许移动终端110接收数据的多个设备中的任一个，例如键板130、触摸显示器(未示出)或其他输入设备。在包括键板130的实施例中，键板130可包括数字(0-9)和相关的键(#，＊)，以及用于操作移动终端110的其他硬键和软键。或者，键板130可包括QWERTY键板设置。键板130还可包括具有相关功能的各种软键。此外，或备选地，移动终端110可包括例如操纵杆或其他用户输入接口的接口设备。移动终端110还包括电池134，例如振动电池组，用于向用来操作移动终端110的各种电路供电，以及可选地提供机械振动作为可检测的输出。

移动终端110还可包括用户身份模块(UIM)138。UIM 138典型地为嵌入有处理器的存储器设备。UIM 138可包括例如订户身份模块(SIM)、通用集成电路卡(UICC)、通用订户身份模块(USIM)、可移除用户身份模块(R-UIM)等。UIM 138典型地存储与移动订户相关的信息单元。除了UIM 138之外，移动终端110可配备有存储器。移动终端10可包括易失性存储器140和/或非易失性存储器142。例如，易失性存储器140可包括随机存取存储器(RAM)，包括动态和/或静态RAM、片上或片下高速缓存存储器等。可嵌入和/或可移除的非易失性存储器142可包括例如只读存储器、闪速存储器、磁存储设备(例如硬盘、软盘驱动器、磁带等)、光盘驱动器和/或媒体、非易失性随机存取存储器(NVRAM)等。类似于易失性存储器140，非易失性存储器142可包括用于数据的临时存储的高速缓存区域。存储器可存储由移动终端110使用的多条信息和数据的任一条，以实现移动终端110的功能。

在示例性实施例中，移动终端110可包括与控制器120通信的媒体捕获模块，例如相机、视频和/或音频模块。媒体捕获模块可以是捕获图像、视频和/或音频用于存储、显示或传输的任意装置。例如，在媒体捕获模块为相机模块137的示例性实施例中，相机模块137可包括能够从捕获图像形成数字图像文件的数码相机。由此，相机模块137可包括所有硬件，例如镜头或其他光学设备，以及从捕获图像建立数码图像文件所必要的软件。在示例性实施例中，相机137可以是能够捕获表示深度和强度的3D图像信息的3D相机。

本发明的实施例可提供一种机制，通过像素分布的分析在自然交互环境中进行粗略手位置确定。圆形特征的提取可通过对于尺寸相对不敏感的方式实现手掌区域的定位。手掌区域可基于根据大致确定的手中心限制选择的圆形特征精确定位。粗略手区域的边界的形状的高宽比可用于确定应在垂直还是水平方向切割前臂。此外，根据深度信息的像素分布可协助确定切割位置。基于精确的手分割结果，可大大提高以下手势识别的性能。基于良好分割和识别性能，可大大改进交互适用性。

图7是根据本发明一些示例性实施例的系统、方法和程序产品的流程图。可理解，流程图的每个方框或步骤、和流程图中的方框的组合可通过各个装置实现，例如，硬件、固件、和/或包括一个或多个计算机程序指令的软件。例如，上述过程中的一个或多个可通过计算机程序指令实现。由此，实现上述过程的计算机程序指令可通过移动终端的存储器设备或采用本发明实施例的其他装置存储，以及通过移动终端或其他装置中的处理器执行。可理解，任意这样的计算机程序指令可加载到计算机或其他可编程装置(即硬件)上以生成机器，从而在计算机上(例如经由处理器)或其他可编程装置上执行的指令建立了用于实现流程图方框或步骤中指定的功能的装置。这些计算机程序指令还可存储在计算机可读存储器中，其可指挥计算机(例如处理器、或另外计算设备)或其他可编程装置以特定方式运行，从而计算机可读存储器中存储的指令生成制品，包括指令装置，其实现流程图的方框或步骤中指定的功能。计算机程序指令也可加载到计算机或其他可编程装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤，以生成计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供了实现流程图的方框或步骤中指定的功能的步骤。

因此，流程图的方框、步骤、支持用于实现特定功能的装置的组合、用于实现特定功能的步骤的组合、用于实现特定功能的程序代码指令装置。还可理解，流程图的一个或多个方框、步骤、和流程图中的方框或步骤的组合通过执行特定功能或步骤的基于专用硬件的计算机系统或处理器、或专用硬件和计算机指令的组合来实现。

由此，例如在图7中示出一种提供手分割用于手势分析的方法的实施例，其可包括：在操作200，至少部分地基于与强度图像(例如分成多个深度范围)相应的深度范围数据确定目标区域。所述强度图像可以代表描述手的数据。该方法还可包括：在操作210，确定所述目标区域的手部分的感兴趣点(例如估计中心)；以及在操作220，确定与手的手掌区域相应的形状(例如圆形或其他几何形状)。该方法还可包括：在操作230，去除所述目标区域的选择的部分，以识别与手相应的目标区域的部分。

在示例性实施例中，该方法还可包括其他可选操作，其中一些示例在图7中以虚线示出。由此，示例性附加操作可包括操作240，基于将与手相应的所述目标区域的部分中的识别特征与预定手势相应的存储特征相比较，执行与手相应的目标区域的部分的手势识别。

在一些实施例中，如下所述可修改或进一步增强上述操作中的某一个。可理解，以下每个修改或增强可包括在单独的上述操作中或这里所述特征之间的任意其他的组合中。由此，例如，确定与手的手掌区域相应的圆形可包括：根据从所述目标区域提取的多个圆形特征确定圆形。在一些情况下，去除所述目标区域的选择的部分可包括：基于所述目标区域的特征确定去除选择的部分的切割方向。由此，基于所述目标区域的特征确定切割方向可包括：基于限定所述目标区域的边界框的高度和宽度之间的比选择水平或垂直切割方向。在示例性实施例中，去除所述目标区域的选择的部分可包括：基于所述目标区域的特征以及手掌区域的中心与目标区域的手部分的估计中心之间的关系确定用于去除选择的部分的切割位置。

在示例性实施例中，执行以上图7的方法的装置可包括处理器(例如处理器70)，被配置为执行上述操作(200-240)的一些或每个。例如，处理器可被配置为通过执行硬件实现的逻辑功能、执行存储的指令、或执行用于实现每个操作的算法来执行操作(200-240)。或者，该装置可包括用于执行上述每个操作的装置。由此，根据示例性实施例，执行操作200-240的装置的示例可包括例如处理器70、深度分析器78(例如操作200)、手分割器86(例如操作210-240)、或处理器执行的用于控制上述数据的处理的算法。

这里阐述的本发明的许多修改和其他实施例将使得与本发明相关的本领域技术人员获益于在以上说明书和相关附图中提供的教导。因此，可理解，本发明不限于公开的特定实施例，并且修改和其他实施例旨在包含在所附权利要求的范围内。此外，尽管以上说明书和相关附图描述了在部件和/或功能的某个示例性组合的环境中的示例性实施例，但是应理解，部件和/或功能的不同组合可通过备选实施例提供，而不脱离所附权利要求的范围。由此，例如，正如在一些所附权利要求中阐述的那些，也可设想除了以上明确所述的那些部件和/或功能之外的他们的不同组合。尽管这里采用的特定术语，但是他们仅用作一般性和描述性含义，并非用于限制的目的。

Claims

1.一种提供手分割的装置，包括：

用于至少部分地基于与强度图像相应的深度范围数据确定目标区域的装置，所述强度图像包括描述手的数据；

用于确定所述目标区域的手部分的感兴趣点的装置；

用于确定与手的手掌区域相应的形状的装置，其中所述形状对应于根据从所述目标区域提取的多个圆形特征确定的圆形；

用于基于在所述手掌区域与所述目标区域的手部分的感兴趣点之间的关系，确定用于去除的所述目标区域的选择的部分的装置；以及

用于去除所述目标区域的选择的部分的装置，以识别与手相应的所述目标区域的部分。

2.如权利要求1所述的装置，其中用于去除所述目标区域的选择的部分的装置包括：用于基于所述目标区域的特征确定去除选择的部分的切割方向的装置。

3.如权利要求2所述的装置，其中基于所述目标区域的特征确定所述切割方向的装置包括：用于基于限定所述目标区域的边界框的高度和宽度之比选择水平或垂直切割方向的装置。

4.如权利要求1所述的装置，其中用于去除所述目标区域的选择的部分的装置包括：用于基于所述目标区域的特征以及所述手掌区域的中心与所述目标区域的手部分的感兴趣点之间的关系确定去除选择的部分的切割位置的装置。

5.如权利要求1所述的装置，还包括：用于基于将与手相应所述目标区域的部分中的识别特征与相应于预定手势的存储特征相比较，执行与手相应的所述目标区域的部分的手势识别的装置。

6.如权利要求5所述的装置，进一步包括：用于基于识别的手势执行用户接口命令的装置。

7.一种提供手分割的方法，包括：

至少部分地基于与强度图像相应的深度范围数据确定目标区域，所述强度图像包括描述手的数据；

确定所述目标区域的手部分的感兴趣点；

确定与手的手掌区域相应的形状，其中所述形状对应于根据从所述目标区域提取的多个圆形特征确定的圆形；

基于在所述手掌区域与所述目标区域的手部分的感兴趣点之间的关系，确定用于去除的所述目标区域的选择的部分；以及

去除所述目标区域的选择的部分，以识别与手相应的所述目标区域的部分。

8.如权利要求7所述的方法，其中去除所述目标区域的选择的部分包括：基于所述目标区域的特征确定去除选择的部分的切割方向。

9.如权利要求8所述的方法，其中基于所述目标区域的特征确定切割方向包括：基于限定所述目标区域的边界框的高度和宽度之比选择水平或垂直切割方向。

10.如权利要求7所述的方法，其中去除所述目标区域的选择的部分包括：基于所述目标区域的特征以及手掌区域的中心与目标区域的手部分的感兴趣点之间的关系确定去除选择的部分的切割位置。

11.如权利要求7所述的方法，还包括：基于将与手相应的所述目标区域的部分中的识别特征与相应于预定手势的存储特征相比较，执行与手相应的所述目标区域的部分的手势识别。