CN102317977A - 用于姿势识别的方法和系统 - Google Patents

Abstract

图像采集与数据预处理方法包括获得来自传感器的在做出动作的主体的图像。该传感器可以是深度摄像头。该方法还包括从图像中选出多个感兴趣的特征，采样出对应于所述多个感兴趣的特征的多个深度值，用所述多个深度值来将所述多个感兴趣的特征投射到模型上，以及用限制系统来限制投射所述多个感兴趣的特征到所述模型上。该限制系统可以上包括反向动力学求解器。

Description

用于姿势识别的方法和系统

关联申请的交叉引用

本申请要求于2009年2月17日提交的，申请号为61/153,229，题为“用于姿势识别的方法和系统”的美国临时申请的优先权，该美国临时申请的整体通过引用并入本申请。

背景信息

有很多种用于解释计算机系统的玩家或用户的动作的技术，于是玩家或用户得以通过自然而直观的界面来和计算机系统沟通。近来，这些界面在家庭娱乐及游戏市场上的应用引起人们极大的兴趣。其中比较值得注意的例如任天堂Wii的控制器以及Wii Fit的平衡板。任天堂控制器依赖于加速计并用三角测量来计算控制器的位置。作为一种替代方式，很多人机界面技术依赖于不同类型的摄像头。基于摄像头的界面系统的一个较早的例子是索尼的Eyetoy系统，其中使用常见的彩色摄像头来检测大致的动作并将其归类为用户完成的姿势。

在计算机电子游戏背景下，有几个在设计姿势识别系统时需要考虑的重要因素，且其相对重要性取决于姿势识别系统在游戏中是如何使用的。对该姿势识别系统的一种应用是允许用户反馈，例如，一旦具体的姿势被识别出来，可以播放预先存储的动画序列来向用户展现系统认为他所做的是怎样的。该姿势识别系统的另一种应用是作为游戏设定机制来记分，例如，增加记分，以及允许玩家进入不同等级。因此，姿势识别系统在游戏中的使用方式构成了对该系统设计的不同限制。作为一个例子，如果该系统用来向用户提供关于他所做动作的反馈，那么将用户作出姿势与系统识别出同一姿势之间的延迟最小化就很重要。如果该姿势识别系统被用来计算玩家的得分，那么对系统延迟的敏感度就没有这么重要。

编号7,340,077的美国专利介绍了一种姿势识别系统，该系统获得表示人的身体部分上的多个离散区域的深度的位置信息，然后使用这一信息来将姿势归类。根据该专利，有一个确切的起始时间，其指定了何时开始存储离散区域，还有一个确切的结束时间，其表示用户已经完成该姿势。在确切地确定了起始与结束时间后，进行与姿势库的比对。因此，该方法就引入了一个固有的延迟。另外，数据采集直接在深度数据上完成。也即，只能从对应于二元掩模上的值“1”的深度数据对数据点进行采样。从深度数据来对数据点进行采样带来了一些限制。首先，深度数据本身一般是多噪的，这可能会给采样值的质量造成不利影响。其次，从深度数据来对数据点进行采样必然限于摄像头的视野的领域。

概要本发明涉及对玩家在深度摄像头前作出的姿势和动作的识别，以及，在一个实施例中，使用这些姿势来驱动计算机电子游戏中的游戏设定。在本发明的接下来的概要中先定义若干术语如下。

姿势识别系统姿势识别系统是，例如，识别和确定使用者在输入设备前作出的预先确定的动作的系统。例子包括对来自摄像头的数据进行解读以识别出用户攥起了手，或是解读该数据以识别出一记左手直拳。

深度摄像头本发明可以使用来自生成3D数据的深度摄像头的数据来进行姿势识别。有若干种不同类型的深度摄像头。其中有依赖飞行时间原理的摄像头，或依赖结构光技术的摄像头，以及立体摄像头。这些摄像头可以生成具有固定像素分辨率的图像，其中每个像素具有整数值，这些值对应于摄像头投射到该图像的这一区域上的对象的距离。除此深度数据外，该深度摄像头还可以以常见彩色摄像头同样的方式来生成色彩数据，该数据可以与深度数据合并以用于处理。

二元掩模使用该深度数据，可以容易地创建二元掩模。二元掩模是有着和原始图像相同分辨率的图像，但是二元掩模的所有像素均具有对应于0或1的整数值。一般，所有像素都有阈值，在像素值低于阈值时在该二元掩模中接收0值，并在像素值高于阈值时在该二元掩模中接收1值。例如，在玩家站在深度摄像头前面的情形下，二元掩模被生成(并因此计算出阈值)，使得对应于该玩家身体的像素为1，所有其它像素为0。于是该二元掩模有效地成为该用户的如摄像头所捕捉到的剪影。

关节图关节图是彼此间以某种固定方式连接并被限制以某些方式运动的关节的集合，例如，人体骨骼。

反向动力学求解器反向动力学(IK)求解器可以用于本发明。已知所需的关节图的配置(例如，某些关节的位置)，反向动力学求解器计算图中已知关节与其它关节之间的角度，这些角度决定所选关节的已知位置。例如，已知手腕与肩的位置，IK求解器可以计算肩关节与肘关节的角度来得到已知的腕、肩的位置，由此也有效地计算出了肘关节的位置。

申请号为11/866,280，题为“用于姿势分类的方法和系统”的美国专利申请中介绍了使用姿势识别来驱动游戏中的游戏设定的方法与系统，其整体通过引用并入本申请。如下所述，该方法和系统可以用于本发明。在一个实施例中，美国专利申请11/866,280可用于IK求解器模型所生成的数据。

在某一误差界限内，人体的各部分可以由深度摄像头所产生的数据来识别。在人体的各部分的位置在深度图像上被识别出来以后，可以从该图像中采样出深度值，从而获得每个身体部分的三维(3D)位置。(这一步骤称为跟踪模块。)然后，姿势识别系统可以被训练并用于这些与用户身体上的点相对应的那些3D位置。

在本发明中，对应于身体上的各部分的3D位置可以映射到一个模型上。在实施例中，反向动力学(IK)求解器用来将从深度图像上获得的数据点投射到人体关节能够采取的可能配置上。IK求解器模型要作为限制来过滤数据，从而使数据匹配于自然的人类动作的模型框架之内。

使用IK求解器来过滤来自跟踪模块的数据有几个重要的好处。首先，IK求解器模型有效地平滑了数据，由此将摄像头噪声的影响降到最低。其次，取自跟踪模块的数据点需对应于二元掩模上的值“1”的像素(也即，他们落在用户的剪影上)。对于由IK求解器获得的数据则没有附加这样的限制。举一个具体的例子，玩家可能站得靠近摄像头的视野边缘。在这种情况下，当他把手伸向旁边时，手臂末端就在摄像头的视野之外了。尽管如此，IK求解器会计算出玩家的胳膊伸到了视野之外，并将他的手的位置复原。显然，仅适用来自跟踪模块的数据是无法做到这点的。使用IK求解器的第三个好处在于应对阻挡。例如，玩家的手经常会挡住摄像头视野而使摄像头无法看到他的肘部。因此，不会从深度图像中采样出对应于肘的数据(因此其位置未知)。但是，如果已知手和肩的位置，IK求解器模型还可以计算出肘的大致位置。

本发明的另外一个部分就是姿势分类方法。美国专利申请11/866,280中介绍的方法是关于姿势是否作出的二元分类法。也即，这个方法产生关于姿势是否作出的二元标记，“是”或“否”。美国专利申请11/866,280中介绍的方法的特点是它必须等到姿势完成才能决定姿势库中的任意姿势是否被作出。一种作为替代方式的姿势分类方法包括在本发明中。本发明中介绍的方法不再二元地确定姿势是否已经作出(“是”或“否”)，而是逐帧地跟踪正在作出的姿势，并在每一帧后指出正在作出的姿势与姿势库中的已知姿势的接近程度。

附图说明

图中示出了姿势识别系统与方法的例子。这些例子和图是示例性的，而非限定性的。

图1示出了该姿势识别系统的一个实施例的总体架构的框图100A。

图2描绘了根据本发明公开的一个实施例的用于从摄像头获取数据并处理该数据来获得特征位置的示例过程200A的流程图。

图3A描绘了示出根据本发明公开的一个实施例的用于构建姿势库的示例性过程300A的流程图。

图3B描绘了示出根据本发明公开的一个实施例的使用动作捕捉设备来创建姿势库的示例性过程300B的流程图。

图3C描绘了示出根据本发明公开的一个实施例的使用彩色和深度图像来创建姿势库的示例性过程300C的流程图。

图4A描绘了示出根据本发明公开的一个实施例的用二元姿势识别技术来确定所搜索的姿势是否被作出的示例性过程400A的流程图。

图4B为示出根据本发明公开的一个实施例的从一系列图像所捕捉到的动作中识别出姿势的方法的过程400B的流程图。

图5描绘了示出根据本发明公开的一个实施例的示例性过程500A的流程图，该过程确认玩家是否在一段时间内(也即，一系列帧)作出特定姿势，并确定玩家作出提示动作的精确程度。

图6为根据本发明公开的一个实施例的并入交互式程序中的姿势分类系统的实施例的框图600。

图7为根据本发明公开的一个实施例的并入到由多个玩家通过网络访问的互动式程序中的姿势分类系统的实施例的框图700。

详细说明

图1示出了姿势识别系统的一个实施例的整体架构的框图100A。图像采集与数据预处理模块200获得来自摄像头的数据，并对其进行处理，而后将经处理的数据供给三个其它模块，姿势训练模块300、二元姿势识别模块400和实时姿势识别模块500。在一个实施计算例中，姿势训练模块300根据供给到该模块的数据来计算出最有效地描绘特定姿势的特性的方式，以此来训练姿势识别算法。在一个实施例中，姿势训练模块300作为离线任务运行。以该数据为根据的由姿势训练模块300生成的姿势的特性描述被发送到二元姿势识别模块400和实时姿势识别模块500。此外，来自图像采集与数据预处理模块200的数据也被发送到二元姿势识别模块400和实时姿势识别模块500。

图2描绘了根据本发明公开的实施例的用于从摄像头获取数据并处理该数据来获得特征位置的示例过程200A的流程图。该系统的图像采集与数据预处理模块200执行过程200A。在一个实施例中，这些特征位置为关节位置。所获得的特征位置被发送到模块300、400和500。

在框210，模块200获得来自摄像头的二维图像数据。该数据既可以只是深度数据，也可以是深度数据和色彩数据。

在框220，模块200处理来自摄像头的数据。其可以只是深度图像，或者其可以是深度图像与色彩图像相结合。图像处理算法用于尽可能准确地确定取自摄像头的二维(2D)图像上的与被跟踪的物体的各特征相对应的点。如果对玩家的身体进行跟踪，这些特征可以包括玩家的头、左右肩关节、左右肘关节、左右手、躯干、骨盆、左右膝关节。在感兴趣的特征的位置在2D图像上确定下来后，可以从该深度图像中采样出深度值来获得每个特征的三维(3D)位置。在一个实施例中，这对应于获得每个感兴趣的关节的3D位置(包括来自深度图像的深度)。

在框220中获得的关节的3D位置在框330中投射到被跟踪的物体的模型上。可以将数据映射到其上的模型有几种不同类型。在一个实施例中，该模型可以为几何形状。例如，该模型可以是人的手的简单的几何再现，有手掌和五根手指。在一个实施例中，该模型是人的骨骼的再现，通过使用反向动力学(IK)求解器或其它限制系统，其被限于仅显示那些与自然的人体运动相一致的配置。在一个实施例中，IK求解器求解等式系统，该系统对人体骨骼的关节的可能配置进行建模，并作为对每个关节的运动自由度的限制。

在框230中限制框220中获得的关节位置限制到该模型有几个重要的功能。第一，滤除了来自摄像头的噪声，且有效地对结果进行了平滑处理。第二，确信玩家的四肢可能会在摄像头的视野之外。在这种情况下，框230的模型能够计算出不在摄像头视野中的关节的大致位置。第三，其填补了那些不能从摄像头数据中获得的关节的位置。已知“附近”其它关节，IK求解器可以计算出一些关节的位置。例如，如果玩家的手直对着摄像头向外伸展，他的肘关节甚至肩关节很有可能在视野中被挡住。在这种情况下，不可能在框220中获得这些关节的3D位置。但是，在框230中，这些关节的3D位置将从人体骨骼的模型来获得，已知其它关节的位置，该模型能够计算出这些关节的位置。

一些实施例包括可选的框240，其中特征(或关节)的位置数据被缩放到标准骨架或标准模型。这通常称作“动画重定位”。尽管并非必要，但这个框是有作用的，因为虽然训练数据采自的用户的身体比例与测试数据采自的用户有着不同的身体比例，训练数据和测试数据必须参照同一坐标系。为了更好地将经训练的姿势适用于训练数据中未包含的用户身体，该跟踪数据可以被适当缩放。

在框250，从用作动画重定位的标准模型采集数据。在一个实施例中，这对应于从骨骼模型获得关节的3D位置。在框260，从该模型检索出的数据被发送到姿势训练模块300来训练姿势分类算法，另外还被发送到姿势识别模块400和500。

图3A描绘了示出根据本发明公开的实施例的用于构建姿势库的示例性过程300A的流程图。该系统的姿势训练模块300执行过程300A。在框310，模块300接收由图像采集与数据预处理模块200生成的特征数据。接着在框320，模块300根据该特征数据来描述这些姿势的特性。根据本发明公开的实施例，在框330，模块300将这些姿势与特定的预先确定的姿势关联。作为过程300A的输出，在框330，构建姿势库，其中每个姿势具有依照图像采集与数据预处理模块200生成的数据的特定的特性描述。

图3A中的框320和330可以包含图3B各框，其在下文中有详述并见于美国专利申请11/866,280的图1。作为替代方式，图3A中的框310可以包含图3C中的各框，其在下文中有详述并见于美国专利申请11/866,280的图2。在一个实施例中，框320和330作为离线任务执行。

为了将用户的姿势归类为特定姿势，将用户的动作与收编并存储在姿势库中的已知姿势集合进行比对。对于库中的每个姿势，首先在预处理步骤中为每个姿势生成基线或“地面真值”数据。“地面真值”数据接着用作基线，用户的动作与之比对，来将该动作归类为特定姿势。在成一系列的若干图像中描述感兴趣的特征点的相对位置的数据被用于上述比对。图3B示出了一种为姿势库获得“地面真值”数据的方法300B。

在步骤110A中，至少一个多次作出感兴趣的姿势的主体被记录。在该主体身体的每个感兴趣的特征点上放置传感器，而动作捕捉设备则用于将该主体的动作记录在一些里的图像中。感兴趣的特征点可以包括对应于，例如，该主体的左手、左肘、左肩、或头的关节和位置。对于本领域技术人员而言，很明显主体身上的很多其它位置也可以作为感兴趣的特征点。步骤110A的输出是三维点的集合，其中每个点对应于系列中每张图片中的一个特征点。

在步骤120A，通过使用处理动作捕捉数据的标准技术手动清理和平滑所述数据来对来自该动作捕捉过程的数据进行后处理。对本领域技术人员而言，很明显也可以执行其它后处理步骤。接着，在步骤125中，将所述数据在所述姿势被作出的多次上取平均，以消除偏置。在优选实施例中，很多不同作出该姿势的主体被记录，这些不同主体的姿势被取平均以防止地面真值数据过度适合一个人。

相似点测量是一种将两个姿势集合的相似点定量地相比较的功能。相似点测量值越高，一个人的动作与该动作所比对的已知姿势越相似。在步骤130A中，计算出该姿势的阈值，当把所述姿势与人的动作比对的相似点测量大于该特定姿势的阈值，很可能这个人的动作已被确定为该姿势。

步骤140A询问是否要将另一姿势加入到该姿势库中。如果是，上述步骤将从步骤110A开始重复，伴随着对至少一个作出该新姿势的主体的记录。如果没有进一步的姿势要加入到该库中，那么该姿势库就完成了。

图3C示出了作为替代方式的方法300C，可以由该方法来为姿势库获得姿势的“地面真值”数据及其对应的姿势阈值。在步骤210A中，能够记录色彩与深度图像的摄像机被用于记录至少一个几次作出感兴趣姿势的主体。在步骤220A中，感兴趣的特征点的位置被手动标记在一系列色彩与深度图像上。在其它实施例中，标记这些感兴趣的点可以是自动的或半自动的。例如，可以在来自摄像机的深度图像上运行自动跟踪来确定感兴趣的点，在一些实施例中，这些被自动确定的感兴趣的点可以被手动修正。在阶段230A中，为捕捉该姿势的图像系列中的每个色彩-深度图像对计算出每个感兴趣的特征点的三维坐标。数据的后处理出现在步骤240A中。可以进行的后处理步骤包括在时间和空间上对数据进行平滑处理。对于本领域技术人员而言，很明显也可以执行其它后处理步骤。

接着，在步骤250A中，将所述数据在所述姿势被作出的多次上取平均以消除偏置。在优选实施例中，很多不同作出该姿势的主体被记录，这些不同主体的姿势被取平均以防止地面真值数据过度适合一个人。

在步骤260A中，计算出该姿势的阈值，当把所述姿势与人的动作比对的相似点测量大于该特定姿势的阈值，很可能这个人的动作已被确定为该姿势。

步骤270A询问是否要将另一姿势加入到该姿势库中。如果是，上述步骤将从步骤210A开始重复，伴随着对至少一个作出该新姿势的主体的记录。如果没有进一步的姿势要加入到该库中，那么该姿势库就完成了。

可以使用任何用于自动分类数据的技术，包括有监督和无监督的机器学习技术。数据分类技术包括但不限于，支撑矢量机(SVM)、隐马尔可夫模型(HMM)、以及逐步聚类分析(k-means clustering)。例如，SVM可以用来找出两类数据点(“所需的姿势”和“不需要的姿势”)之间的“最佳分割”，推导出的判决函数可以用于备选姿势来确定该备选姿势落入哪个分类。

图4A描绘了示出根据本发明公开的实施例的用二元姿势识别技术来确定所搜索的姿势是否被作出的示例性过程400A的流程图。在一个实施例中，二元姿势识别技术等待到从图像采集与数据预处理模块200接收到全部的时间相关序列，才计算姿势库中的姿势是否被作出，由此在游戏中引入了延时。

在框410，二元姿势识别模块400接收来自该图像采集与数据预处理模块200的描述这些特征的特征数据。然后，在框420，玩家的对应于姿势库中的姿势被模块400检测出来。框420的输出为检测到的姿势。在一个实施例中，框420可以包含美国专利申请11/866,280图3中的各框，如图4B所示。

在框430，该系统的游戏引擎模块基于框420中检测出的姿势来为该玩家生成反馈。所述游戏引擎模块必须控制与玩家互动的游戏应用。在框440，该系统在显示器上为玩家显示所生成的反馈，例如，根据玩家的表现调整该玩家的分数。

图5描绘了示出根据本发明公开的实施例的示例性过程500A的流程图，该过程确认玩家是否在一段时间内(也即，一系列帧)作出特定姿势，并确定玩家作出提示动作的精确程度。

在框510，实时姿势识别模块500接收来自图像采集与数据预处理模块200的特征数据。该实时姿势识别模块在作出该姿势的过程中实时地更新该玩家的进展，例如，在每帧之后。在框520，该系统的所述游戏引擎模块选择感兴趣的姿势并提示用户来作出该姿势。

在框530，累积跟踪分数(CTS)置0。在一个实施例中，CTS在每一帧被更新。但是，CTS可以以其它间隔来更新，例如，每两帧。接着，在框510中接收到的特征数据被与在框520中选出的感兴趣的姿势进行比对，并计算出对应于该玩家的动作匹配所述感兴趣的姿势的程度的数值。一种将来自框510的数据与来自框520的感兴趣的数据进行比对的方式是使用相似点测量。

以下为一种示例性的相似点测量：例如，视x(i，j)为根据感兴趣的姿势预先确定的关节i在时间j上的位置，且y(i，j)为从框510获得的关节i在时间j的值，即，所述感兴趣的姿势中关节i在时间j上的位置。令w(i)为每个关节的权重，且u(j)为每次的权重。那么，一种示例性的相似点测量为：

$S_{u,w}(\stackrel{\→}{x},\stackrel{\→}{y})=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}u\left(j\right)\underset{i=1}{\overset{m}{\mathrm{\Σ}}}w\left(i\right)|x(i,j)-y(i,j)|.$

在一个实施例中，权重u(j)和w(i)可以在点对点的基础上分配。在框540，每帧计算该相似点测量(在上例中，S_u，w(x，y))，在框545，该累积跟踪分数增加S_u，w(x，y)的值。0054在判决框550，该系统确定累积跟踪分数是否保持在已知阈值内。如果CTS保持在已知阈值内(框550-是)，这表示该玩家的动作足够接近由感兴趣的姿势所描述特征的那些动作，该过程进入框555，其中该玩家正在做出感兴趣的动作这一信息被发送给游戏引擎模块。在框570，游戏引擎模块给予被提供的信息来通过显示器向玩家提供反馈。

在判决框550，该系统确定累积跟踪分数是否保持在已知阈值内。如果CTS保持在已知阈值内(框550-是)，这表示该玩家的动作足够接近由感兴趣的姿势所描述特征的那些动作，该过程进入框555，其中该玩家正在做出感兴趣的动作这一信息被发送给游戏引擎模块。在框570，游戏引擎模块给予被提供的信息来通过显示器向玩家提供反馈。

然后，在判决框575，该系统确定是否存在需要根据在框510中从模块200接收到的特征数据来分析的另一个帧。如果有另一个帧(框575-是)，该过程回到框540中计算下一帧得相似点测量。如果没有要分析的其它帧(框575-否)，该过程回到框510来从模块200接收更多的特征数据。

如果CTS没有保持在已知阈值以内(框550-否)，在框560，CTS被置0。接着在框565，该玩家没有在做出感兴趣的姿势这一信息被发送给游戏引擎模块，该过程进入如上所述的框570。

图6为并入互动程序的姿势分类系统的一个实施例的框图600。摄像机设备610捕捉用户的动作。摄像机设备610同时摄下该用户的色彩与深度图像，这些图像被发送给处理器620用于处理。

处理器620在色彩与深度图像中定位感兴趣的特征点，计算一同获得的色彩与深度图像中的每个特征点的三维坐标系，把这些坐标系存储在存储器630中用于处理，保证最小数量的图像已经被获得，通过将所述动作与数据库640中的每个姿势进行比对来计算相似点测量，确定具有高于这些动作比对过的数据库姿势的阈值的相似点测量的姿势，确定获得的最高的相似点测量，提示摄像机设备610获得额外的图像，控制存储器630以删除经处理的图像，并将确定的姿势输出给显示器650，于是向该用户提供反馈。处理器620还运行由所述用户通过显示器650虚拟地感受的互动程序。

显示器650呈现出处理器620确定的正在做出该姿势的玩家的图像。该玩家的图像并入到所述互动程序的虚拟环境中，该虚拟环境也被显示器650呈现给用户。

图7为并入到由多个玩家通过网络访问的互动式程序中的姿势分类系统的实施例的框图700。

多个玩家可以从不同位置来访问同一互动程序。图7示出了三个分离的场所740、750和760，用户从这些场所来访问同一虚拟环境，但是，任意数量的用户可以从任意数量的场所来参与到该互动程序中。场所740、750和760中的每个具有摄像机742、752和762，这些摄像机将在该位置上的用户的色彩与深度图像同时摄下，这些图像被发送到处理器720用于处理。如果有多于一个用户在同一场所，应有可专用于该场所的每个用户的摄像机。在同一场所的所有用户可以共用一个显示器，或拥有他们各自的独立显示器744、754和764。但是，所有显示器能够显示参与同一虚拟环境的在不同场所的所有用户。

由摄像机742、752和762从不同场所740、750和760获得的图像被通过网络770发送给处理器720。处理器720、存储器730、和姿势数据库710以与上图6中所介绍的同样的方式工作。但是，在有多个用户参与到同一互动程序中时，处理器720必须处理为每个用户捕捉到的图像。作为替代方式，处理器720可以具有专用于各个单独用户的子处理器，且每个子处理器可以访问存储器730中的独立存储器。对于本领域技术人员而言，很明显不同的硬件结构可以实现处理器720和存储器730的功能来优化响应时间。

处理器720还运行用户通过744、754和764虚拟地感受的互动程序。所有用户的图像并入到互动程序的虚拟环境中，该虚拟环境由每台显示器744、754和764呈现。处理器720经由网络770将信号发送给显示器744、754和764。

Claims (22)

1.一种识别感兴趣的姿势的方法，包括：

提示主体做出所述感兴趣的姿势；

从传感器获得在做出动作的所述主体的多幅图像；

在获得所述多幅图像中的每幅图像后，将所述多幅图像中的每一幅与所述感兴趣的姿势进行比对；

基于所述比对确定跟踪分数；以及

如果跟踪分数保持在已知阈值之内，确定所述主体在做出所述感兴趣的姿势。

2.如权利要求1所述的方法，进一步包括在所述比对中使用反向动力学求解器来将所述多幅图像中的每一幅限制到模型。

3.如权利要求1所述的方法，进一步包括从姿势库中选择所述感兴趣的姿势。

4.如权利要求1所述的方法，其中所述比对包括计算相似点测量。

5.如权利要求1所述的方法，其中所述传感器包括深度摄像头。

6.一种图像采集与数据预处理方法，包括：

从传感器获得在做出动作的主体的图像；

从所述图像中选出多个感兴趣的特征；

对对应于所述多个感兴趣的特征的多个深度值进行采样；

用所述多个深度值来将所述多个感兴趣的特征投射到模型上；

用限制系统对投射所述多个特征到所述模型进行限制。

7.如权利要求6所述的方法，其中所述限制系统包括反向动力学求解器。

8.如权利要求6所述的方法，其中所述传感器包括深度摄像头。

9.如权利要求6所述的方法，进一步包括用于将所述模型缩放到标准模型的动画重定位。

10.一种识别姿势的系统，包括：

摄像头，用于采集得多个图像深度数据帧；

图像采集模块，配置为接收来自所述摄像头的所述多个图像深度数据帧，并处理所述图像深度数据来确定主体的特征位置；

姿势训练模块，配置为接收来自所述图像采集模块的所述主体的特征位置，并将所述特征位置与预先确定的姿势相关联；

二元姿势识别模块，配置为接收来自所述图像采集模块的所述主体的特征位置，并确定所述特征位置是否匹配特定的姿势；

实时姿势识别模块，配置为接收来自所述图像采集模块的所述主体的特征位置，并确定所述特定姿势是否正在多于一个图像深度数据帧中被做出。

11.如权利要求10所述的系统，进一步包括：

游戏引擎模块，配置为选择所述特定姿势并提示所述主体来做出所述特定姿势。

12.如权利要求10所述的系统，进一步包括：

姿势数据库，其中包含所述预先确定的姿势。

13.如权利要求10所述的系统，进一步包括：

显示器，用于向所述主体提供关于由所述主体做出的姿势的反馈。

14.如如权利要求10所述的系统，其中所述摄像头进一步获得色彩图像数据。

15.如权利要求10所属的系统，其中所述实时姿势识别模块进一步配置为计算相似点测量和累积跟踪分数，其中为每一帧更新所述相似点测量和所述累积跟踪分数，进一步地，其中所述对所述特定姿势是否正在被做出的确定是基于为每一帧将所述累积跟踪分数与所述特定姿势的阈值进行比对。

16.如权利要求10所述的系统，其中所述图像采集模块将所述图像深度数据映射到模型上。

17.如权利要求16所述的系统，其中所述图像采集模块为在所述多个帧中的至少一个帧中不可见的特征位置来使用反向动力学求解器来限制所述模型的动作。

18.如权利要求10所述的系统，其中所述图像采集模块将所述特征位置缩放到标准模型。

19.如权利要求10所述的系统，其中所述姿势训练模块使用机器学习技术来确定所述特征位置是否匹配特定姿势。

20.一种识别姿势的系统，包括：

用于采集多个图像深度数据帧的装置；

用于接收来自所述摄像头的所述多个图像深度数据帧，并处理所述图像深度数据来确定主体的特征位置的装置；

用于接收来自所述图像采集模块的所述主体的特征位置，并将所述特征位置与预先确定的姿势相关联的装置；

用于接收来自所述图像采集模块的所述主体的特征位置，并确定所述特征位置是否匹配特定的姿势的装置；

用于接收来自所述图像采集模块的所述主体的特征位置，并确定所述特定姿势是否正在多于一个图像深度数据帧中被做出的装置；

用于向所述主体提供关于所述主体做出的姿势的反馈的装置。

21.如权利要求1所述的方法，其中确定所述跟踪分数包括在所述感兴趣的姿势上应用支撑矢量机。

22.如权利要求1所述的方法，其中确定所述跟踪分数包括应用相似点测量。

Images