CN102473320B - 通过学习到的来自用户的输入使视觉表示生动化的方法 - Google Patents

Abstract

所捕捉的有关人类的数据可以被分析并应用于用户的视觉表示，使得该视觉表示开始反映该用户的行为特性。例如，系统可以具有捕捉设备，该捕捉设备捕捉关于物理空间中的用户的数据。该系统可以标识出该用户的特性、倾向性、语音模式、行为、姿势等等。该系统可以随时间学习用户的倾向性，并且智能地将动画应用于该用户的化身，使得该化身根据所标识出的用户的行为来作出行为和响应。应用于化身的动画可以是选自预先打包的动画库的动画，或者这些动画可以由用户输入和记录到该化身的化身库中。

Description

通过学习到的来自用户的输入使视觉表示生动化的方法

背景技术

各种应用将显示用户可通过诸如选中遥控器上的按钮或以一定方式移动控制器之类的一定动作来控制的与该用户相对应的视觉表示。该视觉表示是通常采取二维（2D）或三维（3D）模型的形式的计算机表示，并且在诸如计算机游戏、视频游戏、聊天、论坛、社区、即时消息收发服务等之类的各种应用中予以呈递。视觉表示可以是化身、幻想角色、卡通形像或动物、光标、手等形式。诸如计算机游戏、多媒体应用、办公室应用等之类的许多计算应用提供对预定义动画角色的选择，所述预定义动画角色可被选择以供在应用中用作用户的化身。通常，由化身执行的动画可以选自动画库。用户可以通过按下例如遥控器上的按钮或按键来选择使其化身执行来自该库的特定动画。 

发明内容

在此公开了用于通过学习来自用户的输入来智能地训练化身执行动画的技术。虚拟空间中的化身可以随时间表现得变为对物理空间中的用户的反映，包括反映该用户的特征、行为、倾向性、语音模式等等的各方面。例如，系统可以具有捕捉设备，该捕捉设备捕捉关于物理空间中的用户的数据。该系统可以标识出该用户的特性、倾向性、语音模式、行为、姿势等等。该系统可以随时间学习用户的倾向性，并且智能地将动画应用于该用户的化身，使得该化身根据所标识出的该用户的行为来作出行为和响应。因此，训练供动画执行的化身可以包括：学习来自用户的输入；以及将化身塑造为与用户相似。 

因此，无论用户是否存在于该物理空间中，该系统都可以呈递与该用户相似的化身。在一示例性实施例中，应用于化身的动画例如可以利用选自预先打包的动画库的动画，比如伴随着程序、应用或系统的动画。所选动画可以是与系统学习到的用户输入相对应的动画。在另一示例性实施例中，库中的动画可以是由用户输入和记录到化身的动画词汇表中的动画。例如，该系统或用户可以重新编写动画以反映例如由捕捉设备所捕捉到的用户的实际运动或行为。因此，可以在化身动画库中添加或重写动画。 

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。 

附图说明

参考附图来进一步描述根据本说明书的用于修改视觉表示的系统、方法和计算机可读介质，在附图中： 

图1示出目标识别、分析、及跟踪系统的示例实施例，其中用户正在玩游戏。 

图2示出了可在目标识别、分析和跟踪系统中使用且结合了链接和动画混合技术的捕捉设备的示例实施例。 

图3示出了其中可实现本文描述的动画技术的计算环境的示例实施例。 

图4示出了其中可实现本文描述的动画技术的计算环境的另一示例实施例。 

图5A示出了从深度图像生成的用户的骨架映射。 

图5B示出了图2所示的姿势识别器架构的进一步细节。 

图6A和6B描绘了示例性目标识别、分析和跟踪系统、以及用于基于用户的输入历史来显示该用户的化身的示例性实施例。 

图7A描绘了两个用户正通过各自的目标识别和跟踪系统彼此远程地交互。图7B描绘了第一用户正与第二用户的化身进行交互，其中第二用户不在该场景中。 

图8描绘了用于收集与用户的输入有关的行为数据的方法的示例性流程图。 

图9描绘了用于智能地将动画应用于用户的化身的方法的示例性流程图。 

说明性实施例的详细描述 

在此公开了用于呈递诸如化身之类的用户的视觉表示的技术，其中所述视 觉表示根据用户来作出行为。例如，公开了包括如下动作的系统和方法：通过经由用户输入学习用户的倾向性来智能地训练化身执行动画。用户的视觉表示例如可以为化身、屏幕上的光标、手、或与物理空间中的用户相对应的任何其他虚拟物体的形式。计算系统可以通过从物理空间捕捉数据来对用户的视觉表示进行建模和显示。例如，该系统可以包括捕捉场景的图像数据的捕捉设备、以及显示与该场景中的用户相对应的视觉表示的监视器。所期望的可能是基于用户的物体特性来初始化和/或定制虚拟表示。例如，捕捉设备可以标识出用户的体格特征，并且基于诸如眼睛形状、鼻子形状、服装、佩饰之类的这些所标识出的特征来定制该用户的化身。 

为了生成表示物理空间中的用户的模型，捕捉设备可以捕捉该场景的深度图像并且扫描该场景中的目标或物体。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或物体是否对应于诸如用户之类的人类目标。为了确定场景中的目标或物体是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每个目标或物体来生成与其相关联的骨架模型。例如，可扫描被标识为人类的目标来生成与其相关联的骨架模型。诸如骨架模型或网格模型之类的用户模型可以表示用户的体型、骨骼结构、身高、体重等等。然后，可以将该模型提供给计算环境以用于跟踪该模型并呈递与该模型相关联的化身。 

该系统可以跟踪在该物体空间中的用户以及任何运动，并且标识出该用户的可以应用于该用户的视觉表示的特性。所标识出的特性可以指示用户的行为。例如，该系统可以标识出用户的物体特性、倾向性、语音模式、姿势等等。该系统可以继续随时间跟踪用户，并且基于所跟踪的数据的历史来向用户的化身应用修改或更新。例如，捕捉设备可以继续标识出用户的行为和特殊习惯、情感、话音模式等等，并且将这些应用于用户的化身。所呈递的化身的、和化身与化身间的相似处有关的保真度因系统收集该用户的历史数据而随时间增加。 

在此所述的用于化身创建和定制的系统、方法和组件可以体现在诸如游戏控制台之类的多媒体控制台或者期望显示目标的视觉表示的任何其他计算设备中，作为示例但非限制，这些其他计算设备包括卫星接收机、机顶盒、电子 游戏机、个人计算机(PC)、便携式电话、个人数字助理(PDA)、以及其他手持式设备。 

图1A和1B示出了目标识别、分析和跟踪系统10的配置的示例性实施例，该目标识别、分析和跟踪系统10可以采用跟踪用户输入的历史的技术来生成与用户相似的化身。在示例性实施例中，用户18正在玩拳击游戏。在示例性实施例中，系统10可以识别、分析和/或跟踪诸如用户18之类的人类目标。系统10可以收集与用户在物理空间中的姿势、以及用户的体格特征和行为特性相关的信息。 

如图1A所示，目标识别、分析和跟踪系统10可以包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例性实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等之类的应用。 

如图1A所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可用于在视觉上监视诸如用户18之类的一个或多个用户，使得可以捕捉、分析和跟踪所述一个或多个用户所执行的姿势以执行应用中的一个或多个控制或动作，这将在下面更详细地描述。 

根据一个实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18之类的用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，并且然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。 

如图1所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18之类的人类目标。可以通过将视觉表示的移动映射到用户在物理空间中的运动来控制视觉表示的运动。物理空间中的运动可以是与诸如虚拟空间和/或游戏空间之类的系统或应用空间中的控制相对应的姿势。例如，可使用捕捉设备20来跟踪用户18，使得可将用户18的移动解释为可用于影响由计算 机环境12执行的应用的控制。该计算环境可基于例如识别出并被映射到用户模型的用户姿势来确定在计算机环境上执行的应用中要执行哪些控制。因此，用户可以通过在物理空间中作出姿势来控制化身的运动。 

所捕捉的运动可以是物理空间中由诸如相机之类的捕捉设备所捕捉的任何运动。所捕捉的运动可包括物理空间中诸如用户或物体之类的目标的运动。所捕捉的运动可包括翻译成操作系统或应用中的控制的姿势。该运动可以是动态的，如奔跑运动，或者该运动可以是静态的，例如在极少或没有运动的情况下摆姿态的用户。 

系统10可以将到捕捉设备20的输入翻译成动画，该输入表示用户的运动，使得该动画由该输入来驱动。因此，用户的运动可以映射到化身40，使得用户在物理空间中的运动被该化身40执行。用户的运动可以是适用于应用中的控制的姿势。如图1A和1B所示，在一示例性实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。 

捕捉设备20可以捕捉表示用户行为的数据。例如，捕捉设备可以捕捉指示用户行为的特性。这样的特性可以包括用户的身体位置、面部表情、口声命令、话音模式、姿势等等。计算环境12可以分析所捕捉的数据，并且将用户的行为与诸如下各项的上下文情形相关：用户环境的条件、系统或应用的状态、用户在应用中的成功/结果、用户的活动或不活动的状态、或任何其他可检测到的情形。因此，该系统可以学习用户的行为倾向性，比如用户如何对各种情况作出响应。 

计算环境12可以使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。玩家化身40可以具有由捕捉设备20所标识出的用户的特性，或者系统10可以针对映射到用户运动的视觉表示使用知名拳击运动员的特征或描绘专业拳击运动员的体格。根据一示例性实施例，目标识别、分析和跟踪系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的出拳，使得该出拳可被解释为玩家化身40在游戏空间中的游戏控制。例如，如图1B所示，用户18可以在物理空间中挥拳以致使玩家化身40在游戏空间中挥拳。计算环境12还可以使用视听设备16来向用户18提供拳击对手38的视觉表示。 

用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、直拳或挥出各种不同力度的拳等控制。此外，一些移动可被解释成可以与除控制玩家化身40之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。可替代地，用户18的全范围运动可以以任何合适的方式来获得、使用和分析以与应用进行交互。 

多个用户可以从远程位置彼此交互。例如，拳击对手38的视觉表示可以表示另一个用户，诸如用户18的物理空间中的第二用户或第二物理空间中的联网用户。可替代地，该系统可以呈递与用户相关联的化身，而不管该用户是否存在于物理空间中或与该系统/应用交互。例如，第一用户的化身可以与第二用户的化身交互。第一用户可以存在于物理空间中，控制第一用户的化身的姿势和移动。然而，与第二用户的化身相关联的第二用户可能不存在于该物理空间中。使用第二用户的输入的历史，该系统可以智能地将动画应用于第二用户的化身，使得该化身与从第二用户的输入中学习到的行为相似。第二用户的化身可以与第二用户相似，从而密切地反映第二用户的倾向性、习惯以及适用于该应用的其他特性。因此，第一用户可以在虚拟世界中与第二用户的化身间具有可能与第二用户物理上存在并控制第二用户化身的实例相似的体验。 

在各示例性实施例中，诸如用户18之类的人类目标可以具有物体。在这样的实施例中，电子游戏的用户可以手持物体，使得可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子运动游戏中的屏幕上球拍。在另一示例性实施例中，可以跟踪并利用手持物体的玩家的运动来控制电子格斗游戏中的屏幕上武器。用户的姿势或运动可以被解释成可以与除控制玩家化身40之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。操作系统和/或应用的基本上任何可控方面都可以通过诸如用户18之类的目标的移动来控制。 

根据其他示例性实施例，目标识别、分析和跟踪系统10可以解释目标移动以用于控制操作系统和/或游戏领域之外的应用的各方面。用户的姿势可以是适用于操作系统、游戏的非游戏方面、或非游戏应用的控制。用户的姿势可被 解释成对象操纵，比如控制用户界面。例如，考虑具有从左向右垂直排列的叶片(blades)或选项卡式界面的用户界面，其中对每个叶片或选项卡的选中将打开应用或系统内的各种控制的选项。该系统可以标识出用户的移动选项卡的手姿势，其中物理空间中的用户的手实际上与应用空间中的选项卡对齐。包括暂停、抓取运动以及然后的手向左扫动在内的姿势可被解释成对选项卡的选中、以及然后将其移开以打开下一选项卡。类似地，该系统可以从用户在执行任何类型的应用的全部范围内的输入中学习该用户的行为。该系统可以模拟用户的化身使其根据该应用和任何其他应用中学习到的输入来作出行为。 

图2示出了可用于目标识别、分析和跟踪的捕捉设备20的示例性实施例，其中该目标可以是用户或物体。根据一示例实施例，捕捉设备20可以被配置成经由例如包括飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉具有包括深度图像的深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”，或与从深度相机沿其视线延伸的Z轴垂直的层。 

如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例性实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可表示深度值，比如例如所捕捉场景中的对象距相机的以厘米、毫米等为单位的长度或距离。 

如图2所示，根据一示例性实施例，图像相机组件22可以包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，并且然后可以使用传感器(未示出)、例如用3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。该相移然后可以用于确定从捕获设备20到目标或物体上的特定位置的物理距离。 

根据另一示例性实施例，可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。 

在另一示例性实施例中，捕捉设备20可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这样的变形可以被例如3-D相机26和/或RGB相机28捕捉，并且随后可被分析以确定从捕捉设备20到目标或物体上的特定位置的物理距离。 

根据另一实施例，捕捉设备20可以包括两个或更多个物理上分开的相机，这些相机可以从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。 

捕捉设备20还可以包括话筒30或话筒阵列。话筒30可以包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。附加地，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。 

在一示例性实施例中，捕捉设备20还可包括可与图像相机组件22有效通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。 

捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机26或RGB相机28所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据一个示例性实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可以被集成到处理器32和/或图像捕捉组件22中。 

如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，该时钟可用于确定何时捕捉例如场景。 

附加地，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像、以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如控制诸如游戏或文字处理程序之类的应用。例如，如图2所示，计算环境12可包括姿势库192。 

如图所示，在图2中，计算环境12可包括姿势库192和姿势识别引擎190。姿势识别引擎190可包括姿势过滤器191的集合。每个过滤器191都可包括一并定义姿势和该姿势的参数或元数据的信息。例如，包括一只手从身体背后到身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后到身体前方的移动的信息的姿势过滤器191，该移动将由深度相机来捕捉。然后可以为该姿势设置参数。在姿势是投掷的情况下，参数可以是该手必须达到的阈值速度、该手必须行进的距离(要么为绝对的、要么相对于用户的整体大小而言)、以及识别器引擎对发生了该姿势的置信度评级。用于姿势的这些参数可以因应用而异、因单个应用的各上下文而异、或者在一个应用的一个上下文内随时间变化。 

可以将由相机26、28和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器191进行比较，以标识出(如由骨架模型所表示的)用户何时执行了一个或多个姿势。由此，到诸如过滤器191之类的过滤器的输入可以包括诸如关于用户的关节位置的关节数据，如关节处相交的骨骼所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。如所提到的那样，可以为姿势设置参数。来自过滤器191的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及姿势发生的时间之类的内容。 

计算环境12可以包括处理器195，处理器195可处理深度图像来确定场景 中有什么目标，如房间中的用户18或物体。这例如可以通过将深度图像的共享相似距离值的像素编组在一起来实现。该图像也可被解析以产生用户的骨架表示，其中标识出诸如关节以及关节间流动的组织之类的特征。存在骨架映射技术，其使用深度相机来捕捉个人，并从中确定如下各项：该用户骨架上的多个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括：将图像变换成人的人体模型表示以及将图像变换成人的网格模型表示。 

在实施例中，处理是在捕捉设备20本身上执行的，并且深度和色彩(其中捕捉设备20包括3D相机26)值的原始图像数据经由链路36被传送给计算环境12。在另一实施例中，处理由耦合到相机402的处理器32来执行，并且然后经解析的图像数据被发送给计算环境12。在又一实施例中，原始图像数据和经解析的图像数据二者都被发送给计算环境12。计算环境12可以接收经解析的图像数据，但是它仍然可以接收原始数据以用于执行当前过程或应用。例如，如果场景的图像经过计算机网络被传送给另一用户，则计算环境12可以传送原始数据以供另一计算环境处理。 

计算环境12可以使用姿势库192来解释骨架模型的移动以及基于该移动来控制应用。计算环境12可以例如以诸如显示设备193之类的显示器上的化身或指针的形式来对用户的表示进行建模和显示。显示设备193可包括计算机监视器、电视机屏幕、或任何合适的显示设备。例如，相机控制的计算机系统可捕捉用户图像数据，并在电视机屏幕上显示映射到用户的姿势的用户反馈。用户反馈可以如图1中所示那样被显示为屏幕上的化身。化身的运动可直接通过将化身的移动映射到用户的移动来控制。用户的姿势可以被解释以控制应用的一定方面。 

根据一示例性实施例，目标可以是处于诸如站着或坐着等任何姿势的人类目标、具有物体的人类目标、两个或更多人类目标、一个或多个人类目标的一个或多个附加物等，所述目标可被扫描、跟踪、建模和/或评估以实现如下各项：生成虚拟屏幕、将用户与一个或多个所存储的简档进行比较、和/或在诸如计算环境12等计算环境中存储关于该目标的简档信息198。简档信息198可以为用户简档、个人简档、应用简档、系统简档的形式，或者为用于存储数据以供稍 后访问的任何其他合适的方法。简档信息198例如可以经由应用来访问，或者可以是在系统范围内可用的。简档信息198可以包括用于加载特定用户简档信息的查找表。虚拟屏幕可以与可由上面参照图1所述的计算环境12执行的应用进行交互。 

根据各示例性实施例，查找表可包括用户专用简档信息。在一个实施例中，诸如计算环境12之类的计算环境可在查找表中包括关于一个或多个用户的所存储的简档数据198。所存储的简档数据198尤其是可以包括：目标的所扫描的或所估计的身体大小、骨架模型、身体模型、语音样本或口令、目标年龄、先前的姿势、目标限制、以及目标对系统的标准使用，比如例如坐、惯用左手或惯用右手的倾向性，或站在非常靠近捕捉设备之处的倾向性。该信息可用于确定在捕捉场景中的目标与一个或多个用户简档198之间是否存在匹配，在一个实施例中，该匹配可以允许系统使虚拟屏幕适应于用户，或根据简档198来调整计算或游戏体验的其他元素。 

一个或多个个人简档198可被存储在计算机环境12中，并在多个用户会话中使用，或者一个或多个个人简档可以是仅为单个会话而创建的。用户可以具有建立简档的选项，其中他们可向系统提供信息，比如语音或身体扫描、年龄、个人偏好、惯用右手或左手、化身、姓名等。还可以为除进入捕捉空间以外不向系统提供任何信息的“访客”提供个人简档。可以为一个或多个访客建立临时的个人简档。在访客会话的结束时，可以存储或删除访客个人简档。 

如图2所示，计算环境12可以包括化身库196，该化身库196包括可选择以应用于用户化身的动画。用户简档198可以包括化身库，或者以其他方式与具有用户专用动画的化身库相关联。该查找表可以包括用户与各个上下文情形有关的行为和倾向性。该简档可以用于将动画应用于用户的化身，使得该化身密切地反映该用户的行为。 

化身库中的动画可以包括可应用于化身的任何特性。这些特性可以指示用户的行为。因此，被选择以供应用于用户行为的动画可以被选择为与用户的行为相对应。这些动画可以包括语音或话音模式、词汇、噪声音量、单词、体格特性、移动等等中的任一项或其任何组合。动画可以包括运动，这些运动可以是动态的，比如奔跑运动，或者该运动可以是静态的，例如在极少或没有运动 的情况下摆姿态的用户。化身库例如可以与特定用户相关联或者存储在用户简档中。 

化身库193中的动画可以是动画储存库。在一示例性实施例中，应用于化身的动画例如可以利用选自预先打包的动画库的动画(比如伴随着程序、应用或系统的动画)来动画化。被选择以供应用于用户化身的动画可以是与由该系统学习来反映某些行为的用户输入相对应的动画。例如，该系统可以标识出：用户倾向于在一定上下文中(比如在游戏应用中获得胜利时)上下跳动。因此，当系统标识出诸如游戏的类似状态(比如胜利)之类的一组类似上下文情形时，该系统可以选择反映上下跳动的动画并将该动画应用于用户的化身。可以为应用或为系统定义预先录制的动画。例如，上下跳动的动画可以适用于游戏应用，但是应用于化身的打开/关闭文件的动画可以是相同的系统范围。 

化身库中的动画可以是由系统或用户输入或记录的动画。该系统允许用户重写动画储存库或向动画储存库进行添加。例如，该系统或用户可以重写储存动画以反映例如由捕捉设备所捕捉到的用户的实际运动或行为。因此，可以将动画添加到或重写在化身动画库中，使得所应用的动画适应于所捕捉的有关特定用户的数据。在上下跳动的动画的实例中，该系统可以通过记录用户的实际运动来重写上下跳动的标准动画或缺省动画。因此，可应用于用户化身的上下跳动的动画与用户的实际运动相适应。 

该系统还可以在化身库中存储与用户的输入相关的数据。该化身库可以包括对用户的行为和/或与这些行为相对应的情形的指示。例如，该情形可以是指示与用户行为相关的上下文的上下文情形。该上下文情形可以包括可以与用户行为相关或不与用户行为相关的场景的任何可标识特征。该系统可以跟踪与用户行为有关的上下文情形，并且标识出上下文情形与用户行为的倾向性之间的相关性。 

上下文情形例如可以包括用户的环境的条件，包括用户的物理或虚拟环境、存在于该物理空间中的其他用户、游戏的状态、应用的结果、用户的活动或不活动的状态等等。用户的环境的条件可以包括由捕捉设备所捕捉到的场景的物理特征，比如墙壁的颜色、房间中的家具、照明等等。用户的环境的条件可以包括该环境的虚拟条件，比如屏幕上的动画(例如在滑雪游戏应用中显示 的虚拟山脉)。应用的状态可以包括应用的任何状态，比如应用是否被暂停、应用已经执行的时间量、所需的技能等级(比如游戏应用中)等等。应用中的结果例如可以是代码是否成功通过调试器，或者游戏应用中的玩家在游戏中是获得胜利还是失败。 

姿势库和过滤器参数可由姿势工具为应用或应用的上下文调节。该系统可以标识出并存储应用的上下文，并且将这些上下文与用户的输入相关。使用所述上下文信息，该系统可以将用户的某些行为与上下文相关。通过这种方式，该系统可以智能地将动画应用于化身，使得该化身用类似的行为来对上下文情形进行响应。 

上下文可以具有该上下文的可标识情形(即上下文情形)，并且可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来传递明显不同的含义。例如，希望向另一个用户告知“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的末端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的指代。 

类似地，在单个应用的不同环境之中可能存在不同的上下文或上下文情形。以涉及操作摩托车的第一用户射击游戏为例。当用户在步行时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。关于对视觉表示的修改，不同的姿势可根据环境而触发不同的修改。不同的修改触发姿势可用于进入应用专用修改模式或系统范围修改模式。每个修改模式都可以与对应于该修改模式的独立的姿势集打包在一起，作为修改触发姿势的结果进入所述修改模式。例如，在保龄球游戏中，挥动手臂运动可以是被标识为挥动保龄球以便向下释放到虚拟保龄球道的姿势。然而，在另一应用中，挥动手臂运动可以是被标识为请求延长屏幕上所显示的用户化身的手臂的姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的角色装备中进行选择或执行类似的不包括直接玩游戏的动作。在该环境中，该游戏姿势可具有第三个含义，比如选择某样东西或前进到另一屏幕。 

包括与特定用户相对应的化身库或同应用一起被预先打包的化身库在内 的化身库可以是对应用、跨应用、或系统范围内可访问的。例如，该系统可以标识出用户在各个应用的范围内的行为。该系统可以收集与用户在各应用内的行为相关的所有数据，并且将这些数据存储在普遍可接受的化身库中。然后，该系统可以访问化身库，并且在任何情形下将来自化身库的动画应用于化身。 

姿势可以被识别成修改化身库中的动画的请求。多个姿势各自都可以表示修改特定动画的请求。该系统可以提示用户执行针对特定动画的所期望的运动。因此，用户可以通过在物理空间中作出被识别成修改姿势的姿势来主动地修改可能与该用户相关联的化身库。例如，如上所述，可以将用户的运动与姿势过滤器(诸如图2中的姿势过滤器191)进行比较。姿势过滤器191可以将修改姿势196中的修改姿势的信息包括在姿势库192中。 

姿势可以被一起编组到互补姿势的风格包中，这些互补姿势可能被该风格的应用使用。互补姿势-要么如通常一起使用的那些姿势中那样是互补的，要么如一个姿势的参数的改变将改变另一姿势的参数中那样是互补的-可被一起分组到风格包中。这些包可被提供给应用，该应用可选择至少其中一个。应用可调节或修改姿势或姿势过滤器191的参数来最佳地适合应用的独特方面。当调节该参数时，也调节该姿势或第二姿势的第二互补参数(在相互依赖的意义上)使得这些参数保持互补。用于视频游戏的风格包可包括诸如第一用户射击、动作、驾驶和体育等风格。 

姿势库190、姿势识别引擎192、化身库196、以及简档198可以用硬件、软件或两者的组合来实现。例如，姿势库192和姿势识别引擎190可被实现为在计算环境12的诸如处理器195等处理器上(或在图3的处理单元101或图4的处理单元259上)执行的软件。 

要强调的是，以下描述的图2和图3-4中描绘的框图是示例性的，且不旨在暗示一具体实现。由此，图1的处理器195或32、图3的处理单元101、和图4的处理单元259可被实现为单个处理器或多个处理器。多个处理器可以分布式或集中式地定位。例如，姿势库190可被实现为在捕捉设备的处理器32上执行的软件，或者它可被实现为在计算环境12中的处理器195上执行的软件。构想了适用于执行此处公开的技术的处理器的任意组合。多个处理器可无线地、经由硬连线、或以其组合来通信。 

此外，如此处所使用的，计算环境12可以指的是单个计算设备或计算系统。计算环境可包括非计算组件。计算环境可包括显示设备，如图2所示的显示设备193。显示设备可以是与计算环境分开但与其耦合的实体，或者显示设备可以是例如进行处理和显示的计算设备。由此，计算系统、计算设备、计算环境、计算机、处理器或其他计算组件可被互换地使用。 

图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU101可被设置成具有一个以上的内核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。 

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。 

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器138和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。 

提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱 动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/0控制器120。 

系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。 

前面板I/0子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。 

CPU101、GPU108、存储器控制器110、以及多媒体控制台100内的各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。 

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。 

多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。 

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制 台操作系统作系统使用。这些资源可以包括存储器保留量(例如，16MB)、CPU和GPU周期保留量(例如，5％)、网络带宽保留量(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。 

具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。 

对于GPU保留量，通过使用调度代码来将弹出窗口呈现为覆盖图的GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。 

在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程或者游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存分裂最小化。 

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频级别(例如，静音、衰减)。 

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义附加输入设备。 

图4示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对当前公 开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件还是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。 

在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。 

计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CDROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器 238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。 

以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。 

计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。 

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器 250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。 

计算机可读存储介质可以包括用于修改视觉表示的计算机可读指令。该指令可包括用于呈现视觉表示、接收场景的数据、以及基于用户的修改姿势来修改视觉表示的指令，其中该数据包括表示物理空间中用户的修改姿势的数据表示，该修改姿势是映射到用于修改视觉表示的特性的控制的姿势。 

图5A描绘了可从捕捉设备20所捕捉的图像数据生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼：每一手502、每一前臂504、每一肘506、每一二头肌508、每一肩510、每一髋512、每一大腿514、每一膝516、每一小腿518、每一足520、头522、躯干524、脊椎的顶部526和底部528，以及腰530。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或面部的各个特征，如鼻和眼。 

用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿态，如在一个人的躯干524前面交叉握住他的前臂504。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手502，或是较微小的运动，如撅起一个人的嘴唇。 

用户的姿势可用作一般计算上下文中的输入。例如，手502或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。例如，用户能以手指向上指且掌心面向捕捉设备20来使他的手保持不动。他然后可以将手指朝向手掌收拢来形成拳头，并且这可以是指示基于窗口的用户界面计算环境中的焦点窗口应被关闭的姿势。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手502和脚520的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。由此，姿势可指示映射到所显示的用户表示的、在诸如视频游戏、文本编辑器、文字处理、数据管理等各种各样应用中的各种各样的运动。 

用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。例如，用户可另选地提起并放下每一腿512-520来在不移动的情况下模拟行走。系统可通过分析每一髋512和每一大腿514来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。 

给定“行走或奔跑”姿势，应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。 

姿势最初可以与一组默认参数相关联，应用可用其自己的参数来覆盖该组默认参数。在这一场景中，不迫使应用提供参数，而是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。与姿势有关的信息可被存储用于预先录制的动画的目的。 

存在可以与姿势相关联的各种输出。可以存在关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入时，它可仅使用那些具有高置信度水平，如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0.2的那些姿势。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。 

另一示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚520完全离开地面。该系统可通过分析肩510、髋512和膝516的角度关系来解析该姿势的骨架，以查看它们是否是等于直立的对齐位置。然后， 可监视这些点和较高526和较低528脊椎点来发现任何向上加速。足够的加速度组合可触发跳跃姿势。加速度与某一姿势的足够的组合可满足转变点的参数。 

给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的参数设定值。参数可包括上述加速度阈值，其确定用户的肩510、髋512和膝516的某种组合必须向上移动多快来触发该姿势；以及包括肩510、髋512和膝516之间仍可触发跳跃的最大对齐角。输出可包括置信度水平，以及用户在跳跃时的身体角度。 

基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。 

应用可以为与各种转变点相关联的参数设置值来标识出使用预先录制的动画的点。转变点可由各种参数来定义，如某一姿势的标识、速度、目标或物体的角度、或其任何组合。如果转变点至少部分地由特定姿势的标识来定义，则正确地标识姿势有助于提高转变点的参数已被满足的置信水平。 

对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下，该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂502-510到全长同时作出抓握姿势。在这一情形中，用户仅部分地伸展他的手臂502-510的类似的抓握姿势可能无法达到与球交互的结果。类似地，转变点的参数可以是对抓握姿势的标识，其中如果用户仅部分地伸展他的手臂502-510，从而没有实现与球交互的结果，则用户的姿势将不满足转变点的参数。 

姿势或其一部分可将它必须在其中发生的空间体作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩510a、且与投掷手臂502a-310a在头522的相同侧的空间体中识别。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。 

图5B提供了图2的姿势识别器引擎192的一个示例性实施例的进一步细 节。如图所示，姿势识别器引擎190可包括用于确定一个或多个姿势的至少一个过滤器519。过滤器519包括定义姿势526(以下称为“姿势”)的信息，并可包括例如用于该姿势526的至少一个参数528或元数据。例如，包括一只手从身体背后越过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后越过身体前方的移动的信息的姿势526，该移动将由深度相机来捕捉。然后可设定该姿势526的参数528。在姿势526是投掷的情况下，参数528可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及由识别器引擎192进行评级的姿势526发生的置信度。姿势526的这些参数528可以因应用而异、因单个应用的上下文而异、或在一个应用的一个上下文内随着时间而变化。 

过滤器可以是模块化的或是可互换的。在一实施例中，过滤器具有多个输入和多个输出，这些输入中的每个都具有一类型，这些输出中的每个都具有一类型。在这一情形中，第一过滤器可用与第一过滤器具有相同数量和类型的输入和输出的第二过滤器来替换，而不必更改识别器引擎190体系结构的其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势526正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。 

过滤器不需要具有参数528。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。 

对过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。 

上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来传递明显不同的含义。 例如，希望向另一个用户告知“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的末端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的指代。 

类似地，在单个应用的不同环境之中可能存在不同的上下文。以涉及操作摩托车的第一人称射击游戏为例。当用户在步行时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的角色装备中进行选择或执行类似的不包括直接玩游戏的动作。在该环境中，该相同的姿势可具有第三个含义，比如选择某样东西或前进到另一屏幕。 

姿势识别器引擎190可具有向姿势过滤器519提供功能的基础识别器引擎517。在一实施例中，识别器引擎517实现的功能包括跟踪已识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知参数的马尔可夫过程-其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其它过去状态信息的过程，并且隐藏参数从可观察数据来确定)、以及求解姿势识别的特定实例所需的其他功能。 

过滤器519在基础识别器引擎517之上加载并实现，并且可利用引擎517提供给所有过滤器519的服务。在一实施例中，基础识别器引擎517处理所接收到的数据来确定它是否满足任何过滤器519的要求。由于这些诸如解析输入等所提供的服务是由基础识别器引擎517一次性提供而非由每一过滤器519提供的，因此这一服务在一段时间内只需被处理一次而不是对该时间段对每一过滤器519处理一次，由此减少了确定姿势所需的处理。 

应用程序可使用识别器引擎190所提供的过滤器519，或者它可提供其自己的过滤器519，该过滤器被插入到基础识别器引擎517中。在一实施例中，所有过滤器519具有启用该插入特性的通用接口。此外，所有过滤器519可利用参数528，因此可使用如下所述的单个姿势工具来调试并调节整个过滤器系统519。 

这些参数528可由姿势工具521为应用或应用的上下文来调节。在一实施 例中，姿势工具521包括多个滑块523以及身体524的图表示，每一滑块523对应于一参数528。当用相应的滑块523来调整参数528时，身体524可展示将被识别为具有这些参数528的姿势的动作以及将不被识别为具有这些参数528的姿势的动作，如所标识的。姿势的参数528的这一可视化提供了调试并细调姿势的有效手段。 

图6A和6B描绘了可包括捕捉设备608、计算设备610和显示设备612的系统600。在此示例中，深度相机608捕捉用户602所在的物理空间601中的场景。出于此处描述的目的，显示设备612被示为图6A中的显示设备612a和图6B中的显示设备612b，并且用户602被示为图6A中的用户602a和图6B中的用户602b。深度相机608处理深度信息，和/或向诸如计算机610等计算机提供深度信息。深度信息可被解释以供显示用户602的视觉表示。例如，深度相机608或如所示的其耦合到的计算设备610可向显示器612a、612b输出。在该示例中，用户602正在玩足球游戏应用。 

捕捉设备608、计算设备610和显示设备612a、612b各自都可以包括执行所期望功能的任何合适的设备，比如参照图1-5B所描述的设备。构想单个设备可以执行系统600中的全部功能，或者合适的设备的任何组合可以执行所需的功能。例如，计算设备610可以提供参考图2所示的计算环境12或图3中的计算机所描述的功能。如图2所示，计算环境12可包括显示设备和处理器。计算设备610还可包括其自身的相机组件，或者可以耦合到具有相机组件的设备，比如捕捉设备608。 

用户602的视觉表示可以采取任何形式，比如动画、角色、化身等。例如，诸如用户602之类的目标的视觉表示可以最初是可被雕刻为期望的形状和大小的数字泥塑块、或选自化身存储库的角色表示。例如，在棒球游戏应用中，用于可视地表示用户602的选项可采取任何形式，从知名棒球运动员的表示、到一块太妃糖或者大象、到诸如光标或手部符号之类的想象的角色或符号。视觉表示可以表示用户602的特征与动画或存储模型的特征的组合。例如，用户602可以从游戏应用所提供的各种存储模型中进行选择。该系统可以将用户的特征应用于所选的存储模型。视觉表示可以是应用专用的，诸如与程序打包在一起，或者视觉表示可以是跨应用可用的或在系统范围内可用的。 

在图6A和6B中所示的显示在显示设备612a上的示例性视觉表示是具有与用户602的特征相似的特征的化身606的视觉表示。图6A和6B示出了处于两个不同帧或时刻的化身606，该化身606在图6A中由化身606a表示并且在图6B中被表示成化身606b。尽管可以捕捉和显示附加图像数据帧，但图6A和6B中描绘的帧是出于示例性的目的来选择的。捕捉并显示图像数据帧的速率可确定视觉表示的所显示的运动的连续性水平。 

系统600可捕捉有关物理空间601的信息，诸如深度信息、图像信息、RGB数据等。根据一个实施例，图像数据可包括深度图像或来自深度相机608和/或RGB相机的图像，或者任何其他检测器上的图像。例如，相机608可处理图像数据，并使用它来确定目标的形状、颜色和大小。可扫描与人类图案(pattern)相匹配的每个目标或物体以生成模型，诸如骨架模型、泛色模型、网格人类模型、或与其相关联的模型。例如，如上所述，可使用深度信息来生成用户的骨架模型(诸如图5A中所示的)，其中该系统标识用户的身体部位(如头和肢体)。使用例如与人类目标相关联的多个观察到的像素中的深度值和人类目标的一个或多个方面的延伸范围，如身高、头宽、或肩宽等，可确定人类目标的大小。 

系统600可以通过分析所捕捉的数据并将其翻译成骨架模型来跟踪用户的肢的移动。然后系统600可跟踪该骨架模型并将每个身体部位的移动映射到该视觉表示的相应部分。例如，如果用户602挥舞他或她的臂，则该系统可捕捉该运动并将其应用于化身606的臂，使得所述虚拟化身也挥舞它的臂。此外，系统600还通过评估用户在单个捕捉数据帧中或在一系列帧中的位置来从用户的运动中标识出姿势，并将该姿势应用到该视觉表示。 

系统可以使用诸如扫描数据、图像数据或深度信息之类的所捕捉的数据来标识出指示用户的行为的特性以学习用户的行为。例如，系统可以具有捕捉设备，该捕捉设备捕捉关于物理空间中的用户的数据。该系统可以通过收集和存储关于指示用户行为的特性(比如用户的体格特征、倾向性、语音模式、习惯、词汇、语音命令、语音波动、响应、行为、姿势等等)的数据的历史来标识出用户的行为，并且标识出可以得出一定用户行为的情形，比如上下文情形。该系统可以记录或存储关于与用户行为相关联的上下文情形的数据的历史，比如 系统状态、游戏或应用状态、或者场景的任何其他特征。另外，该系统可以评估该场景并且得出上下文情形与用户的行为之间的相关性以确定用户在不同场景下的倾向性。例如，该系统可以学习用户的语音在一定情形下如何波动，或者用户在该用户不是执行中的应用中的活动参与者时如何站立。 

所期望的可能是，即使在实际用户不在场的情况下仍然使该用户的化身动画化。例如，当用户处于该物理空间中时，所期望的可能是提供表示该用户并能够根据该用户的行为(这由该系统来学习)来作出行为的化身。因此，即使在缺席用户未存在于该物理空间中的情况下，该系统仍然可以访问历史数据，并将指示该用户的行为和倾向性的动画应用于化身。例如，该系统可以将动画应用于缺席用户的化身，使得该缺席用户的化身与该缺席用户相对应地移动、交谈、使用语言等等。这允许第二用户具有与该缺席用户的化身间的虚拟体验，其中该虚拟体验将类似于该缺席用户在场并与该系统交互时的实例。 

系统600可以随着时间继续学习用户的倾向性，并且用指示用户的行为和倾向性的特性、以及用上下文情形连续地更新用户的化身库。上下文情形可以与某些用户行为相关，其中该用户可以以可标识的方式来对某些上下文情形作出响应。该系统可以智能地将动画应用于用户的化身606，使得化身606根据该用户的行为来作出行为和响应。随着系统从用户的输入中收集到更多数据，化身可以在具有用户的体格特征、行为、情感、话音模式、倾向性、语音模式等等的各方面的情况下变得越来越接近地反映用户。因此，对化身训练要执行的动画可以包括：学习来自用户的输入；以及将化身建模为与用户相似。用户可能未存在于该物理空间中，但是用户的化身可以变成与用户如此接近的类似物，以至于好像该用户在场和/或正在控制该化身。 

指示用户行为的特性的身份可包括可与特定用户602相关联的信息，比如行为倾向性、话音模式、面部表情、骨架移动、说出的单词、历史数据、语音识别信息等等。用户的特性可包括该用户的体格特征，比如：眼睛大小、类型和颜色；头发长度、类型和颜色；肤色；服装和服装颜色。例如，可以基于相应的RGB图像来标识颜色。人类目标的其他目标特性可包括例如身高和/或臂长，并且可以基于例如身体扫描、骨架模型、用户602在像素区域上的延伸范围或任何其他合适的过程或数据来获得。计算系统610可使用身体识别技术来 解释该图像数据并且可以根据用户602的附肢的大小、形状和深度来确定用户602的视觉表示的大小和形状。 

该系统可以主动或被动地学习用户的行为。在图6中，化身606是用户602的接近物理表示，该物理表示具有适用于足球游戏应用的所添加的特征和动画(例如门柱和球网609、球607等等)。用户602是足球游戏应用中的活动的玩家，并且第二用户603是不活动的玩家，但是二者都可以处于该物理空间中。如在此所使用的那样，不活动仅仅是指用户603在该示例中当前未执行姿势以控制应用的各方面。一次可以有一个以上用户为活动的。可替代地，该系统可以一次允许一个活动的用户。在该示例中，不活动的玩家603正在等待他或她的轮次，而当前玩家602a正在作出姿势以控制显示器612a上的化身606a。 

活动的玩家学习是与姿势或应用的控制相关联的学习，并且可以包括从用户602a、603任一或二者学习行为。活动的玩家学习描述了诸如用户602或用户603之类的用户何时执行特定的运动或姿势，并且该系统标识出指示与用户的姿势相关联的用户行为的特性。姿势可以包括动态或静态移动以及语音命令，并且可以被执行以控制该系统或执行中的应用的各方面。例如，在图6A中，用户602a在物理空间601中的运动包括向左的俯冲接球(dive)运动，其中手臂向左伸出。该姿势可以被识别成足球守门员动作，并且可以导致控制化身606a的动画。该姿势的结果可以被识别成游戏中的失败或成功(例如该姿势可能导致足球游戏应用中的失败/成功)。系统600可以标识出姿势本身的各方面和与姿势相对应的行为，并且将这些方面或行为与用户相关联。 

图6描绘了系统可以主动地学习与姿势相关联的用户行为的示例性场景，其中该用户正在执行足球游戏应用中的姿势。系统600可以标识出姿势本身的各方面或与姿势相对应的行为，并且将这些方面或行为与用户相关联。通过这种方式，可以将姿势数据或用户的与姿势相对应的行为应用于化身，使得动画适应于特定的用户。在该示例中，用户602正扮演足球守门员的角色。如果在用户602执行了导致球607不进入球网609的守门员姿势的大多数时间该用户还进行舞蹈，则该系统可以标识出该用户的行为(例如该舞蹈)并该行为与上下文情形(例如足球守门员姿势和该姿势的成功结果)相关。因此，该系统可以将用户的行为与游戏的状态相关。在另一示例中，如果用户倾向于在网球游 戏应用中在作出击中网球的姿势时张开他的嘴或者该用户倾向于在该网球游戏应用中在发球姿势期间发出哼声(grunt)，则该系统可以在姿势数据中包括指示该用户在执行该姿势时发生的其他行为的信息。 

该系统可以存储与用户的行为相对应的动画，比如用户舞蹈的动画。该系统可以在用户的简档中存储表示该动画与某些上下文情形(比如姿势的执行和/或游戏的状态)相关的指示。类似地，该系统可以标识出用户面部表情、身体姿势、语言等等的与用户的姿势、应用的状态、或任何其他可标识上下文情形(包括空闲状态)相关的倾向性，并且例如在用户的简档或化身库中指示该相关性。在未来，当用户执行姿势并且该姿势导致游戏的类似状态(例如成功使球免于进入球网)时，该系统可以将舞蹈动画应用于用户的化身。类似地，如果用户未在场，则该系统可以呈递该用户的化身，并且比如通过将姿势和与这些姿势相关联的动画应用于该化身来经由该化身模拟该用户的参与。在该示例中，该系统可以标识出历史数据，并且还在合适的上下文情形下将舞蹈动画应用于该用户的化身。因此，即使该系统未使用实时地针对该用户捕捉的数据，该用户的化身仍然可以基于历史数据来表示该用户的接近相似物。 

当用户为不活动时，比如当用户在该物理空间中自然地行动、其中用户的行为可能不对应于姿势时，该系统可以被动地学习用户的行为。该系统可以被动地检测用户在这样的情形下的行为，比如用户的倾向性、响应、空闲活动等等。在被动学习期间，该系统可以捕捉用户在该用户自然行动时的数据。例如，在被动学习期间，用户可能未与该系统交互，或者可能在游戏应用中轮到了另一玩家。被动玩家训练可以包括：系统学习玩家在用户在整个体验过程中为空闲时如何作出行为(例如身体姿势、面部表情、动作、讲出的单词、语音波动)。例如，在图6中，物理空间601中的第二用户603未主动地与第一用户602正在玩的足球游戏应用交互。第二用户603在空闲时为就座的，并且用户603的头抵靠在用户603的手上。该系统可以学习该用户在这样的场景中的习惯，并且将其添加到该用户的化身库。 

该系统可以学习用户在这样的情形下的任何自然或空闲行为，并且将其与该用户相关联。例如，该系统可以标识出玩家如何行走，并且在该用户的化身库中将该运动保存为行走动画。该系统可以在活动期间在各种情形和场景中观察和监听用户，所述情形和场景可能不涉及该系统或执行中的应用的姿势或其 他活动控制。例如，当用户在玩远程游戏体验中问候朋友时，该系统可以检测到：该用户通常用诸如“嗨，伙计，你还好吗？”之类的典型问候来问候朋友。同一用户可以用诸如“你好，我叫...”之类的问候来问候不认识的玩家。该系统可以使用包括语音波动、所讲出的单词、以及任何其他运动在内的所捕捉数据，并且将其添加到该用户的化身的化身库。 

化身库可以包括经预先打包的动画，所述动画可以应用于化身以表示用户的姿势或任何其他用户行为。通过被动学习，该系统可以更新、添加、或重写化身库中的动画。该系统或用户可以完全地修改动画的各方面，添加、更新、重新编写、重写或删除化身库中的条目。例如，用户可能未与该系统交互或作出对应用的任何控制的姿势。用户可以为空闲的，而另一用户在该应用中为活动。该系统可以将表示空闲行为的标准动画应用于用户的化身，比如将空闲用户的化身动画化为静坐，并且观察活动用户在物理空间中的执行。然而，该系统可以捕捉与空闲用户在该用户在游戏应用中为空闲时的实际行为相关的数据。该系统可以记录用户的行为并将其添加到化身库中针对该用户的空闲动画的条目。该系统可以用该系统所记录的表示该用户的行为的动画来重写针对空闲行为的标准动画。 

例如，该系统可以识别：当图6A中所示用户603为空闲或不活动时，用户603倾向于将该用户的头搁在该用户的右手上。该系统可以将与此相关的数据存储在与该用户相关联的简档或化身库中。动画可以表示对化身库的添加，或者可以是对空闲活动的缺省动画的重写。然后，该系统可以为此将该效果的动画应用于化身611，比如图6B中所示的化身611的动画，其中该化身为就座的，同时该化身的头放在化身的右手上。然后，该系统可以随时间识别：用户603更经常地将他或她的头抵靠在该用户的左手上，或者倾向于经常在空闲时在两个手之间进行切换。因此，该系统可以继续细化化身库和化身库中的动画以更接近地表示所标识出的用户的倾向性。该系统还可以保持原始动画数据，并且将重新定义的动画添加到该用户的化身库，从而提供多个动画以供选择。 

图6B描绘了图6A中所示的系统600。图6B描绘了仅用户602在物理空间601中的的示例。在该示例中，同一用户602在物理空间601中作姿势，从而导致用户的化身606b的动画，该动画表示与应用于图6A中的化身606a的 姿势类似的守门员姿势。然而，在该示例中，用户602在物理空间中的运动不同于由图6A中的用户602所执行的运动，但是相同的姿势被标识出并且由化身606a和606b二者来表示。 

标准姿势包是系统和应用开发者可从中将姿势识别并入到他们的系统和/或应用中的姿势。该系统可以修改姿势的各方面或完全重写姿势。例如，该系统可以通过重新定义对应于特定姿势的运动来修改该运动。例如，用户602b可能受伤，并且不能如图6A中所示用户602a之前所执行的那样在物理空间601中俯冲接球。该系统可以识别该用户的变化的运动，或者该用户可以请求修改姿势数据。例如，该系统可以向用户提示作为示范的基本录制姿势或语音命令，并且该用户可以执行该姿势的用户自己的版本或语音命令。为了重新定义姿势，用户602可以执行图6B中所示的运动，该运动包括站立姿势、向左倾斜、以及向该侧挥出手臂。该系统可以用用户定义的姿势数据来暂时地或持久地重写缺省姿势数据。该系统还可以保持原始姿势数据，并且将重新定义的姿势添加到该用户的化身库，从而提供在该应用中提供类似结果的多个姿势。在重新定义或添加姿势以后，该系统可以捕捉关于物理空间中的用户的数据，并且能够从该数据中确定该用户是否执行了重新定义或添加的姿势。 

类似地，主动用户学习可以包括标识出用户的姿势，其中该姿势本身是对如下内容的提示：修改化身库中的动画和/或修改由该系统标识出并且与该用户相关联的行为。例如，该用户可以通过执行姿势、或者进入预先打包的动画的修改模式来发起对动画的修改、或者发起动画到化身库的添加。该系统可以向用户提示作为示范的基本录制动画或语音命令，并且该用户可以执行该动画的用户自己的版本或者提供语音样本。 

例如，该系统可以将动画应用于与用户603相关联的化身611，该动画包括就座姿势，同时该化身的头抵靠在该化身的手上，这类似于图6B中所示的动画。该系统可以识别：当该用户为空闲时或者当该用户在该物理空间中执行类似运动时，该用户倾向于如图6A中所示那样确定他或她自己的位置。然而，该用户可能希望修改指示在该用户在该用户空闲时的该行为的历史数据。该用户可以执行姿势以发起对历史数据和/或在特定上下文情形下(例如空闲活动)应用于用户化身的动画的修改。该系统可以用与特定上下文情形相关联的当前 动画提示用户，并且该用户可以执行该动画的不同版本以用于重写化身库中的该动画。 

在该系统或用户添加、更新或重写姿势或动画数据的两个场景中，该系统都可以记录用户的输入并且确认重新定义的姿势或动画数据。例如，如果用户执行“挥舞”姿势，则该系统可以通过上述姿势识别引擎来检测出该运动对应于“挥舞”姿势。该系统可以检测出该姿势启动和停止的位置，并且提示用户在物理空间中执行新运动以重新写入当前“挥舞”姿势数据和/或创建与用户的所记录的运动相对应的附加的“挥舞”姿势。 

该系统可以确定该用户的所记录的运动。例如，在被标识为针对青少年的游戏应用中，如果用户为姿势建议的运动包括社会上不接受的运动(比如粗鲁运动)，则该系统可以不确认针对该姿势的用户运动。因此，该系统可以标识出不期望的以及不应由用户的化身来反映的用户行为。考虑足球游戏应用，其中用户扮演足球守门员的角色。该系统可以标识出在用户执行守门员姿势并且其结果是失败(即球进了球网)时该用户进行辱骂或作出猥亵姿势的倾向性。因此，该系统可以在这些上下文情形下选择不同动画来应用于化身，比如来自该用户的化身库的用户专用动画、或者来自通用化身库的通用动画。当该系统标识出守门员姿势和游戏的状态(例如未能救球)时，该系统可以被调整为将非猥亵动画应用于该化身，而不是化身模仿由该用户在物理空间中作出的动作。类似地，该系统可以使该行为无效，并且不将其作为动画包括在将动画应用于用户的化身时从中进行选择的化身库中。因此，一些行为或对这样的行为的指示可以不被存储以供以后使用。 

图6B描绘了无论用户实际是否处于该物理空间中该系统都可以将用户的行为和倾向性应用于化身的示例。在图6B中，化身611表示图6A中的用户603。然而，用户603不再处于图6B中的物理空间601中。当用户未处于该物理空间中时，所期望的可能是提供表示该用户并能够根据该用户的行为(这由该系统来学习)来作出行为的化身。例如，即使在用户离开该房间并且不再处于该系统的跟踪视野内时，该系统仍然可以继续显示用户的化身，并且将与该用户的倾向性和行为相对应的动画应用于用户的化身。考虑游戏应用，其中第一用户选择玩与第二用户对抗的游戏，但是该第二用户可以处于或未处于该物 理空间中。该系统可以基于该第二用户的简档来模仿第二用户，从而反映出该用户的体格特性、倾向性、行为和其他特性。例如如果技能等级适用于该应用，则第二用户的能力可以被模仿。因此，第一用户可以具有与第二用户的化身间的、将与第二用户实际存在于该物理空间中和/或与该系统交互时的情况相似的体验。该系统可以将动画应用于第二用户的化身，使得第二用户的化身与第二用户相对应地移动、交谈、使用语言等等。 

可以从用户的在先输入和/或由该系统随时间所捕捉的关于用户603的数据中标识出用户603的行为。该化身越来越多地反映用户在物理空间中的各方面，包括与用户的特征、行为、倾向性、语音模式等等相关的各方面。例如，该系统可以学习用户的倾向性，并且智能地将动画应用于用户的化身，使得化身根据所标识出的该用户的倾向性来作出行为和响应。因此，对化身训练要执行的动画可以包括：学习来自用户的输入的历史；以及将化身建模为与用户相似。 

该系统可以学习用户如何响应各个场景并且捕捉该用户的特性的状态。例如，如果用户在游戏应用期间空闲地站着，其中另一用户是活动的玩家，则该系统可以检测出在该用户不为活动玩家时该用户可能参与的身体姿势和活动。该用户可能喝饮料，靠墙空闲地站着，观看活动的玩家或屏幕，读书或任何其他活动。例如，普遍的可能是该用户在不是活动的玩家时读书。该系统可以识别该倾向性并且将与该倾向性相关的信息存储在该用户的简档中。 

在图6A中，该系统可能已经检测到用户603的肢体语言、确定的位置、讲出的语言等等，而用户603当时正在观察主动地参与足球游戏应用的用户602。该系统可以具有关于用户603的随时间段所捕捉到的其他历史数据。在图6B中，用户603未处于物理空间601中，然而，该用户的化身611可以显示在显示设备612上。该系统可以将与所采集的用户603的行为的历史数据相对应的动画应用于用户的化身611。因此，该系统可以将用户的化身611描绘为与用户在为游戏中的非活动玩家时通常作出的行为相类似的就座姿势。该系统可以提供附加的动画，比如将用户放置在可能存在于典型足球游戏中并且可以是足球游戏的典型观众就座之处的座位或看台上。 

该系统可以把与该用户的输入相关的数据存储在诸如图2所示的化身库 196之类的化身库中。姿势库例如可以与特定用户相关联或者存储在诸如简档198之类的用户简档中。如上所述，该系统允许用户重写动画存储库或向动画存储库进行添加。在另一示例性实施例中，库中的动画可以是由用户输入和记录到化身库中的动画。例如，该系统或用户可以重新编写动画以反映用户的例如由捕捉设备所捕捉的实际运动或行为。因此，可以在化身动画库中添加或重写动画。 

该系统还可以包括普遍或通用化身库，该普遍或通用化身库包括动画储存库。在一示例性实施例中，应用于化身的动画例如可以是选自预先打包的动画库的动画，比如伴随着程序、应用或系统的动画。所选的动画可以是与系统学习到的用户输入相对应的动画以反映某些行为。可以为应用或为系统定义预先录制的动画。例如，应用于化身的打开/关闭文件动画可以是相同的系统范围。 

包括与用户相对应的化身库的各化身库可以是对应用、跨应用、或在系统范围内可访问的。例如，该系统可以标识出用户在各个应用的范围内的行为。该系统可以收集与用户在应用的范围内的行为相关的所有数据，并且将其存储在普遍可接受的化身库中。然后，该系统可以访问化身库，并且在任何情形下将来自化身库的动画应用于化身。例如，该系统可以标识出：在用户不是游戏中的活动玩家时该用户通常咬他或她的手指甲。因此，当用户在非游戏应用执行期间与该系统交互时，该系统可以在用户与应用的交互存在延迟时(比如在该用户正等待文件被保存或者该用户正等待对软件运行调试器时)将咬指甲的动画应用于该用户的化身。 

该系统可以在任何时间显示用户的化身，并且在任何时间将反映该用户的行为的动画应用于该化身。随着时间的过去，该系统可以在具有或不具有来自用户的帮助的情况下将用户的动画应用于任何类型的场景。例如，使用化身库和与用户的行为相关联的所存储数据，该系统可以在没有来自用户的输入的情况下使用用户的所标识出的语音模式和音量来生成语音邮件消息。该系统可以在将动画应用于应用的仪表板中的化身、与朋友通信的化身、游戏应用中的化身等等时模仿用户的行为。用户可能正在控制或未控制该化身——更确切而言，该系统可以提供用户的化身的可能性。无论特定用户是否存在于该物理空间中，该系统都可以将动画应用于与该特定用户相关联的化身。例如，该用户可 能正在文字处理应用中编写文档，并且该系统可以将与该用户相似的化身显示和动画化在屏幕上。该系统可以应用来自该用户的化身库的动画。 

该系统可以标识出：该用户的行为因应用而异或者在不同环境间变化。例如，在游戏应用中，用户可以在另一用户是游戏中的活动玩家时观看和观察显示器和/或该另一用户。然而，在非游戏应用中，用户例如可能在另一用户为活动时或者在应用正在保存文档或运行调试器时不观察屏幕。该用户可能咬他或她的指甲或离开房间。 

即使化身不是应用为了控制该应用或该系统的任何方面所必需的，仍然可以显示该化身。可以显示化身，该化身如从用户输入所学习到的那样执行和作出行为，这通常是由该系统在足以标识出行为、响应、倾向性等等的一系列输入以后学习到的。例如，第一用户可以在物理空间中讲故事，并且选择要在屏幕上显示的化身以使故事在被讲出时动画化。所选的化身可以是与未存在于该物理空间中的用户相关联的化身。然而，该系统可以具有所存储的与未在场的用户有关的足够信息来使化身动画化，使得该化身就好像未出席的用户那样作出行为。该系统可以使用伴随着化身库的化身，该化身库充满了与该系统已经随时间学习到的用户行为相对应的动画。因此，可能就好像该用户在场，并且提供输入，因为该化身能够如此好地表示该用户。 

如所述那样，系统600可以标识出来自物理空间的指示用户行为的数据。例如，系统600可以收集与用户在物理空间中的运动、面部表情、肢体语言、情感等相关的信息。该系统可以使用身体姿态识别技术来帮助标识出人类目标的情感或性情。例如，系统600可以分析和跟踪用户的骨架模型以确定用户如何移动。系统600可以跟踪用户的身体以及用户的身体所作的运动，包括控制诸如应用、操作系统等系统的各方面的姿势。该系统可标识用户的身体姿态、面部表情、口声表达和语调、有方向的注视等等。用户的声音表达可提供对用户的性情的指示。例如，所使用的语言、语音的语调、音调、音量等等可传达用户的性情的感觉。例如，刺耳的语调可被解释为愤怒或挑衅。其他语调可以是紧张、程式的、呼吸急促的、轻声的、叽叽喳喳的、冷静的、激动的、快乐的或任何其他语调。该系统可标识出用户的面部移动，诸如用户的眉毛的移动和/或皱眉或微笑表情。该系统可检测出用户所说的话和用户的语音的语调，或用户的身体位置等。例如，该系统可检测人的右臂并具有区分上臂、下臂、手 指、拇指、手指中的关节等的保真度。因此，用户的特性是用户的行为和倾向性的良好指标。 

在图6A中示出的示例中，用户603正坐着，同时头向侧面倾斜，右肘抵靠在膝上，而头由用户的右手支撑着。用户的面部表情、身体姿势、所说出的单词、或任何其他可检测的特性可应用于用户的化身611，并且如果合适的话可被修改。例如，用户603坐在椅子中，但是系统将用户修改为坐在看台或可能存在于足球比赛中的座位上。 

系统600可以将应用的情形与用户的化身库相比较以确定应当将什么动画应用于用户的视觉表示。例如，在上述足球游戏应用中，游戏的状态可以是用户救球成功。当该系统已经将用户舞蹈标识为该用户在这些情形下的典型行为时，该系统可以将该行为的动画应用于化身。在另一示例性示例中，其中第一用户存在于该物理空间中并且正在讲故事，且第二用户的化身被选为在显示器上将该故事表演出。第二用户可以在场或不在场，但是化身可以在反映针对第二用户所标识出的行为的情况下在显示器上将该故事表演出。例如，该故事可以描述人跳过小河。与第二用户相似的化身可以被示为跳过小河，但是被动画化为在反映第二用户的行为的情况下看上去像第二用户。例如，该系统可以标识出该用户在该用户跳跃时或在该用户害怕或玩得开心时为典型的行为。该系统可以将与该情形和关于该用户在这样的情形下的行为的所存储数据相对应的动画应用于化身。 

图7A描绘了两个用户在拳击游戏应用中远程地彼此对抗的示例。所述远程用户与处于他们相应的物理空间中的目标识别、分析和跟踪系统10交互并且能够通过网络连接彼此交互。每个系统都可以向另一系统提供每个物理空间的实况视觉反馈。在图7A中，两个用户(即用户#1和用户#2)正与执行拳击游戏应用的系统交互。因此，每个系统都可以捕捉关于每个用户的实况数据，并且呈递与每个用户相对应并且映射到每个用户的运动的视觉表示。在图7B中，第二用户不再存在于该物理空间中，并且不在目标识别、分析和跟踪系统的跟踪视野中。然而，该系统已经要么在拳击游戏应用这一实例、在先实例中、要么在用户与系统或应用的任何其他交互中收集了关于该用户的行为的数据。该系统能够应用来自与该用户相关联的化身库的反映该用户的行为的动画。因此，基于用户的输入的历史，该系统能够呈递表现得与该用户非常相似的视觉 表示。用户#1可能已经具有与第二用户的化身间的体验，该体验将类似于向化身应用实际用户数据的情况。 

图8示出了用于学习用户行为的示例性方法，并且图9示出了用于将所选行为的动画应用于用户的化身的示例性方法。例如，在802，该系统从包括用户的物理空间接收数据。如上所述，捕捉设备可捕捉场景的数据，诸如场景的深度图像，并扫描场景中的目标。捕捉设备可以确定场景中的一个或多个目标是否对应于诸如用户等人类目标。然后可扫描匹配人体模型的每个目标或物体来生成与其相关联的骨架模型。然后可将该骨架模型提供给计算环境来跟踪该骨架模型并呈现与该骨架模型相关联的视觉表示。 

在804，该系统可以标识出指示该用户的行为的特性。指示该用户的行为的特性可以包括体格特性、面部特征、话音模式、词汇、语音命令、姿势、运动或身体姿势。例如，该系统可以使用身体识别和面部识别技术来标识出身体和面部特性。可以标识出该用户的可能包括某些面部表情和身体移动的行为。例如，系统可以具有捕捉设备，该捕捉设备捕捉关于物理空间中的用户的数据。该系统可以标识出该用户的特性、倾向性、语音模式、行为、姿势等等。该系统可以被动地和/或主动地标识出指示该用户的行为的特性。例如，被动学习可以包括：标识出该用户在该用户在物理空间中自然行动时的特性，并且主动学习可以包括：标识出该用户在该用户执行姿势时的特性。该系统可以随时间学习用户的倾向性，并且智能地将动画应用于用户的化身，使得化身根据所标识出的该用户的倾向性来作出行为和响应。因此，对化身训练要执行的动画可以包括：学习来自用户的输入；以及将化身建模为与用户相似。 

在805，该系统可以在预先打包的化身库中添加或重写动画。例如，预先打包的化身库可以是缺省的一组由应用提供的动画。在预先打包的化身库中重写化身可以包括：将化身更新为与指示在808所存储的用户行为的特性的历史相对应。将动画添加到预先打包的化身库可以包括：记录用户在该物理空间中的运动；以及将表示该用户的运动的动画添加到化身库。对化身库中的动画的添加和重写可以由用户的姿势来提示。例如，该用户可以执行进入修改模式的姿势，并且该系统可以记录用户在修改模式下的运动，并且将其应用于所添加或经修改的动画。 

在806，该系统可以生成动画并将其添加到化身库。化身库可以被预先打包或不被预先打包。例如，化身库可以包括由用户记录的动画，并且可以由或不由该系统提供。因此，该用户可以定义化身库中的应用于用户化身的所有动画。该系统可能必须确认所添加、经重写或所生成的任何动画。例如，如果用户执行猥亵的动画，则该动画可以被无效，并且不被输入到历史数据中，或者不被用于重写动画。可替代地，化身库可以是用户所记录的动画和/或预先打包的动画的组合。 

在807，该系统可以将用户的行为与特定情形相关。例如，用户可以在该用户获得游戏中的成功时或者在该用户处于空闲体验并同时观看活动用户玩游戏时以某些方式作出行为。与该用户的行为相关的包括用户行为与任何特定情形的相关性在内的数据可以在806存储在比如化身库中。如上所述，化身库可以包括预先打包的动画，或者化身库可以与特定用户相关联，该化身库具有适应于该用户的动画。用户专用信息还可以包括一个或多个用户在玩游戏模式下的倾向性。例如，如果用户倾向于以一定方式作出行为或反应，则该系统可以跟踪该用户的倾向性以更精确地反应该用户在一定情形下的行为。因此，该系统可以开始跟踪该用户的倾向性，并且使用该信息来更精确地反应该用户的行为。 

在806，可以把行为和与这些行为相对应的与物理空间的用户相关联的动画存储为用户简档的一部分。该简档例如可以是为特定物理空间或用户所专用的，并且可以是化身库的各方面的一部分或包括化身库的各方面。包括用户的特征在内的化身数据可以成为用户的简档的一部分。可以在用户进入捕捉场景时访问简档。如果基于口令、用户的选择、身体大小、语音识别等，简档匹配用户，则该简档可用于确定用户的视觉表示。 

可监视用户的历史数据，从而将信息存储到用户的简档。例如，系统可以检测用户特有的行为特征，比如用户的行为、话音模式、情绪、声音等等。该系统可以在将性情应用于用户的视觉表示时将这些特征应用于该视觉表示。例如，如果该系统标识出该用户的行为并且将动画选择为包括话音以反映该行为，则可以通过该用户的话音模式来模仿视觉表示的语音，或者视觉表示的语音甚至可以是该用户自己的语音的记录。 

该系统可以在810呈递与该用户相关联的化身，将表示该用户的行为的动画应用于该用户的化身。在808，该系统可以标识出上下文情形。上下文情形可以包括：用户的物理环境的条件、用户的虚拟环境的条件、系统的状态、应用的状态、用户在应用中的成功、用户在应用中的失败、用户的活动/不活动状态、第二用户的在场、或者姿势等等。通过将上下文情形与历史数据相比较，该系统可以标识出历史数据与上下文情形之间的任何相关性。如果标识出相关性，则该系统可以选择表示用户的与该上下文情形相对应的行为的动画。 

图9示出了用于将动画应用用户的化身的方法。无论该用户是否存在于该物理空间中都可以应用这些动画。因此，该系统可以以化身的形式提供对用户的反映，该化身具有用户的相似性并且根据该用户来作出行为。即使该用户未与该应用/系统交互(比如在该用户未存在于该物理空间中的情况下)，该用户的化身仍然可以表示该用户。在902，该系统可呈递该用户的视觉表示。基于存储在化身库中的信息(比如图8中所述的信息)，可以将对应于该用户的动画应用于该用户的化身库。 

在904，该系统可以选择与所学习到的该特定用户的输入相对应的动画以供应用于化身。如果用户未物理上存在于该物理空间中，比如在906，则动画可以对应于该用户的由该系统学习到并存储在于该用户相关联的化身库中的行为。因此，即使该用户未在该物理空间中供捕捉设备捕捉，该化身仍然可以表现为以与用户相似的方式作出行为。第二用户可以请求该系统呈递物理上不在场的用户的视觉表示以模拟与第一用户间的体验。 

如果用户在场，比如在908，则可以从化身库中选择动画或者将动画直接映射到物理空间中的由该系统捕捉到的用户。该动画可以选自化身库，并且可以表示用户的从用户数据的历史中标识出的行为。因此，可以基于由该系统捕捉到的行为的在先身份来选择动画。即使用户存在于该物理空间中，并且由捕捉设备捕捉到关于该用户的数据，则所期望的仍然可能是应用来自化身库的动画，而不是将化身直接映射到该用户。 

在一示例性实施例中，应用于化身的动画例如可以是选自预先打包的动画库的动画，比如伴随着程序、应用或系统的动画。所选动画可以是与系统学习到的用户输入相对应的动画。在另一示例性实施例中，库中的动画可以是由用 户输入和记录到化身的动画词汇表中的动画。例如，该系统或用户可以重新编写动画以反映用户的例如由捕捉设备所捕捉的实际运动或行为。因此，可以在化身动画库中添加或重写动画。虚拟空间中的化身可以随时间表现得变为对该物理空间中的用户的反映，包括该用户的特征、行为、倾向性、语音模式等等。 

应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。本文中所述的具体例程或方法可表示任意数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可改变上述过程的次序。 

此外，尽管已经结合某些方面按各附图所示描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。 

除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。 

Claims (12)

1.一种用于将动画应用于视觉表示的方法，该方法包括：

呈递用户的所述视觉表示；

标识出上下文情形；

通过将所述上下文情形与用户数据的历史相比较来从化身库中选择动画，所述动画表示从用户数据的历史中标识出的与所述上下文情形相对应的用户的行为，其中所述用户数据的历史包括之前从物理空间中捕捉的用户数据以及与用户的行为相关联的上下文情形；以及

当所述用户未在所述物理空间中供所述捕捉设备捕捉时，将来自所述化身库的动画应用于所述用户的所述视觉表示；

其中所述上下文情形包括下列各项的至少之一：用户的物理环境的条件、用户的虚拟环境的条件、系统的状态、应用的状态、用户在应用中的成功、用户在应用中的失败、用户的活动/不活动状态、第二用户的存在、或者姿势。

2.如权利要求1所述的方法，其特征在于，所述未在的用户是第一用户，并且所述第一用户的视觉表示被配置为供呈递给第二用户。

3.如权利要求1所述的方法，其特征在于，选自所述化身库并应用于所述用户的视觉表示的动画不对应于存在于所述物理空间中的用户的由所述捕捉设备当前捕捉的数据。

4.如权利要求1所述的方法，其特征在于，还包括：将所述化身库中的动画重写为与所述用户的由捕捉设备捕捉的情感相对应。

5.如权利要求4所述的方法，其特征在于，由用户在所述物理空间中的姿势来提示重写所述动画。

6.一种用于存储由捕捉设备捕捉的行为数据的方法，该方法包括：

接收物理空间的数据，其中所述数据表示所述物理空间中的用户；

从所述数据中标识出指示用户的行为的特性；以及

存储指示所述用户的行为的特性的历史以用于在所述用户未在所述物理空间中供所述捕捉设备捕捉时将动画应用于所述用户的视觉表示，所述动画包括指示所述用户的行为的特性，

其中该方法还包括：

标识出上下文情形；

将所述上下文情形与指示所述用户的行为的特性的历史相比较，并且标识出指示所述用户的行为的特性中的至少之一与所述上下文情形之间的相关性；以及

从动画库中选择表示所述用户与所述上下文情形相对应的行为的动画；

其中所述上下文情形包括下列各项的至少之一：用户的物理环境的条件、用户的虚拟环境的条件、系统的状态、应用的状态、用户在应用中的成功、用户在应用中的失败、用户的活动/不活动状态、第二用户的存在、或者姿势。

7.如权利要求6所述的方法，其特征在于，还包括：将动画应用于与所述用户相关联的化身，其中所述动画来自化身库，并且表示所述用户的从所述历史数据中标识出的行为。

8.如权利要求6所述的方法，其特征在于，还包括：通过将指示所述用户的行为的特性中的至少之一与上下文情形相关来将所述用户的行为与所述上下文情形相关。

9.如权利要求7所述的方法，其特征在于，还包括以下动作中的至少之一：将动画添加到所述化身库或者将动画重写到所述化身库，

其中所述化身库是预先打包的化身库，并且重写动画包括：将所述预先打包的化身库中的动画重写为与指示所述用户的行为的特性的历史相对应；以及

其中将所述动画添加到所述化身库包括：记录用户在所述物理空间中的运动，以及将表示所述用户的运动的动画添加到所述化身库。

10.如权利要求9所述的方法，其特征在于，还包括：在将所述动画添加到所述化身库以前确认所述动画。

11.如权利要求6所述的方法，其特征在于，指示所述用户的行为的特性包括下列各项中的至少之一：体格特性、面部特征、话音模式、词汇、语音命令、姿势、或运动。

12.如权利要求6所述的方法，其特征在于，从所述数据中标识出用户的行为的特性包括：被动地标识出与所述用户的自然活动相关联的特性，或者主动地标识出与用户的姿势相关联的特性。