CN102129343B - 运动捕捉系统中的受指导的表演 - Google Patents

Abstract

本发明提供了运动捕捉系统中的受指导的表演的系统和方法。提供了用于增强对运动捕捉系统的使用的技术。运动捕捉系统跟踪来自物理空间中的人的移动和音频输入，并向在显示器上显示虚拟空间的应用提供输入。身体移动可用于定义虚拟空间中的化身的特性。可以由虚拟空间中的辅导化身或视觉或音频提示来指导个人执行移动。应用可对所检测的个人的移动和语音命令或语音音量作出响应，来定义化身特性并发起虚拟空间中的预先编制脚本的视听事件来提供娱乐体验。可以捕捉虚拟空间中的表演并用诸如对化身的语音或外观的更改等自动修改或另一个人作出的修改来回放该表演。

Description

运动捕捉系统中的受指导的表演

技术领域

本发明涉及运动捕捉系统，尤其涉及运动捕捉系统中的表演指导。

背景技术

运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维人类骨架模型并用于创建虚拟空间或世界中的动画人物或化身。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。可对人放置标记来帮助检测，但也已经开发了无标记系统。某些系统使用由人携带或附带的惯性传感器来检测移动。例如，在某些视频游戏应用中，用户握住可在玩游戏时检测移动的无线控制器。然而，需要帮助人们创建并控制虚拟空间中的表演的进一步改进。

发明内容

提供了用于帮助用户创建并控制表演的处理器实现的方法、运动捕捉系统和有形计算机可读存储。

运动捕捉系统可用于创建显示在显示设备上的虚拟空间中的表演。在深度相机的视野中跟踪个人的移动，并将该移动用作对提供虚拟空间的应用的输入。例如，个人的移动可被转换成虚拟空间中的化身的移动，如允许个人探查虚拟空间的不同可视和可听特征。应用可指导个人在虚拟空间中的表演。个人可发起虚拟空间中的预定视听事件，或修改化身的特性。可使用各种可听和可视提示，如突出显示虚拟空间中化身可移动到的位置。也可要求个人执行特定的身体移动来指导表演。也可使用个人的语音命令或音量来指导表演。一旦完成了表演，可用诸如相机角度或化身外观的改变等各种修改来回放该表演，以提供娱乐体验。此外，多个人可同时或在不同时刻控制表演。表演可被重复回放和修改，如在不同时刻修改化身的不同特性。

在一个实施例中，提供了用于在运动捕捉系统中指导表演的处理器实现的方法。该方法包括在运动捕捉系统的视野中跟踪个人。跟踪诸如通过使用骨架模型来标识个人的移动，来区分视野中的个人。虚拟空间在诸如计算机监视器、电视屏幕等显示器上提供或投影到墙上。虚拟空间可以表示任何真实或想象的室内或室外位置。虚拟空间包括表示个人且基于所跟踪的个人的移动来移动的化身。化身可以用摄影写实方式来描绘用户，或者化身可以是动物、车辆或其他人物或物体。该方法包括指导个人的移动来帮助创建虚拟空间中的表演。这可包括请求个人执行特定身体移动，如将手举过头，或从两侧摇摆。或者，虚拟空间中的提示可以指导个人在虚拟空间中使化身移动到所标识的位置，或在所标识的方向上移动。个人可诸如通过提供指定手势、采用指定姿态、移至视野中的不同位置、和/或通过使用语音控制来控制化身，来移动他的身体。

基于对个人的跟踪，检测个人的移动，并且更新虚拟空间以在显示器上显示化身的对应移动。例如，可基于对个人的移动的检测在虚拟空间中发起预先编制脚本的视听事件。也可更新虚拟空间来展示化身的特性。

提供本概要以用简化形式介绍在下面的说明书中进一步描述的精选概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

图1a和1b描绘了其中用户与模拟拳击比赛的应用交互的运动捕捉系统的示例实施例。

图2描绘了图1a的运动捕捉系统10的示例框图。

图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。

图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。

图5描绘了用于在运动捕捉系统中指导表演的方法。

图6a描绘了用于如图5的步骤504所述地跟踪个人的移动的示例方法。

图6b描绘了如图6a的步骤608所述的个人的示例模型。

图6c描绘了如图6a的步骤608所述的个人的另一示例模型。

图7a描绘了用于如图5的步骤502所述地指导个人的示例方法，其中指导该个人以执行身体移动。

图7b描绘了如图5的步骤506且结合图7a所述地更新虚拟空间的示例方法，其中基于个人执行身体移动来更新虚拟空间。

图7c和7d描绘了展示辅导化身并响应于特定身体移动的执行发起预先编制脚本的视听事件的示例显示。

图8a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中基于化身在虚拟空间中移动来更新虚拟空间。

图8b描绘了结合图8a的方法的示例显示，其中在虚拟空间中提供视觉提示来指导化身的移动。

图8c描绘了在图8c的显示之后的示例显示，其中当化身移至虚拟空间中的指定位置时提供预先编制脚本的视听事件。

图9a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中在不同的时间段定义化身的特性。

图9b描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中由不同的人在不同的时间段定义化身的特性。

图9c描绘了结合图9a的方法的示例显示，其中在第一时间段定义化身的第一特性。

图9d描绘了结合图9a的方法的示例显示，其中在第二时间段定义化身的第二特性。

图9e和9f描绘了结合图9a的方法的示例显示，其中定义化身的面部特性。

图10a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中记录、修改并回放表演。

图10b描绘了结合图10a的方法的示例显示，其中用不同的相机角度来回放虚拟空间中的表演。

图11a描绘了示例化身及其在怪物宴会情形中的服饰。

图11b描绘了怪物宴会情形中的示例场景。

具体实施方式

提供了用于增强对运动捕捉系统的使用的各种技术。运动捕捉系统允许一个人或一组人出于娱乐或其他目的而与应用交互。深度相机系统可跟踪个人在物理空间中的移动并将这些移动转换成对应用的输入。例如，移动可被转换成表示个人的化身的对应移动。然而，个人可能不知道应用所识别的不同移动，以及应用是如何使用特定移动的。此外，应用的响应是可以是可预测的和平静的，而实际上需要更动态且充满惊喜的体验。

此处提供的解决方案帮助个人探查虚拟空间同时提供非预期的娱乐体验。个人可以提供导致虚拟空间中发生特定事件的特定身体移动。例如，身体移动可导致化身在虚拟空间中的移动。在一个情形中，当化身移至指定位置时在虚拟空间中发起诸如动画等视听事件。在另一情形中，个人可通过身体移动来配置化身的特性。个人可成为在虚拟空间中作为引人入胜的娱乐体验而进行的表演的一部分。表演可被捕捉并用诸如对化身的语音或外观的更改等自动修改来回放以便得到进一步的乐趣，该更改例如四肢的变形和服饰修改。个人可进一步修改回放的表演，使得该表演可在多次迭代或跟踪上发展。记录和回放可包括数据，如音频、视频、人体测量数据、骨架位置和定向、以及涉及个人在物理空间中所持有的诸如塑料剑等道具的道具跟踪数据。

此外，在表演中可涉及多个人，使得在虚拟空间中基于例如不同人的动作或不同人创建的化身的不同特性而发生不同事件。不同的人可以在相同的物理空间中，例如一起在相同的房间中，或者在不同的物理空间中，例如在通过网络连接的不同位置。各人的参与可以是并行或串行的。并行参与的一个示例是当各人在同一时刻查看共同的虚拟空间并在共同的虚拟空间中控制各自的化身的时候。多个人也可在共同的虚拟空间中控制单个化身的移动，如当一个人控制化身的一部分(例如头和手)而另一个人控制化身的另一部分(例如腿)的时候。串行参与的一个示例是当第一个人在第一时间段创建虚拟空间中的表演，而第二个人在随后的第二时间段修改该表演的时候。

图1a和1b描绘了其中个人18与模拟拳击比赛的应用交互的运动捕捉系统10的一个示例实施例。运动捕捉系统10用于识别、分析和/或跟踪诸如个人18(也称为用户或玩家)等人类目标。

如图1a所示，运动捕捉系统10可包括诸如计算机、游戏系统或控制台等计算环境12。计算环境12可包括执行诸如教育和/或娱乐目的等应用的硬件组件和/或软件组件。

运动捕捉系统10还可以包括深度相机系统20。深度相机系统20可以是，例如可用于在视觉上监视诸如个人18等的一个或多个人，从而可以捕捉、分析并跟踪该人所执行的姿势和/或移动，来执行应用中的一个或多个控制命令或动作(如动画化化身或屏幕上人物)的相机，如将在下面更详细地描述的。

运动捕捉系统10可以连接到诸如电视机、监视器、高清电视机(HDTV)等可向用户提供视觉和音频输出的视听设备16。音频输出也可经由单独的设备来提供。为驱动视听设备16，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

个人18可使用深度相机系统20来跟踪，使得该个人的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对计算机环境12所执行的应用的输入控制命令。因此，根据一实施例，用户18可移动他的或她的身体来控制应用和/或动画化化身或屏幕上人物。

作为一个示例，应用可以是其中个人18参与且其中视听设备16向个人18提供拳击对手38的视觉表示的拳击游戏。计算环境12还可使用视听设备16来提供玩家化身40的视觉表示，该视觉表示代表了该个人，并且该个人可用他的或她的身体移动来控制该视觉表示。

例如，如图1b所示，个人18可以在例如该个人站在其中的房间等物理空间中挥出重拳，以便使得玩家化身40在包括拳击台的虚拟空间中挥出重拳。由此，根据一示例实施例，运动捕捉系统10的计算机环境12和深度相机系统20可用于识别并分析物理空间中的个人18的重拳，使得该重拳可被解释为对模拟拳击比赛的应用的输入，以控制虚拟空间中的玩家化身40。

个人18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制命令。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。

个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟空间中对应的武器。

运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，事实上操作系统和/或应用的任何可控方面可由个人18的移动来控制。

图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。

图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光组件24、三维(3-D)相机26、以及红-绿-蓝(RGB)相机28。例如，在飞行时间分析中，深度相机系统20的IR光组件24可将红外光发射到物理空间上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自该物理空间中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。

飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。

在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。

根据另一实施例，深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。

深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。

深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。

深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

另外，深度相机系统20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为以下的每一个提供一姿势过滤器：上举或侧举一条或两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。

可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制命令相关联。

计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。

图3描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面参考图1a、1b和2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时在引导进程初始化阶段加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2的深度相机系统20接收附加输入。

图4描绘了可以在图1a的运动捕捉系统中使用的计算环境的另一示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种游戏计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。

以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常被称为鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。

计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

图5描绘了用于在运动捕捉系统中指导表演的方法。如前所述，期望帮助运动捕捉系统的用户创建娱乐的、动态的、且充满惊喜的表演。表演一般涉及在一段时间内发生在虚拟空间中的视听事件，这些事件至少部分地基于对一个或多个物理空间中的一个或多个人的跟踪。用于指导表演的方法包括在步骤500处开始表演。用户可以与应用交互来以不同方式开始表演。在一个方法中，表演在应用开始运行时开始。在另一方法中，在运行的应用诸如经由视觉或音频消息来提示用户开始表演。在另一方法中，用户诸如通过语音命令或通过提供定义的姿势来提示应用开始表演。

在步骤502，应用指导个人。在某些情况下，可在没有来自应用的特定指导的情况下进行表演。用于指导个人的示例方法在以下结合图7a进一步讨论。个人可通过应用的音频和/或视觉输出来被指导。指导可包括具体指令，或较不具体的某样东西，如暗示。例如，可以指导个人执行特定身体移动，如上举或侧举一条或两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。特定身体移动可包括重复移动或一次性移动。应用的音频输出的一个示例是应用的说出的指令，如“要开始，举起双臂”。该指令可由虚拟空间或与虚拟空间分开的显示区域中的化身或其他动画人物来提供。或者，该指令可在不参考任何显示的实体的情况下说出。应用的视觉输出的一个示例是屏幕上文本消息，该消息不是虚拟空间的一部分，但是在显示器的单独区域中，如在显示器的底部或在与虚拟空间分开的显示画面上。应用的视觉输出的另一示例是作为虚拟空间的一部分的屏幕上文本消息，例如在建筑物的侧面或在飞机所拉开的横幅上。

应用也可通过指导虚拟空间中的化身的移动来指导个人的移动。例如，可在虚拟空间中提供箭头或其他符号，或者可诸如通过颜色编码、聚光灯等来突出显示虚拟空间中的一位置。个人移动他的身体来使得化身在指定方向上和/或向指定位置移动。例如，个人可在一个方向上倾斜或在一侧举起手臂来使得化身在虚拟空间中在对应方向上移动。或者，个人可原地走动或执行运动捕捉系统识别为用于移动化身的对应用的输入的某一其他移动。

步骤504包括跟踪视野中的个人的移动，如以下结合图6a进一步讨论的。步骤506包括更新虚拟空间，例如结合图7b、8a-8c、9a-9f、10a、10b、11a和11b进一步讨论的。本质上实时地更新虚拟空间，使得个人的移动表现为引起虚拟空间中的立即且连续的变化。该表演在步骤508处结束。

图6a描绘了用于如图5的步骤504所述地跟踪个人的移动的示例方法。该示例方法可以使用例如结合图2-4讨论的深度相机系统20和/或计算环境12、100或220来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。该模型然后可用于与由计算环境执行的应用交互。进行扫描来生成模型可以在启动或运行应用时发生，或按照所扫描的个人的应用的控制在其他时间发生。

可扫描个人来生成骨架模型，可跟踪该骨架模型使得用户58的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。

根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像，其中每一所观察的像素具有所观察的深度值。

深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成结合图6b和6c讨论的诸如骨架模型等模型。

在判定步骤604，判定深度图像是否包括人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与模式进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各种深度值来确定可定义如上所述的目标或对象的边。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边相关联的像素以及边内的区域的像素可互相关联来定义可与图案进行比较的捕捉区域中的目标或对象，这将在下文中更详细描述。

如果判定步骤604为真，则执行步骤506。如果判定步骤604为假，则在步骤600接收附加深度信息。

对照其来比较每一目标或对象的模式可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，模式中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。

步骤606包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩模确定的度量值来定义结合图6b和6c讨论的骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。

例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。

步骤608包括生成人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可对应于人类的身体部位的一根或多根骨。例如，图6b描绘了如图6a的步骤608中所述的个人的示例模型620，而图6c描绘了如图6a的步骤608中所述的个人的另一示例模型630。

一般而言，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。例如，前臂段628连接到关节626和629，而上臂段624连接到关节622和626。前臂段628可相对于上臂段624移动。

可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。

在步骤610，通过每秒若干次更新个人的位置来跟踪该模型。当用户在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地对应于物理空间中的人类目标的姿态的姿态。

一般而言，可使用用于跟踪个人的移动的任何已知技术。

图7a描绘了用于如图5的步骤502所述地指导个人的示例方法，其中指导该个人以执行身体移动。步骤702包括指导个人执行特定身体移动。如结合图5所讨论的，这可包括提供应用的音频或视觉输出，该输出指导个人执行移动，如举起手臂、倾斜、跳起来等等。步骤700指示可在显示器上提供展示特定身体移动的辅导化身。辅导化身的一个示例结合图7c、7d、9c和9d来提供。辅导化身可以是显示在显示器的虚拟空间或其他部分(如显示屏幕的角落区域)中的动画人物。化身可表现为真实的或卡通的，如人类或其他人类、机器人或其他形象。化身一般应具有与人类足够相似的身体和移动能力，使得化身可执行可由物理空间中的个人识别的身体移动。可以在期望的时间提供辅导化身来告知用户特定身体移动可导致虚拟空间中的某一动作。结果动作可以是虚拟空间中令人惊奇且娱乐的动画或其他视听演示。辅导化身可以在例如个人的化身到达虚拟空间中的特定位置、完成了某一其他指定的目标、或当需要来自个人的输入来继续应用时被提供。或者，辅导化身可以被提供来帮助个人诸如通过定义化身的特性来创建虚拟空间中的表演。

例如，如果要辅导个人将一条手臂举向侧面，则辅导化身可将其手臂举向侧面。应用还可提供关于所请求的身体移动的音频指令，例如：“将你的左臂举向你的侧面”。该音频指令可通过移动辅导化身的嘴唇或以其他方式使辅导化身活动以使其看起来在说话而表现为来自辅导化身。

步骤704包括提供除辅导化身之外的音频和/或视觉指令。如结合图5所讨论的，这可包括虚拟空间中或与虚拟空间分开的显示区域中的应用的视觉输出。应用的视觉输出的一个示例是屏幕上文本消息，该消息不是虚拟空间的一部分但是在显示器的单独区域中。该屏幕上文本消息可以读作例如：“将你的左臂举向你的左侧”。应用的视觉输出的另一示例是作为虚拟空间的一部分的屏幕上文本消息，例如在建筑物的侧面或在飞机所拉开的横幅上，或在虚拟空间中的动画人物所举起的标志中。音频指令可包括参考或不参考任何显示的实体说出的指令。

一般而言，可使用用于识别个人的指定移动的任何已知技术。其他示例使用结合图2讨论的姿势库190。

图7b描绘了如图5的步骤506且结合图7a所述地更新虚拟空间的示例方法，其中基于个人执行身体移动来更新虚拟空间。应用的虚拟空间响应于物理空间中的个人的移动，使得该个人可以用自然的方式来与应用交互。例如，在图1a和1b中的拳击比赛模拟的示例中，诸如物理空间中的个人的重拳出击等特定身体移动由应用转换成拳击场地的虚拟空间中的拳击化身的重拳出击。一个另外的可能的特征基于对个人的移动的跟踪来确定个人执行特定身体移动的程度(步骤710)。例如，可将诸如向一个人的侧面倾斜等身体移动执行到不同程度。例如10-20度的从垂直的略微倾斜可能表示较小的程度，而例如20-30度的倾斜表示较大的程度。类似地，举起一个人的手臂的身体移动可通过例如水平之下-20度到水平(0度)的手臂举起(表示较小程度)以及水平(0度)或水平之上的任何地方的手臂举起(表示较大程度)来实现。可以类似地为跳跃、挥手和其他身体移动来定义不同程度。

可单独或结合步骤710来使用的另一选项是基于对个人的移动的跟踪来确定个人执行特定身体移动的次数(步骤712)。例如，举起一个人的手臂的身体移动可通过重复地识别手臂举起来实现，其中在手臂举起之前手臂返回到个人侧面的放松位置。可以对指定量的时间内的手臂举起次数进行计数。还可确定手臂举起的频率。

基于步骤710和/或712，应用可采取一个或多个动作。步骤714包括定义化身的特性。特性是化身的区别性质或个人特征，并且可包括其外观，包括其面部外观和表情、姿态和姿势、行走和移动的方式、语音(包括说话的音调和方式，包括声调)等等。由此，个人的身体移动可被转换成对一个或多个特性的定义，包括初始定义和代替初始定义使用的经修改的定义。这提供了个人可定义化身的特性的许多有趣且娱乐方式，如以下结合图9a-9f进一步讨论的。

步骤716包括在虚拟空间中提供预先编制脚本的视听事件。预先编制脚本的视听事件可以是应用存储的预定事件，该预定事件随后当满足一个或多个指定条件时基于与应用交互的个人的移动和/或来自个人的音频输入在诸如几秒等一段时间内被访问并执行。预先编制脚本的视听事件可以是例如被设计成给用户惊喜的动态事件。例如，个人可执行诸如将一个人的手臂向外侧举起等特定身体移动来定义化身的高度，其中该化身在以较大程度执行该特定身体移动时和/或与执行该特定身体移动的次数成比例地变得更高。在这一情况下，预先编制脚本的视听事件可涉及化身在达到特定高度时突然跳起来并在附近跳舞且大叫“我高了！”的动画。化身移动的视觉可以附带化身的语音或诸如音乐等其他音频。

预先编制脚本的视听事件的其他示例包括除了个人的化身之外的一个或多个人物执行某一动作、在虚拟空间中唱歌或说话、诸如烟火或爆炸等效果、门嘎吱打开、树在风中摇摆并发出沙沙声、等等。

有许多个人能在虚拟空间中发起预先编制脚本的视听事件的有趣且娱乐的方式，如以下结合图8b、8c、11a和11b进一步讨论的。

在图7b中，步骤714和716也可响应于来自物理空间中的个人的音频输入。例如，可检测个人说话的音量并将其用于定义化身的特性。例如，个人可重复地说单词“变高！”并伴随或不伴随相关的手臂举起，使得在语音更响时和/或当单词“变高”被重复多次时化身变得更高。

图7c和7d描绘了展示辅导化身并响应于特定身体移动的执行发起预先编制脚本的视听事件的示例显示。在图7c中，描绘了显示器720和深度相机系统730。深度相机系统730具有用于检测个人736的移动的示例传感器732，该传感器具有物理空间738中的视野734(在虚线之间)。示例应用包括具有个人736的化身728在其上行走的路718的虚拟空间。然而，该路被墙726阻挡。墙可例如在化身728在路718上走了一段时间之后出现在显示器中。此时，可出现辅导化身722来帮助个人736走过墙。辅导化身可以展示个人所看见的特定身体移动，如举起他的手臂并指向左侧。这辅导或指导个人执行相同的移动。辅导化身也可说例如：“指向这一方向来移动墙”。个人736还没有通过指向左侧来遵循该指示。化身728具有如个人那样对应的身体姿态，其手臂向下放在侧面。

在图7d中，个人736通过指向左侧来遵循指示，并且化身在显示器750中对应地移动。作为执行该特定身体移动的结果，发生预先编制脚本的视听事件，其中墙726移向左侧，由此解除了对路718的阻挡因而化身728可继续沿着路走。墙的移动可附带诸如例如大物体移动的声音或音乐等音频。在本例中，墙移动的方向对应于个人移动的方向，但这不是必需的。作为替换，当执行移动时，墙可消失在路中。同样作为执行特定身体移动的结果，可发生预先编制脚本的视听事件，其中辅导化身722在消失之前跳舞并大叫。

图8a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中基于化身的移动来更新虚拟空间。在这一情况下，在显示器上提供视觉提示来指导化身和个人的移动。可标识虚拟空间中的位置和/或方向。视觉提示的示例在图8b和8c中提供。步骤800包括基于对视觉提示作出响应的个人的跟踪来移动虚拟空间中的化身。在判定步骤802，如果化身已移动到指定位置，则可在步骤806定义化身的特性，和/或可在步骤808在虚拟空间中提供先前讨论的预先编制脚本的视听事件。定义化身的特性的示例是当化身移到指定位置时使得化身更高，或者给予化身特殊能力或力量。在判定步骤804，如果化身在指定方向上移动，则接着可以是步骤806和/或808。在判定步骤802和804，如果化身尚未移到指定位置，则在步骤800，化身可进一步移动。

图8b描绘了结合图8a的方法的示例显示，其中在虚拟空间中提供视觉提示来指导化身的移动。在显示器820中，化身822在路818上行走。视觉提示包括路上的箭头824，以及路上的突出显示的区域826。区域826可通过例如颜色编码或诸如聚光灯等照明效果来突出显示。视觉提示指导用户移动，使得化身822被控制在箭头824的指定方向上移动并移动到例如区域826等指定位置。

图8c描绘了在图8c的显示之后的示例显示，其中当化身移至虚拟空间中的指定位置时提供预先编制脚本的视听演示。当化身822到达区域826时，预先编制脚本的视听演示的一个示例涉及火炬830、832和834诸如通过从地面升起来出现在路818的两侧。音频演示可包括当火炬升起时的机器声以及火焰燃烧的声音。火炬可提供例如帮助化身沿着路走的光，或以其他方式为个人提供令人惊喜且娱乐的体验。

图9a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中在不同的时间段定义化身的特性。如上所述，特性是化身的区别性质或个人特征，并且可包括其外观，包括其面部外观和表情、姿态和姿势、行走和移动的方式、语音(包括说话的音调和方式，包括声调)等等。通常，在诸如游戏环境等虚拟空间中，化身的特性由游戏来预定义，或者用户具有使用例如键盘或鼠标经由屏幕上用户界面来输入命令的能力。在娱乐替换方案中，一个或多个特性可由用户经由他或她的移动和/或语音来定义。例如，步骤900包括基于对个人的跟踪在一段时间内定义并展示化身的特性。例如，化身可最初在显示器上用一个或多个初始特性来提供，这可包括具有类似于所检测到的物理空间中的个人的形状的身体形状。在一个可能的方法中，在指定时间指导个人定义特性，但这并非必需的。该特性在其被定义时展示为对个人的一种形式的反馈。例如，展示外观特性可包括显示外观特性，而展示发音特性可包括化身使用发音特性来说话。

在步骤902，诸如通过存储标识特性的信息以使其能在将来被展示来记录特性。例如，所存储的信息可标识化身的相对高度、宽度和身体形状，或语音的音调。在判定步骤904，如果有下一个特性要定义，则重复步骤900和902。例如，个人可在第一时间段定义第一特性，并在第二时间段定义第二特性。如果判定步骤904为假，则该过程在步骤906结束。

图9b描绘了用于如图9a的步骤506所述地更新虚拟空间的另一示例方法，其中由不同的人在不同的时间段串行地定义化身的特性。一般而言，多个人可在相同或不同的物理位置向同一应用提供输入，以更新虚拟空间的化身。例如，网络技术允许不同玩家使用各自的化身在共同的虚拟环境中交互。在一种方法中，第一和第二个人可以是在他们各自的家里具有运动捕捉系统的朋友。在一种方法中，每一个人可定义化身的不同特性。例如，步骤910指示可在第一时间段跟踪第一个人的移动来定义并展示化身的第一特性。例如，在图9c的示例中，如以下进一步讨论的，第一个人可定义关于化身的手臂长度的特性。步骤912指示记录第一特性。步骤914指示可在第一时间段之后在第二时间段跟踪第二个人的移动来定义并展示化身的第二特性。例如，在图9d的示例中，如以下进一步讨论的，第二个人可定义关于化身的头部大小的特性。步骤916指示记录第一特性。该过程可随着另外的特性和人来继续。

在一种方法中，第二个人在第一个人定义化身的第一特性时在虚拟空间中查看该化身。或者，第一个人可定义第一特性，并随后告知第二个人轮到他或她来定义特性。第二个人然后在稍后的时间定义特性，并且各人可以来回通信来以另外的特性创建虚拟空间中的表演。在另一方法中，第一和第二个人在同一时间分别并行地定义第一和第二特性。

一般而言，各人可以在虚拟空间中的先前的表演之上捕捉、共享和重新记录。第二个人可替换表演中的第一个人的声轨，然后将修改的表演重新发回给第一个人。或者，第二个人可将他们的脸靠近运动捕捉相机来捕捉他们的面部外观，并将脸放在第一个人的捕捉的身体形状上来提供新的体验。或者，第二个人可在第一个人的对话上重新记录对话。许多变型是可能的。

图9c描绘了结合图9a的方法的示例显示，其中在第一时间段定义化身的第一特性。描绘了显示器920和深度相机系统930。深度相机系统930具有用于检测个人936的移动的示例传感器932，该传感器具有物理空间938中的视野934(在虚线之间)。示例应用包括具有个人936的化身924在其上行走的路918的虚拟空间。

在第一时间段，任选的辅导化身922告知个人当前定义的特性是化身924的手臂的外观。辅导化身可以说：“现在让我们来定义我们的手臂”。辅导化身可以展示特定身体移动，如向外举起双臂并以圆圈旋转手臂。个人936执行所请求的身体移动，响应于此，应用使得化身的手臂变得更长，例如从正常长度的手臂926转换到长的、变形长度的手臂928(虚线)。化身的手臂可随着个人执行移动而逐渐变得更长。可实施用于定义手臂长度的时间段。在一种方法中，在指定量的时间之后，结束用于定义手臂长度的会话。或者，只要个人执行移动，用于定义手臂长度的会话就可以继续，可能直到到达某一手臂长度限制。

注意，如果进行特定任务来定义手臂的特性，则显示器920可提供化身924以使仅其手臂改变。通常可反映所跟踪的个人的移动的化身的其他移动可被禁止。这允许个人清楚地看见特定特性。

一般而言，可异步地定义化身的各个部位，并在随后拟合在一起。或者，可以隔离场景中的多个化身，并同步或异步地定义其特性。此外，可以由各人本地地在一个物理空间中或经由网络从不同物理空间提供定义。可进行多跟踪记录，该记录包括人类和非人类化身两者。除了一个人-一个化身之外，可以提供各种变型和替换。变型包括跨多个用户复用、异步记录、人类和非人类化身、扩充、语音和声音、跨扩充的语音和运动。

图9d描绘了结合图9a的方法的示例显示，其中在第二时间段定义化身的第二特性。在显示器950中，辅导化身952告知各人936当前定义的特性是化身954的头部的大小。辅导化身可以说：“现在让我们来定义我们的头”。辅导化身可展示特定身体移动，如跳起来或蹲下。个人936相对于地面水平940执行所请求的身体移动，响应于此，应用使得化身的头变得更大，例如从正常大小的头956转换到更大的、变形大小的头958(虚线)。化身的头可随着个人执行移动而逐渐变得更大。可实施用于定义头部大小的时间段。在一种方法中，在指定量的时间之后，结束用于定义头部大小的会话。或者，只要个人执行移动，用于定义头部大小的会话就可以继续，可能直到到达某一头部大小限制。注意，在第一时间段中定义的长的手臂(图9c)在第二时间段中被再一次展示，使得化身的特性被连续地建立。

手臂和头是其大小或形状可被修改的身体部位的示例。

化身的特性也可基于各人的语音，如音调或音量来定义。作为示例，当个人说得更响时，化身的头可以变得更大。

注意，应用有可能允许在任意时刻定义化身的特性，而不是仅在指导时刻。例如，应用可提供其中化身需要到达并触摸够不着的物体的游戏。在个人认识到化身需要触及该物体时，个人可以执行使得手臂变得更长的移动。

图9e和9f描绘了结合图9a的方法的示例显示，其中定义化身的面部特性。显示器960提供了对化身962及其脸部的特写图。最初，在图9e中，化身具有一个面部表情，如中立情感，如缺少笑容所指示的(嘴呈水平线)。在图9f中，在显示器970中，化身具有另一面部表情，如快乐情感，如笑容所指示的(嘴呈向上弯曲的线)。图9f的面部表情可由应用响应于个人执行诸如向外举起双臂并以圆圈旋转手臂等某一身体移动来创建。面部表情可以与个人执行移动的程度(例如，具有更大的圆圈或更快的旋转)成比例地展示更显著的笑容。

个人还有可能提供由应用使用语音识别来识别的语音命令。例如，个人可说出单词“定义脸部”。应用通过提供化身的脸的特写图来响应。个人然后说出单词：“高兴”，然后执行特定身体移动来定义高兴程度。或者，个人说出单词：“害怕”，并执行特定身体动作来定义化身害怕的程度。害怕的化身可由例如其头发直立的特性来描绘。应用可被配置成使得个人能够定义各种面部表情和情感。个人可使用他或她的语音和身体位置和移动来定义化身的面部表情、眼睛运动和身体姿态。

一般而言，来自一个或多个人的语音数据可用作对应用的输入。应用可以执行语音识别来理解说出的单词。也可使用话语的音量水平来作为输入，例如，当个人说得更响时，化身展示出更愤怒的面部表情。例如，化身可以在生气时眯起眼睛，并且可能更改其姿势。好奇的化身可弯起他的眉毛。或者，当个人说得更响时，化身的语音可变为像怪物的语音。话语可以在玩家关联中与特定个人相关联。例如，物理空间中的多个人可以用他们的话语来控制各自的化身或应用的其他方面。一个人的话语可被识别并用于控制该人的化身。或者，一个人的话语可被识别并用于控制多个化身的一个特性。这是一种形式的情感放大，其中个人的情感在应用中诸如由化身来放大并展示。还有可能通过个人的身体形状和/或大小来识别该个人，使得个人的移动被转换成对各自的化身或对多个化身的一个特性的改变。

虚拟空间的相机角度或视点可以基于个人的移动和/或语音来修改。例如，如果个人更温柔地说话，则可以显示比在个人更响地说话的情况下所显示的虚拟空间的更特写的视图。可基于移动和音频输入的组合来向虚拟空间应用各种类型的实时扩充，包括人物的表情、姿态、姿势等等。这提供了对一个或多个人的实时的独特表演捕捉。

关于化身，它可以是像人类的或非人类的。例如，化身可以是多头多腿的章鱼，其中个人定义头和腿的数量，以及每一个头和每一条腿的特性，例如颜色、形状、长度等等。

在另一方面，一个化身的特性可以被另一个化身的特性影响。例如，如果第一个化身具有高兴的面部表情和姿势，而具有生气表情和姿势的第二个化身进入该虚拟空间，则第一个化身可采取害怕的面部表情和姿势。

在另一方面，多个人可以同时控制一个化身。例如，在图9b中，提到了第一个人可以定义化身的一个特性，之后第二个人定义同一化身的另一特性。在混和的示例中，多个人同时用其移动和/或语音来控制同一化身。例如，第一个人能控制化身的腿，而第二个人能控制手臂。或者，化身可以是诸如马等四条腿的动物，其中第一个人的移动和/或语音由应用用于控制马的后部，而第二个人的移动和/或语音由应用用于控制马的前部。这一对化身的混和控制可提供娱乐体验。

注意，可被运动捕捉系统检测的个人的身体移动可包括脸中的移动，如面部表情的改变。也可跟踪眼睛移动来向应用提供输入。

另一可能性是跟踪物理空间中的个人所持有的道具。例如，道具可以是个人挥舞的塑料剑。这可例如使得个人的化身采用攻击性的外观和语音语调。

另一示例是引起虚拟空间中除了修改化身的特性之外的动作。例如，如果虚拟空间是夜总会，则个人可在跳舞运动中来回摇摆并摆动其手臂来使得应用开始播放音乐并诸如通过提供迪斯科舞会来改变虚拟空间中的灯光。或者，如果虚拟空间是海滩，则个人可开始挥动其手臂来使得应用开始显示可由个人的化身击打的浮水气球。

图10a描绘了用于如图5的步骤506所述地更新虚拟空间的另一示例方法，其中记录、修改并回放表演。在该方法中，表演可以指响应于至少一个人的移动和/或至少一个人的语音的虚拟空间的视听记录。表演可以包括例如一个或多个人定义化身的一个或多个特性，如结合图9a-f所讨论的，以及一个或多个预先编制脚本的视听事件，如结合图7b-d、8a-c、11a和11b所讨论的。表演在某些情况下可以是受指导的。表演还可包括个人与应用的基于个人的身体移动或音频输入的其他交互，这些交互不涉及定义化身特性或预先编制脚本的视听事件。步骤1000包括基于对个人的跟踪来进行表演。在判定步骤1002，记录表演。这可包括记录整个表演，使得它可以由个人来回放和回看。在判定步骤1004，如果要执行下一个表演，则重复步骤1000和1002。可一个接着一个地记录虚拟空间中的一系列不同表演，其中每一相应的表演基于相应的时间段中检测到的相应的移动来发起。

在步骤1006，回放一个或多个表演。可在回放期间自动作出修改，如当记录表演时通过处理记录的表演来添加修改，或当回放表演时处理记录的表演来添加修改。可应用各种类型的修改。步骤1008指示从不同相机角度回放虚拟空间。参见图10b的示例。

步骤1010指示化身修改了发声特性，如音调、声调(包括地区的和国家的)、韵律、节奏、语调、清晰度、响度水平、以不同语言说话等等。例如，化身可以在一个表演中用正确的英语声调和措辞来说话，且在回放中该说话被自动修改为南部的拖长腔调。一般而言，化身可以在其探查虚拟空间时根据应用的指令在特定时间说话。这些指令可被处理以在回放中生成修改的话语。

步骤1012指示化身修改了外观特性。例如，除了发式和发色、行走的姿态和方式等可被修改之外，还可修改化身的服饰，包括衣服。

图10b描绘了结合图10a的方法的示例显示，其中用不同的相机角度来回放虚拟空间中的表演。相机角度可以指显示虚拟空间的显示器的观看者所看见的视点。在显示器1020中，提供如图8c中的同一场景的不同相机角度。该场景包括火炬830、832、834，路818和化身822，这些东西此处在侧视图而非图8c的立体视图中看见。

示例情形

其中玩家被指导来探查虚拟空间的一个示例情形可包括四个不同阶段：热身、场景、清算(pay off)和后游戏。在热身期间，玩家的化身被放置在用于场景和环境物体的服饰中，场景和环境物体都是交互式且静态的，其以允许玩家用场景的各种方面来试验的速度出现在场景中。当场景被完全构建时，出现聚光灯，并且指示玩家使其化身步入聚光灯中并说出“去！”来开始场景。替换的视觉提示是提供显示玩家的化身应站在哪里的脚印。

在示例情形的场景阶段，当场景开始时可以改变灯光和相机角度。在整个场景期间，向玩家发出应遵循来使得场景继续的特定指导。每一成功完成的指导在继续移动到下一指导之前生成有趣“瞬间”(某种动画或动态事件)。受指导的瞬间是继续场景所需要的动作。这些可以通过诸如地面上的绿点等视觉提示来在显示器上表示。一旦玩家的化身站在上面，就向玩家提供指导。另选瞬间是并非继续场景所需要的动作。然而，玩家因执行这些动作而受到奖励。这些可以通过诸如地面上的黄点等视觉提示来在显示器上表示。可发现的瞬间是可被玩家发现且不通过显示器上的视觉提示来标识的动作。场景可以包括例如多个受指导的和任选的瞬间。

在该示例情形的清算阶段，一旦玩家执行了最终的受指导的移动，就为玩家编译并回放刚才创建的场景。然而，在回放时，例如以新的相机角度、增强的音轨、调节后的玩家语音、以及揭示令人惊喜的最终瞬间来自动修改场景的各方面。在另一选项中，在回放期间，玩家可以选择“改变服饰”命令，该命令使得场景中的所有人物交换其服饰，例如衣服。

在该示例情形的后游戏阶段，一旦完成了清算，可用几个选项来提示玩家。一个选项是通过再次播放清算来重放。另一选项是通过例如经由网络与另一个人共享表演来共享。另一选项允许玩家再次玩该场景。另一选项是选择另一场景。

该示例情形的场景阶段的一个示例是怪物宴会(monster luau)。图11a描绘了在怪物宴会情形中的示例化身1100及其服饰1110，而图11b描绘了在怪物宴会情形中的示例场景1120。该化身具有滑稽的怪物的服饰。场景1120可以是构建在木平台上的夏威夷宴会。玩家试图使用该怪物的能力来开始聚会。交互式环境物体可以包括要击打的浮水气球、要击打的钢鼓、以及要点燃的小图腾柱。玩家的移动被转换成化身的移动以便与这些物体交互。

瞬间包括：

受指导的瞬间1：站在话筒前并说“让我们聚会吧”。结果：音乐开始且人群欢呼。

受指导的瞬间2：点亮毛利人像火炬。结果：当玩家弯腰时，火焰从化身的嘴中出来并点亮火炬。

受指导的瞬间3：在竿下跳林波舞。结果：玩家必须向后仰并使其化身在竿下跳林波舞。人群欢呼。

任选瞬间：玩家将手举过头并侧向挥臂。结果：人群模仿玩家的动作。

任选瞬间：玩家说“跳林波舞！”结果：玩家说排成行且人群重复。

任选瞬间：玩家跳呼啦舞。结果：椰树比基尼和衬衫出现在玩家的化身上(图11a)。

可发现的瞬间：玩家跳跃。结果：场景摇晃且椰果从树上掉下。

可发现的瞬间：猛击鼓。结果：钢鼓发出声音。

可发现的瞬间：用手击中小图腾柱。结果：小烟火射出。

可发现的瞬间：用手击中大图腾柱。结果：大烟火射出。

可发现的瞬间：站在大图腾柱前面。结果：图腾柱表现为机关中的管道。每一图腾柱具有不同的音调。

清算瞬间：要求玩家跳跃。后面的毛利人像火炬射出火焰爆发，使得玩家的化身着火。玩家的化身围绕台阶奔跑。朋友使用五个灭火器来灭火。人群欢呼。

上述瞬间的结果是虚拟空间中预先编制脚本的视听事件的示例。

以下是帮助通过经验指导玩家的不同类型的机制。

台阶上的瞬间指示符——在台阶的地面上以视觉提示来指示受指导的和任选的瞬间。示例包括：具有指向下的箭头的彩色圆圈，b)向玩家的化身示出站在哪里的彩色脚，以及c)向下照亮台阶的聚光灯。

指导指示符——这些向玩家示出如何执行。它们可能请求玩家以特定方式移动他或她的身体或猛击鼓。示例包括：化身朋友举起向玩家示出要做什么或说什么的标志，b)辅导化身展示所请求的移动，c)解说员告诉玩家要做什么，以及d)多个指示符的组合。

在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (20)

1.一种用于在运动捕捉系统中指导表演的处理器实现的方法，包括以下处理器实现的步骤：

跟踪所述运动捕捉系统的视野中的个人，所述跟踪包括通过使用骨架模型标识个人的移动来区分所述视野中的所述个人；

在显示器上显示虚拟空间，所述虚拟空间包括表示所述个人的化身；

指导所述个人的移动,包括提供除辅导化身之外的音频和/或视觉指令；以及

基于所述跟踪，检测所述个人的移动，并基于检测所述个人的移动来更新所述虚拟空间，所述更新包括在所述虚拟空间中提供预先编制脚本的视听事件；

其中，多个人能够向同一个应用提供输入，以更新所述虚拟空间的所述化身。

2.如权利要求1所述的处理器实现的方法，其特征在于：

所述指导所述个人的移动包括在所述显示器上提供视觉提示，所述视觉提示标识所述虚拟空间中所述化身被请求来移动到的位置或移动的方向中的至少一个，且所述个人通过在物理空间中移动来实现所述化身的所请求的移动。

3.如权利要求1所述的处理器实现的方法，其特征在于：

所述指导所述个人的移动包括通过在所述显示器上提供动画辅导来指导所述个人执行特定身体移动，所述动画辅导展示所述特定身体移动。

4.如权利要求1所述的处理器实现的方法，其特征在于，还包括：

基于检测所述个人的移动来更改所述化身的外观特性。

5.如权利要求1所述的处理器实现的方法，其特征在于：

所述指导所述个人的移动包括指导所述个人执行特定身体移动，所述方法还包括确定所述个人执行所述特定身体移动的程度，所述更新响应于所述个人执行所述特定身体移动的程度。

6.如权利要求1所述的处理器实现的方法，其特征在于：

所述指导所述个人的移动包括指导所述个人执行特定身体移动，所述方法还包括确定所述个人执行所述特定身体移动的次数，所述更新响应于所述个人执行所述特定身体移动的次数。

7.如权利要求1所述的处理器实现的方法，其特征在于，还包括：

基于检测所述个人的移动来更改所述化身的发音特性。

8.如权利要求1所述的处理器实现的方法，其特征在于，还包括：

检测所述个人的语音输入，并基于检测所述个人的语音输入来更新所述虚拟空间。

9.如权利要求1所述的处理器实现的方法，其特征在于，还包括：

记录所述虚拟空间中的一个或多个表演，且修改并回放所述一个或多个表演以使得所述虚拟空间在所述显示器上从不同的相机角度来被查看。

10.如权利要求9所述的处理器实现的方法，其特征在于：

所述修改包括所述化身的发音特性和服饰中的至少一个。

11.一种用于在运动捕捉系统中指导表演的设备，包括：

用于跟踪所述运动捕捉系统的视野中的个人的装置，所述跟踪包括通过使用骨架模型标识个人的移动来区分所述视野中的所述个人；

用于在显示器上显示虚拟空间的装置，所述虚拟空间包括表示所述个人的化身；

用于指导所述个人的移动,包括提供除辅导化身之外的音频和/或视觉指令的装置；以及

用于基于所述跟踪，检测所述个人的移动，并基于检测所述个人的移动来更新所述虚拟空间的装置，所述更新包括在所述虚拟空间中提供预先编制脚本的视听事件；

其中，多个人能够向同一个应用提供输入，以更新所述虚拟空间的所述化身。

12.如权利要求11所述的设备，其特征在于：

所述指导所述个人的移动的装置包括在所述显示器上提供视觉提示的装置，所述视觉提示标识所述虚拟空间中所述化身被请求来移动到的位置或移动的方向中的至少一个，且所述个人通过在物理空间中移动来实现所述化身的所请求的移动。

13.如权利要求11所述的设备，其特征在于：

所述指导所述个人的移动的装置包括通过在所述显示器上提供动画辅导来指导所述个人执行特定身体移动的装置，所述动画辅导展示所述特定身体移动。

14.如权利要求11所述的设备，其特征在于，还包括：

基于检测所述个人的移动来更改所述化身的外观特性的装置。

15.如权利要求11所述的设备，其特征在于：

所述指导所述个人的移动的装置包括指导所述个人执行特定身体移动的装置，所述设备还包括确定所述个人执行所述特定身体移动的程度的装置，所述更新响应于所述个人执行所述特定身体移动的程度。

16.如权利要求11所述的设备，其特征在于：

所述指导所述个人的移动的装置包括指导所述个人执行特定身体移动的装置，所述设备还包括确定所述个人执行所述特定身体移动的次数的装置，所述更新响应于所述个人执行所述特定身体移动的次数。

17.如权利要求11所述的设备，其特征在于，还包括：

基于检测所述个人的移动来更改所述化身的发音特性的装置。

18.如权利要求11所述的设备，其特征在于，还包括：

检测所述个人的语音输入，并基于检测所述个人的语音输入来更新所述虚拟空间的装置。

19.如权利要求11所述的设备，其特征在于，还包括：

记录所述虚拟空间中的一个或多个表演，且修改并回放所述一个或多个表演以使得所述虚拟空间在所述显示器上从不同的相机角度来被查看的装置。

20.如权利要求19所述的设备，其特征在于：

所述修改包括所述化身的发音特性和服饰中的至少一个。