[go: up one dir, main page]

CN102207771A - 推断参与运动捕捉系统的用户意图 - Google Patents

推断参与运动捕捉系统的用户意图 Download PDF

Info

Publication number
CN102207771A
CN102207771A CN2011101288987A CN201110128898A CN102207771A CN 102207771 A CN102207771 A CN 102207771A CN 2011101288987 A CN2011101288987 A CN 2011101288987A CN 201110128898 A CN201110128898 A CN 201110128898A CN 102207771 A CN102207771 A CN 102207771A
Authority
CN
China
Prior art keywords
intention
parameter
motion capture
individual
capture system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101288987A
Other languages
English (en)
Inventor
C·克莱恩
A·马汀格利
A·瓦赛尔
L·陈
A·达亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102207771A publication Critical patent/CN102207771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及推断参与运动捕捉系统的用户意图。提供了用于推断用户的与运动捕捉系统所运行的应用交互的意图的技术。消除了与运动捕捉系统交互的蓄意的用户姿势和系统的视野内的无关的用户运动的歧义。可使用算法来确定用户的参与系统的聚集等级的意图。算法中的参数可包括用户身体的姿态和运动，以及系统的状态。该系统可形成骨架模型来确定各种参数。如果系统确定参数强烈地指示出参与系统的意图，则系统可快速反应。然而，如果参数仅仅微弱地指示出参与系统的意图，则用户可能花费更长时间来参与系统。

Description

推断参与运动捕捉系统的用户意图
技术领域
本发明涉及运动捕捉系统和方法，尤其涉及推断参与运动捕捉系统的用户意图。
背景技术
运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。可对人放置标记来帮助检测，但也已经开发了无标记系统。某些系统使用由人携带或附带的惯性传感器来检测移动。例如，在某些视频游戏应用中，用户握住可在玩游戏时检测移动的无线控制器。
尽管许多系统能够检测运动，但是可能难以确定运动是否是参与系统的意图。参与系统指的是意图影响系统的蓄意的用户输入。例如，用户可能使用手势来控制屏幕上菜单或控制视频游戏中的动作。误解用户的意图的一个示例是将用户对另一人的手势误解为参与系统的意图。系统的视野内的任何用户可能被误解为意图参与系统。对于特殊标记器、传感器、控制器等的使用可帮助避免错误，但是对于用户来说可能是麻烦的。因此，需要允许在运动捕捉系统内人与应用更自然地交互的进一步改进。
发明内容
提供了一种用于推断用户与运动捕捉系统运行的应用交互的意图的方法、运动捕捉系统和计算机可读存储设备。本文所述的技术不需要任何特殊标记器、传感器、控制器等来与系统交互。而且，本文所述的技术允许人类在运动捕捉系统内与应用自然地交互。
本文所述的技术能够消除与运动捕捉系统交互的蓄意的用户姿势与系统的视野内的无关的用户运动之间的歧义。可使用算法来确定用户的参与系统的聚集的意图等级。算法中的变量可包括用户身体的姿态和运动，以及系统的状态。注意，在其上推断意图的数据可以是除了用户执行以产生输入来改变系统所执行的应用的动作之外的东西。例如，系统可部分地基于用户的髋部相对系统的角度来推断用户的参与系统的意图。然而，一旦参与系统，游戏应用可基于用户的手所做出的姿势来作出反应。因此，不意图影响系统的手势可被系统忽略。本文所述的技术能够在其他非参与用户存在于系统的视野内时确定哪个(或哪些)用户意图与系统交互。
一个实施例包括确定参与运动捕捉系统的用户意图的方法。描述运动捕捉系统的视野内的个人的身体的数据随时间被收集。基于该数据确定每个时间段该个人的身体的模型。确定每个模型的每个参数的值。每个参数的值定义了个人的身体的关于参与系统的某一意图等级的方面。基于每个时间段的参数值确定参与系统的聚集的意图等级。如果聚集的意图等级超过阈值，则由运动捕捉系统所捕捉的选择的用户动作被解释为对系统的输入。如果聚集的意图等级没有超过阈值，则由运动捕捉系统所捕捉的所述选择的用户动作被解释为噪声。
一个实施例包括运动捕捉系统，该运动捕捉系统包括图像相机组件、显示器以及与图像相机组件和显示器通信的逻辑。该逻辑可用于在图像相机组件的视野内随时间收集描述个人的身体的数据。该逻辑可用于基于所述数据对多个时间段的每一个时间段生成个人的身体的模型。该逻辑可用于对每个模型的多个参数中的每一个参数生成值。每个参数定义了个人的身体的关于参与运动捕捉系统的某一意图等级的方面。该逻辑可用于基于每个模型的参数的值来聚集参与系统的意图等级。该逻辑可用于确定聚集的意图等级是否强烈地指示出参与运动捕捉系统的意图。该逻辑可用于在聚集的意图等级强烈地指示出参与运动捕捉系统的意图的情况下，将深度相机捕捉的选择的用户动作解释为对运动捕捉系统的输入。该逻辑可用于确定聚集的意图等级是否微弱地指示出参与运动捕捉系统的意图。该逻辑可用于在聚集的意图等级微弱地指示出参与运动捕捉系统的意图的情况下，提供指示出运动捕捉系统注意到个人的存在的反馈，但不允许该人参与运动捕捉系统。该逻辑可用于在聚集的意图等级既不强烈地也不微弱地指示出参与运动捕捉系统的意图的情况下，将选择的用户动作解释为噪声。
一个实施例包括具有存储于其上的用于对至少一个处理器编程来在运动捕捉系统中执行一种方法的计算机可读软件的计算机可读存储设备。该方法包括建立其中选择的用户动作被认为是噪声的模式，在运动捕捉系统的视野内随时间收集描述个人的身体的数据，基于所述数据对多个时间段的每个时间段生成个人的身体的模型，对每个模型的多个参数的每一个参数生成值。每个参数定义了个人的身体的关于参与系统的某一意图等级的方面。该方法还包括确定每个值的得分。每个得分代表为参数的相关联的值推断的的意图等级。该方法还包括基于来自当前时间段的得分确定对当前时间段推断的意图等级，如果该意图等级超过阈值则将运动捕捉系统所捕捉的选择的用户动作解释为对系统的输入，修改来自先前的时间间隔的参数的得分，确定基于来自当前时间段的得分和来自先前的时间间隔的修改的得分所推断的聚集的意图等级，以及如果聚集的意图等级超过阈值则将运动捕捉系统所捕捉的选择的用户动作解释为对系统的输入。
提供本概要以用简化形式介绍在下面的说明书中进一步描述的精选概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
图1a和1b描绘了其中用户与模拟拳击比赛的应用交互的运动捕捉系统的示例实施例。
图2描绘了图1a的运动捕捉系统10的示例框图。
图3描绘了用于允许个人与运动捕捉系统交互的方法。
图4a描绘了用于确定运动捕捉系统的视野中的个人的模型的示例方法。
图4b描绘了可由图4a的过程生成的个人的示例模型。
图4c描绘了可由图4a的过程生成的个人的另一示例模型。
图5是当应用有比适当情况更多的用户时确定哪个用户或哪些用户正意图参与系统的过程的一个实施例的流程图。
图6是确定模型是否指示出用户意图参与系统的过程的一个实施例的流程图。
图7描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。
图8描绘了可以在图1a的运动捕捉系统中使用的计算环境的示例框图。
具体实施方式
提供了用于允许一个人或一组人容易地在运动捕捉系统中与应用交互的各种技术。深度相机系统可跟踪物理空间中个人的位置和移动，并评估这些位置和移动来确定该个人是否打算参与应用，例如与应用交互。深度相机系统可形成用户的骨架模型并基于该骨架模型来确定各种参数的值。在某些情况中，系统可分析来自系统的视野中的多个人的骨架数据，并确定哪些人正意图与系统交互。
在一些实施例中，如果用户当前没有参与系统，则系统继续随时间确定用户的参与系统的意图。如果系统确定用户的动作、姿态等强烈地指示出参与系统的意图，则系统可快速反应。然而，如果用户的动作仅仅微弱地指示出参与系统的意图，则用户可能花费更长时间来参与系统。如果用户的动作微弱地指示出参与系统的意图，则系统可提示用户以帮助过程向前进行。例如，系统可指示出它注意到用户，但注意到系统当前处于不允许用户通过诸如手势之类的动作与应用交互的模式中。
图1a和1b描绘了其中个人18与模拟拳击比赛的应用交互的运动捕捉系统10的一个示例实施例。运动捕捉系统10用于识别、分析和/或跟踪诸如个人18(也称为用户或玩家)等人类目标。该示例用于提供示例环境的目的。然而，确定用户是否意图参与运动捕捉系统10并不限于该示例实施例。
如图1a所示，运动捕捉系统10可包括诸如计算机、游戏系统或控制台等计算环境12。计算环境12可包括执行诸如教育和/或娱乐目的等应用的硬件组件和/或软件组件。本文所述的实施例可以软件、硬件或软件和硬件的某种组合来实现。下面描述用于软件实施例的示例计算平台。一般来说，文本所使用的术语“逻辑”可指代或者软件或者硬件(或其组合)。硬件实现的一个示例是专用集成电路(ASIC)。
运动捕捉系统10还可包括深度相机系统20。深度相机系统20可以是，例如可用于在视觉上监视诸如个人18等的一个或多个人，从而可以捕捉、分析并跟踪该人所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作的相机。
运动捕捉系统10可以连接到诸如电视机、监视器、高清电视机(HDTV)等可向用户提供视觉和音频输出的音频/视觉设备16。音频输出也可经由单独的设备来提供。为驱动音频/视觉设备16，计算环境12可包括提供与应用相关联的音频/视觉信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。音频/视觉设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
可使用深度相机系统20来跟踪个人18，使得该个人的姿势和/或移动被捕捉并被解释为对计算机环境12所执行的应用的输入控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
作为一个示例，应用可以是其中个人18参与且其中音频/视觉设备16向个人18提供拳击对手38的视觉表示的拳击游戏。计算环境12还可使用音频/视觉设备16来提供玩家化身40的视觉表示，该视觉表示代表了该个人，并且该个人可用他的或她的身体移动来控制该视觉表示。
例如，如图1b所示，个人18可以在例如该个人站在其中的房间等物理空间中挥出重拳，以使得玩家化身40在包括拳击台的虚拟空间中挥出重拳。由此，根据一示例实施例，运动捕捉系统10的计算机环境12和深度相机系统20可用于识别并分析物理空间中的个人18的重拳，使得该重拳可被解释为对模拟拳击比赛的应用的输入，以控制虚拟空间中的玩家化身40。
个人18的其他移动也可被解释为其他控制或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的重拳的控制。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用。由此，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如道具等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用手持球拍的玩家的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟空间中对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由个人18的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度信息可包括深度值。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。
图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光组件24、三维(3-D)相机26、以及红-绿-蓝(RGB)相机28。例如，在飞行时间分析中，深度相机系统20的IR光组件24可将红外光发射到物理空间上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自该物理空间中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。
飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。
根据另一实施例，深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的逻辑32。逻辑32可包括可执行指令的标准化的处理器、专用处理器、微处理器等。逻辑32还可包括诸如ASIC、电子电路、逻辑门等之类的硬件。
深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
另外，深度相机系统20可经由通信链路36向计算环境12提供由例如3-D相机26和/或RGB相机28捕捉的深度信息和图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为以下的每一个提供一姿势过滤器：上举或侧举一条或两条手臂，以圆圈旋转手臂，像鸟一样拍打手臂，向前、向后或向一侧倾斜，跳起来，脚跟抬起踮脚，原地走动，走到视野/物理空间中的不同位置，等等。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制相关联。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图3描绘了用于使个人能够参与运动捕捉系统的方法。该方法可以使用例如结合图2讨论的深度相机系统20和/或计算环境12来实现。过程中的各种步骤可由软件和/或硬件的组合来执行。该过程以用户没有参与系统的模式开始(步骤302)。在该模式中，选择的用户动作被系统解释为噪声，这与对系统的蓄意的用户输入相反。例如，手势可被解释为噪声而不是对影响系统所正在运行的应用的蓄意尝试。所选择的动作可能取决于当前正被运行的应用。例如，每个应用可具有其自己的允许用户进行输入的用户动作的集合。注意，图3的过程描述了单个用户处于视野中的示例。对于多个用户处于视野中的情况，可修改该过程。然而，为了便于解释，当讨论图3的过程时将描述单个用户的示例。
步骤304包括收集运动捕捉系统的视野中个人的数据。例如，运动捕捉系统创建深度信息。步骤304中收集的数据可跨越第一时间段。作为用于说明的目的的一个示例，该时间段可以是一秒；然而可使用其他时间长度。在某些实施例中，深度信息与一个瞬时有关。因此，可对该时间段收集多组深度信息。
在步骤306，为视野中的该个人生成一个或多个模型。在一个实施例中，步骤306包括生成骨架数据。下面讨论生成骨架数据的进一步细节。然而，该模型并不限于骨架数据。例如，该模型可包括描述个人的注视方向的信息。后一信息并没有必要基于骨架数据。在某些实施例中，对于给定时间段使用单个模型；然而，对于给定时间段可使用任何数量的模型。
在步骤308，对于当前时间段，确定与参与系统的用户意图有关的参数的值。示例参数包括用户髋、肩和/或脸相对系统的角度。以下描述进一步的示例参数。参数的值可以是数值，例如相对于系统髋部旋转的实际度数。
注意，参数可基于将不必用于允许用户与系统运行的应用交互的信息。例如，参数可基于用户的髋部相对于系统的角度。然而，用户的髋部角度可不必用作影响应用(例如游戏)的输入。
还注意，参数的值可基于运动数据。例如，整个用户身体的移动可能暗示该用户不意图参与系统。相反，如果用户是静止的，这可推断出参与系统的意图。因此，一个参数可以是移动参数。移动参数的值可以是描述该移动的任何度量(例如数字、向量)。
在步骤310，对于每个参数的值确定反映用户参与系统的意图的得分。例如，如果用户的髋部角度指示出该个人正面向系统，则可分配高分。然而，如果该个人的髋部角度指示出该个人把脸转离系统，则可向该参数分配低分。还注意，参数的值可基于运动数据。例如，整个个人身体的移动可能暗示该个人不意图参与系统。相反，如果该个人是静止的，这可推断出参与系统的意图。因此，可基于该个人的整个身体或该个人的身体的某一特定部位的相对运动量来向运动参数分配高/中/低得分。注意，该得分代表当前时间段。当前时间段可以是任何时间间隔。
在步骤312，基于来自当前时间段的参数的得分，对于当前时间段确定参与系统的意图的等级。在一个实施例中，来自每个参数的得分被相加以确定值是否跨一阈值。然而，可使用其他技术来确定参数的得分是否指示出参与系统的意图。注意，参与系统的聚集的意图可基于先前时间段的参数的得分，将在下面的步骤320中讨论。
如果确定该个人意图参与系统(步骤314)，则在步骤316进入一模式，该模式中选择的用户动作被解释为对系统的输入。系统可对与该应用有关的用户动作作出反应。例如，系统可对个人在用户界面中作出选择的手势作出反应。注意，被用于确定个人意图参与系统的数据不必包括手势。该模式可继续，直到作出该个人意图脱离系统的判定为止。
在步骤318，以某种方式修改来自先前时间段的参数的得分。该步骤可帮助实现随时间一致的意图等级。在一个实施例中，随时间降低参数的得分。许多技术可用于随时间降低参数的影响。例如，每个参数的得分可随时间衰减。
在步骤320，作出随时间聚集的意图等级是否指示出对参与系统的渴望的判定。在一个实施例中，来自当前时间段的参数的得分和来自先前时间段的参数的降低的得分被用于确定聚集的意图等级。注意，如果参数的当前得分仅仅微弱地指示出参与系统的意图，则步骤314的判定可取到步骤318的路径。然而，通过对来自先前时间段的意图等级的聚集，可推断出足够的意图等级。在这种情况下，用户可能花费较长时间来参与系统。然而，还可能是可排除更多的假肯定姿势识别错误。
在步骤322，如果确定参与系统的聚集的意图等级足够高，则过程进行到步骤316，在步骤316中选择的用户动作被解释为对系统的输入。然而，如果确定参与系统的聚集的用户意图等级不是足够高(步骤322)，则过程返回到步骤304以对下一时间段收集数据。该过程可连续地循环，直到确定该个人意图参与系统为止。注意，尽管脱离系统的意图没有在该过程中显式地示出，但是该过程可被修改来允许用户或者显式地脱离或者通过例如一段不活动时间段来推断脱离的意图。
图4A描绘了用于生成深度相机系统的视野中的个人的模型的示例方法。该示例方法可以使用例如结合图2讨论的深度相机系统20和/或计算环境12来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。该模型然后可被分析来确定参与系统的意图等级。该模型还可被跟踪来允许用户与计算环境执行的应用交互。然而，如前所述，模型的不同于用于与应用交互的那些参数可用于确定意图等级。用于生成模型的扫描可以在启动或运行应用时发生，或按照由所扫描的个人的应用控制地在其他时间发生。
根据一个实施例，在步骤402，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像，其中每一所观察的像素具有所观察的深度值。
深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成结合图4b和4c讨论的诸如骨架模型等模型。
在步骤404，作出关于深度图像是否包括人类目标的判定。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与一图案进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各个深度值来确定可定义如上所述的目标或对象的边缘。可基于所确定的边缘来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边缘相关联的像素以及边缘内的区域的像素可互相关联来定义捕捉区域中的可与图案进行比较的目标或对象，这将在下文中更详细描述。
如果视野中有人(步骤406为真)，则执行步骤408。如果没有人(步骤406为假)，则在步骤402接收额外的深度信息。
对照其来比较每一目标或对象的图案可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，图案中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否是人类以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。
步骤408包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩模确定的度量值来定义结合图4b和4c讨论的骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。
例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。
步骤410包括生成人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可以和人类的身体部位相对应的一根或多根骨骼。例如，图4b描绘了如图4a的步骤410中所述的个人的示例模型420，而图4c描绘了如图4a的步骤410中所述的个人的另一示例模型430。
一般而言，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。例如，前臂段428连接到关节426和429，而上臂段424连接到关节422和426。前臂段428可相对于上臂段424移动。
可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。
可跟踪骨架模型使得用户58的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在操纵屏幕上光标、在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。作为一个具体示例，通过跟踪用户手移动，用户能够操纵屏幕上光标来导航用户界面。一般而言，可使用用于跟踪个人的移动的任何已知技术。
注意，个人的模型不限于骨架数据。在一个实施例中，特征识别软件被用于为模型生成附加数据。例如，可使用特征识别软件来确定个人注视的方向。
有时，在系统的视野中可能有不只一人。在一些实施例中，该系统能够确定哪些人正意图参与系统而哪些人没有。例如，两个人可能正在系统上玩网球游戏，而同时其他人正在观看。然而，正在观看的那些人可能位于视野中。有时，那些正在观看的人可与那些正在玩的人交换。
图5是当应用有比适当情况更多的用户时确定哪些用户正意图参与系统的过程的一个实施例的流程图。该示例方法可以使用例如结合图2讨论的深度相机系统20和/或计算环境12来实现。在步骤502，系统确定应用有比适当情况更多的用户。在一个实施例中，图4A的过程用于为视野中的每个用户生成单独的模型。该系统可将生成的模型的数量与允许的用户的数量相比较。
在步骤504，分析每个模型以对于该模型确定意图等级。在一个实施例中，步骤504包括执行步骤308、310、312、318和320以确定每个模型的参数的值、参数的得分以及每个用户的意图等级。意图等级可以是基于来自不同时间段的参数值的聚集的意图等级。注意，步骤504不必包括确定给定模型的意图等级是否指示出参与系统的意图，但它可包括。因此，步骤314和322无需被执行。
在步骤506中，选择具有最高的参与系统的意图等级的模型。因此，对应于所选模型的用户被允许参与系统。例如，两个所选用户的动作被允许控制正被系统运行的游戏。然而，系统检测到的其他用户的动作可被忽略。
如果步骤314和/或322在步骤504期间执行以确定用户是否具有足够高的参与系统的意图等级，则步骤506可确定有比当前应用所允许的更少的合格用户。如果是这样，则系统可仅允许具有足够高的意图等级的那些用户参与系统。然而，系统也可修改确定用户的动作是否暗示出足够的意图所需的阈值，以允许更多的用户参与系统。
在某些实施例中，系统既采用高阈值也采用低阈值。图6是在确定用户是否意图参与系统时使用高和低阈值的过程的一个实施例的流程图。该过程是图3的步骤312或者步骤320的一个实施例。在步骤602，系统给出指示出当前没有用户参与系统的信号。这可以是视觉信号；然而并不排除听觉信号。
在步骤604，基于用户最后一次参与系统以来的时间长度设置用于确定意图的阈值。这允许最近参与系统的用户更快地重新参与。而且，它可帮助防止假肯定。在一个实施例中，有两个阈值。高阈值可用于确定用户是否意图参与系统。较低的阈值可用于确定用户可能希望参与系统，但还没有展示出可从中推断意图的足够的动作(姿态、位置等)。在后一种情况中，系统可向用户给出该系统注意到该用户但用户还未参与系统的信号。
在步骤606，访问参数的得分。这些得分可以是来自当前时间段的得分或来自先前时间段的修改的得分。从而，得分可以是图3的步骤310或318中生成的那些。
在步骤608，系统确定得分是否跨高阈值。例如，系统可将来自当前时间段的得分相加以确定它们是否比高阈值大。作为另一个示例，系统可将来自当前时间段的得分和来自先前时间段的修改的得分相加来确定它们是否比高阈值大。作为又一个示例，计算来自不同时间段的得分的加权平均。然而，可使用其它技术。
注意，在某些情况中，当前时间段的用户动作可能不足以跨高阈值。然而，当来自先前时间段的修改的得分被聚集时，阈值可能被跨越。因此，如果用户的动作强烈地推断出意图则用户可更快速地参与系统。换言之，如果用户的动作微弱地推断出意图则用户可更慢速地参与系统。
如果高阈值被跨越(如步骤608所确定的)，则系统可进入选择的用户动作(例如手势)被解释为输入的模式(步骤610)。系统还可向用户提供他们已经成功地参与了系统的反馈。可使用任何类型的反馈，包括但不限于，视觉和听觉。
如果高阈值没有被跨过，则过程继续以确定低阈值是否被跨过(步骤612)。例如，系统可将来自当前时间段的得分相加以确定它们是否比低阈值大。作为另一个示例，系统可将来自当前时间段的得分和来自先前时间段的修改的得分相加来确定它们是否比低阈值大。然而，可使用其它技术。
如果低阈值被跨过，则系统可向用户提供反馈，指示出系统注意到用户但用户还未参与系统(步骤614)。可使用任何类型的反馈，包括但不限于，视觉和听觉。通过提供这种反馈，可鼓励用户采取进一步的步骤来尝试参与系统或可试图避免参与系统。
不管低阈值是否被跨过，过程继续以在步骤616确定是否有来自用户的参与系统的显式信号。例如，可有系统承认的显式信号。这种信号可以是例如视觉或音频信号。
在某些实施例中，低阈值被跨过之后的某些用户动作与高阈值或低阈值都没有被跨过的情况下不同地被解释。例如，此时来自用户的简短的手运动可指示出用户想要参与系统。然而，如果高阈值或低阈值都没有被跨过，则这种手运动可能已被忽略。作为另一示例，用户可能作出指示该用户此时不希望参与系统的信号。
如果用户作出参与系统的显式请求(如步骤616所确定的)，则在步骤618中系统使用户参与。从而，运动捕捉系统检测到的选择的用户动作现在被解释为对系统的输入。注意，为了解释的方便，在过程中的特定位置示出对来自用户的显式信号的测试。用户可在任何时候作出这种请求。
如所述，当确定参与系统的意图等级时有许多不同的可被考虑的参数。在某些实施例中，系统首先确定这些参数中的每个参数的值。例如，系统可确定髋部旋转的角度。然后，系统确定该值的得分，其中越高的得分可指示出越高的意图等级。在某些实施例中，得分可指示出参与的意图程度或脱离的意图的程度。作为一个示例，对于参与意图可使用正得分，而对于脱离意图可使用负得分；然而，可使用其他评分系统。接着，系统确定得分的整体意图等级。如所述，可存在对于当前时间的得分，和/或来自先前时间段的修改的得分。下面是可被使用的示例参数。该列表是出于说明的目的，且不应被解释为对这些参数的限制。
用户的整个身体或任何身体部位的移动可被认为是参数。注意，对于某些系统(例如基于手的姿势系统)，意图交互的用户可能在短的时间段上保持在相对一致的位置和身体姿态。对于移动参数的值可包括基于位置、方向和速度的向量。在某些实施例中，对较少的移动给予较高的得分。例如，站立不动的用户可具有更高的参与系统的意图。
对于身体运动参数的得分可基于该向量与物理交互区(PHIZ)的比较。在一个实施例中，系统定义深度相机的视野内的物理交互区(PHIZ)。
PHIZ可具有任何形状。例如，PHIZ可具有意图捕捉典型的用户的手势的边界。作为一个示例，PHIZ可被定义为具有上边界、下边界、左边界和右边界的区域。作为一个示例，得分可基于用户的手是否进入或离开PHIZ。
用户的上身的旋转可被认为是参数。例如，面向系统可暗示出意图参与。这可基于髋部、肩部或另一身体部位的旋转角度。个人的注视的方向也可被考虑。在某些实施例中，存在被认为是强烈地暗示出意图参与的角度范围。然而，一旦用户处于该角度范围内时，即使用户略微地走出那些角度，仍可暗示出强参与意图。因此，对某一值(例如髋部或肩部角度)赋予的得分可基于先前的用户动作而被实时调整。
头部取向和/或注视方向可以是参数。注意，这些参数可能不基于骨架数据。在一个实施例中，用户的注视的方向是使用特征识别软件确定的。作为一个示例，系统可配备有面部识别软件。然而，并不要求确定实际用户是谁。相反，能够确定注视的方向就足够了。因此，特征识别软件无需具有识别特定用户的能力。
用户的一个或两个手的位置可被认为是参数。例如，当用户的手进入或离开PHIZ时可作出确定。而且，可跟踪用户的手最后一次进入或离开PHIZ的方向。在一个实施例中，每个手最后一次进入/离开PHIZ的方向被跟踪作为参数。例如，把手放下到PHIZ的底边缘之外可以是比在大型姿势期间将手移出左边缘或右边缘更强的负面意图信号。
手姿态可以是参数。手姿态可包括但不限于，手掌面向的方向、手指指向的方向、每个手指的取向(例如闭合、张开)。注意，如果骨架数据足够详细，则手姿态可基于骨架数据来确定。例如，如果骨架数据包括关于拇指和手指的数据，则可能是这种情况。然而，不要求具有详细的骨架数据来确定手姿态。在一个实施例中，特征识别软件被用来确定手姿态。
可使用在一短时间段内相对于预期姿势的手移动的主平面作为参数。例如，允许手势的系统可预期(尽管并不要求)手势出现在特定X/Y平面中。用户的手运动匹配预期的X/Y平面的程度可肯定地与参与系统的意图相关。
已参与的用户的不活动时间段可以是参数。例如，缺少用户的手的运动可减少参与系统的意图。
朝向显式参与姿势的测量的进展可以是参数。例如，用户挥动或作出语音/音频提示可加速参与。其示例在图6的步骤616中给出。
本文描述的各种实施例可至少部分地在计算环境中执行。图7描绘了可以在图1a、图1b和图2的运动捕捉系统中使用的计算环境的示例框图。该计算环境也可在执行图3、4a、5和6所述的过程的至少一些步骤时使用。该计算环境可用于确定用户的参与运动捕捉系统的意图等级。一旦用户参与，该计算环境还可用于解释一个或多个姿势或其他移动并作为响应更新显示画面上的视觉空间。上面参考图1a、1b和2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM106可存储在多媒体控制台100通电时在引导进程初始化阶段加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中任何一种。
提供系统存储器143来存储在引导进程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用可被调度为在预定时间并以预定时间间隔在CPU 101上运行，以为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2的深度相机系统20接收附加输入。
图8描绘了可以在图1a、图1b和图2的运动捕捉系统中使用的计算环境的另一示例框图。该计算环境也可在执行图3、4a、5和6所述的过程的至少一些步骤时使用。该计算环境可用于确定用户的参与运动捕捉系统的意图等级。一旦用户参与，该计算环境可用于解释一个或多个姿势或其他移动并作为响应更新显示画面上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图8描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图8中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图8示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种机器实现的方法，包括：
收集描述运动捕捉系统的视野内的个人的身体的数据，所述数据是随时间被收集的(304)；
基于所述数据对多个时间段的每一个时间段生成个人的身体的模型(306)；
对每个模型的多个参数中的每个参数生成值，每个参数的值定义了个人的身体的关于参与系统的意图等级的方面(308)；
基于每个模型的参数值聚集参与系统的意图等级(320)；
如果聚集的意图等级超过阈值，将运动捕捉系统所捕捉的选择的用户动作解释为对系统的输入(316)；
如果聚集的意图等级没有超过阈值，则将运动捕捉系统所捕捉的所述选择的用户动作解释为噪声(302)。
2.如权利要求1所述的机器实现的方法，其特征在于，还包括：
确定参数的值是强烈地还是微弱地指示出该个人意图参与系统；以及
如果参数的值微弱地指示出该个人意图参与系统，则向该个人提供指示出系统注意到该个人的存在的反馈，但将运动捕捉系统所捕捉的所述选择的用户动作解释为噪声；
将运动捕捉系统所捕捉的选择的用户动作解释为对系统的输入包括确定参数的值强烈地指示出参与系统的意图。
3.如权利要求1或2所述的机器实现的方法，其特征在于，对多个参数中的每个参数生成值包括对所述多个参数的每个个体参数推断参与系统的意图等级。
4.如权利要求1至3中任一项所述的机器实现的方法，其特征在于，聚集参与系统的意图等级还基于自从该个人最后一次参与系统以来已经经过的时间。
5.如权利要求1至4中的任一项所述的机器实现的方法，其特征在于，还包括：
修改给予先前的时间段的每个参数的权重。
6.如权利要求5所述的机器实现的方法，其特征在于，修改给予先前的时间段的每个参数的权重包括向来自更早的时间段的参数提供逐渐减少的权重。
7.如权利要求1至6中的任一项所述的机器实现的方法，其特征在于，描述个人的身体的数据包括骨架数据。
8.如权利要求1至6中任一项所述的机器实现的方法，其特征在于，所述选择的用户动作包括手势。
9.一种运动捕捉系统，包括：
具有视野的图像相机组件(22)；
显示器(196)；以及
与所述图像相机组件和所述显示器通信的逻辑(32，192)，所述逻辑用于：
收集描述所述图像相机组件的视野内的个人的身体的数据，所述数据是随时间被收集的(304)；
基于所述数据对多个时间段的每一个时间段生成个人的身体的模型(306)；
对每个模型的多个参数中的每个参数生成值，每个参数定义了个人的身体的关于参与运动捕捉系统的意图等级的方面(308)；
基于每个模型的参数的值聚集参与系统的意图等级(320)；
确定聚集的意图等级是否强烈地指示出参与运动捕捉系统的意图(608)；
在聚集的意图等级强烈地指示出参与运动捕捉系统的意图的情况下，将深度相机捕捉的选择的用户动作解释为对运动捕捉系统的输入(610)；
确定聚集的意图等级是否微弱地指示出参与运动捕捉系统的意图(612)；
在聚集的意图等级微弱地指示出参与运动捕捉系统的意图情况下，提供指示出运动捕捉系统注意到个人的存在的反馈，但不允许该个人参与运动捕捉系统(614)；以及
在聚集的意图等级既不强烈地也不微弱地指示出参与运动捕捉系统的意图的情况下，将选择的用户动作解释为噪声(302)。
10.如权利要求9所述的运动捕捉系统，其特征在于，所述逻辑进一步用于：
生成图像相机组件的视野内每个个人的身体的单独的模型，这些单独的模型基于在所述视野内收集的数据；
确定当前时刻所述视野中有比被允许与系统交互的人更多的人，所述系统允许特定数量的人在当前时刻进行交互；以及
分析每个模型以选择具有最高的与系统交互的意图等级的所述特定数量的人。
11.如权利要求10所述的运动捕捉系统，其特征在于，所述数据包括所述视野内的每个个人的身体的骨架数据，所述逻辑还用于：
对所述视野中的每个个人的骨架数据生成一组参数，对所述多个时间段的每一个时间段生成一组参数；以及
基于每个时间段的各组参数确定每个个人的聚集的意图等级。
12.如权利要求9至11中任一项所述的运动捕捉系统，其特征在于，所述逻辑还用于基于自从该个人最后一次参与系统以来已经经过的时间来确定意图等级是否强烈地指示出参与系统的意图。
13.如权利要求9至12中任一项所述的运动捕捉系统，其特征在于，所述逻辑进一步用于：
基于每个时间段的每个参数的值确定得分，每个得分表示对相关联的参数的值推断的意图等级。
14.如权利要求13所述的运动捕捉系统，其特征在于，所述逻辑进一步用于：修改与先前时间段的参数相关联的得分，以更改给予来自先前时间段的参数的权重。
15.如权利要求13所述的运动捕捉系统，其特征在于，所述逻辑进一步用于：降低与先前时间段的参数相关联的得分，以减少给予来自先前时间段的参数的权重。
CN2011101288987A 2010-05-12 2011-05-11 推断参与运动捕捉系统的用户意图 Pending CN102207771A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/778,790 US20110279368A1 (en) 2010-05-12 2010-05-12 Inferring user intent to engage a motion capture system
US12/778,790 2010-05-12

Publications (1)

Publication Number Publication Date
CN102207771A true CN102207771A (zh) 2011-10-05

Family

ID=44696639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101288987A Pending CN102207771A (zh) 2010-05-12 2011-05-11 推断参与运动捕捉系统的用户意图

Country Status (2)

Country Link
US (1) US20110279368A1 (zh)
CN (1) CN102207771A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915001A (zh) * 2015-06-03 2015-09-16 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN105122183A (zh) * 2013-02-11 2015-12-02 微软技术许可有限责任公司 检测自然用户输入参与
CN107204194A (zh) * 2017-05-27 2017-09-26 冯小平 确定用户所处环境以及推断用户意图的方法和装置
CN107924455A (zh) * 2015-07-14 2018-04-17 尤尼伐控股有限公司 计算机视觉过程
CN108398906A (zh) * 2018-03-27 2018-08-14 百度在线网络技术（北京）有限公司 设备控制方法、装置、电器、总控设备及存储介质
CN110069127A (zh) * 2014-03-17 2019-07-30 谷歌有限责任公司 基于用户的关注来调整信息深度

Families Citing this family (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9690465B2 (en) * 2012-06-01 2017-06-27 Microsoft Technology Licensing, Llc Control of remote applications using companion device
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
AU2014214676A1 (en) 2013-02-07 2015-08-27 Apple Inc. Voice trigger for a digital assistant
US9866900B2 (en) 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101857648B1 (ko) 2013-03-15 2018-05-15 애플 인크. 지능형 디지털 어시스턴트에 의한 사용자 트레이닝
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
KR101904293B1 (ko) 2013-03-15 2018-10-05 애플 인크. 콘텍스트-민감성 방해 처리
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9594542B2 (en) 2013-06-20 2017-03-14 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on training by third-party developers
US10083009B2 (en) 2013-06-20 2018-09-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system planning
US9633317B2 (en) 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US20150123901A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN105550667B (zh) * 2016-01-25 2019-01-25 同济大学 一种基于立体相机的骨架信息动作特征提取方法
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US20180074200A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for determining the velocity of lidar points
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11101040B2 (en) * 2018-04-20 2021-08-24 Hanger, Inc. Systems and methods for clinical video data storage and analysis
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11176357B2 (en) 2019-10-30 2021-11-16 Tascent, Inc. Fast face image capture system
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US20220012968A1 (en) * 2020-07-10 2022-01-13 Tascent, Inc. Door access control system based on user intent
USD1030769S1 (en) 2021-09-04 2024-06-11 Assa Abloy Global Solutions Ab Wall mountable door access device
EP4402559A1 (en) * 2021-09-15 2024-07-24 Neural Lab, Inc. Touchless image-based input interface
DE102021006307A1 (de) * 2021-12-22 2023-06-22 Heero Sports Gmbh Verfahren und eine Vorrichtung zur optischen Erkennung und Analyse in einer Bewegungsumgebung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021199A1 (en) * 2005-07-25 2007-01-25 Ned Ahdoot Interactive games with prediction method
US20090079813A1 (en) * 2007-09-24 2009-03-26 Gesturetek, Inc. Enhanced Interface for Voice and Video Communications
US20090215533A1 (en) * 2008-02-27 2009-08-27 Gary Zalewski Methods for capturing depth data of a scene and applying computer actions
CN101561881A (zh) * 2009-05-19 2009-10-21 华中科技大学 人体非程式化运动的情感识别方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO2009031155A2 (en) * 2007-09-06 2009-03-12 Yeda Research And Development Co. Ltd. Modelization of objects in images
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
US8175326B2 (en) * 2008-02-29 2012-05-08 Fred Siegel Automated scoring system for athletics
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR101844366B1 (ko) * 2009-03-27 2018-04-02 삼성전자 주식회사 터치 제스처 인식 장치 및 방법
US8231453B2 (en) * 2009-08-25 2012-07-31 Igt Gaming system, gaming device and method for providing a player an opportunity to win a designated award based on one or more aspects of the player's skill
US8633916B2 (en) * 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
US8683363B2 (en) * 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US9361018B2 (en) * 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021199A1 (en) * 2005-07-25 2007-01-25 Ned Ahdoot Interactive games with prediction method
US20090079813A1 (en) * 2007-09-24 2009-03-26 Gesturetek, Inc. Enhanced Interface for Voice and Video Communications
US20090215533A1 (en) * 2008-02-27 2009-08-27 Gary Zalewski Methods for capturing depth data of a scene and applying computer actions
CN101561881A (zh) * 2009-05-19 2009-10-21 华中科技大学 人体非程式化运动的情感识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122183A (zh) * 2013-02-11 2015-12-02 微软技术许可有限责任公司 检测自然用户输入参与
US9785228B2 (en) 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
CN105122183B (zh) * 2013-02-11 2018-01-26 微软技术许可有限责任公司 检测自然用户输入参与
CN110069127A (zh) * 2014-03-17 2019-07-30 谷歌有限责任公司 基于用户的关注来调整信息深度
CN110069127B (zh) * 2014-03-17 2022-07-12 谷歌有限责任公司 基于用户的关注来调整信息深度
CN104915001A (zh) * 2015-06-03 2015-09-16 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN104915001B (zh) * 2015-06-03 2019-03-15 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN107924455A (zh) * 2015-07-14 2018-04-17 尤尼伐控股有限公司 计算机视觉过程
CN107924455B (zh) * 2015-07-14 2024-02-23 尤尼伐控股有限公司 计算机视觉过程
CN107204194A (zh) * 2017-05-27 2017-09-26 冯小平 确定用户所处环境以及推断用户意图的方法和装置
CN108398906A (zh) * 2018-03-27 2018-08-14 百度在线网络技术（北京）有限公司 设备控制方法、装置、电器、总控设备及存储介质
CN108398906B (zh) * 2018-03-27 2019-11-01 百度在线网络技术（北京）有限公司 设备控制方法、装置、电器、总控设备及存储介质

Also Published As

Publication number Publication date
US20110279368A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102448561B (zh) 姿势教练
CN102129292B (zh) 在运动捕捉系统中识别用户意图
CN102413886B (zh) 示出身体位置
US9245177B2 (en) Limiting avatar gesture display
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
CN102414641B (zh) 改变显示环境内的视图视角
US9898675B2 (en) User movement tracking feedback to improve tracking
CN102301311B (zh) 标准姿势
CN102473320B (zh) 通过学习到的来自用户的输入使视觉表示生动化的方法
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102301315B (zh) 姿势识别器系统架构
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102331840B (zh) 基于回环运动的用户选择和导航
CN102184009A (zh) 跟踪系统中的手位置后处理精炼
CN102449576A (zh) 姿势快捷方式
CN102356373A (zh) 虚拟对象操纵
CN102129551A (zh) 基于关节跳过的姿势检测
CN102576466A (zh) 用于跟踪模型的系统和方法
CN102129343A (zh) 运动捕捉系统中的受指导的表演
CN103608844A (zh) 全自动动态关节连接的模型校准
CN102947774A (zh) 用于驱动交互式故事的自然用户输入
CN102332090A (zh) 划分在视野内的焦点区域
Peng et al. Design and Implementation of Multi-mode Natural Interaction of Game Animation Characters in Mixed Reality: A Novel User Experience Method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20111005