[go: up one dir, main page]

TWI531396B - 用於推動互動故事的自然使用者輸入 - Google Patents

用於推動互動故事的自然使用者輸入 Download PDF

Info

Publication number
TWI531396B
TWI531396B TW100115150A TW100115150A TWI531396B TW I531396 B TWI531396 B TW I531396B TW 100115150 A TW100115150 A TW 100115150A TW 100115150 A TW100115150 A TW 100115150A TW I531396 B TWI531396 B TW I531396B
Authority
TW
Taiwan
Prior art keywords
story
user
linear
scene
image
Prior art date
Application number
TW100115150A
Other languages
English (en)
Other versions
TW201210663A (en
Inventor
福樂安德魯
波特如迪
基曼艾利士艾本艾塔
裴瑞茲凱瑟琳史東
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201210663A publication Critical patent/TW201210663A/zh
Application granted granted Critical
Publication of TWI531396B publication Critical patent/TWI531396B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A63F13/10—
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/632—Methods for processing data by generating or executing the game program for controlling the execution of the game in time by branching, e.g. choosing one of several possible story developments at a given point in time
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

用於推動互動故事的自然使用者輸入
本發明係有關用於推動互動故事的自然使用者輸入。
在過去，計算應用(諸如電腦遊戲及多媒體應用)使用控制器、遙控、鍵盤、滑鼠或類似者以容許使用者操縱一應用之遊戲角色或其他態樣。近來，電腦遊戲及多媒體應用已開始利用相機及軟體姿態辨識引擎以提供一自然使用者介面(「NUI」)。使用NUI，使用者姿態及演說被偵測、解譯及用來控制應用之遊戲角色或其他態樣。
現今，NUI系統已廣泛用於遊戲應用。然而，迄今仍未將NUI系統用作講線性故事之一媒體。一線性故事係一傳統、被動、非互動經驗，諸如(例如)由傳統電視節目、電影及書所提供。線性故事數十年來已廣泛地由一般大眾擁有。迄今，遊戲(尤其具有NUI系統)係相對較新且接受度較有限。
本文所揭示係用於提供將互動故事態樣結合成為一線性故事的一互動故事經驗的系統及方法。該線性故事可由一使用者觀看，自開始至結束，視需要而無使用者互動。或者，一使用者可與線性故事互動以提供一互動經驗。使用者可經由一NUI系統與線性故事互動，NUI系 統包括一計算環境；一擷取裝置，其用於擷取使用者移動資料及將其提供給計算裝置；及一視聽裝置，其用於呈現該故事。
在一具體實施例中，使用者可藉由施行一預定義探索姿態來改變線性故事。此姿態當由擷取裝置偵測到及由計算環境辨識出時，將使用者帶入經顯示影像的3D世界。尤其是，在螢幕上顯示的影像改變以產生使用者已踏入3D虛擬世界以容許使用者在一場景中移動之印象，及從場景中之不同觀點探索及檢查虛擬物件，或環視場景中的虛擬物件。
在一具體實施例中，本系統關於一種將互動故事態樣結合成為一線性故事的方法。該方法包括以下步驟(a)使用影像及一音訊敘述中至少一者經由一視聽裝置呈現線性故事，若一使用者不與故事互動，則線性故事具有一組預設影像及/或敘述，用於呈現給使用者；(b)經由一擷取裝置偵測由一使用者的一移動及一聲音命令中至少一者；(c)識別在該步驟(b)偵測到之移動及/或聲音命令是否為與線性故事之互動，並改變該線性故事以包括一具有未包括在預設影像及/或敘述組內之額外影像及額外敘述中至少一者的故事分支；及(d)藉由將額外影像及額外敘述中至少一者經由視聽裝置呈現給一使用者來改變線性故事。
在另一具體實施例中，本系統有關一種電腦可讀取媒體，其係用於程式化一處理器以施行一將互動遊戲態樣 結合成為一線性故事的方法，其包括以下步驟(a)使用影像及一音訊敘述中至少一者經由一視聽裝置呈現線性故事，若未由監視使用者移動的一擷取裝置感知到藉由使用者之互動，該線性故事呈現為一完整故事，自開始至結束且包括一組預設影像；(b)經由聯結該視聽裝置之一擷取裝置偵測藉由一使用者的一移動；(c)識別在該步驟(b)偵測到之移動是否為與線性故事之互動，其需要來自線性故事之一修改以包括一具有未包括在預設影像組內之額外影像的故事分支；(d)基於經儲存或經處理之資料決定是否可顯現額外影像；(e)若其決定可在該步驟(d)中顯現額外影像則藉由將額外影像經由視聽裝置呈現給一使用者來變化線性故事；及(f)當該互動對應於獎賞或取走一預定點數時基於該互動將使用者之互動計分。
在另一具體實施例中，本系統有關一種用於將互動遊戲態樣結合成為一線性故事的方法。該系統包括一視聽裝置，其係用於呈現影像及一音訊敘述中至少一者；一影像擷取裝置，其係用於自一使用者擷取影像及敘述中至少一者；及一計算環境，其係耦合至視聽裝置及影像擷取裝置。計算環境操作以(a)使用影像及一音訊敘述中至少一者經由視聽裝置呈現線性故事，若未由擷取裝置感知到藉由使用者之互動，該線性故事呈現一完整故事，自開始至結束且包括一組預設影像；(b)經由該擷取裝置偵測藉由一使用者的一移動；(c)識別偵測到移動是否為一探索姿態；(d)當識別偵測到移動是一探索姿態時 從線性故事分支成為一故事分支。該分支包括以下操作：(d1)感測視聽裝置上由一使用者指示之一點，(d2)計算從使用者之一部分至由使用者指示之視聽裝置上的點的一3D真實世界向量，(d3)將3D真實世界向量轉移至一3D機器空間向量，其具有一在目前視野觀點之一開始點及在3D機器空間中之虛擬物件處之一結束點，及(d4)自3D機器空間向量之結束點處之一視野觀點顯示虛擬物件。
提供此發明內容以依下文之實施方式中進一步描述的一簡化形式來介紹概念的選擇。此發明內容無意於識別所主張標的之關鍵特徵或基本特徵，亦無意於用作為協助決定所主張標的之範疇。此外，所主張之標的不受限於解決本揭示內容之任何部分中所述的任何或所有缺點之實施方案。
本發明技術的具體實施例現將參考第1A至14圖描述，其一般係關於用於提供將互動遊戲態樣結合成為一線性故事的一互動故事經驗的系統及方法。提供一NUI系統用於執行一互動故事應用。若無使用者互動而執行，故事應用對使用者提供線性故事自開始到結束。或者，使用者可經由NUI系統與故事應用互動以施行各種動作。
在一具體實施例中，一使用者可藉由施行一預定義探 索姿態來改變線性故事。此姿態對系統發信號，即使用者希望踏入及探索對使用者顯示的三維(3D)虛擬世界。取決於所施行之探索姿態，經顯示的影像改變以產生一使用者進入3D虛擬世界的印象，以容許使用者於場景中移動，及從場景中的不同觀點探索及檢查虛擬物件。使用者亦可在場景中的虛擬物件後環視以看見此等虛擬物件之背側或更接近地檢查由前景物件遮掩的其他物件。
當在3D虛擬世界內探索，或藉由施行其他姿態或移動時，一使用者可改變線性故事的情節。在此等具體實施例中，故事應用可分支至其他次要情節及有可能其他故事結果。
初始參考第1A至2圖，用於實施本發明技術的硬體包括可用來辨識、分析及/或追蹤例如使用者18的一人類目標的一目標辨識、分析及及追蹤系統10。目標辨識、分析及追蹤系統10的具體實施例包括一計算環境12，其係用於執行一遊戲或其他應用，如在下文解釋的一互動故事應用。計算環境12可包括硬體組件/或軟體組件，使得可用計算環境12來執行遊戲及非遊戲應用。在一具體實施例中，計算環境12可包括一處理器，諸如一標準化處理器、一專用處理器、一微處理器或可執行儲存在用於施行在此描述之程序的處理器可讀取儲存裝置上的指令之類似者。
系統10更包括一擷取裝置20，其係用於擷取有關藉由該擷取裝置感測的一或多數使用者及/或物件的影像 及音訊資料。在具體實施例中，可用擷取裝置20來擷取有關一或多數使用者的移動、姿態及演說的資訊，該資訊是由計算環境接收及用以顯現一遊戲或其他應用、與其互動及/或控制其態樣。計算環境12及擷取裝置20的實例更詳盡解釋於下。
目標辨識、分析及追蹤系統10之具體實施例可連接至具有一顯示器14的一音訊/視覺裝置16。音訊/視覺裝置16可例如係一電視、一監視器，一高畫質電視(HDTV)，或可對使用者提供遊戲或應用視覺及/或音訊的類似者。例如，計算環境12可包括一例如圖形卡的視訊配接器及/或一音訊配接器，如可提供與遊戲或其他應用關聯之音訊/視覺信號的一聲音卡。音訊/視覺裝置16可從計算環境12接收音訊/視覺信號及接著可對使用者18輸出與音訊/視覺信號關聯之遊戲或應用視覺及/或音訊。根據一具體實施例，可將音訊/視覺裝置16經由(例如)一S視訊電纜、一同軸電纜、一HDMI電纜、一DVI電纜、一VGA電纜、一組件視訊電纜或類似者連接至計算環境12。
如在第1A及1B圖中顯示，在一實例具體實施例中，在計算環境12上執行的故事應用可呈現任何各種故事設定。第1A圖顯示一場景19，其包括一房子21、怪物23及雲25。如以下解釋，一使用者可依各種方式與場景19互動。在一實例中，一使用者可如顯示一起移動雲25，其可改變由故事應用呈現之線性故事。例如，使雲 一起移動可造成其下雨。
在具體實施例中，計算環境12、音訊/視覺裝置16及擷取裝置20可協作以在顯示器14上顯現一螢幕上角色23，其係至少部分由使用者18控制。如第1B圖中顯示，螢幕上角色23依一有樣學樣方式模擬真實世界空間中之使用者18的移動。因此，使用者18可施行控制顯示器14上的角色23之移動及動作的移動。此外，一使用者可施行由計算環境辨識為預定義姿態的某些移動。此等預定義姿態可造成一受控制的角色23施行記憶體中有關預定義姿態的某些動作。可用預定義姿態來初始化下文中解釋的各種其他動作。
第1A及1B圖之場景19是可由在計算環境12上執行的故事應用產生之許多不同場景之一。此外，系統10可進一步用來將使用者18移動解譯為作業系統及/或應用控制，其係在於計算環境12上執行的故事應用之領域外。
一系統10及其組件的適合實例在以下共同審理中專利申請案中發現，其全部藉由參考特定併入本文中：2009年5月29日申請之標題為「Environment And/Or Target Segmentation」的美國專利申請案第12/475,094號；2009年7月29日申請之標題為「Auto Generating a Visual Representation」的美國專利申請案第12/511,850號；2009年5月29日申請之標題為「Gesture Tool」的美國專利申請案第12/474,655號；2009年10月21日申請之標題為「Pose Tracking Pipeline」的美國專利申請案第12/603,437號；2009年5月29日申請之標題為「Device for Identifying and Tracking Multiple Humans Over Time」的美國專利申請案第12/475,308號；2009年10月7日申請之標題為「Human Tracking System」的美國專利申請案第12/575,388號；2009年4月13日申請之標題為「Gesture Recognizer System Aichitecture」的美國專利申請案第12/422,661號；2009年5月23日申請之標題為「Standard Gestures」的美國專利申請案第12/391,150號；及2009年5月29日申請之標題為「Gesture Tool」的美國專利申請案第12/474,655號。
第2圖說明用於目標辨識、分析及追蹤系統10之擷取裝置20的一實例具體實施例。在一實例具體實施例中，擷取裝置20可經組態以經由任何適合技術擷取具有一深度影像(其可包括一深度值)的視訊，包括(例如)飛行時間、結構化光、立體影像或類似者。根據一具體實施例，擷取裝置20可將經計算深度資訊組織成為「Z層」，或可垂直於自沿著其視線之深度相機延伸的一Z軸的諸層。
如第2圖中顯示，擷取裝置20可包括一影像相機組件22。根據一實例具體實施例，影像相機組件22可為一可擷取一場景的深度影像的深度相機。深度影像可包括經擷取場景之一二維(2D)像素區域，其中2D像素區域中的每一像素可代表一深度值，例如來自相機內之經擷取場景中一物件以公分、公厘計之一長度或距離或類似者。
如第2圖中顯示，根據一實例具體實施例，影像相機組件22可包括一IR光組件24、一三維(3D)相機26及一RGB相機28，其可用來擷取一場景的深度影像。例如，在一飛行時間分析中，擷取裝置20之IR光組件24可發射一紅外光至場景上及可接著使用感測器(未顯示)以偵測來自一或多數目標之表面的背散射光及場景中之物件，其使用(例如)3D相機26及/或RGB相機28。
在一些具體實施例中，可使用脈衝式紅外光使得介於一輸出光脈衝與一對應進入光脈衝之間的時間可被測量及用以決定從擷取裝置20至一目標上一特定位置或場景中之物件的一實體距離。此外，在其他實例具體實施例中，可將輸出光波的相位與輸入光波的相位比較以決定一相移。接著可用該相移來決定自擷取裝置20至目標上的一特定位置或物件的距離。
根據另一實例具體實施例，飛行時間分析可用來藉著經由包括例如快門光脈衝成像之各種技術而隨著時間分析光之反射束的強度，來間接地決定自擷取裝置20至目標上的一特定位置或物件的一實體距離。
根據另一實例具體實施例，擷取裝置20可使用一結構光來擷取深度資訊。在此一分析中，圖案化光(即，光顯示為一已知圖案，例如一光柵圖案或一條紋圖案)可經由例如IR光組件24投影至場景上。當撞擊一或多數目標的表面或場景中物件時，圖案可變形來回應。圖案的此一變形可由(例如)3D相機26及/或RGB相機28來擷 取及接著經分析以決定自擷取裝置20至目標上的一特定位置或物件的一實體距離。
根據另一具體實施例，擷取裝置20可包括兩個或兩個以上實體分離的相機，其可從不同角度觀看一場景，以獲得視覺立體資料，其係可分解以產生深度資訊。在另一具體實施例中，擷取裝置20可用點雲資料及目標數位化技術以偵測使用者的特徵。
擷取裝置20可更包括一麥克風30。麥克風30可包括一轉換器或感測器，其可接收聲音及將其轉換成一電信號。根據一具體實施例，可用麥克風30來減少在目標辨識、分析及追蹤系統10中之擷取裝置20及計算環境12間之回授。此外，可用麥克風30來接收音訊信號，其亦可由使用者提供以控制例如遊戲應用、非遊戲應用的應用，或可由計算環境12執行的類似者。
在一實例具體實施例中，擷取裝置20可更包括一處理器32，其亦可操作以和影像相機組件22通信。處理器32可包括一標準化處理器、一專用處理器、一微處理器或類似者，其可執行之指令可包括用於接收深度影像、決定一適合目標是否可包括在深度影像中，將適合目標轉換成為目標的骨架表示法或模型之指令，或任何其他適合指令。
擷取裝置20可更包括一記憶體組件34，其可儲存可由處理器32執行之指令，由3D相機或RGB相機擷取的影像或影像的圖框，或任何其他適合資訊、影像或類似 者。根據一實例具體實施例，記憶體組件34可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟，或任何其他適合儲存組件。如第2圖中顯示，在一具體實施例中，記憶體組件34可為與影像相機組件22及處理器32通信的一分開組件。根據另一具體實施例，記憶體組件34可被整合進入處理器32及/或影像相機組件22中。
如第2圖中顯示，擷取裝置20可經由一通信連結36與計算環境12通信中。通信連結36可為一有線連接，包括(例如)一USB連接、一火線(Firewire)連接、一乙太網路電纜連接或類似者；及/或一無線連接，例如無線802.11b,g或n連接。根據一具體實施例，計算環境12可對擷取裝置20提供一時鐘，其可用來決定何時經由一通信連結36擷取(例如)一場景。
此外，擷取裝置20可提供由(例如)3D相機26及/或RGB相機28擷取的深度資訊及影像，且可經由通信連結36由擷取裝置20產生一具骨架模型給計算環境12。各種已知技術存在用於決定由擷取裝置20偵測的目標或物件是否對應於一人類目標。接著可用骨架映射技術來決定使用者骨架、手之關節、腕、肘、膝蓋、鼻子、踝部、肩膀及骨盆重合脊椎之處上的各種點。其他技術包括將影像轉換成一人的身體模型表示法及將影像轉換成一人之網格模型表示法。
接著可將骨架模型提供至計算環境12，使得計算環境 可施行許多動作。計算環境可進一步基於(例如)已從骨架模型辨識出的使用者姿態決定在計算環境上執行的應用中施行哪些控制。例如，如第2圖中顯示，計算環境12可包括一姿態辨識引擎190，其用於決定使用者何時已施行預定義姿態。
第3A圖說明一計算環境的一實例具體實施例，其可用來解譯在目標辨識、分析及追蹤系統中之一使用者的一或多數位置及移動。以上參考第1A至2圖描述之例如計算環境12的計算環境可為一多媒體主控台100，如一遊戲主控台。如在第3圖中顯示，多媒體主控台100具有一中央處理單元(CPU)101，其具有一層1快取記憶體102、一層2快取記憶體104及快閃ROM 106。層1快取記憶體102及層2快取記憶體104暫時儲存資料及因此減少記憶體存取循環數目，從而改進處理速率及處理量。CPU 101可具有多於一核心，及因此額外之層1及層2之快取記憶體102及104。快閃ROM 106可儲存可執行碼，其在當多媒體主控台100通電時之一開機程序的一初始階段載入。
一圖形處理單元(GPU)108及一視訊編碼器/視訊編解碼器(編碼器/譯碼器)114形成用於高速及高解析度圖形處理的一視訊處理管道。資料經由一匯流排從GPU 108載送至視訊編碼器/視訊編解碼器114。視訊處理管道輸出資料至一A/V(音訊/視訊)埠140，用於傳輸至一電視或其他顯示器。一記憶體控制器110被連接至GPU 108 以促進處理器存取至各種類型之記憶體112，諸如但不限於一RAM。
多媒體主控台100包括一I/0控制器120、一系統管理控制器122、一音訊處理單元123、一網路介面控制器124、一第一USB主控制器126、一第二USB主控制器128及一前面板I/0次總成130，其較佳是在一模組118上執行。USB控制器126及128作為用於周邊控制器142(1)至142(2)之主機、一無線配接器148及一外部記憶體單元146(如，快閃記憶體、外部CD/DVD ROM驅動器、可移式媒體等等)。網路介面124及/或無線配接器148提供至網路(如網際網路、家庭網路等等)之一存取及可為任何各式各樣的各種有線或無線配接器組件，包括一乙太網路卡、數據機、藍芽模組、有線數據機等等。
系統記憶體143經提供以儲存於開機程序期間載入的應用資料。一媒體驅動器144經提供及可包含一DVD/CD驅動器、硬碟機或其他可移式媒體驅動器等等。媒體驅動器144可在多媒體主控台100內部或外部。應用資料可經由媒體驅動器144存取，用於藉由多媒體主控台100執行、播放等等。媒體驅動器144經由一匯流排連接至I/0控制器120，例如一串列ATA匯流排或其他高速連接(如，IEEE 1394)。
系統管理控制器122提供有關確保多媒體主控台100之可用性的各種服務功能。音訊處理單元123及一音訊編解碼器132形成具有高保真度及立體處理之一對應音 訊處理管道。音訊資料經由一通信連結在音訊處理單元123及音訊編解碼器132之間載送。音訊處理管道將資料輸出至A/V埠140，用於藉由一外部音訊播放器或具有音訊能力的裝置再生。
前面板I/0次總成130支援暴露於多媒體主控台100的外表面上之電源按鈕150及退出按鈕152以及任何LED(發光二極體)或其他指示器之功能。一系統電源供應模組136對多媒體主控台100之組件提供電力。一風扇138使多媒體主控台100內之電路冷卻。
多媒體主控台100內的CPU 101、GPU108、記憶體控制器110及各種其他組件經由一或多數匯流排互連，包括串列及並列匯流排、一記憶體匯流排、一周邊匯流排或使用任何各種匯流排架構之一處理器或本機匯流排。藉由實例說明，此等架構可包括一周邊組件互連(PCI)匯流排、PCI-Express匯流排等等。
當多媒體主控台100通電時，應用資料可從系統記憶體143載入記憶體112及/或快取記憶體102、104且在CPU 101上執行。應用可呈現一圖形使用者介面，其當導引至可用在多媒體主控台100上之不同媒體類型時提供一致的使用者經驗。在操作中，在媒體驅動器144內含有的應用及/或其他媒體可從媒體驅動器144發動或播放以將額外功能提供至多媒體主控台100。
多媒體主控台100可藉由僅將系統連接至一電視或其他顯示器而操作為一獨立系統。在此獨立模式中，多媒 體主控台100容許一或多數使用者與系統互動，看電影或聽音樂。然而，使用透過網路介面124或無線配接器148而可用的寬頻連接性的整合，多媒體主控台100可進一步在更大網路社群中操作為一參與者。
當多媒體主控台100通電時，一設定數量的硬體資源藉由多媒體主控台作業系統為系統使用保留。此等資源可包括記憶體(如，16MB)、CPU及GPU循環(如，5%)、網路頻寬(如，8kbs)等等之一保留。因為此等資源於系統開機時間保留，故經保留資源從應用之觀點並不存在。
尤其是，記憶體保留較佳是大得足以含有發動核心、併行系統應用及驅動器。CPU保留較佳是恆定使得若經保留CPU用途未由系統應用使用時，則一閒置線程將消耗任何未用循環。
關於GPU保留，由系統應用產生之輕量訊息(如，爆出；popup)是由使用一GPU干擾至排程碼以將爆出顯現成為一重疊來顯示。需用於一重疊之記憶體數量取決於重疊區域大小且重疊較佳是用螢幕解析度比例縮放。當一完全使用者介面是由併行系統應用使用時，較佳是使用與應用獨立的解析度。可用定標器來設定此解析度以致消除改變頻率及造成一TV再同步之需要。
在多媒體主控台100開機及系統資源保留以後，併行系統應用執行以提供系統功能。系統功能囊封在一組上述的保留系統資源內執行的系統應用中。作業系統模心識別係系統應用線程相對於遊戲應用線程的線程。系統 應用較佳是經排程以在預定時間及間隔處在CPU 101上執行以提供對於應用之一致系統資源圖。排程是要最少化用於在主控台上執行的遊戲應用之快取分解。
當一併行系統應用需要音訊時，音訊處理由於時間靈敏性係對於遊戲應用異步地排程。當系統應用作用時，一多媒體主控台應用管理器(在下文描述)控制遊戲應用音訊位準(如，消音、減弱)。
輸入裝置(如，控制器142(1)及142(2))是由遊戲應用及系統應用分享。輸入裝置非保留資源，而係待在系統應用及遊戲應用之間切換使得各將具有裝置之一焦點。應用管理器較佳是控制輸入流之切換，而沒有遊戲應用之知識的知識，且一驅動器維持有關焦點開關的狀態資訊。相機26、28及擷取裝置20可定義主控台100的額外輸入裝置。
第3B圖說明可為第1A至2圖所示之計算環境12的一計算環境220的另一實例具體實施例，其是用以解譯在一目標辨識、分析及追蹤系統中之一或多數位置及移動。計算環境220僅係一適合計算環境的一實例且未打算就目前揭示的標的之使用或功能的範圍提出任何限制。計算環境220不應被解譯為具有有關在範例性操作環境220中說明之組件的任一者或組合的相依或需求。在一些具體實施例中，各種經描述的計算元件可包括經組態以舉例說明本揭示內容之特定態樣的電路。例如，用於本揭示內容之術語「電路」可包括專用硬體組件， 其經組態以藉由韌體或開關施行功能。在其他實例具體實施例中，術語「電路」可包括一通用處理單元、記憶體等等，其由體現可操作以施行功能之邏輯的軟體指令組態。在實例具體實施例中，當電路包括硬體及軟體的一組合，一實施者可寫出體現邏輯之目的碼且目的碼可被編譯成為機器可讀取碼，其可由通用處理單元處理。由於熟習此項技術者能瞭解目前最佳狀態已進化至其中硬體、軟體或硬體/軟體之一組合之間的差別很少的一點，硬體相對於軟體之選擇以實行特定功能是留給一實施者的設計選擇。更明確言之，熟習此項技術人士能瞭解可將軟體程序轉換成等效硬體結構，且硬體結構本身能轉換成等效軟體程序。因此，硬體實施相對於軟體實施之選擇是留給實施者的設計選擇之一。
在第3B圖中，計算環境220包括電腦241，其典型包括各種電腦可讀取媒體。電腦可讀取媒體可為能由電腦241存取的任何可用媒體且包括揮發性及非揮發性、可移及不可移媒體兩者。系統記憶體222以例如ROM及RAM之揮發性及/或非揮發性形式的電腦儲存媒體。一含有協助在電腦241內之元件間轉移資訊(例如在開機期間)的基本常式之一基本輸入/輸出系統224(BIOS)典型是儲存在ROM 223中。RAM 260典型地含有資料及/或程式模組，其係立即可存取至處理單元259及/或目前由處理單元259操作中。藉由實例(及不限制)，第3B圖說明作業系統225、應用程式226、其他程式模組227及 程式資料228。應用程式226的一實例為如在此解釋用以將一互動故事經驗呈現給使用者的故事應用226。第3B圖更包括圖形處理器單元(GPU)229，其具有用於高速及高解析度圖形處理及儲存之一相關聯視訊記憶體230。可將GPU 229透過一圖形介面231連接至系統匯流排221。
電腦241亦可包括其他可移/不可移、揮發性/非揮發性電腦儲存媒體。僅藉由實例，第3B圖說明一硬碟機238，其讀取自或寫入至一非可移、非揮發性磁性媒體；一磁碟機239，其讀取自或寫入至一可移、非揮發性磁碟254；及一光碟機240，其讀取自或寫入至一可移、非揮發性光碟253，諸如一CD ROM或其他光學媒體。可用於範例性操作環境之其他可移/不可移、揮發性/非揮發性電腦儲存媒體包括(但不限於)磁帶卡匣、快閃記憶卡、數位多功能碟片、數位視訊帶、固態RAM、固態ROM及類似者。硬碟機238典型是透過例如介面234的一非可移式記憶體介面連接至系統匯流排221，且磁碟機239及光碟機240典型地由例如介面235之一可移式記憶體介面連接至系統匯流排221。
以上經討論及在第3B圖中說明之驅動器及其關聯電腦儲存媒體提供電腦可讀取指令、資料結構、程式模組及其他用於電腦241之其他資料的儲存。在第3B圖中，例如，硬碟機238經說明為儲存作業系統258、應用程式257、其他程式模組256及程式資料255。應注意，此 等組件可能與作業系統225、應用程式226、其他程式模組227及程式資料228相同或不同。作業系統258、應用程式257、其他程式模組256及程式資料255在此給予不同數字以說明最少其係不同複本。使用者可透過例如一鍵盤251及一指向裝置252(通常指一滑鼠、追蹤球或觸碰墊)的輸入裝置來將命令及資訊輸入電腦241。其他輸入裝置(未顯示)可包括一麥克風、操縱桿、遊戲墊、衛星碟、掃描器或類似者。此等及其他輸入裝置經常透過耦合至系統匯流排之一使用者輸入介面236連接至處理單元259，但係可由其他介面及匯流排結構連接，例如一並列埠、遊戲埠或通用串列匯流排(USB)。相機26、28及擷取裝置20可定義用於主控台100的額外輸入裝置。一監視器242或其他類型的顯示裝置亦經由一介面(例如一視訊介面232)連接至系統匯流排221。除了監視器以外，電腦亦可包括其他周邊輸出裝置，諸如揚聲器244及印表機243，其可透過一輸出周邊介面233連接。
電腦241可在使用對一或多數遠端電腦(例如遠端電腦246)之邏輯連接的一網路化環境中操作。遠端電腦246可為一個人電腦、一伺服器、一路由器、一網路PC、一同級裝置或其他共同網路節點，及典型包括以上有關電腦241描述的許多或所有元件，雖然第3B圖中僅說明一記憶體儲存裝置247。第3B圖中描述之邏輯連接包括一區域網路(LAN)245及一廣域網路(WAN)249，但亦可包括其他網路。此等網路環境係在辦公室、泛企業電腦 網路、內部網路及網際網路內常見。
當用於一LAN網路環境時，電腦241透過一網路介面或配接器237連接至LAN 245。當用於一WAN網路環境時，電腦241典型地包括一數據機250或用於透過WAN 249(如網際網路)建立通信的其他構件。可為內部或外部的數據機250可經由使用者輸入介面236或其他適當機構連接至系統匯流排221。在一網路環境中，經描述與電腦241相關之程式模組或其部分可在遠端記憶體儲存裝置中儲存。藉由實例(且非限制)，第3B圖將遠端應用程式248繪示為常駐於記憶體裝置247上。應瞭解，顯示的網路連接係範例性且可使用在電腦間建立一通信連結的其他構件。
第4圖描繪可從擷取裝置20產生之一使用者的一實例骨架映射。在此具體實施例中，識別了各種關節及骨頭：各手302、各前臂304、各肘306、各二頭肌308、各肩膀310、各臀部312、各大腿314、各膝蓋316、各前腳318、各足部320、頭322、軀幹324、脊椎之頂部326及底部328及腰部330。當追蹤更多點時，可識別額外特徵，如手指或腳趾的骨頭及關節，或面部個別特徵，例如鼻子及眼睛。
第5圖係用於經由一自然使用者介面呈現一互動故事經驗之本發明技術的一具體實施例之操作的高層流程圖。在步驟400處，使用者可發動系統10及致動計算環境12及擷取裝置20。在步驟404中，系統10執行一故 事應用226。在步驟406中，故事應用將故事的下一圖框透過顯示器14呈現給使用者。
故事可透過顯示器14以圖形呈現及可具有一相關聯音訊敘述。可在分散、靜態影像面板中顯示故事，即一系列靜態影像連續地呈現作為顯示器14上之靜態圖框。故事可交替地呈現在動態電腦圖形(CG)動畫中，或作為用一視訊相機拍攝具有一現場演員之場景。音訊敘述可為由故事應用、由使用者及/或由當呈現故事時未出現的第三者呈現之音訊，如下文解釋。音訊敘述亦可包括在一經呈現故事的角色間之對話。再次，角色間的此對話可由故事應用、由一或多數使用者及/或由當呈現故事時未出現的一或多數第三者呈現。
在使用CG動畫的具體實施例中，故事應用226可呈現由計算環境12的GPU產生的動畫的一第一圖框，該圖框可用擷取裝置之更新速率走來更新(例如依3OHz)。圖框速率可比另外具體實施例中更快或更慢。在使用靜態影像面板的具體實施例中，一靜態影像是類似於書或漫畫的一頁。靜態影像可呈現於顯示器上例如數秒。在使用視訊的具體實施例中，可依視訊的圖框速率更新該圖框，其可再次例如依3OHz。
在具體實施例中，當執行故事應用時，一使用者18無須與經呈現的故事互動。即，當故事從開始播放至結束，使用者可僅觀看及/或聽故事。在以下描述的另外具體實施例中，使用者可與由故事應用226呈現的故事交替地 互動。
當使用者觀看及/或與故事應用互動時擷取裝置20係監視使用者。在步驟408中，若擷取裝置20感測使用者離開視野，故事應用可在步驟412處暫停直至使用者再進入視野。可在另外具體實施例中省略步驟408及412。如以上指示，使用者可僅坐著及觀看及/或聽取由故事應用呈現的故事。在步驟416中，若未感測到使用者互動，故事將僅繼續直至其完成。然而，若在步驟416中感測到使用者互動，系統一般會決定互動及根據該互動施行不同作業系統，如下文解釋。
在步驟418中，故事應用可檢查擷取裝置20的麥克風30是否偵測到聲音。用於區分由麥克風30拾取的聲音之技術係已知以決定一或多數聲音是否是人類聲音。麥克風30可包括各種已知濾音器，諸如(例如)一高通濾音器，以減弱由麥克風30偵測的低頻雜訊。
若在步驟418中偵測到一聲音，系統施行在第6圖中提出的步驟，如現將描述。在具體實施例中，可能需要識別一特定使用者是否為演說者或是否聲音來自一些其他來源。各種技術存在用於使一聲音與視野內的一使用者相關聯，諸如(例如)事先關聯聲音角色至一特定使用者，及聽覺來源局部化技術。此等及其他技術可用來在步驟450中識別一演說者。在另外具體實施例中可省略步驟450。
故事應用可具有用於敘述故事之相關敘述，其可透過 聯結至音訊/視覺裝置16之揚聲器廣播。然而，一敘述或者可在螢幕上以文字顯示使得其可由聽故事的使用者讀取。在一實例中，小孩可學習閱讀，或父母可當小孩觀看顯示器14上展現之故事時讀故事給小孩聽。作為出現在螢幕上之文字的替代，使用者可具有一計算裝置，其與計算環境12配對及參與故事應用226的相同場合。在此等具體實施例中，可在使用者的配對計算裝置而非顯示器14上顯示用於敘述的文字。
在另外具體實施例中，已預想到由當故事應用226在呈現系統10上顯示故事時未出現之一第三者讀出的敘述。雖然第三者可為任一者，但在具體實施例中，第三者可例如為父母或祖父母，其當故事應用執行時未出現，但希望將敘述的聲音呈現給看及聽系統10上之故事的小孩。
在此等具體實施例中，第三者可能已記錄用於故事應用的敘述且該記錄當故事應用執行以為故事提供敘述時播放。在此具體實施例中，記錄可在與系統10聯結或不聯結的一音訊播放裝置上播放。在另一具體實施例中，第三者可當故事應用在系統10中即時執行讀取用於故事應用226的敘述，但第三者係經由一電話或VOIP連接而連接至計算環境12。
步驟454中，故事應用決定是否將在步驟418中感知的聲音與故事的敘述相關。已知的聲音分析技術可用於此目的，包括剖析敘述之文字成為音素，對於由麥克風 30感知的聲音相同地進行，且比較兩個音素流以發現一匹配。
若在步驟454中，口說聲音被關聯至故事應用的敘述，口說聲音可設定故事應用使該故事前進之速度。例如，當故事以靜態影像面板呈現時，故事應用可在步驟464中決定與一特定面板關聯之敘述的最後文字是否已被說出。若否，還未到前進至下一面板之時候及該流可返回以尋找下一互動，如參考第5圖在下文中解釋。另一方面，若故事應用決定與一特定面板關聯之敘述的最後文字已說出，故事應用可在步驟466中前進至下一面板。該流可返回以尋找下一互動，如參考第5圖在下文中解釋。
當影像是視訊或動畫時，故事應用可使敘述與口說聲音相關及加快或減慢經顯示影像以與由使用者或第三者說出之敘述的速度同步。故事應用可透過第5圖的流程圖循環及可週期性地檢查一聲音，檢查是否該聲音關聯至呈現故事之一敘述，及使呈現影像與口說敘述之速度同步。
若故事應用不能在步驟454中使一聲音與一敘述相關，則應用其次可在步驟456檢查聲音是否被辨識為一對於故事應用或對系統10的操作之一可聽見指令。否則，計算環境12可返回第5圖以在步驟422中尋找一使用者與故事應用的另一可能互動，如在下文解釋。另一方面，若在步驟456中聲音被辨識為指令，與該指令關 聯的動作將會在步驟460中施行，及系統可接著返回第5圖的流程圖以檢查下一互動。
現返回第5圖，在步驟422中目前系統可尋找一特定類型姿態，在此稱為「探索姿態」。尤其是，此係本技術之一特徵以容許一互動類型，其中一使用者實際上踏入顯示器14上呈現的虛擬世界且探索及/或調查顯示器上的虛擬物件。作為各種各樣實例之一，故事可對使用者顯示一房間。對於使用者未互動，可對使用者顯示該房間一段時間然後故事可移動以顯示其他位置。然而，與僅繼續移動不同的是，使用者可施行一探索姿態，指示其希望探索及調查在房間內的虛擬物件以取得一更接近的景觀及/或自不同觀點看物件。在具體實施例中，亦思及使用者可施行由計算環境12解譯的姿態及移動，其致使一使用者拾取及操縱一場景內之虛擬物件。
在第5圖的步驟422中，計算環境12尋找一預定義探索姿態。藉由使用者之各種各樣的移動及姿態可在本發明技術的具體實施例中設定作為預定義探索姿態。現參考第10圖在一經描述具體實施例中，擷取裝置20擷取使用者之頭及/或身體的移動。例如，在第10圖中，當使用者可能嘗試環視真實世界中之一物件周圍或後方時，使用者已彎向側面及伸出其脖子。姿態辨識引擎190的操作在下文解釋，但辨識引擎190可具有一預定義規來尋找此等身體移動，及當發現時，將其解譯為一探索姿態。除了伸展脖子及/或在腰部彎曲，探索姿態可額外 或替代地包括另一姿態，如在第10圖中顯示之一指向姿態。
應瞭解可在另外具體實施例中將各種各樣的其他身體移動定義為探索姿態。在一些此等具體實施例中，使用者移動可具有一在真實世界中至使用者想要在虛擬世界中達成的動作中的相關。一實例已於上文提出，當使用者彎向側面或伸展其脖子以指示希望環顧一物件或其後方時。在另外具體實施例，使用者亦可或替代地走在顯示器的方向中，指示其希望踏入虛擬場景。在另外的具體實施例中，可定義一任意組的姿態，其沒有真實世界意義。然而，任意的身體/或聲音姿態可由姿態辨識引擎190發展及記錄，使得當施行時，姿態辨識引擎辨識其且施行相關動作，如踏入虛擬場景以看一物件後方。
一旦於步驟422辨識到一探索姿態，計算環境12施行步驟490至538，如將會參考第7圖的流程圖而描述。在步驟490中，計算環境12決定使用者是否想要踏入顯示該顯示器之三維虛擬世界以從另一位置觀看經顯示的場景。再次，此希望以及使用者將會希望進入至虛擬場景之方向是由使用者透過預定義頭、手或其他姿態控制。此具體實施例可在場景於CG動畫中呈現時操作。在場景呈現在靜態面板或經記錄視訊中時，已思及可將CG動畫切成該等顯示模型以提供在下文解釋的虛擬場景的探索。在另一具體實施例中，可在360°拍攝視訊，其容許使用者進入視訊場景裡的進入及探索的一些位 準。
作為一實例，一旦施行探索姿態，擷取裝置20及計算裝置12可決定使用者所聚焦的顯示器上之一點，諸如在第10圖中之一點610。此點可藉由擷取使用者之眼睛所指向之處決定及/或此點可由擷取使用者之手所指向之處來決定。在另外的具體實施例中，一使用者可另外或替代地走入該方向。若在步驟490中決定使用者想要自不同位置觀看場景，電腦環境可在步驟494中沿著使用者希望於虛擬世界中移動來定義一向量。
步驟494中之向量可基於從使用者上的一參考點612至顯示器上的關注點610之一或多數真實世界三維向量612來決定。在第10圖中，向量612是從使用者的眼睛至關注點610且從使用者指向的手至關注點610。參考點(眼睛、手等等)具有一已知x、y及z座標位置。
顯示器14上顯示的虛擬場景以3D資料表示。即，虛擬場景中及在場景內的虛擬物件上的點被指派x、y及z值以產生一3D虛擬空間，在此稱為如3D機器空間。給出擷取裝置20對於其中使用者所移動之真實世界的一已知位置，在3D真實世界空間及3D機器空間之間存在一已知關係。因此，向量612可使用已知轉換矩陣從3D真實世界空間轉移至3D機器空間。真實世界向量612至3D機器空間的轉移在步驟494中提供沿著使用者移動進入3D虛擬場景裡的向量。如下文解釋，為了產生使用者移動進入至虛擬場景裡及檢查虛擬物件的效果，顯示 器的觀點改變以提供一場景之不同區域及物件，及來自不同放大或縮小位置的一景觀。再次，此可能因為不僅將虛擬物件定義為顯示器上之一二維點，而是具有在機器空間中之3D定義。
在步驟498中，不同於立即在希望位置重定位使用者，可逐漸改變使用者進入虛擬機器世界的景觀。使用者景觀改變之增量可任意設定，但在具體實施例中，景觀改變以產生使用者以一正常行走速度走進入場景裡的印象。在步驟502中，顯示於顯示器14上之場景的景觀可對於步驟498的逐漸改變景觀更新。再次，轉換矩陣是已知用於將顯示場景的景觀轉移成3D機器空間的任何觀點。在步驟506中，場景可從在步驟502中決定的新位置的景觀顯現。
然後可返回步驟490以決定使用者是否已達到其想要調查一物件的虛擬場景內位置處，或是否其將會想要繼續在虛擬場景內移動。此可由使用者之身體位置且使用者聚集於顯示器上之處，或藉由一些其他任意身體移動或聲音姿態指示。若使用者將想要繼續在虛擬場景內移動，則重複步驟490至506直至使用者已到達其希望在虛擬場景內之位置。
若步驟490決定使用者在虛擬場景(即，場景呈現在來自希望觀點的顯示上)的希望位置時，流動可分支至步驟510以決定一使用者是否想要聚集於更靠近該位置之場景內的一物件上。再次，可由一或多數預定義姿態指示 此希望，此係藉由模擬使一使用者移動至及/或聚焦在真實世界中的物件上之真實世界移動，或經定義用於導引及聚集在虛擬世界內之一物件上的目的。
若在步驟510中決定使用者想要更接近地聚焦於場景中的一物件，計算環境12儲存目前位置(即，場景的目前景觀)作為步驟514中的一參考位置。如下文解釋，此參考位置將用作當使用者完成在一特定虛擬物件上聚焦時系統返回的景觀。在步驟518中，計算環境12決定從參考位置至虛擬物件之一向量方向。此可如上文描述由偵測在真實世界中使用者頭在x、y、z空間的位置來偵測，且使用者注視在顯示器上，及此後將該向量轉移成在虛擬機器空間中之一向量。
在步驟522中，可如在上文描述決定沿著此向量的一中間漸量位置。在步驟524中，可將場景的觀點轉移至在步驟522中決定的位置，及在步驟528中，場景可從在步驟524中決定的景觀呈現。在步驟532中，系統可決定使用者是否結束聚焦於虛擬場景內的一特定物件上。此可由各種預定義姿態之住一者指示。若系統未決定使用者已結束聚焦景觀，流動在步驟510返回，且可重複步驟510至528以提供場景內之虛擬物件上的進一步及額外聚焦。另一方面，若使用者在步驟532施行指示使用者已完成其聚焦景觀之一預定義姿態，則景觀可步驟536轉移回到來自參考位置(在步驟514中儲存)的景觀。
若計算環境12不能察覺到步驟490及510中之額外探索姿態，流動可分支至步驟538以檢視一使用者是否施行一指示完成探索該場景的預定義姿態。若否，流動可經迴路返回步驟490以檢視一使用者是否希望從一不同位置觀看該場景，且若否，流動移向步驟510以決定使用者是否希望聚焦在目前位置處之場景內之一物件上。另一方面，若施行一些預定義姿態以指示在步驟538中結束在3D場景內之探索，則流動可返回第5圖以檢查下一類型的使用者互動。
應瞭解步驟490至538僅係使用者如何能藉由故事應用而移動進入且圍繞一顯示器14上提供之三維虛擬世界之一實例。
目前系統的具體實施例中，除了看故事及在一3D虛擬世界內探索，使用者亦可具有控制故事內的一或多數角色的選擇。此具體實施例可在其中場景於CG動畫中呈現時操作。當場景在靜態面板或經記錄視訊中呈現時，已思及可將CG動畫切成該等顯示模型以如下文解釋提供角色控制。
具體實施例中，一使用者18可施行一些指示使用者希望控制螢幕上角色23之移動及/或動作的預定義姿態。該預定義姿態可例如係與例如用於指在一給定螢幕上角色的一使用者移動耦合的任意姿態。當此角色控制由故事應用226容許時，可將使用者在步驟426註冊為該角色且使用者此後可控制該角色，如參考第8圖步驟540 至558而在下文描述。
在使用者註冊為控制一角色以後，使用者可施行用來動畫處理及影響受控制螢幕上角色的行為的某些移動及姿態。在步驟540中，計算環境決定一使用者是否已施行一預定義、經辨識姿態。若如此，計算環境在步驟544步檢查螢幕上角色是否被容許施行對應於經辨識姿態的動作。尤其是，在具體實施例中，使用者沒有完全控制螢幕上角色的動作或行為，而是與故事應用226分享螢幕上角色的控制。在具體實施例中，使用者可控制角色的移動至一程度，但應用可對此等移動界定邊界，及可限制螢幕上角色的其他態樣的控制，諸如(例如)有關角色的行為及個性。若例如使用者造成螢幕上角色施行某些未參與如可能之故事分支的動作(在下文解釋)，螢幕上角色由使用者之自由控制可防止故事應用向前移動。然而，應理解於另外具體實施例中，可給使用者螢幕上角色的自由控制。
若一角色23被允許由故事應用施行步驟542中的姿態動作，則角色施行與步驟544中姿態關聯的動作。第1B圖顯示一其中給予使用者控制螢幕上角色23的上身的能力之實例。此特定故事應用可辨識一使用者提起其臂之一姿勢，且使其對應於一螢幕上角色(例如一怪物)以威脅方式提起其臂。當在第8圖的步驟540辨識此一使用者姿態時，該角色施行步驟544中的對應動作。
若在步驟540未施行經辨識姿態，計算環境其次在步 驟546檢查是否使用者移動由擷取裝置20偵測到。若如此，系統在550檢查螢幕上角色是否被容許如使用者所做移動，如上文提出。若如此，螢幕上角色在步驟552中依一有樣學樣的方式用使用者的移動來動畫模擬。若計算環境沒有在步驟540偵測到一預定義姿態或在步驟546中的使用者移動，計算環境可返回第5圖的步驟428以偵測與場景之其他使用者互動，如下文解釋。
在步驟554中，系統其次檢查是否使用者給出指示其希望結束角色控制之一些種類的預定義姿態。若此姿態在步驟554中偵測到，則在步驟556中使用者的角色控制結束且角色完全由故事應用226控制。若系統於步驟546偵測到使用者移動但角色在該步驟550中不被允許以該方式移動，或若使用者於步驟554結束角色控制，則系統可回至在第5圖中步驟428以尋找使用者與一顯示場景的其他互動。
現返回第5圖，計算環境12在步驟428中尋找使用者與顯示場景的一些互動，及尤其是可影響故事之次要情節的結果或影響故事的整體結果之一使用者互動。若偵測到此互動，系統施行第9圖的步驟560至588。此可能由於上文參考418描述之聲音命令，上文參考步驟422描述的探索姿態，上文參考步驟426描述的使用者控制一螢幕上角色或一些與故事的其他互動而發生。
互動的程度可部分由故事中顯示的影像類型來決定。CG可提供高度的互動性，而靜態面板及記錄視訊可提供 較少互動。應理解可將CG動畫切成靜態面板及/或記錄視訊以提供更大互動性。在具體實施例中，可給予使用者在故事中的分散點處與螢幕上故事互動的機會。可由故事中的暫停或一些提示將此等點指示予使用者。在另外具體實施例，一使用者可具有在由應用226表示故事期間於任何點與故事互動的選擇。
當與步驟428之一顯示場景互動時，系統初始施行一步驟560，其決定使用者是否已施行一動作或辨識姿態。若使用者是否已施行一移動或姿態。若如此，計算環境12其次在步驟564中檢查與該移動或姿態關聯的動作是否需要分支至一不同故事線。存在決定一使用者動作是否需要分支至不同故事分支之各種已知方法，然後決定如何從該故事分支前進。在一實例中，故事應用可對於故事內的所有物件及角色維持狀態資料值。當一些和場景相關者或角色改變時，場景或角色的狀態資料可因而改變。可將此等狀態資料值用於顯現故事物件或角色，及控制連同該等物件或角色所會發生者。
具體實施例中，故事應用可取決於物件及角色之狀態資料值、哪一個狀態資料可由於使用者與該等物件及/或角色等互動而改變而分支至各種不同故事線。在另外具體實施例中，使用者可施行不與螢幕上物件或角色互動或加以影響，然而可導致故事線中的改變之某些姿態。作為一實例，使用者可選擇在故事的重要方面待相對於已被展現之房間顯示及解釋之前離開在螢幕上顯示的該 房間。
步驟564中，計算環境12決定關聯一使用者施行姿態的動作是否需要分支至一不同故事線。如指出，此可用已由使用者改變之一故事的物件及角色的狀態資料值發生。尤其是，狀態資料值已改變使得用步驟560中的使用者姿態之前已存在的故事繼續，將會與關聯物件、角色或故事之目前狀態資料值總體來說並不一致。若使用者的姿態需要分支至不同故事線，計算環境12可在步驟568檢查是否存在與使用者互動一致的一已知故事分支。
若使用者不施行步驟560中的移動或經辨識姿態，或使用者之移動/或經辨識姿態無須分支至步驟564中的不同故事線，系統可返回第5圖以於步驟432中尋找任何其他類型之移動或姿態，如在下文解釋。此外，若使用者已施行一需要分支至不同故事線的動作，但沒有分支可與由故事應用226已知或可識別的使用者互動一致，則使用者姿態對故事線影響可在步驟568中忽略或流動可返回第5圖的步驟432，如在下文解釋。
假設一使用者的姿態需要分支至一新分支故事線，且該故事步驟能由故事應用施行，則故事應用可取決於使用者所施行的移動或姿態，修改總體來說與物件、角色及應用關聯的狀態資料。參考第11及12圖，一些使用者互動影響僅使故事的次要情節改變之故事分支，不影響整體結果。如在第11圖中可見，一使用者可施行造成故事應用分支至分支1、分支2、…、分支N之一些使用 者互動620，且此後所有分支再匯聚以繼續原始故事線。已預想到各種各樣的此等次要情節故事分支。例如，在第1A圖中，使用者可施行使雲25一起移動至其下雨在房子21上之處的姿態。雨對整體情節可能沒有影響。可下一陣雨、雨可停止且故事線可繼續如同沒下過雨。在另外具體實施例中，應用故事可提示使用者回答問題或解決謎題，且故事線可根據使用者對提示的答案分支至不同次要情節。一旦使用者成功回答問題或解決謎題，故事可再次匯聚及繼續原始故事線。
另一方面，其他類型的使用者互動可影響使故事整體結果改變之一故事分支。換句話說，故事可根據使用者與故事的互動將有區別地結束。例如，在第11圖中，使用者施行一使用者互動624，其造成對於不再匯聚之N分支之一的一故事分支。此外，該等分支之任一者可接著當另外使用者互動時本身分支。例如，若使用者互動624造成一故事分支至分支數字1，則使用者可施行造成可能故事分支至另一可能結果的另一使用者互動628。取決於一故事應用是否寫成處理許多次要情節及整體情節分支，一故事可具有任何數目的次要情節分支，或整體情節分支。
在具體實施例中，單一使用者可施行使一故事應用施行次要情節分支或整體情節分支的互動。在另外的具體實施例中，多數使用者可觀看一故事。此多數使用者可共同定位或在不同位置、使用不同系統10，其係一起在 網路上因此各種使用者可分享應用226的相同場合及相同故事經驗。在此等具體實施例中，故事應用226在故事線將會分支至一新次要情節或一新整體情節之前，可需要數個關注中的使用者的動作。
現返回第9圖，若計算環境12已於步驟564識別需要故事線分支的一使用者移動或姿態，且故事應用經配備以處理該新故事線，則故事應用226在步驟570分支至新故事線。故事應用在步驟572總體地修改用於任何物件、角色或應用的狀態資料。在步驟574中，故事應用226可依據新故事線及狀態資料顯現用於場景之圖形，及故事應用可用在步驟578經識別的分支繼續。
本系統之一態樣是要將遊戲機械新增至顯示給使用者之一故事。因此，除了顯示故事，故事應用226可進一步保持使用者之得分，其可根據使用者與故事如何互動來增量或減量。尤其是藉由使用者之某些姿態或動作可具有一預定故事值及一關聯的點數，其係要在關聯姿態的表現時增加至使用者的總分或從中減去。因此，在步驟582中，故事應用檢查是否有關聯步驟560中施行的使用者互動的一分數。若否，流動返回第5圖中的步驟432。若有分數與使用者互動關聯，則使用者得分在步驟588因此調整，接著流動可返回第5圖中的步驟432，如在下文描述。
可將第9圖的具體實施例用於使用靜態影像面板或動態CG影像動畫的故事。第9A圖顯示用於經記錄視訊之 另一具體實施例。步驟560至572可為如針對第9圖在上文所描述。在具體實施例中，與經記錄視訊的互動將發生在與視訊互動的預定義點處。對於經記錄視訊故事，故事應用可具有一不同的視訊剪輯，用於故事的每一可能分支。在步驟590中，故事應用可擷取對故事的經決定分支適當的媒體剪輯。在步驟594中，計算環境12可顯現該剪輯。作為用於不同分支的預記錄視訊剪輯的一替代或增加，CG動畫可由計算環境構造及插入。
在已將來自故事分支的影像顯示給一使用者以後，故事應用226可接著返回及顯示故事的媒體剪輯，使故事於步驟596中不分支至一新線。例如，在偵探將要訊問嫌犯時，故事可與犯罪劇本有關。使用者可施行指示其想要與故事應用互動以訊問嫌犯的預定義姿態。使用者可問問題，及可依不同方法及以不同態度施行訊問。可在範圍中限制此等動作，例如藉由使用者可選擇問題的腳本。或者，其可係使用者想要問的任何問題。
使用者亦可用不同態度問問題，或多或少可能與訊問中的嫌犯角色運作。使用者可試圖恐嚇嫌犯，或使用者可用一令人愉快行為進行以試圖引出資訊。擷取裝置20可偵測此等不同癖性，且若某些動作匹配經定義及儲存的癖性資料，則可由計算環境12識別此等不同癖性。一旦使用者完成訊問，可播放實行訊問的偵探之一視訊剪輯。使用者可看出其做得比偵探好或差，只要其能從嫌犯取得的資訊數量可與偵探角色在播放場景中獲得的比 較。
步驟600中，故事線用經識別的分支繼續。其可用原始故事線再匯集或其可導致用於整體情節的一新結果。在步驟604中，可將使用者之互動計分。例如，若使用者能比偵探角色在以上實例中所進行引出更多資訊，則可獎賞使用者一些預定義點數。或者，若此使用者引出較少資訊，其可能失去預定點數。使用者之分數可因此調整及流動可返回第5圖等步驟432，如以下描述。
返回第5圖，可能發生一使用者的姿態並非步驟422中之一探索姿態，並非用於步驟426中控制角色的目的，且並非與一顯示場景互動以致在步驟428中改變故事線。因此，計算環境12在步驟432檢查其他此等姿態。若在步驟432未辨識出其他此類姿態，故事應用經迴路回至步驟406以呈現故事的下一圖框且重複上文所述的步驟。另一方面，若在步驟432中辨識一些其他姿態，系統在步驟434檢查該姿態是否要結束故事。若如此，故事在步驟436結束。否則，在步驟438中，系統施行關聯在步驟432中辨識的姿態的任何動作，而後流動返回至步驟406以呈現故事的下一圖框。
如在上文指出，若當接收一故事時使用者沒採取動作，故事可按照一組預設影像及/或敘述或對話線性地前進。在另一具體實施例中，即使使用者沒採取動作，線性故事中的元素可基於各種預設因素相對於故事的場合改變。此等因素可包括已被看過之故事次數(例如，某些 新事物發生於第4次通過)；聽眾中的人數；及每日的天氣或時間(例如，故事中的天氣隨著季節改變，或有關真實世界天氣)。系統10可能已知每日天氣或時間或儲存於系統10所連接網路的一服務中。另外，其他故事中的事件能具有影響(使得被導入故事B中之一角色在故事A中出現)。此等特徵連同上文描述的本系統其他特徵，使得故事更具動態性鼓勵且重複觀看及實驗。
上述許多互動由預定義姿態觸發。第13圖顯示一姿態辨識引擎190之一方塊圖，且第14圖顯示第13圖的姿態辨識引擎190之操作的一方塊圖。姿態辨識引擎190在步驟660中接收到姿勢資訊650。姿勢資訊可包括有關如影像資料中偵測到的使用者身體和關節之位置及/或移動的各種參數。
姿態辨識引擎190在步驟664分析接收到的姿勢資訊650以檢視姿勢資訊是否匹配儲存於一姿態資料庫654中的任何預定義規則658。一儲存規則658描述何時由姿勢資訊650指示的特定位置及/或動態移動被解譯為一預定義姿態。在具體實施例中，各姿態可具有一不同、唯一規則或成組的規則658。對於第4圖中顯示之身體部分的一或多數，各規則可具有一些參數(關節位置向量、最大/最小位置、位置中的改變等等)。對於各參數及對於第4圖中顯示的各身體部分302至304，一儲存規則可定義一單一值、一範圍之值、一最大值、一最小值或用於該身體部分的參數與由規則涵蓋姿態的決定無 關之一指示。規則可由遊戲作者、由遊戲平臺之一主機或由使用者本身產生。
姿態辨識引擎190可輸出一經識別姿態及一信賴水準兩者，信賴水準對應於使用者之位置/移動對應於該姿態的可能性。尤其是，除了定義用於一姿態所需的參數，一規則可更包括可在姿勢資訊650被解譯成為一姿態前需要之一臨限信賴水準。一些姿態可具有比系統命令、遊戲命令更多的影響，及因此在一姿勢被解譯成為一姿態前需要一更高的信賴水準。姿勢資訊相對於針對一規則之儲存參數的比較導致對於姿勢資訊是否指示一姿態的累積信賴水準。
一旦已決定一信賴水準以致一給定姿勢或移動是否滿足一給定姿態規則，姿態辨識引擎190接著於步驟668中決定信賴水準是否在用於考慮中之規則的一預定臨限值之上。臨限信賴水準可與考慮中之規則相關地儲存。若信賴水準在臨限值以下，未偵測姿態(步驟670)及沒有採取動作。另一方面，若信賴水準在臨限值上，則決定使用者的移動滿足考慮中的姿態規則，且姿態辨識引擎190在步驟674返回經識別的姿態。姿態辨識引擎190可在其他具體實施例中藉由其他方法操作。
本發明系統的前述詳細描述已呈現用於說明及描述的目的。不預期毫無遺漏或使本發明系統局限於所揭示的精確形式。根據以上教示可能有許多修改及變化。所描述的具體實施例經選擇以最佳的解釋本發明系統的原理 及其實際應用且從而致使熟習技術人士最佳地使用各種具體實施例中之本發明系統且使用適合於所思及的特定用處。預期本發明系統的範圍是由所隨附的申請專利範圍所定義。
10‧‧‧系統
12‧‧‧計算環境
14‧‧‧顯示器
16‧‧‧音訊/視覺裝置
18‧‧‧使用者
19‧‧‧場景
20‧‧‧擷取裝置
21‧‧‧房子
22‧‧‧影像相機組件
23‧‧‧螢幕上角色/怪物
24‧‧‧IR光組件
25‧‧‧雲
26‧‧‧三維(3D)相機
28‧‧‧RGB相機
30‧‧‧麥克風
32‧‧‧處理器
34‧‧‧記憶體組件
36‧‧‧通信連結
100‧‧‧多媒體主控台
101‧‧‧中央處理單元/CPU
102‧‧‧層1快取記憶體
104‧‧‧層2快取記憶體
106‧‧‧快閃ROM
108‧‧‧圖形處理器單元/GPU
110‧‧‧記憶體控制器
112‧‧‧記憶體
114‧‧‧視訊編碼器/視訊編解碼器
118‧‧‧模組
120‧‧‧I/0控制器
122‧‧‧系統管理控制器
123‧‧‧音訊處理單元
124‧‧‧網路介面控制器
126‧‧‧第一USB主控制器
128‧‧‧第二USB主控制器
130‧‧‧前面板I/0次總成
132‧‧‧音訊編解碼器
136‧‧‧系統電源供應模組
138‧‧‧風扇
140‧‧‧A/V(音訊/視訊)埠
142‧‧‧周邊控制器
143‧‧‧系統記憶體
144‧‧‧媒體驅動器
146‧‧‧記憶體單元
148‧‧‧無線配接器
150‧‧‧電源按鈕
152‧‧‧退出按鈕
190‧‧‧姿態辨識引擎
220‧‧‧計算環境
221‧‧‧系統匯流排
222‧‧‧系統記憶體
223‧‧‧ROM
224‧‧‧基本輸入/輸出系統/BIOS
225‧‧‧作業系統
226‧‧‧應用程式/故事應用
227‧‧‧其他程式模組
228‧‧‧程式資料
229‧‧‧圖形處理器單元/GPU
230‧‧‧視訊記憶體
231‧‧‧圖形介面
232‧‧‧視訊介面
233‧‧‧輸出周邊介面
234‧‧‧介面
235‧‧‧介面
236‧‧‧使用者輸入介面
238‧‧‧硬碟機
241‧‧‧電腦
242‧‧‧監視器
243‧‧‧印表機
244‧‧‧揚聲器
245‧‧‧區域網路/LAN
246‧‧‧遠端電腦
247‧‧‧記憶體儲存裝置
248‧‧‧遠端應用程式
249‧‧‧廣域網路/WAN
250‧‧‧數據機
251‧‧‧鍵盤
252‧‧‧指向裝置
253‧‧‧可移、非揮發性光碟
254‧‧‧可移、非揮發性磁碟
255‧‧‧程式資料
256‧‧‧其他程式模組
257‧‧‧應用程式
258‧‧‧作業系統
259‧‧‧處理單元
260‧‧‧RAM
302‧‧‧手
304‧‧‧前臂
306‧‧‧肘
308‧‧‧二頭肌
310‧‧‧肩膀
312‧‧‧臀部
314‧‧‧大腿
316‧‧‧膝蓋
318‧‧‧前腳
320‧‧‧足部
322‧‧‧頭
324‧‧‧軀幹
326‧‧‧脊椎之頂部
328‧‧‧脊椎之底部
330‧‧‧腰部
610‧‧‧點
612‧‧‧參考點/向量
620‧‧‧使用者互動
624‧‧‧使用者互動
628‧‧‧使用者互動
650‧‧‧姿勢資訊
654‧‧‧姿態資料庫
658‧‧‧規則
第1A圖說明用於提供一互動故事經驗之一目標辨識、分析及追蹤系統的一實例具體實施例。
第1B圖說明用於提供一互動故事經驗之一目標辨識、分析及追蹤系統的另一實例具體實施例。
第2圖說明可用在一目標辨識、分析及追蹤系統中的一擷取裝置之一實例具體實施例。
第3A圖說明可在一目標辨識、分析及追蹤系統中用來解譯一或多數姿態的一計算環境之一實例具體實施例。
第3B圖說明可在一目標辨識、分析及追蹤系統中用來解譯一或多數姿態的一計算環境之另一實例具體實施例。
第4圖說明已從第1A至2圖之目標辨識、分析及追蹤系統產生的使用者的一骨架映射。
第5圖係用於提供一互動故事經驗之本發明技術的一具體實施例之操作的高層流程圖。
第6圖係一用於將由擷取裝置偵測之一聲音與互動故事經驗相關之本發明技術的一具體實施例之操作的流程圖。
第7圖係一用於虛擬場景之3D探索的本發明技術的一具體實施例之操作的流程圖。
第8圖係用於一使用者控制螢幕上角色之動作的本發明技術的一具體實施例之操作的流程圖。
第9圖係用於一使用者與一場景互動以改變互動故事經驗之情節的本發明技術的一具體實施例之操作的流程圖。
第9A圖係用於一使用者與一場景互動以改變其中場景呈現於一預記錄視訊的互動故事經驗之情節的本發明技術的一替代具體實施例之操作的流程圖。
第10圖係一使用者執行一探索姿態以探索且調查一顯示場景中之虛擬物件的實例。
第11圖說明重新匯聚至一單一故事結果的分支次要情節。
第12圖說明導致複數故事結果之一的分支情節。
第13圖係顯示用於辨識姿態之一姿態辨識引擎的方塊圖。
第14圖係第13圖之姿態辨識引擎的操作之流程圖。
10‧‧‧系統
12‧‧‧計算環境
14‧‧‧顯示器
16‧‧‧音訊/視覺裝置
18‧‧‧使用者
19‧‧‧場景
20‧‧‧擷取裝置
21‧‧‧房子
25‧‧‧雲

Claims (22)

  1. 一種在一系統中將互動遊戲態樣結合成為一線性故事的方法，該系統包括一計算環境，該計算環境經耦合至用於擷取使用者動作之一擷取裝置及用於顯示影像及/或提供音訊的一視聽裝置，該方法包括以下步驟：(a)使用影像及一音訊敘述中之至少一者經由該視聽裝置，來呈現該線性故事，該線性故事具有一預設故事及一改變故事，該預設故事具有一組預設影像及/或敘述，若一使用者不與該故事互動，則該組預設影像及/或敘述將呈現給該使用者；(b)經由該擷取裝置，來偵測由一使用者所做的一移動及一聲音命令中之至少一者；(c)識別出在該步驟(b)所偵測到之該移動及/或該聲音命令是否為與該線性故事之一互動，該互動將改變該線性故事以包括一故事分支，該故事分支具有未包括在該組預設影像及/或敘述中之額外影像及額外敘述中之至少一者；及(d)藉由將該等額外影像及該額外敘述中之至少一者經由該視聽裝置呈現給一使用者，來改變該線性故事為該改變故事。
  2. 如申請專利範圍第1項所述之方法，其中該線性故事包括具有故事場景的影像，在虛擬機器空間中藉由場景的三維描述，來定義該等故事場景，改變該線性故 事的該步驟(d)包含：(e)呈現顯示出在該虛擬機器空間內從一不同三維視野角度而來自該組預設影像之一場景的額外影像。
  3. 如申請專利範圍第2項所述之方法，在該步驟(e)中所呈現的該等額外影像提供一使用者移動進入該場景的一指示(indication)。
  4. 如申請專利範圍第2項所述之方法，在該步驟(e)中所呈現的該等額外影像提供一使用者更接近地檢查來自該場景之一物件的一指示。
  5. 如申請專利範圍第2項所述之方法，在該步驟(e)中所呈現的該等額外影像提供一使用者從一不同角度檢查來自該場景之一物件的一指示。
  6. 如申請專利範圍第2項所述之方法，在該步驟(e)中所呈現的該等額外影像提供一使用者觀看該場景內之一物件後方的一指示。
  7. 如申請專利範圍第1項所述之方法，其中改變該線性故事的該步驟(d)包含：(f)一使用者與一場景內所顯示的一角色進行互動。
  8. 如申請專利範圍第1項所述之方法，其中改變該線性故事的該步驟(d)是發生在判斷出一移動及/或聲音命令並非是改變該線性故事之一互動，而是發生而改變該線性故事之一預定義事件，該預定義事件是關聯於接收該線性故事達一預定次數而不改變該故事。
  9. 如申請專利範圍第1項所述之方法，其中該線性故事 包括一音訊敘述與影像，呈現該線性故事的該步驟(a)包含以下步驟：(a1)一使用者說出該敘述，(a2)將該使用者說出的敘述與該線性故事之對應影像進行匹配，及(a3)以一速度呈現該等影像，該速度是由該使用者說出的敘述之一速度所決定。
  10. 如申請專利範圍第1項所述之方法，其中該線性故事包括呈現給一使用者的一音訊敘述與影像，呈現該線性故事的該步驟(a)包含以下步驟：(a1)一第三者說出該敘述，該第三者不與該使用者一起出現且將該第三者的聲音經由在該使用者附近之一揚聲器提供作為該敘述，(a2)將該第三者說出的敘述與該線性故事之對應影像進行匹配，及(a3)以一速度呈現該等影像，該速度是由該第三者說出的敘述之一速度所決定。
  11. 一種處理器可讀取儲存媒體，該處理器可讀取儲存媒體用於程式化一處理器，以施行將互動遊戲態樣結合成為一線性故事的一方法，該方法包括以下步驟：(a)使用影像及一音訊敘述中之至少一者經由一視聽裝置，來呈現該線性故事，若未由監視使用者移動的一擷取裝置感知到由一使用者所做的互動，該線性故事將呈現為自開始至結束且包括一組預設影像的一 完整故事；(b)經由與該視聽裝置有關之一擷取裝置，來偵測由一使用者所做的一移動；(c)識別在該步驟(b)中所偵測到之該移動是否為與該線性故事進行之一互動，該互動需要來自該線性故事之一修改，以包括一故事分支，該故事分支具有未包括在該組預設影像中之額外影像；(d)基於經儲存或經處理資料，來判斷是否可顯現該等額外影像；(e)若在該步驟(d)中判斷出可顯現該等額外影像，則藉由將該等額外影像經由該視聽裝置呈現給一使用者來變化該線性故事；及(f)基於該使用者是如何與該故事進行互動，來計分一使用者之互動，其中該互動是對應於獎賞或取走一預定點數。
  12. 如申請專利範圍第11項所述之處理器可讀取儲存媒體，其中該線性故事包括具有故事場景的影像，在虛擬機器空間中藉由場景的三維描述，來定義該等故事場景，改變該線性故事的該步驟(e)包含：(g)呈現顯示出在該虛擬機器空間內從一不同三維視野角度而來自該組預設影像之一場景的額外影像。
  13. 如申請專利範圍第11項所述之處理器可讀取儲存媒體，其中該步驟(b)包含：(h)一使用者接管顯示為該線性故事之部分的一角色的至少部分控制。
  14. 如申請專利範圍第13項所述之處理器可讀取儲存媒體，其中該步驟(h)包含一使用者以一有樣學樣方式來控制顯示為該線性故事之部分的一角色的移動，及/或一使用者控制該角色的說話之步驟。
  15. 如申請專利範圍第11項所述之處理器可讀取儲存媒體，其中該步驟(a)與(e)包含在靜態影像面板、動態電腦圖形動畫及線性視訊中之至少一者中顯示該線性故事及/或故事分支的步驟。
  16. 一種用於將互動遊戲態樣結合成為一線性故事的系統，該系統包含：一視聽裝置，該視聽裝置用於呈現影像及一音訊敘述中之至少一者；一影像擷取裝置，該影像擷取裝置用於從一使用者擷取影像資料及音訊資料中之至少一者；及一計算環境，該計算環境被耦合至該視聽裝置及該影像擷取裝置，該計算環境將：(a)使用影像及一音訊敘述中之至少一者經由該視聽裝置，來呈現該線性故事，若未由該擷取裝置感知到由一使用者所做的互動，該線性故事將呈現為自開始至結束且包括一組預設影像的一完整故事；(b)經由該擷取裝置，來偵測由一使用者所做的一移動；(c)識別該偵測到的移動是否為一探索姿態(exploration gesture)； (d)就在識別出該偵測到的移動為一探索姿態時，從該線性故事分支到一故事分支，該分支包括：(d1)感測由該使用者所指示而在該視聽裝置上之一點，(d2)計算從該使用者之一部分至由該使用者所指示而在該視聽裝置上的該點的一3D真實世界向量，(d3)將該3D真實世界向量轉移至一3D機器空間向量，該3D機器空間向量具有在目前視野角度之一開始點及在3D機器空間中之虛擬物件處之一結束點，及(d4)在該3D機器空間向量之該結束點處從一視野角度來顯示該虛擬物件。
  17. 如申請專利範圍第16項所述之系統，該計算環境藉由該擷取裝置感測出該使用者頭部之一位置來感測由該使用者所指示而在該視聽裝置上的該點。
  18. 如申請專利範圍第16項所述之系統，該計算環境藉由該擷取裝置感測出由該使用者手部所指示之一點來感測由該使用者所指示而在該視聽裝置上的該點。
  19. 如申請專利範圍第16項所述之系統，當該使用者姿態表示已結束檢查該虛擬物件時，該計算環境分支回至該線性故事。
  20. 如申請專利範圍第16項所述之系統，其中該使用者能夠在與該線性及分支故事互動時增加關聯於該使用 者之經驗之一分數。
  21. 一種在一系統中將互動遊戲態樣結合成為一線性故事的方法，該系統包括一計算環境，該計算環境經耦合至用於擷取使用者動作之一擷取裝置及用於顯示影像及/或提供音訊的一視聽裝置，該方法包括以下步驟：(a)使用至少一音訊敘述經由該視聽裝置，來呈現該線性故事，該音訊敘述是由一第三者所說出而不與該使用者一起出現，且將該第三者的聲音經由在該使用者附近之一揚聲器提供作為該敘述；(b)經由該擷取裝置，來偵測由一使用者所做的一移動及一聲音命令中之至少一者；(c)識別出在該步驟(b)所偵測到之該移動及/或該聲音命令是否為與該線性故事之一互動，該互動將改變該線性故事以包括一故事分支，該故事分支具有未包括在該組預設影像及/或敘述中之額外影像及額外敘述中之至少一者；及(d)藉由將該等額外影像及該額外敘述中之至少一者經由該視聽裝置呈現給一使用者，來改變該線性故事。
  22. 一種用於將互動遊戲態樣結合成為一線性故事的方法，該方法包含以下步驟：(a)使用影像及一音訊敘述中之至少一者經由一視聽裝置，來呈現該線性故事，若未由監視使用者移動的 一擷取裝置感知到由一使用者所做的互動，該線性故事將呈現為自開始至結束且包括一組預設影像的一完整故事；(b)經由與該視聽裝置有關之一擷取裝置，來偵測由一使用者所做的一移動；其中該步驟(b)包含一使用者接管顯示為該線性故事之部分的一角色的至少部分控制之步驟；(c)識別在該步驟(b)中所偵測到之該移動是否為與該線性故事進行之一互動，該互動要求來自該線性故事之一修改，以包括一故事分支，該故事分支具有未包括在該組預設影像中之額外影像；(d)基於經儲存或經處理資料，來判斷是否可顯現該等額外影像；(e)若在該步驟(d)中判斷出可顯現該等額外影像，則藉由將該等額外影像經由該視聽裝置呈現給一使用者來改變該線性故事。
TW100115150A 2010-06-21 2011-04-29 用於推動互動故事的自然使用者輸入 TWI531396B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/819,983 US8381108B2 (en) 2010-06-21 2010-06-21 Natural user input for driving interactive stories

Publications (2)

Publication Number Publication Date
TW201210663A TW201210663A (en) 2012-03-16
TWI531396B true TWI531396B (zh) 2016-05-01

Family

ID=45329786

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100115150A TWI531396B (zh) 2010-06-21 2011-04-29 用於推動互動故事的自然使用者輸入

Country Status (8)

Country Link
US (2) US8381108B2 (zh)
EP (1) EP2583155A4 (zh)
JP (1) JP5944384B2 (zh)
KR (1) KR101838312B1 (zh)
CN (1) CN102947774B (zh)
CA (1) CA2800533C (zh)
TW (1) TWI531396B (zh)
WO (1) WO2011162974A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI605862B (zh) * 2016-07-28 2017-11-21 南臺科技大學 可偵測認知功能的個人化遊戲系統

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645140B2 (en) * 2009-02-25 2014-02-04 Blackberry Limited Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device
US9208147B1 (en) 2011-01-07 2015-12-08 Narrative Science Inc. Method and apparatus for triggering the automatic generation of narratives
US11989659B2 (en) 2010-05-13 2024-05-21 Salesforce, Inc. Method and apparatus for triggering the automatic generation of narratives
US8355903B1 (en) 2010-05-13 2013-01-15 Northwestern University System and method for using data and angles to automatically generate a narrative story
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120042282A1 (en) * 2010-08-12 2012-02-16 Microsoft Corporation Presenting Suggested Items for Use in Navigating within a Virtual Space
US10657201B1 (en) 2011-01-07 2020-05-19 Narrative Science Inc. Configurable and portable system for generating narratives
US10185477B1 (en) 2013-03-15 2019-01-22 Narrative Science Inc. Method and system for configuring automatic generation of narratives from data
US9720899B1 (en) 2011-01-07 2017-08-01 Narrative Science, Inc. Automatic generation of narratives from data using communication goals and narrative analytics
US9092132B2 (en) * 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
KR20120119756A (ko) * 2011-04-22 2012-10-31 삼성전자주식회사 타 기기와 연동하여 상호 동작이 가능한 에듀테인먼트 시스템을 위한 방법 및 장치
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8881010B2 (en) * 2011-09-29 2014-11-04 Microsoft Corporation Adapting trick commands to prior usage
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
TWI557685B (zh) * 2012-05-23 2016-11-11 雲南恆達睿創三維數字科技有限公司 網格動畫製作方法
TWI470511B (zh) * 2012-06-06 2015-01-21 Wistron Corp 雙模輸入裝置
WO2014008185A1 (en) * 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
US9833698B2 (en) * 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
KR20140039757A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9141281B2 (en) * 2012-09-28 2015-09-22 Fabrizio Ferri Photography System and method for controlling the progression of multmedia assets on a computing device
CN102945672B (zh) * 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
CN104756513A (zh) * 2012-11-05 2015-07-01 索尼电脑娱乐公司 信息处理设备
US20140192140A1 (en) * 2013-01-07 2014-07-10 Microsoft Corporation Visual Content Modification for Distributed Story Reading
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US10268660B1 (en) 2013-03-15 2019-04-23 Matan Arazi Real-time event transcription system and method
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
CN103164995A (zh) * 2013-04-03 2013-06-19 湖南第一师范学院 儿童体感交互式学习系统及方法
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
US9836984B2 (en) * 2013-09-16 2017-12-05 Disney Enterprises, Inc. Storytelling environment: story and playgroup creation
US9474068B2 (en) 2013-09-16 2016-10-18 Disney Enterprises, Inc. Storytelling simulator and device communication
KR101428014B1 (ko) * 2013-10-31 2014-08-07 동국대학교 산학협력단 가상화 환경에서 nui 및 nux를 시뮬레이션하는 방법 및 장치
US20150165310A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Dynamic story driven gameworld creation
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR101582651B1 (ko) * 2014-04-29 2016-01-06 주식회사 두드림 체험형 콘텐츠 제공 시스템 및 방법
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
CN111449669B (zh) * 2014-07-02 2023-04-18 柯惠有限合伙公司 用于检测气管的系统和方法
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US10747823B1 (en) 2014-10-22 2020-08-18 Narrative Science Inc. Interactive and conversational data exploration
US11922344B2 (en) 2014-10-22 2024-03-05 Narrative Science Llc Automatic generation of narratives from data using communication goals and narrative analytics
US11288328B2 (en) 2014-10-22 2022-03-29 Narrative Science Inc. Interactive and conversational data exploration
US11341338B1 (en) 2016-08-31 2022-05-24 Narrative Science Inc. Applied artificial intelligence technology for interactively using narrative analytics to focus and control visualizations of data
US11238090B1 (en) 2015-11-02 2022-02-01 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from visualization data
US11250630B2 (en) * 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
CN104898669B (zh) * 2015-04-30 2019-01-11 广东虚拟现实科技有限公司 一种基于惯性传感器进行虚拟现实行走控制的方法及系统
CN104932549B (zh) * 2015-06-01 2018-12-21 广东小天才科技有限公司 一种智能控制终端旋转的方法
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2017034627A1 (en) * 2015-08-25 2017-03-02 Davis George Bernard Presenting interactive content
US10249091B2 (en) * 2015-10-09 2019-04-02 Warner Bros. Entertainment Inc. Production and packaging of entertainment data for virtual reality
US12153618B2 (en) 2015-11-02 2024-11-26 Salesforce, Inc. Applied artificial intelligence technology for automatically generating narratives from visualization data
US11232268B1 (en) 2015-11-02 2022-01-25 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from line charts
US11222184B1 (en) 2015-11-02 2022-01-11 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from bar charts
US11170038B1 (en) 2015-11-02 2021-11-09 Narrative Science Inc. Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from multiple visualizations
US10928915B2 (en) * 2016-02-10 2021-02-23 Disney Enterprises, Inc. Distributed storytelling environment
US10311622B2 (en) * 2016-03-29 2019-06-04 Htc Corporation Virtual reality device and method for virtual reality
US10092827B2 (en) * 2016-06-16 2018-10-09 Disney Enterprises, Inc. Active trigger poses
JP6190497B1 (ja) * 2016-07-13 2017-08-30 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10272329B2 (en) * 2016-08-10 2019-04-30 Google Llc Cooperative immersive live action 360-degree video and virtual reality
US10135950B2 (en) * 2016-10-10 2018-11-20 Google Llc Creating a cinematic storytelling experience using network-addressable devices
US10525355B2 (en) * 2016-11-01 2020-01-07 Htc Corporation Method, device, and non-transitory computer readable storage medium for interaction to event in virtual space
US10990753B2 (en) * 2016-11-16 2021-04-27 Disney Enterprises, Inc. Systems and methods for a procedural system for emergent narrative construction
US10467808B2 (en) 2017-02-09 2019-11-05 Disney Enterprises, Inc. Systems and methods to provide narrative experiences for users of a virtual space
US10719542B1 (en) 2017-02-17 2020-07-21 Narrative Science Inc. Applied artificial intelligence technology for ontology building to support natural language generation (NLG) using composable communication goals
US11954445B2 (en) 2017-02-17 2024-04-09 Narrative Science Llc Applied artificial intelligence technology for narrative generation based on explanation communication goals
US10943069B1 (en) 2017-02-17 2021-03-09 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on a conditional outcome framework
US10699079B1 (en) 2017-02-17 2020-06-30 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on analysis communication goals
US11068661B1 (en) 2017-02-17 2021-07-20 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on smart attributes
US11568148B1 (en) 2017-02-17 2023-01-31 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on explanation communication goals
KR101924852B1 (ko) 2017-04-14 2018-12-04 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
WO2019076845A1 (en) * 2017-10-16 2019-04-25 Lego A/S INTERACTIVE GAMING APPARATUS
US10535345B2 (en) * 2017-10-20 2020-01-14 Yingjia LIU Interactive method and system for generating fictional story
US11351005B2 (en) 2017-10-23 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for presenting augmented reality in a display of a teleoperational system
TWI635418B (zh) * 2017-11-14 2018-09-11 國立政治大學 Wearable virtual interactive display system
KR102074680B1 (ko) * 2017-12-15 2020-04-08 (주)브이알에이포인트 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치
US11042709B1 (en) 2018-01-02 2021-06-22 Narrative Science Inc. Context saliency-based deictic parser for natural language processing
US10963649B1 (en) 2018-01-17 2021-03-30 Narrative Science Inc. Applied artificial intelligence technology for narrative generation using an invocable analysis service and configuration-driven analytics
US11182556B1 (en) 2018-02-19 2021-11-23 Narrative Science Inc. Applied artificial intelligence technology for building a knowledge base using natural language processing
US11343595B2 (en) 2018-03-01 2022-05-24 Podop, Inc. User interface elements for content selection in media narrative presentation
US10936124B2 (en) * 2018-05-21 2021-03-02 Compal Electronics, Inc. Interactive projection system and interactive projection method
US11232270B1 (en) 2018-06-28 2022-01-25 Narrative Science Inc. Applied artificial intelligence technology for using natural language processing to train a natural language generation system with respect to numeric style features
US11012760B2 (en) * 2018-10-03 2021-05-18 Wanjeru Kingori System and method for branching-plot video content and editing thereof
CN109284056A (zh) * 2018-10-24 2019-01-29 深圳市领点科技有限公司 一种高效的虚拟场景共享方法和装置
US11145306B1 (en) 2018-10-31 2021-10-12 Ossum Technology Inc. Interactive media system using audio inputs
US10990767B1 (en) 2019-01-28 2021-04-27 Narrative Science Inc. Applied artificial intelligence technology for adaptive natural language understanding
US11228810B1 (en) 2019-04-22 2022-01-18 Matan Arazi System, method, and program product for interactively prompting user decisions
US11017688B1 (en) 2019-04-22 2021-05-25 Matan Arazi System, method, and program product for interactively prompting user decisions
US11551803B1 (en) 2019-04-22 2023-01-10 Aimcast Ip, Llc System, method, and program product for generating and providing simulated user absorption information
US11328009B2 (en) 2019-08-28 2022-05-10 Rovi Guides, Inc. Automated content generation and delivery
US11520677B1 (en) 2019-09-25 2022-12-06 Aimcast Ip, Llc Real-time Iot device reliability and maintenance system and method
CN111212311A (zh) * 2020-01-13 2020-05-29 四川长虹电器股份有限公司 一种语音交互视频的生成及播放方法
CN113409778A (zh) * 2020-03-16 2021-09-17 阿里巴巴集团控股有限公司 语音交互方法、系统和终端
US11394799B2 (en) * 2020-05-07 2022-07-19 Freeman Augustus Jackson Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data
US11418848B2 (en) * 2020-08-31 2022-08-16 TCL Research America Inc. Device and method for interactive video presentation
US11285388B2 (en) * 2020-08-31 2022-03-29 Nawaf Al Dohan Systems and methods for determining story path based on audience interest
EP3979245A1 (en) * 2020-09-30 2022-04-06 Al Sports Coach GmbH System and method for providing interactive storytelling
US12073011B2 (en) 2022-09-01 2024-08-27 Snap Inc. Virtual interfaces for controlling IoT devices
US12148448B2 (en) 2022-09-01 2024-11-19 Snap Inc. Authoring tools for creating interactive AR experiences
US12175608B2 (en) 2022-09-01 2024-12-24 Snap Inc. Character and costume assignment for co-located users
US20240077984A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Recording following behaviors between virtual objects and user avatars in ar experiences
US12045383B2 (en) 2022-09-01 2024-07-23 Snap Inc. Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors
CN116009748B (zh) * 2023-03-28 2023-06-06 深圳市人马互动科技有限公司 儿童互动故事中图片信息交互方法及装置

Family Cites Families (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5274758A (en) * 1989-06-16 1993-12-28 International Business Machines Computer-based, audio/visual creation and presentation system and method
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5181162A (en) * 1989-12-06 1993-01-19 Eastman Kodak Company Document management and production system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
JPH04307585A (ja) * 1991-04-05 1992-10-29 Matsushita Electric Ind Co Ltd 語学学習装置
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp., Bay Village Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5953485A (en) * 1992-02-07 1999-09-14 Abecassis; Max Method and system for maintaining audio during video control
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US6062863A (en) * 1994-09-22 2000-05-16 Kirksey; William E. Method of associating oral utterances meaningfully with word symbols seriatim in an audio-visual work and apparatus for linear and interactive application
US5938447A (en) * 1993-09-24 1999-08-17 Readspeak, Inc. Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5692212A (en) 1994-06-22 1997-11-25 Roach; Richard Gregory Interactive multimedia movies and techniques
US5999172A (en) * 1994-06-22 1999-12-07 Roach; Richard Gregory Multimedia techniques
US5948040A (en) * 1994-06-24 1999-09-07 Delorme Publishing Co. Travel reservation information and planning system
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
JPH0926970A (ja) * 1994-12-20 1997-01-28 Sun Microsyst Inc 情報を検索するコンピュータによる実行方法及び装置
US5799304A (en) * 1995-01-03 1998-08-25 Intel Corporation Information evaluation
US5636995A (en) * 1995-01-17 1997-06-10 Stephen A. Schwartz Interactive story book and graphics tablet apparatus and methods for operating the same
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
WO1996031829A1 (en) * 1995-04-06 1996-10-10 Avid Technology, Inc. Graphical multimedia authoring system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
GB9517808D0 (en) 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Interactive entertainment personalisation
GB9517806D0 (en) * 1995-08-31 1995-11-01 Philips Electronics Uk Ltd Information handling for interactive apparatus
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6278418B1 (en) 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
GB9602431D0 (en) 1996-02-07 1996-04-03 Philips Electronics Nv Interactive audio entertainment apparatus
WO1997030397A1 (en) * 1996-02-16 1997-08-21 Cyber Marketing, Inc. Remote interactive multimedia preview and data collection kiosk system
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6705868B1 (en) 1998-03-18 2004-03-16 Purdue Research Foundation Apparatus and methods for a shape memory spring actuator and display
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6243740B1 (en) * 1998-02-13 2001-06-05 Xerox Corporation Public interactive document
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6088020A (en) 1998-08-12 2000-07-11 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Haptic device
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6342901B1 (en) * 1998-12-22 2002-01-29 Xerox Corporation Interactive device for displaying information from multiple sources
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6190174B1 (en) 1999-06-03 2001-02-20 Kader Industrial Company Limited Electronic story board
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7333967B1 (en) 1999-12-23 2008-02-19 International Business Machines Corporation Method and system for automatic computation creativity and specifically for story generation
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US7246315B1 (en) 2000-05-10 2007-07-17 Realtime Drama, Inc. Interactive personal narrative agent system and method
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6544040B1 (en) 2000-06-27 2003-04-08 Cynthia P. Brelis Method, apparatus and article for presenting a narrative, including user selectable levels of detail
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US20020108009A1 (en) * 2000-12-29 2002-08-08 Michele Borgatti Electronic system having modular expansion function facilities
AU2002329214A1 (en) * 2001-02-07 2002-12-23 Infosphere Incorporated Method and apparatus for providing interactive media presentation
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
JP2004537777A (ja) * 2001-05-14 2004-12-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ リアルタイムのコンテンツのストリームと対話するための装置
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US6705686B2 (en) 2002-03-26 2004-03-16 Ford Motor Company Method and apparatus for braking a hybrid electric vehicle
US7062712B2 (en) * 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7962430B1 (en) * 2002-11-11 2011-06-14 James Ralph Heidenreich Systems and methods for facilitating user thinking about an arbitrary problem with additional search capabilities
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20080074428A1 (en) * 2003-11-19 2008-03-27 Reuven Bakalash Method of rendering pixel-composited images for a graphics-based application running on a computing system embodying a multi-mode parallel graphics rendering system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7295220B2 (en) * 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
KR100458287B1 (ko) * 2004-06-07 2004-11-26 엔에이치엔(주) 건물 발전 방식의 온라인 롤-플레잉 게임 서비스 시스템 및 그 방법
KR20060049754A (ko) * 2004-07-01 2006-05-19 아르재 가부시키가이샤 게임 시스템
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US20060190285A1 (en) * 2004-11-04 2006-08-24 Harris Trevor M Method and apparatus for storage and distribution of real estate related data
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
PE20060777A1 (es) * 2004-12-24 2006-10-06 Boehringer Ingelheim Int Derivados de indolinona para el tratamiento o la prevencion de enfermedades fibroticas
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
EP1856470B1 (en) 2005-01-07 2013-02-27 Qualcomm Incorporated Detecting and tracking objects in images
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
JPWO2006098299A1 (ja) * 2005-03-14 2008-08-21 新世代株式会社 情報処理システム及びそのための情報入力装置
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
RU2007146172A (ru) 2005-05-17 2009-06-27 Гестуретэк, Инк. (Us) Вывод сигнала, чувствительный к ориентации
TW200707257A (en) 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US20070087798A1 (en) * 2005-10-13 2007-04-19 Elliot Mcgucken Morality system and method for video game: system and method for creating story, deeper meaning and emotions, enhanced characters and AI, and dramatic art in video games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
US7627536B2 (en) 2006-06-13 2009-12-01 Microsoft Corporation Dynamic interaction menus from natural language representations
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
EP1912193A1 (en) * 2006-10-02 2008-04-16 Koninklijke Philips Electronics N.V. Interactive storyteller system
TW200839666A (en) 2006-11-14 2008-10-01 Patent Category Corp Interactive system
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
WO2008107905A2 (en) * 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101952818B (zh) 2007-09-14 2016-05-25 智慧投资控股81有限责任公司 基于姿态的用户交互的处理
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
KR100930370B1 (ko) * 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
WO2009101153A2 (en) * 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
MY168264A (en) * 2008-07-15 2018-10-16 Dtt holdings pty ltd Method for preparing a patent for a medical treatment
US20100041476A1 (en) * 2008-08-11 2010-02-18 Haven Holdings, LLC Interactive Entertainment and Competition System with Caused-Based Reward System
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
CN101739120A (zh) * 2008-11-12 2010-06-16 华硕电脑股份有限公司 交互式显示方法及其相关显示装置
US8219513B2 (en) * 2008-12-19 2012-07-10 Eastman Kodak Company System and method for generating a context enhanced work of communication
WO2010132718A2 (en) * 2009-05-13 2010-11-18 Coincident.Tv , Inc. Playing and editing linked and annotated audiovisual works
WO2010138975A1 (en) * 2009-05-29 2010-12-02 Sk Telecom Americas, Inc. System and method for motivating users to improve their wellness
US8510656B2 (en) * 2009-10-29 2013-08-13 Margery Kravitz Schwarz Interactive storybook system and method
US9299223B2 (en) * 2010-05-19 2016-03-29 Bally Gaming, Inc. Controlling bingo game interactivity
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
CN107093201B (zh) * 2010-09-13 2021-02-12 巴里·林恩·詹金斯 传输和控制包括渲染的几何、纹理和光照数据的流交互媒体
US20120190446A1 (en) * 2011-01-21 2012-07-26 Rogers Henk B Systems and methods for providing a game or story development platform
US10127563B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH System and method for providing sports and sporting events related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, gambling and/or services integrated with 3D spatial geomapping, company and local information for selected worldwide locations and social networking
US9031382B1 (en) * 2011-10-20 2015-05-12 Coincident.Tv, Inc. Code execution in complex audiovisual experiences

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI605862B (zh) * 2016-07-28 2017-11-21 南臺科技大學 可偵測認知功能的個人化遊戲系統

Also Published As

Publication number Publication date
US20110314381A1 (en) 2011-12-22
US9274747B2 (en) 2016-03-01
CA2800533A1 (en) 2011-12-29
JP2013538593A (ja) 2013-10-17
KR20130111234A (ko) 2013-10-10
CN102947774A (zh) 2013-02-27
EP2583155A2 (en) 2013-04-24
EP2583155A4 (en) 2013-10-16
CN102947774B (zh) 2016-05-04
CA2800533C (en) 2018-03-06
WO2011162974A3 (en) 2012-03-29
KR101838312B1 (ko) 2018-03-13
TW201210663A (en) 2012-03-16
WO2011162974A2 (en) 2011-12-29
US8381108B2 (en) 2013-02-19
JP5944384B2 (ja) 2016-07-05
US20130165225A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
TWI531396B (zh) 用於推動互動故事的自然使用者輸入
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
EP2524350B1 (en) Recognizing user intent in motion capture system
JP5632474B2 (ja) ユーザーから学習した入力を介し視覚表示を実写のようにする方法及びシステム
US8542252B2 (en) Target digitization, extraction, and tracking
US8866898B2 (en) Living room movie creation
US20110221755A1 (en) Bionic motion
US20120326976A1 (en) Directed Performance In Motion Capture System
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN102332090A (zh) 划分在视野内的焦点区域

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees