JP5944384B2 - インタラクティブ・ストーリーを駆動するための自然ユーザー入力 - Google Patents

Description

[0001] これまで、コンピューター・ゲームおよびマルチメディア・アプリケーションのような計算アプリケーションは、コントローラー、リモコン、キーボード、マウス等を用いて、ユーザーがゲーム・キャラクターやアプリケーションの他の様相(aspect)を操作することを可能にしていた。更に最近になって、コンピューター・ゲームおよびマルチメディア・アプリケーションは、カメラやソフトウェア・ジェスチャー認識エンジンを採用して、自然ユーザー・インターフェース（「ＮＵＩ」：natural user interface）を提供し始めている。ＮＵＩを用いて、ユーザーのジェスチャーや発声を検出し、解釈し、ゲームのキャラクターやアプリケーションのその他の様相を制御するために用いる。

[0002] 現在では、ＮＵＩシステムは、ゲーミング・アプリケーションに広く用いられている。しかしながら、ＮＵＩシステムは、今日まで、リニア・ストーリー・テリング（linear story telling)用の媒体としては用いられてこなかった。リニア・ストーリーは、例えば、従前からのテレビジョン番組、映画、および本によって与えられるような、従前からの受動的な非インタラクティブ体験である。リニア・ストーリーは、何十年もの間、一般大衆に広く受け入れられている。ゲーミングは、特にＮＵＩシステムを用いる場合、比較的新しく、これまでは受入が非常に限られていた。

[0003] 本明細書に開示するのは、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせるインタラクティブ・ストーリー体験を提供するシステムおよび方法である。リニア・ストーリーは、ユーザーによって、開始から終了まで、望ましければユーザーの対話処理なくても、見ることができる。あるいは、ユーザーは、リニア・ストーリーと対話処理して、インタラクティブ体験を得ることもできる。ユーザーは、ＮＵＩシステムを通じて、リニア・ストーリーと対話処理することができる。ＮＵＩシステムは、計算環境と、ユーザー移動データーを取り込みそれを計算機に供給するキャプチャー・デバイスと、ストーリーを提示するオーディオビジュアル・デバイスとを含む。

[0004] 一実施形態では、ユーザーは、既定の診査ジェスチャー(exploration gesture)を行うことによって、リニア・ストーリーを変更することができる。このジェスチャーは、キャプチャー・デバイスによって検出され計算環境によって認識されると、表示されている画像の３−Ｄ世界にユーザーを引き込む。具体的には、画面上に表示されている画像が変化して、ユーザーが３−Ｄ仮想世界に足を踏み入れて、ユーザーが場面の中で動き回り、この場面の異なる観点から仮想物体を診査および検査すること、またはこの場面における仮想物体の周りを窺うことができるという印象を醸し出す。

[0005] 一実施形態では、本システムは、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせる方法に関する。この方法は、ａ）少なくとも１つの画像および音声挿話を用いて、オーディオビジュアル・デバイスによってリニア・ストーリーを提示するステップであって、リニア・ストーリーが、ユーザーがストーリーと対話処理していないときに、ユーザーに提示される１組のデフォルトの画像および／または挿話を有する、ステップと、ｂ）キャプチャー・デバイスによって、ユーザーによる動きおよび音声コマンドの内少なくとも１つを検出するステップと、ｃ）前記ステップｂ）において検出した動きおよび／または音声コマンドが、１組のデフォルトの画像および／または挿話には含まれていない追加の画像および追加の挿話の内少なくとも一方を有するストーリー分岐を含むように、リニア・ストーリーを変更する、リニア・ストーリーとの対話処理であるか否か識別するステップと、ｄ）追加の画像の内少なくとも１つにおいて、追加の挿話をユーザーに、オーディオビジュアル・デバイスによって提示することによって、リニア・ストーリーを変更するステップとを含む。

[0006] 他の実施形態では、本システムは、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせる方法を実行するようにプロセッサーをプログラミングするプロセッサー読み取り可能記憶媒体に関する。この方法は、ａ）ユーザーによる対話処理が、ユーザーの動きを監視しているキャプチャー・デバイスによって認知されないときに、画像および音声挿話の内少なくとも１つを用いて、オーディオビジュアル・デバイスによってリニア・ストーリーを提示するステップであって、リニア・ストーリーが、開始から終了まで、完全なストーリーとして提示され、１組のデフォルトの画像を含む、ステップと、ｂ）オーディオビジュアル・デバイスと関連付けられているキャプチャー・デバイスによって、ユーザーによる動きを検出するステップと、ｃ）前記ステップｂ）において検出した動きが、１組のデフォルトの画像および／または挿話には含まれていない追加の画像を有するストーリー分岐を含むように、リニア・ストーリーからの変更を要求する、リニア・ストーリーとの対話処理であるか否か識別するステップと、ｄ）追加の画像を、格納されている処理データーに基づいてレンダリングできるか否か判断するステップと、ｅ）前記ステップｄ）において、追加の画像をレンダリングできると判断した場合、オーディオビジュアル・デバイスによって追加のデーターをユーザーに提示することによって、リニア・ストーリーを変更するステップと、ｆ）ユーザーの対話処理に基づいて、対話処理が所定のポイント数を加点するまたは減点することに対応する場合、対話処理を採点するステップとを含む。

[0007] 更に他の実施形態では、本システムは、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせるシステムに関する。このシステムは、画像および音声挿話の内少なくとも１つを提示するオーディオビジュアル・デバイスと、画像およびオーディオ・データーの内少なくとも１つをユーザーから取り込む画像キャプチャ・デバイスと、オーディオビジュアル・デバイスおよび画像キャプチャ・デバイスに結合されている計算環境とを含む。この計算環境は、ａ）ユーザーによる対話処理が、ユーザーの動きを監視しているキャプチャー・デバイスによって認知されないときに、画像および音声挿話の内少なくとも１つを用いて、オーディオビジュアル・デバイスによってリニア・ストーリーを提示し、リニア・ストーリーが、開始から終了まで、完全なストーリーとして提示され、１組のデフォルトの画像を含み、ｂ）キャプチャー・デバイスによってユーザーによる動きを検出し、ｃ）検出した動きが診査ジェスチャーであるか否か識別し、ｄ）動きを診査ジェスチャーであると識別したときに、リニア・ストーリーからストーリー分岐に分岐するように動作する。この分岐は、ｄ１）ユーザーによって示されたオーディオビジュアル・デバイス上における点を検知する動作と、ｄ２）ユーザーの一部から、ユーザーによって示されたオーディオビジュアル・デバイス上における点までの３−Ｄ実世界ベクトルを計算する動作と、ｄ３）３−Ｄ実世界ベクトルを、現在の視点において開始点を有し、３−Ｄマシン空間における仮想物体において終点を有する３−Ｄマシン空間ベクトルに変換する動作と、ｄ４）３−Ｄマシン空間ベクトルの終点にある視点から仮想物体を表示する動作を含む。

[0008] この摘要は、詳細な説明において以下で更に説明する概念から選択したものを簡略化した形態で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断する際に補助として使用されることを意図するのでもない。更に、特許請求する主題は、本開示のいずれかの部分に記されているいずれかの欠点を解決する実施態様にも、全ての欠点を解決する実施態様にも限定されるのではない。

図１Ａは、インタラクティブ・ストーリー体験を提供するターゲット認識、分析、および追跡システムの実施形態例を示す。 図１Ｂは、インタラクティブ・ストーリー体験を提供するターゲット認識、分析、および追跡システムの別の実施形態例を示す。 図２は、ターゲット認識、分析、および追跡システムにおいて用いることができるキャプチャー・デバイスの実施形態例を示す。 図３Ａは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために用いることができる計算環境の実施形態例を示す。 図３Ｂは、ターゲット認識、分析、および追跡システムにおいて１つ以上のジェスチャーを解釈するために用いることができる計算環境の別の実施形態例を示す。 図４は、図１Ａから図２のターゲット認識、分析、および追跡システムから生成されたユーザーのスケルトン・マッピングを示す。 図５は、インタラクティブ・ストーリー体験を提供する本技術の一実施形態の動作の上位フローチャートである。 図６は、キャプチャー・デバイスによって検出された音声をインタラクティブ・ストーリー体験と相関付ける本技術の一実施形態の動作のフローチャートである。 図７は、仮想場面の３−Ｄ診査のための本技術の一実施形態の動作のフローチャートである。 図８は、ユーザーが画面上のキャラクターの行為を制御するための、本技術の一実施形態の動作のフローチャートである。 図９は、ユーザーが場面と対話処理してインタラクティブ・ストーリー体験のプロットを変更するための本技術の一実施形態の動作のフローチャートである。 図９Ａは、予め記録されているビデオに場面が提示されている場合に、ユーザーが場面と対話処理してインタラクティブ・ストーリー体験のプロットを変更するための本技術の一実施形態の動作のフローチャートである。 図１０は、ユーザーが、表示されている場面内において仮想物体を診査および調査するために診査ジェスチャーを行う一例である。 図１１は、１つのストーリー成果に再度収束する分岐サブプロットを示す。 図１２は、複数のストーリー成果の内１つが得られる分岐プロットを示す。 図１３は、ジェスチャーを認識するジェスチャー認識エンジンを示すブロック図である。 図１４は、図１３のジェスチャー認識エンジンの動作のフローチャートである。

[0026] 本技術の実施形態について、これより図１Ａから図１４を参照しながら説明する。実施形態は、一般的には、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせる、インタラクティブ・ストーリー体験を提供するシステムおよび方法に関する。インタラクティブ・ストーリー・アプリケーションを実行するために、ＮＵＩシステムを設ける。ユーザーの対話処理を用いずに実行する場合、ストーリー・アプリケーションは、リニア・ストーリーをユーザーに開始から終了まで提供する。あるいは、ユーザーがＮＵＩシステムを通じてストーリー・アプリケーションと対話処理し、種々の行為を実行することもできる。

[0027] 一実施形態では、ユーザーは、既定の診査ジェスチャーを行うことによって、リニア・ストーリーを変更することができる。このジェスチャーは、ユーザーに表示されている三次元（３−Ｄ）仮想世界に、ユーザーが足を踏み入れて診査することを望んでいることを、システムに知らせる。行われる診査ジェスチャーに応じて、表示されている画像が変化して、ユーザーが３−Ｄ仮想世界に入って行く印象を創造し、ユーザーが場面の中で動き回ること、ならびにこの場面における異なる観点から仮想物体を診査および検査することを可能にする。また、ユーザーは、この場面における仮想物体の後ろを覗って、これら仮想物体の裏側を見ること、または前面にある物体によって遮られている他の物体にもっと近づいて検査することができる。

[0028] ３−Ｄ仮想世界内において診査するが、代わりに、他のジェスチャーまたは動きを行うことによって、ユーザーはリニア・ストーリーのプロットを変更することもできる。このような実施形態では、ストーリー・アプリケーションは他のサブプロットに分岐することができ、恐らくは他のストーリー成果(story outcomes)に分岐することができる。

[0029] 最初に図１Ａから図２を参照すると、本技術を実現するハードウェアは、ターゲット認識、分析、および追跡システム１０を含む。このターゲット認識、分析、および追跡システム１０は、ユーザー１８のような人間のターゲットを認識、分析、および／または追跡するために用いることができる。ターゲット認識、分析、および追跡システム１０の実施形態は、以下で説明するようなインタラクティブ・ストーリー・アプリケーションのような、ゲーミング・アプリケーションまたは他のアプリケーションを実行する計算環境１２を含む。計算環境１２は、ゲーミング・アプリケーションおよびゲーミング以外のアプリケーションを実行するために計算環境１２を用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、計算環境１２は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準プロセッサー、特殊プロセッサー、マイクロプロセッサー等というような、プロセッサーを含むことができる。

[0030] 更に、システム１０はキャプチャー・デバイス２０も含む。キャプチャー・デバイス２０は、このキャプチャー・デバイスによって検知された１つ以上のユーザーおよび／または物体に関する画像およびオーディオ・データーを取り込む。実施形態では、キャプチャー・デバイス２０は、1人以上のユーザーの動き、ジェスチャー、および発声(speech)に関する情報を取り込むために用いることができる。この情報は、計算環境によって受け取られ、ゲーミング・アプリケーションまたは他のアプリケーションの様相をレンダリングするため、対話処理するため、および／または制御するために用いることができる。計算環境１２およびキャプチャー・デバイス２０の例について、以下で更に詳しく説明する。

[0031] ターゲット認識、分析、および追跡システム１０の実施形態は、ディスプレイ１４を有するオーディオ／ビジュアル・デバイス１６に接続することができる。デバイス１６は、例えば、テレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等とすればよく、ゲームまたはアプリケーションの映像(visuals)および／または音響(audio)をユーザーに供給することができる。例えば、計算環境１２は、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含むことができる。これらのアダプターは、ゲームまたは他のアプリケーションに付随するオーディオ／ビデオ信号を供給することができる。オーディオ／ビジュアル・デバイス１６は、オーディオ／ビジュアル信号を計算環境１２から受け取り、次いでこのオーディオ／ビジュアル信号と関連のあるゲームまたはアプリケーションの映像をユーザー１８に出力することができる。一実施形態によれば、オーディオ／ビジュアル・デバイス１６は、例えば、S-Videoケーブル、同軸ケーブル、ＨＤＭＩケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル等によって、計算環境１２に接続することができる。

[0032] 図１Ａおよび図１Ｂに示すように、一実施形態例では、計算環境１２上において実行するストーリー・アプリケーションは、種々のストーリー設定のいずれでも提示することができる。図１Ａは、家２１、怪物２３、および雲２５を含む場面１９を示す。以下で説明するが、ユーザーは、種々の方法で場面１９と対話処理することができる。一例では、ユーザーは図示のように、雲２５を一緒に動かすことができ、これによって、ストーリーによって提示されているリニア・ストーリーを変更することができる。例えば、雲を一緒に動かすと、雨を降らせることができる。

[0033] 実施形態では、計算環境１２、Ａ／Ｖデバイス１６、およびキャプチャー・デバイス２０が協同して、ディスプレイ１４上に画面上のキャラクター２３をレンダリングすることができる。このキャラクター２３は、少なくとも部分的にユーザー１８によって制御される。図１Ｂに示すように、画面上のキャラクター２３は、実世界空間におけるユーザー１８の動きを、その通りに真似する。つまり、ユーザー１８は、ディスプレイ１４上におけるキャラクター２３の動きおよび行為を制御する動きを行うことができる。更に、ユーザーは、計算環境が既定のジェスチャーとして認識する、ある種の動きを行うこともできる。これらの既定のジェスチャーは、被制御キャラクター２３に、メモリーにおいて当該既定のジェスチャーと関連付けられている一定の行為を実行させることができる。既定のジェスチャーは、以下で説明するような種々の他の行為(action)を開始するために用いることもできる。

[0034] 図１Ａおよび図１Ｂの場面１９は、計算環境１２上で実行しているストーリー・アプリケーションによって生成することができる多くの異なる場面の１つである。更に、システム１０は、計算環境１２上で実行するストーリー・アプリケーションの範囲の外部であるオペレーティング・システムおよび／またはアプリケーションの制御として、ユーザー１８の動きを解釈するためにも用いることができる。

[0035] システム１０およびそのコンポーネントに相応しい例が、以下の同時係属中の特許出願において見いだせる。これらの特許出願の全ては、ここで引用したことによって、具体的に本願にも含まれるものとする。２００９年５月２９日に出願され"Environment And/Or Target Segmentation"（環境および／またはターゲット区分）と題する米国特許出願第１２／４７５，０９４号、２００９年７月２９日に出願され"Auto Generating a Visual Representation"（視覚表現の自動生成）と題する米国特許出願第１２／５１１,８５０号、２００９年５月２９日に出願され"Gesture Tool"（ジェスチャー・ツール）と題する米国特許出願第１２／４７４，６５５号、２００９年１０月２1日に出願され"Pose Tracking Pipeline"（姿勢追跡パイプライン）と題する米国特許出願第１２／６０３，４３７号、２００９年５月２９日に出願され"Device for Identifying and Tracking Multiple Humans Over Time"（ときの経過と共に複数の人間を識別および追跡するデバイス）と題する米国特許出願第１２／４７５，３０８号、 ２００９年１０月７日に出願され"Human Tracking System"（人間追跡システム）と題する米国特許出願第１２／５７５,３８８号、 ２００９年４月１３日に出願され"Gesture Recognizer System Architecture"（ジェスチャー認識システムのアーキテクチャー）と題する米国特許出願第１２／４２２，６６１号、２００９年２月２３日に出願され"Standard Gestures"（標準的なジェスチャー）と題する米国特許第１２／３９１，１５０号、 ２００９年５月２９日に出願され"Gesture Tool"（ジェスチャー・ツール）と題する米国特許出願第１２／４７４，６５５号。

[0036] 図２は、ターゲット認識、分析、および追跡システム１０において用いることができるキャプチャー・デバイス２０の実施形態例を示す。一実施形態例では、キャプチャー・デバイス２０は、深度値を含むことができる深度画像を有するビデオを、例えば、飛行時間(time-of-flight)、構造化光、立体画像等を含むいずれかの適した技法によって取り込むように構成することができる。一実施形態によれば、キャプチャー・デバイス２０は、計算された深度情報を「Ｚレイヤー」、即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直であることができるレイヤーに編成することができる。

[0037] 図２に示すように、キャプチャー・デバイス２０は撮像カメラ・コンポーネント２２を含むことができる。一実施形態例によれば、撮像カメラ・コンポーネント２２は、場面の深度画像を取り込むことができる深度カメラとすることができる。深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、カメラから取り込まれた場面における物体の、例えば、センチメートル、ミリメートル等の単位とした、長さまたは距離のような深度値を表すことができる。

[0038] 図２に示すように、一実施形態例によれば、撮像カメラ・コンポーネント２２は、キャプチャー・エリアの深度画像を取り込むために用いることができるＩＲ発光コンポーネント２４、三次元（３Ｄ）カメラ２６、およびＲＧＢカメラ２８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス２０のＩＲ発光コンポーネント２４は、場面に向けて赤外線光を放出することができ、次いでセンサ（図示せず）を用いて、その場面の中にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、３Ｄカメラ２６および／またはＲＧＢカメラ２８を用いて検出することができる。

[0039] 一部の実施形態では、パルス状赤外線光を用いて、発信光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０からキャプチャ・エリア内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために、この時間を用いることができるようにする。加えて、他の実施形態例では、発信光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、位相ずれを用いて、キャプチャー・デバイス２０からターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。

[0040] 他の実施形態例によれば、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス２０からターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定するために、飛行時間分析を用いることもできる。

[0041] 他の一実施形態例では、キャプチャー・デバイス２０は、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光（即ち、格子パターン、縞パターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光コンポーネント２４によって、場面に向けて投射する。場面における１つ以上のターゲットまたは物体の表面に衝突したときに、パターンが、それに応答して、変形することができる。このようなパターンの変形を、例えば、３Ｄカメラ２６および／またはＲＧＢカメラ２８によって取り込むことができ、次いで分析して、キャプチャー・デバイス２０からターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。

[0042] 他の実施形態によれば、キャプチャー・デバイス２０は、２つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度からの場面を捕らえて、視覚的な立体像を得て、これを解明することによって深度情報を生成することができる。他の実施形態例では、キャプチャー・デバイス２０は、ポイント・クラウド・データー(point cloud data)およびターゲット・ディジタル化技法を使用して、ユーザーの特徴を検出することもできる。

[0043] 更に、キャプチャー・デバイス２０は、マイクロフォン３０を含むこともできる。マイクロフォン３０は、音響を受けて電気信号に変換する変換器またはセンサー（図示せず）を含むことができる。一実施形態によれば、マイクロフォン３０は、ターゲット認識、分析、および追跡システム１０においてキャプチャー・デバイス２０と計算環境１２との間におけるフィードバックを減らすために用いることができる。加えて、マイクロフォン３０は、計算環境１２によって実行することができる、ゲーム・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを制御するために、ユーザーが供給することもできるオーディオ信号を受け取るために用いることもできる。

[0044] 一実施形態例では、キャプチャー・デバイス２０は、更に、撮像カメラ・コンポーネント２２と動作的に通信することができるプロセッサー３２も含むことができる。プロセッサー３２は、命令を実行することができる標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。これらの命令には、深度画像を受け取り、この深度画像に適したターゲットが含まれ得るか否か判定を行い、適したターゲットをそのターゲットのスケルトン表現またはモデルに変換する命令、またはあらゆる他の適した命令を含むことができる。

[0045] キャプチャー・デバイス２０は、更に、メモリー・コンポーネント３４も含むことができる。メモリー・コンポーネント３４は、プロセッサー３２によって実行することができる命令、３Ｄカメラ２６またはＲＧＢカメラ２８によって取り込まれた画像または画像のフレーム、あるいはあらゆる他の適した情報、画像等を格納することができる。一実施形態例によれば、メモリー・コンポーネント３４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリ・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または他の適した記憶コンポーネントであればいずれでも含むことができる。図２に示すように、一実施形態では、メモリー・コンポーネント３４は、画像キャプチャー・コンポーネント２２およびプロセッサー３２と通信することができる別個のコンポーネントであってもよい。他の実施形態によれば、メモリー・コンポーネント３４は、プロセッサー３２および／または画像キャプチャー・コンポーネント２２に統合されてもよい。

[0046] 図２に示すように、キャプチャー・デバイス２０は、通信リンク３６を介して、計算環境１２と通信することができる。通信リンク３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１１ｂ、ｇ、ａ、またはｎ接続のようなワイヤレス接続とすることができる。一実施形態によれば、計算環境２１２は、クロックをキャプチャー・デバイス２０２に供給することができる。このクロックは、例えば、通信リンク３６を介して場面をいつ取り込むべきか判定するために用いることができる。

[0047] 加えて、キャプチャー・デバイス２０は、例えば、３Ｄカメラ２６および／またはＲＧＢカメラ２８によって取り込まれた深度情報および画像、ならびにキャプチャー・デバイス２０２によって生成することができるスケルトン・モデルを、計算環境１２に、通信リンク３６を通じて供給することができる。キャプチャー・デバイス２０によって検出されたターゲットまたは物体が人間のターゲットに対応するか否か判断するためには、種々の既知の技法が存在する。次いで、スケルトン・マッピング技法を用いて、そのユーザーの骨格上における種々のスポット、手の関節、手首、肘、膝、鼻、踝、肩、および骨盤が脊椎と交わるところを判定することができる。他の技法には、画像をその人の身体モデル表現に変換すること、およびこの画像をその人のメッシュ・モデル表現に変換することが含まれる。

[0048] 次いで、計算環境１２が種々の行為を実行できるように、スケルトン・モデルを計算環境１２に供給することができる。更に、計算環境は、例えば、スケルトン・モデルから既に認識されたユーザーのジェスチャーに基づいて、計算環境上で実行しているアプリケーションにおいて実行すべき制御は何か判断することができる。例えば、図示のように、図２では、計算環境１２が、いつユーザーが既定のジェスチャーを行ったか判断するために、ジェスチャー認識エンジン１９０を含むことができる。

[0049] 図３Ａは、ターゲット認識、分析、および追跡システムにおいてユーザーの１つ以上の位置および運動(motion)を解釈するために用いることができる計算環境の一実施形態例を示す。図１Ａから図２に関して先に説明した計算環境１２のような計算環境は、ゲーミング・コンソールのようなマルチメディア・コンソール１００とすることができる。図３Ａに示すように、マルチメディア・コンソール１００は、レベル１キャッシュ１０２、レベル２キャッシュ１０４、およびフラッシュＲＯＭ（リード・オンリー・メモリー）１０６を有する中央演算装置（ＣＰＵ）１０１を有する。レベル１キャッシュ１０２およびレベル２キャッシュ１０４は、一時的にデーターを格納し、こうしてメモリー・アクセス・サイクルの回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ１０１は、１つよりも多いコアを設けることができ、したがって追加のレベル１およびレベル２キャッシュ１０２および１０４を有することもできる。フラッシュＲＯＭ１０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール１００の電源をオンにしたときに、ブート・プロセスの初期段階中にロードされる。

[0050] グラフィクス処理ユニット（ＧＰＵ）１０８およびビデオ・エンコーダー／ビデオ・コデック（コーダー／デコーダー）１１４は、高速および高分解能グラフィクス処理のためにビデオ処理パイプラインを形成する。データーは、バスを介して、ＧＰＵ１０８からビデオ・エンコーダー／ビデオ・コデック１１４に伝達される。ビデオ処理パイプラインは、テレビジョンまたは他のディスプレイに送信するために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート１４０に出力する。メモリー・コントローラー１１０がＧＰＵ１０８に接続されており、限定ではなく、ＲＡＭのような種々のタイプのメモリー１１２にプロセッサーがアクセスし易くなっている。

[0051] マルチメディア・コンソール１００は、Ｉ／Ｏコントローラー１２０、システム管理コントローラー１２２、オーディオ処理ユニット１２３、ネットワーク・インターフェース・コントローラー１２４、第１ＵＳＢホスト・コントローラー１２６、第２ＵＳＢコントローラー１２８、およびフロント・パネルＩ／Ｏサブアセンブリ１３０を含む。これらは、好ましくは、モジュール１１８上に実装されている。ＵＳＢコントローラー１２６および１２８は、周辺コントローラー１４２（１）〜１４２（２）、ワイヤレス・アダプター１４８、および外部メモリー・デバイス１４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブル媒体等）のためのホストとしての役割を果たす。ネットワーク・インターフェース１２４および／またはワイヤレス・アダプター１４８は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを与え、イーサネット・カード、モデム、Bluetoothモジュール、ケーブル・モデム等を含む広範囲にわたる種々の有線またはワイヤレス・インターフェース・コンポーネントの内いずれでもよい。

[0052] システム・メモリー１４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ１４４が設けられており、ＤＶＤ／ＣＤドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブを備えることができる。メディア・ドライブ１４４は、マルチメディア・コンソール１００の内部にあっても外部にあってもよい。アプリケーション・データーには、実行、再生等のために、マルチメディア・コンソール１００がアクセスすることができる。メディア・ドライブ１４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、IEEE1394）のようなバスを介して、Ｉ／Ｏコントローラー１２０に接続されている。

[0053] システム管理コントローラー１２２は、メディア・コンソール１００の利用可能を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット１２３およびオーディオ・コデック１３２は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データーは、通信リンクを介して、オーディオ処理ユニット１２３とオーディオ・コデック１３２との間で搬送される。オーディオ処理パイプラインは、外部オーディオ・プレーヤまたはオーディオ処理能力を有するデバイスによる再生のために、データーをＡ／Ｖポート１４０に出力する。

[0054] フロント・パネルＩ／Ｏサブアセンブリ１３０は、電力ボタン１５０およびイジェクト・ボタン１５２の機能をサポートするだけでなく、あらゆるＬＥＤ（発光ダイオード）またはマルチメディア・コンソール１００の外面上に露出されるその他のインディケータもサポートする。システム電源モジュール１３６は、マルチメディア・コンソール１００のコンポーネントに電力を供給する。ファン１３８は、マルチメディア・コンソール１００内部にある回路を冷却する。

[0055] ＣＰＵ１０１、ＧＰＵ１０８、メモリー・コントローラー１１０、およびマルチメディア・コンソール１００内部にある種々のその他のコンポーネントは、１系統以上のバスを介して相互接続されている。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、周辺バス、ならびに種々のバス・アーキテクチャの内いずれかを用いるプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャは、ペリフェラル・コンポーネント相互接続（ＰＣＩ）バス、PCI-Expressバス等を含むことができる。

[0056] マルチメディア・コンソール１００の電源をオンにすると、システム・メモリー１４３からメモリー１１２および／またはキャッシュ１０２、１０４にアプリケーション・データーがロードされ、ＣＰＵ１０１において実行することができる。アプリケーションは、グラフィカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール１００において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび／またはメディア・ドライブ１４４内に収容されている他のメディアをメディア・ドライブ１４４から起動または再生して、マルチメディア・コンソール１００に追加の機能を設けることもできる。

[0057] マルチメディア・コンソール１００は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール１００は、１人以上のユーザーがシステムと対話処理を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース１２４またはワイヤレス・アダプター１４８によって利用可能となるブロードバンド接続機能を統合することにより、マルチメディア・コンソール１００を更に大きなネットワーク・コミュニティにおける関与個体(participant)として動作させることもできる。

[0058] マルチメディア・コンソール１００の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー（例えば、１６ＭＢ）、ＣＰＵおよびＧＰＵサイクル（例えば、５％）、ネットワーク接続帯域幅（例えば、８ｋｂｓ）等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。

[0059] 特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを収容できる程に十分大きいことが好ましい。確保されたＣＰＵ使用枠(usage)がシステム・アプリケーションによって用いられない場合、アイドルのスレッドがいずれかの未使用サイクルを消費するように、ＣＰＵの確保は一定であることが好ましい。

[0060] ＧＰＵの確保に関して、ＧＰＵ割り込みを用いてポップアップをオーバーレイにレンダリングするコードをスケジューリングすることによって、システム・アプリケーション（例えば、ポップアップ）が生成する軽量メッセージ(lightweight message)を表示する。オーバーレイに用いられるメモリー量は、オーバーレイのエリア・サイズによって異なり、オーバーレイは画面の解像度に合わせて拡縮小する(scale)ことが好ましい。コンカレント・システム・アプリケーションによってフル・ユーザー・インターフェースが用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更しＴＶの同期を取り直す必要性をなくすように、この解像度を設定するためにスケーラー(scaler)を用いるとよい。

[0061] マルチメディア・コンソール１００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。システム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーションの中にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ１０１において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソール上で実行しているゲーミング・アプリケーションに対するキャッシュ破壊(disruption)を最少に抑えるためにある。

[0062] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、ゲーミング・アプリケーションには非同期にオーディオ処理をスケジューリングする。マルチメディア・コンソール・アプリケーション・マネージャー（以下で説明する）は、システム・アプリケーションがアクティブのとき、マルチメディア・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。

[0063] 入力デバイス（例えば、コントローラー１４２（１）および１４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されるリソースではないが、各々がデバイスのフォーカス(focus)を有するように、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられる。アプリケーション・マネージャーは、ゲーミング・アプリケーションの知識を用いずに入力ストリームの切換を制御し、ドライバーはフォーカス・スイッチ(focus switches)に関する状態情報を維持する。カメラ２６、２８およびキャプチャー・システム２０は、コンソール１００の追加の入力デバイスを定めることができる。

[0064] 図３Ｂは、ターゲット認識、分析、および追跡システムにおいて１つ以上の位置および動き(motion)を解釈するために用いられる、計算環境２２０の他の実施形態例を示す。計算環境２２０は、図１Ａから図２に示した計算環境１２であってもよい。計算システム環境２２０は、適した計算環境の一例に過ぎず、本明細書において開示される主題の使用範囲または機能に関して、いかなる限定を示唆する意図もない。また、計算環境２２０が、本明細書において例示されるいずれの１つのコンポーネントまたはコンポーネントの組み合わせに関して何らかの依存性または要件を有するように解釈してはならない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成されている回路を含むこともあり得る。例えば、本開示において用いられる回路という用語は、ファームウェアまたはスイッチによって機能（１つまたは複数）を実行するように構成されている特殊ハードウェア・コンポーネントを含むことができる。別の実施形態例では、回路という用語は、機能（１つまたは複数）を実行するために動作可能なロジックを具体化するソフトウェア命令によって構成される汎用演算装置、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具体化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用演算装置によって処理することができる。技術的現状では、ハードウェア、ソフトウェア、またはハードウェア／ソフトウェアの組み合わせの間には殆ど差がないというところまで発展していることを当業者は認めることができるので、特定の機能を実行するためにハードウェアまたはソフトウェアのどちらを選択するかということは、実装者に委ねられた設計選択事項である。更に具体的には、ソフトウェア・プロセスを等価のハードウェア構造に変換することができ、更にハードウェア構造自体を等価のソフトウェア・プロセスに変換することができることを、当業者は認めることができる。つまり、ハードウェアの実施態様およびソフトウェアの実施態様のどちらを選択するかということは、実装者に委ねられた設計選択事項の１つである。

[0065] 図３Ｂにおいて、計算環境２２０はコンピューター２４１を備えている。コンピューター２４１は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター２４１がアクセス可能な入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。システム・メモリー２２２は、ＲＯＭ２２３およびＲＡＭ２６０のような揮発性および／または不揮発性メモリーの形態となっている、コンピューター記憶媒体を含む。基本入出力システム２２４（ＢＩＯＳ）は、起動中のように、コンピューター２４１内のエレメント間におけるデーター転送を補助する基本的なルーチンを収容し、通例ＲＯＭ２２３内に格納されている。ＲＡＭ２６０は、通例、演算装置２５９が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、あるいは現在これによって処理されているデーターおよび／またはプログラム・モジュールを収容する。一例として、そして限定ではなく、図３Ｂは、オペレーティング・システム２２５、アプリケーション・プログラム２２６、その他のプログラム・モジュール２２７、およびプログラム・データー２２８を示す。アプリケーション・プログラム２２６の一例に、本明細書において説明するような、インタラクティブ・ストーリー体験をユーザーに提示するために用いられるストーリー・アプリケーション２２６がある。更に、図３Ｂは、グラフィクス・プロセッサー・ユニット（ＧＰＵ）２２９も含む。グラフィクス・プロセッサー・ユニット２２９は、高速および高解像度グラフィクス処理および格納のために、付随するビデオ・メモリー２３０を有する。ＧＰＵ２２９は、グラフィクス・インターフェース２３１を介して、システム・バス２２１に接続することができる。

[0066] また、コンピューター２４１は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図３Ｂは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ２３８、リムーバブル不揮発性磁気ディスク２５４からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ２３９、ならびにＣＤ ＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク２５３からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ２４０を示す。動作環境の一例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれるが、これらに限定されるのではない。ハード・ディスク・ドライブ２３８は、通例、インターフェース２３４のような非リムーバブル・メモリー・インターフェースを介してシステム・バス２２１に接続されており、磁気ディスク・ドライブ２３９および光ディスク・ドライブ２４０は、通例、インターフェース２３５のようなリムーバブル・メモリー・インターフェースによって、システム・バス２２１に接続されている。

[0067] 先に論じ図３Ｂに示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター２４１のその他のデーターのストレージを提供する。図３Ｂでは、例えば、ハード・ディスク・ドライブ２３８は、オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データー２５５を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム２２５、アプリケーション・プログラム２２６、他のプログラム・モジュール２２７、およびプログラム・データー２２８と同じでも異なっていても可能であることを注記しておく。オペレーティング・システム２５８、アプリケーション・プログラム２５７、他のプログラム・モジュール２５６、およびプログラム・データー２５５は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。ユーザーは、キーボード２５１、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれているポインティング・デバイス２５２のような入力デバイスによって、コマンドおよび情報をコンピューター２４１に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース２３６を介して、演算装置２５９に接続されている。ユーザー入力インターフェース２３６は、システム・バスに結合されているが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）によって接続されるのでもよい。カメラ２６、２８およびキャプチャー・デバイス２０は、コンソール１００の追加入力デバイスを定めることができる。モニター２４２またはその他のタイプの表示装置も、ビデオ・インターフェース２３２のようなインターフェースを介して、システム・バス２２１に接続されている。モニターに加えて、コンピューターは、スピーカー２４４およびプリンター２４３のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース２３３を通じて接続することができる。

[0068] コンピューター２４１は、リモート・コンピューター２４６のような１つ以上のリモート・コンピューターへの論理接続を用いて、ネットワーク接続環境において動作することも可能である。リモート・コンピューター２４６は、パーソナル・コンピューター、サーバー、ルータ、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター２４１に関して先に説明したエレメントの多くまたは全てを含むが、図３Ｂにはメモリー記憶装置２４７のみを示す。図３Ｂに示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）２４５およびワイド・エリア・ネットワーク（ＷＡＮ）２４９を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては極一般的である。

[0069] ＬＡＮネットワーク環境で用いる場合、コンピューター２４１は、ネットワーク・インターフェースまたはアダプター２３７を介してＬＡＮ２４５に接続する。ＷＡＮネットワーク環境で用いる場合、コンピューター２４１は、通例、モデム２５０、またはインターネットのようなＷＡＮ２４９を通じて通信を設定するその他の手段を含む。モデム２５０は、内蔵でも外付けでもよく、ユーザー入力インターフェース２３６またはその他の適切なメカニズムを介してシステム・バス２２１に接続することができる。ネットワーク環境では、コンピューター２４１に関係付けて図示したプログラム・モジュール、またはその一部は、離れたメモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図３Ｂは、リモート・アプリケーション・プログラム２４８がメモリー・デバイス２４７に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを確立する他の手段も使用可能であることは認められよう。

[0070] 図４は、キャプチャー・システム２０から生成することができる、ユーザーのスケルトン・マッピングの一例を示す。この実施形態では、種々の関節および骨が識別されている。各手３０２、各前腕３０４、各肘３０６、各二頭筋３０８、各肩３１０、各臀部３１２、各腿３１４、各膝３１６、各前肢３１８、各足３２０、頭部３２２、胴体３２４、脊椎の上端３２６および下端３２８、およびウェスト３３０である。追跡するポイントが多くなるに連れて、指またはつま先の骨および関節というような追加の構造、あるいは鼻および目というような、顔の個々の表情(feature)も識別するとよい。

[0071] 図５は、ユーザー・インターフェースを通じてインタラクティブ・ストーリー体験を提示するための本技術の一実施形態の動作の上位フローチャートである。ステップ４００において、ユーザーはシステム１０を起動し、計算環境１２およびキャプチャー・デバイス２０を始動させる(activate)ことができる。ステップ４０４において、システム１０はストーリー・アプリケーション２２６を実行する。ステップ４０６において、ストーリー・アプリケーションは、ディスプレイ１４上において、ストーリーの次のフレームをユーザーに提示する。

[0072] このストーリーは、ディスプレイ１４上において図式的に提示することができ、音声による挿話が伴うこともできる。ストーリーは、離散的な静止画像パネル、即ち、ディスプレイ１４上に静止フレームとして連続的に提示される一連の静止画像で表示することもできる。あるいは、ストーリーは、動的なコンピューター・グラフィクス（ＣＧ）アニメーションにして提示することや、またはビデオ・カメラを用いて撮影した生の俳優との場面として提示することもできる。以下で説明するように、音声による挿話は、ストーリー・アプリケーション、ユーザー、および／またはストーリーが提示されている間には立ち会わない第三者によって提示される音声とすることができる。また、音声による挿話は、提示されるストーリーのキャラクター間における対話を含むこともできる。このキャラクター間における対話は、この場合も、ストーリー・アプリケーション、1人以上のユーザー、および／またはストーリーが提示されている間は立ち会わない1人以上の第三者によって提示することができる。

[0073] ＣＧアニメーションを用いる実施形態では、ストーリー・アプリケーション２２６は、計算環境１２のＧＰＵによって生成されるアニメーションの第１フレームを提示することができる。このフレームは、キャプチャー・デバイスのリフレッシュ・レート（例えば、３０Ｈｚ）でリフレッシュすればよい。リフレッシュ・レートは、他の実施形態では、これよりも高くてもまたは低くてもよい。静止画像パネルを用いる実施形態では、静止画像は、書籍または漫画のページに類似する。静止画像は、例えば、数秒間ディスプレイ上に提示することができる。ビデオを用いる実施形態では、フレームは、ビデオのフレーム・レートでリフレッシュすることができ、この場合も、例えば、３０Ｈｚとすればよい。

[0074] 実施形態では、ストーリー・アプリケーションを実行するときに、ユーザー１８は提示されたストーリーと対話処理する必要はない。即ち、ユーザーは、ストーリーが開始から終了まで再生されるのを、単に見ていれば、および／または聴いていればよい。あるいは、以下で説明する更に他の実施形態では、ユーザーはストーリー・アプリケーション２２６によって提示されたストーリーと対話処理することもできる。

[0075] キャプチャー・デバイス２０は、ユーザーがストーリー・アプリケーションを見ているときおよび／またはこれと対話処理しているときに、ユーザーを監視している。ステップ４０８において、キャプチャー・デバイス２０が、ユーザーが視野から離れるのを検知した場合、ストーリー・アプリケーションは、ユーザーが視野に再び入るまで、ステップ４１２において一時停止することができる。ステップ４０８および４１２は、他の実施形態では、省略してもよい。先に示したように、ユーザーは単に座って、ストーリー・アプリケーションによって提示されるストーリーを見ていれば、および／または聴いていればよい。ステップ４１６において、ユーザーの対話処理が検知されない場合、ストーリーは、その終了まで、単に継続する。しかしながら、ステップ４１６においてユーザーの対話処理が検知された場合、本システムは、通常その対話処理を判定し、以下で説明するように、その対話処理に応じて異なる動作を実行する。

[0076] ステップ４１８において、ストーリー・アプリケーションは、キャプチャー・デバイス２０のマイクロフォン・アレイ３０が音声を検出したか否かチェックすることができる。マイクロフォン・アレイ３０によって拾い上げた音響を識別して、その音響の内１つ以上が人間の音声であるか否か判断するための技法は、周知である。マイクロフォン・アレイ３０は、マイクロフォン・アレイ３０によって検出することができる低周波ノイズを減衰するための、例えば、ハイ・パス・フィルターのような種々の既知のフィルターを含んでもよい。

[0077] ステップ４１８において音声が検出された場合、本システムは、これから説明するように、図６に明示したステップを実行する。実施形態では、特定のユーザーが話者であるか否か、または音声が他の何らかの発生源から来ているのか否か識別することが望ましい場合がある。例えば、前述の音声特性の特定のユーザーへの相関付け、および音源位置検出(acoustic source localization)技法というような、視野内にいるユーザーと音声を関連付ける種々の技術が存在する。これらおよびその他の技法は、ステップ４５０において話者を特定するために用いることができる。他の実施形態では、ステップ４５０を省略することもできる。

[0078] ストーリー・アプリケーションは、ストーリーを解説するために、挿話を伴うこともでき、オーディオ／ビジュアル・デバイス１６に付随するスピーカーを通じてブロードキャストすることができる。しかしながら、挿話は、代わりに、ストーリーを聴いているユーザーがその文字を読むことができるように、画面上に文字で表示することもできる。一例では、子供が読み方を学習しているのであってもよく、または子供がディスプレイ１４上に広がるストーリーを見ている間、親が子供にストーリーを読み聞かせているのでもよい。画面上に現れる文字の代わりとして、ユーザーが、計算環境１２と対をなす計算機を有し、ストーリー・アプリケーション２２６の同じインスタンス(instance)に参加することもできる。このような実施形態では、挿話の文字は、ディスプレイ１４の代わりに、ユーザーの対をなす計算機上に表示することができる。

[0079] 更に他の実施形態では、ストーリー・アプリケーション２２６がシステム１０上においてストーリーを示しているときには立ち会わない第三者が挿話を読むことも考えられる。第三者は誰でも可能であるが、実施形態では、第三者は、例えば、ストーリー・アプリケーションを実行しているときにはその場にいない親または祖父母であってもよいが、システム１０上においてストーリーを視聴している子供に、挿話の音声を提示することが望ましい。

[0080] このような実施形態では、第三者は、ストーリー・アプリケーションのための挿話を予め記録しておくことができ、ストーリー・アプリケーションを実行してストーリーに対する挿話を流すときに、この記録を再生すればよい。この実施形態では、記録は、システム１０に付属するまたは付属しないオーディオ再生デバイスにおいて再生すればよい。更に他の実施形態では、ストーリー・アプリケーションをシステム１０上で実行しながら、第三者がストーリー・アプリケーション２２６に対する挿話をリアル・タイムで読んでいくのであってもよいが、第三者は、計算環境１２に、電話またはＶＯＩＰ接続によって接続されることになる。

[0081] ステップ４５４において、ストーリー・アプリケーションは、ステップ４１８において認知された音声が、ストーリーの挿話と相関があるか否か判断する。この目的のために、既知の音声分析技法を用いることができ、挿話から分かった単語を解析して音素に分け、マイクロフォン・アレイ３０によって認知された音声に対しても同じことを行い、これら２つの音素ストリームを比較して一致を見いだすことが含まれる。

[0082] ステップ４５４において、発声された音声が、ストーリー・アプリケーションの挿話と相関付けられた場合、この発声された音声は、ストーリー・アプリケーションがストーリーを進めるペースを設定することができる。例えば、ストーリーが静止画像パネルで提示される場合、ストーリー・アプリケーションは、ステップ４６４において、特定のパネルに伴う挿話の最後の単語が発声されたか否か判断することができる。発声されていない場合、未だ次のパネルに進む時刻になっておらず、フローは元に戻って、図５に関して以下で説明するように、次の対話処理を探すことができる。一方、ストーリー・アプリケーションが、特定のパネルに伴う挿話の最後の単語が発声されたと判断した場合、ストーリー・アプリケーションはステップ４６６において次のパネルに進むことができる。フローは、図５に関して以下で説明するように、元に戻って次の対話処理を探すことができる。

[0083] 画像がビデオまたは動的なアニメーションである場合、ストーリー・アプリケーションは挿話を、発声された音声と相関付けて、表示されている画像の速度を上げるまたは下げることにより、ユーザーまたは第三者によって発声される挿話のペースと同期させる。ストーリー・アプリケーションは、図５のフローチャート全体を繰り返し実行して、周期的に音声の有無をチェックし、その音声が、提示されているストーリーの挿話と相関があるか否かチェックし、提示されている画像を、発声されている挿話のページと同期させることができる。

[0084] ステップ４５４において、ストーリー・アプリケーションが音声を挿話と相関付けることができない場合、アプリケーションは、次にステップ４５６において、その音響が、ストーリー・アプリケーションまたはシステム１０の動作に対する可聴命令(audible instruction)として認識されたか否かチェックすることができる。認識されない場合、計算環境１２は図５に戻って、以下で説明するように、ステップ４２２においてユーザーのストーリー・アプリケーションとの他の可能な対話処理を探すことができる。一方、ステップ４５６において音声が命令として認識された場合、ステップ４６０においてこの命令と関連のある動作(act)を実行することができ、本システムは図５のフローチャートに戻って、次の対話処理の有無をチェックすることができる。

[0085] ここで図５に戻って、ステップ４２２において、本システムは特定のタイプのジェスチャーを探すことができる。このジェスチャーを本明細書では「診査ジェスチャー」(exploration gesture)と呼ぶ。具体的には、１つのタイプの対話処理を許可し、ユーザーが実際にディスプレイ１４上に表示されている仮想世界に足を踏み入れて、ディスプレイ上における仮想物体を診査(explore)および／または調査(investigate)することが、本技術の特徴である。多種多様な例の１つとして、ストーリーは部屋をユーザーに表示することができる。ユーザーによる対話処理がない場合、ある時間期間ユーザーにはその部屋を示すことができ、次いでストーリーは先に進んで他の場所を示すことができる。しかしながら、単に始まることの代わりに、ユーザーが診査ジェスチャーを行って、部屋の中にある仮想物体を診査および調査して、もっと接近した光景を得ることおよび／または異なる視点から物体を見ることをユーザーが望んでいることを示す実施形態では、ユーザーがジェスチャーまたは運動(motion)を行い、計算環境１２がこれを解釈して、ユーザーが場面の中にある仮想物体を拾い上げて操作することを可能にすることも考えられる。

[0086] 図５のステップ４２２において、計算環境１２は、既定の診査ジェスチャーを探す。本技術の実施形態では、ユーザーによる多種多様の動きおよびジェスチャーを、既定の診査ジェスチャーとして設定することができる。図１０に関してこれより説明するこのような実施形態の１つでは、キャプチャー・デバイス２０がユーザーの頭部および／または身体の動きを取り込む。例えば、図１０では、実世界においてある物体の回りまたは背後を覗おうとするときに行うように、ユーザーは屈んで首を伸ばしている。ジェスチャー認識エンジン１９０の動作については以下で説明するが、認識エンジン１９０は、このような身体の動きを探すために既定の規則を有することができ、その動きを見つけたときに、これらを診査ジェスチャーとして解釈する。首を伸ばすこと、および／または腰を屈めることに加えて、診査ジェスチャーは、加えてまたは代わりに、例えば、図１０に示すような指し示すジェスチャーというような、他のジェスチャーを含むこともできる。

[0087] 尚、更に他の実施形態では、多種多様の他の身体の動きを診査ジェスチャーとして定義してもよいことは認められよう。このような実施形態の中には、ユーザーの動きが、仮想世界においてユーザーが行うことを望む行為に対する、実世界における相関を有することができる。先に明示した一例では、ユーザーは、ある物体の回りまたは背後を覗いたいことを知らせるために、前に屈んで首を伸ばしている。他の実施形態では、ユーザーは、加えてまたは代わりに、ディスプレイの方向に歩行して、仮想場面に足を踏み入れたいことを示すことができる。更に他の実施形態では、実世界では意味のない、任意の１組のジェスチャーを定義することができる。あるいは、任意の身体および／または音声のジェスチャーを考え出して、ジェスチャー認識エンジン１９０によって記録してもよく、このジェスチャーが行われたときに、ジェスチャー認識エンジンがこれらを認識し、ある物体の背後を見るために仮想場面に足を踏み入れるというような、関連付けられている行為を実行する。

[0088] ステップ４２２において一旦診査ジェスチャーを認識すると、計算環境１２は、ステップ４９０から５３８までを実行する。これらについて、図７のフローチャートに関してこれより説明する。ステップ４９０において、計算環境１２は、他の位置から表示された場面を見るための表示を示す三次元仮想世界に、ユーザーが足を踏み入れたいか否か判断する。この場合も、この要望およびユーザーが仮想場面に入ろうとする方向は、ユーザーによって、既定の頭部、手、または他のジェスチャーを通じて制御される。この実施形態は、場面がＣＧアニメーションで提示されるときに動作することができる。場面が静止パネルまたは記録ビデオのいずれかで提示される場合、以下で説明するように、ＣＧアニメーションをこれらの表示モデルに切断して、仮想場面の診査を行うことができる。更に他の実施形態では、ビデオを３６０°で撮影することもでき、ユーザーのビデオ場面への進入およびこのビデオ場面の診査があるレベルまで可能になる。

[0089] 一例として、一旦診査ジェスチャーが行われると、キャプチャー・デバイス２０および計算機１２は、例えば、図１０における点６１０のような、ユーザーが注目しているディスプレイ上の点を判定することができる。この点は、ユーザーが目を向けている方向を取り込むことによって判定することができ、および／またはこの点は、ユーザーが手を向けている方向を取り込むことによって判定することができる。更に他の実施形態では、ユーザーは、加えてまたは代わりに、その方向に歩行することができる。ステップ４９０において、ユーザーが異なる位置からその場面を見ることを望むと判断した場合、コンピューター環境は、ステップ４９４において、ユーザーが仮想世界において沿って動くことを望むベクトルを定義することができる。

[0090] ステップ４９４におけるベクトルは、ユーザー上の基準点から、ディスプレイ上における関心点６１０までの１つ以上の実世界の三次元ベクトル６１２に基づいて、決定することができる。図１０において、ベクトル６１２は、ユーザーの目から関心点６１０まで、そしてユーザーが指し示す手から関心点６１０まで達している。基準点（目、手等）は、既知のｘ、ｙ、およびｚ座標位置を有する。

[0091] ディスプレイ１４上に示される仮想場面は、３−Ｄデーターで表される。即ち、仮想場面における点、および場面内にある仮想物体上の点には、ｘ、ｙ、およびｚ値が指定され、３−Ｄ仮想空間を形成する。本明細書では、これを３−Ｄマシン空間と呼ぶ。キャプチャー・デバイス２０の既知の位置からユーザーが動いている実世界までを考えると、３−Ｄ実世界空間と３−Ｄマシン空間との間に既知の関係が得られる。したがって、既知の変換マトリクスを用いて、ベクトル６１２を３−Ｄ実世界空間から３−Ｄマシン空間に変換する(translate)ことができる。実世界ベクトル６１２の３−Ｄマシン空間への変換によって、ステップ４９４において、ベクトルが得られ、このベクトルに沿って、ユーザーが３−Ｄ仮想場面に入って行くことになる。以下で説明するが、ユーザーが仮想場面に入って行き仮想物体を調べる効果を作成するために、ディスプレイの視点は、１つの場面の異なるエリアおよび物体の映像(view)を、異なる拡大(zoom in)または縮小(zoom out)位置から得られるように変化する。この場合も、これが可能なのは、仮想物体が、ディスプレイ上の二次元の点として定義されるだけでなく、マシン空間における３−Ｄ定義も有するからである。

[0092] ステップ４９８において、ユーザーを直ちに所望の場所に位置付け直すのではなく、仮想マシンに向かうときにユーザーが見る光景(view)を徐々に変化させることもできる。ユーザーが見る光景が変化する刻み幅は、任意に設定することができるが、実施形態では、ユーザーが通常の歩行ペースで場面に歩いて入っていくという印象を醸し出すように、光景が変化する。ステップ５０２において、ディスプレイ１４上に表示されている場面の光景(view)が更新されて、ステップ４９８の光景を徐々に変化させることができる。この場合も、表示されている場面の光景を３−Ｄのいずれかの眺望(perspective)に変換するための変換マトリクスが知られている。ステップ５０６において、ステップ５０２において決定された新たな位置の視点から、場面をレンダリングすることができる。

[0093] 次いで、本ルーチンはステップ４９０に戻り、ユーザーが物体を検査したい仮想場面内における位置に達したか、またはユーザーが仮想場面内を移動し続けたいのか判断することができる。これは、ユーザーの身体の位置、およびディスプレイ上でユーザーに焦点が合っていることによって示すことができ、あるいは他の何らかの任意の身体の動きまたは音声のジェスチャーによって示すことができる。ユーザーが仮想場面内で移動し続けたい場合、ユーザーが仮想場面内における彼らの所望の位置に達するまで、ステップ４９０から５０６までを繰り返す。

[0094] ステップ４９０において、ユーザーが仮想場面における所望の位置にいると判断した場合（即ち、所望の視点からの場面がディスプレイ上に提示されている）、フローはステップ５１０に分岐して、ユーザーが場面内におけるその位置において更に厳密に物体に注目することを望むか否か判断する。この場合も、この望みは、ユーザーが実世界において物体を移動させるおよび／または物体に注目するときに行う実世界の動きを真似た１つ以上の既定のジェスチャー、あるいは仮想世界において自由に移動して物体に注目する目的で定義された任意のジェスチャーのいずれかによって示すことができる。

[0095] ステップ５１０において、ユーザーが場面において物体に更に厳密に注目することを望んでいると判断した場合、計算環境１２はステップ５１４において現在の位置（即ち、場面の現在の光景）を基準点として格納する。以下で説明するが、この基準位置は、ユーザーが特定の仮想物体に注目し終えたときに本システムが戻ってくる光景として用いられる。ステップ５１８において、計算環境１２は基準位置から仮想物体までのベクトル方向を判定する。これは、先に説明したように、実世界においてユーザーの頭部の位置をｘ、ｙ、ｚ空間において検出し、ユーザーがディスプレイを見ている位置を検出することによって行うことができ、その後、このベクトルを仮想マシン空間におけるベクトルに変換する。

[0096] ステップ５２２において、前述のようにして、このベクトルに沿った中間漸進位置(intermediate incremental position)を決定することができる。ステップ５２４において、この場面の視点を、ステップ５２４において決定した位置に平行移動することができ、ステップ５２８において、ステップ５２４において決定した視野(view)から、場面をレンダリングすることができる。ステップ５３２において、本システムは、ユーザーが仮想場面内にある特定の物体を注目し終えたか否か判断することができる。これは、種々の既定のジェスチャーの内いずれによってでも示すことができる。本システムが、ユーザーが注目観察(focus view)を終えたと判断しない場合、フローはステップ５１０に戻り、ステップ５１０から５２８を繰り返して、場面内にある他の仮想物体に注目することができる。一方、ユーザーが彼らの注目した観察(focused view)を完了したことを示す既定のジェスチャーをステップ５３２において行った場合、ステップ５３６において、この光景を平行移動して、基準点（ステップ５１４において格納した）からの光景に戻すことができる。

[0097] 計算環境１２がステップ４９０および５１０において追加の診査ジェスチャーを判別できない場合、フローはステップ５３８に分岐して、ユーザーが、場面を診査し終えたことを示す既定のジェスチャーを行ったか否か確かめることができる。行っていない場合、フローはステップ４９０に戻って、ユーザーが異なる位置から場面を見ることを望んでいるか否か確かめることができ、望んでいない場合、フローはステップ５１０に進んで、ユーザーが場面の中におけるその現在の位置にある物体に注目することを望んでいるか否か判断する。一方、ステップ５３８において、ユーザーが３−Ｄ場面における診査を終了したことを示す何らかの既定のジェスチャーを行った場合、フローは図５に戻り、次のタイプのユーザー対話処理の有無を調べることができる。

[0098] 尚、ステップ４９０から５３８の間では、ストーリー・アプリケーションによってディスプレイ１４上に提供される三次元仮想世界に、ユーザーがどのように入っていきその中で動き回ることができるかということの一例に過ぎないことは認められよう。

[0099] 本システムの実施形態では、ストーリーを見て３−Ｄ仮想世界内において診査することに加えて、ユーザーはストーリー内部における１つ以上のキャラクターを制御する選択肢も有することができる。この実施形態は、場面がＣＧグラフィクスで提示されるときに動作することができる。場面が静止パネルまたは記録ビデオのいずれかで提示される場合、ＣＧアニメーションを切り離してこれらの表示モデルを得て、以下で説明するように、キャラクターの制御に備えることが考えられる。

[00100] 実施形態では、ユーザー１８は、画面上のキャラクター２３の動きおよび／または行為をユーザーが制御したいことを示す何らかの既定のジェスチャーを行うことができる。この既定のジェスチャーは、例えば、画面上の所与のキャラクターを指し示すユーザーの動き(motion)と合体させた、例えば、任意のジェスチャーとすることができる。このようなキャラクター制御がストーリー・アプリケーション２２６によって許可される場合、ユーザーをそのキャラクターとしてステップ４２６において登録することができ、その後、ユーザーは、そのキャラクターを制御することができる。これについては、図８のステップ５４０から５５８に関して以下で説明する。

[00101] ユーザーがキャラクターを制御することを登録した後、ユーザーは、制御される画面上のキャラクターの行動を動画化しこれに作用するために用いられるある種の動き(motion)およびジェスチャーを行うことができる。ステップ５４０において、計算環境は、ユーザーが、既定され、認識されているジェスチャーを行ったか否か判断する。行った場合、計算環境はステップ５４４において、認識されたジェスチャーに対応する行為を行うことが、画面上のキャラクターに許されているか否かチェックする。具体的には、実施形態では、ユーザーは、画面上のキャラクターの行為または行動に対して完全に制御することはできず、代わりに画面上のキャラクターの制御をストーリー・アプリケーション２２６と共有する。実施形態では、ユーザーはキャラクターの動きをある程度制御することができるが、アプリケーションはこのような動きに境界を定義することができ、例えば、キャラクターの行動および性格に関する様相というような、画面上のキャラクターの他の様相の制御を制限することができる。ユーザーが画面上のキャラクターを自由奔放に(unfetter)制御すると、例えば、ユーザーが画面上のキャラクターに行わせたある種の行為が、あり得るストーリーの展開(branch)として予想されていなかった場合、ストーリー・アプリケーションが前に進むのを妨げることもあり得る（以下で説明する）。しかしながら、他の実施形態では、ユーザーには、画面上のキャラクターの自由奔放な制御を与えてもよいことは言うまでもない。

[00102] ステップ５４２において、キャラクター２３がジェスチャーの行為を行うことがストーリー・アプリケーションによって許された場合、このキャラクターは、ステップ５４４において、そのジェスチャーと関連付けられた行為を実行する。図１Ｂは、画面上のキャラクター２３の上半身を制御する能力がユーザーに与えられた例を示す。この特定的なストーリー・アプリケーションは、ユーザーが彼らの腕を上げるジェスチャーを認識することができ、これを、例えば、脅すように腕を上げる怪物のような、画面上のキャラクターに対応させる。図８のステップ５４０においてこのようなユーザーのジェスチャーを認識すると、このキャラクターは、ステップ５４４において、対応する行為を行う。

[00103] ステップ５４０において、認識されていないジェスチャが行われた場合、次に、計算環境はステップ５４６において、キャプチャー・デバイス２０によってユーザーの動きが検出されたか否かチェックする。検出された場合、システムは５５０において、先に明示したように、画面上のキャラクターが、ユーザーが行ったように動くことを許可されているか否かチェックする。許可されている場合、ステップ５５２において、ユーザーの動きに合わせて、その通りに画面上のキャラクターを動画化する。計算環境がステップ５４０において既定のジェスチャーを検出しない場合、またはステップ５４６においてユーザーの動きを検出しない場合、計算環境は図５のステップ４２８に戻り、以下で説明するようにユーザーの画面との他の対話処理を検出することができる。

[00104] ステップ５５４において、本システムは、次に、ユーザーがキャラクターの制御を終了したいことを示す何らかの種類の既定ジェスチャーを、ユーザーが与えたか否かチェックする。ステップ５５４においてこのようなジェスチャーが検出された場合、ユーザーのキャラクター制御は終了し、ステップ５５６において、このキャラクターはストーリー・アプリケーション２２６によって完全に制御される。ステップ５４６において本システムがユーザーの動きを検出したが、ステップ５５０においてキャラクターがそのように動くことが許されていない場合、またはユーザーがステップ５５４においてキャラクター制御を終了する場合、本システムは図５のステップ４２８に戻り、表示されている場面とユーザーとの他の対話処理を探すことができる。

[00105] これより図５に戻ると、ステップ４２８において、計算環境１２は、表示されている場面とユーザーとの何らかの対話処理を探す。具体的には、ストーリーのサブプロットの成果に作用するユーザーの対話処理、またはストーリーの全体的な成果に作用するユーザーの対話処理を探す。このような対話処理が検出された場合、本システムは図９のステップ５６０から５８８までを実行する。これは、４１８に関して先に説明した音声コマンド、ステップ４２２に関して先に説明した診査ジェスチャー、ステップ４２６に関して先に説明した画面上のキャラクターを制御するユーザー、またはストーリーとの他の何らかの対話処理の結果として、行われる可能性がある。

[00106] ストーリーの中に表示される画像のタイプによって、対話処理性(interacativity)の度合いを部分的に判定することができる。ＣＧアニメーションは、高度な対話処理性を提供することができるが、一方静止パネルおよび記録ビデオは提供できる対話処理性の度合いがそれよりも低いと考えられる。尚、ＣＧアニメーションを切り離して静止パネルおよび／または記録ビデオにして、より高度な対話処理性を提供できることは言うまでもない。実施形態では、ユーザーには、ストーリーにおける別個の時点において画面上のストーリーと対話処理する機会を与えることができる。これらの時点は、ストーリーにおけるポーズまたは何らかのプロンプトによって、ユーザーに示すことができる。他の実施形態では、ユーザーは、アプリケーション２２６がストーリーを提示している間であれば、いずれの時点においてもストーリーと対話処理する選択肢を有することもできる。

[00107] ステップ４２８において表示されている場面と対話処理が行われると、本システムは最初にステップ５６０を実行して、ユーザーが動き(motion)または認識されたジェスチャーを行ったか否か判断する。行った場合、計算環境１２は次にステップ５６４において、その動き(motion)またはジェスチャーと関連付けられている行為が、異なるストーリー・ラインへの分岐を必要とするか否かチェックする。ユーザーの行為が異なるストーリー分岐への分岐を必要とするか否か判断し、次いでそのストーリー分岐からどのように処理を進めるか判断する種々の方法が知られている。一例では、ストーリー・アプリケーションがストーリー内にある全ての物体およびキャラクターについて状態データー値を維持することができる。場面またはキャラクターに関する何かが変化したとき、その場面またはキャラクターについての状態データーもそれに応じて変化する可能性がある。これらの状態データー値は、ストーリーの対象物(object)またはキャラクターをレンダリングするとき、そしてこれらの物体またはキャラクターに起こることを制御するときに用いることができる。

[00108] 実施形態では、ストーリー・アプリケーションは、物体およびキャラクターについての状態データー値に応じて、種々の異なるストーリー・ラインに分岐することができるとよく、これらの物体および／またはキャラクターとのユーザー対話処理の結果、この状態データーを変化させることができる。更に他の実施形態では、ユーザーが、画面上の物体やキャラクターと対話処理せずこれらに作用もしないある種のジェスチャーを行う場合もあるが、そうであってもストーリー・ラインに変化が生ずることもある。一例として、ユーザーが、画面上に表示されている部屋に関して示されるまたは説明されるストーリーの重要な様相が明らかになる前に、ユーザーがその部屋から離れることを選択することがあり得る。

[00109] ステップ５６４において、計算環境１２は、ユーザーが行ったジェスチャーと関連付けられた行為が、異なるストーリー・ラインに分岐することを必要とするか否か判断する。注記したように、これは、ストーリーの物体またはキャラクターについての状態データー値をユーザーが変更したことによって生じる可能性がある。具体的には、状態値が変化したので、ステップ５６０におけるユーザーのジェスチャー以前に存在していたのと同様にストーリーが継続すると、物体、キャラクター、またはストーリー全体と関連のある現在の状態データー値と矛盾することになる。ユーザーのジェスチャーが異なるストーリー・ラインに分岐することを必要とする場合、計算環境１２はステップ５６８において、ユーザーの対話処理と結び付くストーリーの既知の分岐があるか否かチェックする。

[00110] ステップ５６０において、ユーザーが動き(motion)も認識されたジェスチャーも行わない場合、またはユーザーの動き(motion)／認識されたジェスチャーがステップ５６４において異なるストーリー・ラインへの分岐を必要としない場合、本システムは図５に戻って、以下で説明するように、ステップ４３２において他のいずれかのタイプの動きまたはジェスチャーを探すことができる。更に、ユーザーが、異なるストーリー・ラインへの分岐を必要とする行為を実行したが、ストーリー・アプリケーション２２６が、ユーザーの対話処理と結び付く分岐を知らないまたは識別できない場合、ステップ５６８において、ユーザーのジェスチャーのストーリー・ラインに対する効果を無視することができ、フローは、以下に説明するような、図５のステップ４３２に戻ることができる。

[00111] ユーザーのジェスチャーが新たな分岐ストーリー・ラインに分岐することを必要とし、このストーリー・ラインをストーリー・アプリケーションによって実行することができると仮定すると、ストーリー・アプリケーションは、ユーザーがどの動き(motion)またはジェスチャーを行ったかに応じて、物体、キャラクター、およびアプリケーション全体と関連のある状態データーを変更することができる。図１１および図１２を参照すると、一部のユーザー対話処理はストーリー分岐に作用するが、ストーリーのサブプロットを変化させるだけで、全体的な成果には作用しない。図１１において見られるように、ユーザーは何らかの対話処理６２０を実行して、ストーリー・アプリケーションを分岐１、分岐２、...、分岐Ｎに分岐させることができ、その後全ての分岐は再度収束して、元のストーリー・ラインを継続する。多種多様なこのようなサブプロット・ストーリー分岐が考えられる。例えば、図１Ａでは、ユーザーはジェスチャーを行って、家２１に雨が降っている地点まで、雲２５全体を動かすことができる。雨は、全体的なプロットには影響を及ぼさなくてもよい。短い間だけ雨が降ってもよく、雨が止んでもよく、ストーリー・ラインは、雨が降らなかった場合と同じように継続するのでもよい。更に他の実施形態では、アプリケーション・ストーリーがユーザーに質問に答えるようにまたはパズルを解くように促し、ストーリー・ラインが、催促に対するユーザーの回答に応じて、異なるサブプロットに分岐することもできる。一旦ユーザーが首尾良く質問に答えるかパズルを解いたなら、ストーリーは再度収束し、元のストーリー・ラインを継続することができる。

[00112] 一方、他のタイプのユーザー対話処理では、ストーリー分岐に作用して、ストーリーの全体的成果を変化させることもある。言い換えると、ストーリーは、ユーザーのストーリーとの対話処理に応じて、異なる終わり方をする。例えば、図１１では、ユーザーは対話処理６２４を実行し、これが、再度収束しないＮ通りの分岐の内１つへのストーリー分岐を生じさせる。更に、これらの分岐はいずれもが、次のユーザー対話処理のときに、それ自体分岐することができる。例えば、ユーザーの対話処理６２４がストーリーを分岐番号１に分岐させた場合、ユーザーは他の対話処理６２８を実行して、ストーリーを更に可能な成果に分岐させることができる。ストーリーは、ストーリー・アプリケーションが多くのサブプロットおよび全体的なプロット分岐を扱うように書かれているか否かに応じて、いずれの数のサブプロット分岐でも、または全体的なプロット分岐でも有することができる。

[00113] 実施形態では、1人のユーザーが対話処理を行って、ストーリー・アプリケーションにサブプロット分岐または全体的プロット分岐を実行させるのでもよい。更に他の実施形態では、多数のユーザーが１つのストーリーを見ている場合もある。これら多数のユーザーは、同じ場所にいることも、異なるシステム１０を用いて、異なる場所にいることもあり得る。システム１０は、種々のユーザーがアプリケーション２２６の同じインスタンスおよび同じストーリー体験を共有できるように、互いにネットワークで接続されている。このような実施形態では、ストーリー・アプリケーション２２６は、ストーリー・ラインが新たなサブプロットまたは新たな全体的なプロットに分岐する前に、数人のユーザーが協調して行動する行為を必要とするのであってもよい。

[00114] これより図９に戻ると、計算環境１２は、ステップ５６４において、ストーリー・ラインの分岐を必要とするユーザーの動きまたはジェスチャーを特定し、ストーリー・アプリケーションがその新たなストーリー・ラインを扱うように装備されている場合、ストーリー・アプリケーション２２６は、ステップ５７０において、新たなストーリー・ラインに分岐する。ステップ５７２において、ストーリー・アプリケーションは、いずれかの物体、キャラクター、またはアプリケーション全体に対して状態データーを修正する。ストーリー・アプリケーション２２６は、ステップ５７４において、新たなストーリー・ラインおよび状態データーにしたがって、場面のグラフィクスをレンダリングすることができ、このストーリー・アプリケーションは、ステップ５７８において、この特定された分岐に進むことができる。

[00115] 本システムの一態様は、ゲームの仕組み(mechanics)を、ユーザーに示すストーリーに追加することである。したがって、ストーリーを示すことに加えて、ストーリー・アプリケーション２２６は、更に、ユーザーのスコアを記録することができ、ユーザーがどのようにストーリーと対話処理するかに応じて、スコアを加点または減点することができる。具体的には、ユーザーによるある種のジェスチャーまたは行為は、所定のストーリー値および関連するポイント数を有することができ、関連付けられたジェスチャーが行われたときに、ユーザーの総合スコアに加算されるか、またはユーザーの総合スコアから減算される。したがって、ステップ５８２において、ストーリー・アプリケーションは、ステップ５６０において実行されたユーザーの対話処理に伴うスコアがあったか否かチェックする。ない場合、フローは図５のステップ４３２に戻る。ユーザーの対話処理にスコアが伴う場合、ステップ５８８において、それに応じてユーザーのスコアを調節し、次いでフローは、以下で説明するように、図5のステップ４３２に戻ることができる。

[00116] 図９の実施形態は、静止画像パネルまたは動的なＣＧ画像アニメーションを用いるストーリーにおいて用いることができる。図９Ａは、記録ビデオと共に用いるための別の実施形態を示す。ステップ５６０から５７２までは、図９について先に説明した通りであればよい。実施形態では、記録ビデオとの対話処理が、ビデオとの対話処理の既定の時点において行われる。記録ビデオ・ストーリーでは、ストーリー・アプリケーションはストーリーの可能な分岐毎に、異なるビデオ・クリップを有することができる。ステップ５９０において、ストーリー・アプリケーションは、決定されたストーリーの分岐に適したメディア・クリップを引き出すことができる。ステップ５９４において、計算環境１２はそのクリップをレンダリングすることができる。異なる分岐毎に予め記録されているビデオの代わりにまたはそれに加えて、計算環境によってＣＧアニメーションを製作し挿入することもできる。

[00117] ユーザーにストーリー分岐からの画像を示した後、次に、ストーリーが新しいラインに分岐しなかった場合、ステップ５９６において、ストーリー・アプリケーション２２６は戻って、ストーリーに対するメディア・クリップを示すことができる。例えば、ストーリーは犯罪ドラマに関し、探偵が容疑者に尋問しようとしているところであるとする。ユーザーは、彼らがストーリー・アプリケーションと対話処理して容疑者に尋問したいことを示す既定のジェスチャーを行うことができる。ユーザーは、質問することができ、異なる方法でそして異なる態度で尋問を行うことができる。これらの行為は、ユーザーが質問を選択することができるスクリプトによって、範囲を限定することができる。あるいは、ユーザーが訊きたい質問であればいずれでもよい。

[00118] また、ユーザーは異なった態度で、幾分か尋問されている容疑者キャラクターを操作しているような態度で、質問することもできる。ユーザーは、容疑者に対して威張り散らそうとすることもでき、またはユーザーは、気持ちの良い態度で接する(proceed with)ことによって、情報を聞き出そうとすることもできる。キャプチャー・デバイス２０は、これらの異なる癖を検出することができ、ある種の行為(act)が、定義され格納されている癖データーと一致する場合、計算環境１２によってこれらの異なる癖を特定することができる。一旦ユーザーが尋問を完了したなら、尋問を行う探偵のビデオ・クリップを再生することができる。ユーザーは、探偵のキャラクターが再生された場面において得たものと比較して、彼または彼女が容疑者から得ることができた情報量に関して、探偵のキャラクターよりも上手にまたは下手にできたことを確かめることができる。

[00119] ステップ６００において、ストーリー・ラインは、特定された分岐に進む。これは元のストーリー・ラインを再開することもでき、または全体的なプロットに対して新たな成果が得られてもよい。ステップ６０４において、ユーザーの対話処理を採点することができる。例えば、前述の例では、ユーザーが探偵のキャラクターよりも多くの情報を拾い集めることができた場合、ユーザーには既定数のポイントを授けることができる。あるいは、ユーザーが拾い集めた情報の方が少ない場合、所定数のポイントを失うのでもよい。このようにして、ユーザーのスコアを調節することができ、フローは、以下で説明するような、図５のステップ４３２に戻ることができる。

[00120] 図５に戻って、ユーザーのジェスチャーが、ステップ４２２において診査ジェスチャーではなく、ステップ４２６においてキャラクターを制御する目的のものではなく、ステップ４２８においてストーリー・ラインを変化させるように表示されている場面と対話処理するのでもないということが起こる場合もある。これに応じて、計算環境１２は、ステップ４３２において、他のこのようなジェスチャーの有無をチェックする。ステップ４３２において他にこのようなジェスチャーが認識されない場合、ストーリー・アプリケーションはステップ４０６に戻って、ストーリーの次のフレームを提示し、以上で説明したステップを繰り返す。一方、ステップ４３２において何らかの他のジェスチャーが認識された場合、本システムは、ステップ４３４において、そのジェスチャーがストーリーを終了させるためのものであるか否かチェックする。そうである場合、ステップ４３６において、ストーリーが終了する。そうでない場合、ステップ４３８において、本システムは、ステップ４３２において認識されたジェスチャーと関連付けられているいずれかの行為を実行し、次いで、フローはステップ４０６に戻り、ストーリーの次のフレームを提示する。

[00121] 先に注記したように、ストーリーを受け取ったときにユーザーが何の行為も起こさない場合、ストーリーは、デフォルトの１組の画像および／または挿話または対話にしたがって線形に進むことができる。他の実施形態では、ユーザーが何の行為も起こさなくても、リニア・ストーリーにおけるエレメントが、種々の予め設定されている係数に基づいて、ストーリーのインスタンスに関して動的に変化することができる。これらの係数には、ストーリーが視聴された回数（例えば、４回目に何か新しいことが起こる）、聴衆の中にいる人数、および天候および時刻(time of day)（例えば、ストーリーにおける天候が季節と共に変化するか、または実世界の天気に繋がれている）が含まれる。天候または時刻は、システム１０には分かっているか、またはシステム１０がネットワーク接続されているサービスの中に格納されていてもよい。また、他のストーリーにおけるイベントも、影響を及ぼす可能性があり、ストーリーＢにおけるキャラクターに導入されると、これらをストーリーＡに出現させる。これらの特徴は、先に説明した本システムの他の特徴と共に、ストーリーを一層動的にし、繰り返し視聴および体験(experimentation)をする気にさせる。

[00122] 以上で説明した対話処理の多くは、既定のジェスチャーによって誘起される。図１３は、ジェスチャー認識エンジン１９０のブロック図を示し、図１４は、図１３のジェスチャー認識エンジンの動作のブロック図を示す。ジェスチャー認識エンジン１９０は、ステップ６６０において、姿勢情報６５０を受け取る。この姿勢情報は、画像データーにおいて検出されたユーザーの身体部分や関節の位置および／または動き(motion)に関する種々のパラメータを含むことができる。

[00123] ステップ６６４において、ジェスチャー認識エンジン１９０は、受け取った姿勢情報６５０を分析して、この姿勢情報が、ジェスチャー・ライブラリー６５４内に格納されている既定の規則６５８のいずれかと一致するか否か確認する。格納されている規則６５８は、姿勢情報６５０によって示される特定の位置および／または力学的運動(kinetic motions)を、既定のジェスチャーとして解釈すべきときを記述する。実施形態では、各ジェスチャーは、異なる一意の規則、または１組の規則６５８を有することができる。各規則は、図４に示した身体部分の１つ以上について、多数のパラメータ（関節位置ベクトル、最上位／最下位位置、位置変化等）を有することができる。格納されている規則は、パラメータ毎に、そして図３に示した身体部分３０２から３３０毎に、１つの値、値の範囲、最大値、最小値を定義することができ、またはその身体部分に対するパラメータが、規則によって扱われる(cover)ジェスチャーの判定に関連がないことの指示を定義することができる。規則は、ゲーム著者、ゲーミング・プラットフォームのホスト、またはユーザー自身によって作成することができる。

[00124] ジェスチャー認識エンジン１９０は、特定したジェスチャーおよび信頼性レベルの双方を出力することができる。信頼性レベルは、ユーザーの位置／動きがそのジェスチャーに対応する尤度に対応する。具体的には、ジェスチャーに必要なパラメータを定義することに加えて、規則は、更に、姿勢情報６５０がジェスチャーとして解釈される前に要求される閾値信頼性レベルも含むことができる。ジェスチャーの中には、システム・コマンドまたはゲーミング命令として一層強い影響力を持つものもあり、したがって、姿勢がそのジェスチャーであると解釈される前に、一層高い信頼性レベルを要求することもある。姿勢情報を、規則に対して格納されているパラメータと比較することによって、その姿勢情報がジェスチャーを示すか否かに関する累計信頼性レベル(cumulative confidence level)が得られる。

[00125] 一旦所与の姿勢または動き(motion)が所与のジェスチャー規則を満たすか否かについて信頼性レベルが決定されたなら、ジェスチャー認識エンジン１９０は次にステップ６６８において、信頼性レベルが、考慮対象の規則に対する所定の閾値よりも高いか否か判定を行う。この閾値信頼性レベルは、考慮対象の規則と関連付けて格納することができる。信頼性レベルが閾値よりも低い場合、ジェスチャーは検出されず（ステップ６７０）、何の行為も行われない。一方、信頼性レベルが閾値よりも高い場合、ユーザーの動き(motion)は、考慮対象のジェスチャーを満たすと判断され、ジェスチャー認識エンジン１９０は、ステップ６７４において、特定したジェスチャーを戻す。他の実施形態では、ジェスチャー認識エンジン１９０は、他の方法で動作することもできる。

[00126] 以上の本発明のシステムについての詳細な説明は、例示および説明の目的で提示した。これは、網羅的であることも、開示された技術を開示された形態そのものに限定することを意図するのではない。多くの変更や変形が、以上の教示に照らして、可能である。記載した実施形態は、本技術の原理およびその実用的な用途を最良に説明し、それによって当業者が本技術を種々の実施形態において、そして個々の考えられる使用に適するような種々の変更と共に、最良に利用することを可能にするために選択されたのである。本発明のシステムの範囲は、本明細書に添付されている特許請求の範囲によって定義されることを意図している。

Claims (15)

1. ユーザーの動き(motion)を取り込むキャプチャー・デバイス、ならびに画像を表示するおよび／またはオーディオを供給するオーディオビジュアル・デバイスに結合されている計算環境を備えているシステムにおいて、インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせる方法であって、
   ａ）画像と音声挿話の少なくとも一方を用いて、前記オーディオビジュアル・デバイスによって前記リニア・ストーリーを提示するステップであって、前記リニア・ストーリーは、ユーザーが前記ストーリーと対話処理しない場合にユーザーに対して提示される１組のデフォルトの画像および／または挿話によって特徴付けられる、ステップと、
   ｂ）前記キャプチャー・デバイスによって、ユーザーによる動きおよび音声コマンドの内少なくとも１つを検出するステップと、
   ｃ）前記ステップｂ）において検出した前記動きおよび／または音声コマンドが、前記１組のデフォルトの画像および／または挿話には含まれていない追加の画像および追加の挿話の内少なくとも一方を有するストーリー分岐を含むように前記リニア・ストーリーを変更する、前記リニア・ストーリーとの対話処理であるか否か識別するステップと、
   ｄ）前記オーディオビジュアル・デバイスを介して前記追加の画像と追加の挿話の少なくとも一方をユーザーに提示することによって、前記リニア・ストーリーを変更するステップと、
   を備えている、方法。
2. 請求項１記載の方法において、前記リニア・ストーリーが、仮想マシン空間における場面の三次元記述によって定義されたストーリー場面を有する画像を含み、前記リニア・ストーリーを変更する前記ステップｄ）が、ｅ）前記１組のデフォルトの画像からの場面を、前記仮想マシン空間内における異なる三次元視点(viewing perspective)から示す追加の画像を提示するステップを含む、方法。
3. 請求項２記載の方法において、前記ステップｅ）において提示する追加の画像が、ユーザーが前記場面の中に入って行く印象を醸し出す、方法。
4. 請求項２記載の方法において、前記ステップｅ）において提示する追加の画像が、ユーザーが前記場面からの物体を異なる観点から調べている印象を醸し出す、方法。
5. 請求項２記載の方法において、前記ステップｅ）において提示する追加の画像が、ユーザーが前記場面内において物体の後ろを窺っている印象を醸し出す、方法。
6. 請求項１記載の方法において、前記リニア・ストーリーが、音声挿話および画像を含み、前記リニア・ストーリーを提示する前記ステップａ）が、
   ａ１）ユーザーが前記挿話を発声するステップと、
   ａ２）前記ユーザーが発声する挿話を、前記リニア・ストーリーの対応する画像に一致させるステップと、
   ａ３）前記ユーザーが発声する挿話のペースによって決定されるペースで、前記画像を提示するステップと、
   を含む、方法。
7. 請求項１記載の方法において、前記リニア・ストーリーが、ユーザーに提示する音声挿話および画像を含み、前記リニア・ストーリーを提示する前記ステップａ）が、
   ａ１）第三者が前記挿話を発声するステップであって、前記第三者が前記ユーザーと共に存在せず、前記ユーザーの近傍においてスピーカーを通じて、前記第三者の音声を前記挿話として供給する、ステップと、
   ａ２）前記第三者が発声した挿話を、前記リニア・ストーリーの対応する画像に一致させるステップと、
   ａ３）前記第三者が発声した挿話のペースによって決定されるペースで、前記画像を提示するステップと、
   を含む、方法。
8. インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせる方法を実行するようにプロセッサーをプログラミングするプロセッサー読み取り可能記憶媒体であって、前記方法が、
   ａ）画像および音声挿話の内少なくとも１つを用いて、オーディオビジュアル・デバイスによって前記リニア・ストーリーを提示するステップであって、前記リニア・ストーリーは、ユーザーによる対話処理がユーザーの動きを監視しているキャプチャー・デバイスによって認知されない場合に、１組のデフォルトの画像によって特徴付けられる開始から終了までの完全なストーリーとして提示される、ステップと、
   ｂ）前記オーディオビジュアル・デバイスと関連付けられているキャプチャー・デバイスによって、ユーザーによる動きを検出するステップと、
   ｃ）前記ステップｂ）において検出した前記動きが、前記１組のデフォルトの画像には含まれていない追加の画像を有するストーリー分岐を含むように前記リニア・ストーリーからの変更を要求する、前記リニア・ストーリーとの対話処理であるか否か識別するステップと、
   ｄ）前記追加の画像を、格納されているまたは処理済みのデーターに基づいてレンダリングできるか否か判断するステップと、
   ｅ）前記ステップｄ）において前記追加の画像をレンダリングできると判断した場合、前記オーディオビジュアル・デバイスによって前記追加の画像をユーザーに提示することによって、前記リニア・ストーリーを変更するステップと、
   ｆ）ユーザーの対話処理を採点するステップであって、前記対話処理は、前記対話処理に基づいて所定のポイント数を加点するまたは減点することに対応する、ステップと、
   を備えている、プロセッサー読み取り可能記憶媒体。
9. 請求項８記載のプロセッサー読み取り可能記憶媒体において、前記リニア・ストーリーが、仮想マシン空間における場面の三次元記述によって定義されるストーリー場面を有し、前記リニア・ストーリーを変更する前記ステップｅ）が、ｇ）前記１組のデフォルト画像からの場面を、前記仮想マシン空間内における異なる三次元視点から示す追加の画像を提示するステップを含む、プロセッサー読み取り可能記憶媒体。
10. 請求項８記載のプロセッサー読み取り可能記憶媒体において、前記ステップｂ）が、ｈ）前記リニア・ストーリーの一部として表示されるキャラクターの少なくとも部分的な制御をユーザーが引き受けるステップを含む、プロセッサー読み取り可能記憶媒体。
11. 請求項８記載のプロセッサー読み取り可能記憶媒体において、前記ステップａ）およびｅ）が、静止画像パネル、動的コンピューター・グラフィクス・アニメーション、およびリニア・ビデオの内少なくとも１つにおいて、前記リニア・ストーリーおよび／またはストーリー分岐を表示するステップを含む、プロセッサー読み取り可能記憶媒体。
12. インタラクティブ・ゲーミングの様相をリニア・ストーリーに組み合わせるシステムであって、
    画像および音声挿話の内少なくとも１つを提示するオーディオビジュアル・デバイスと、
    画像およびオーディオ・データーの内少なくとも１つをユーザーから取り込む画像キャプチャ・デバイスと、
    前記オーディオビジュアル・デバイスおよび画像キャプチャ・デバイスに結合されている計算環境と、
    を備え、前記計算環境は、
    ａ）画像および音声挿話の内少なくとも１つを用いて、前記オーディオビジュアル・デバイスによって前記リニア・ストーリーを提示するステップであって、前記リニア・ストーリーは、ユーザーによる対話処理が前記キャプチャー・デバイスによって認知されない場合に、１組のデフォルトの画像によって特徴付けられる開始から終了までの完全なストーリーとして提示される、ステップと、
    ｂ）前記キャプチャー・デバイスによってユーザーによる動きを検出するステップと、
    ｃ）前記検出した動きが診査ジェスチャーであるか否か識別するステップと、
    ｄ）前記動きを診査ジェスチャーであると識別したときに、前記リニア・ストーリーからストーリー分岐に分岐するステップであって、前記ストーリー分岐は、前記１組のデフォルトの画像には含まれていない少なくとも１つの追加の画像を有し、前記分岐するステップは、
    ｄ１）前記ユーザーによって示された前記オーディオビジュアル・デバイス上における点を検知するステップと、
    ｄ２）前記ユーザーの一部から前記ユーザーによって示された前記オーディオビジュアル・デバイス上における前記点までの３−Ｄ実世界ベクトルを計算するステップと、
    ｄ３）前記３−Ｄ実世界ベクトルを、現在の視点(view perspective)にある開始点と３−Ｄマシン空間内の仮想物体にある終点とを有する３−Ｄマシン空間ベクトルに変換するステップと、
    ｄ４）前記少なくとも１つの追加の画像として、前記３−Ｄマシン空間ベクトルの前記終点にある視点(viewing perspective)から前記仮想物体を表示するステップと、
    を含む、ステップと、
    を実施する、システム。
13. 請求項１２記載のシステムにおいて、前記計算環境が、前記ユーザーの頭部の位置を検知する前記キャプチャー・デバイスによって、前記ユーザーが示した前記オーディオビジュアル・デバイス上における前記点を検知する、システム。
14. 請求項１２記載のシステムにおいて、前記計算環境が、前記ユーザーの手の位置を検知する前記キャプチャー・デバイスによって、前記ユーザーが示した前記オーディオビジュアル・デバイス上における前記点を検知する、システム。
15. 請求項１２記載のシステムにおいて、前記ユーザーが、前記リニア・ストーリーおよび分岐ストーリーと対話処理するユーザーの体験に伴うスコアを増大させることができる、システム。

Images