WO2005065798A1

WO2005065798A1 - 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法

Info

Publication number: WO2005065798A1
Application number: PCT/JP2005/000038
Authority: WO
Inventors: Masami Yamamoto; Nobuhito Kuramochi; Akira Imagawa
Original assignee: Sony Computer Entertainment Inc.
Priority date: 2004-01-06
Filing date: 2005-01-05
Publication date: 2005-07-21
Also published as: US8345001B2; JPWO2005065798A1; US20090174652A1; JP4824409B2

Abstract

　プレーヤーに対して、複数のタッチポイントへ仮想的にタッチさせる動作を促すコンピュータ画像を生成する手段と、撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、ビデオ画像と、コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、コンピュータ画像が表示されているときのビデオ画像を解析し、複数のタッチポイントのいずれかに対する仮想的なタッチを検出する手段と、検出手段により所定数のタッチポイントに所定の順番で仮想的なタッチがされたことが検出されると、所定の処理を実行する手段と、を備える情報処理システムによりエンタテインメント性を高めた入力インタフェースに関する技術を提供する。

Description

明細書

情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法

技術分野

[0001] 本発明は、情報処理システムにおけるプレーヤ一力もの入力を受け付けるインタフエースに関し、特に、カメラで撮影したビデオ画像を使ったインタフェースに関する。背景技術

[0002] 特開 2002— 196855号公報 (特許文献 1)には、カメラで撮影した画像を入力インタフエースとして利用した画像処理装置が開示されて、る。

発明の開示

[0003] 特許文献 1に開示されて!ヽる画像処理装置は、情報処理システム、あるヽはェンタティンメントシステムの入力インタフェースに応用可能である。情報処理システム、あるいはエンタテインメントシステムでの応用に当たっては、エンタテインメント性を高めることにより、システム全体の価値を高めることができる。

[0004] そこで、本発明の目的は、エンタテインメント'性を高めた入力インタフェースに関する技術を提供することである。

[0005] 本発明の一つの実施態様に従う情報処理システムは、プレーヤーに対して、複数のタツチポイントへ仮想的にタツチさせる動作を促すコンピュータ画像を生成する手段と、撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタツチポイントのいずれかに対する仮想的なタツチを検出する手段と、前記検出手段により所定数のタツチポイントに、所定の順番で前記仮想的なタツチがされたことが検出されると、所定の処理を実行する手段と、を備える。

[0006] 好適な実施態様では、前記検出手段は、前記ビデオ画像内のプレーヤーが身につけて!/、る特定色の物体が、前記コンピュータ画像内の前記複数のタツチポイントのいずれかと重なるときに、仮想的なタツチを検出するようにしてもよい。 [0007] 好適な実施態様では、前記画像生成手段は、次にタツチすべき 1点のタツチポイントを示すナビゲーシヨンを含むコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーシヨンを含むコンピュータ画像のそれぞれに対して、仮想的なタツチがされたことが検出されると、前記所定の処理を実行してもよい。

[0008] 好適な実施態様では、前記画像生成手段は、次にタツチすべき 2点のタツチポイントを示すコンピュータ画像を順次生成する。そして、前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーシヨンを含むコンピュータ画像のそれぞれに対して、前記 2点のタツチポイントに対して同時に仮想的なタツチがされたことが検出されると、前記所定の処理を実行してもよい。

[0009] 好適な実施態様では、前記画像生成手段は、タツチポイントに対するタツチの順番を示すナビゲーシヨンを含むコンピュータ画像を生成する。そして、前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーシヨンに従って仮想的なタツチ力 Sされたことが検出されると、前記所定の処理を実行するようにしてもよい。

[0010] 本発明の一つの実施態様に従う情報処理システムは、

プレーヤーに対して、仮想的なタツチの対象となる複数のタツチポイントを示すコンピュータ画像を生成する手段と、

撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、

前記コンピュータ画像が表示されてヽるときのビデオ画像を解析し、前記複数のタツチポイントのいずれかに対する仮想的なタツチを検出する手段と、

前記検出手段により、複数のタツチポイントに連続的に前記仮想的なタツチがされたことが検出されると、連続して前記仮想的なタツチがされたタツチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段と、を備える。

[0011] 本発明の一つの実施態様に従うエンタテインメントシステムは、複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、撮影手段で撮影したビデォ画像の入力を受け付ける手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えたエンタテインメントシステムであって、前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、前記解析手段は、それぞれの入力を促す画像が表示されているときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。

図面の簡単な説明

[図 1]本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。

[図 2]エンタテインメント装置の構成図である。

[図 3]エンタテインメント装置の機能構成図である。

[図 4]図 4 (a)は、鏡面処理後のビデオ画像の例を示す図である。図 4 (b)は、インタフエース画像の例を示す図である。図 4 (c)は、重畳画像の例を示す図である。

[図 5]入力受け付け処理全体のフローチャートである。

[図 6]シングルナビゲーシヨンの場合のタツチ受け付け処理のフローチャートである。

[図 7]タツチ判定処理のフローチャートである。

[図 8]シングルナビゲーシヨンの場合のオブジェクト画像の遷移イメージである。図 8 ( a)は、フラッシュ表示された最初のタツチポイントを示す。図 8 (b)は、フラッシュ表示された最初と 2番目のタツチポイントを示す。図 8 (c)は、 1番目と 2番目のタツチポイントを結ぶ光のラインと、フラッシュ表示された最後のタツチポイントを示す。図 8 (d)は、光のラインで結ばれたタツチポイントを示す。

[図 9]ダブルナビゲーシヨンの場合のタツチ受け付け処理のフローチャートである。

[図 10]ダブルナビゲーシヨンの場合のオブジェクト画像の遷移イメージである。図 10 ( a)は、フラッシュ表示された 1番目のタツチポイントを示す。図 10 (b)は、光のラインで結ばれた 1番目のタツチポイントと、タツチポイントとフラッシュ表示された 2番目のタツチポイントを示す。図 10 (c)は、光のラインで結ばれた 1番目のタツチポイントと、光のラインで結ばれた 2番目のタツチポイントを示す。

[図 11]稲妻ナビゲーシヨンの場合のタツチ受け付け処理のフローチャートである。

[図 12]稲妻ナビゲーシヨンの場合のオブジェクト画像の遷移イメージである。図 12 (a )は、タツチすべき全タツチポイントを示す。図 12 (b)は、 1番目のタツチポイントと 2番のタツチポイントとを結んでいた稲妻ラインが消去されたことを示す。図 12 (c)は、 2番目のタツチポイントと 3番のタツチポイントとを結んで、た稲妻ラインが消去されたことを示す。図 12 (d)は、 3番目のタツチポイントと 1番のタツチポイントとを結んでいた稲妻ラインが消去されたことを示す。

[図 13]ナビゲーシヨンなしの場合のタツチ受け付け処理のフローチャートである。発明を実施するための最良の形態

[0013] 以下、本発明の一実施形態に係るエンタテインメントシステムについて、図面を用いて説明する。

[0014] 本実施形態に係るエンタテインメントシステムの構成の一例を図 1に示す。このェンタティンメントシステムは、ディスプレイ装置 3に向き合った位置にいるプレーヤー 4をアナログまたはデジタルのビデオカメラ 1が撮影し、これにより得られた動画像をェンタティンメント装置 2が連続的に連続に取り込んで、エンタテインメント装置 2が生成したコンピュータ画像 (CG)と、ビデオカメラ 1から取り込んだビデオ画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置 3上にリアルタイムに表示させるものである。

[0015] 従って、重畳画像ではプレーヤー 4の動作がリアルタイムに反映されていて、この重畳画像でプレーヤー 4はプレーを楽しむことができる。鏡面動画像は、ビデオカメラ 1 力取り込んだ動画像をエンタテインメント装置 2で鏡面処理 (画像の左右反転処理）することにより生成することができるが、ビデ才力メラ 1の前に鏡を置き、操作者を映した鏡面の動画像をビデオカメラ 1で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置 3上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。

[0016] エンタテインメント装置 2は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。この実施形態によるコンピュータは、例えば図 2にそのハードウェア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバス B1とサブバス B2の 2本のバスを有している。これらのバス B 1、 B2は、バスインタフェース INTを介して互いに接続され又は切り離されるようになつている。

[0017] メインバス B1には、主たる半導体デバイスであるメイン CPU10と、 RAMで構成されるメインメモリ 11と、メイン DMAC (Direct Memory Access Controller) 12と、 MPE G (Moving Picture Experts Group)デコーダ（MDEC) 13と、描画用メモリとなるフレームメモリ 15を内蔵する描画処理装置（Graphic Processing Unit,以下、「GPU」） 14 が接続される。 GPU14には、フレームメモリ 15に描画されたデータをディスプレイ装置 3で表示できるようにするためのビデオ信号を生成する CRTC (CRT Controller) 1 6が接続される。

[0018] メイン CPU10は、コンピュータの起動時にサブバス B2上の ROM23から、ノスインタフエース INTを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ 27を制御するとともに

、このメディアドライブ 27に装着されたメディア 28からアプリケーションプログラムゃデータを読み出し、これをメインメモリ 11に記憶させる。さらに、メディア 28から読み出した各種データ、例えば複数の基本図形 (ポリゴン)で構成された 3次元オブジェクトデ → (ポリゴンの頂点 (代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理 (座標値演算処理)を行い、そして、ジオメトリ処理によるポリゴン定義情報 (使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定)をその内容とするディスプレイリストを生成する。

[0019] GPU14は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メイン CPU10から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理 (描画処理)を行い、フレームメモリ 15にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ 15は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。 [0020] メイン DMAC12は、メインバス B1に接続されている各回路を対象として DMA転送制御を行うとともに、バスインタフェース INTの状態に応じて、サブバス B2に接続されて、る各回路を対象として DMA転送制御を行う半導体デバイスであり、 MDEC 13 は、メイン CPU10と並列に動作し、 MPEG (Moving Picture Experts Group)方式あるい ίお PEG (Joint Photographic Experts Group)方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

[0021] サブバス B2には、マイクロプロセッサなどで構成されるサブ CPU20、 RAMで構成されるサブメモリ 21、サブ DMAC22、オペレーティングシステムなどの制御プログラムが記憶されている ROM23、サウンドメモリ 25に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス (SPU (Sound Processing Unit) ) 24、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ATM) 26、 CD— ROMや DVD— ROMなどのメディア 28を装着するためのメディアドライブ 27及び入力部 31が接続されている。

[0022] サブ CPU20は、 ROM23に記憶されている制御プログラムに従って各種動作を行う。サブ DMAC22は、バスインタフェース INTがメインバス B1とサブバス B2を切り離して、る状態にぉ、てのみ、サブノス B2に接続されて、る各回路を対象として DM A転送などの制御を行う半導体デバイスである。入力部 31は、操作装置 35からの入力信号が入力される接続端子 32、ビデオカメラ 1からの画像信号が入力される接続端子 33、及びビデオカメラ 1からの音声信号が入力される接続端子 34を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。

[0023] このように構成されるコンピュータは、メイン CPU10、サブ CPU20、 GPU14が、 R OM23及びメディア 28等の記録媒体力も所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置 2として動作する。

[0024] このエンタテインメント装置 2の機能ブロック図を図 3に示す。すなわち、ェンタティンメント装置 2には、ビデオ画像入力部 101と、画像反転部 102と、判定部 103と、主制御部 104と、 CG生成部 105と、重畳画像生成部 106と、表示制御部 107と、タツチパターン記憶部 108とが形成される。 [0025] ビデオ画像入力部 101は、ビデオカメラ 1で撮影されたビデオ画像を取り込む。ビデォ画像は動画像であり、ビデオ画像入力部 101はビデオカメラ 1から送られてくる画像を連続的に取り込む。

[0026] 画像反転部 102は、ビデオ画像入力部 101が取り込んだビデオ画像に対して鏡面処理、すなわち左右反転処理を行う。プレーヤーを撮影した鏡面処理されたビデオ画像 200の一例を図 4 (a)に示す。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。

[0027] 主制御部 104は、エンタテインメントシステム全体の制御を行う。例えば、ェンタティンメント装置 2がゲームプログラムを実行しているときは、主制御部 104がそのプログラムに従ってゲームのストーリーなどを決定する。また、主制御部 104がストーリーを決定するときに、判定部 103の判定結果を参照する場合がある。この詳細については後述する。

[0028] CG生成部 105は、主制御部 104の指示に従って、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。例えば、図 4 (b)に示すような、プレーヤーからのリクエストを受け付けるためのインタフェース用のコンピュータ画像 (インタフェース画像） 300を生成する。ここで、インタフェース画像 300には、オブジェクト画像 310が含まれている。

[0029] 重畳画像生成部 106は、画像反転部 102で鏡面処理されたビデオ画像と CG生成部 105で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部 106が図 4 (a)に示したビデオ画像 200と図 4 (b)に示したインタフェース画像 300とを重畳すると、図 4 (c)に示した重畳画像 400が生成される。

[0030] 表示制御部 107は、重畳画像生成部 106で生成された重畳画像をディスプレイ装置 3に表示させる。

[0031] タツチパターン記憶部 108には、後述するナビゲーシヨンパターンおよびナビゲーシヨンなしでタツチを受け付けたときの特定のタツチパターンが記憶されて、る。ナビゲーシヨンパターンおよびタツチパターンは、プレーヤーが登録可能としても良い。

[0032] 判定部 103は、 CG生成部 105から取り込んだインタフェース画像 300を参照して画像反転部 102から取り込んだビデオ画像 200を解析し、ビデオ画像 200がインタフエース画像 300に対応する所定の画像であるかを判定する。ビデオ画像 200は動画像であるから、この判定はフレーム単位に処理を行われる。例えば、判定部 103は、フレーム間の差分をとつて、インタフェース画像 300に対応する所定の動きの有無を判定する。判定部 103は、フレーム間差分を計算する際に用いるカウンタ 103aを備えている。カウンタ 103aは、複数の値をカウントできる。

[0033] 図 4の例では、インタフェース画像 300には略環状のオブジェクト画像 310が含まれている。オブジェクト画像 310には、 12箇所のタツチポイント 320力概環状に、且つ、概等間隔に配置されている。従って、この場合、判定部 103はビデオ画像 200のタツチポイント 320と対応する領域に所定以上の動きがあるかどうかを判定する。

[0034] ここで、判定部 103が、タツチポイント 320と対応するビデオ画像 200の領域で所定以上の動きを検出すると、プレーヤーがそのタツチポイント 320に仮想的にタツチ（以下、単にタツチと言う）したものと判定する。タツチしたと判定される典型的な例は、プレーヤーがディスプレイ装置 3に写っているオブジェクト画像 310と自分の姿を見ながら、タツチポイント 320に自分の手などが重なるように動作する場合である。

[0035] また、タツチの有無の判定には、フレーム間差分による動きの検出以外に、所定の色の画素が所定数以上、タツチポイント 320と対応する領域に存在するかを判定しても良い。あるいは、色の検出と動きの検出を組み合わせ、所定の色について動きの判定を行ってもよい。例えば、プレーヤーに特定色（例えば赤）のグローブをはめさせて、そのグローブの映像がタツチポイント 320と重なり、タツチポイント 320内の赤色の画素数が所定数以上であるときに、タツチされたと判定しても良い。さらに、タツチポイント 320内の赤色の画素数が所定数以上であり、且つ、赤色の画素に所定以上の動きが検出されたときにタツチされたと判定してもよい。あるいは、パターン認識によりプレーヤーの腕、手、指先等あるいはグローブ等の動きを検出してタツチの有無の判定を行なうようにしてもょ、。

[0036] なお、プレーヤーの動作がエンタテインメント装置 2に認識されていることをプレーヤーに示すために、重畳画像 400中のグローブ等の検出対象が検出されたポイントを輝度を上げたり、ノ、イライト表示することにより強調して表示するようにしてもよい。このような表示は、タツチポイント 320の領域付近にかかわらず、重畳画像 400内全体にお！/、て行なうようにすることが望ま、。

[0037] このとき、強調表示を徐々に消えていくように表示させることで、プレーヤーがグロ一ブ等を動かした場合に、あた力もその軌跡が残像のように表示され、一層、プレーヤーの動作がエンタテインメント装置 2に認識されていることがプレーヤに明確に示されるとともに、エンタテインメント性が高まることになる

オブジェクト画像 310を表示するタイミングは、主制御部 104が決定する。そして、 C G生成部 105は主制御部 104の指示に基づき、オブジェクト画像 310を用いて、プレ一ヤーにタツチを促すために、以下に説明するようなナビゲーシヨン画像を生成する

[0038] ここで、ナビゲーシヨンとは、プレーヤーに対してどのタツチポイントをどういう順番でタツチしていくかを誘導するものである。ここでは、プレーヤーにタツチさせるタツチポイントを通常とは異なる態様 (例えば、光っているように見せるフラッシュ表示や、通常と異なる色での表示、点滅表示など)で示した画像を表示し、プレーヤーにタツチを促す。本実施形態では、タツチポイントをフラッシュ表示させて、誘導する場合について説明する。

[0039] ナビゲーシヨンのパターンは複数用意されていて、タツチパターン記憶部 108に記憶されている。そして、それぞれのナビゲーシヨンパターン（以下、ナビパターンと言う )ごとに、どのような順番で、いくつのタツチポイントをタツチさせるかがあらかじめ定められている。

[0040] 例えば、ナビパターンには、（1)タツチさせる順に従って、タツチポイントを 1点ずつ順次フラッシュさせる第 1のパターン (シングルナビゲーシヨン）と、 (2)タツチさせる順に従って、同時に 2点フラッシュさせ、同時に 2点にタツチさせる第 2のパターン (ダブルナピゲーシヨン）と、（3)タツチさせるすべての点を、タツチする順序を示す数字と共に同時にフラッシュさせる第 3のナビゲーシヨン (稲妻ナビゲーシヨン）と力ある。さらに、ナビゲーシヨンを行わずに、プレーヤーが自発的に行うタツチを受け付けるナビゲーシヨンなしパターンもある。

[0041] 本実施形態では、オブジェクト画像 310を利用して、プレーヤーに連続的にタツチをさせる。そして、プレーヤーがナビゲーシヨンに従ってタツチすると、ェンタティンメント装置 2は、所定の入力が完了したものとして受け付け、所定の機能を実行する。所定の機能としては、例えば、キャラクタを呼び出したり、攻撃または防御を行ったりする。タツチパターンごとに異なる機能を対応させても良い。

[0042] また、ナビゲーシヨンなしのときは、プレーヤーがタツチしたタツチポイントの位置および順序がタツチパターン記憶部 108に記憶されているタツチパターンと一致すると、エンタテインメント装置 2は所定の入力があったものと認識する。

[0043] あるいは、入力完了を示すタツチポイントを別途表示して、そのタツチポイントのタツチを受け付けた場合に入力があったものと認識するようにしてもよい。もちろん、操作装置 35から入力完了の指示を受け付けるようにしてもょ、。

[0044] 上記のような機能構成を有するエンタテインメント装置 2にお、て、プレーヤー自身の画像を使った入力受け付け処理手順を、フローチャートおよび画面遷移を示す図を用いて説明する。なお、以下の例では、エンタテインメント装置 2が入力を受け付けると、キャラクタの呼び出し処理を行う場合について説明する。

[0045] まず、入力受け付け処理の全体の処理手順を図 5に示す。 CG生成部 105は、主制御部 104からの指示に基づいて、オブジェクト画像 310を含むコンピュータ画像 30 0を生成する。そして、重畳画像生成部 106が画像反転部 102から獲得した鏡面処理後のビデオ画像 200 (図 4 (a) )とインタフェース画像 300 (図 4 (b) )とを重ね合わせ、オブジェクト画像 310を含む重畳画像 400 (図 4 (c) )がディスプレイ装置 3に表示される（S101)。次に、主制御部 104は、ナビパターンを選択する（S 102)。ここでは、ナビゲーシヨンありの場合と、ナビゲーシヨンなしの場合で処理が分かれる。

[0046] ナビゲーシヨンありの場合は、主制御部 104がタツチパターン記憶部 108に記憶されているナビパターンを選択する。そして、エンタテインメント装置 2が、選択されたナビパターンに従ったナビゲーシヨンをディスプレイ装置 3に表示させて、プレーヤーのタツチを受け付ける処理を行う（S103)。この処理の詳細については後述する。そして、主制御部 104は、プレーヤーがナビゲーシヨンに従ったタツチをして、ナビパターン通りのタツチが行われたかどうかを判定する（S104)。

[0047] ここで、ナビパターン通りのタツチが行われなかったときは（S104 :No)、入力受け付け処理を終了する。一方、ナビパターン通りのタツチが行われたときは（S104 : Ye s)、主制御部 104がナビパターンに対応するキャラクタを呼び出すための処理を実行する（S 105)。

[0048] 一方、ステップ S 102でナビゲーシヨンなしが選択された場合は、主制御部 104はナビゲーシヨン表示の指示をしない。そして、オブジェクト画像 310が表示された状態のままで、プレーヤ一は自分の意志でタツチを行うことができる（S 106)。この処理の詳細については後述する。

[0049] ステップ S 106のタツチ受け付け処理が終了すると、主制御部 104はタツチパターン記憶部 108を参照し、受け付けたタツチパターンが予め登録されているタツチパタ一ンと一致するかを判定する（S107)。ここで、プレーヤーがタツチしたパターンが登録済みパターンと一致すれば、主制御部 104は、その登録済みパターンに対応する特定のキャラクタを呼び出すための処理を行い（S 108)、一致しなければ、一般のキヤラクタを呼び出すための処理を行う（S109)。これにより、プレーヤー自身の画像を使つた入力インタフェースが実現する。

[0050] なお、同じインタフェースを利用してタツチパターンを登録することができる。すなわち、登録受け付けモードのときにディスプレイ装置 3に表示されているオブジェクト画像 310を用いて、プレーヤーがタツチポイントにタツチしていき、そのときのタツチパタ一ンをタツチパターン記憶部 108に格納する。

[0051] 次に、ステップ S 103のプレーヤーのタツチを受け付けるための詳細な処理について説明する。ここでは、シングルナビゲーシヨン、ダブルナビゲーシヨンおよび稲妻ナピゲーシヨンのそれぞれのナビパターンについて説明する。

[0052] シングルナビゲーシヨンの場合のフローチャートを図 6に示す。主制御部 104は、ナビパターンに従ってタツチポイントを特定し、そのタツチポイントをフラッシュ表示させる。（S21) (図 8 (a)参照)。次に、判定部 103はタツチがあった力どうかの判定処理を行う（S22)。タツチ判定処理の詳細は後述する。そして、タツチ判定処理終了後、主制御部 104はフラッシュ表示中のタツチポイントにタツチがあった力どうかを判定する (S23)。フラッシュ表示中のタツチポイントにタツチがないときは（S23 :No)、処理を終了する。タツチがあつたときは（S23 : Yes)、このタツチポイントが最初のタツチポィントであるかを判定する（S24)。そして、最初のタツチポイントであったときは（S24 :Y es)、ステップ S21へ戻る（図 8 (a)、図 8 (b)参照）。最初のタツチポイントでないとき、すなわち、 2番目以降のタツチポイントであったときは、このタツチポイントと直前のタツチポイントを所定のオブジェクト、例えば、光のライン (光っているように見えるライン）で結んで表示する（S25) (図 8 (b)、図 8 (c)参照)。また、このタツチポイントが最後のタツチポイントでないときはステップ S21へ戻り（S26)、最後のタツチポイントであるときは、最後のタツチポイントと最初のタツチポイントとを光のラインで結んで表示する（ S27) (図 8 (c)、図 8 (d)参照）。以上のような手順でシングルナビゲーシヨンが行われる。

[0053] 次に、ステップ S22のタツチ判定処理について、図 7のフローチャートを用いて説明する。判定部 103は、ビデオ画像を解析し、インタフェース画像でフラッシュ表示しているタツチポイントの位置と重なるビデオ画像の領域を特定する（S51)。そして、画素数をカウントするためのカウンタ 103aを初期化する（S52)。

[0054] 次に、処理対象のビデオ画像のフレームを更新する（S53)。ここで、一つのタツチポイントについてタツチの受付可能時間が一定時間に制限されている。従って、その制限時間を超えるときはタイムアウトとなるので、判定部 103はそれを監視する（S54

) o

[0055] タイムアウトしたときは（S54 : Yes)、処理を終了する。

[0056] タイムアウトして!/ヽな、ときは（S54： No)、ビデオ画像につ、て前フレームとのフレーム間差分をとり、ステップ S51で特定された領域内で変動があった画素数をカウントし、カウンタ 103aに累積する（S55)。そして、カウンタに累積された値が所定値以上であるかどうかを判定する（S56)。累積値が所定値を越えて、な、ときは（S56： N o)、ステップ S53以降を繰り返す。累積値が所定値を越えているときは（S56 : Yes)、タツチが検出される（S57)。

[0057] なお、上記の説明では、フレーム間差分を用いて動きを検出してタツチ判定を行つている。し力し、上述のようにプレーヤーに赤色のグローブをさせて、その色の検出によりタツチ判定するときは、ステップ S55において赤色の画素数をカウントし、そのカウント数が所定数以上であればタツチがあったものと判定しても良い。このとき、さらに色による判定と動きによる判定を組み合わせても良い。 [0058] ここで、シングルナビゲーシヨンの場合のナビゲーシヨン表示の様子を図 8を用いて説明する。インタフェース画像にはオブジェクト画像 310が含まれている。図 8 (a)は第 1番目のタツチポイント（ここでは「タツチポイント 12」）にフラッシュ表示 311がなされている。図 8 (a)においてタツチポイント 12にタツチされると図 8 (b)へ遷移し、第 2番目のタツチポイント（ここでは「タツチポイント 4」 )にもフラッシュ表示 311が追加される

[0059] さらに、図 8 (b)においてタツチポイント 4にタツチされると図 8 (c)へ遷移し、第 1番目のタツチポイントと第 2番目のタツチポイントとが光のライン 312で結ばれる。そして、第 3番目のタツチポイント（ここでは「タツチポイント 7」）にもフラッシュ表示 311が追カロされる。

[0060] このとき、上記で説明したように、認識したプレーヤーの動きの軌跡を残像表示させて、る場合には、あた力もタツチポイントを結ぶ軌跡の残像に光のラインが覆、被さるように表示されることになり、入力インタフェースとしてのエンタテインメント効果が高まる。これは、後に説明するダブルナビゲーシヨン等においても同様である。

[0061] 図 8 (c)においてタツチポイント 7にタツチされると図 8 (d)へ遷移し、第 2番目のタツチポイントと第 3番目のタツチポイントとが光のライン 312で結ばれる。さらに、図 8の例では第 3番目のタツチポイント 7が最終のタツチポイントであるから、最初タツチポィント 12との間も光のライン 312で結ばれる。この状態でシングルナビゲーシヨンに対するプレーヤーからの入力受け付けが完了する。

[0062] ところで、上記の説明では、タツチを検出するたびに、検出したタツチポイントと直前のタツチポイントとを光のラインで結ぶようにしていた（S25、図 8 (c) )。し力し、タツチの検出のたびではなぐ最後オンタツチポイントの入力を終えた時点で、タツチされたタツチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。

[0063] この場合、図 6における処理 (S25)は省略し、処理 (S27)に代え、「タツチされたタツチポイントを一斉に（あるいは、順次）、光のラインで結ぶ」となる。なお、いずれのも場合も最終的に表示される光のラインは、図 8 (d)のようになる。

[0064] 次に、ステップ S 103の詳細な処理として、ダブルナビゲーシヨンの場合のフローチヤートを図 9に示す。主制御部 104は、ナビパターンに従ってタツチポイントを 2箇所特定し、その 2箇所のタツチポイントを同時にフラッシュ表示させる（S31) (図 10 (a) 参照)。そして、判定部 103は 2箇所のタツチポイントのそれぞれにタツチがあつたかどうかの判定処理を行う（S32)。

[0065] ここで、タツチ判定処理は、 2箇所のタツチポイントのそれぞれについて図 7に示したものと同様の処理を行う。

[0066] そして、タツチ判定処理終了後、主制御部 104はフラッシュ表示中の 2点のタツチポイントに対し、ほぼ同時にタツチがあつたかどうかを判定する（S33)。いずれか一方またはいずれにもタツチがないときは（S33 : No)終了する。 2点ともタツチがあつたときは（S33 : Yes)、タツチされた 2点間を光のラインで結ぶ（S34) (図 10 (a)、図 10 (b) 参照)。

[0067] そして、主制御部 104が、このナビパターンの全タツチポイントにタツチされ、ナビパターンが終了したかを判定する（S35)。そして、ナビパターンが終了していないときは（S35 :No)、ステップ S31以降を繰り返す。ナビパターンが終了しているときは（S 35 : Yes)終了する。

[0068] なお、 2点のタツチポイントについて、一方のタツチポイントにタツチがあった後、所定の時間内に他方にタツチがあつたときは、同時にタツチがあつたと判定する。さらに、一方にタツチがあると、他方のタツチポイントのタツチ判定のしきい値を下げても良い。

[0069] ここで、ダブルナビゲーシヨンの場合のナビゲーシヨン表示の様子を図 10を用いて説明する。図 8の場合と同様に、ナビゲーシヨン画像にはオブジェクト画像 310が含まれている。

[0070] 図 10 (a)は第 1番目のタツチポイント（ここでは「タツチポイント 7および 12」）にフラッシュ表示 311がなされている。図 10 (a)においてタツチポイント 7および 12が同時にタツチされると (b)へ遷移する。すなわち、第 2番目のタツチポイント (ここでは「タツチポイント 2, 10」）がフラッシュ表示 311されると共に、第 1番目のタツチポイント同士、つまりタツチポイント 7および 12が光のライン 312で結ばれる。

[0071] さらに、図 10 (b)においてタツチポイント 2, 10が同時にタツチされると図 10 (c)へ遷移し、第 2番目のタツチポイント同士、つまりタツチポイント 2および 10が光のライン 312で結ばれる。この状態でダブルナビゲーシヨンに対するプレーヤーからの入力受け付けが完了する。

[0072] なお、ダブルナビゲーシヨンの場合にも、最後オンタツチポイントの入力を終えた時点で、それぞれの 2点間を一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。

[0073] 次に、ステップ S 103の詳細な処理として、稲妻ナビゲーシヨンの場合のフローチヤ一トを図 11に示す。主制御部 104は、ナビパターンに従って、このナビパターンに含まれる全タツチポイントおよびタツチする順番を特定する。

[0074] そして、各タツチポイントにタツチ順を示す数字を表示し、各タツチポイントをフラッシュ表示させるとともに、各タツチポイント間を稲妻ライン (稲妻を模したライン)で結ぶ（

S41) (図 12 (a)参照)。

[0075] そして、判定部 103はタツチがあつたかどうかの判定処理を行う（S42)。ここで、タツチ判定処理は図 7に示すものと同様である。そして、タツチ判定処理終了後、主制御部 104はタツチ順序通りにタツチがあった力どうかを判定する（S43)。

[0076] タツチ順通りにタツチされて!、な!/、ときは（S43： No)終了する。タツチ順通りにタツチされているときは（S43 : Yes)、タツチされたタツチポイントのフラッシュおよび稲妻ラインを消去する（S44) (図 12 (b)、図 12 (c)参照)。

[0077] そして、主制御部 104が、このナビパターンの全タツチポイントにタツチされ、ナビパターンが終了したかを判定する（S45)。そして、ナビパターンが終了していないときは（S45 :No)、ステップ S41以降を繰り返す。ナビパターンが終了しているときは（S 45 : Yes)終了する。

[0078] ここで、稲妻ナビゲーシヨンの場合のナビゲーシヨン画像の遷移の様子を図 12を用いて説明する。図 8、図 10の場合と同様に、ナビゲーシヨン画像にはオブジェクト画像 310が含まれている。

[0079] 図 12 (a)はプレーヤーがタツチすべき全タツチポイント（ここでは「タツチポイント 4, 7 および 12」）にタツチする順序を示す数字、およびフラッシュ表示 311がなされ、それぞれが稲妻ライン 313で結ばれて、る。

[0080] 図 12 (a)においてタツチポイント 12 (第 1番目のタツチポイント）にタツチされると、図 12 (b)へ遷移する。すなわち、第 1番目のタツチポイントのフラッシュ表示 311、および第 1番目と第 2番目のタツチポイントを結んでいた稲妻ラインが消去される。

[0081] 図 12 (b)においてタツチポイント 4 (第 2番目のタツチポイント）がタツチされると、図 1 2 (c)へ遷移し、第 2番目のタツチポイントのフラッシュ表示および第 2および第 3番目のタツチポイント間の稲妻ラインが消去される。

[0082] 図 12 (c)においてタツチポイント 7にタツチされると、図 12 (d)へ遷移し、第 3番目のタツチポイントの稲妻表示および第 3および第 1番目の間の稲妻ラインが消去される。この状態で稲妻ナビゲーシヨンに対するプレーヤ一力の入力受け付けが完了する

[0083] 次に、図 5のステップ S106のナビゲーシヨンなしの場合の詳細な処理について、図 13のフローチャートを用いて説明する。ナビゲーシヨンなしでタツチを受け付けるときは、タツチ判定処理でいずれかのタツチポイントについてタツチがあつたかを検出する（S61)。つまり、図 7のタツチ検出処理をすベてのタツチポイントについて行い、いずれか一つについてタツチを判定するとステップ S62に移行する。

[0084] これ以降の処理はシングルナビゲーシヨンの場合の処理（図 6)と類似する。すなわち、複数のタツチポイントに対するタツチを検出すると、タツチ済みのタツチポイント間を光のラインで結んでいく（S62— S65)。このとき、タツチを受け付ける総数 (N)が予め定められている。つまり、プレーヤーが自由に N点のタツチポイントにタツチすると（ S65 :Yes)、 N番目のタツチポイントと第 1番目のタツチポイントとを光のラインで結び処理を終了する（S66)。

[0085] なお、ナビゲーシヨンなしの場合にも、最後オンタツチポイントの入力を終えた時点で、タツチされたタツチポイントを一斉に、あるいは、順次、光のラインで結ぶようにしてもよい。

[0086] 上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

[0087] 例えば、オブジェクト画像は三角形などの多角形、あるいは、様々な形状でもよ!/、。

さらには、それらの組み合わせでも良い。タツチポイントは、一定のルールに基づき、オブジェ外画像に対して等距離 (均等)または非等距離 (非均等）に配置される。あるいは、オブジェクト画像は表示せず、タツチポイントのみの表示しても良いし、タツチすべきタツチポイントのみを表示するようにしても良、。

Claims

請求の範囲

[1] †青報処理システムであって、

プレーヤーに対して、複数のタツチポイントへ仮想的にタツチさせる動作を促すコンピュータ画像を生成する手段と、

前記検出手段により、所定数のタツチポイントに所定の順番で前記仮想的なタツチ力 Sされたことが検出されると、所定の処理を実行する手段と、を備える。

[2] 請求項 1記載の情報処理システムであって、

前記検出手段は、前記ビデオ画像内のプレーヤーが身につけている特定色の物体力前記コンピュータ画像内の前記複数のタツチポイントのいずれかと重なるときに、仮想的なタツチを検出する。

[3] 請求項 1記載の情報処理システムであって、

前記画像生成手段は、次にタツチすべき 1点のタツチポイントを示すナビゲーシヨンを含むコンピュータ画像を順次生成し、

前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーシヨンを含むコンピュータ画像のそれぞれに対して、仮想的なタツチがされたことが検出されると、前記所定の処理を実行する。

[4] 請求項 1記載の情報処理システムであって、

前記画像生成手段は、次にタツチすべき 2点のタツチポイントを示すコンピュータ画像を順次生成し、

前記所定の処理を実行する手段は、前記検出手段により順次生成された前記ナビゲーシヨンを含むコンピュータ画像のそれぞれに対して、前記 2点のタツチポイントに対して同時に仮想的なタツチがされたことが検出されると、前記所定の処理を実行する。

[5] 請求項 1記載の情報処理システムであって、

前記画像生成手段は、タツチポイントに対するタツチの順番を示すナビゲーシヨンを含むコンピュータ画像を生成し、

前記所定の処理を実行する手段は、前記検出手段により前記ナビゲーシヨンに従つて仮想的なタツチがされたことが検出されると、前記所定の処理を実行する。

[6] エンタテインメントシステムであって、

複数の領域を特定するための画像を含んだコンピュータ画像を生成する手段と、撮影手段で撮影したビデオ画像の入力を受け付ける手段と、

前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、

前記コンピュータ画像を参照して前記ビデオ画像を解析する手段と、を備えるェンタティンメントシステムであって、

前記画像生成手段が、所定の順序で前記複数の領域のうちの一つの領域を選択し、選択された領域を他と異なる態様で表示した入力を促す複数の画像を連続的に生成し、

前記解析手段は、それぞれの入力を促す画像が表示されて!、るときのビデオ画像を解析し、他と異なる態様で表示された前記選択された領域と対応するビデオ画像の対応領域が所定の画像であることを検出し、

前記入力を促す画像の生成、および前記対応領域が所定の画像であることの検出が所定回数行われると、所定の機能を実行する。

[7] 情報処理システムの入力受け付け方法であって、

プレーヤーに対して、複数のタツチポイントへ仮想的にタツチさせる動作を促すコンピュータ画像を生成し、

撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付け、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させて、るときに前記ビデオ画像を解析し、前記複数のタツチポイントのヽずれかに対する仮想的なタツチを順次検出し、

前記仮想的なタツチにより、所定数のタツチポイントが所定の順番でタツチがされると、所定の入力があったものとして受け付ける。

[8] 入力受け付けのためのコンピュータプログラムを記録した記録媒体であって、

前記コンピュータプログラムは、コンピュータに以下の処理を実行させる。プレーヤーに対して、複数のタツチポイントへ仮想的にタツチさせる動作を促すコンピュータ画像を生成する処理、

撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける処理、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させて、るときに前記ビデオ画像を解析し、前記複数のタツチポイントのヽずれかに対する仮想的なタツチを順次検出する処理、

前記仮想的なタツチにより、所定数のタツチポイントが所定の順番でタツチがされると、所定の入力があったものとして受け付ける処理。

[9] 情報処理システムであって、

[10] 請求項 9に記載の情報処理システムであって、

前記オブジェクト表示手段は、 V、ずれかのタツチポイントに前記仮想的なタツチがされると、直前に前記仮想的なタツチがされたタツチポイントとを結ぶオブジェクトの表示を行なう。

[11] 請求項 9に記載の情報処理システムであって、

前記オブジェクト表示手段は、所定の順序で所定のタツチポイントに仮想的なタツチがされると、連続して仮想的なタツチがされたタツチポイント同士を結ぶオブジェクトの表示を行なう。

[12] 請求項 9に記載の情報処理システムであって、

前記タツチポイントを結ぶオブジェクトは、光を模擬したラインである。

[13] コンピュータプログラムを記録した記録媒体であって、

前記コンピュータプログラムは、コンピュータを以下の手段として機能させる。

プレーヤーに対して、仮想的なタツチの対象となる複数のタツチポイントを示すコンピュータ画像を生成する手段、

撮影手段で前記プレーヤーを撮影したビデオ画像の入力を受け付ける手段、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段、

前記コンピュータ画像が表示されてヽるときのビデオ画像を解析し、前記複数のタツチポイントのいずれかに対する仮想的なタツチを検出する手段、

前記検出手段により、複数のタツチポイントに連続的に前記仮想的なタツチがされたことが検出されると、連続して前記仮想的なタツチがされたタツチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示手段。

[14] コンピュータ画像生成部と画像入力部と重畳画像生成部と判定部とを有する情報処理装置における入力インタフェース制御方法であって、

プレーヤーに対して、仮想的なタツチの対象となる複数のタツチポイントを示すコンピュータ画像をコンピュータ画像生成部が生成するステップと、

撮影手段で前記プレーヤーを撮影したビデオ画像の入力を画像入力部が受け付けるステップと、

重畳画像生成部が、前記ビデオ画像と前記コンピュータ画像とを重ねて表示装置に表示させる表示ステップと、

判定部が、前記コンピュータ画像が表示されているときのビデオ画像を解析し、前記複数のタツチポイントのいずれかに対する仮想的なタツチを検出するステップと、複数のタツチポイントに連続的に前記仮想的なタツチがされたことが検出されると、コンピュータ画像生成部が、連続して前記仮想的なタツチがされたタツチポイント同士を結ぶオブジェクトの表示を行なうオブジェクト表示ステップとを有する。